ВВЕДЕНИЕ В БАЙЕСОВСКИЕ СЕТИ
Download
1 / 184

, .-, 26 2006 . .. - PowerPoint PPT Presentation


  • 312 Views
  • Uploaded on

ВВЕДЕНИЕ В БАЙЕСОВСКИЕ СЕТИ. Алгоритмы для Интернета, ИТМО & СПбГУ С.-Петербург, 26 октября 2006 Рук. семинара Ю.М. Лифшиц. Логико-вероятностная модель баз фрагментов знаний с неопределенностью. Александр Львович Тулупьев

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' , .-, 26 2006 . .. ' - trevor


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Slide1 l.jpg
ВВЕДЕНИЕ В БАЙЕСОВСКИЕ СЕТИ

Алгоритмы для Интернета, ИТМО & СПбГУС.-Петербург, 26 октября 2006Рук. семинара Ю.М. Лифшиц

Логико-вероятностная модель баз фрагментов знаний с неопределенностью

Александр Львович Тулупьев

ведущий научный сотрудниклаборатория прикладной информатикиСанкт-Петербургский институт информатики и автоматизации РАН

вице-президент Российской ассоциации нечетких систем и мягких вычислений

[email protected]

Александр Владимирович Сироткин

аспирантлаборатория прикладной информатикиСанкт-Петербургский институт информатики и автоматизации [email protected]


Slide2 l.jpg
ПЛАН

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide3 l.jpg
ПЛАН

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide4 l.jpg
Идеологическое определение

  • Байесовские сети --- это графические структуры для представления вероятностных отношений между большим количеством переменных и для осуществления вероятностного вывода на основе этих переменных.

Learning Bayesian NetworksNeapolitan R.E., 2004


Slide5 l.jpg
Уточнение-1

  • Предположение, лежащее в основе любой вероятностной сети, заключается в том, что, в то время как общая проблема чересчур сложна для применения наивных методов вычисления и обновления вероятностей…, отдельные клики… имеют приемлемый, разумный размер…

Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004


Slide6 l.jpg
Уточнение-2

  • …В частности, мы предполагаем, что можем производить (пользуясь, например, «грубой силой», т.е. подходом по определению) любые желаемые операции, такие, как маргинализацию или нормировку, внутри любой клики, но необязательно непосредственно для всей сети сразу…

Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004


Slide7 l.jpg
Уточнение-3

  • Наша цель --- использовать структуру сети для того, чтобы распространить такие вычисления на полный набор переменных.

Probabilistic Networks and Expert SystemsCowell R.G. et al., 2004


Slide8 l.jpg
Цель ---

  • представить распределение вероятностей (или их семейство) над (большим числом) переменных, в общем виде выглядящее как






Slide13 l.jpg
ПЛАН

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide14 l.jpg
Почему БС востребованы

  • ИИ (МВ): знания с неопределенностью, фрагменты знаний, базы фрагментов знаний

  • Статистика: много переменных, связи всех со всеми неописуемые и неоцениваемые, зато отдельные скопления можно неплохо охарактеризовать

  • Техника: декомпозируемость систем, знание свойств элементов и связей между ними


Slide15 l.jpg
Что предшествовало

  • Анализ родословных для поиска источника и путей передачи генетических аномалий.

  • Представление результатов статистических наблюдений, когда наблюдаемых переменных очень много, но их удается разбить на условно независимые наборы.


Slide16 l.jpg
БС применяются в медицине

  • Для быстрой постановки диагноза, чтобы выбрать правильное учреждение для госпитализации

  • Для дифференциальной диагностики заболеваний, симптоматические проявления которых сходны [но не совпадают полностью]


Slide17 l.jpg
БС применяются в технологических процессах

  • Для диагностики отказов и дефектов

  • В драйверах принтеров

  • Для анализа результатов тестирования ПО

  • Для оптимизации запросов в БД

  • Для представления результатов data mining


Slide18 l.jpg
БС применяются в научных исследованиях

  • Диагностика концентрации уровня кислорода в озере (PhD Thesis!)

  • Геномика и биоинформатика

  • Все то же представление результатов статистической обработки


Slide19 l.jpg
Потенциальная применимость БС исследованиях

  • Теория надежности структурно сложных систем (ЛВМ --- адм. И.А. Рябинин)


Slide20 l.jpg
БС в учебном процессе исследованиях

  • Подробнее --- немного позже.

  • Основное

    • Комбинирование и актуализация знаний из нескольких дисциплин;

    • Все объекты и предметы исследования «под рукой»;

    • Полигон для применения программных технологий.


Slide21 l.jpg
Немного об истории исследованиях

  • Логика (от Аристотеля и раньше);

  • Вероятностная логика (от Дж. Буля и позже); в ИИ удачно ввел Н. Нильссон в 1986; различные формализации, мы пользуемся Хальперном, Фагином и Меггиддо;

  • Байесовские сети (БСД – Дж. Пиэрл, АБС – В.И. Городецкий), еще и марковские сети (???);

  • история этим не исчерпывается; смежные дисциплины...


Slide22 l.jpg
Немного об особенностях исследованиях

  • Очень большой упор на графическое представление отношений независимости и условной независимости.

  • Стремление избежать обсуждения тех проблем, решения которых они не знают (подмена циклов последовательностью фрагментов знаний, …)

  • А нам бы о представлении данных хотелось бы поговорить побольше, непротиворечивость посмотреть, алгоритмы вывода выписать и сделать понятными, на доступные программные технологии опереться.


Slide23 l.jpg
БСД: литература исследованиях

  • Статьи

  • Pearl J. (1985). How to Do with Probabilities what People Say You Can't. Artificial Intelligence Applications. Ed. Weisbin C.R., IEEE, North Holland, pp. 6--12.

  • Pearl J. (1986). Fusion, Propagation, and Structuring in Belief Networks. Artificial Intelligence, vol. 29. Elsevier Science Publishers B.V., North Holland, pp. 241--288.

  • Pearl J. (1986a). Constraint-Propagation Approach to Probabilistic Reasoning. Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). Eds. Kanal L.N., Lemmer J.F. Vol. 4, Elsevier Science Publishers B.V., North Holland, pp. 357--369.

  • Pearl J. (1986b). On Evidentional Reasoning in Hierarchy of Hypotheses. Artificial Intelligence, vol. 28. Elsevier Science Publishers B.V., North Holland, pp. 9--15.

  • Pearl J. (1986c). Distributed Revision of Composite Beliefs. Artificial Intelligence, vol. 33. Elsevier Science Publishers B.V., North Holland, pp. 173--215.

  • Монографии

  • Pearl J. (1988). Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann Publishers, 552 pp.

  • Pearl J. (2000). Causality: Models, Reasoning, and Inference. Cambridge University Press, 386 pp.

  • Jensen F.V.(2001). Bayesian Networks and Decision Graphs. Springer-Verlag, NY. 268 pp.

  • Korb K.B., Nicholson A.E. (2004). Bayesian Artificial Intelligence. Chapman and Hall/CRC, 364 pp.

  • Kyburg H.E. Jr. (2001). Uncertain Inference. Cambridge University Press, 298 pp.

  • Lauritzen, S. L. (1996). Graphical Models, Oxford University Press, Oxford, 1996.

  • Neapolitan R.E. (2004). Learning Bayesian Networks. Pearson Prentice Hall, 674 pp.

  • Nilsson N.J. (1998). Artificial Intelligence: A New Synthesis. Morgan Kaufmann Publishers, 514 pp.


Slide24 l.jpg
АБС: литература исследованиях

  • Gorodetsky V.I., Drozdgin V.V., Jusupov R.M. Application of Attributed Grammar and Algorithmic Sensitivity Model for Knowledge Representation and Estimation // Artificial Intelligence and Information, Control Systems of ROBOTSA. North Holland, Elsevier Science Publ., 1984. pp. 232--237.

  • Городецкий В.И. Байесовский вывод. АН СССР, ЛИИАН, Препринт № 149. Л., 1991.

  • Городецкий В.И. Алгебраические байесовские сети --- новая парадигма экспертных систем // Юбилейный сборник трудов институтов Отделения информатики, вычислительной техники и автоматизации Российской Академии наук, т. 2. М., РАН, 1993. с. 120--141.

  • Городецкий В.И., Тулупьев А.Л. Формирование непротиворечивых баз знаний с неопределенностью // Известия РАН. Серия "Теория и системы управления». 1997. №5.

  • Тулупьев А.Л. Алгебраические байесовские сети. Теоретические основы и непротиворечивость. СПб.: СПИИРАН, 1995. 76 с.

  • Тулупьев А.Л. Алгебраические байесовские сети. Логико-вероятностный подход к моделированию баз знаний с неопределенностью. СПб.: СПИИРАН, 2000. 292 с.

  • Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход. СПб.: Наука, 2006. 607 с.


Slide25 l.jpg
Веб-сайты исследованиях

  • БСД: стоит начинать с www.auai.org

  • АБС: сайт в разработке, можно периодически проверять www.spiiras.nw.ru(а пока пользоваться Зеленой книгой)


Slide26 l.jpg
ПЛАН исследованиях

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide27 l.jpg
БА пропозициональных формул исследованиях

Универсум, множество атомов, множество булевских переменных,

Множество атомарных пропозиций…

Алгебра пропозициональных формул, построенных над

заданным универсумом.

Фактор-алгебра классов тождественных пропозициональных формул. Как правило, далее эквивалентные формулы не различаются. В частности, вероятности истинности эквивалентных формул будут совпадать.

trueили 1 --- тождественная истина, константа

falseили 0 --- тождественная ложь, константа,

(f) --- истинностное означивание пропозициональной формулы f.


Slide28 l.jpg
Аргументное место (литерал) исследованиях

Аргументное место или литерал.

Используется как обозначение означивания атомарной формулы x или как скользящий индекс.

Внутри одной и той же формулы означивания одного и того же аргументного места совпадают. Возможные несовпадения оговариваются отдельно.


Slide29 l.jpg
Логические операции исследованиях

Знак конъюнкции, как правило, опускают: вместо xyпишут xy.


Slide30 l.jpg
Кванты исследованиях

Пусть нам задан набор атомов

.

Квантом называется конъюнкция, в которую входят все атомы из набора.

Каждый атом входит с одним из означиваний: либо положительным либо

отрицательным.

Пример записи кванта, краткой и полной.

Обозначение множества квантов:

Пример:


Slide31 l.jpg
Конъюнкты исследованиях

Пусть нам задан набор атомов

.

Конъюнктом называется конъюнкция положительно означенных атомов из набора. В эту конъюнкцию атом либо входит, либо вообще не входит.

Один положительно означенный атом тоже является конъюнктом. Пустая конъюнкция (пустой конъюнкт) эквивалентен тождественной истине.

--- примеры конъюнктов.

--- краткая запись конъюнкта.


Slide32 l.jpg
Теорема о СДНФ исследованиях


Slide33 l.jpg
Идеал конъюнктов исследованиях

Также можно рассматривать идеал с пустым конъюнктом.


Slide34 l.jpg
Особенности идеала исследованиях

  • Множество всех непустых конъюнктов над заданным набором атомов --- идеал;

  • Множество всех (все непустые и один пустой) конъюнктов над заданным набором атомов --- идеал;

  • Непустое пересечение идеалов --- идеал.



Slide36 l.jpg
ПРИМЕР (1) исследованиях

.

,

,

,

.


Slide37 l.jpg
ПРИМЕР (2) исследованиях

.

,

,

,


Slide38 l.jpg
Вероятность истинности исследованиях

  • Подход по Н. Нильссону (1986 г.)

  • Более глубокая формализация дана в работах коллектива Фагина, Хальперна, Миггидо (пригодна для рассуждений об оценках сложности)

  • Другие глубокие формализации

  • Спор о приоритетах (de Finetti…)

  • Дж. Буль --- тоже писал о вероятности пропозиции


Slide39 l.jpg
НАБОР ПРОПОЗИЦИЙ исследованиях


Slide40 l.jpg
Возможные миры исследованиях


Slide41 l.jpg
Допустимые миры исследованиях


Slide42 l.jpg
Вероятность пропозиции исследованиях

  • В рамках подхода Н. Нильссона мы рассуждаем о вероятности истинности пропозиции;

  • Для краткости говорят вероятность пропозиции


Slide43 l.jpg
Теорема о СДНФ исследованиях


Slide44 l.jpg
КВАНТЫ: исследованияхМножество элементарных событий



Slide46 l.jpg
Индексация конъюнктов (дизъюнктов) и квантов


Slide47 l.jpg
Случайные бинарные последовательности


Slide48 l.jpg
Базовые понятия ТВ на языке СБП последовательности




Slide51 l.jpg
Вероятности квантов и конъюнктов

Связи между наборами квантов и конъюнктов будет обсуждаться ещё неоднократно, поскольку кванты формируют множество элементарных событий, а конъюнкты --- идеал, образующий одну из моделей фрагмента знаний.


Slide52 l.jpg
Интервальная вероятность конъюнкции

--- дано.

Оценки вероятностей не могут быть произвольно назначены. Вероятности истинности пропозициональных формул находятся в определенных отношениях.

Вместе с тем, по точечным оценкам вероятностей одних формул даже в простейших случаях не всегда удается восстановить точечные оценки вероятностей других формул (без привлечения дополнительных предположений).


Modus ponens l.jpg
Modus ponens конъюнкции

И в этом случае даже из точечных оценок вероятностей в антецеденте будут получаться, как правило, интервальные оценки вероятностей в консеквенте. Кроме того, некоторые сочетания оценок в антецеденте будут противоречить аксиоматике вероятностной логики.


Slide54 l.jpg
ПЛАН конъюнкции

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide55 l.jpg
Фрагмент знаний (определение) конъюнкции

  • Математическая модель

  • Идеал конъюнктов

  • Оценки вероятностей элементов идеала (точечные и интервальные)


Brute force calculations l.jpg
ФЗ: конъюнкцииBrute Force Calculations

  • Поддержание непротиворечивости

  • Априорный вывод

  • Апостериорный вывод

  • Вывод оценок чувствительности

  • Объемлющая непротиворечивость

  • Линейные комбинации ФЗ

  • ...


Slide57 l.jpg

p конъюнкции(x)=0.4

p(x)=0.6

непротиворечиво

(согласовано, совместно)

p(x)=0.7

p(x)=0.6

противоречиво

(несовместно)

«Точечная» непротиворечивость


Slide58 l.jpg

p конъюнкции(x)=[0.4;0.5]

p(x)=[0.5;0.6]

непротиворечиво

(согласовано, совместно)

p(x)=[0.7;0.8]

p(x)=[0.5;0.6]

противоречиво

(несовместно)

p(x)=[0.3;0.5]

p(x)=[0.4;0.6]

непротиворечиво

(не согласовано, совместно)

«Интервальная» непротиворечивость


Slide59 l.jpg
Непротиворечивость ФЗ (.) конъюнкции

  • Преобразовать вероятности на конъюнктах в вероятности на квантах;

  • Проверить соответствие вероятностной аксиоматике получившихся оценок на квантах


I n j n l.jpg
Матрицы конъюнкцииInи Jn

  • Матрицы преобразования вектора вероятностей конъюнктов в вектор вероятностей квантов и наоборот строятся как прямое произведение матриц Кронекера.


I 2 3 4 5 l.jpg
Матрицы конъюнкцииI (2, 3, 4, 5)


Slide62 l.jpg
Множество ограничений конъюнкцииE(n)

  • Обозначим множество ограничений, вытекающих из вероятностной аксиоматики, как E(n).

  • В матрично-векторном виде они записываются как


Slide63 l.jpg
ФЗ с конъюнкции[,]-ми оценками

  • Задан набор интервальных оценок, который мы обозначим как D(n).


Slide64 l.jpg
Непротиворечивость ФЗ конъюнкции([])

  • Пусть задан набор интервальных оценок.

  • Этот набор непротиворечив (согласован), если для произвольного элемента при выборе произвольной точки из интервальной оценки в остальных интервалах можно выбрать точки так, что получившийся набор точечных оценок непротиворечив.



Slide66 l.jpg
Априорный вывод ФЗ в

Можно как выводить оценку истинности пропозиции, не вошедшей в ФЗ, так и учитывать эту оценку в процессе поддержания непротиворечивости или априорного вывода оценок вероятности истинности других формул.


Slide67 l.jpg
Апостериорный вывод в ФЗ АБС ФЗ в

  • Мы что-то узнали: поступило свидетельство;

  • Как оно повлияет на наши оценки вероятностей утверждений из нашей базы знаний;

  • [Как распространить влияние свидетельства]

  • Несколько вычислительно разных ситуаций...


Slide68 l.jpg
Детерминированное свидетельство

  • Атомарные <x> или <x> и кортежи <x1x8>, <x1x2>, <x1x2x3>... Кратко


Slide69 l.jpg
Недетерминированное свидетельство

  • Атомарные <p[a](x)> и < p[a]( x)>

  • Кортежи < p[a](x1x8), p[a](x1x8), p[a](x1x8), p[a](x1x8)>

  • В краткой записи:

Апостериорное распределение вероятностей (задающее свидетельство) подчиняется аксиомам вероятностной логики. В нашей теории кортеж недетерминированных свидетельств также представляется в виде фрагмента знаний.


Slide70 l.jpg
Свидетельство с неопределенностью

Кортеж недетерминированных свидетельств с неопределенностью представляется в виде фрагмента знаний с интервальными оценками истинности.


Slide71 l.jpg
Апостериорный вывод: (.) и неопределенностью[,]

  • Вид оценок в ФЗ, куда поступает свидетельство, также создают особый вычислительный аспект:

  • точечные оценки --- «прямые» вычисления по определению условной вероятности;

  • интервальные оценки --- задачи гиперболического программирования.


Slide72 l.jpg
Апостериорный вывод неопределенностью«по определению» условной вероятности («+»)


Slide73 l.jpg
Апостериорный вывод неопределенностью«по определению» условной вероятности («-»)

За счет процедуры переозначивания атомов и пересчета вероятностей, можно считать, что поступают лишь свидетельства, означенные положительно


Slide74 l.jpg
Апостериорный вывод, ФЗ с неопределенностью[,]

  • Сведение:


Slide75 l.jpg
Апостериорный вывод, ФЗ с неопределенностью[,]

  • Сведение:


Slide76 l.jpg
Апостериорный вывод, ФЗ с неопределенностью[,]

  • Сведение:


Slide77 l.jpg
Апостериорный вывод, ФЗ с неопределенностью[,]

  • Сведение:


Slide78 l.jpg
Апостериорный вывод, ФЗ с неопределенностью[,]

  • Сведение:


Slide79 l.jpg
Несовместимость со свидетельством


Slide80 l.jpg
Апостериорный вывод при недетерм-ом свидетельстве


Slide81 l.jpg
Примеры формул для рассчетов недетерм-ом свидетельстве


Slide82 l.jpg
ПЛАН недетерм-ом свидетельстве

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide83 l.jpg
Алгебраическая байесовская сеть недетерм-ом свидетельстве

  • Это множество фрагментов знаний, как правило, связанных между собой (имеющих общие конъюнкты), которые рассматриваются как единое целое.


Slide84 l.jpg
Граф и дерево смежности - веса недетерм-ом свидетельстве

  • Узлу графа смежности ставится в соответствие фрагмент знаний; весом же узла является идеал конъюнктов, лежащий в основе этого ФЗ.


Slide85 l.jpg
Граф смежности --- определение недетерм-ом свидетельстве

  • Графом смежности называется ненаправленный граф, в котором

    • между каждой парой узлов, веса которых содержат общие элементы, существует путь;

    • в веса каждого из узлов любого пути (в графе) входят все элементы, общие для начального и конечного узлов этого пути;

    • вес одного узла не входит полностью в вес никакого другого узла.


Slide86 l.jpg
Сепараторы недетерм-ом свидетельстве

  • Каждому ребру в графе смежности также удобно приписать вес – пересечение весов, приписанных тем двум узлам, которые соединяются рассматриваемым ребром.

  • Вес на ребре --- сепаратор (или разделитель).

  • Непустое пересечение идеалов конъюнктов --- идеал конъюнктов.


Slide87 l.jpg
Дерево смежности недетерм-ом свидетельстве

  • Деревом смежности называется ациклический граф смежности --– такой граф, что в нем нет ни одного цикла, то есть пути (без повторяющихся узлов), начало и конец которого бы совпали.


Slide88 l.jpg
АБС --- определение недетерм-ом свидетельстве

  • Алгебраическая байесовская сеть (АБС) определяется как граф смежности с фрагментами знаний в узлах.

  • АБС, представимая в виде дерева смежности, называется ациклической (ААБС).

  • АБС является одной из логико-вероятностных моделей БФЗ с неопределенностью.


Slide89 l.jpg
АБС --- графическое представление недетерм-ом свидетельстве


Slide90 l.jpg
Ациклические АБС недетерм-ом свидетельстве


Slide91 l.jpg
Степени непротиворечивости АБС недетерм-ом свидетельстве

  • Локальная,

  • Экстернальная,

  • Интернальная,

  • Глобальная


Slide92 l.jpg
Степени непротиворечивости АБС недетерм-ом свидетельстве

  • Локальная: непротиворечив каждый фрагмент знаний по отдельности.


Slide93 l.jpg
Степени непротиворечивости АБС недетерм-ом свидетельстве

  • Экстернальная: совпадают оценки пересекающихся фрагментов.


Slide94 l.jpg
Степени непротиворечивости АБС недетерм-ом свидетельстве

  • Интернальная: распределения вероятностей совпадают на конъюнктах, общих для двух или более ФЗ.


Slide95 l.jpg
Степени непротиворечивости АБС недетерм-ом свидетельстве

  • Глобальная: непротиворечив объемлющий фрагмент знаний.


Slide96 l.jpg
АБС: интернальная и глобальная непротиворечивость


Slide97 l.jpg
ААБС: интернальная и глобальная непротиворечивость

  • Ациклическая АБС, непротиворечивая интернально, глобально непротиворечива.


Slide98 l.jpg
ААБС: интернальная и экстернальная непротиворечивость

  • Экстернально непротиворечивая ациклическая АБС может быть интернально противоречивой.

  • Есть класс ациклических сетей, у которых из экстернальной непротиворечивости следует интернальная.


Slide99 l.jpg
Апостериорный вывод: свидетельства

  • Детерминированное свидетельство (и кортеж ДС);

  • Недетерминированное свидетельство (и кортеж НДС);

  • Недетерминированное свидетельство (и кортеж НДСН).



Slide101 l.jpg
Передача виртуального свидетельства между ФЗ


Slide102 l.jpg
Апостериорный вывод в ААБС свидетельства между ФЗ


Slide103 l.jpg
ПЛАН свидетельства между ФЗ

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide104 l.jpg
Байесовские сети доверия свидетельства между ФЗ

Основная цель байесовских сетей доверия, как и в случае АБС,— представление распределения вероятностей над переменными (возможно многозначными) в удобном для обработки и компактном виде.

В качестве такого представления выбран ациклический направленный граф с тензорами условных вероятностей.


Slide105 l.jpg
Простейшие БСД свидетельства между ФЗ


Slide106 l.jpg
БСД односвязная свидетельства между ФЗ


Slide107 l.jpg
БСД с допустимыми циклами свидетельства между ФЗ


Slide108 l.jpg
БСД с недопустимым циклом свидетельства между ФЗ


Slide109 l.jpg
Пример БСД свидетельства между ФЗ


Slide110 l.jpg
Типы связей в БСД свидетельства между ФЗ

а – последовательная связь;

б – расходящаяся связь; в – сходящаяся связь.


Slide111 l.jpg
Понятие свидетельства между ФЗd-разделимости

  • Два узла называются d-разделимыми, если любой путь между ними содержит последовательную или сходящуюся связь, в центральный узел которой поступило свидетельство, или расходящуюся связь, в центральный узел (и его потомки) которой не поступило свидетельство.


Slide112 l.jpg
Основное предположение свидетельства между ФЗ

  • d-разделенные узлы независимы.

  • Это предположение позволяет однозначно восстановить распределение вероятностей над всеми переменными.


Slide113 l.jpg
Несколько условий формально на примере нашей сети

  • p(u|t) × p(v|t) = p(uv|t)

  • p(t|uv) × p(w|uv) = p(tw|uv)

  • В такой форме эти предположения уже не кажутся столь очевидными


Slide114 l.jpg
Что нам дают такие предположения примере нашей сети

  • Независимость d-разделимых [переменных в узлах] позволяет выделить единственное распределение из всех, для которых подходят заданные условные вероятности.

  • Это единственное распределение -- произведение всех вероятностей, заданных в БСД (chain rule).


Chain rule l.jpg
Chain rule примере нашей сетидля нашего примера


Slide116 l.jpg
Но все же… примере нашей сети

  • Несмотря на указанную выше формализацию, методы работы с БСД позволяют использовать chain rule неявно.


Slide117 l.jpg
Первичная пропагация примере нашей сети

  • Вычисление вероятностей всех переменных (по отдельности), входящих в нашу сеть.


Slide118 l.jpg
Простейший (в лоб) алгоритм первичной пропагации

  • По определению условной вероятности:

  • Аналогично хочется поступить с остальными вероятностями.


Slide119 l.jpg
Алгоритм первичной пропагации для ациклических направленных графов

  • Очевидно, что в описанном выше примере нам в ходе вычисления p(w) потребуются вероятности именно в такой ситуации и требуется chain rule и понятие d-разделимости. В частности получаем, что p(uv|t) = p(u|t) ×p(v|t), аналогично для отрицания t и суммируем.


Slide120 l.jpg
Первичная пропагация, обобщенный алгоритм «на пальцах»

  • Если мы хотим вычислить вероятность какого либо узла, то мы должны просуммировать совместное распределение по означиванию всех остальных переменных (маргинализовать).

  • Но, так как все наше распределение разбивается на произведение достаточно простых, можно проводить суммирование по очереди по одной (иногда по нескольким) переменным за раз, при этом большая часть сомножителей не будет от них зависеть.


Slide121 l.jpg
Первичная пропагация связь простого и обобщенного алгоритмов

  • Простой алгоритм — это всего лишь удачный порядок суммирования для обобщенного алгоритма.

  • Обобщенный алгоритм понадобится при появлении свидетельств.

  • Для обобщенного алгоритма удобно определить на БСД структуру дерева смежности.


Slide122 l.jpg
Моральный граф простого и обобщенного алгоритмов

  • Моральным графом для БСД называется ненаправленный граф, в котором вершины те же, и две вершины соединены ребром, если они либо соседствуют, либо имеют общего сына в исходной БСД.


Slide123 l.jpg
Пример морального графа простого и обобщенного алгоритмов


Slide124 l.jpg
Если моральный граф триангулярен

  • То его можно разбить на клики, которые затем можно объединить в дерево смежностей (разными вариантами).

  • Каждая максимальная клика попадает в отдельный [соответствующий ей] узел дерева смежности.


Slide125 l.jpg
Если не триангулярен триангулярен

  • То придется его триангулировать.

  • Это требуется сделать, добавив, по возможности, «минимум» ребер.


Slide126 l.jpg
Дерево сочленений триангулярен


Slide127 l.jpg
Пропагация свидетельств триангулярен

  • Но главная задача БСД — это все-таки пропагация свидетельств (апостериорный вывод).

  • Иными словами, мы знаем апостериорные означивания нескольких узлов и хотим получить условную вероятность остальных.


Slide128 l.jpg
Переход к пропагации свидетельств

  • Мы умеем вычислять маргинальные вероятности.

  • Давайте в процессе вычисления в нужном месте «заменим» «настоящую» вероятность единицей или нулем в зависимости от свидетельства.

  • Это гарантирует, что мы получим правильные вероятности в тех узлах, что ниже.

  • Как же учесть влияние на предшествующие узлы?


Slide129 l.jpg
Алгоритм пропагации свидетельств, «на пальцах»

  • Мы поступим как в обобщенном алгоритме первичной пропагации

  • Для переменной, условную вероятность которой мы хотим получить, нам придется придумать хороший порядок маргинализации из совместного распределения.


Slide130 l.jpg
Дерево сочленений обеспечивает хороший порядок обхода (суммирования)


Slide131 l.jpg
Для нашего примера хороший порядок обхода (суммирования)


Slide132 l.jpg
Выгода считать все сразу хороший порядок обхода (суммирования)

  • Двукратный проход по дереву смежности дает нам все искомые вероятности.

  • Для вычисления одной вероятности можно пройти один раз (искомая помещается в вершину).


Slide133 l.jpg
Проблема направленного цикла хороший порядок обхода (суммирования)

  • Наличие направленного цикла в байесовской сети доверия приводит к тому, что chain rule не работает.

  • Но часто можно построить распределение, удовлетворяющее заданным условным вероятностям.

  • Такое распределение может быть не единственным: исходным данным может отвечать семейство распределений.


Slide134 l.jpg
Изолированный цикл с бинарными переременными

  • Условные вероятности задают ограничения на маргинальные вероятности.

  • Эти ограничения можно представить в виде системы линейных уравнений.


Slide135 l.jpg
Линейные уравнения, задаваемые изолированным циклом

,


Slide136 l.jpg
Линейные уравнения, задаваемые изолированным циклом,в матричном представлении

.


Slide137 l.jpg
Погружение во фрагмент знаний алгебраической байесовской сети


Slide138 l.jpg
Результат погружения алгебраической байесовской сети

  • Мы можем получить оценки (возможно интервальные) на всевозможные конъюнкции положительно означенных элементов.

  • Мы можем выяснить, что имеющиеся оценки не соответствуют аксиоматике вероятностной логики.


Slide139 l.jpg
Направленный цикл с потомками алгебраической байесовской сети

  • Потомок имеет одного родителя из цикла;

  • Потомок является сыном двух соседних узлов;

  • Потомок является сыном двух не соседних узлов;

  • Потомок является сыном трех и более узлов.


Slide140 l.jpg
Потомок имеет одного родителя из цикла

  • Мы уже получили точечные значения маргинальных вероятностей всех элементов цикла.

  • Маргинальная вероятность родителя, может быть рассмотрена как заданная изначально и обрабатываться традиционным для БСД способом.


Slide141 l.jpg
Потомок является сыном двух соседних узлов

  • Для двух соседних узлов нам полностью известно совместное распределение.

  • Данное распределение можно использовать для дальнейшей пропагации традиционным образом.


Slide142 l.jpg
Потомок является сыном двух несоседних узлов

  • Распределение над родительскими узлами можно найти с точностью до одного параметра.

  • Если зафиксировать этот параметр, то можно проводить обычную пропагацию.


Slide143 l.jpg
Потомок является сыном трех и более узлов

  • Сложности связаны с большим количеством параметров.

  • Параметры связаны друг с другом и не все их сочетания возможны.

  • Пропагация проводится с учетом этих параметров.

  • Может требовать решения ЗЛП.


Slide144 l.jpg
Учет влияния предков более узлов

  • Главная проблема – нельзя выписать систему линейных уравнений.

  • Причина – нельзя зная условную вероятность относительно двух узлов, редуцировать ее до условной вероятности одного из них.


Slide145 l.jpg
Путь решения более узлов

  • Можно зафиксировать все возможные означивания родителей.

  • Для каждого означивания мы получаем изолированный цикл.

  • Проводим обработку цикла и производим суммирование с учетом вероятности каждого конкретного означивания родителей.


Slide146 l.jpg
Проблема более узлов

  • Возможна ситуация, когда при одних означиваниях цикл непротиворечив, а при других противоречив.


Slide147 l.jpg
Возможное решение более узлов

  • Исключить «плохие» означивания родителей.

  • Пересчитать байесовскую сеть доверия с учетом «невозможных» состояний.



Slide149 l.jpg
ПЛАН более узлов

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide150 l.jpg
Базовые дисциплины более узлов

  • Математические

    • Математическая логика

    • Теория вероятностей

    • Экстремальные задачи

  • Информатика

    • Теория графов

    • Представление данных

    • Базы данных

  • Искусственный интеллект

    • Представление неопределенности

    • Логико-вероятностный вывод

    • Мягкие вычисления


Slide151 l.jpg
Особенности материала более узлов

  • Части материала «масштабируются» под нужды конкретного курса и конкретной аудитории;

  • В возникающих экстремальных задачах используются объекты, знакомые математикам (а не насильно заимствованные из экономики);

  • Много задач для программирования, удобно для организации семинаров и практикумов;

  • «Неисчерпаемая тематика» для курсовых и дипломных работ


Slide152 l.jpg
Полезные навыки более узлов

  • Для изучения математической статистики (и способов ее применения на практике);

  • Для дальнейшего овладения теорией надежности (структурно сложных систем в рамках ЛВМ и родственных ему)

  • Для освоения аппаратов небайесовских мер истинности


Slide153 l.jpg
ПЛАН более узлов

  • БС — что это

  • БС — праксис и генезис

  • Вероятностная логика

  • Фрагменты знаний (ФЗ)

  • Алгебраические байесовские сети

  • Байесовские сети доверия

  • БС — дидактическое применение

  • БС — монография


Slide154 l.jpg
Монография более узлов

  • Тулупьев А.Л., Николенко С.И., Сироткин А.В.

  • Байесовские сети: логико-вероятностный подход

  • СПб.: Наука, 2006

  • 607 стр.

  • ISBN 5-02-025107-0

  • Изд. грант РФФИ 06-01-14108


Slide155 l.jpg
Обложка более узлов


Slide156 l.jpg
Разворот обложки более узлов



Slide158 l.jpg
Мягкие вычисления ( более узловSC)

  • Консорциум вычислительных методологий, которые коллективно обеспечивают основы для понимания, конструирования и развития интеллектуальных систем

Заде Л.А. Роль мягких вычислений в понимании, конструировании и развитии информационных/интеллектуальных систем // Новости искусственного интеллекта. 2001. 2—3 (44—45).


Slide159 l.jpg
Мягкие вычисления: отрасли более узлов

  • Нечеткая логика (FL)

  • Нейровычисления (NC)

  • Генетические вычисления (GC)

  • Вероятностные вычисления (PC)

  • Рассуждения на базе свидетельств (ER)

  • [Байесовские сети](BN)

  • Хаотические системы (ChS)

  • Машинное обучение (ML)

Заде Л.А. Роль мягких вычислений в понимании, конструировании и развитии информационных/интеллектуальных систем // Новости искусственного интеллекта. 2001. 2—3 (44—45).



Slide161 l.jpg
Декомпозируемость знаний более узлов

  • Эксперт не мыслит о закономерностях предметной области как о «связи всего со всеми»

  • Выделяются фрагменты знаний (Knowledge patterns), которые содержат достаточно подробные сведения о небольшом числе объектов (или утверждений) о предметной области, а также о связях между ними


Slide162 l.jpg
Модель утверждения более узлов

  • Атомарная пропозициональная формула (булевская переменная, пропозициональная переменная, атомарная пропозиция) --- модель «атомарного» утверждения о предметной области

  • Пропозициональные формулы --- модели утверждений, возможно сложных, о предметной области


Slide163 l.jpg
Неопределенность более узлов

  • Почему возникает

    • Пропущенные наблюдения

    • Неточность средств измерения

    • Экспертные высказывания

    • Неудачные регистрационные формы

    • Частично незаполненное поле (только год в дате рождения)

  • Как проявляется

  • Нужно ли обрабатывать


Slide164 l.jpg
Виды неопределенности более узлов

  • Существует много видов, например

    • неоднозначность и многозначность слов;

    • возможность двух или более интерпретаций записи даже на формальном языке;

    • недетерминированность;

    • нечёткость (в т.ч. лингвистическая);

    • неточность (интервальные оценки);

    • недоопределённость...


Slide165 l.jpg
Неопределенность утверждения более узлов

  • Истинностное означивание и мера истинности

  • Мера истинности как степень доверия к утверждению

  • Мера истинности как степень тесноты связи между частями составной пропозициональной формулы

  • Возможные значения и оценки меры истинности


Slide166 l.jpg
Объект исследования более узлов

  • Высказывания, суждения, утверждения, представимые пропозициональными формулами над булевскими переменными;

  • Мера истинности которых характеризуется количественно с помощью вероятностных и/или небайесовских оценок;

  • Которые могут быть как точечные, так и интервальные [а в перспективе – твинные].


Slide167 l.jpg
Предмет исследования более узлов

  • Базы фрагментов знаний с неопределённостью;

  • Фрагмент знаний – некоторая [математическая] структура, состоящая из небольшого набора «тесно связанных» пропозициональных формул;

  • Мера истинности которых и теснота связи охарактеризована:

    • тензором условных вероятностей – БСД;

    • представлением тензора совместных вероятностей, допускающим точечные и интервальные оценки --- АБС;

    • [обобщение последнего на небайесовские меры истинности: нечёткую, доверия-правдоподобия, необходимости-возможности...]


Slide168 l.jpg
Логико-вероятностный подход (ЛВП)

  • Вероятностная мера как мера истинности

  • Точечные оценки значений вероятностной меры

  • Интервальные оценки значений вероятностной меры (как следствие неопределенности)

  • «Интервальная вероятность» и интервальная оценка вероятности

  • Единственность распределения и семейство распределений вероятности


Slide169 l.jpg
ЛВП --- богатая история (ЛВП)

  • G. Boole, “An Investigation of the Laws of Thought, on Which Are Founded the Mathematical Theories of Logic and Probabilities” (1854)

  • N. Nilsson, Probabilistic Logic (AI, 1986)

  • N. Nilsson, Probabilistic Logic Revisited (AI, 1993)

  • De Finetti, Whaley, Ramsay, …

  • Школа логико-вероятностных методов в теории надежности (рук. адм. И. А. Рябинин) --- важнейшие приложения ЛВП.


Slide170 l.jpg

Непротиворечивость (ЛВП)

Согласованность, согласуемость, программный код



Slide172 l.jpg
Программный код на (ЛВП)C++

for (i = 0; i < pow2(N); i++)

{

c.add(IloRange(env, 0.0, IloInfinity ));

for(j = 0; j < pow2(N); j++)

if (i & j = i)

{

//Проверка на четность количества 1 в i xor j.

if (parity(i ^ j)) {c[i].setCoef(x[j], 1)};

else {c[i].setCoef(x[j], -1)};

}

}


Slide173 l.jpg
Непротиворечивое распределение (ЛВП)

Мы будем говорить, что набор оценок

непротиворечив,

(является распределением вероятностей)

если он удовлетворяет условиям типа

.


Slide174 l.jpg
Фрагмент знаний (ЛВП)

Идеал конъюнктов:

Ограничения на вероятность истинности:

Эти ограничения будем обозначать .



Slide176 l.jpg
Непротиворечивость (согласованность) ФЗ

Фрагмент знаний непротиворечив, если

существует непротиворечивое распределение :


Slide177 l.jpg
Согласуемость ФЗ (согласованность) ФЗ

ФЗ называется согласуемым, если существует

хотя бы одно непротиворечивое распределение

такое, что


Slide178 l.jpg
Поддержание непротиворечивости (согласованность) ФЗ

Для того чтобы получить из согласуемого

ФЗ согласованный, требуется решить ряд задач

линейного программирования.

Для каждого по две:


Slide179 l.jpg

Байесовские сети доверия (согласованность) ФЗ

Дополнительные сведения


Slide180 l.jpg
Фрагменты знаний (согласованность) ФЗпервого порядка


Slide181 l.jpg
Фрагменты знаний (согласованность) ФЗвторого порядка


Slide182 l.jpg
Фрагменты знаний (согласованность) ФЗтретьего порядка


Slide183 l.jpg
Линейная цепь ФЗ (1) (согласованность) ФЗ


Slide184 l.jpg
Линейная цепь ФЗ (2) (согласованность) ФЗ


ad