Некоторые проблемы широкого внедрения онтологий в IT

1. Некоторые проблемы широкого внедрения онтологий в IT Евгений Михайлович Бениаминов http://beniaminov.rsuh.ru зав. кафедрой математики, логики и интеллектуальных систем Института лингвистики РГГУ Кафедра математики, логики и ИС, РГГУ 2008

2. Цель доклада • Охарактеризовать состояние и развитие систем онтологий в Веб с 1995 года; • Определить некоторые трудности внедрения и использования таких систем; • Определить некоторые направления развития систем и преодоления трудностей. Кафедра математики, логики и ИС, РГГУ 2008

3. Мое первое знакомство с онтологиями • Много лет назад я занимался алгебраическими моделями баз данных, и стало понятно, что схемы баз данных являются элементами особых структур, которые позже были названы онтологиями, и нужны специализированные системы, поддерживающие процессы формирования и отладки многомодульных библиотек онтологий. Я стал заниматься приложением математической теории категорий к моделированию онтологий и разработкой принципов построения системы формирования и отладки онтологий; • 10 лет назад Леонид Андреевич Калиниченко указал мне на систему Ontolingua – первую систему в Web для работы с онтологиями. С тех пор я с большим интересом слежу за этой темой. Кафедра математики, логики и ИС, РГГУ 2008

4. Онтологии • Онтологии представляют собой спецификации на формальном языке, в которых фиксируются договоренности группы специалистов о том, что как называется в их области и каким свойствам (соотношениям) удовлетворяет. • На логическом уровне каждой онтологии соответствует некоторая теория (сигнатура+аксиомы), а иногда и некоторая фиксированная модель (множества+операции). Вопросы к онтологии интерпретируются как запросы к соответствующей ей теории (модели). • Онтологии, как правило, строятся по модульному принципу: при определении новой онтологии могут использоваться уже ранее построенные онтологии. • Онтологии должны быть удобны для понимания специалистами и интерпретироваться системами при использовании. Кафедра МЛиИС РГГУ 2007

5. Простейшие онтологии – системы классификаций • Классификационные системы являются распространенными (но ограниченными) примерами онтологий. • Важность классификационных систем. Классификационные системы в медицине, биологии, общие (верхние) классификационные системы, рубрикаторы по областям знаний. • Protégé, как наиболее распространенный инструмент формирования классификационных онтологий. Кафедра математики, логики и ИС, РГГУ 2008

6. Онтологии, как микротеории • В общем случае в онтологии задаются имена классов, имена свойства, типы значений свойств, некоторые элементы классов, функции (операции) и отношения между классами и элементами, а также аксиомы, связывающие элементы онтологий. • Сложные онтологии строятся по модульному принципу. • Поддержка многоверсионности онтологий. • Тестирование и отладка онтологий. • Контекстность (взаимная противоречивость) онтологий. • Примеры онтологий: онтологии определений, схем БД и задач. • Логическая неполнота микротеорий, соответствующих онтологиям, как одно из основных свойств. Кафедра математики, логики и ИС, РГГУ 2008

7. Основные примеры серверов онтологий и систем, использующих онтологии в Веб • Cус – большой проект системы, основанный на знаниях. • Ontoligua – Web-сервер онтологий и ОКВС. • Инструменты для работы с онтологиями: Protégé, Chimaera. • The World FactBook – пример распределенной базы данных в Web, использующей онтологии. • Проект Semantic Web. • Системы, поддерживаемые DARPA. • Онтологии верхнего уровня и специализированные онтологии. • Корпоративные системы. Кафедра математики, логики и ИС, РГГУ 2008

8. Система Cyc • Cyc — это закрытый проект по созданию объёмной онтологической базы знаний, позволяющей программам решать сложные задачи из области искусственного интеллекта. Автор: Дуглас Ленат. Начало разработки: 1984 г. • На текущий момент база знаний Cyc содержит 2,2 миллиона утверждений (фактов и правил), описывающих более 250 тысяч термов, включая почти 15,000 предикатов. Модули представлены в виде микротеорий. • Имеется открытый фрагмент онтологии OpenCyc (http://www.opencyc.org/) и его представление в Web (http://www.cycfoundation.org/concepts). Кафедра математики, логики и ИС, РГГУ 2008

9. Система Ontolingua • Web-сервер Ontolingua для хранения онтологий и межмашинного обмена онтологиями разработан в 1995 г.лабораторией KSL Стэнфордского университета. • Большая библиотека онтологий в открытом доступе для произвольных пользователей представлена на станице: http://www.ksl.stanford.edu/software/ontolingua/ • Интересные демонстрационные примеры применения системы указаны на странице: http://www.ksl.stanford.edu/htw/htw-demos.html В этих примерах показывается, как строятся онтологии задач на основании библиотек онтологий из различных областей знаний. Кафедра математики, логики и ИС, РГГУ 2008

10. The World FactBook • The World FactBook – пример распределенной базы данных в Web, использующей онтологии. • Данные The World FactBookформируются Central Intelligence Agency US для правительства США на основании различных источников и баз данных. При интеграции баз данных используются онтологии. • В The World FactBook представлена географическая, демографическая, историческая и экономическая информация о странах мира. • The World FactBook представлена по адресу: https://www.cia.gov/library/publications/the-world-factbook/index.html Кафедра математики, логики и ИС, РГГУ 2008

11. Проект Semantic Web • Владимир Федорович Хорошевский сделал подробный доклад на эту тему. • Особо в этой теме следует обратить внимание на стандарты языков представления онтологий: OWL Lite; OWL DL; OWL Full; языка запросов SPARQL и языка правил SWRL. Кафедра математики, логики и ИС, РГГУ 2008

12. Системы, поддерживаемые DARPA • Многие системы, работающие с онтологиями (включая перечисленные ранее), поддерживаются DARPA и созданы благодаря финансированию в больших размерах. • Некоторые системы частично открывают и переводят на коммерческую основу, например Cyc. • Особое внимание уделяется обеспечению взаимодействия систем в Интернет и стандартам межмашинного взаимодействия (KIF, OWL). Кафедра математики, логики и ИС, РГГУ 2008

13. Инструменты для работы с онтологиями: Protégé и Chimaera • Protégé первоначально разрабатывалась в КSL Стэнфордского университета, как программное инструментальное средство для формирования словарей в области медицины. Оно оказалось полезным для применений и в других областях. • Protégé 2000 разработана для работы в Web – браузерах. В настоящее время она читает и формирует OWL-файлы. На конференции в Будапеште (июль 2007г.) определены проблемы и некоторые направления развития Protégé (http://protege.stanford.edu/conference/2007/schedule.html). • Система Chimaera (также разработка подразделения КSL Стэнфордского университета ) предназначена для программной поддержки процесса объединения больших онтологий. Кафедра математики, логики и ИС, РГГУ 2008

14. Другие примеры разработок онтологий • Онтологии верхнего уровня: DOLCE, BFO, WordNet, SUMO. http://en.wikipedia.org/wiki/Upper_ontology_(computer_science) • Специализированные онтологии.Примеры: http://protegewiki.stanford.edu/index.php/Protege_Ontology_Library • Онтологии в корпоративных системах. Кафедра математики, логики и ИС, РГГУ 2008

15. Онтологии в корпоративных системах В больших корпоративных системах онтологии используются в трех целях: • для унификации ведущихся в корпорации документов и сбора на их основе данных для ввода в базу данных корпорации; • для представления и организации метаинформации в системах типа «хранилища данных» с целью использования ее при формировании запросов для экономического анализа данных работы корпорации; • для ведения, поиска и организации нормативно-справочной информации. В некоторых больших российских корпорациях, например, «Интегра», «Татнефть», «Норникель», «Сибур», ТНК-ВР, также уже созданы и используются онтологии для нормативно-справочной информации (фирма проектировщик: НЦИТ ИНТЕРТЕХ, система ONTOLOGIC). Онтологии в СУБД: Oracle® Database Semantic Technologies Developer's Guide http://download-uk.oracle.com/docs/cd/B28359_01/appdev.111/b28397/toc.htm Кафедра математики, логики и ИС, РГГУ 2008

16. Причины медленного внедренияпроектов, использующих онтологии: • Сложность и техничность языков представления онтологий. • Массового использования онтологий нет, так как пользователи не видят непосредственного эффекта от их использования (в отличие от использования, например, HTML и XML). Кафедра математики, логики и ИС, РГГУ 2008

17. Проблемы формирования и использования библиотек онтологий: • Так как онтология есть фиксация в формальном виде договоренностей группы специалистов в определенной области о системе используемых ими понятий, их свойствах и аксиомах, то каждая система онтологий имеет смысл только для группы людей, принимающих эти договоренности (социальный характер онтологий). • Так как науки и представления в областях знаний меняются, то в компьютерных системах онтологий требуются средства поддержки целостности и версионности онтологий при изменениях и постепенном накоплении онтологий. • Так как в онтологиях фиксируются договоренности специалистов, представлять онтологии должны специалисты в предметных областях. Поэтому язык представления онтологий должен быть удобен для этих специалистов. Заметим, что в каждой области знания при формировании понятий этой области формируются специализированные языки для работа с этими понятиями. Поэтому язык представления онтологий должен быть открытым для пользователей. При этом внутреннее представление онтологий должно быть стандартизованным для компьютерного использования и межмашинного обмена. Кафедра математики, логики и ИС, РГГУ 2008

18. Проблемы реализации • Большие онтологии и большие библиотеки онтологий. • Формирование сложных систем онтологий требует соответствующих средств опробования и отладки онтологий. • Для сложных онтологий полностью отделить непроцедурные и процедурные знания не удается (эффективность использования онтологий, прагматика). • Поддержка модульности построения онтологий и использования библиотек онтологий. Контекстность онтологий (взаимная противоречивость различных онтологий). Целевое создание и многоцелевое, многоразовое использование. • Проблема интеграции онтологий, представленных на разных языках в разных логиках и моделях. Кафедра математики, логики и ИС, РГГУ 2008

19. Предлагаемые направления для преодоления трудностей внедрения онтологий: • Использование Web 2.0-технологии для создания социальных сетей и сред в Web, наполняемых самими пользователями (пример – Wikipedia), но для онтологий. • Открытый язык представления онтологий для пользователя и стандартный для внутреннего представления. • Предоставление пользователям Web удобных средств модульного (с использованием чужих модулей) формирования внутреннего (семантического) представления данных своих страниц и языка запросов к странице. • Алгебраический подход к моделированию онтологий, как средство для интеграции разнородных онтологий. Кафедра математики, логики и ИС, РГГУ 2008

20. Новая функциональность (Web-сервис) на страницах Web и онтологии • Поддержка новой функциональности: построение ответов на вопросы к тексту страницы, требует представления семантики текста с использованием онтологий и фиксации языка вопросов для данного класса страниц. • Эта же функциональность требует разработки удобных сред, в которых пользователи могли бы создавать такие страницы и разрабатывать формальные языки запросов к ним. Кафедра математики, логики и ИС, РГГУ 2008

21. Semantic Wiki • Это новое направление, которое вобрало в себя идеи Semantic Web, но дополнило идеями Wiki: http://en.wikipedia.org/wiki/Semantic_wiki • Wikipedia – достижение современности. Достоинства технологий Wikipedia для создания и использования библиотек онтологий: социальность и шаблонность. • Семантическая разметка страниц и язык запросов в Wiki: http://semantic-mediawiki.org/wiki/Semantic_MediaWiki • Запросы на естественном языке: http://trueknowledge.com Кафедра математики, логики и ИС, РГГУ 2008

22. Гипотетический пример использования онтологий в Wiki • Создание семантически размеченной страницы-шаблона «Person». • Создание дополненной страницы-шаблона правители России. • Создание дополненной страницы «Правитель из династии Романовых». • Создание страницы «Родственные отношения» на основе онтологии «Реrsons», с шаблонами и формулами запросов: «брат», «сестра», «дядя»… • Создание страницы «Престолонаследник». • Создание страницы «Династия Романовых», часть которой заполняется ответом на запрос. Язык запросов этой страницы. Кафедра математики, логики и ИС, РГГУ 2008

23. Выводы • Онтосистемы и онтопроекты создаются и развиваются уже более 10 лет. Успех и значимость этого направления очевидны. • Однако, темп внедрения онтотехнологий всееще невелик. Пока практические успехи получены при финансовой поддержке государственных органов, либо внутри больших корпораций. • Для широкого внедрения онтотехнологий предлагается строить онтосистемы с использованием следующих трех принципов. Кафедра математики, логики и ИС, РГГУ 2008

24. Три принципа построения новых баз онтологий • Онтологии строятся в стиле Wikipedia с поддержкой модульности, коллективной работы, версий и системы согласований; • В системе поддерживается среда открытого языка работы с онтологиями, который формируется самими пользователями, по мере пополнения базы онтологий. • Вместе с текстом страницы и онтологии в системе формируется внутреннее представление онтологии, которое используется при семантическом анализе выражений языка, при формировании ответов на запросы к онтологии и ее отладке, при межмашинном обмене онтологиями в некотором стандарте и при использовании онтологий в приложениях. Кафедра математики, логики и ИС, РГГУ 2008

25. Цели нового проекта • Разработать среду в Интернет, в которой произвольные пользователи могут коллективно наполнять систему своими онтологиями и формировать свои языки для представления онтологий и работы с ними. • Эта система должна использовать опыт систем: Wikipedia,Ontolingua, Mathematica (по разным качествам). • Разработка открытого проекта: http://ezop-project.wiki.sourceforge.net/ Кафедра МЛиИС РГГУ 2007

26. Особенности системы • Интеграция свойств систем-аналогов в одной системе. • Разработка системы на основе технологии Web 2.0 • Основное отличие разрабатываемой системы от систем подобного рода, например системы Ontolingua (см. www.ksl.stanford.edu), состоит в возможности подстройки языка системы к языку представляемой области знаний по мере пополнения библиотеки онтологий онтологиями и языковыми шаблонами этой области знаний. • Грамматические правила вводятся в онтологиях, хранятся отдельно от универсальной программы грамматического анализа. Язык контекстен (видимость правил зависит от текущей, загруженной онтологии). Семантические ограничения правил грамматики проверяются по внутреннему представлению текущей онтологии. Кафедра математики, логики и интеллектуальных систем ИЛ РГГУ

27. Онтологии • Онтологии представляют собой спецификации на формальном языке, в которых фиксируются договоренности группы специалистов о том, что как называется в их области и каким свойствам удовлетворяет. • На логическом уровне каждой онтологии соответствует некоторая теория (сигнатура+аксиомы), а иногда и некоторая фиксированная модель (множества+операции). Вопросы к онтологии интерпретируются как запросы к соответствующей ей теории (модели). • Онтологии строятся по модульному принципу: при определении новой онтологии могут использоваться уже ранее построенные онтологии. • Онтологии должны быть удобны для понимания специалистами и интерпретироваться системами при использовании. Кафедра МЛиИС РГГУ 2007

28. Структура системы Сервер Удаленные пользователи Базы онтологий (понятий) Клиентская часть ЭЗОП Клиентская часть ЭЗОП База данных «Пользователи, сеансы» Клиентская часть ЭЗОП Кафедра математики, логики и ИС, РГГУ 2008

29. Функции проектируемой системы при работе с библиотекой онтологий • Регистрация пользователей и их прав доступа. • Поддержка процессов многопользовательского ведения, поиска и просмотра баз онтологий, самих онтологий и их версий. Возможность удаления неиспользуемых версий онтологий. • Поддержка процессов формирования, ведения, поиска и просмотра словарей языков системы. • Загрузка онтологий в качестве текущих для пользователя, к которым пользователь может обращаться с вопросами. Текущая онтология определяет свой язык вопросов. Система представляет полную контекстную информацию о языке, доступном из текущего понятия. Эти пункты являются стандартными для Web 2.0 технологийи могут быть разработаны ее инструментами (например,Drupal или Wiki) • Работа пользователя с текущей онтологией. Кафедра математики, логики и ИС, РГГУ 2008

30. Функции системы при работе с текущей онтологией • Просмотр текста текущей онтологии, ее среды, текстов онтологий, используемых в текущей онтологии. • Система представляет полную контекстную информацию о языке, доступном из текущего понятия, и поддерживает процесс формирования пользователем вопросов к текущему понятию. • Синтаксический анализ текста вопроса на основании грамматики и семантики, связанной с текущим понятием. Диагностика ошибок. Формирование и представление ответа на вопрос на основе внутреннего представления семантики текста онтологии, написанном на формальном открытом языке представления онтологий. • Формирование новых онтологий в среде любой онтологии и редактирование старых с поддержкой версий онтологий. Онтология-среда определяет язык среды, на котором формируется новая онтология и видимость онтологий-модулей, которые могут использоваться при построении новой онтологии. Система обеспечивает загрузку копий онтологий-модулей в текущую онтологию при обращении к ним средствами языка. • Проверка корректности текста новой или отредактированной онтологии. Диагностика ошибок. Формирование внутреннего представления семантики онтологии. Локальное изменение словаря и грамматики системы по ее тексту. • Сохранение новой онтологии (с новым именем) или новой версии текущей онтологии в базе онтологий с внесением соответствующих изменений в словари системы. Кафедра математики, логики и ИС, РГГУ 2008

31. База онтологий • Система предназначена для работы со специализированными базами (библиотеками) онтологий . • База онтологий - это организованная совокупность онтологий предметной области. • Каждая онтология имеет наименование, текст онтологии, внутреннее представление. Кроме того, в онтологии могут быть введены шаблоны языка, с помощью которых пользователь может работать с онтологиями, и правила переписывания, по которым система может обрабатывать элементы онтологии при вычислениях. • Онтологии связываются в базе онтологий отношением использования одной онтологии в другой и его частными случаями: отношения общее-частное между онтологиями; онтология, разработанная в среде другой онтологии. • В системе должна поддерживаться режимы коллективной разработки отологии и многоверсионности Кафедра математики, логики и интеллектуальных систем ИЛ РГГУ

32. Структура базы онтологий База онтологий (имя) Словарь шаблонов Отношение использования Онтология_1 Шаблон 1 ... … Онтология_N … Фрагменты задач Введен в онтологии Схемы вопросов Шаблон_К Хранится в папке Папка - подпапка Разделы, папки Кафедра математики, логики и ИС, РГГУ 2008

33. Структура онтологии Кафедра математики, логики и ИС, РГГУ 2008

34. Состояние разработки • Разработана (дипломная работа А. Зайцевой) экспериментальная версия сервера онтологий в технологии Web 2.0 с использованием средств: Apache+MySQL+Drupal. • Разработано (дипломная работа А. Кальченко) Web-приложение для работы с текущими онтологиями. • Разработаны ядро языка системы и примеры онтологий, демонстрирующие возможности системы: модульность представления знаний, проверка синтаксической и семантической корректности текстов онтологий, вычисление в онтологиях и настройка языка для конкретных приложений. Кафедра МЛиИС РГГУ 2007