Автоматическая рубрикация текстов

1. Автоматическая рубрикация текстов Text categorization Manning и др. Введение в информационный поиск гл. 13, 14

2. Задачи классификации

3. Рубрикация текстов • Классификация/рубрикация информации – отнесение порции информации к одной или нескольким категориям из конечного множества рубрик • Применение: • Навигация по коллекции документов • Поиск информации • Замена сложного запроса • Иерархическое упорядочение знаний предметной области • Анализ распределения документов по тематике • Фильтрация потока текстов: • Тематический сбор новостей • Персонализированная фильтация потока текстов • Фильтрация спама • Тематический сбор информации из интернет

4. Примеры рубрикаторов • Каталог Интернет-сайтов: Open Directory Project – dmoz.org • 4,830,584 sites, 75,151 editors, over 590,000 categories • Сетевая структура, ссылки между рубриками

5. Каталог Яндекс – Фасетная классификация • Тематическая • Иерархическийклассификатор, имеет порядка 600 значений и описывает предметную область интернет-ресурса • Регион • 230 географических областей. Определяется географическим расположением представляемого объекта, сферой управления и влияния, потенциальной аудиторией информации или информационным содержанием ресурса • Жанр • художественная литература; научно-техническая литература; научно-популярная литература; нормативные документы; советы; публицистика • Источник информации • Официальный, СМИ, Неформальный, Персональный Анонимный • Адресат информации • Партнеры, Инвесторы, Потребители, Коллеги • Сектор экономики • Государственный, Коммерческий, Некоммерческий

6. Рубрикатор нормативно-правовых актов • Президентский классификатор (Указ №511 15.03.2000) • Иерархия рубрик - 1168 рубрик • Все НПА рубрицируются экспертами в обязательном порядке

7. Методы рубрицирования текстов • Ручное рубрицирование • Полуавтоматическое • Автоматическое • Инженерный подход (=методы, основанные на знаниях, экспертные методы) • Методы машинного обучения

8. Тестирование автоматической рубрикации: ТочностьPи полнотаR • P = TP / ( TP + FP) • R = TP / ( TP + FN) 8

9. Комбинированная мера: F 9

10. Усреднение: Micro vs. Macro • Посчитали меру оценки (F1) for one class. • Как агрегировать оценки F1 для многих классов. • Macroaveraging - макроусреднение • ПосчитатьF1для каждого изCклассов • Среднее арифметическое для этих Cчисел • Microaveraging - микроусреднение • Посчитать TP, FP, FN для каждого из C classes • Суммировать эти С чисел для каждого показателя • ПосчитатьF1для суммированных TP, FP, FN 10

11. Коллекция и рубрикатор Reuters для тестирования автоматического рубрицирования • Более 21 тысячи информационных сообщений из области биржевой торговли и слияния предприятий • Массив разделен на две части: документы для обучения, документы для тестирования • Большинство текстов имеют рубрики, проставленные людьми • Основные рубрики: 135 без иерархии • Примеры рубрик: Золото (товар), Свинец (товар), Кофе и др. товары, Торговля • Средняя длина текста - 133 слова

12. Ручное рубрицирование • Высокая точность рубрицирования • Обычно процент документов, в которых проставлена явно неправильная рубрика, чрезвычайно мал(если работают специалисты) • Могут быть существенные различия между специалистами в рубрицировании близких документов • Низкая скорость обработки документов • Используется: • Парламентские службы, • Looksmart, about.com, ODP, PubMed • Библиотеки (УДК)

13. Автоматическая рубрикация:Инженерный подход • Основное предположение: рубрикатор создается осмысленно, содержание рубрики можно выразить ограниченным количеством понятий в виде формулы • Эксперты описывают смысл рубрики в виде булевских выражений, правил продукции • Construe system (Hayes) • Reuter news story • 674 рубрики: 135 тематических рубрик + география… • 4 человеко-года • 94 % полноты и 84 % точности на 723 текстах

14. Reuters: пример описания рубрики if (wheat & farm) or (wheat & commodity) or (bushels & export) or (wheat & tonnes) or (wheat & winter and (¬ soft)) then WHEAT else (not WHEAT)

15. Автоматическая рубрикация: Методы машинного обучения • Имеется коллекция отрубрицированных людьми текстов. • Для каждой рубрикиимеется множество положительных и отрицательных примеров

16. Методы машинного для задачи автоматической рубрикации • Метод Байеса (Naive Bayes ) • Метод Roccio • Метод ближайшего соседа (k-Nearest Neighbors – knn) • Метод опорных векторов (Support-vector machines – SVM) • !!Должно быть размечено достаточное количество данных.

17. Классификаторы на основе пространства векторов

18. Векторная модель • Преобразование множества текстов в векторы пространства Rn • Пословная модель – bag of words • Удаление стоп-слов (предлоги, союзы…), которые заданы списком • Приведение к нормальной морфологической форме (stemming, лемматизация – приведение к словарной форме) • Определение весов слов • Построение вектора слов документа

19. Вычисление весов слов • Частота встречаемости слова в документе • Количество документов коллекции, содержащих данное слово • Длина документа, средняя длина документов коллекции • => формулаTF*IDF tfD(t) = freqD(t) idf(t) = log(|c|/df(t))

20. Классификация на основе пространства векторов • Документы – вектора, точки в векторном пространстве • Предположения: • Документы одного класса находятся в одной области пространства • Документы из разных классов находятся в непересекающихся областях • Таким образом: нужно найти разделяющую поверхность

21. Sec.14.1 Документы в векторном пространстве Government Science Arts 21

22. Sec.14.1 Документ относится к какому классу? Government Science Arts 22

23. Sec.14.1 Тема документа - Правительство Верна ли гипотеза Government Science Arts Как найти хорошие разделяющие поверхности? 23

24. Положительные и отрицательные примеры: как лучше отделить

25. Метод Rocchio в автоматической рубрикации Manning et al. Introduction to information retrieval Гл. 14

26. Метод Rocchio(relevance feedback) • Применяется для расширения запроса пользователя • Пользователь задает запрос • Система выдает документы • Пользователь отмечает релевантные (нерелевантные) документы • Слова из релевантных документов вносятся в запрос • Имеющиеся примеры для рубрики – это как бы релевантные документы

27. Sec. 9.1.1 Начальный запрос/результаты + + + • Initial query: New space satellite applications 1. 0.539, 08/13/91, NASA Hasn’t Scrapped Imaging Spectrometer 2. 0.533, 07/09/91, NASA Scratches Environment Gear From Satellite Plan 3. 0.528, 04/04/90, Science Panel Backs NASA Satellite Plan, But Urges Launches of Smaller Probes 4. 0.526, 09/09/91, A NASA Satellite Project Accomplishes Incredible Feat: Staying Within Budget 5. 0.525, 07/24/90, Scientist Who Exposed Global Warming Proposes Satellites for Climate Research 6. 0.524, 08/22/90, Report Provides Support for the Critics Of Using Big Satellites to Study Climate 7. 0.516, 04/13/87, Arianespace Receives Satellite Launch Pact From Telesat Canada 8. 0.509, 12/02/87, Telecommunications Tale of Two Companies • User then marks relevant documents with “+”.

28. Sec. 9.1.1 Расширенный запрос после учета слов в релевантных документах 2.074 new 15.106 space 30.816 satellite 5.660 application 5.991 nasa 5.196 eos 4.196 launch 3.972 aster 3.516 instrument 3.446 arianespace 3.004 bundespost 2.806 ss 2.790 rocket 2.053 scientist 2.003 broadcast 1.172 earth 0.836 oil 0.646 measure

29. Sec.14.2 ИспользованиеRocchio для классификации текстов Для документов в каждой категории вычисляем вектор-прототип: суммируем вектора всех примеров документов в категории Прототип = центроид документов категории где Dc – множество документов, отнесенных к категории С, v(d) - векторное представление документа Присваиваем тестовым документам категорию ближайшего по косинусной мере вектора-прототипа 29

30. Sec.14.2 Иллюстрация метода Rocchio 30

34. Sec.14.2 Аномалия метода Rocchio Prototype models have problems with polymorphic (disjunctive) categories. 34

35. Sec.14.2 Свойства метода Rocchio Формирует простое обобщение примеров в данном классе (прототип). Вектор прототипа не нужно нормализовывать по длине, поскольку косинусная близость нечувствительна к длине вектора Классификация основана на сходстве с векторами-прототипами Не гарантируется, что классификации буду хорошо соответствовать обучающим данным Мало используется вне текстовой классификации - но может быть вполне эффективным при классификации текстов Дешевый метод для обучения и тестирования классификации 35

36. Метод ближайших соседей(KNN)

37. Sec.14.3 Метод k ближайших соседей kNN = k Nearest Neighbor Чтобы классифицировать документ в класс c: определяемk-ближайших соседей документаd Для каждого класса С вычисляем количество документов i среди соседей, которые принадлежат С Оцениваем P(c|d) as i/k Выбираем класс: argmaxc P(c|d) [ = majority class] 37

38. Sec.14.3 Пример: k=6 (6NN) P(science| )? Government Science Arts 38

39. Sec.14.3 Алгоритм: k ближайших соседей Использование только одного ближайшего соседа (1NN) ведет к ошибкам из-за: нетипичных примеров ошибок в ручной привязке единственного обучающего примера. Более устойчивой альтернативой является kнаиболее похожих примеров и определение большинства Величина k is типично нечетная: 3, 5 (наиболее распространенные величины) 39

40. Sec.14.3 kNN границы классов Boundaries are in principle arbitrary surfaces – but usually polyhedra Government Science Arts kNN gives locally defined decision boundaries between classes – far away points do not influence each classification decision (unlike in Naïve Bayes, Rocchio, etc.) 40

41. Sec.14.3 Иллюстрация 3NN для текста в векторном пространстве 41

42. 3 NN vs. Rocchio Ближайшие соседи справляются с полиморфными категриями лучше, чем Rocchio 42

43. Линейные классификаторы. Классификатор SVM

44. Sec.14.4 Линейные классификаторы Проблема разделения документов на 2 класса например, government and non-government one-versus-rest классификация Как правильно определить разделяющую поверхность Как решить, к какой области относится тестовый документ? 44

45. Sec.14.4 Разделение гиперплоскостями Сильное предположение – линейная разделимость (linear separability): в двух измерения – линия В больших измерениях – гиперплоскость Сепаратор может быть выражен какax + by = c 45

46. Ch. 15 Линейные классификаторы: Какая гиперплоскость? Множество возможностей дляa, b, c. Некоторые методы ищут разделяющую гиперплоскость, но не оптимально Метод опорных векторов (SVM) находит оптимальное решение Максимизирует расстояние между гиперплоскостью и трудными точками, близкими к границе раздела Интуитивно: если нет точек около границы раздела, то нет и сложных (неопределенных) примеров This line represents the decision boundary: ax+ by− c = 0 46

47. Sec. 15.1 Другая интуиция С «толстым сепаратором» меньше вариантов поворота 47

48. Sec. 15.1 Метод опорных векторов (SVM) SVMs maximize the margin around the separating hyperplane. A.k.a. large margin classifiers The decision function is fully specified by a subset of training samples, the support vectors. Solving SVMs is a quadratic programming problem Currently widely seen as as the best text classification method. Support vectors Maximizes margin Narrower margin 48

49. Sec. 15.2.4 Результаты на коллекции Reuters 49

50. Байесовская классификация. • Наи́вный ба́йесовский классифика́тор — простой вероятностный классификатор, основанный на применении Теоремы Байеса со строгими (наивными) предположениями о независимости. • Абстрактно, вероятностная модель для классификатора — это условная модель