Извлечение ключевых объектов веб-страниц

1. Извлечение ключевых объектов веб-страниц Михаил Обухов, Дмитрий Вихарев

2. Что улучшаем? Ответы на запросы

3. Разбираем запрос смотреть Доктор Хаус онлайн без СМС Контекст Смотреть онлайн без СМС Доктор Хаус Объект

4. Что такое объекты? • Названия • Организаций • Фильмов • Программ • Песен • Музыкальных групп • … • Имена людей • и т.д. (именованные сущности) Пираты карибского моря Москва Mail.RU Джонни Депп ФоррестГамп

5. Что такое контексты? • Остальная часть запроса • Примеры: Купить<товар> Смотреть<фильм>онлайн бесплатно <известный человек>биография Рецепт <блюдо>

6. Что у нас есть Запросы Страницы http://www.ashmanov.com/arc/aiconf2012/15-obuhov-ai-conf2012.pptx JSD: Jensen-Shanon Divergence

7. Извлечение объектов из запросов Контексты Страницы Объекты Запросы

8. Структура сайта

9. Шаблоны http://kino.ru/movie/[\d+]/ ФИЛЬМ- фильмы ФИЛЬМ В ролях: … Описание: … Комментарии:

10. Извлечение структуры сайта Фильм<название> <название> Трейлер … Фото<название> <название> Постер Обои <название> … Объекты Контексты Страницы

11. Промежуточный результат Объект Объект В ролях: … http://kino.ru/movie/photo/[\d+]/ http://kino.ru/people/[\d+]/ http://kino.ru/movie/[\d+]/ • смотреть <фильм>онлайн • <фильм>без СМС • <фильм>в хорошем качестве • … • биография <актер> • <актер>фото • <актер>фильмы • … • кадры из <фильм> • <фильм>моменты • <фильм>обои • …

12. Контекст • (что хочет пользователь): • смотреть *онлайн • смотреть * без регистрации • * онлайн в хорошем качестве • … смотреть Доктор Хаус онлайн без СМС • URLы • (где лежит): • kino.ru/film/178710/ • kino.ru/film/474/ • kino.ru/film/301/ • … Объекты (кинофильмы): Доктор Хаус Гладиатор Матрица …

13. Контекст 50 пар [Объект –URL] Подготовка «выдергивателей» Контекст 50 пар [Объект –URL] Контекст 50 пар [Объект –URL] Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты «Выдергиватели» Интересные сайты и «Выдергиватели» (для них) База (будущий индекс) Эталонные объекты Объект + URL «Гладиатор»

14. http://kino.ru/movie/165650/ Матрица - фильмы Матрица В ролях: … Описание: снятый братьями Вачовски … Матрица… широко применяются в математике для компактной записи СЛАУ… Комментарии: … Матрица … … Матрица … … Матрица … … Матрица … …

15. Матрица - фильмы <div class="g-full-col clearfix"> <div class="g-one-col g-wrapper"> <div class="b-object-summary"> <div class="b-object-header"> <p class="object-type">Фильм</p> <h1>Матрица</h1> <p class="orig-name">The Matrix</p> </div> Матрица В ролях: … Описание: снятый братьями Вачовски … Матрица… широко применяются в математике для компактной записи СЛАУ… …<div><div><p></p><h1>*</h1><p></p></div>… Комментарии: «Выдёргиватель» … Матрица … … Матрица … … Матрца … … Матрица … …

16. Гладиатор- фильмы Матрица - фильмы Терминатор - фильмы Гладиатор Матрица Терминатор В ролях: … В ролях: … В ролях: … Описание: Гладиатор.. Описание: … Матрица … Описание: … Комментарии: Комментарии: Комментарии: … Гладиатор… … Матрица … … Матрица … … Терминатор … …<div><div><p></p><h1>*</h1><p></p></div>… …<div><div><p></p><h1>*</h1><p></p></div>… …<div><div><p></p><h1>*</h1><p></p></div>… …<div><div><p></p>*<p></p></div>… …<div><ul><li></li>*<li></li></ul>… …<div><ul><li>*</li></ul>… Наиболее часто встречающиеся: Для: http://kino.ru/ …<div><div><p></p><h1>*</h1><p></p></div>… <div><div><p></p><h1>*</h1><p></p></div> …<div><div><div><p></p><h1>*</h1><p></p></div></div>… …<div><div><p></p><h1>*</h1><p></p></div>… «Выдёргиватели» Наибольшие общие подстроки

17. Гладиатор- фильмы Матрица - фильмы Терминатор - фильмы Гладиатор Матрица Терминатор В ролях: … В ролях: … В ролях: … Описание: Гладиатор.. Описание: … Матрица … Описание: … Комментарии: Комментарии: Комментарии: … Гладиатор… … Матрица … … Матрица … … Терминатор … <div><ul><li></li>*<li></li></ul> ФИЛЬМ- фильмы ФИЛЬМ <div><div><p></p><h1>*</h1><p></p></div> В ролях: … Описание: … Комментарии:

18. http://kino.ru/movie/168031/ http://kino.ru/people/289355/ http://kino.ru/movie/photo/168031/ http://kino.ru/movie/167325/ http://kino.ru/people/289212/ http://kino.ru/movie/photo/167325/ http://kino.ru/movie/165650/ http://kino.ru/people/287180/ http://kino.ru/movie/photo/165650/ Кеану Ривз - актеры Матрица - фильмы Терминатор - кадры Кеану Ривз Матрица Терминатор В ролях: … В ролях: … В ролях: … Описание:КеануРивз. Описание: … Матрица … Описание: … Комментарии: Комментарии: Комментарии: … Кеану Ривз … … Матрица … … Матрица … … Терминатор … Фильмы: Актеры: Кадры из фильма: http://kino.ru/movie/photo/[\d+]/ http://kino.ru/people/[\d+]/ http://kino.ru/movie/[\d+]/

19. Матрица - фильмы Матрица Матрица смотреть … Матрица Матрица Матрица В ролях: … В ролях: … Описание: … Матрица … Комментарии: … Матрица … … Матрица … Эталонные объекты

20. Подготовка «выдергивателей» Контекст 50 пар [Объект –URL] Контекст 50 пар [Объект –URL] Матрица Матрица Комментарии: Матрица

21. Контекст (что хочет пользователь): смотреть *онлайн смотреть Доктор Хаус онлайн без СМС Объект (кинофильм): Доктор Хаус http://kino.ru/[\d+]-[\w+]-[\d+]-sezon.html/ http://kino.ru/25712-doktor-khaus-5-sezon.html/ Доктор Хаус смотреть … Доктор Хаус URL Доктор Хаус

22. Результаты: Точность: 99.9%

23. СПАСИБО! ВОПРОСЫ? Михаил Обуховobuhov@corp.mail.ru Дмитрий Вихарев d.vikharev@corp.mail.ru