1 / 26

Wyszukiwanie informacji

Uniwersytet Łódzki Katedra Informatyki. W. Bartkiewicz. Wyszukiwanie informacji. Wykład 2c. Katedra Informatyki. Grupowanie dokumentów.

tanaya
Download Presentation

Wyszukiwanie informacji

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Uniwersytet Łódzki Katedra Informatyki W. Bartkiewicz Wyszukiwanie informacji Wykład 2c.

  2. Katedra Informatyki Grupowanie dokumentów • Grupowanie (analiza skupień, klasteryzacja) – ang. clustering – proces podziału zbioru obiektów na klasy (grupy, skupienia, klastry, kategorie) obiektów podobnych. • Obiekty wewnątrz tej samej klasy powinny być jak najbardziej podobne. • Obiekty różnych klas powinny jak najbardziej różnić się między sobą. • W IR grupujemy zazwyczaj dokumenty lub termy, czasami zapytania. • W przeciwieństwie do klasyfikacji jest to proces nienadzorowany – nie mamy zbioru przykładów ze wstępnie określonymi kategoriami. • Grupowanie polega na analizie zależności między obiektami w zbiorze surowych danych. • Proces grupowania zazwyczaj opiera się na porównywaniu parami obiektów przy wykorzystaniu miar podobieństwa (odległości). • Porównywanie dokumentów, porównywanie prototypów (centroidów) skupień oraz dokumentów, porównywanie samych skupień (grup). • Stosowanych jest wiele różnych miar podobieństwa, zarówno ogólnych jak i specyficznych dla określonej dziedziny zastosowań.

  3. Katedra Informatyki Grupowanie dokumentówGłówne obszary zastosowań • Wspomaganie nawigacji/analizy w bazie dokumentów. • Lepsze interfejsy użytkownika. • Poprawa kompletności procesu wyszukiwania. • Lepsze zbiory (rankingi) wynikowe wyszukiwania. • Wspomaganie nawigacja w zbiorze wynikowym wyszukiwania. • Zwiększa praktyczną „kompletność użytkownika” procesu wyszukiwania. • Przyśpieszanie procesu wyszukiwania w modelu wektorowym. • Szybsze wyszukiwanie.

  4. Katedra Informatyki Nawigacja w bazie dokumentówHierarchie typu Yahoo www.yahoo.com/Science • Proces grupowania umożliwia również tworzenie hierarchii grup dokumentów, odpowiadających hierarchiom tematycznym w bazie dokumentów. … (30) agriculture biology physics CS space ... ... ... ... ... dairy botany cell AI courses crops craft magnetism HCI missions agronomy evolution forestry relativity

  5. Katedra Informatyki Nawigacja w bazie dokumentówInterfejsy typu Scatter/Gather • Użytkownik wybiera jedną lub więcej najbardziej odpowiadających mu kategorii, aby rozwinąć następny poziom

  6. Katedra Informatyki Nawigacja w bazie dokumentówWizualizacja bazy dokumentów • Algorytmy grupowania wykorzystywane są do tworzenia „map tematycznych” baz dokumentów – wizualizacji polegającej na odwzorowaniu znalezionych kategorii tematycznych na płaszczyznę, tak aby podobne kategorie tematycznie znajdowały się blisko siebie.

  7. Katedra Informatyki Grupowanie dokumentówPoprawa kompletności wyszukiwania • Opiera się ona na tzw. „hipotezie grupowej” (cluster hypothesis). • Dokumenty o podobnej zawartości są ze sobą związane tematycznie, tak więc są relewantne dla tych samych zapytań. • Aby poprawić kompletność wyszukiwania należy więc: • Pogrupować z góry dokumenty w bazie. • Jeśli pewien dokument d odpowiada zapytaniu, zwrócić również inne dokumenty z kategorii do której należy dokument d. • Dzięki temu mamy nadzieję, że zapytanie zawierające słowo kluczowe „auto” zwróci również dokumenty zawierające słowo kluczowe „samochód”. • Ponieważ w procesie klasteryzacji dokumenty zawierające słowo „auto” powinny zostać pogrupowane razem z dokumentami zawierającymi słowo „samochód”.

  8. Katedra Informatyki Grupowanie dokumentów Nawigacja w zbiorze wynikowym • Zbiory wynikowe zapytań mogą być długie, co utrudnia użytkownikowi ich przeglądanie. • Mogą więc być grupowane w podgrupy bardziej jednorodne tematycznie.

  9. Katedra Informatyki Grupowanie dokumentówPrzyśpieszanie wyszukiwania • Proces grupowania wykorzystywany jest również do przyśpieszania przetwarzania zapytania, zwłaszcza w wymagającym dużych nakładów obliczeniowych modelu wektorowym. • Zamiast obliczać podobieństwo zapytania do wszystkich dokumentów w kolekcji, może być ono wyznaczane jedynie dla centroidów poszczególnych skupień dokumentów. • W wyniku zapytania zwracane mogą być wszystkie dokumenty należące do podgrup, których centroidy sa najbardziej podobne do zapytania.

  10. Katedra Informatyki Grupowanie dokumentówOgólne typy algorytmów grupowania • Kilka podziałów na podstawie zależności między grypami, obiektami i atrybutami. • W oparciu o zależności między właściwościami i skupieniami: • Grupowanie monotetyczne – wszystkie elementy grupy współdzielą te same właściwości. Na przykład wszystkim dokumentom należącym do określonej grupy tematycznej można przypisać jedno słowo kluczowe (frazę) określającą ich temat. • Grupowanie politetyczne – wszystkie elementy grupy współdzielą większość właściwości. Na przykład dokumenty należące do określonej grypy tematyczne współdzielą większość termów, ale są indywidualne różnice. Temat grupy musi być zazwyczaj opisany kilkoma słowami kluczowymi.

  11. Katedra Informatyki Grupowanie dokumentówOgólne typy algorytmów grupowania • W oparciu o zależności między obiektami i grupami: • Grupowanie rozłączne (ostre, twarde) – każdy z obiektów przydzielany jest jednoznacznie do jednej tylko grupy. Nie pozwala ono na wyrażenie niepewności przy przydziale dokumentu do grupy, oraz na przynależność dokumentu do kilku grup. • Grupowanie miękkie – pozwala na przynależność obiektu do kilku klas. Zazwyczaj dają one rozkłady prawdopodobieństwa (lub w przypadku rozmytym – możliwości) przynależności dokumentu do poszczególnych klas. • W oparciu o zależności między grupami: • Podziałowe – wszystkie skupienia są niezależne od siebie, zazwyczaj rozłączne (w grupowaniu twardym). • Hierarchiczne - skupienia tworzą hierarchię, w której skupienia na niższym poziomie zawierają się w skupieniach na poziomie wyższym.

  12. Katedra Informatyki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Grupowanie dokumentówGrupowanie podziałowe .

  13. Katedra Informatyki zwierzę kręgowiec bezkręgowiec ryba gad płaz ssak stawonóg owad skorupiak Grupowanie dokumentówGrupowanie hierarchiczne • Algorytmy grupowania hierarchicznego tworzą ze zbioru dokumentów drzewiastą taksonomię hierarchiczną (dendogram). • Jednym ze sposobów może być rekurencyjne użycie algorytmu podziałowego • Zazwyczaj jednak stosuje się specjalne algorytmy.

  14. Katedra Informatyki Grupowanie dokumentówGrupowanie hierarchiczne • Dendrogram jest drzewem definiującym hierarchię grup. • Obejmuje informacje o zawieraniu się grup na każdym z poziomów. • Zbiór skupień otrzymywany jest zazwyczaj poprzez obcięcie dendogramu na pewnym określonym poziomie.

  15. Katedra Informatyki Grupowanie dokumentówAlgorytmy grupowania podziałowego • Ogólny schemat: • Określamy liczbę grup (skupień) k, jaką chcemy otrzymać. • Określamy zalążki początkowe prototypów skupień – k obiektów danych, po jednym dla każdego skupienia. • Przy wykorzystaniu zalążków określony jest początkowy podział obiektów na skupienia. • Iteracyjnie przemieszczamy obiekty między różnymi grupami, tak by poprawiać w każdym kroku jakość grupowania. • Algorytm kończy swoje działanie po osiągnięciu zbieżności (ustaleniu się skupień) lub po określonej liczbie iteracji.

  16. Katedra Informatyki Grupowanie dokumentówAlgorytm k-środków • Dokumenty reprezentowane są jako wektory rzeczywiste • Zazwyczaj są to znormalizowane wektory tf*idf. • Poszczególne skupienia definiowane są przez swoje centroidy (środki ciężkości), tzn. średnie wektorów wszystkich dokumentów należących do grupy. Tak więc dla każdej grupy c centroidem jest wektor: • Klasyfikacja dokumentu do danego skupienia oparta jest na odległości wektora opisującego dokument od bieżących centroidów poszczególnych grup • Metodą najbliższego sąsiada.

  17. Katedra Informatyki Grupowanie dokumentówAlgorytm k-środków • Typowe miary odległości: • Odległość Euklidesowa (norma L2): • Norma L1: • Współczynnik cosinusów (transformowany do odległości, np. poprzez odjęcie od 1)

  18. Katedra Informatyki Grupowanie dokumentówAlgorytm k-środków • Niech d będzie miarą odległości między dokumentami. • Wybierz losowo k dokumentów {s1, s2,… sk} jako zalążki. • Powtarzaj dopóki proces grupowania nie osiągnie zbieżności lub do osiągnięcia innego kryterium zatrzymania: • Dla każdego dokumentu xi określ grupę do której on należy: Przydziel dokument xi do skupienia (grupy) cj, dla którego odległość d(xi, sj) jest najmniejsza. • Zaktualizuj centroidy grup: Dla każdego skupienia cj: sj = (cj)

  19. Katedra Informatyki Określ zalążki Przydziel do skupień Oblicz centroidy grup Przydziel do skupień x x x Oblicz centroidy grup x x x Grupowanie dokumentówAlgorytm k-środków Przydziel do skupień Zbieżność!

  20. Katedra Informatyki Grupowanie dokumentówAlgorytmy grupowania hierarchicznego • Rozdzielające (top – down) – rozpoczynają od jednego skupienia zawierającego cały zbiór danych, następnie iteracyjnie rozdzielają najmniej podobne obserwacje (dokumenty) na osobne grupy, dopóki każdy dokument nie znajdzie się w osobnej grupie. • Aglomeracyjne (bottom – up) – rozpoczynają od tylu grup ile jest przykładów (dokumentów) w zbiorze danych, a następnie iteracyjne łączą je, tworząc coraz większe skupienia, aż do uformowania jednego wielkiego skupienia obejmującego wszystkie dane.

  21. Katedra Informatyki Grupowanie dokumentówHierarchiczne grupowanie aglomeracyjne • Hierarchiczne grupowanie aglomeracyjne (HAC – Hierarchical Agglomerative Clustering): • Rozpoczyna z każdym dokumentem w odrębnej grupie. Dopóki nie pozostanie wyłącznie jedno skupienie Wśród skupień jakie uformowane zostały w bieżącym kroku znajdź dwa skupienia najbardziej podobne ci, cj. Zastąp ci i cj jedną nową grupą cicj.

  22. Katedra Informatyki Grupowanie dokumentówPodobieństwo grup • Wiele metod określania podobieństwa skupień (grup): • Metoda pojedynczego połączenia (single-link) – podobieństwo dwu skupień równe jest podobieństwu pary najbardziej podobnych (najbliższych) obserwacji z obu grup. O podobieństwie grup decyduje jedna wybrana para obserwacji z obu skupień (pojedyncze połączenie). • Metoda całkowitego połączenia (complete-link) – podobieństwo dwu skupień równe jest podobieństwu pary najmniej podobnych (najdalszych) obserwacji z obu grup. O podobieństwie grup decydują wszystkie obserwacje z obu skupień (całkowite połączenie). • Metoda centroidu – podobieństwo dwu skupień równe jest podobieństwu ich centroidów (prototypów). • Metoda średniego połączenia (average-link) – podobieństwo dwu grup równe jest średniemu podobieństwu wszystkich możliwych par obserwacji z obu grup. • Jako miarę podobieństwa w przypadku grupowania dokumentów przyjmuje się zazwyczaj współczynnik cosinusów.

  23. Katedra Informatyki Grupowanie dokumentówMetoda pojedynczego połączenia • Wykorzystuje maksymalne podobieństwo par: • Może dawać w efekcie długie i wąskie grupy, z powodu efektu łańcucha. Może to być zaletą jedynie w pewnych dziedzinach aplikacji. • W każdym kroku musimy wyznaczyć podobieństwo nowo utworzonego skupienia (grupy) do wszystkich pozostałych. Po połączeniu grup ci i cj, podobieństwo powstałego skupienia do każdego z innych skupień ck, może być obliczone jako:

  24. Katedra Informatyki Grupowanie dokumentówMetoda pojedynczego połączenia

  25. Katedra Informatyki Grupowanie dokumentówMetoda całkowitego połączenia • Wykorzystuje maksymalne podobieństwo par: • Tworzy bardziej skupione, sferyczne grupy (skupienia), co zazwyczaj jest bardziej preferowane.. • W każdym kroku musimy wyznaczyć podobieństwo nowo utworzonego skupienia (grupy) do wszystkich pozostałych. Po połączeniu grup ci i cj, podobieństwo powstałego skupienia do każdego z innych skupień ck, może być obliczone jako:

  26. Katedra Informatyki Grupowanie dokumentówMetoda całkowitego połączenia

More Related