slide1 l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowa PowerPoint Presentation
Download Presentation
Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowa

Loading in 2 Seconds...

play fullscreen
1 / 35

Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowa - PowerPoint PPT Presentation


  • 251 Views
  • Uploaded on

Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowanej PŁ Kraków, październik 2003. promotor: prof. dr hab. inż. Dominik Sankowski. Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów. Cele pracy:

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowa' - ayasha


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

Szymon GrabowskiKatedra Informatyki Stosowanej PŁ

Kraków, październik 2003

promotor: prof. dr hab. inż. Dominik Sankowski

slide2

Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów.

  • Cele pracy:
  • szybkie klasyfikatory (redukcja informacji wejściowej, efektywne struktury danych);
  • klasyfikatory dokładne;
  • może pewien korzystny kompromis między szybkością a jakością?
  • Zakres pracy
  • Klasyfikacja nadzorowana – jeśli dany jest zbiór uczący (baza wiedzy).
  • Klasyfikacja nieparametryczna – brak apriorycznego modelu probabilistycznego.
  • Symetryczna funkcja strat – każda pomyłka jednakowo kosztowna.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide3

Klasyfikatory minimalnoodległościowe:reguła k-NN, jej warianty i klasyfikatory pokrewne.

  • Inne typy klasyfikatorów:
  • sieci neuronowe;
  • drzewa decyzyjne.
  • Zalety k-NN:
  • asymptotyczna optymalność;
  • zazwyczaj dobra jakość w praktyce;
  • prostota, podatność na modyfikacje.
  • Wady k-NN:
  • wolna klasyfikacja;
  • wrażliwość na zbędne cechy;
  • mała przestrzeń rozpatrywanych modeli.

Klasyfikacja próbki qregułą 3-NN

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide4

Główne kierunki modyfikacji reguły k-NN:

  • modyfikacja metody głosowania, np. ważona k-NN (Dudani, 1976);
  • modyfikacja etykiet zbioru uczącego, np. rozmyta k-NN z uczeniem (Jóźwik, 1983);
  • odrzucanie niepewnych predykcji (Tomek, 1976; Jóźwik i in., 1996);
  • szybkie szukanie najbliższych sąsiadów (problem postawiony w: Minsky i Papert, 1969);
  • redukcja zbioru uczącego (Hart, 1968, i ok. 30 dalszych prac);
  • schematy równoległe (Skalak, 1997; Alpaydin, 1997);
  • koncepcja symetrycznego sąsiedztwa (Chaudhuri, 1996; Sánchez i in., 1997).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide5

Tezy rozprawy doktorskiej

  • W niskich wymiarach (d 5) możliwe jest znajdowanie najbliższego sąsiada w deterministycznym subliniowym czasie w metryce miejskiej.
  • Lokalny wybór zredukowanego zbioru odniesienia prowadzi do osiągnięcia wyższej jakości klasyfikacji niż oferowana przez pojedynczy zbiór zredukowany, zwłaszcza przy bardzo wysokich wymaganiach szybkościowych nałożonych na klasyfikację.
  • Możliwe jest stworzenie równoległej sieci klasyfikatorówtypu „k sąsiadów”, osiągającej wyższą jakość predykcji niż klasyfikator bazowy przy umiarkowanym spowolnieniu klasyfikacji, umożliwiającej ponadto, w połączeniu z koncepcją tzw. symetrycznego sąsiedztwa, projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide6

Teza I

Szukanie najbliższego sąsiada (NNS – Nearest Neighbor Search) (Minsky i Papert,1969)Wejście: zbiór P = {p1, ..., pn} (dany „off-line”) w przestrzeni X z funkcją odległości df;próbka testowa q X(prezentowana „on-line”).Zadanie: dokonać takiej wstępnej obróbki zbioru P, aby możliwe było szybkie znajdowanie najbliższego sąsiada q w P. Przegląd zupełny (brute force) wymaga czasu O(nd), d – wymiar przestrzeni X.

Fakty:–niewiele alg. z subliniowym w n czasem szukania w najgorszym przypadku;– w wysokich wymiarach nadal brak dobrych algorytmów!

Potrzeby:–ograniczenie z góry czasu szukania (możliwe w niskich wymiarach);– prostota!

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide7

Teza I

Algorytmy NNS z czasem szukania subliniowym w n

  • Dobkin i Lipton (1976), Yao i Yao (1985);
  • Agarwal i Matoušek (1992), Matoušek (1992)
  • Clarkson (1988): wstępna obróbka
  • szukanie NN
  • Meiser (1993): wstępna obróbka
  • szukanie NN
  • Algorytm proponowany: wstępna obróbka
  • szukanie NN
  • k – współczynnik kompromisu

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide8

Teza I

metryka miejska (Manhattan):

Kluczowa własność metryki miejskiej:dla dowolnych punktów A, B i C

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide9

Teza I

Przykład dwuwymiarowy

Jedna z próbek NN(v1)..NN(v4) jest najbliższym sasiadem q. Wierzchołek v2 jest (przypadkowo) miejscem położenia pewnej próbki (która jest oczywiście NN tego wierzchołka).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide10

Teza I

Wersja kompromisowa algorytmuZamiast „pełnego” rozcięcia przestrzeni, przeprowadzamy hiperpłaszczyzny tylko co k-ty punkt z P na każdej współrzędnej (wymaga to policzenia odległości do k–1 dodatkowych punktów dla każdej współrzędnej).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide11

Teza I

Wyniki testów

Implementacja:C++ (g++ 2.95.3)

Testy:Celeron 533 MHz384 MBLinux 2.4

3 wymiary, 1000 próbek w zbiorze odniesienia

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide12

Teza I

Wyniki testów, c.d.

5 wymiarów, 1000 próbek w zbiorze odniesienia

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide13

Teza I

Własności proponowanego algorytmu (podsumowanie)

  • Wady:
  • bardzo wysokie (wykładnicze w d) koszta wstępnej obróbki — praktyczne ograniczenie zastosowań do wymiarów 3–5;
  • ograniczenie do szukania tylko jednego najbliższego sąsiada;
  • ograniczenie do metryki miejskiej.
  • Zalety:
  • subliniowość w nw najgorszym przypadku;
  • elastyczność (parametr kompromisu k);
  • prostota.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide14

Teza II

1-NN— najprostsza i najszybsza wersja reguły k-NNDalsze przyspieszenie klasyfikacji typu 1-NN osiągamy przy pomocy redukcji zbioru odniesienia.

Najbardziej znane algorytmyredukcji zbioru odniesienia:

  • alg. Harta (1968);
  • alg. Gowda’y–Krishna’y (1979);
  • alg. Gatesa (1972);
  • alg. Changa (1974);
  • alg. Tomeka (1977).

Przykładowa redukcja

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide15

Teza II

  • Cechy algorytmu redukcji Skalaka (1994):
  • probabilistyczny (w klasie algorytmów typu random mutation hill climbing);
  • redukcja do zadanej liczby próbek;
  • nie gwarantuje zgodności zbioru zredukowanego.
  • Procedura Skalak1(h, m1):
  • wylosuj h próbek ze zbioru odniesienia S do zbioru zredukowanego R i estymuj jakość otrzymanego zbioru;
  • wykonaj w pętli m1 mutacji; mutacja polega na wylosowaniu jednej próbki z R i jednej z S\R; jeśli zamiana tych próbek zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide16

Teza II

  • Procedura Skalak2(h, m1, m2):
  • wykonaj Skalak1(h, m1);
  • wykonaj w pętli m2 mutacji polegających teraz na zmianie losowej współrzędnej (tj. cechy) losowej próbki z R o 0.5 lub –0.5; jeśli mutacja zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj.

Wszystkie opisane algorytmy generują pojedynczy (globalny) zbiór zredukowany.

! Alternatywne podejście w niniejszej pracy: zbiór zredukowany wybierany kontekstowo (lokalnie) dla danej próbki.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide17

Teza II

Łączenie klasyfikatorów (combining classifiers) — przedmiot intensywnych badań od początku lat 90. XX w.

  • Trzy zasadniczo odmienne podejścia:
  • głosowanie (np. większościowe) zespołu klasyfikatorów(Hansen i Salamon, 1990); wada: czas klasyfikacji proporcjonalny do liczby klasyfikatorów składowych;
  • lokalny wybór klasyfikatora (Woods i in., 1997); wada: trudność określenia (szybkiego) kryterium wyboru klasyfikatora;
  • klasyfikator kaskadowy (Alpaydin i Kaynak, 1998): próbki „łatwe” oceniane są przez szybki klasyfikator, próbki „trudniejsze” przechodzą do następnych etapów (z wolniejszymi, lecz dokładniejszymi klasyfikatorami).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide18

Teza II

Proponujemy dwa schematy lokalnego wyboru zbioru zredukowanego dla reguły 1-NN:

a) schemat z partycjonowaniem przestrzeni płaszczyznami;

b) schemat z klasteryzacją zbioru odniesienia.

Podział zbioru na: (a) regiony przy pomocy płaszczyzn;(b) klastry, np. metodą k średnich

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide19

Procedura uczenia w schemacie klasteryzacja+Skalak(L, k):

  • podziel zbiór odniesienia na k skupisk (klastrów) przy pomocy metody k średnich (k-means);
  • wygeneruj „globalnie” L zbiorów zredukowanych (procedura Skalak1 lub Skalak2);
  • dla każdego klastra estymuj jakość klasyfikacji regułą 1-NN przy użyciu poszczególnych zb. zredukowanych. Skojarz z każdym klastrem najlepszy dla niego klasyfikator (tj. zbiór zredukowany).

Teza II

  • Procedura klasyfikacji próbki x:
  • policz odległości od x do środków ciężkości wszystkich klastrów i wybierz klaster najbliższy zgodnie z tym kryterium;
  • przypisz x do klasy zwracanej przez klasyfikator skojarzony z najbliższym klastrem.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide20

Teza II

Klasyfikator 1-NN

1 – brak redukcji;2 – Hart;3 – Gowda-Krishna;4 – Skalak1;5 – Skalak2;6 – klasteryzacja + Skalak2.

Wyniki testów

Zbiór danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie)

Zbiory uczące po 1400 próbek,metryka miejska.

%

Wielkość zbioru zredukowanego

Błąd klasyfikacji

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide21

Teza III

  • Koncepcja symetrycznego sąsiedztwa:
  • bliskość sąsiadów;
  • układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej).

Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni.

Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., 1997.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide22

Teza III

Reguła k scentrowanych sąsiadów(k Nearest Centroid Neighbors, k-NCN) — Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996

Reguła k-NCN, k=3

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide23

Teza III

Proponujemy stochastyczną regułę k Near Surrounding Neighbors (k-NSN),która optymalizuje oba kryteria używane przez k-NCN.

  • Algorytm
  • k-NSN(q, k):
  • znajdź k scentrowanych sąsiadów (NCN) ni, i=1..k, próbki q;
  • w pętli próbuj zastępować losowego sąsiada ni losową próbką s ze zbioru odniesienia, o ile jest ona położona bliżej próbki q niż ni i jeśli środek ciężkości nowego układu sąsiadów leży bliżej q niż przed zamianą.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide24

Teza III

Wyniki testów

  • zbiory danych:
  • rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie)
  • 5903 próbki, 30 cech, 8 klas;
  • 10 losowych partycji na zb. uczący (1400 próbek) i testowy (4503 próbki);
  • pięć zbiorów danych z University of California, Irvine (UCI) (Bupa, Glass, Iris, Pima, Wine);
  • 5-krotna walidacja skrośna
  • Wszystkie dane postandaryzowane,
  • metryka miejska.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide25

Zbiór Iris w rzucie dwuwymiarowym (cechy 3 i 4)

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide26

Teza III

Wyniki testów, c.d.

Błędy [%]na zbiorzeFerrites

Błędy [%]na zbiorach UCI

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide27

Teza III

To, iż słyszeliście jakąś rzecz nie powinno być jeszcze prawidłem waszego wierzenia; tak dalece, iż nie powinniście w nic uwierzyć nie wprawiwszy się wprzód w taki stan, jak gdybyście nigdy tego nie usłyszeli.

/ Pascal /

Argumentowano w szeroko cytowanej pracy (Breiman, 1996), iż klasyfikatorów minimalnoodległościowych (NN) nie można pomyślnie wykorzystać w schematach sieciowych z uwagi na ich stabilność.

Doprawdy..?

Klasyfikator voting k-NN

  • Oryginalna reguła k-NN korzysta z jednej wartości kwybieranej zwykle przy pomocy metody minus jednego elementu. Wady: estymowana optymalna wartość parametru k nie musi gwarantować najlepszej jakości w zadaniu; mała przestrzeń możliwych modeli.
  • Proponowany klasyfikator zwiększa przestrzeń rozpatrywanych modeli i wygładza granice decyzyjne.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide28

Teza III

Klasyfikator voting k-NN, c.d.

Głosowanie 3 klasyfikatorów typu k-NN

Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN.

W przeciwieństwie do większości klasyfikatorów równoległych, strataprędkości klasyfikacji w stosunku do „pojedynczego” klasyfikatora jest umiarkowana (w przypadku voting k-NN zaniedbywalna).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide29

Teza III

Proponowana rodzina klasyfikatorów kaskadowych

Cel: Dobry kompromis między jakością a czasem klasyfikacji.

Idea: Dwie fazy klasyfikacji. W pierwszej fazie klasyfikator szybszy, oparty na głosowaniu (równoległy); jako kryterium wskazujące „łatwą” próbkę przyjęto jednogłośną decyzję zespołu komponentów z pierwszej fazy. W drugiej fazie wolny, lecz dokładny klasyfikator (np. k-NCN, k-NSN lub ich wersje voting).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide30

Teza III

Sumy rang klasyfikatorów na pięciu zbiorach UCI

Mniejsze wartości są korzystniejsze.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide31

Podsumowanie i wnioski

  • W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki.
  • Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne).
  • „Symetryczne sąsiedztwo” to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN.
  • Możliwa jest wersja reguły k-NN z wieloma wartościami k(wyższa jakość klasyfikacji za cenę minimalnego spowolnienia).
  • Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide32

Plany na przyszłość (m. in.):

  • eksperymenty z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego);
  • rozważenie zmiany strategii uczenia w algorytmie Skalaka;
  • pomiar jakości poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelacji między nimi;
  • poszerzenie zaproponowanej rodziny klasyfikatorów kaskadowych (np. wprowadzenie algorytmów trójetapowych).

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide33

Literatura

Sz. Grabowski, Fast deterministic exact nearest neighbor search in the Manhattan metric, II Konferencja „Komputerowe SystemyRozpoznawania” (KOSYR2001), Miłków k/Karpacza, maj 2001, str. 375–379.

Sz. Grabowski, Experiments with the k-NCN decision rule, IX Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2001, str. 307–317.

Sz. Grabowski, Voting over multiple k-NN classifiers,International IEEE Conference TCSET’2002, Lviv-Slavske, Ukraina, luty 2002, str. 223–225.

Sz. Grabowski, Lokalny wybór zredukowanego zbioru odniesienia,Seminarium nt. „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania”, Słok k/Bełchatowa, czerwiec 2002, mat. sem.,str. 142–147.

Sz. Grabowski, M. Baranowski, Implementacja algorytmu szybkiego deterministycznego szukania najbliższego sąsiada w metryce miejskiej, X Konferencja„Sieci i Systemy Informatyczne”, Łódź, październik 2002, str. 499–514.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide34

Literatura, c.d.

Sz. Grabowski,A family of cascade NN-like classifiers, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 503–506.

Sz. Grabowski, A. Jóźwik, Sample set reduction for nearest neighbor classifiers under different speed requirements, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 465–468.

Sz. Grabowski, B. Sokołowska, Voting over multiple k-NN and k-NCN classifiers for detection of respiration pathology, III Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2003), Miłków k/Karpacza, maj 2003, str. 363–368.

Sz. Grabowski, Towards decision rule based on closer symmetric neighborhood, Biocybernetics and Biomedical Engineering, Vol. 23, No. 3, lipiec 2003, str. 39–46.

Sz. Grabowski, A. Jóźwik, C.-H. Chen, Nearest neighbor decision rule for pixel classification in remote sensing, rozdział monografii „Frontiers of Remote Sensing Info Processing”, ed. S. Patt, World Scientific Publishing Co. Pte. Ltd., Singapur, lipiec 2003.

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

slide35

Część prac wykonywanych było w ramach grantu NATOdotyczącego analizy zdjęć lotniczych (remote sensing).

Kierownik: prof. C.-H. Chen z N.Dartmouth Coll., MA, USA,współwykonawcy: dr A. Jóźwik, Sz. Grabowski.

Fairhaven, czerwiec 2001

Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej