Rozpoznawanie Obrazów Prezentacja do laboratorium z przedmiotu Rozpoznawanie Obrazów; Informatyka, studia dzienne i zaoc

1. Rozpoznawanie ObrazówPrezentacja do laboratoriumz przedmiotu Rozpoznawanie Obrazów;Informatyka, studia dzienne i zaoczne Szymon GrabowskiKatedra Informatyki Stosowanej Politechniki Łódzkiej Łódź, 2003

2. Podstawowe zagadnienia rozpoznawania obrazów: • klasyfikacja– ustalanie dyskretnych etykiet klas rozpoznawanych obiektów; • regresja – ustalanie etykiet klas rozpoznawanych obiektów w dziedzinie ciągłej. Przy klasyfikacji zakładamy brak relacji porządku dla zbioru etykiet klas. Sz.Grabowski, Rozpoznawanie Obrazów

3. Rozróżniamy międzyklasyfikacją nadzorowaną (supervised classification) i nienadzorowaną (unsupervised classification). Klasyfikacja nadzorowana: etykiety klas nieznanych obiektów odgaduje się na podstawie zbioru obiektów o znanych etykietach; tj. zbioru uczącego (training set, learning set). Klasyfikacja nienadzorowana: zbiór uczący nie jest dany. Zadanie: rozdzielenie zbioru obiektów na dwa lub więcej podzbiorów; obiekty w obrębiepojedynczego podzbioru powinny byćmożliwie podobne(w przestrzeni zadanych cech i w sensie określonej metrykilub miary podobieństwa). Sz.Grabowski, Rozpoznawanie Obrazów

4. Zastosowania: • Klasyfikacja nienadzorowana: • segmentacja obiektów w obrazach 2- i 3-wymiarowych; • kategoryzacja dokumentów tekstowych,np. na potrzeby wyszukiwarek sieciowych; • automatyczne grupowanie słów o wspólnym rdzeniu. • Klasyfikacja nadzorowana: • wspomaganie diagnostyki medycznej; • kontrola jakości artykułów przemysłowych; • detekcja obiektów na zdjęciach satelitarnych i lotniczych (remote sensing); • rozpoznawanie pisma maszynowego i ręcznego (Optical Character Recognition, OCR). Sz.Grabowski, Rozpoznawanie Obrazów

5. Przykładowe zadania rozpoznawania Przykład z prezentacji (Cunningham, 2001). 2 klasy (jabłka i gruszki), 10 obiektów w zbiorze uczącym, 6 cech (5 liczbowych, jedna symboliczna). Potrzebna reguła decyzyjna ustalająca klasę obiektu w wierszu na dole. Sz.Grabowski, Rozpoznawanie Obrazów

6. Zjawisko przeuczenia: małe błędy na zbiorze uczącymNIE przekładają się na porównywalnie małe błędyna zbiorze testowym (inaczej: słaba generalizacja). Rys. z pracy (Jain i in., 2000).Rozbieżność między błędem estymowanym w czasie uczenia sieci neuronowej a błędem na zbiorze testowym. Sz.Grabowski, Rozpoznawanie Obrazów

7. Podstawowe rodziny klasyfikatorów Sieci neuronowe (neural networks) Zalety: – zwykle duża szybkość klasyfikacji; – elastyczność (duża przestrzeń rozpatrywanych modeli); – stosunkowo duża odporność na zbędne cechy. Wady: – powolne uczenie; – kryterium średniego błędu kwadratowego (w pełni adekwatne tylko w niektórych problemach); – znaczące niebezpieczeństwo przeuczenia. Sz.Grabowski, Rozpoznawanie Obrazów

8. Podstawowe rodziny klasyfikatorów, c.d. Drzewa decyzyjne (decision trees) Zalety: – często duża szybkość klasyfikacji; – prostota ogólnej koncepcji; – niewrażliwość na skalowanie cech; – względna odporność na zbędne cechy. Wady: – trudność w aproksymacji prostych, lecz nierównolegle do osi ułożonych granic decyzyjnych; – niestabilność (małe zmiany na wejściu powodująduże zmiany w strukturze drzewa); – problematyczna obsługa brakujących wartości cech. Sz.Grabowski, Rozpoznawanie Obrazów

9. Podstawowe rodziny klasyfikatorów, c.d. Klasyfikatory minimalnoodległościowe(nearest neighbor classifiers) Zalety (oryginalnej reguły k-NN): – asymptotyczna optymalność; – wysoka jakość klasyfikacji w praktyce; – prostota, podatność na liczne modyfikacje. Wady (oryginalnej reguły k-NN):– wolna klasyfikacja;– wrażliwość na zbędne cechy;– mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki qregułą 3-NN Sz.Grabowski, Rozpoznawanie Obrazów

10. Podstawowe kryteria oceny klasyfikatorów: • jakość klasyfikacji; • szybkość klasyfikacji; • szybkość uczenia; • zrozumiałość wygenerowanego modelu dla człowieka. • Podstawowe zagadnienia badawcze: • konstrukcja możliwie dokładnych klasyfikatorów; • redukcja zbioru odniesienia; • selekcja cech; • topologia i dobór komponentów w klasyfikatorach o strukturze sieciowej; • dobór metryki. Sz.Grabowski, Rozpoznawanie Obrazów

11. Jak mierzyć jakość klasyfikacji? 1. Metoda resubstytucji (resubstitution method) — cały dany zbiórjest używany zarówno do uczenia, jak i do testowania. Wada: zawyżone (zbyt optymistyczne) wyniki. 2. Metoda wydzielania (holdout method) — losowa połowa zbiorusłuży do konstrukcji klasyfikatora, a druga połowa do jego testowania.Wada: pesymistyczna estymacja jakości klasyfikatora. 3. Metoda minus jednego elementu (ang. leave-one-out method)—klasyfikator generowany jest n–1 razy, tj. dla każdego (n–1)-elementowegopodzbioru pełnego zbioru, podczas gdy zbiorem testowym dla każdegowygenerowanego klasyfikatora jest tylko jedna pozostała próbka.Estymacja błędu jest w tej metodzie nieobciążona (tj. sprawiedliwa), ale wariancja błędu jest znaczna; ponadto nie jest łatwo osiągnąćsatysfakcjonującą szybkość działania tej metody. Sz.Grabowski, Rozpoznawanie Obrazów

12. Jak mierzyć jakość klasyfikacji (c.d.)? 4. Metoda k-krotnej walidacji skrośnej (ang. k-fold cross validation) —kompromis pomiędzy metodą wydzielania a metodą minus jednegoelementu: dostępny zbiór dzielony jest losowo na krównych podzbiorów,a następnie każda z k części jest po kolei zbiorem testowym, zaś pozostałe k–1 części zbiorem uczącym. Błąd estymacji tej metody jeststosunkowo niski (generalnie tym niższy, im większe k),wariancja błędu jest niższa niż przy metodzie minus jednego elementu, zaś koszt czasowy realizacji dla praktycznych wartości k=5..10 – umiarkowany. Metoda ta jest obecnie najczęściej stosowana w praktyce. Sz.Grabowski, Rozpoznawanie Obrazów

13. Klasyfikatory minimalnoodległościowe („najbliższy sąsiad/sąsiedzi”):wysoka jakość klasyfikacji, ale mała szybkość. • Dwie odmienne techniki przyspieszania klasyfikacji: • struktury danych do szybkiego szukania najbliższych sąsiadów; • redukcja zbioru odniesienia. Sz.Grabowski, Rozpoznawanie Obrazów

14. Reguła k-NN, podstawowy klasyfikator minimalnoodległościowy • Uczenie: • policz frakcję błędów errk przy k=1, 2, ..., n–1 najbliższych sąsiadach każdej próbki ze zbioru uczącego; remisy w głosowaniu rozstrzygaj arbitralnie; • zwróć k minimalizujące opisany błąd. • Klasyfikacja — analogiczna; k najbliższych sąsiadów próbki testowej szukanych jest w zbiorze uczącym. • Dwie możliwe implementacje fazy klasyfikacji:„naiwna”, z przechowywaniem aktualnej listy k najbliższych sąsiadów (kosztowny najgorszy przypadek, ale szybka w praktyce), oraz optymalizująca najgorszy przypadek poprzez posortowanie (wystarcza częściowe) zbioru uczącego względem odległości do bieżącej próbki testowej. Sz.Grabowski, Rozpoznawanie Obrazów

15. Koncepcja symetrycznego sąsiedztwa: • bliskość sąsiadów; • układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej). Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., 1997. Sz.Grabowski, Rozpoznawanie Obrazów

16. Reguła k scentrowanych sąsiadów(k Nearest Centroid Neighbors, k-NCN) —Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz.Grabowski, Rozpoznawanie Obrazów

17. Porównanie klasyfikatorów minimalnoodległościowych Sz.Grabowski, Rozpoznawanie Obrazów

18. Redukcja zbioru odniesienia:większa szybkość klasyfikacji(zwykle regułą 1-NN), porównywalna lub nieco niższa jakość Przykład dwuklasowy: czerwone obiekty wchodzą do zbioru zredukowanego Sz.Grabowski, Rozpoznawanie Obrazów

19. Kryteria oceny algorytmów redukcji: • Szybkość klasyfikacji • Pamięć dla klasyfikatora (tj. dla zbioru zredukowanego) • Jakość klasyfikacji (ogólna) • Jakość klasyfikacji w obecności szumu • Szybkość uczenia (generacji zbioru zredukowanego) • Pamięć potrzebna do uczenia • Zdolność szybkiej modyfikacji zbioru zredukowanego w przypadku dynamicznym Sz.Grabowski, Rozpoznawanie Obrazów

20. Algorytm redukcji Tomeka Do zbioru zredukowanegowchodzą obiekty:1, 7, 5, 8 Zaleta alg. Tomeka: wysoka jakość indukowanego klasyfikatora; wada:niski stopień redukcji. Sz.Grabowski, Rozpoznawanie Obrazów

21. Algorytm redukcji Skalaka (1994) — własności: • probablistyczny (procedura klasy random mutation hill climbing); • wielkość zbioru zredukowanego zadawana przez użytkownika; • brak gwarancji zgodności zbioru zredukowanego ze zb. oryginalnym. • Skalak(h, m): • wybierz losowo bez zwracania h próbek ze zbioru odniesienia (uczącego) S; tworzą one aktualny zbiór zredukowany R; wyznacz jakość reguły 1-NN ze zbiorem R na próbkach zbioru S; • wykonaj m prób mutacji: pojedyncza mutacja polega na wylosowaniu jednej próbki z R oraz jednej próbki z S\R; jeśli zamiana tych próbek poprawia estymowaną (na S) jakość klasyfikacji, to ją zaakceptuj. Sz.Grabowski, Rozpoznawanie Obrazów