Ulepszenia metody Eigenfaces

1. Ulepszenia metody Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • Eigenfaces – główne wady • Wykorzystanie topografii twarzy • Linear Discriminant Analysis • Fisherfaces • Bayesian Matching Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Główne wady Eigenfaces • Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi • „Większość różnic pomiędzy obrazami twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994) • różnice mimiki • Twarz traktowana jako wektor • utrata informacji 2D • Podejście holistyczne • twarz jako niepodzielna całość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Topografia twarzy • Cechy intra- i ekstra-personalne • oczy i nos • usta i policzki • Charakter cech, a ich lokalizacja • Maska – modyfikacja ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Maska „T” • Sztuczna maska na nos i oczy • Wartości 0 i 1 • Poprawa wyników: • FeretA: 813 -> 834 (3,6%) • wyniki dla „czystego” EF Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Maska różnicowa • Zbiory par obrazów: • intra-personalne • extra-personalne • Uśrednienie różnic obydwu klas par: • średnia różnica intra-personalna • średnia różnica extra-personalna • Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Maska dynamiczna • Tworzona osobno dla każdego obrazu • Wykorzystanie projekcji wstecznej: • projekcja pojedynczych pikseli • wartość maski odwrotnie proporcjonalna do błędu projekcji • Zmniejszenie wpływu obszarów zasłoniętych • Można stosować dla grup pikseli Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Przykłady... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Wagi wektorów własnych • Nie zawsze związana z lokalizacją • np. oświetlenie • „Rzut oka” na twarze własne • niosą różne rodzaje informacji (kierunki) • Wektor własny, element wektora cech, funkcja porównująca • Modyfikacja: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. Problem rozpoznawania • Definicja problemu rozpoznawania: • C klasi C wektorów bazowych • NCwektorów w każdej klasie • klasyfikacja wszystkich wektorów • Punkt wyjścia – porównanie dwóch wektorów cech • Klasa własna i obca Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Błąd rozpoznania 1 • Błąd pojedynczego porównania: • uij – rozpoznawany wektor • ui1 – wektor bazowy klasy własnej • uk1 – wektor bazowy klasy obcej • S – funkcja porównująca (norma L2) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Błąd rozpoznania 2 • Błąd rozpoznania pojedynczego wektora: • Błąd dla całej próbki: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Funkcja błędu • Błąd jest funkcją maski i wag • funkcja wymierna • Minimalizacja funkcji • znalezienie optymalnej maski i wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Problem dostosowania • Silne dostosowanie do próbki • znaczne polepszenie dla zbioru treningowego • pogorszenie dla reszty • Rozwiązanie: • optymalizacja częściowa • Dostosowanie do osób, nie obrazów • możliwe usprawnienie klasyfikacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Lokalne PCA • Detekcja cech charakterystycznych • oczy, usta, nos • Rozpoznawanie po cechach • fragment obrazu twarzy • różnica w normalizacji • łączenie kilku lokalnych PCA (eigeneyes, eigennoses, itp.) • Przestrzenie posiadają mniej wymiarów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Lokalne PCA K1 K2 K3 K4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Tworzenie przestrzeni • PCA wyznacza główne kierunki różnic • Brak wykorzystania informacji o przynależności do klasy • Rozwiązanie problemu: • Linear Discriminant Analysis (LDA) • Fisherfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. PCA – przykład działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Przykład nie działania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Tak by było lepiej... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Jak działa LDA? • PCA: • próbka treningowa  macierz kowariancji • LDA: • sklasyfikowana próbka treningowa  dwie macierze kowariancji • wewnątrz-klasowa • między-klasowa • Znalezienie bazy ortogonalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Macierze kowariancji • Międzyklasowa • CB – międzyklasowa macierz kowariancji • c – liczba klas • Ni – liczba elementów i-tej klasy •  – obraz średni • i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Macierze kowariancji • Wewnątrzklasowa • CW – wewnątrzklasowa macierz kowariancji • c – liczba klas • Xi – zbiór obrazów i-tej klasy • xk – k-ty obraz należący do i-tej klasy • i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. Jak to policzyć? • PCA: •  - macierz złożona z wektorów własnych • LDA: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. Fisherfaces • LDA – skomplikowane obliczenia na dużych macierzach • Fisherfaces: • PCA do redukcji wymiarów • LDA do znalezienia optymalnej bazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Ekstrakcja cech Fisherfaces • Policzyć wektor cech za pomocą PCA • na wejściu znormalizowany obraz • redukcja liczby wymiarów • Policzyć wektor cech za pomocą LDA • na wejściu wektor cech PCA • rotacja wektora cech • zachowanie liczby wymiarów wektora cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Bayesian Matching • Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy • I – zbiór par intrapersonalnych • E – zbiór par ekstrapersonalnych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29. Prawdopodobieństwo • P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic • jest funkcją błędu projekcji PCA – () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30. Projekcja wsteczna (przypomnienie) • Wektor cech -> obraz twarzy • Różnica między obrazem wejściowym a odtworzonym (błąd projekcji) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31. Przestrzenie różnic • Dwie klasy par obrazów • intra- i ekstra-personalne • Obrazy będące różnicami między obrazami • dwie klasy różnic • Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

33. Kwintesencja BM • Rozpoznawana różnica dwóch obrazów • Dual Eigenfaces • Odległość różnicy od dwóch przestrzeni • Metoda dość wolna • różnica obrazów dla każdego porównania • można zastosować inną metodę do wstępnej selekcji (wybrania n najlepszych) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34. Inne metody • Local Feature Analysis • 2D PCA, 2D LDA • Independent Component Analysis Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35. Podsumowanie • Istnieje wiele metod bazujących na Eigenfaces • Ulepszanie: • topologia twarzy • koncentrowanie się na szczegółach • klasyfikacja różnic Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36. Dziękuję za uwagę! • Za tydzień – metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006