Detekcja twarzy

1. Detekcja twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Sprawy organizacyjne • Laboratorium • czwartek 10:00 – 13:00 03.11. • czwartek 12:15 – 15:15 27.10. • pierwsze terminy: 27.10.; 03.11. • Projekty • omówienie dzisiaj zamiast laboratorium Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Plan wykładu • Cele detekcji • Dostępne metody • Etapy detekcji • Uogólniona Transformata Hougha Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Etapy rozpoznawania Detekcja Normalizacja Porównywanie wektorów cech Ekstrakcja cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Cele detekcji • Znalezienie twarzy na obrazie • niezależnie od rozmiaru obrazu • niezależnie od wielkości twarzy • dla obrazów RGB i GS • szybkie i skuteczne • niezależnie od kąta obrotu twarzy • Przekazanie położenia twarzy do etapu normalizacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Specyfikacja zadania • Położenie twarzy – termin niejednoznaczny, mało konkretny • Położenie oczu – określenie bardziej precyzyjne • Detekcja twarzy = detekcja cech charakterystycznych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Czas wykonania • Detekcja wykonywana dla każdej klatki • Poszukiwanie na całym obrazie • Algorytmy muszą być bardzo szybkie • Podział na etapy • Wybór odpowiednich algorytmów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Możliwe metody • Porównywanie fragmentów obrazu • SVM, sieć neuronowa • Poszukiwanie elips • minimalizacja różnic • Uogólniona Transformata Hougha • Metody falkowe – detekcja kształtów • Detekcja na podstawie koloru • Wykorzystanie informacji dynamicznych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Wybór metod • Szybka selekcja – detekcja elips • Transformata Hougha • Weryfikacja potencjalnych kandydatów • SVM • PCA – projekcja wsteczna • Detekcja cech na obrazie twarzy • Gabor Wavelets Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. Detekcja elips pionowych • Elipsy „zorientowane pionowo” • znalezienie potencjalnych twarzy • niski próg akceptacji • duża liczba nie-twarzy • Wstępne filtrowanie • filtry rozjaśniające • filtr Gaussa – eliminacja szumu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Detekcja elips poziomych • Cel: znalezienie kandydatów na oczodoły • Obszar poszukiwań zawężony do wnętrza elips zorientowanych pionowo • Niski próg akceptacji • Duża liczba fałszywychprzypadków Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Detekcja oczu • „Podejrzane” elipsy poziome • Weryfikacja poprzez SVM • Detekcja źrenic • warunek – wysoka jakość obrazu • lokalizacja przybliżona Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Weryfikacja • Zastosowanie reguł logicznych do wstępnej eliminacji • Przygotowanie obrazów do weryfikacji • wstępna normalizacja (przykłady) • Zastosowanie klasyfikatora (np. SVM) • Próg akceptacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Detekcja pozostałych cech • Wykorzystanie mechanizmu Gabor Wavelets • przyblizone położenie na podstawie oczu • znajdowane przesunięcia • Etap dodatkowy, przydatny do niektórych metod Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Detekcja elips • Uogólniona Transformata Hougha(Generalized Hough Transform – GHT) • Tworzenie obrazu kierunkowego • zbiór odcinków • Znalezienie możliwych środków elips dla każdego odcinka • Podsumowanie wyników • wskazanie najbardziej prawdopodobnych środków elips Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Obraz kierunkowy • Podział obrazu na grupy pikseli (np. 2x2) • Możliwe wykorzystanie gradientów • Krawędź dla każdej grupy: • kierunek • natężenie • Kierunek – dopasowanie płaszczyzny metodą minimalizacji błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Wynik • Obraz -> zbiór odcinków • Odcinek: • środek (x, y) • kierunek  • natężenie  • Progowanie względem natężenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Wykorzystanie GHT • Poszukiwanie obiektów o zadanym kształcie na obrazie kierunkowym • Przypadek elipsy: • a, b – długości półosi elipsy • r, e – współczynniki redukcji i ekspansji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Jak to działa? • Założenie: • każdy odcinek może być fragmentem elipsy • Odcinek: • dwa potencjalne środki elipsy • Dopuszczenie tolerancji: • dwa zbiory punktów (potencjalnych środków elipsy) • do punktów przypisane wagi Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Sumowanie • Akumulator: • macierz wielkości obrazu, wyzerowana na początku • modyfikowany przez wszystkie odcinki • natężenie odcinka – dwa podejścia • wartość pola wprost proporcjonalna do prawdopodobieństwa, że znajduje się tam środek elipsy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Przykład Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Problemy i ich rozwiązania • Obliczanie środków dla każdego odcinka (bardzo czasochłonne) • przygotowanie szablonów (dyskretyzacja kierunku) • Czas obliczeń zależny od rozmiarów obrazu • Stały rozmiar elipsy • „piramidka” – skalowanie obrazu wejściowego Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Jeszcze parę słów o GHT... • Duża szybkość działania • Metoda łatwa do kontroli • metoda tworzenia obrazu kierunkowego • sterowanie tolerancją kąta i rozmiaru • Możliwa detekcja dowolnych kształtów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Podsumowanie • Detekcja – kilka etapów • Znaczenie szybkości • Podstawa – detekcja elips • Uogólniona Transformata Hougha Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. Dziękuję za uwagę! • Za 2 tygodnie:Normalizacja obrazu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006