Berkay Top çu ve Hakan Erdo ğ an Sabancı Üniversitesi

1. Yerel Görünüm Tabanlı Yüz Tanıma İçin Değişik Boyut İndirme ve Normalizasyon Yöntemlerinin İncelenmesi Berkay Topçuve Hakan Erdoğan Sabancı Üniversitesi

2. Outline • Yerel Görünüm Tabanlı Yüz Tanıma • Yüz Tespiti • Veritabanı (M2VTS) • Değişik Boyut İndirme Teknikleri • TBA, DAA, aPAC, Normalize TBA, Normalize DAA, NNDA • Normalizasyon Teknikleri • Sınıflandırma Sonuçları

3. Yerel Görünüm Tabanlı Yüz Tanıma • Öznitelik vektörleri, yüz imgesini eşit parçalara ayıran bloklardan çıkarılarak oluşturulur. 16 x 16 bloklar 8 x 8 bloklar

4. Genel Sistem • Bloklarda Boyut İndirme: • TBA • DAA • aPAC • NTBA • NDAA • NNDA Blok ve öznitelik normalizasyonları Yüz Tespiti • Sınıflandırma: • nmc • nnc • ldc

5. Yüz Tespiti– M2VTS • OpenCV – otomatik yüz tespiti • Kullanılan yüz imgelerinin boyutu : 48x64

6. Veritabanı – M2VTS M2VTS veritabanından örnek imgeler. Her sütunda aynı kişiye ait farklı imgeler bulunuyor.

7. Veritabanı – M2VTS • Her 37 kişinin 40 adet yüz imgesi • Eğitim için 32 imge ve Test için 8 imge • 48x64 piksel 3072 piksel • 16’lık ve 8’lik bloklar • 16x16 bloklar için: 12 blok x 12 öznitelik  144 öznitelik • 8x8 bloklar için : 48 blok x 3 öznitelik  144 öznitelik

8. TBA (Temel Bileşenler Analizi) • Temel bileşenler analizi (PCA), veriyi düşük bir boyuta, verideki değişintiyi koruyacak şekilde eşleyen dikgen bir doğrusal dönüşümdür. • Fakat PCA’in sınıf bilgisini kullanmadığını göz önüne alırsak, en fazla değişintinin olduğu bileşenlerin sınıflandırma problemi için doğru öznitelikleri içerdiğini garanti edemeyiz.

9. DAA (Doğrusal Ayırtaç Analizi) • Doğrusal ayırtaç analizi (LDA), düşük boyutlu uzayda sınıfları en başarılı ayıracak vektorleri bulur. Amaç sınıf-içi saçılımı en büyük yapmaya çalışırken, sınıflar arası saçılımı en düşük seviyeye çekmektir.

10. aPAC (Yaklaşık İkili Doğruluk Kriteri) • LDA’in en önemli dezavantajı: • Sınıflar arası uzaklığın karesini büyütürken, aykırı sınıfların bu işlemi domine etmesi dolayısıyla hali hazırda ayrık sınıflara daha fazla önem vererek geri kalan sınıfların ayrılmasını zorlaştırır. • K-sınıflı LDA problemi K*(K-1)/2sayıda 2-sınıf LDA problemine ayrıştırlabilir. • İkili sınıflar üzerinde ağırlıklandırma kullanılarak, her sınıfın boyut düşürme optimizasyonuna katkısı normalize edilebilir.

11. NPCA (Normalize PCA) • PCA düşürülmüş boyutlu uzaydaki veride değişintiyi maksimize ederken aynı zamanda verinin izdüşümünde örnekler arası ikili uzaklıların karelerinin toplamını da maksimize etmektedir. • Bu ikili uzaklıkların karelerini ağırlıklandırarak (ikili benzemezlikler) toplayıp maksimize ederek büyük uzaklıkların etkisi azaltılabilir.

12. NPCA (Normalize PCA) • Önerilen ağırlıklar:

13. NLDA (Normalize LDA) • NPCA’in geliştirilmiş bir şekli olan NLDA’de, ikili benzemezliklere ek olarak, ikili benzerlikler de probleme dahil edilmiştir. • Aynı sınıfa ait elemanları yaklaştırmaya çalışırken aynı zamanda farklı sınıflara ait elemanları uzaklaştırmaya çalışmaktayız.

14. Nearest Neighbor Discriminant Analysis (NNDA) • Sınıflar arası uzaklığı arttırmaya çalışırken, aynı sınıfa ait elemanları izdüşüm uzayında yaklaştırmayı hedeflemektedir. • Her eleman için, aynı sınıftaki en yakın komşu ile uzaklığını ve diğer sınıflardan en yakın komşu ile uzaklığını göz önüne alır.

15. Sınıflandırma (Eğitim ve Test) • Sınıflandırma için MATLAB – PrTools (Pattern Recognition Toolbox) • Nearest Mean Classifier (nmc) • Nearest Neighbor Classifier (nnc) • Linear Discriminant Classifier (ldc) • 37 kişinin herbirinden 40 yüz imgesi 1480 imge • 32x37 = 1184 imge eğitim için • 8x37 = 296 imge test için

16. Normalizasyon Öncesi Herhangi bir normalizyon uygulanmadan önceki tanıma oranları :

17. Normalizasyonlar • Öznitelik Normalizasyonu • Uzunluk bölümü (normalizasyonu) • Standart sapma bölümü (normalizasyonu) • Blok içi Normalizasyon • Blok içi ortalama ve standart sapma normalizasyonu

18. Öznitelik Normalizasyonları • Uzunluk Bölümü: Farklı parlaklık seviyelerindeki bloklar, farklı değer seviyeleri içeren görsel öznitelik vektorlerine sebep olmaktadır. Uzunluk normalizasyonu olarak adlandırdığımız bu yöntemle yüksek veya düşük parlaklık seviyeli bloklardan gelen özniteliklerin etkilerini dengelemiş oluruz. • Standart Sapma Bölümü: Her özniteliğin katkısını dengelemek için, her özniteliği, eğitim verisi üzerinden öğrendiğimiz standart sapmalarına böleriz.

19. Öznitelik Normalizasyonu Sonuçları Uzunluk Bölümü Sonuçları Standart Sapma Bölümü Sonuçları Blok boyutu 8 Blok boyutu 16

20. Blok içi Normalizasyon • İmge üzerindeki her bir blok, insan yüzündeki farklı bölgeleri içerdiğinden, her bloktaki farklı parlaklık seviyesi aynı kişi için bile değişiklik göstermektedir. • Ayrıca ışıklandırma durumuna bağlı olarak, farklı blokların piksel değerleri arasında büyük farklılıklar oluşabilir. • Aynı kişinin farklı imgelerinden çıkarılmış öznitelik vektörleri arasında büyük farklar olması, sınıflandırma performansını düşürmektedir.

21. Blok içi Normalizasyon Sonuçları Block size 8 Block size 16

22. Gelecek Çalışmalar • Çakışan Bloklar • Karar Birleştirme • Her blok için bağımsız karar verme • Hareketli Bloklar • En uygun eşleşme için blok merkezlerinin kaydırılması • Diğer veritabanları • CMU yüz ifadesi veritabanı, AR yüz veritabanı