Universidade de São Paulo Instituto de Matemática e Estatística

1. Universidade de São Paulo Instituto de Matemática e Estatística Departamento de Ciência da Computação Técnicas de Rastreamento de Faces em Seqüências de Imagens Rogério Schmidt Feris rferis@ime.usp.br http://www.ime.usp.br/~rferis

2. Organização da Apresentação • Motivação • Revisão Bibliográfica • Representação de Faces Utilizando GWNs • Rastreamento de Faces em um Subespaço Wavelet • Resultados Experimentais • Conclusões

3. Motivação • Interação Homem-Máquina • Interfaces Baseadas em Visão Computacional 1) Onde? 2) Quem? 3) O quê? Por quê? • Rastreamento de Faces Desafio: Sistemas Robustos e Eficientes

4. Revisão Bibliográfica • Cor [Yang and Waibel, 1997] • Movimento [McKenna et al., 1996]

5. Revisão Bibliográfica • Bordas • Edge Counting [Silva et al., 1995] • Active Contours [Blake and Isard, 1998] • Características • Gabor Wavelets [Maurer and Malsburg, 1996] • Infra-vermelho / Pupilas [Morimoto et al., 1998]

6. Revisão Bibliográfica • Modelos Holísticos • Modelos de Geometria e Iluminação [Hager and Belhumeur, 1998] • Modelo Wavelet [Krüger and Sommer, 2000] • Integração de Informações [Toyama, 1998]

7. Revisão Bibliográfica • Rastreamento 3D da Face • Abordagens Baseadas em Modelo [Sclaroff et al., 2000]

8. Revisão Bibliográfica • Abordagens Baseadas em Características [Stiefelhagen and Yang, 1997]

9. Representação Baseada em GWNs • Wavelet Networks • Wavelet Mãe

10. Representação Baseada em GWNs

11. Representação Baseada em GWNs Imagem Original Representação Wavelet Os parâmetros são escolhidos a partir do espaço de configurações contínuo !!!

12. Representação Baseada em GWNs • Atenção Progressiva Interesse 32, 52, 100 e 320 wavelets

13. Representação Baseada em GWNs • Cálculo Direto dos Pesos

14. Representação Baseada em GWNs • Reparametrização

15. Representação Baseada em GWNs • Superwavelet • Reparametrização

16. Rastreamento de Faces • Rastreamento Utilizando GWNs • Rastreamento de Características Faciais

17. Rastreamento em um Subespaço Wavelet • Rastreamento no Espaço de Imagens • Rastreamento Baseado nos Pesos das Wavelets (Subespaço Wavelet)

18. Rastreamento em um Subespaço Wavelet • Metodologia • Pesos de Referência • Deformação do Subespaço <> • Projeção de uma imagem J em <>

19. Rastreamento em um Subespaço Wavelet • Distância entre Pesos

20. Rastreamento em um Subespaço Wavelet • Algoritmo • Dada uma seqüência de imagens [J1, J2, …, JN] • Otimize a GWN (,v) na face da imagem J1, obtendo, desta forma, os pesos de referência v. • Inicialize o vetor de parâmetros n1 = (cx, cy, , sx, sy, sxy) com a posição, escala e orientação da face na imagem J1. Isto configura uma parametrização inicial do subespaço <>. • Para i de 2 até N faça • Calcule w, projetando Ji em <>. • Enquanto ||v - w|| não é mínimo faça • Ajuste o vetor de parâmetros ni (deformação do subespaço <>) com o método Levenberg-Marquardt • Calcule w, projetando Ji em <>. • Fim Enquanto • Fim Para

21. Resultados Experimentais • Rastreamento em um Subespaço Wavelet • Análise de Precisão

25. Resultados Experimentais • Análise de Robustez • Análise de Eficiência

26. Resultados Experimentais • Aplicação: Reconhecimento de Faces a partir de Vídeo • Formação do Banco de dados • Etapas • Detecção da Face • Posicionamento das Características Faciais • Rastreamento das Características Faciais • Seleção e Normalização dos Melhores Quadros

27. Resultados Experimentais

28. Conclusões • Robustez x Eficiência • Trabalhos Futuros • Representação Wavelet Genérica da Face • Segmentação Precisa das Características Faciais • Representação Wavelet 3D

29. Rastreamento Eficiente de Faces em um Subespaço Wavelet Rogério Schmidt Feris rferis@ime.usp.br http://www.ime.usp.br/~rferis