Seguimento de Objectos em Visão Computacional usando Métodos Estocásticos

1. Congresso de Métodos Numéricos em Ingeniería 2005 Granada, Espanha, 4 – 7 Julho Seguimento de Objectos em Visão Computacional usando Métodos Estocásticos Seguimento Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de Óptica e Mecânica Experimental

2. Introdução Índice • Introdução; • Métodos Estocásticos: • Filtro de Kalman; • Alternativas ao Filtro de Kalman; • Optimização das Correspondências na Medição: • Algoritmo Simplex; • Distância de Mahalanobis; • Resultados Experimentais; • Conclusões e Perspectivas de Trabalho Futuro.

3. Introdução Introdução • A análise de movimento poderá subdividir-se em: • Detecção; • Seguimento; • Reconhecimento. • O seguimento, geralmente, envolve o emparelhamento de características/entidades como pixels, pontos, áreas... • Aplicações práticas do seguimento: • análise do tráfego automóvel; • previsão das condições atmosféricas através do movimento das nuvens; • estudo do movimento dos lábios para permitir a sua leitura; • análise das deformações que objectos sofrem devido à influência de forças; etc.

4. Utilização de Métodos Estocásticos Introdução Introdução • Dificuldades comuns: • Complexidade dos objectos seguidos e das cenas: • Múltiplos objectos; • Variação topológica (por exemplo, divisão/fusão das entidades seguidas); • Aparecimento/Desaparecimento total ou parcial dos objectos seguidos. • A inexistência de modelos computacionais perfeitos: • Construídos considerando aproximações; • Existência de perturbações incontroláveis não modeláveis deterministicamente.

5. Mét. Estocásticos Métodos Estocásticos • Adequados para dados multivariados; • Obtêm melhores resultados dos que as metodologias baseadas em séries temporais; • Modelos estocásticos são definidos por espaços de estados. • Neste trabalho: • Entidades: pontos; • Método Estocástico: Filtro de Kalman; • Vectores de Estados: • Posição; • Velocidade; • Aceleração.

6. Mét. Estocásticos Métodos Estocásticos • Seguimento, consiste no cálculo recursivo de grau de certezaassociado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal utiliza: • modelo do sistema; • modelo de medição. • São consideradas duas fases: • Previsão - utiliza o sistema do modelo para prever a função de densidade de probabilidade do estado no instante seguinte; • Correcção - utiliza a medição de forma a modificar a função densidade de probabilidade prevista.

7. Mét. Estocásticos Filtro de Kalman • O filtro de Kalman assume que a função densidade de probabilidade em cada instante de tempo segue uma distribuição normal; • Permite a estimativa do estado de um sistema de forma óptima caso: • a transição entre estados seja linear; • a função de probabilidade seja normal.

8. Mét. Estocásticos Alternativas ao filtro de Kalman(exemplos) • Filtro de Kalman Estendido: • Permite o seguimento de movimento não linear. • Filtro de Condensação: • Utiliza a amostragem factorizada com um modelo estocástico de movimento dos objectos; • Propaga as amostras com pesos associados para formar o instante seguinte; • Requer a utilização de um número relativamente elevado de amostras (porque não é paramétrico); • Possibilidade de degeneração das partículas.

9. Optimização + Mahalanobis Optimização Optimização das Correspondências • Introdução de novas medições na fase de correcção requer o estabelecimento de correspondências entre as posições estimadas e as medidas (matching). • No filtro de Kalman para a posição 2D, a área de pesquisa para o estabelecimento de correspondências é uma elipse. • Dificuldades: • Medições na área de pesquisa podem ser várias ou nenhuma; • Usualmente, não há garantia de que se tenha obtido em termos globais o melhor emparelhamento.

10. Optimização Optimização das Correspondências • Com a consideração da optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades envolvidas; • O custo de cada emparelhamento é calculado usando a distância de Mahalanobis; • O algoritmo Simplex é utilizado para minimizar o custo total do emparelhamento.

11. Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais • Exemplos sintéticos: • Translação horizontal de 3 “blobs”: Legenda:

12. A C B D Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • Translação horizontal de 2 “blobs” (A e B) e rotação de 8º (C e D):

13. A C B D Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • ...Pontos C e D invertem sentido de rotação:

14. Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • Sobreposição de pontos (Oclusão): E F

15. Previsões Área de IncertezaMedições CorrespondênciasResultados Resultados Resultados Experimentais (Cont.) - Imagens Reais:

16. Conclusões Conclusões e Trabalho Futuro • Na metodologia proposta para o seguimento de objectos, é utilizado: • filtro de Kalman; • um método de optimização global; • Distância de Mahalanobis. • O emparelhamento é possível mesmo quando as áreas de pesquisa definidas pelas elipses associadas à variância não o permitam. • Abordagem apresentada revelou-se robusta (mesmo em casos de oclusão e com movimento não-linear).

17. Conclusões Conclusões e Trabalho Futuro • Este trabalho será considerado no desenvolvimento de uma aplicação específica de análise de movimento para o diagnóstico clínico da marcha e a análise do movimento em actividades desportivas. • No futuro será interessante comparar os resultados obtidos pela metodologia proposta com os obtidos por outros métodos estocásticos (filtro de Kalman estendido, filtros de partículas, ..).

18. Congresso de Métodos Numéricos em Ingeniería 2005 Granada, Espanha, 4 – 7 Julho Seguimento de Objectos em Visão Computacional usando Métodos Estocásticos Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Obrigado! Laboratório de Óptica e Mecânica Experimental

19. Agradecimentos • O primeiro autor, agradece a Bolsa de Doutoramento concedida pela FCT, no âmbito do projecto POSI, sob a referência SFRH/BD/12834/2003.