Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo

1. Integrando Textura e Forma para a Recuperação de Imagens por Conteúdo André Guilherme Ribeiro Balan Grupo de Banco de Dados e Imagens Instituto de Ciências Matemáticas e Computação Universidade de São Paulo

2. Conteúdo • Introdução • Técnica proposta • Método de Segmentação • Vetor de Características • Medida de Similaridade • Experimentos e Resultados • Conclusões

3. Introdução • Motivação para o desenvolvimento de técnicas CBIR: • O aumento contínuo da quantidade de imagens digitais nos hospitais e centros médicos. • Objetivo: • Desenvolver uma ferramenta que auxilie os especialistas encontrar imagens específicas em grandes repositórios. • Principal abordagem: • Extrair característicasque representem o conteúdo da imagem; • Comparar as características usando uma medida de similaridade.

4. Introdução • Exemplo de consulta: • “encontre as cinco imagens mais semelhantes à imagem identificada por radialcabeca_343.jpg”

5. Introdução • Grupos de características: • Brilho/Cor; • Forma; • Textura. • Brilho/Cor são características simples de serem extraídas, mas podem causar ambigüidade. • Forma e Textura caracterizam melhor o conteúdo da imagem, mas são mais complexas e custosas de serem extraídas.

6. A técnica proposta • Principais elementos em imagens médicas: • órgãos, tecidos, anomalias, plano de fundo, … • Neste contexto, nosso trabalho propõe a utilização de textura e forma. Forma e Textura características

7. A técnica proposta • Esta abordagem compreende: • A segmentação da imagem baseada em textura. • A extração de características simples de forma do objetos obtidos na segmentação. • O uso de uma função simples de medida de similaridade.

8. O método de segmentação • Método de segmentação empregado: • Método EM/MPM; • Principais características do EM/MPM: • Baseado em Textura; • Automático (não-supervisionado); • Utiliza campos aleatórios de Markov (MRF);

9. O método de segmentação • Sobre o EM/MPM: • Basicamente: um algoritmo de otimização. • Objetivo: “minimizar o número esperado de pixels classificados erroneamente” • Sobre o uso de MRFs • Permite a representação de texturas de comportamento aleatório(presente na maioria dos tipos de imagens) • Demanda uma quantidade relativamente pequena de parametros.

10. 1 1 (1, 21) 2 2 3 3 (3, 23) . . . . . . (L, 2L) L L O usuário define o número de classes Imagem a ser segmentada Realiza-se uma nova classificação Atualiza-se as características das classes Campo Aleatório de Markov EM/MPM – visão geral Imagem Segmentada Um mapa de classificação é criado aleatoriamente Características das classes são definidas AlgoritmoEM Algoritmo MPM

11. Exemplos de segmentação Classes (5) 1 2 3 4 5 fundo Classes (2) 1 2 fundo

12. O vetor de características • O conjunto de características proposto inclui: • Medidas de forma da imagem segmentada; • Medidas da imagem original considerando a segmentação. • As medidas são obtidas das regiões: Classes (5) 1 2 5 regiões distintas 3 4 5

13. O vetor de características • Para cada região, 5 características são extraídas: • Centro de massa (centróide); • Massa (tamanho); • Medida de dispersão; • Média e • Variância. • Deixe I e S denotar a imagem original e a imagem segmentada, respectivamente.

14. O vetor de características • A massa da região c é: • Em outra palavras, massa é o numero de pixels da região c. where

15. O vetor de características • O centro de massa da região c é o par (xoc ,yoc) • A medida de dispersão mede a compactação da região: • oc – centro de massa de c • oi,c – centro de massa de uma região isolada i na região c Exemplo de regiões isoladas na região azul

16. O vetor de características • Média e Variância são calculadas sobre a imagem original I considerando a segmentação S média variância

17. xo1 yo1 m1 d1 1 21 . . . xoL yoL mL dL L 2L . . . Características da classe com menor média Características da classe com maior média O vetor de características • Se a imagem é segmentada em L classes o vetor de características é: • Há 6 valores por região/classe (o centróide tem dois valores) • O vetor possui 6 x L valores reais.

18. Medida de similaridade • A medida de similaridade entre duas imagens é dada pela Distância Euclidiana entre os vetores de características. • Os valores do vetor são normalizados para se obter maior poder de caracterização.

19. Experimentos e Resultados • Bando de imagens reduzido para experimentos: • Imagens segmentadas em 5 classes → 30 características por imagem.

20. Experimentos e Resultados • Exemplo de consulta utilizando o vetor proposto (30 valores) Imagem de busca: 2865.jpg Miniaturas das 24imagens recuperadas

21. Experimentos e Resultados • Usando histogramas (256 valores) Imagem de busca: 2865.jpg Miniaturas das 24imagens recuperadas

22. Experimentos e Resultados • Gráficos Precision x Recall - 5 consultas por curva - as mesmas consultas para ambas as técnicas Técnica proposta Histograma

23. Conclusões • Vantagens da técnica proposta • Alto poder de discriminação; • Número relativamente pequeno de características; • Método automático de segmentação. • Desvantagem • Alto custo para segmentação • Imagens de 300 x 400 pixels levam de 3 a 5 segundos em uma máquina com processador Athlon 2600.