Pesquisa em imagens combinando informação visual e informação textual - PowerPoint PPT Presentation

pesquisa em imagens combinando informa o visual e informa o textual n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Pesquisa em imagens combinando informação visual e informação textual PowerPoint Presentation
Download Presentation
Pesquisa em imagens combinando informação visual e informação textual

play fullscreen
1 / 17
Pesquisa em imagens combinando informação visual e informação textual
66 Views
Download Presentation
robin-sweet
Download Presentation

Pesquisa em imagens combinando informação visual e informação textual

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Pesquisa em imagens combinando informação visual e informação textual

  2. Introdução • O aumento de quantidade de informação visual utilizada criou a necessidade de novos métodos nas áreas de pesquisa e recuperação de imagens, menos dependentes da intervenção humana.

  3. O problema da interpretação de conteúdos • Na recuperação automática de imagens está sempre presente o problema do semantic gap. • Como remediar este problema?

  4. Algumas propostas anteriores • Utilização de Latent Semantic Indexing (LSI) com anglogramas (Zhao e Grosky). • Associação de emoções a imagens (Colombo et al). • Construção de estruturas de conhecimento (Barnard et al, Benitez e Chang).

  5. A proposta para um protótipo de recuperação de imagens • Baseado no LSI. • Com os objectivos de: • Comparar os resultados obtidos com e sem utilização de características de baixo nível; • Verificar a prestação do LSI quando é utilizado com um conjunto de dados desfavorável; • Testar a eficácia de cada uma das características de baixo nível do MPEG-7.

  6. Funcionamento do protótipo • Na fase de indexação é criada uma matriz de termos por documentos e é realizado o LSI sobre essa matriz. • Quando é colocada uma interrogação a matriz é utilizada como num modelo vectorial comum.

  7. Criação da matriz de indexação

  8. O MPEG-7 • Foi criado com o objectivo de promover a integração de anotações provenientes de fontes de dados diversas num único conjunto de estruturas de anotação e facilitar a pesquisa e recuperação eficientes de informação através da utilização destas estruturas.

  9. Características de imagem do módulo XM • O eXperimentation Model é a plataforma de testes dos descritores do MPEG-7. • As suas características são classificadas como sendo relativas à cor ou à textura, mas algumas fornecem também informação espacial.

  10. Características de imagem utilizadas • Scalable Color Descriptor (SCD) • Color Structure Descriptor (CSD) • Color Layout Descriptor (CLD) • Homogeneous Texture Descriptor (HTD) • Edge Histogram Descriptor (EHD)

  11. Ex-votos • Definição: “Um objecto, quase sempre de índole piedosa, que se oferece a Deus ou a um Santo, em cumprimento de um voto.”

  12. Ex-votos • Não têm um estilo distinto. • Muitas vezes um mesmo santo é representado em diferentes ex-votos com postura e simbologia semelhante.

  13. Dados de teste • Pinturas votivas (e as descrições nelas inscritas) retiradas do livro “Do Gesto à Memória”. • Segundo este livro, na maioria dos casos, os ex-votos escolhidos são constituídos por dois elementos: a representação do suposto milagre e a representação da entidade à qual o agradecimento é destinado.

  14. Conclusões • O protótipo concebido a partir desta proposta produziu bons resultados com a utilização de texto e de características da imagem em simultâneo, melhorando os resultados obtidos, quer com a utilização de comparação vectorial, quer com a utilização do LSI apenas com texto, para uma grande gama de documentos recuperados.

  15. Conclusões • Na comparação dos desempenhos individuais dos cinco descritores do módulo XM do MPEG-7 usados, o Edge Histogram Descriptor obteve os melhores resultados.

  16. Experiências futuras • Utilizar segmentação. • Utilizar query relevance feedback. • Utilizar outras métricas de distância entre vectores que não o coseno.

  17. Experiências futuras • Verificar os resultados do protótipo com um conjunto de dados em que cor e textura sejam um factor de distinção das imagens mais relevante. • Utilizar como dados de teste documentos que conjuguem anotações textuais com vídeo.