Recuperação de Informação Multimídia

1. Recuperação de Informação Multimídia Paulo Roberto prps@di.ufpe.br

2. Roteiro • Motivação • Recuperação de informação textual • Recuperação de informação multimídia • Conclusões • Referências

3. Motivação Crescimento das coleções de textos digitais (bibliotecas digitais, Internet, Intranets, ...) + Tempo de busca longo / baixa precisão Novas técnicas de recuperação de informações (IR)

4. Etapas da Recuperação de Informações (IR) Coleta da Seleção da Apresentação ao Usuário Informação Informação disponível desejada

5. Paradigmas de IR

6. Busca de Informação na Web: • Como localizar a informação relevante? • Como modelar o interesse de um usuário particular? Aprox. 577.032 docs!!!

7. Medidas de Eficácia para Busca e Filtragem Recall: total de documentos relevantes retornados dividido pelo número total dos relevantes. Precisão: documentos relevantes retornados dividido pelo número total de retornados

8. Por que Agentes + IR? • IR se encaixa no modelo de agentes; • Necessidade de acesso a múltiplas fontes de informação; • Necessidade de distribuição

9. Usuário Search Engine Consulta Browser Servidor de Consultas Base de Índices Resposta )--( Robô Web Indexing Engine Busca Agentes de Busca Exemplos: Radix, AltaVista, Lycos, Excite, ...

10. Servidor de News Browser Perfil do usuário Base de Índices Internet Indexing Engine Agente de Filtragem Agentes que Filtram Informação ex.: Metacrawler, NewsHound, etc.

11. Montando a Base de Índices • Dado um documento, identificar os conceitos que descrevem o seu conteúdo e quão bem eles o descrevem. • Pesos das Palavras como indicação de relevância: • Frequência relativa da palavra no texto (TFIDF) • Frequência da palavra em relação a outros documentos do conjunto que está sendo indexado. • Colocação da palavra na estrutura do documento (título, início, negrito,...) • Palavras com maiores pesos são selecionadas, formando um vetor de representação.

12. Exemplo de Representação

13. Estrutura de Arquivos p/ IR(Montando a Base de Índices) • Arquivos de índices invertidos

14. Indexação • Selecionar palavras da página HTML • Converter uma cadeia de caracteres em uma cadeia de palavras/tokens. (/, -, 0-9,...) • Stop-list • Palavras sem conteúdo semântico são retiradas da indexação • Montar o centróide da página • Palavras-chave que mais aparecem na página

15. Indexação • Indexação Distribuída, Base compartilhada • Divisão por: Localização Geográfica, Rede, Conteúdo,.. • Stemming • Armazenar apenas o radical da palavra, permitindo variações morfológicas dos termos durante o casamento

16. Estratégias de Busca • Ontologias para aumentar precisão e recall. • Stemming • String searching • String matching exato e aproximado (N-Grams) • Expansão do vocabulário • a informação buscada pode ser expressada por diferentes palavras • utiliza um dicionário de sinônimos

17. Extração de Informação • Extrai dados relevantes (para um determinado objetivo) a partir de documentos digitais. • Etapas: • reconhecimento do trecho de informação; • extração da informação. • Exemplo (projeto de mestrado de Carla): BD (CNCT): Autor: .... Ano: .... Título: .... Local: ....

18. Agentes para IR • Transformar o grande número de fontes de informação em rede de agentes de informação. • Organização: • Estruturação dos agentes. • Conhecimento: • Ontologia ou modelo do seu domínio específico. • Modelo das fontes de informação. • Comunicação: • Protocolo de comunicação comum entre os agentes. • Aprendizado: • Melhorar a exatidão e performance com o tempo. • Lidar com as mudanças do ambiente

19. Rede de Agentes

20. IR-Multimídia • Motivação: • Existência de grandes volumes de textos, gráficos, narrações, sons e vídeos “acessíveis” em bases de dados distribuídas • Aplicações: • Diagnósticos médicos (Medical Image Databases) • Reconhecimento de padrões (faces, impressões digitais, assinaturas, riffs e melodias musicais, etc.) • Pesquisa multimídia

21. Convergência Digital

22. Recuperação de Informações Multimídia • Recuperação baseada em conteúdo • Mas como indexar áudio/vídeo? • Problemas... • Descrevendo imagens/sons através de palavras (cada pessoa conta o filme de uma maneira diferente...) • Extraindo informações de uma amostra de áudio...

23. Estado da Arte • Computação Musical, processamento de som, localização frequência-tempo • Narrações: busca direcionada por voz. Dificuldade de tornar-se independente do usuário • Música: busca baseada em valores (timbre, altura, duração, etc.)

24. Estado da Arte • visão computacional, reconhecimento de padrões e processamento de imagem • Fotos: busca baseada em características. Limitações na tecnologia restringem a busca a domínios específicos • Vídeo: sofre dos mesmos problemas das fotos. Compara quadros adjacentes com mudanças estruturais quadro-a-quadro. Parâmetros de movimento de câmera (zoom, fading, etc.)

25. Recuperando Áudio • Categorias de recuperação: • por um trecho específico • por atributos acústicos mensuráveis • por propriedades subjetivas do som • Indexando formas de onda vs. Indexando arquivos MIDI

26. Recuperação de Informação Musical Baseada em Conteúdo • Uso da tecnologia MIDI facilita o tratamento... • MIDI: nota, instrumento, altura, etc

27. Recuperando Vídeo Parsing Extração do conteúdo e indexação Recuperação e browsing

28. Categorias de Recuperação de Vídeo • High-level • Utiliza um conjunto de termos de indexação predefinidos para anotação de vídeo. • Os termos são organizados em categorias ontológicas de alto nível como ação, tempo, espaço, etc. • Desenvolveu-se a partir da perspectiva de indexação manual • É indicada para lidar com pequenas quantidades de vídeos novos e para acessar bases de dados anotadas previamente

29. Categorias de Recuperaçãode Vídeo • Low-level • Provê acesso a vídeo baseado em propriedades como cor, textura, formas, etc. • Consiste em extrair características dos dados de vídeo, organizar essas características baseado em alguma distância métrica e usar casamento por similaridade para recuperar o vídeo • Indexação automática • Principal limitação: ausência de semântica associada às características

30. Categorias de Recuperaçãode Vídeo • Domínio específico • Combina as duas anteriores: high-level para restringir a extração e o processamento low-level • É efetiva no domínio da aplicação • Ex.: parsing e recuperação de vídeos de notícias • Limitação: estreito domínio de aplicabilidade

31. Técnicas de Indexação de Vídeo • Transformada de Fourier • Processamento de padrões presentes em imagens • Descritores de Fourier • identificação dos contornos de figuras geométricas primitivas em imagens • ex: Applet

32. Técnicas de Indexação (A/V) • Wavelets • ondas pequenas com determinadas propriedades que as tornam adequadas a servirem de base para decomposição de outras funções, assim como senos e cossenos servem de base para decomposições de Fourier. • Ferramenta matemática para analisar, processar e sintetizar imagens e sinais onde o método de Fourier não obtém performance aceitável • Aplicações: waveform matching, segmentação de sinais e time-frequency localization • São adaptáveis para a aplicação em questão

33. Query Based in Content (QBIC) • Ferramenta de busca, IBM • Realiza consultas em grandes bases de dados de imagens baseadas no conteúdo visual dos dados • Consultas podem ser feitas através de exemplos • “Mostre-me imagens parecidas com esta” • Ou por descrições das propriedades • “Dê-me imagens que contenham muito vermelho”

34. Trademark Server • Permite navegação e busca de padrões de marcas registradas. • O sistema combina o IBM's DB2 Universal Database para consultar os campos numéricos e textuais e o QBIC(tm) para a consulta das figuras • Versão demo...

35. Considerações Finais • Repositórios multimídia precisam mais do que armazenagem e acesso em rede • indexação • Extração automática completa ainda é impossível • interface • Mantra para desenvolvimento: “Overview first, zoom and filter, then details on demand” Shneiderman

36. Referências - Papers • Bibliography os Papers on Multimedia Retrieval. • Seminários sobre Recuperação de Informação. Paulo Oliva e Mariana Neves • Representação e Recuperação Baseada em Conteúdo de Partituras Musicais em Bases de Dados Orientadas a Objetos. Figueiredo, M.B. Traina, C. Traina, ª • Busca e Recuperação de Informação Musical. Miccolis, A. V Simpósio Brasileiro de Computação e Música, UFRJ • Image and Sound Digital Libraries Need More Than Storage and Networked Access. Aigrain, P. ISDL’95

37. Referências - Links • QBIC Homepage. http://wwwqbic.almaden.ibm.com/ • Trademark Server. http://wwwqbic.almaden.ibm.com/tmdemo/ • Wavelets at LSI. http://www.lsi.usp.br/~regis/wlets.html • Computer-Assisted Perception: A Framework for Multimedia Interaction with Existing Media http://www.irit.fr/ACTIVITES/EQ_AMI/AIGRAIN/manifest.html • Fourier Descriptors. http://www.cim.mcgill.ca/~adq/fourdescrip/FD.html