Transformação para o Espaço Latente

Transformação para o Espaço Latente Paulo Sérgio Rodrigues PEL205

Matriz Ortogonal

Norma p de um Vetor Por exemplo, a normas p usuais são:

Matriz Simétrica e Positiva Definida

Valor Singular

[Deewesteer, 1990] diz que: “A indexação no espaço latente (LSI) tenta resolver problemas de casamento lexicográfico usando índices conceituais derivados estatisticamente ao invés de usar palavras diretamente”. A LSI assume que existe alguma informação escondida (Estrutura Latente das Palavras) que é parcialmente obscurecida devido a variabilidade das escolhas das palavras”. Espaço Semântico Latente

Uma vez que tanto textos quanto imagens podem ser interpretadas como espaços vetoriais, as idéias do LSI de que existe informação escondida e essa informação é essencial para caracterização de padrões, podem ser levadas para a interpretação de cenas Espaço Semântico Latente Por que trabalhar no espaço latente quando se procura padrões tanto textuais quanto visuais? Existe uma série de problemas em casamento de padrões que incluem pelo menos ...

Sinônimos: palavras diferentes com o mesmo significado Exemplo: avaro-avarento, léxico-vocabulário, falecer-morrer, etc.. Tais palavras possuem baixa similaridade no espaço vetorial euclidiano. Espaço Semântico Latente Imagens diferentes podem ter o mesmo significado:

Espaço Semântico Latente Polissemia: Uma única palavra pode ter múltiplos significados Dependendo do contexto, o que leva a uma precisão pobre em casamento de padrões textuais. Ex: vários significados do verbo ter

Polissemia: Uma única imagem, dependendo do contexto, pode ter vários significados, o que pode levar a uma pobre precisão em classificação. Espaço Semântico Latente

Espaço Semântico Latente Alta dimensionalidade: Tanto o espaço vetorial dos textos, quanto das imagens, possuem geralmente uma alta dimensionalidade, gerando dificuldades de gerenciamento e escondendo informações latentes.

Decomposição do Valor Singular

Decomposição do Valor Singular Então, Aké uma aproximação ótima de A considerando que:

Interpretação Visual do SVD Decomposição do Valor Singular =

Conclusão 1: O teorema de de Eckart-Young, garante que Ak, a matriz truncada de A, é a matriz de rank k mais próxima de A de acordo com as normas de Forbenius e norma 2 Decomposição do Valor Singular Conclusão 2: A decomposição em valores singulares de um espaço vetorial, pode separar informações latentes escondidas. Revelar essas informações pode ser uma maneira de representar esse espaço Em sua essência semântica. Isso vale para textos, imagens, sons, vídeos, etc..

Exemplo numérico no Matlab Decomposição do Valor Singular A = 0.95 0.49 0.46 0.44 0.23 0.89 0.02 0.62 0.61 0.76 0.82 0.79 [U,S,V] = svd(A)

Exemplo numérico no Matlab Decomposição do Valor Singular U = -0.55 0.54 -0.64 -0.45 -0.84 -0.31 -0.70 0.11 0.70 S = 2.10 0 0 0 0 0.67 0 0 0 0 0.39 0 V = -0.50 0.58 -0.64 0.05 -0.57 -0.59 -0.13 -0.55 -0.40 0.48 0.73 -0.28 -0.51 -0.28 0.21 0.78 Verifica-se que A = U*S*V’

Exemplo com uma imagem Decomposição do Valor Singular Imagem Original Valores Singulares

Exemplo com uma imagem Decomposição do Valor Singular Imagem reconstruída com apenas 10% dos Valores Singulares 10% dos Valores Singulares

1. S. T. Dumais, G. W. Furnas, T. K. Landauer, and S. Deerwester (1988), Using latent semantic analysis to improve information retrieval. In Proceedings of CHI’88: Conference on Human Factors in Computing, New York: ACM, 281-285. 2. S. Deerwester, S. T. Dumais, T. K. Landauer, G. W. Furnas, and R. A. Harshman (1990), Indexing by latent semantic analysis. Journal of the Society for Information Science, 41(6), 391-407. 3. P. W. Foltz (1990), Using Latent Semantic Indexing for Information Filtering. In R. B. Allen (Ed.) Proceedings of the Conference on Office Information Systems, Cambridge, MA, 40-47. 4. J. S. Yu, Z. H. Jin, and Z. S. Wen (2003), Automatic Detection of Collocation. Report at the seminar of Statistical Machine Learning, Peking University, http://icl.pku.edu.cn/yujs Referências Bibliográficasa de SVD e LSI

Transformação para o Espaço Latente