Indexation des images
This presentation is the property of its rightful owner.
Sponsored Links
1 / 38

INDEXATION des IMAGES PowerPoint PPT Presentation


  • 140 Views
  • Uploaded on
  • Presentation posted in: General

INDEXATION des IMAGES. Marine Campedel www.tsi.enst.fr/~campedel mars 2005. Plan du cours. Introduction Indexation par le texte Indexation par le contenu Extraction des caractéristiques Organisation des caractéristiques Comparaison des caractéristiques Interaction avec l’utilisateur

Download Presentation

INDEXATION des IMAGES

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Indexation des images

INDEXATION des IMAGES

Marine Campedel

www.tsi.enst.fr/~campedel

mars 2005


Plan du cours

Plan du cours

  • Introduction

  • Indexation par le texte

  • Indexation par le contenu

    • Extraction des caractéristiques

    • Organisation des caractéristiques

    • Comparaison des caractéristiques

    • Interaction avec l’utilisateur

  • Évaluation des systèmes d’indexation

  • Conclusion


Introduction

Introduction

  • Quelques chiffres :

    • INA : 500 000 h video + 600 000 h audio + 2 000 000 de photos

    • 82 Milliards de photos par an dans le monde

    • 390 Millions d’images indexées par Google

    • 4250 films commerciaux par an (UNESCO)

  • Motivations :

    • Conservation d’un patrimoine (culturel, scientifique,…)

    • Valorisation en facilitant l’accès et l’exploration

    • Exploitation commerciale (photos numériques, TV numérique, …)


Introduction quelles images

Introduction : quelles images ?

  • biomédical, satellitaires, photos, 2D ou 3D,…

  • 3 catégories générales

    • Images d’art (auteur, titre,…)

    • Images documentaires (reliées à un texte)

    • Images ordinaires

  • Centres d’intérêts actuels :

    • Audio-vidéo, multimédia, 3D


Introduction1

Introduction

  • Acteurs industriels

    • QBIC (IBM), Virage, Netra

    • NewPhenix (CEA)

  • Acteurs académiques

    • VisualSeek (Columbia), …

    • IMEDIA (INRIA, Rocquencourt), RETIN (ETIS, Cergy), KIWI (Insa, Lyon),…

  • Nombreux projets européens et nationaux


Introduction2

Introduction

  • Objectif de l’indexation : faciliter l’accès à des bases de données en extrayant une information synthétique.

    • Fouille de données (Data Mining), Extraction de connaissances, Vision artificielle

  • Catalogue, classification et indexation : quelles différences ?

  • Indexation textuelle ou par le contenu ?


Introduction3

Introduction

  • 1980 : Annotation textuelle des images

  • 1990 : Indexation par la couleur, la forme et la texture

  • 1993 : Requête en utilisant la similarité des images

  • 1997 : Requête par images exemplaires et mesure de la pertinence (relevance feedback)

  • 2000 : apprentissage sémantique et adaptation à l’utilisateur

  • Enjeux actuels : annotation interactive, formalisation de la connaissance (ontologies), grosses bases de données (problèmes de stockage, de vitesse d’accès,…), données hétérogènes, …


Indexation d images partir du texte

Indexation d’images à partir du texte

  • Texte

    • meta-données : type d’image, titre, auteur, conditions de prises de vue,…

    • Annotations humaines

  • Avantages :

    • exploite les outils d’indexation textuelle, prise en compte plus aisée des aspects sémantiques.

  • Inconvénients :

    • vocabulaire limité

    • difficultés de l’annotation : définition du vocabulaire, temps d’annotation >> temps réel, subjectivité, etc.


Indexation d images partir du texte1

Indexation d’images à partir du texte


Ontologies

Ontologies

  • Nécessité de définir un langage de description

    • Limité par le contexte de production

    • Limite l’utilisation

  • Définition d’ontologies : modélisation du contexte (objets/concepts et relations entre eux) de façon à lever toute ambiguïté d’interprétation

    « Le problème fondamental est de respecter la diversité des langages et des représentations du monde, tout en permettant l'échange d'information.[…] Identifier, modéliser les concepts d'un domaine, pertinents pour une/des applications, Se mettre d'accord, au sein d'une communauté, sur les termes employés pour se référer à ces concepts. »


Taxonomie nomenclature

Taxonomie / Nomenclature

  • Réduction couramment utilisée : Classification

  • Exemple : Corine Land cover

Surfaces

artificielles

Surfaces

cultivées

eau

Surfaces

humides

Forêts et espaces

semi naturels

Usine

urbaine

Transports

Réseaux

routiers

Ports

Aéroports


Indexation par le contenu principe 1 2

Indexation par le contenu : principe (1/2)

Requêtes

utilisateur

Images

Extraction de

caractéristiques

Sélection de

caractéristiques

Caractéristiques

Apprentissage

Non supervisé

Modèles

Modèles étiquetés

Apprentissage

supervisé

Caract.+ étiquettes


Principe 2 2

Principe (2/2)

  • Off-line : production d’indexes issus de l’analyse du contenu des images

    • Extraction de caractéristiques pertinentes

    • Réduction de la dimensionnalité

    • Organisation par classification

  • On-line : gestion des requêtes d’un utilisateur

    • « Gap sémantique »

    • Relevance feedback


Extraction de caract ristiques 1 2

Extraction de caractéristiques (1/2)

  • Caractéristiques :

    • Spécifiques : points saillants, minuties,…

    • Générales : couleur, texture, forme

  • Globale ou locale :

    • Blocs arbitraires, segmentation, information topologique


Extraction de caract ristiques 2 2

Extraction de caractéristiques (2/2)

  • Problème de représentation

    • Caractéristiques numériques, symboliques, graphes,…

  • Invariances

    • Translation, rotation, homothétie,

    • non-linéaires ?


Similarit de l information 1 5

Similarité de l’information (1/5)

  • Visuellement similaires ?


Similarit de l information 2 5

Similarité de l’information (2/5)


Similarit de l information 3 5

Similarité de l’information (3/5)

  • Deux images seront comparées par l’intermédiaire des caractéristiques extraites

    • Sim( Im1, Im2 ) = Sim( f(Im1), f(Im2) ), avec f la fonction d’extraction des caractéristiques

  • Mesures de similarités, distances

    • (A) s( x, x ) = s( y, y ) > s( x, y )

    • (B) s( x, y ) = s( y, x )

    • (C) d( x, x) = 0

    • (D) d(x,y) = 0  x = y

    • (E) d(x, y) <= d(x,z) + d(z,y)

    • (F) d(x,y) <= max( d(x,z), d(z,y) )

similarité

dissimilarité

distance

Ultra-métrique


Similarit de l information 4 5

Similarité de l’information (4/5)

  • Distance euclidienne

  • Distance euclidienne généralisée

  • Malahanobis

  • Chi2

  • Similarité en cosinus

  • Combinaisons linéaires de similarités (ou distances)


Similarit de l information 5 5

Similarité de l’information (5/5)

  • Comparaison des caractéristiques après une transformation Φ

  • « Truc du noyau »

    • K(x,y) = < Φ(x), Φ(y)>, K semi-defini positif

    • D(x,y) = <x,x> + <y,y> -2<x,y> devient

      D(Φ(x), Φ(y) ) = K(x,x) + K(y,y) -2K(x,y)

      Intérêt : la spécification de K définit implicitementΦ

  • Intensivement utilisé pour ACP, la discrimination de Fisher, la classification SVM,…


R duction d information 1 2

Réduction d’information (1/2)

  • Réduction de la dimensionnalité

    • ACP

    • Algorithmes de sélection

    • Quantification (forme de clusterisation)


R duction d information 2 2

Réduction d’information (2/2)

  • Sélection : filter/wrapper/embedded

    • Supervisé, non supervisé

    • Supervisé, wrapper : SVM-RFE, Fisher,…

    • Non supervisé, filter : clusterisation des caractéristiques


Organisation de l information 1 2

Organisation de l’information (1/2)

  • Classification : données X (caractéristiques) et label Y

  • Exemples : kPPV, SVM, Bayes, arbres de décision (C45.1)

  • Évaluation d’une classification :

    • Décompte des erreurs

    • Validation croisée


Organisation de l information 2 2

Organisation de l’information (2/2)

  • Clusterisation : données X

    • Partitionnement : kMeans

    • Hiérarchique : arbres

  • Minimiser la distance intra-classes et maximiser la distance inter-classes

  • Évaluation : pas évidente

    • Estimation du nombre de clusters : indexes de Calinsky, Davies Bouldin, Dunn,…

    • Mesure de la qualité ?


Gestion de l information

Gestion de l’information

  • SGBD Systèmes de Gestion de Bases de données

  • Gestion informatique : interaction avec les requêtes utilisateur, temps d’accès, place mémoire, …

    • Relationnel : SQL, mySQL

    • Objet

    • Relationnel-objet : Oracle, PostGreSQL


Requ tes

Requêtes

  • Grande diversité

  • Les systèmes imposent des types de requête :

    • Recherche d’une image dans une base

    • Recherche d’images similaires à une image exemplaire

    • Recherche d’images similaires à des images exemples et dissimilaires à d’autres

    • Recherche d’images contenant une région de l’image exemplaire


Feedback utilisateur 1 2

Feedback utilisateur (1/2)

  • Défaut majeur des systèmes standards : l’utilisateur doit s’adapter au système

    • Caractéristiques extraites automatiquement non intuitives

    • Fossé entre la formulation des requêtes et le codage de l’information

  • Nécessité d’adapter le système à l’utilisateur

    • Apprentissage : requêtes, mesures de similarités


Feedback utilisateur 2 2

Feedback utilisateur (2/2)

Requêtes

utilisateur

Images

Extraction de

caractéristiques

Sélection de

caractéristiques

Caractéristiques

Apprentissage

Non supervisé

Modèles

Modèles étiquetés

Apprentissage

supervisé

Caract.+ étiquettes


Valuation 1 2

Évaluation (1/2)

  • Graphe de rappel-précision calculé en faisant varier le nombre de documents sélectionnés

et


Valuation 2 2 autres crit res

Évaluation (2/2) : autres critères

  • Exploitation du rang de récupération

  • Critère de validation de MPEG7

    • Rank*(k) = rang(k) si < K(q), 1.25K sinon

    • AVR(q) : moyenne des rangs

    • MRR(q) = AVR(q) – 0.5( 1 + NG(q) )

    • NMRR(q) = MRR(q) / ( 1.25K – 0.5(1+NG(q)) )

    • Critère final : moyenne des NMRR

    • Notations : q = 1 requête ; k = une image pertinente pour la requête ; NG(q) nombre d’images pertinentes pour la requête ; K limite de rang acceptable


Normalisation mpeg 7 1 2

Normalisation : MPEG 7 (1/2)

  • MPEG : Motion Picture Expert group

  • MPEG7 : A Multimedia Content Description Interface, normalisé en 2001

  • Standard de description du contenu de données multimédia + interprétation du sens de l’information

  • S’appuie sur XML (langage à balises)

  • Un éditeur gratuit d’IBM (pour indexer des videos)

    • www.alphaworks.ibm.com/tech/videoannex


Normalisation mpeg 7 2 2

Normalisation : MPEG 7 (2/2)

  • Définitions de caractéristiques bas niveau :

    • //www-iplab.ece.ucsb.edu/publications/01IEEEManjunath.htm

  • Évaluation des caractéristiques sur des bases étiquetées manuellement


D monstrations

Démonstrations

  • Images 3D : http://3d.csie.ntu.edu.tw/


D monstrations1

Démonstrations


D monstrations2

Démonstrations

Ding-Yun Chen, Xiao-Pei Tian, Yu-Te Shen and Ming Ouhyoung, "On Visual Similarity Based 3D Model Retrieval", Computer Graphics Forum (EUROGRAPHICS'03), Vol. 22, No. 3, pp. 223-232, Sept. 2003


D monstrations3

Démonstrations

  • www-rocq.inria.fr/imedia/ikona

  • Feedback utilisateur


Conclusion

Conclusion

  • Indexation des images : problème non résolu

  • Experts issus de domaines variés (informatique, traitement de l’image, psycho visuel, apprentissage machine, …)

  • Deux axes à étudier simultanément :

    • Techniques d’analyse d’image donc d’extraction et de comparaison de l’information

    • Pertinence de l’information pour un utilisateur

  • Produits commerciaux encore basiques … quoique


  • Login