Vision Gestalt et connaissances Une approche générique à l’interprétation d’images

1. Vision Gestalt et connaissancesUne approche générique à l’interprétation d’images N. Zlatoff B. Tellez A. Baskurt CORESA, 25 mai 2004 - Lille

2. Contexte & problématique • Augmentation du volume d’images numériques • Nécessité d’outil d’indexation • Sémantique • Automatique • Des outils content-based limités au bas-niveau • QBIC [Niblack-93], VisualSEEk [Smith-96] [Niblack-93] W. Niblack, R. Barber, W. Equitz, et al. « The QBIC Project : Querying Images by Content Using Color, Texture and Shape », in Proceedings of Storage and Retrieval for Image and Video Databases, Bellingham, WA, 1993, Vol. 1908, pp. 173-187. [Smith-96] J. Smith, S. Chang, « Tools and Techniques for Color Image Retrieval », in Proceedings of The Symposium on Electronic Imaging : Science and Technology Storage and Retrieval for Image and Video Databases IV, San Jose, CA, 1996, pp. 426-437, CORESA, 25 mai 2004 – Lille

3. État de l’art • Systèmes knowledge-based • Schema [Draper-89], SIGMA [Matsuyama-90] • Dépendants des connaissances du domaine (procédurales) • Limités à un domaine • Outils de groupements perceptuels • Génériques, déconnectés des connaissances [Vasseur-99] • Extraient des objets non sémantiques (intermédiaires) Perception Mécanismes innés Mécanismes innés Connaissances Connaissances [Draper-89] B.A. Draper, R. Colins, J. Brolio et al. « The Schema System », International Journal of Computer Vision, Vol. 2, 3, 1989, pp 209-250. [Matsuyama-90] T. Matsuyama, V. Hwang, «SIGMA: A Knowledge-Based Aerial Image Understanding System», Plenum, New-York, 1990. [Vasseur-99] P. Vasseur, C. Pégard, M. Mouaddib et al, “Perceptual Organization Approach by Dempster-Schafer Theory”, Pattern Recognition, Vol. 32, 1999, pp. 1449-1462. CORESA, 25 mai 2004 – Lille

4. Ontologie du domaine Description topologique contrôle Groupement perceptuel Description sémantique Image segmentée Positionnement • Externaliser les connaissances du domaine et y accéder « au besoin » • Ontologies Description intermédiaire CORESA, 25 mai 2004 – Lille

5. (a) (b) (c) (d) (e) Groupement perceptuel (1/2) • Aboutir à des objets intermédiaires • Vision Gestalt (approche nativiste) [Wertheimer-58] • « Le tout est plus que la somme des parties » • Mécanismes de groupements successifs selon 5 propriétés • Proximité (a et b), similarité (c), fermeture (d), continuité (e), symétrie [Wertheimer-58] M. Wertheimer, Principles of Perceptual Organization, Readings in Perception, pp. 115-135, 1958 . CORESA, 25 mai 2004 – Lille

6. Groupement perceptuel (2/2) • A partir du RAG, calcul d’une distance perceptuelle entre les régions i et j: DPij = Dij x Fij x Cij • Dijdifférence entre les descripteurs bas-niveaux • Fijmesure de l’imbrication mutuelle (fermeture) • Cijfavorise la fusion de petites régions (vers une continuité) • Basé sur [Idrissi-03] [Idrissi-03] K. Idrissi, G. Lavoué, J. Ricard, et al. « An Object of Interest based Visual Navigation, Retrieval and Semantic Content Identification System», Computer Vision and Image Understanding: Special Issue on Colour for Image Indexing and Retrieval, to appear, 2003. CORESA, 25 mai 2004 – Lille

7. Groupement perceptuel (2/2) • Réduction itérative du RAG • Critères d’arrêt: • DPij < seuil_max • Nombre d’objets intermédiaires > nb_min • Question du contrôle et du paramétrage • Qu’attend-on? … Qu’est-ce qu’un objet intermédiaire pertinent ? • Appel aux connaissances Image Image segmentée Groupement perceptuel CORESA, 25 mai 2004 – Lille

8. Scène Description primaire Composants primaires Composants d’ordre 2 Composant d’ordre 3 OS 1 OS 2 OS 3 OS 4 N i v e a u d e d é t a i l GROUPEMENT PERCEPTUEL Description d’ordre 2 OS 6 OS 5 OS 7 OS 8 Description d’ordre 3 OS 11 OS 10 OS 9 Modélisation des connaissances • Modèle de scène (apparition dans l’image) • Objets sémantiques • Taille relative, forme, propriétés « intrinsèques » • Relations topologiques • Inclusion • Adjacence & voisinage (dessus, dessous, gauche, droite) • Composition de la scène • « tous les objets ne sont pas pertinents à tous les niveaux de détail » • Groupements perceptuels successifs dans un contexte simplifié CORESA, 25 mai 2004 – Lille

9. Contrôle par les connaissances • Paramétrage du groupement par les connaissances • MinPix ≡ Taille des objets attendus • Critères d’arrêt en fonction des objets attendus et du niveau de composition • Interprétation a posteriori des groupements • Initialisation: exploitation des contraintes de scène • Propagation de la connaissance • inférence, logique d’ordre 1 • Relaxation: vérification de la cohérence CORESA, 25 mai 2004 – Lille

10. Domaine d’étude • Stèles thessaliennes • Bloc de pierre peint et sculpté dans la Grèce Antique • Fournies par la Maison de l’Orient et de la Méditerranée (MOM) Couronnement Corps Geison Rosettes Tainia CORESA, 25 mai 2004 – Lille

11. Modélisation des connaissances • En collaboration avec les experts de la MOM • Stockage avec Protégé-2000 (frames) • Utilisation d’un plug-in Jess pour les inférences CORESA, 25 mai 2004 – Lille

12. Couron-nement Corps Image originale Image segmentée Groupement perceptuel (Niveau 1) Couron-nement Geison Corps Exemples de résultats CORESA, 25 mai 2004 – Lille

13. Conclusions • Une architecture générique • Qui s’applique à des domaines contraints géométriquement • Validée dans un domaine (stèle) • Groupement perceptuel… • Aboutissant à des objets intermédiaires pertinents • … Contrôlé par les connaissances • Paramétrage du groupement par les connaissances • Validation a posteriori & remise en cause • Mécanisme encore incomplet CORESA, 25 mai 2004 – Lille

14. Perspectives • Groupement perceptuel • Poursuivre l’implantation gestaltiste • Lois de symétrie, continuité • Contrôle par les connaissances • Incorporé dans le groupement: arrêt local si une structure est reconnue • Utilisation des inférences pour filtrer les résultats CORESA, 25 mai 2004 – Lille