4. Descripteurs du contenu

1. 4. Descripteurs du contenu • Le descripteurs les plus fréquemment utilisés : • Descripteurs invariants aux transformations affines autour des points caractéristiques : « coins de Harris », DOG – Lowe et al. • Descripteurs normalisés ( MPEG7 )

2. Descripteurs SIFT (D. Lowe 2004) -1 • SIFT = scale invariant feature transform • Problème : détecter les points caractéristiques et proposer les descripteurs invariants par rapport aux transformations affines du plan – image et de la liminance. (1) (2 ) -est le paramètre d’échelle Mokolajczyk (2002) a montré que les points les plus stables sont obtenus comme extremums de Laplacien de Gaussienne d’une image

3. Descripteurs SIFT (D. Lowe 2004) -2 • DOG est une bonne approximation de • Considérons • Alors (3) • (4) • Par ailleurs • (5)

4. Descripteurs SIFT (D. Lowe 2004) -3 • De (4) et (5) : • (6) • Finalement de (3) et (6): • DOG déjà comporte la normalisation requise pour Laplacien inv. à l’échelle. Le facteur (k-1) est constant pour toutes les échelles et n’influence pas la localisation des extremums

5. Calcul de la DOG • Convoluer I avec G progressivement pour produire L séparées par k dans l’espace - échelle • Une Octave est divisée en s intervalles, • Echelles adjacentes • DOG: • Sous-échantillonnage de facteur 2

6. Détection des extremums locaux • Un point est retenu si DOG est minimale ou maximale parmi 26 voisins • Choix du paramètre d’échelle • valeur (Lowe[2004]) L’échelle s est affectée au point

7. Filtrage le long des contours (1) • Un faible pic de DOG (qui correspond au contour) aura une forte courbure dans la direction orthogonale au contour et une fable courbure dans la direction orthogonale. • Matrice Hessienne • Les valeurs propres de H sont proportionnelles aux courbures principales de D au point considéré. • Soit avec - la valeur propre maximale ( ) • sont les racines du polynôme caractéristique , alors

8. Filtrage le long des contours (2) • Finalement • Exclusion du point si

9. Résultats de la détection Image1

10. Résultats de la détection Image10

11. Affectation de l’orientation • Objectif : obtenir l’invariance du descripteur par rapport à la rotation en compensant par rapport à l’orientation locale • For each sample of the image L(x,y) at a given scale compute : • Amplitude du gradient : • Angle d’orientation : • Histogramme d’orientations et calculé dans le voisinage du point caractéristiques (36 orientations : 360/10). • Points multiples : l’histogramme contient plusieurs modes

12. Descripteur local autour du point caractéristique (1) • Séléctionner une région – carré autour du point caractéristique ( 8x8 or 16x16 pixels); • Claculer l’amplitude du gradient et l’orientation en chaque point de la région, pondérer l’amplitude avec une Gaussienne (cercle) • Diviser en blocs de taille 4x4 et calculer l’histogramme d’orientation pour chaque bloc (8 orientations); • Pondérer chaque contribution dans un bin par l’amplitude lissée du gradient • Interpoler les histogrammes

13. Descripteur local autour du point caractéristique (2) • Le descripteur X est un vecteur des histogrammes 4x4 concaténés dim(X)=4x4x8=128 • « Tourner » le descripteur X par rapport à l’orientation du point caractéristique pour obtenir l’invariance par rapport à la rotation • Normaliser : • - invariance par rapport aux transformations affines de la luminance

14. Comparaison des descripteurs ( contexte de recherche des images/vidéos) Pour chaque point caractéristique dans l’image-requête et tous les points caractéristiques dans la BD calculer • Soit p1 le PPV de Q et p2 le second PPV de Q • Si D(p1 )< D(p2) x Th du ]0 … 1] alors p1 est le bon « correspondant » • Activer le mécanisme de vote,…. • Groupement basé sur les appariements….

15. Mise en correspondance • -Application à la recherche des images (mais aussi reconnaissance des images vidéos similaires, groupement des clips etc) • Plusieurs méthodes : • par exemple, pour chaque descripteur de l’image – requête trouver le meilleur correspondant dans la BD et regrouper les images correspondantes. • Soient p1 premier plus proche voisin d’un point-clé de l’image • requête et p2 son second plus proche voisin, alors • D(p1 )< D(p2) x seuil , seuil appartenant à ]0 … 1] – bon appariement • Activer le mécanisme de vote,…. • Groupement basé sur les appariements….

16. Descripteurs normalisés MPEG7 • Descripteurs de la couleur; • Descripteurs de la texture; • Descripteurs de la forme des objets; • Descripteurs du mouvement;

17. SURF (speed-up robust features)(1) • Points caractéristiques : max de det de Hessian - blobs L-convolution de l’image avec la dérivée seconde d’une Gaussienne

18. SURF (speed-up robust features)(2) H. Bay et al. • Image intégrale • Calcul rapide de convolution C-B-D+A

19. SURF (speed-up robust features)(3) Augmentation de taille de filtre au lieu de changement de l’image pour la détection à différentes échelles

20. Exemples de détection

21. Régions de calcul du descripteur. Calcul de  l’orientation à la base des Ondelettes de Haar

22. Descripteur

23. Descripteurs de la couleur en MPEG7 (1) • Color structure descriptor : exprime la structure locale de la couleur dans l ’image • Calcul : soit M couleurs quantifiées. • L ’histogramme de la structure couleur est dénoté par h(m), m=0,1,…,M-1 où la valeur dans chaque bin représente le nombre d ’éléments structurants dans l ’image contenant cette couleur. Si la taille de l ’image > 256x256 - un sous-échantillonnage de facteur de 2 est effectué. Elément structurant : bloc 8x8 glissant d ’un pixel.

24. Blanc Chroma (diff) Degré de noir (max) Système couleur et quantification Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs HueMaxMinDiff Intensité (sum) Degré de blanc (min) Couleur Pure Noir Hue - le même que dans HSV Max=max(R,G,B), Min=min(R,G,B) Diff=Max-Min, Sum=(Max+Min)/2

25. Descripteurs de la couleur en MPEG7 (2) • Dominant color descriptor : l ’ensemble des couleurs dominantes dans la régions d ’intérêt ou dans l ’image entière fournit une description compacte facile à indexer. - ième couleur dominante - pourcentage dans l ’image - variance couleur; - mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3).

26. Calcul du DCD – Split-LBG • Nombre de classes final fixé à priori K=2n • Méthode : • 1. Initialisation : tirage aléatoire des centres • de M<K classes (M=2) • 2) « Split » de D : • 3) LBG • a - affectation • b - calcul du nouveau centroïde de chaque classe : • c - calcul de la distorsion • si alors arrêter sinon (3) • 4) Arrêt si K classes sinon retour en (2).

27. Descripteur Color Layout • Color Layout Descriptor : représentation compacte de la distribution spatiale des couleurs dans l’image, indépendante de la résolution. • Calcul : • - Partitionner image de taille MxN en 64 blocs (8x8). • -Calculer la valeur représentative (moyenne) par bloc • Calculer la DCT sur l’imagette des valeurs représentatives • Coefficients DCT de luminance • Coefficients DCT de chrominance rouge • Coefficients DCT de chrominance bleu • m = 6, n = 3 par exemple

28. 64(8x8) blocs Partitionement image Calcul des couleurs représentatives DCT Coefficients Zigzag Scan CLD Cr Cb Y Calcul du descripteur

29. Exemples de CLD

30. Descripteurs du mouvement • Activité de mouvement : • traduit la notion intuitive de l ’intensité d ’action dans un segment d’une vidéo • Attributs : • - intensité de d ’activité (l ’attribut principal) • - direction d ’activité (la direction dominante parmi 8 possibles) • - distribution spatiale de l ’activité (indication sur la taille et quantité des régions actives dans une scène vidéo) • - distribution temporelle de l ’activité

31. Activité du mouvement Corrélation avec l ’amplitude des vecteurs du mouvement dans la séquence Intensité d ’activité : mesure qualitatives selon l ’échelle 1..5 (très faible, faible, moyenne, forte, très forte

32. Descripteur du mouvement des objets (1) Moving region

33. Descripteur du mouvement des objets (2) Modèle de trajectoire : approximation du premier ou second ordre par morceaux. Ensemble des points-clés : coordonnées du centre de gravité de l ’objet (2D ou 3D); ou -paramètre d ’interpolation - la vitesse et l ’accélération de l ’objet - positions en temps ta et tb