1 / 40

Détecteurs et descripteurs

Détecteurs et descripteurs. GIF-4105/7105 Photographie Algorithmique Jean-François Lalonde. Merci à D. Hoiem et A. Efros pour les slides. Comment aligner deux images?. Déterminer une transformation globale automatiquement. Comment aligner deux images?. Quoi faire si:

landry
Download Presentation

Détecteurs et descripteurs

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Détecteurs et descripteurs • GIF-4105/7105 Photographie Algorithmique • Jean-François Lalonde Merci à D. Hoiem et A. Efros pour les slides

  2. Comment aligner deux images? • Déterminer une transformation globale automatiquement

  3. Comment aligner deux images? • Quoi faire si: • Pas seulement translation, mais rotation et facteur d’échelle? • Les images se chevauchent partiellement?

  4. A1 B3 Aujourd’hui: détecteurs et descripteurs A2 A3 1. Trouver une série de points distinctifs B2 B1 2. Définir une région autour de chaque point 3. Extraire et normaliser la région 4. Calculer un descripteur de la région 5. Apparier les descripteurs (de façon robuste) K. Grauman, B. Leibe

  5. Question • Pourquoi ne pas subdiviser l’image en blocs et apparier les blocs directement?

  6. Points d’intérêt: but Détecter des points qui sont représentatifs distincts

  7. Localisation des points • Voici une image. • Toute à l’heure, je vous montrerai une version déformée de l’image. • Identifiez des points sur l’image qui seront faciles à identifier lorsque l’image sera déformée.

  8. Choisir des points d’intérêt Vous devez rencontrer un ami. Où lui donnez-vous rendez-vous?

  9. Choisir des points d’intérêt Vous devez rencontrer un ami. Où lui donnez-vous rendez-vous?

  10. Choisir des points d’intérêt Coins Sommets

  11. Détecteur de coins de Harris • Nous devrions reconnaître le point en considérant seulement une petite fenêtre autour du point; • Si on déplace la fenêtre dans n’importe quelle direction, le changement d’intensité devrait être important.

  12. Détecteur de Harris: intuition arête:pas de changement le long de l’arête coin:changement dans toutes les directions région uniforme: aucun changement

  13. Détecteur Harris 1. Dérivées 2. Dérivées au carré 3. Dérivées au carré, filtrées avec gaussienne 4. Calculer fonction des valeurs propres de M

  14. Détecteur de Harris: interprétation Classification des points en fonction des valeurs propres λ2 Arête: λ2 >> λ1 Coin!λ1 et λ2 sont élevées, λ1 ~ λ2;gradient augmente dans toutes les directions Région uniforme: λ1 et λ2 sont petites:gradient constant dans toutes les directions Arête:λ1 >> λ2 λ1

  15. Détecteur de Harris: math En pratique, nous n’avons pas besoin de calculer les valeurs propres

  16. Algorithme • Calculer R pour tous les points dans l’image • Appliquer: R > seuil • Retenir les maximums locaux seulement

  17. Exemple: images

  18. Exemple: calculer R

  19. Exemple: appliquer R > seuil

  20. Exemple: maximum locaux

  21. Exemple: résultats!

  22. Détecteur Harris: propriétés • Invariance à la rotation L’ellipse tourne, mais la longueur de ses axes (valeurs propres) restent les mêmes

  23. Détecteur Harris: propriétés • Dépend de la taille de la fenêtre! Tous les points sont des arêtes Coin

  24. Invariance à l’échelle • Calculer réponse sur plusieurs échelles • Réponse est similaire même si on réduit la taille de l’image

  25. Invariance à l’échelle • Problème: comment déterminer la taille de la fenêtre indépendamment pour chaque image? • Choisir la taille en fonction du “meilleur” coin

  26. Maximum locaux • N coins les plus importants, distribués dans l’image • Voir [Brown, Szeliski, Winder, CVPR’05] pour le TP4

  27. Descripteurs • Comment faire pour apparier nos points d’intérêt? ? Descripteur doit être: distinct invariant Voir [Brown, Szeliski, Winder, CVPR’05]

  28. Descripteur • Orientation = gradient • Calculer une fenêtre • Position et échelle (x, y, s) + orientation (θ)

  29. Détections à plusieurs échelles

  30. Descripteur • Extraire une fenêtre orientée de dimensions 8x8 • Échantillonnée à 5x l’échelle (donc 40x40) • Normalisation: I’ = (I – μ)/σ 40 pixels 8 pixels

  31. Appariement ?

  32. Appariement • Recherche exhaustive • Comparer chaque point à tous les points dans l’autre image et appliquer un seuil sur la différence • Plus-proche-voisin • Exemple: “kd-tree” et variantes

  33. Quoi faire avec les aberrations? ?

  34. Appariement Quoi faire avec les mauvaises correspondances?

  35. “Random Sample Consensus” 1. Sélectionner points au hasard (combien?)

  36. “Random Sample Consensus” 2. Calculer transformation (directement)

  37. “Random Sample Consensus” 3. Calculer le nombre de points consistants

  38. “Random Sample Consensus” 4. Répéter!

  39. RANSAC pour homographies • Pour N itérations: • Sélectionner points d’intérêt au hasard (combien?) • Calculer l’homographie H • Calculer le nombre de points où SSD(p’, H p) < ε • Garder l’itération qui correspond au plus grand nombre de points consistants • Re-calculer H avec la méthode des moindres carrés avec tous les points consistants

  40. RANSAC

More Related