1 / 58

Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und

Comparison of Interest Point Detectors Vortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“. Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp. Gliederung. Grundlagen Algorithmen Implementierung.

kineks
Download Presentation

Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Comparison of Interest Point DetectorsVortrag im Rahmen des Seminars Ausgewählte Themen zu „Bildverstehen und Mustererkennung“ Lehrstuhl: Professor Dr. X. Jiang Referenten: Julian Hartmann, Slawi Stesny und Christoph Sünderkamp

  2. Gliederung • Grundlagen • Algorithmen • Implementierung 1

  3. 1. Grundlagen • Points of Interest • Digitale Bilder • Merkmalsextraktion • Transformationen 2

  4. Points of Interest • „interessante Punkte“  zielabhängig • Eigenschaften • Informativ • Wenige Punkte • Reproduzierbar & nachvollziehbar • Detektierte Punkte repräsentieren lokale Umgebung • Deskriptoren nutzen Punkte zur Lösung einer Aufgabe • Hier: Detektion von POIs • Häufig POIs  Eckpunkte bzw. Punkte, bei denen sich die 2D Struktur signifikant ändert 3

  5. Beispielanwendung: Image Retrieval 4

  6. …Beispielanwendung • Matching durch Vergleich lokaler Regionen 5

  7. Digitale Bilder • Pixel  Rasterdarstellung • Endlich, diskreter Wertebereich 6

  8. Merkmalsextraktion • Kante genau zwischen zwei Pixelreihen 7

  9. Merkmalsextraktion • Kante schneidet eine Pixelreihe 8

  10. Merkmalsextraktion • Stufen-Kante genau zwischen den Pixelreihen 9

  11. Merkmalsextraktion • Stufen-Kante schneidet die Pixelreihen 10

  12. Intensitätsvektor Lesevektor trifft orthogonal auf zwei unterschiedliche Kanten 11

  13. Kantentypen • Sprungkante – Dachkante - Linienkante 12

  14. Faltung • Durch Faltung werden die Eigenschaften von Bild-Merkmalen hervorgehoben • Faltung wird mit Hilfe von Matrizen (Masken) durchgeführt • Eine Maske spiegelt die gesuchten Eigenschaften eines Bildmerkmals wieder • Je genauer dies Maske auf den ausgewählten Bildabschnitt passt, desto größer ist die Summe der Multiplikation (Elementweise). Beispiel Masken 13

  15. Faltung • Beispiel: elementweise Skalarmultiplikation Bildausschnitt 14

  16. Intensitätsfunktion • Jeder Bildausschnitt hat für jede Maske eine Intensität • Intensitätsfunktion mit Masken • Lesevektor wird in einem Winkel über das Bild gelegt • anhand einer Maske wird die Intensitäten bestimmt 15

  17. Ableitung der Kantenfunktion • Am Wendepunkt befindet sich die Kante • Bildung der ersten Ableitung • Kante befindet sich beim lokalen Maximum • Kante leichter zu erkennen 16

  18. Rauschen • Rauschen führt zu falschen Merkmalen • Filter glätten eine Bild • weniger falsche Merkmale 17

  19. Kantenreduktion • Non-Maximum Unterdrückung • Problem: • Kante wird mehrfach gefunden • Ziel: • Nur die kräftigste Kante soll dargestellt werden 18

  20. Kantenreduktion • Non-Maximum Unterdrückung • Lösung • Alle orthogonal benachbarten Kanten die schwächer ausgeprägt sind werden eliminiert. 19

  21. Schwellenwert • Einfache Schwellenwert-Operation • Oft nicht ausreichend • Es gibt verbesserte Versionen (Hysterese Schwellenwert-operation) Beispiel : Schwellenwert = 20 20

  22. Transformationen • Geometrisch • Lage von Punkten / Körpern in der Darstellungsebene wird verändert • Fotometrisch • Änderung der Intensität der Bildpunkte • Betrifft Lichtwahrnehmung des menschlichen Auges 21

  23. Geometrische Transformationen • Pixelkoordinaten aus diskretem Wertebereich • Ungenauigkeiten durch Verschieben von Pixeln • Beispiel Rotation: • Rotierter Körper schneidet mehrere Pixel im Zielbild • Welchen Pixeln im Zielbild werden der Bildpunkte zugeordnet?  Verlust von Bildinformationen • Translation, Skalierung, … 22

  24. Fotometrische Transformationen • darstellbare Intensitätswerte ebenfalls aus endlich, diskretem Wertebereich  verlustbehaftet Ausgangsbild, Helligkeits- und Kontraständerung 23

  25. 2. Algorithmen • Harris • Kovesi • SUSAN 24

  26. Harris Detektor • Ecken sind Points of Interest • Detektion auf Basis von Itensitätswechseln • Kanten werden zu Ecken „verknüpft“ • Bewertung jedes Bildpunktes bzgl. seiner Umgebung • Pixel repräsentiert seine Umgebung 25

  27. Harris Detektor • Gradient der Intensität • Approximiert durch Faltung mit Maske • Je für „x“- und „y“-Richtung der Pixelmatrix • Für alle Richtungen => Kovarianzmatrix 26

  28. Harris Detektor Ix2 Iy2 Ixy 27

  29. Harris Detektor • Kovarianzmatrix M enthält alle Intensitätsänderungen • Eigenvektoren zeigen in die Richtung des stärksten Anstiegs • sind beide Eigenvektoren ( und ) groß liegt eine Ecke vor. 28

  30. Harris Detektor • Aus Eigenvektoren kann eine Bewertung der „Eckigkeit“ eines Punktes (bzw. seiner Umgebung) erstellt werden • Harris: • Noble: 29

  31. Ausgangsbild Mit Eckenbewertung Harris Detektor 30

  32. Harris Detektor • Bewertung jedes Pixels nicht gewünscht: • Non-maximum-Unterdrückung • Schwellenwert-Hysterese • => Nur ein POI innerhalb eines gewählten Radius. 31

  33. Kovesi • Problem • Kein optimaler Merkmalsdetektor vorhanden • Ziel • Verbesserung der gegebenen Algorithmen in den Punkten: • Eindeutige Identifizierung der Merkmale • Genauere Lokalisation • Weniger Parameter Justierung • Rauschkompensation 32

  34. Ansatz • Bilder werden durch die Fourierreihen-Transformation ins Phasenmodell gebracht 33

  35. Dynamik der Fourier-Transformation • Funktion für die Transformation Phasenverschiebung Amplitudendämpfung 34

  36. Darstellung der Fourier-Transformation • 3 unterschiedliche Amplitudendämpfung • 180° Phasenverschiebung in jedem Bild • Phasenverschiebung • Stärke der Ausprägung derMerkmale • Amplitudendämpfung • Andere Klassifizierung durch Änderung der Schärfe Gittermodell 35

  37. Phasenkongruenz ( Deckungsgleichheit ) • In Jedem Punkt des Phasenmodels überdecken sich mehrere Phasen • Die Intensität ( Energie ) dieser Punktewird bei P.Kovesi mit der „phase congruency 2“ (PC2) Funktion bestimmt • auch gewichtete mittlere Phasenverschiebung genannt 36

  38. Bestimmung der lokalen Energie • Energie der Vektoren im Punkt x Vektorkette im komplexen Raum 37

  39. Auswertung von PC2 • Die Ausgabe von PC2 liefert Werte zwischen 0 und 2Pi ( 360° ) • 0 aufsteigende Stufe • ½ Pi helle Linie • Pi absteigende Stufe • 3/2 Pi dunkle Linie • Es wird zwischen auf- /absteigend und hell/dunkel nicht unterschieden ( Wertebereich bei der Auswertung zusammengefasst ) 38

  40. Phase Congruency 2 • Eigenschaften • keine Parameter notwendig bei Kontrast-/ Helligkeits-Änderung • Verbesserte Identifizierung der Merkmale • Zuordnung und Unterscheidung von Linien und Kanten • Verbesserte Lokalisierung der Merkmale • Kompensation von Rauschen 39

  41. SUSAN Eckendetektor Smallest Univalue Segments Assimilating Nucleus 40

  42. USAN – Univalue Segments Assimilating Nucleus 41

  43. Kern …USAN • approximierte Kreisfläche mit 37 Pixeln • dem Kern ( ) ähnliche Pixel werden abgezählt: + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 42

  44. Kern …USAN • Größe des USAN: • Beispiel:  Größe = 34 Größe = 13 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 43

  45. SUSAN Principle • Aussagen über die Struktur anhand der USAN-Größe: Der Kern liegt • in einer Fläche bei maximalem USAN, • auf oder nahe einer Kante, wenn das USAN die Hälfte des maximalen Wertes annimmt und • bei kleineren Werten innerhalb einer Ecke. • Richtlinie: Zur Detektion von Ecken und Kanten müssen nur kleine USANs betrachtet werden  Smallest USAN • Fokus im Weiteren: SUSAN Eckendetektor 44

  46. Ausnahmen I. Zwischenstufen oder Linien  Größe = 14 II.Rauschen  Größe = 7 + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 45

  47. Bereinigung um falsche Einträge I. • Bei einer Ecke ist der Abstand vom Kern zum Schwerpunkt des USAN groß, bei Linien klein Schwerpunkt + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 46

  48. Bereinigung um falsche Einträge II. • Alle Punkte der Geraden durch Kern und Schwerpunkt müssen Teil des USANs sein • Durch Rauschen treten Lücken innerhalb des USANs auf + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + o + + + + + + + + + + + + + + + + + + 47

  49. Bedeutung der Parameter • Geometrischer Grenzwert • Qualitativ: Welcher Punkt wird als Ecke erkannt? • Ähnlichkeitswert • Quantitativ: Ab welchem Intensitätswert gilt ein Punkt ähnlich dem Kern? 48

  50. Anpassung der Indikatorfunktion • Die Indikatorfunktion wird durch eine stetige Funktion angenähert: 49

More Related