1 / 78

Erste Stufe der Informationsgewinnung

Erste Stufe der Informationsgewinnung. Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten. Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung). Modifiziert. Bestimmt Art. Bildauswertung.

yul
Download Presentation

Erste Stufe der Informationsgewinnung

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Erste Stufe der Informationsgewinnung Interpretationszyklus für Einzelbilder Zuordnung von Modellausprägungen zu Bilddaten Generische räumliche Beschreibung (parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung) Modifiziert Bestimmt Art Bildauswertung Parameterschätzung, Klassifikation Modellausprägungen (Parametersätze) Modellelemente Modellwelt Bestimmt Art Projektion Modellwelt-Bild Signal- verarbeitung Synthese Merkmale, Primitive Synthetisches Bild, Szenenskizze Verfahren extrahieren Digitalisiertes Bild Display Bildsensor Computer Vision 4_Seite 1

  2. Bildmerkmale Informationsgewinnung Objektberandung Grauwertunterschiede Lokalisierung (Geometrie) Texturunterschiede Segmentierung Freiheitsgrade Form Oberflächeneigenschaft Grauwert Klassifikation (Radiometrie) Textur Modellähnlichkeit Klassifikation (geometrisch, radiometrisch) Kanten- operator N Kanten- bilder Merkmal 1- Bild Merkmal 1 - Operator Bild . . . . . . . . . N Fleck- bilder Merkmal N - Operator Merkmal N- Bild Fleck- operator Computer Vision 4_Seite 2

  3. Videokamera Diskrete Signale Aliasing räumlich und zeitlich: Signale halbe Abtastfrequenz! Abstandsmaße im diskreten Gitter Euklidische Distanz City-block-Distanz Schachbrett-Distanz Computer Vision 4_Seite 3

  4. Merkmale Informationsgewinnung • Textur-Deskriptoren • Texturelle • Statistische • Fourier • Berandungsdeskriptoren • Einfache • shape numbers • Fourier • Momente • Regionale Deskriptoren • Einfache • Topologische Computer Vision 4_Seite 4

  5. Merkmale Informationsgewinnung • Grauwert-Deskriptoren: Textur • Keine formale Beschreibung von Textur. • Maße für Glattheit, Rauhigkeit, Regelmäßigkeit, etc. • Drei Ansatzpunkte zur Beschreibung von Textur: • Statistisch: glatt, rauh, körnig,grob • Strukturell: Anordnung geometrischer Primitive (z.B. reguläre Anordnung v. Linien) • Spektral: Detektion globaler Periodizitäten als Peaks im räumlichen Frequenzspektrum periodisch homogen Rauh fraktal Computer Vision 4_Seite 5

  6. h 0 255 g h 0 255 g Merkmale Informationsgewinnung Textur: Statistische Ansätze . . . homogen . . . Rauh fraktal 1. Auswertung des Histogramms des durch die Maske definierten Bildbereichs Computer Vision 4_Seite 6

  7. h 0 255 g h 0 255 g Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente des Grauwerthistogramms Wenn L die Anzahl der Grauwerte ist und h(gi) das Histogramm in der Maske, so sind die n-ten Momente: Das zweite Moment heisst Varianz und wird mit s² bezeichnet. Es ist ein Maß des Grauwertkontrasts. Z.B. ist R=0 für konstanten Grauwert und geht gegen 1 für große s. n=3: Skewness des Histogramms n=4: relative Plattheit des Histogramms Computer Vision 4_Seite 7

  8. Merkmale Informationsgewinnung Textur: Statistische Ansätze: 2. Auswertung der Coocurrence-Matrix Nachteil der reinen Histogramm-Ansätze: keine Information über relativen Position der Pixel zueinander (Phase). Information über die Positionen von Pixeln mit gleichem oder ähnlichem Grauwert: Coocurrence-Matrix. Positionsoperator Pk,l : In Bezug auf aktuellen Punkt (u,v) wähle aus Punkt (u+k, v+l). Anzahl der unterschiedlichen Grauwerte G Matrix A mit GxG Elementen ai,j : Anzahl, wie oft g(u,v)=i und g(u+k,v+l)=j. Coocurrence-Matrix C: Matrix A dividiert durch Anzahl der Punktpaare, die P erfüllen. Beispiel: G=3: g e {0,1,2}; Positionsoperator P1,1 Angewendet auf das Bild Ergibt die und damit Matrix Cooccurrence Matrix ci,j ist ein Schätzwert für die bedingte Wahrscheinlichkeit, dass ein Paar von Punkten, das P erfüllt die Werte i,j hat. Computer Vision 4_Seite 8

  9. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Coocurrence-Matrix Aus der Coocurrence-Matrix C können Maße zur Charakterisierung einer Textur gewonnen werden. Eine solche Menge von Deskriptoren ist z.B.: (1) Maximale Wahrscheinlichkeit Stärkste Antwort auf P (2) Moment der Elemente-Differenz der Ordnung k relativ kleiner Wert, wenn hohe Werte nahe Hauptdiag. (3) Moment der inversen Elemente-Differenz der Ordnung k Gegenteiliger Effekt wie (2) (4) Entropie Maß für die Unordnung (5) Gleichförmigkeit Entgegengesetzt zu (4) Computer Vision 4_Seite 9

  10. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Vereinfachung gegenüber Coocurrence-Matrix Bildfenster gleicher Größe, deren Mitte um du und dv gegeneinander verschoben ist: {gm´,n´ } = {gm+du, n+dv }, m = 1, ... ,M; n = 1, ... ,N Summen und Differenzen der Grauwerte: Summen- und Differenzhistogramme: Computer Vision 4_Seite 10

  11. X X X hd 0 i Merkmale Informationsgewinnung gm+du,n+dv du dv X gm,n sm,n = gm,n + gm+du,n+dv dm,n = gm,n - gm+du,n+dv hs 0 i Computer Vision 4_Seite 11

  12. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Unser´s Summen- und Differenzhistogramme Maße aus den normierten Histogrammen: können berechnet werden für verschiedene du und dv, meist (1,0), (1,1), (0,1), (-1,0) Computer Vision 4_Seite 12

  13. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente Zweidimensionale, kontinuierliche Funktion f(x,y): Moment der Ordnung (p+q): für p,q = 0,1,2,... Wenn f(x,y) kontinuierlich und nicht-verschwindende Elemente nur in einem Teil der xy-Ebene, existieren Momente jeder Ordnung und sind eindeutig durch f(x,y) bestimmt. Die Menge aller Momente bestimmt seinerseits f(x,y). Zentrale Momente Für ein digitales Bild wird daraus Um Schwerpunkt verschoben: translationsinvariant Computer Vision 4_Seite 13

  14. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Momente Zentrale Momente bis zur Ordnung 3: Skaleninvarianz durchNormierung Normierte zentrale Elemente: Computer Vision 4_Seite 14

  15. Merkmale Informationsgewinnung Textur: Statistische Ansätze: Invariante Momente Eine Menge von 7 invarianten Momenten aus den zweiten und dritten Momenten: Translations-, rotations- und skaleninvariant Computer Vision 4_Seite 15

  16. Merkmale Informationsgewinnung Textur: Vergleich der Trennungswirksamkeit von Texturmerkmalen Computer Vision 4_Seite 16 Quelle: Handbook of Computer Vision

  17. Segmentierung Informationsgewinnung • Detektion von Diskontinuitäten • Kanten • Linien • Punkte • Detektion von Ähnlichkeiten Computer Vision 4_Seite 17

  18. Segmentierung • Detektion von Diskontinuitäten • Kanten Grauwertprofil erste Ableitung zweite Ableitung (Gradient) (Laplace) Computer Vision 4_Seite 18

  19. Bildmerkmale Merkmal Gradient Motivation: Wenn Objekte homogen bezüglich Grauwert oder Texturmerkmal sind, dann treten an Objektgrenzen starke Gradienten auf. Grauwertbild Gradientenbild Computer Vision 4_Seite 19

  20. Bildmerkmale Merkmal Gradient • Betrag gibt Stärke des Grauwertübergangs. • Rotationsinvariant • Invariant gegen homogene GW-Änderungen • Phase gibt Richtung. • Invariant gegen homogene GW-Änderungen • Diskretisierung im Bild -> Differenzenquotienten Computer Vision 4_Seite 20

  21. Bildmerkmale Merkmal Gradient Diskretisierung im Bild -> Differenzenquotienten Rückwärts-x- Gradient –Dx Vorwärts-x- Gradient +Dx Symmetrischer-x- Gradient SDx Ergibt Faltungsmaske Analog y, z.B.: Computer Vision 4_Seite 21

  22. Bildmerkmale Erinnerung: Faltung K(m) g(m) m=17 Eindimensional, diskret 2D, diskret 2D, kontinuierlich Computer Vision 4_Seite 22

  23. Bildmerkmale Erinnerung: Faltung 2D, diskret, endl. Faltungskern Bild {gm,n}, 0 £ m £ M, 0 £ n £ N Faltungskern {Km,n} Beispiel: m = 4, n = 4, mhs=0 Jk = 1, Kk = 1, nhs=0 Computer Vision 4_Seite 23

  24. Bildmerkmale Merkmal Gradient Einige gängige Gradienten-Operatoren: Roberts Prewitt Sobel Isotrop Computer Vision 4_Seite 24

  25. Bildmerkmale Merkmal Gradient Gradienten-Operatoren verstärken Rauschen: Vorzugsweise Operatoren mit Glättungseigenschaften Sobel Alternativ: Tiefpassfilterung mit Gaussfunktion und anschließende Ableitung Gaussfunktion Computer Vision 4_Seite 25

  26. Bildmerkmale Merkmal Gradient Faltung mit der Ableitung der Gaussfunktion: Canny-Filter Separierbar in x und y Computer Vision 4_Seite 26

  27. 2s Bildmerkmale Merkmal Laplace Laplace-Operator einer 2-dimensionalen Funktion f(x,y): Im Fall einer diskreten 3x3-Maske: Laplace-Operatoren verstärken Rauschen: Glättung mit Gauss-Funktion Nulldurchgänge des Hildreth-Marr-gefilterten Bildes geben Kantenpixel-Kandidaten. Überschwellige Pixel des Gradientenbildes geben Kantenpixel-Kandidaten. Hildreth-Marr- oder Mexican Hat-Operator Computer Vision 4_Seite 27

  28. 270° 315° 225° 180° 0° 45° 135° 90° Gradienten-Richtung in M Maximumbedingung 1°...22°, 158°...202°, 338°...360° b(A) £ b(M) und b(E) £ b(M) 23°...67°, 203°...247° b(B) £ b(M) und b(F) £ b(M) 68°...112°, 248°...292° b(C) £ b(M) und b(G) £ b(M) 113°...157°, 293°...337° b(D) £ b(M) und b(H) £ b(M) Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter 2. Im faltungsgefilterten Bild: Gradientenbetragsmaximum in Gradientenrichtung Wenn M Maximum, trage in Ergebnisbild Betrag und Richtung ein, sonst 0. Computer Vision 4_Seite 28

  29. Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Betrag Richtung Computer Vision 4_Seite 29

  30. Konturextraktion Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision 4_Seite 30

  31. Konturextraktion Konturpunktextraktion beim Canny-Operator 1. Faltung mit Filter Betrag Richtung Computer Vision 4_Seite 31

  32. Konturextraktion Konturpunktextraktion beim Canny-Operator 2. Gradientenbetragsmaximum in Gradientenrichtung Computer Vision 4_Seite 32

  33. Konturextraktion • Kantenpixel-Verkettung • Vorgestellte Methoden liefern Intensitäts-Diskontinuitäten • Leider nicht immer Objektränder: Zusätzliche Struktur und • Kantenunterbrechungen durch Rauschen und Beleuchtungsdiskontinuitäten. •  Daher weitere Verarbeitung zur Zusammenstellung von Kantenpixelkandidaten zu Rändern. • 1. Unterdrückung zusätzlicher Strukturen: • I.A. kleiner Gradientenbetrag • Vorgehen: • Zwei Schwellen zur Unterdrückung: • Größere Schwelle zur Filterung ausgeprägter Konturpunkte • Dort Verfolgung der Kontur mit kleinerer Schwelle Computer Vision 4_Seite 33

  34. Konturextraktion • 2. Verdünnung auf pixelbreite Strukturen: • Durch Diskretisierung bis zu 3 Pixel breite Strukturen. • Gütekriterium in 3x1-Maske in Gradientenrichtung (Lacroix) • 3. Lokale Verarbeitung: • Analyse in einer kleinen Nachbarschaft (z.B. 3x3 oder 5x5) um einen • Kandidaten: • Alle ähnlichen Kandidaten werden verbunden. •  Rand von Pixeln ähnlicher Eigenschaft. • Verwendete Maße: (1) Gradientenstärke und (2) Gradientenrichtung Computer Vision 4_Seite 34

  35. Bildsegmentierung durch Schwellwerte Histogramm-Auswertung Bild eines Merkmals, das sich für das Objekt charakteristisch ausprägt: Histogrammsegmentierung Merkmalsbild Segmentierung Hintergrund Objekt Anzahl Bildpunkte g(x,y) H(x,y)=0, wenn g(x,y) £ T H(x,y)=1, wenn g(x,y) > T Helligkeit (Grauwert) Schwelle T Computer Vision 4_Seite 35

  36. Bildsegmentierung durch Schwellwerte • Auffinden der Schwelle mittels Histogramm-Auswertung (1) • Verteilungsfunktionen (Wahrscheinlichkeitsdichten) eines Merkmals z • für Objekt pO(z) und • Hintergrund pH(z) • mit a priori Auftrittswahrscheinlichkeiten von • Objektpunkten PO und • Hintergrundpunkten PH. • Bedingung PO + PH = 1. • Ergibt Gesamtwahrscheinlichkeitsdichte p(z) = PO pO(z) + PH pH(z) • Im Gauss´schen Fall: Computer Vision 4_Seite 36

  37. Bildsegmentierung durch Schwellwerte Auffinden der Schwelle mittels Histogramm-Auswertung (2) Wahrscheinlichkeit einer Fehlzuordnung E: Minimierung von E Gauss´sche pO und pH: Einsetzen, logarithmieren und vereinfachen ergibt quadratische Gleichung mit Computer Vision 4_Seite 37

  38. Bildsegmentierung durch Schwellwerte • Auffinden der Schwelle mittels Histogramm-Auswertung (3) • Vorgehen nach obiger Methode: • Trainingsstichprobe Bildmaterial • Histogramm für Objektpixel hO • Histogramm für Hintergrundpixel hH • Berechnung von sO und mO aus hO • Berechnung von sH und mH aus hH • Berechnung von A, B und C: • Berechnung der Schwelle durch Lösung der quadratischen Gleichung • Anwenden der Schwelle auf neues Bildmaterial Computer Vision 4_Seite 38

  39. 2 1 3 4 0 7 5 6 Darstellung und Beschreibung Darstellung der Objekt-Berandung: Ketten-Code Kettencode-Erstellung: Folge der Richtungen entlang der Kontur ab beliebigem Startpunkt. Beispiel: 22110067665654323 Anfangspunktinvarianz 1. Startpunkt-Normierung: Verschiebe zirkular so, dass die Sequenz eine Zahl minimaler Größe bildet. Beispiel: 22110067665654323  00676656543232211 Rotationsinvarianz 2. Rotationsnormierung: Erste Differenz: Anzahl der Richtungen, die zwei aufeinanderfolgende Elemente des Codes trennen. Beispiel: 22110067665654323  07070617071777717 Anfangspunkt- und Rotationsinvarianz Kettencode  Rotationsnormierung  Startpunktnormierung Beispiel: 22110067665654323  07070617071777717  06170717777170707 0 0 6 1 7 1 2 2 2 1 3 1 7 2 4 0 6 3 4 5 7 5 6 Computer Vision 4_Seite 39

  40. Darstellung und Beschreibung • Darstellung der Objekt-Berandung: Polygon-Approximationen • Polygon-Approximationen einer digitalen Berandung mit beliebiger Genauigkeit. • Aber gesucht: Repräsentation der wesentlichen Berandungseigenschaften mit möglichst kleiner Anzahl an Segmenten. • Nicht-triviales Problem iterativer Suche. • Einfache Methode für Polygone mit minimalem Umfang: • Bedeckung • Randkurve mit • rechtwinklig • angeordneten • Quadraten 2. Gerade Verbindungen der Außenecken des „Quadrate-schlauches“ Computer Vision 4_Seite 40

  41. A A q r q r Schwerpunkt Schwerpunkt Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Polardarstellung r r A/Ö2 A/2 A/2 q q 2p p 3p/2 p/2 2p p 3p/2 p/2 Computer Vision 4_Seite 41

  42. A q r Schwerpunkt Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Momente 1. Umwandlung einer Berandung in eine 2. Berechnung Momente der Kurve eindimensionale Kurve (z.B. Polardarst.) r A/Ö2 A/2 q 2p p 3p/2 p/2 Computer Vision 4_Seite 42

  43. Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Rand ermittelt: Zähler s längs Berandung ergibt Menge {x(s),y(s)} s=0,...,L-1 Als komplexe Zahl: u(s) = x(s) + iy(s) L-periodisch für geschlossene Konturen. DFT: a(k): Fourier-Deskriptoren der Berandung. Transformationseigenschaften: Identität u(s) -> a(k) Translation u´(s) = u(s)+u0 -> a´(k) = a(k)+ u0d(k) Skalierung u´(s) = au(s) -> a´(k) = aa(k) Anfangspunkt u´(s) = u(s-s0) -> a´(k) = a(k) exp(-i2ps0k/L) Rotation u´(s) = u(s) exp(i2q) -> a´(k) = a(k) exp(i2q) Computer Vision 4_Seite 43

  44. Darstellung und Beschreibung Beschreibung der Objekt-Berandung: Fourier-Deskriptoren Ähnlichkeit der Form von Randkurven mit Fourier-Deskriptoren Randkurven u(s) und v(s) mit a(k) und b(k): Ist für mittelwertfreie u(s) und v(s) erfüllt, wenn d(f) kann für jedes f = f (s0) berechnet werden. Das Minimum ergibt dann d, welches dann ein Ähnlichkeitsmaß für die Formen ist. Computer Vision 4_Seite 44

  45. Cosinus Funktionen Sinus Funktionen Darstellung im Frequenzraum Ortsraum - Frequenzraum Signale können als Überlagerung (Summe) periodischer Funktionen mit Frequenzen w und mit Amplituden F dargestellt werden: Transformation in Frequenzraum Diskrete Fourier-(Rück)Transformation Frequenzraum-Darstellung gibt an, mit welcher Häufigkeit jeweils periodische Funktionen vorkommen. y(x) Computer Vision 4_Seite 45

  46. Darstellung im Frequenzraum Ortsraum - Frequenzraum Im Frequenzraum sind viele Operationen günstiger. Alle linearen Operationen z.B. Hochpass, Tiefpass, Bandpass und Bandsperremit hoher Güte Erkennung periodischer Strukturen Manipulation periodischer Strukturen Nach einer Bearbeitung im Frequenzraum Fe(k)→Fe~(k) und Fo(k)→Fo~(k) kann wieder in den Ortsraum zurück transformiert werden. Analyse: Transformation Ortsraum  Frequenzraum Signal y im Ortsraum, Abtastwerte y(i) Synthese: Transformation Frequenzraum  Ortsraum Computer Vision 4_Seite 46

  47. Darstellung im Frequenzraum Ortsraum – Frequenzraum Polare Notation – komplexe Schreibweise Amplitude (Magnitude) F(k) |F(k)| Fo(k) Phase F Fe(k) Komplexe Schreibweise Computer Vision 4_Seite 47

  48. Darstellung im Frequenzraum • Ortsraum – Frequenzraum • Filterung der abgetasteten Funktion y: • Analyse • Multiplikation mit Filterfunktion • Synthese Filterfunktion, Abtastwerte f(k) Computer Vision 4_Seite 48

  49. Darstellung im Frequenzraum Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision 4_Seite 49

  50. Darstellung im Frequenzraum Ortsraum – Frequenzraum Eigenschaften der Fourier-Transformation Aus: Handbook of Computer Vision Computer Vision 4_Seite 50

More Related