1 / 35

Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen

Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen. von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager. Agenda. 1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung Welche? Wodurch? Was tun? 3. Weißabgleich

teleri
Download Presentation

Generierung von Omni -Bildern Teil 1 – Entzerrung Teil 2 – Weißabgleich Teil 3 – Aneinanderfügen

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Generierung vonOmni-BildernTeil 1 – EntzerrungTeil 2 – WeißabgleichTeil 3 – Aneinanderfügen von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager

  2. Agenda • 1. Ergebnisse Entzerrung • 2. Probleme nach Entzerrung • Welche? Wodurch? Was tun? • 3. Weißabgleich • Wozu? Womit? Wie? Wann? • 4. Aneinanderfügen • 4.1 Ausrichten • 4.2 Überblenden • 5. Beispielserie • 6. Quellen

  3. 1. Ergebnisse Entzerrung Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  4. 2. Probleme nach Entzerrung –Welche? • Fisheye-Algorithmus entzerrt horizontal und vertikal  Ergebnis: • perspektivische Information geht verloren Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  5. 2. Probleme nach Entzerrung – Was tun? • Neuer Entzerrungsalgorithmus [1]  nur horizontale Verzerrung korrigieren: • Perspektive bleibt erhalten • Vertikale Verzerrungen leider auch Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  6. 2. Probleme nach Entzerrung –Welche? • Probleme, entzerrte Bilder aneinanderzufügen • Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°) • Durch Verzerrungen Probleme mit Kanten an Bildrändern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  7. 2. Probleme nach Entzerrung –Welche? Probleme mit Kanten und Krümmungen an Bildrändern Phänomen in aufgenommenen Bildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  8. 2. Probleme nach Entzerrung –Wodurch? • Entzerrungsalgorithmus = Mathematik! • Verlangt absolute Genauigkeit • Jedoch Fehler durch • Ungenauigkeit Position/Ausrichtung der Linse • Ungenauigkeit Position/Ausrichtung CCD Chip • Ausrichtung des Roboter (unebener Untergrund) • Angewandte Formeln können daher keine perfekten Ergebnisse liefern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  9. 2. Probleme nach Entzerrung – Was tun? • Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren  über polynomiale Gleichungssysteme möglich, aber sehr aufwendig • Ausrichtung der Bilder vor Aneinanderfügen notwendig • Einzelbilder ineinander Überblenden, um Überlappungen zu beheben Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  10. 3. Weißabgleich – Wozu? • Durch unterschiedliche Beleuchtungssituationen •  unterschiedliche Farbtemperatur der Bilder Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  11. 3. Weißabgleich – Wozu? • Abgleich der Farbtemperaturen notwendig: • besserer visueller Eindruck • kräftigere Kontraste  bessere Detektion von Kanten o.Ä. • einheitlicher Bildeindruck nach Aneinanderfügen Gleiche Farbtemperaturen in beiden Teilbildern Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  12. 3. Weißabgleich – Womit? • Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden  in allen Bildern Cyan markierte Fläche für Referenzweiß Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  13. 3. Weißabgleich – Wie? • Ermitteln der Maximalwerte je Farbkanal im Referenzbereich  liefert Rmax, Gmax, Bmax • Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 • Berechnen der Korrekturfaktoren pro Farbkanal: Cr = Wr / Rmax Cg= Wg/ Gmax Cb= Wb/ Bmax Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  14. 3. Weißabgleich – Wie? • Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A: Ar =Cr* Er Ag=Cg*Eg Ab =Cb*Eb • Alle Pixel des Eingangsbildes durchlaufen und Korrektur anwenden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  15. 3. Weißabgleich – Wann? • Vor der Entzerrung  sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist • Durch Entzerrung  möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird Referenzfläche links im verzerrten und rechts im entzerrten Bild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  16. 3. Weißabgleich – Probleme? • Durch Überbelichtung viele Bildbereiche bereits weiß  Korrektur bringt nichts • Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild  Überblenden der Teilbilder nötig Überbelichtung irreversibel Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  17. 4. Aneinanderfügen • Ziele: • Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören • Überblenden der Pixel mit Minimum an sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting) Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  18. 4. Wie soll Ergebnisbild aussehen? • Nur einige Bilder sind zusammenzufügen • Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden • Wenn größeres Sichtfeld (>90 Grad) • jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren • auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  19. 4.1 Ausrichten • Ziel: • Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  20. 4.1 Ausrichten – Trivialer Ansatz • Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch: • Ausrechnen • Abmessen • Definieren • Bereich im Programm statisch festlegen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  21. 4.1 Ausrichten – Intelligente Algorithmen • Pixelbasierte Methoden • Bilder relativ zueinander verschieben • Größtmögliche Übereinstimmung der Pixel suchen • Direkter Vergleich von Pixeln oder Pixelblöcken • Methoden • Error Metrics • Hierarchical Motion Estimation • Fourier-BasedAlignment • IncrementalRefinement Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  22. 4.1 Ausrichten – Error Metrics • Durch Verschieben Platzierung der Bilder ermitteln • Jede Pixelkombination miteinander vergleichen • Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  23. 4.1 Ausrichten – Error Metrics • Beispiele: • Robust Error Metrics • SpatiallyVaryingWeights • Bias andGain • Korrelation Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  24. 4.1 Ausrichten – Hierarchical Motion Estimation • Erstellen einer „Image Pyramide“ • -> hierarchischer Vergleich von groben bis hin zu feinen Mustern/Blöcken • Innerhalb eines Levels: FullSearch • Block mit geringster Abweichung:Initialwert für nächstdarunterliegendes Level Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  25. 4.1 Ausrichten – Hierarchical Motion Estimation • Vorteil: • Viel schneller • Nachteil • Ineffektiv • Signifikante Bilddetails können verloren gehen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  26. 4.1 Ausrichten – Intelligente Algorithmen • Eigenschaftenbasierte Methoden • Beiden Bildern markante Eigenschaften entnehmen • Vergleichen • Übereinstimmungen ermitteln • -> geometrische Transformation der Bilder abschätzbar • Methoden • KeypointDetectors • Feature Matching • Geometric Registration Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  27. 4.1 Ausrichten – Intelligente Algorithmen KeypointDetectors Feature Matching Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  28. 4.2 Überblenden • Aufgabe • Belichtungsunterschiede und Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren • Übergang soll nahezu unsichtbar werden Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  29. 4.2 Überblenden - Lösungsansätze • Laplace-Pyramiden-Überblendung • sich anpassende Breite anhand Frequenz (verschiedene Level) • Band-Pass Pyramide (Laplace) aus jedem Eingangsbild • Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  30. 4.2 Überblenden – Vergleich Lösungsansätze Mittelwert Region ofDifference Gewichtung (Feathering) Pyramiden-Überblendung Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  31. 5. Beispielserie • Entzerrte Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  32. 5. Beispielserie • Weißabgleich Einzelbilder Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  33. 5. Beispielserie • Ausrichten und Aneinanderfügen Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  34. 5. Beispielserie • Blenden Guter Übergang Problem durch Aliasing Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

  35. 6. Quellen • Weißabgleich: http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich http://de.wikibooks.org/wiki/ Digitale_bildgebende_Verfahren:_Digitale_Bilder# Wei.C3.9Fabgleich • Aneinanderfügen http://research.microsoft.com/pubs/70092/tr-2004-92.pdf • Quellen verfügbar unter: [1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen

More Related