1 / 36

Segmentation based Multi-View Stereo

Segmentation based Multi-View Stereo. fxlange@inf.fu-berlin.de stefan.otte@gmail.com Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011. MVS allgemein vs. Segmentation  Based MVS. Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper:

jens
Download Presentation

Segmentation based Multi-View Stereo

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Segmentation basedMulti-View Stereo fxlange@inf.fu-berlin.de stefan.otte@gmail.com Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011

  2. MVS allgemein vs. Segmentation  Based MVS Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper: • nutzt homogene Flächen • benötigt nur wenig Features pro Fläche • Flächen werden über Farbsegmentierung gefunden • "Nebenprodukt": gute Performance Annahme: • Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen

  3. Kamera-Kalibrierung Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus Farbsegmenten und 3D Seeds nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR) Pipeline / Inhalt

  4. Farbsegmentierung Eigenschaften: • Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes   • vielseitig einsetzbar, wenn effizient berechenbar Ziel: • charakteristische homogene Regionen Probleme: • großflächige Farb- / Intensitätsverläufe • Regionen mit hohen Schwankungen → lokale Kriterien reichen nicht aus

  5. Farbsegmentierung graph-based image segmentation [8]:

  6. Farbsegmentierung - Bild als Graph Kantengewichte entsprechen Intensitätsdifferenzen

  7. Farbsegmentierung - Hauptkriterium Schmelzkriterium: DIFF(C1,C2) < MINT(C1,C2)                ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))

  8. Farbsegmentierung - Algorithmus

  9. 3D Seeds 3D-Seeds durch guided matching Gegeben: • Bilder Ziel: • Initiale 3D-Seeds Schritte: • Features • Matching • Triangulation • Clustering

  10. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

  11. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

  12. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

  13. wähle Reference-Image Ir Rest: Target-ImageIt unterteile in Rechtecke guided matching Features pro Rechteck 3D Seeds - Features

  14. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

  15. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

  16. Matchende Features finden: Feature in Ir auf epipolare Linie in It NCC für alle Features der Linie Match, wenn max. Korrelation von Ir zu It und umgekehrt 3D Seeds - Matching

  17. 3D-Seed erzeugen: klassische StereoVision Tiefeninformation aus Disparität 3D Seeds - Triangulation

  18. Clustern: viele 3D-Seeds für gleichen Punkt Cluster von Seedsdurch einen 3D-Seed ersetzen 3D Seeds - Clustering

  19. Segmentation Based MVS (SBMVS) Zusammenspiel der 3D-Seeds und der Farbsegmente Ziel: • 3D Segmente erstellen Schritte: • aus Farbsegmente und 3D Seeds • aus nicht zugeordneten Farbsegmenten

  20. Zuordnung zwischen: 3D Seed X Farbsegment si SBMVS - Optimale 3D Segmente

  21. Normalvektor n über durchtesten abschätzen  (pro Achsen zwischen 0° und 180° in 18° Schritten) gegeben: 3D Koordinate - Fixpunkt 2D Form (Segment) gesucht: Normalvektor n der Fläche / des Segments SBMVS - Optimale 3D Segmente

  22. SBMVS - Optimale 3D Segmente

  23. im Detail: alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden SBMVS - Optimale 3D Segmente

  24. Gradientenabstieg von bester Abschätzung aus Abschätzung und Optimierung über alle Targetbilder It genau ein 3D Segment pro Farbsegment SBMVS - Optimale 3D Segmente

  25. SBMVS - freie Farbsegmente explored        -    unexplored    -    explored

  26. SBMVS - freie Farbsegmente • Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed • Abschätzung und Optimierung von n => 3D Segment

  27. Oberflächkonstruktion mit PSR Poisson Surface Reconstruction gegeben: • Oberflächen-Samples gesucht: • 3D-Mesh umbauen Idee: • Indikatorfunktion:Aussen < 0 < Innen Hintergrund: • Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung. • Octree als Datenstruktur

  28. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

  29. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

  30. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

  31. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

  32. Octree erzeugen Vektor-Feld Indikator-Funktionen Divergenz: Vector -> Scalar Poisson-Gleichung lösen Extrahiere Isofläche Poisson Surface Reconstruction

  33. Farbsegmentierung Initiale 3D-Seeds 3D-Segmente erstellen aus Farbsegmente und 3D Seeds nicht zugeordneten Farbsegmenten Oberflächenkonstruktion (PSR) Was bisher geschah ...

  34. Ergebnisse Aussagen der Autoren: • Homogene Farb-Regionen werden gut erkannt • Genauigkeit mit anderen Verfahren vergleichbar • Gute Performance: 35 min vs 3h pro Bild Unsere Bewertung: • Vergleich der Performance relativ nichtssagend • Genauigkeit nur in einem nicht erklärten Plot erklärt • Algorithmen im Fließtext erklärt

  35. Fragen? Besten Dank!

  36. Resources Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/ [1] http://people.cs.uchicago.edu/~pff/segment/ [8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher.  Efficient graph-based image segmentation. In IJCV, 2004. [9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007. [10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998. [11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003. [16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.

More Related