segmentation based multi view stereo
Download
Skip this Video
Download Presentation
Segmentation based Multi-View Stereo

Loading in 2 Seconds...

play fullscreen
1 / 36

Segmentation based Multi-View Stereo - PowerPoint PPT Presentation


  • 122 Views
  • Uploaded on

Segmentation based Multi-View Stereo. [email protected] [email protected] Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011. MVS allgemein vs. Segmentation  Based MVS. Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper:

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Segmentation based Multi-View Stereo' - jens


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
mvs allgemein vs segmentation based mvs
MVS allgemein vs. Segmentation  Based MVS

Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features)

Dieses Paper:

  • nutzt homogene Flächen
  • benötigt nur wenig Features pro Fläche
  • Flächen werden über Farbsegmentierung gefunden
  • "Nebenprodukt": gute Performance

Annahme:

  • Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen
pipeline inhalt
Kamera-Kalibrierung

Farbsegmentierung

Initiale 3D-Seeds

3D-Segmente erstellen aus

Farbsegmenten und 3D Seeds

nicht zugeordneten Farbsegmenten

Oberflächenkonstruktion (PSR)

Pipeline / Inhalt
farbsegmentierung
Farbsegmentierung

Eigenschaften:

  • Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes  
  • vielseitig einsetzbar, wenn effizient berechenbar

Ziel:

  • charakteristische homogene Regionen

Probleme:

  • großflächige Farb- / Intensitätsverläufe
  • Regionen mit hohen Schwankungen → lokale Kriterien reichen nicht aus
farbsegmentierung1
Farbsegmentierung

graph-based image segmentation [8]:

farbsegmentierung bild als graph
Farbsegmentierung - Bild als Graph

Kantengewichte entsprechen Intensitätsdifferenzen

farbsegmentierung hauptkriterium
Farbsegmentierung - Hauptkriterium

Schmelzkriterium:

DIFF(C1,C2) < MINT(C1,C2)

               ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))

3d seeds
3D Seeds

3D-Seeds durch guided matching

Gegeben:

  • Bilder

Ziel:

  • Initiale 3D-Seeds

Schritte:

  • Features
  • Matching
  • Triangulation
  • Clustering
3d seeds features
wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features
3d seeds features1
wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features
3d seeds features2
wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features
3d seeds features3
wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features
3d seeds matching
Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching
3d seeds matching1
Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching
3d seeds matching2
Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching
3d seeds triangulation
3D-Seed erzeugen:

klassische StereoVision

Tiefeninformation aus Disparität

3D Seeds - Triangulation
3d seeds clustering
Clustern:

viele 3D-Seeds für gleichen Punkt

Cluster von Seedsdurch einen 3D-Seed ersetzen

3D Seeds - Clustering
segmentation based mvs sbmvs
Segmentation Based MVS (SBMVS)

Zusammenspiel der 3D-Seeds und der Farbsegmente

Ziel:

  • 3D Segmente erstellen

Schritte:

  • aus Farbsegmente und 3D Seeds
  • aus nicht zugeordneten Farbsegmenten
sbmvs optimale 3d segmente1
Normalvektor n über durchtesten abschätzen 

(pro Achsen zwischen 0° und 180° in 18° Schritten)

gegeben:

3D Koordinate - Fixpunkt

2D Form (Segment)

gesucht:

Normalvektor n der Fläche / des Segments

SBMVS - Optimale 3D Segmente
sbmvs optimale 3d segmente3
im Detail:

alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden

SBMVS - Optimale 3D Segmente
sbmvs optimale 3d segmente4
Gradientenabstieg von bester Abschätzung aus

Abschätzung und Optimierung über alle Targetbilder It

genau ein 3D Segment pro Farbsegment

SBMVS - Optimale 3D Segmente
sbmvs freie farbsegmente
SBMVS - freie Farbsegmente

explored        -    unexplored    -    explored

sbmvs freie farbsegmente1
SBMVS - freie Farbsegmente
  • Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed
  • Abschätzung und Optimierung von n => 3D Segment
oberfl chkonstruktion mit psr
Oberflächkonstruktion mit PSR

Poisson Surface Reconstruction

gegeben:

  • Oberflächen-Samples

gesucht:

  • 3D-Mesh umbauen

Idee:

  • Indikatorfunktion:Aussen < 0 < Innen

Hintergrund:

  • Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung.
  • Octree als Datenstruktur
poisson surface reconstruction
Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction
poisson surface reconstruction1
Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction
poisson surface reconstruction2
Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction
poisson surface reconstruction3
Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction
poisson surface reconstruction4
Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction
was bisher geschah
Farbsegmentierung

Initiale 3D-Seeds

3D-Segmente erstellen aus

Farbsegmente und 3D Seeds

nicht zugeordneten Farbsegmenten

Oberflächenkonstruktion (PSR)

Was bisher geschah ...
ergebnisse
Ergebnisse

Aussagen der Autoren:

  • Homogene Farb-Regionen werden gut erkannt
  • Genauigkeit mit anderen Verfahren vergleichbar
  • Gute Performance: 35 min vs 3h pro Bild

Unsere Bewertung:

  • Vergleich der Performance relativ nichtssagend
  • Genauigkeit nur in einem nicht erklärten Plot erklärt
  • Algorithmen im Fließtext erklärt
fragen

Fragen?

Besten Dank!

resources
Resources

Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/

[1] http://people.cs.uchicago.edu/~pff/segment/

[8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher.  Efficient graph-based image segmentation. In IJCV, 2004.

[9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007.

[10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998.

[11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003.

[16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.

ad