Segmentation based multi view stereo
Download
1 / 36

Segmentation based Multi-View Stereo - PowerPoint PPT Presentation


  • 121 Views
  • Uploaded on

Segmentation based Multi-View Stereo. [email protected] [email protected] Seminar: 3D Rekonstuktion FU-Berlin - SoSe 2011. MVS allgemein vs. Segmentation  Based MVS. Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features) Dieses Paper:

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Segmentation based Multi-View Stereo' - jens


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Segmentation based multi view stereo

Segmentation basedMulti-View Stereo

[email protected]

[email protected]

Seminar: 3D Rekonstuktion

FU-Berlin - SoSe 2011


Mvs allgemein vs segmentation based mvs
MVS allgemein vs. Segmentation  Based MVS

Generell gilt bei MVS → homogene Flächen sind problematisch (keine/wenig Features)

Dieses Paper:

  • nutzt homogene Flächen

  • benötigt nur wenig Features pro Fläche

  • Flächen werden über Farbsegmentierung gefunden

  • "Nebenprodukt": gute Performance

    Annahme:

  • Flächen, homogen in Intensitaet und Farbe, bilden Flächen mit einheitlicher Normalen


Pipeline inhalt

Kamera-Kalibrierung

Farbsegmentierung

Initiale 3D-Seeds

3D-Segmente erstellen aus

Farbsegmenten und 3D Seeds

nicht zugeordneten Farbsegmenten

Oberflächenkonstruktion (PSR)

Pipeline / Inhalt


Farbsegmentierung
Farbsegmentierung

Eigenschaften:

  • Vorverarbeitungsprozess zur Bestimmung von aussagekräftigen Gruppierungen / Regionen des Bildes  

  • vielseitig einsetzbar, wenn effizient berechenbar

    Ziel:

  • charakteristische homogene Regionen

    Probleme:

  • großflächige Farb- / Intensitätsverläufe

  • Regionen mit hohen Schwankungen → lokale Kriterien reichen nicht aus


Farbsegmentierung1
Farbsegmentierung

graph-based image segmentation [8]:


Farbsegmentierung bild als graph
Farbsegmentierung - Bild als Graph

Kantengewichte entsprechen Intensitätsdifferenzen


Farbsegmentierung hauptkriterium
Farbsegmentierung - Hauptkriterium

Schmelzkriterium:

DIFF(C1,C2) < MINT(C1,C2)

               ,mit MINT(C1,C2) = Min(INT(C1),INT(C2))



3d seeds
3D Seeds

3D-Seeds durch guided matching

Gegeben:

  • Bilder

    Ziel:

  • Initiale 3D-Seeds

    Schritte:

  • Features

  • Matching

  • Triangulation

  • Clustering


3d seeds features

wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features


3d seeds features1

wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features


3d seeds features2

wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features


3d seeds features3

wähle Reference-Image Ir

Rest: Target-ImageIt

unterteile in Rechtecke

guided matching

Features pro Rechteck

3D Seeds - Features


3d seeds matching

Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching


3d seeds matching1

Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching


3d seeds matching2

Matchende Features finden:

Feature in Ir auf epipolare Linie in It

NCC für alle Features der Linie

Match, wenn max. Korrelation von Ir zu It und umgekehrt

3D Seeds - Matching


3d seeds triangulation

3D-Seed erzeugen:

klassische StereoVision

Tiefeninformation aus Disparität

3D Seeds - Triangulation


3d seeds clustering

Clustern:

viele 3D-Seeds für gleichen Punkt

Cluster von Seedsdurch einen 3D-Seed ersetzen

3D Seeds - Clustering


Segmentation based mvs sbmvs
Segmentation Based MVS (SBMVS)

Zusammenspiel der 3D-Seeds und der Farbsegmente

Ziel:

  • 3D Segmente erstellen

    Schritte:

  • aus Farbsegmente und 3D Seeds

  • aus nicht zugeordneten Farbsegmenten


Sbmvs optimale 3d segmente

Zuordnung zwischen:

3D Seed X

Farbsegment si

SBMVS - Optimale 3D Segmente


Sbmvs optimale 3d segmente1

Normalvektor n über durchtesten abschätzen 

(pro Achsen zwischen 0° und 180° in 18° Schritten)

gegeben:

3D Koordinate - Fixpunkt

2D Form (Segment)

gesucht:

Normalvektor n der Fläche / des Segments

SBMVS - Optimale 3D Segmente



Sbmvs optimale 3d segmente3

im Detail:

alle Pixel p aus si über n (und die epipolare Geometrie zwischen den Kameras) auf Targetbilder It abbilden

SBMVS - Optimale 3D Segmente


Sbmvs optimale 3d segmente4

Gradientenabstieg von bester Abschätzung aus

Abschätzung und Optimierung über alle Targetbilder It

genau ein 3D Segment pro Farbsegment

SBMVS - Optimale 3D Segmente


Sbmvs freie farbsegmente
SBMVS - freie Farbsegmente

explored        -    unexplored    -    explored


Sbmvs freie farbsegmente1
SBMVS - freie Farbsegmente

  • Schnittpunkt von r und dem benachbarten 3D Segment als neuer 3D Seed

  • Abschätzung und Optimierung von n => 3D Segment


Oberfl chkonstruktion mit psr
Oberflächkonstruktion mit PSR

Poisson Surface Reconstruction

gegeben:

  • Oberflächen-Samples

    gesucht:

  • 3D-Mesh umbauen

    Idee:

  • Indikatorfunktion:Aussen < 0 < Innen

    Hintergrund:

  • Poisson Gleichung: elliptische partitielle Differentialgleichung oft bei Randwertproblemen verwendet. Ähnlich zur Laplace-Gleichung.

  • Octree als Datenstruktur


Poisson surface reconstruction

Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction


Poisson surface reconstruction1

Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction


Poisson surface reconstruction2

Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction


Poisson surface reconstruction3

Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction


Poisson surface reconstruction4

Octree erzeugen

Vektor-Feld

Indikator-Funktionen

Divergenz: Vector -> Scalar

Poisson-Gleichung lösen

Extrahiere Isofläche

Poisson Surface Reconstruction


Was bisher geschah

Farbsegmentierung

Initiale 3D-Seeds

3D-Segmente erstellen aus

Farbsegmente und 3D Seeds

nicht zugeordneten Farbsegmenten

Oberflächenkonstruktion (PSR)

Was bisher geschah ...


Ergebnisse
Ergebnisse

Aussagen der Autoren:

  • Homogene Farb-Regionen werden gut erkannt

  • Genauigkeit mit anderen Verfahren vergleichbar

  • Gute Performance: 35 min vs 3h pro Bild

    Unsere Bewertung:

  • Vergleich der Performance relativ nichtssagend

  • Genauigkeit nur in einem nicht erklärten Plot erklärt

  • Algorithmen im Fließtext erklärt


Fragen

Fragen?

Besten Dank!


Resources
Resources

Marc Pollefeys. Visual 3D Modeling from Images. University of North Carolina - Chapel Hill, USA. http://www.cs.unc.edu/~marc/tutorial/

[1] http://people.cs.uchicago.edu/~pff/segment/

[8] Pedro F. Felzenszwalb and Daniel P. Huttenlocher.  Efficient graph-based image segmentation. In IJCV, 2004.

[9] Y. Furukawa and J. Ponce. Accurate, dense, and robust multi-view stereopsis. In CVPR, pages 1–8, 2007.

[10] C. Harris and M. Stephens. A combined corner and edge detector. In 4th Alvey Vision Conference, pages 147–151, 1998.

[11] R. Hartley and A. Zisserman. Multiple view geometry in computer vision. In Cambridge University Press, 2003.

[16] S. Kruglyak L. J. Heyer and S. Yooseph. Exploring expression data: Identification and analysis of coexpressed genes. In Genome Research, pages 9:1106–1115, 1999.


ad