Registrieren von 3D Punktwolken mit Hilfe von MLS basierten Multiskalen Features

1. Registrieren von 3D Punktwolken mit Hilfe von MLS basierten Multiskalen Features Großer Beleg - Gunnar Schröder Fakultät Informatik Professur für Computergrafik Prof. Dr. rer. nat. Stefan Gumhold Betreuer: Dipl.-Medien-Inf. Sören König

2. Inhalt • Motivation und Aufgabenstellung • Tools • Grobregistrierung • Feinregistrierung • Ergebnisse und Evaluation • Präsentation der Anwendung • Diskussion Großer Beleg Gunnar Schröder

3. 1. Motivation und Aufgabenstellung Grundsätzliche Probleme beim Scannen • 3D Scanner erfassen immer nur Teile eines Objekts • Verdeckung • Unterschiedliche Oberflächen • Scanfehler • Rauschen • Scanartefakte • Registrierung von Teilscans ist notwendig Großer Beleg Gunnar Schröder

4. 1. Motivation und Aufgabenstellung Beschränkungen bestehender Verfahren • Bestehende Verfahren zur Grobregistrierung • Point Signatures • Spin Images • Linienextraktion • Hauptkrümmungen • Hauptkomponentenanalyse • Probleme dieser Verfahren • Features sind oft mehrdeutig • Anfällig für Scanfehler und Rauschen Großer Beleg Gunnar Schröder

5. 1. Motivation und Aufgabenstellung Aufgabenstellung des Großen Belegs • Entwicklung eines robusteren Ansatzes zur Registrierung • Extraktion von lokalen Features auf mehreren Detail- und Auflösungsgraden • Realisierung einer Software zur Registrierung von Teilscans • Analyse und Auswertung der umgesetzten Verfahren Großer Beleg Gunnar Schröder

6. 2. Tools Beschleunigungsdatenstrukturen für Punktwolken • Typische Anfragen in Algorithmen: • Nearest-Neighbor Anfrage • k-Nearest-Neighbor Anfrage • Kugel Anfrage • Kugelschalen Anfrage Großer Beleg Gunnar Schröder

7. 2. Tools Berechnung der Starrkörpertransformation • Starrkörpertransformation = Translation + Rotation • Darstellung der Rotation durch Quaternionen • Berthold K. P. Horn: Closed-Form Solution of Absolute Orientation using Unit Quaternions (1987) • Berechnung der Mittelwerte und der Kovarianzmatrix • Translation ist Differenz der Mittelwerte • Aufstellung einer 4x4 Matrix aus den Werten der Kovarianzmatrix (siehe Beleg) • Eigenvektor zum größten Eigenwert ergibt Rotationsquaternion Großer Beleg Gunnar Schröder

8. 3. Grobregistrierung Moving Least Squares Oberflächen • Projektion der Punktwolken auf die MLS Oberfläche • Bestimmen einer lokale Referenzebene H durch q mit Normale n durch Minimierung von: • Fitten eines bivariaten Polynoms in der 2D Domäne: • Projizierter Punkt: Großer Beleg Gunnar Schröder

9. 3. Grobregistrierung Multiskalen MLS-Oberflächen • Gewichtung der Punkte mit Gaussfunktion über dem Abstand • Parameter h bestimmt die Lokalität und Glattheit der Oberfläche h = 1 h = 2 h = 4 h = 8 h = 16 h = 32 Großer Beleg Gunnar Schröder

10. 3. Grobregistrierung Krümmung als Feature • Auswertung der Hauptkrümmungen des gefitteten bivariaten Polynoms an der Stelle (0,0) in der lokalen 2D Domäne Großer Beleg Gunnar Schröder

11. 3. Grobregistrierung Krümmung als Feature • Erste Fundamentalform: • Zweite Fundamentalform: • Hauptkrümmungen sind Eigenwerte von bzw. Großer Beleg Gunnar Schröder

12. Großer Beleg Gunnar Schröder

13. 3. Grobregistrierung Multiskalen Feature • Multiskalenfeature besteht aus Konkatenation der Hauptkrümmungen mehrerer Skalen: • Orientierung der Normale kann abweichen! Ordnen des Krümmungspaars nach Absolutwert Negation falls die größere Krümmung negativ sind • Matching • Einsortieren der Features des Referenzscans in Beschleunigungsdatenstruktur • Nearest Neighbor Anfrage • Ideale Auswahl der Skalen? Großer Beleg Gunnar Schröder

14. 3. Grobregistrierung Auswahl von Korrespondenzen mit RANSAC • Gründe für falsche Korrespondenzen • Nicht überlappende Regionen • Symmetrien des Objekts • Abweichende MLS Oberflächen am Rand • RANdom SAmple Consensus • Zufällige Menge von 3 Korrespondenzen • Dreiecke auf Kongruenz prüfen • Berechnen der Starrkörpertransformation • Consensus Set besteht aus den Korrespondenzen mit geringer Distanz Großer Beleg Gunnar Schröder

15. 4. Feinregistrierung Iterative Closest Points (ICP) • Standardverfahren zur Feinregistrierung • Idee: Finde zu einer Menge von Punkten aus einem Scan den jeweils nächsten Punkt im anderen Scan und minimiere den quadratischen Abstand dieser Korrespondenzen. Iteriere bis zur Konvergenz. • Verwerfen von Korrespondenzen ist wichtig für teilüberlappende Scans! • Ansätze: • Normalenabweichung • Randkorrespondenzen • Prozentsatz der größten Distanzen Großer Beleg Gunnar Schröder

16. 4. Feinregistrierung Iterative Closest Points (ICP) • Extrapolation ist schwierig wegen starker Varianz der Fehlermetrik • Erkennen von Konvergenz anhand der Bewegung des Centroids • Nachteil des Verfahrens: Mit der Punktdichte des Scans steigt die Anzahl der notwendigen Iterationen Großer Beleg Gunnar Schröder

17. 4. Feinregistrierung Iterative Closest Points (ICP) • Verhältnis zwischen Maximum und Median Fehler erlaubt die Überlappung der beiden Scans zu schätzen • Verwerfen der schlechtesten Korrespondenzen bis der Maximumfehler ein kleines Vielfaches des Medianfehlers ist Großer Beleg Gunnar Schröder

18. 5. Ergebnisse und Evaluation Grobregistrierung • Grobregistrierung liefert gute Ergebnisse • Fehler ist weniger als Faktor 10 höher als nach der Feinregistrierung • Sehr robust gegenüber Rauschen • Median des Registrierungsfehlers (Position) für die synthetisch erzeugten und mit unterschiedlichem Rauschen versetzen Scans: • Verbesserung durch Feinregistrierung sinkt mit Rauschen Größter Fehler ohne Rauschen Großer Beleg Gunnar Schröder

19. 5. Ergebnisse und Evaluation Großer Beleg Gunnar Schröder

20. 5. Ergebnisse und Evaluation Kritische Bewertung • Rekonstruktion eines vollständigen Objektes benötigt globales Registrierung Verfahren • Kann auf der paarweisen Registrierung aufbauen • Vorberechnung für kompletten Referenzscan ist sehr zeitaufwendig • Mögliche Verbesserungen der Grobregistrierung • Auswahl der Skalen und anderer Oberflächencharakteristiken • Berechnung weniger Features des Referenzscans • Bessere Distanzmetrik • Lokales Koordinatenframe aus Hauptkrümmungen • Anpassen der Skalenanzahl nach dem Scan Großer Beleg Gunnar Schröder

21. 6. Präsentation der Anwendung Großer Beleg Gunnar Schröder

22. 7. Diskussion Fragen, Einschätzungen und Kommentare Großer Beleg Gunnar Schröder

23. Vielen Dank FÜR DIE AUFMERKSAMKEIT!!! Großer Beleg Gunnar Schröder