“ Στερεοσκοπικά Συστήματα ‘Ορασης ”

1. “Στερεοσκοπικά Συστήματα ‘Ορασης” Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

2. Στερεοσκοπική Όραση • Οι εικόνες περιέχουν δισδιάστατη πληροφορία 2-D , (x,y) • 3η διάσταση : Βάθος (Depth or Range) οδηγεί στον σχηματισμό τρισδιάστατης αναπαράστασης, (x,y,z) • Ο υπολογισμός της απόστασης ενός τυχαίου σημείου σε σχέση με την θέση μίας κάμερας αποτελεί ένα από τα σημαντικά καθήκοντα ενός συστήματος Όρασης Μηχανής (Machine Vision System) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

3. Στερεοσκοπική Όραση • Τεχνικές υπολογισμού Βάθους • Stereo Vision : Δύο κάμερες τοποθετημένες κατά γνωστή απόσταση (baseline) η μια από την άλλη. -Κοινές αρχές λήψης βάθους : Triangulation -Η φωτεινότητα των εικόνων χρησιμοποιείται για την εξαγωγή βάθους • Δύο οι περισσότερες εικόνες από κινούμενη κάμερα. • Range Images: f(απόσταση από σένσορ) = τιμή του pixel - Κοινές αρχές λήψης βάθους : Radar και Triangulation - Range εικόνες χρησιμοποιούνται για την εξαγωγή βάθους. Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

4. Τριγωνισμός • Ο τριγωνισμός επιτρέπει μέτρηση βάθους • Δύο Βήματα : 1)Εύρεση αντίστοιχων σημείων (conjugate pair) 2)Υπολογισμός βάθους • Περιορισμοί :Epipolar geometry constraint restricts the space of solutions Scene object point (x,y,z) Από τα όμοια τρίγωνα PMClκαι plLCl: x / z =x’l / f (1) Από τα όμοια τρίγωνα PΝCrκαι prRCr: x-b / z = x’r / f (2) Από (1) και (2) Z = bf / (x’l – x’r) M N P Right camera axis Left camera axis b z Right image plane Left image plane X’l X’r Focal Length L R pl pr f Cl Cr Left camera lens center Right camera lens center Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

5. Στερεοσκοπική Αντιστοιχία • Η ανίχνευση των συζυγή σημείων (conjugate pairs)σε στέρεο εικόνες αποτελεί ένα εξαιρετικά ενδιαφέρον ερευνητικό πρόβλημα γνωστό ως “Πρόβλημα αντιστοίχησης”(correspondence problem). • Ορισμός: Για κάθε σημείο στην αριστερή εικόνα, να βρεθεί το αντίστοιχο σημείο στην δεξιά εικόνα. • Το σημείο που θα αντιστοιχιστεί, θα πρέπει να είναι ευκρινώς διαφορετικό από τα γειτονικά του, αλλιώς π.χ. σε μια ομογενή περιοχή φωτεινοτήτων κάθε σημείο θα μπορούσε να αποτελεί έναν καλό υποψήφιο. • Κατάλληλη εκλογή χαρακτηριστικών για ταίριασμα (matchable features): Π.χ. Ακμές (edges), περιοχές (region)και πληροφορία χρώματος χαρακτηριστικά έχουν χρησιμοποιηθεί για stereo matching • Επίπτωση χρήσης ενός υπο-σετ των pixels της εικόνας για ταίριασμα είναι ότι υπολογίζεται το βάθος μόνο σε σημεία που ανιχνεύονται χαρακτηριστικά. Το βάθος στα υπόλοιπα σημεία υπολογίζεται έπειτα χρησιμοποιώντας τεχνικές παρεμβολής (interpolation) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

6. Disparity Maps (Χάρτες Βάθους) • Πυκνοί (Dense) • Αραιοί (Sparse) Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

7. Σχεδιασμός ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

8. Υλοποίηση ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνοσε FPGA Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

9. Χαρακτηριστικά Υλοποιημένου Συστήματος Πίνακας 1. Χαρακτηριστικά υλοποίησης Πίνακας 2. Ταχύτητα εξόδου συστήματος Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

10. Χαρακτηριστικά Υλοποιημένης Μεθόδου Πίνακας 3. Ποιοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Πίνακας 4. Ποσοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

11. Ποιοτικά Αποτελέσματα μεθόδου Στερεοσκοπικά ζεύγη εικόνων Χάρτες Βάθους Acc=45% Acc=63% Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

12. Σχεδιασμός ηλεκτρονικού συστήματος ασαφούς λογικής για υπολογισμό χαρτών βάθους σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

13. Υλοποίηση ηλεκτρονικού συστήματος υπολογισμού χαρτών βάθους σε πραγματικό χρόνοσε FPGA Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

14. Χαρακτηριστικά Υλοποιημένου Συστήματος Πίνακας 5. Χαρακτηριστικά υλοποίησης Πίνακας 6. Ταχύτητα εξόδου συστήματος Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

15. Χαρακτηριστικά Υλοποιημένης Μεθόδου Πίνακας 7. Ποιοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Πίνακας 8. Ποσοτικά αποτελέσματα σε σύγκριση με άλλες μεθόδους Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

16. Ποιοτικά Αποτελέσματα μεθόδου Στερεοσκοπικά ζεύγη εικόνων Χάρτες Βάθους Acc=82% Acc=83% Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

17. Τρέχουσα και μελλοντική έρευνα εργαστηρίου • Βαθμονόμηση στερεοσκοπικής κεφαλής (Stereo calibration) • Διόρθωση στερεοσκοπικής γεωμετρίας • (image rectification) • Υπολογισμός μέγιστων επιπέδων ανομοιομορφίας σε πραγματικό χρόνο Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

18. Βαθμονόμηση στερεοσκοπικής κεφαλής Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

19. Διόρθωση στερεοσκοπικής γεωμετρίας Original left Original right Rectified left Rectified right Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

20. Υπολογισμός μέγιστων επιπέδων ανομοιομορφίας σε πραγματικό χρόνο Υπολογισμός μέγιστων πιθανών επιπέδων ανομοιομορφίας Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ

21. Βιβλιογραφία [1] M. Gong, Y.H. Yang, Fast unambiguous stereo matching using reliability-based dynamic programming, IEEE Trans. Pattern Anal. Mach. Intellig. 27 (6) (2005) 998–1003. [2] M. Gong, Y.H. Yang, Near real-time reliable stereo matching using programmable graphics hardware, in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2005, pp. 924–931. [3] O. Veksler, Dense features for semi-dense stereo correspondence, Int. J. Comput. Vis. 47 (1–3) (2002) 247–260. [4] O. Veksler, Extracting Dense Features for Visual Correspondence with Graph Cuts, in: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2003, pp. 689–694. Γεωργουλάς Χρήστος – Εργαστήριο Ηλεκτρονικής / ΔΠΘ