1 / 87

Sztereo

Sztereo. Vámossy Zoltán 2005 Seitz – UNI Washington; Thrun, Bradski – Stanford; Mubarak Shah anyagok alapján. S z tereo. Kétkamerás sztereo Motiváció Epipoláris geometria Illesztés Mélység becslés Rektifikáció. Public Library, Stereoscopic Looking Room, Chicago, by Phillips, 1923.

helena
Download Presentation

Sztereo

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Sztereo Vámossy Zoltán 2005 Seitz – UNI Washington; Thrun, Bradski – Stanford; Mubarak Shah anyagok alapján

  2. Sztereo • Kétkamerás sztereo • Motiváció • Epipoláris geometria • Illesztés • Mélység becslés • Rektifikáció

  3. Public Library, Stereoscopic Looking Room, Chicago, by Phillips, 1923

  4. Teesta suspension bridge-Darjeeling, India

  5. Mark Twain at Pool Table", no date, UCR Museum of Photography

  6. Woman getting eye exam during immigration procedure at Ellis Island, c. 1905 - 1920, UCR Museum of Phography

  7. Sztereogrammok • UCR stereographs • http://www.cmp.ucr.edu/site/exhibitions/stereo/ • The Art of Stereo Photography • http://www.photostuff.co.uk/stereo.htm • History of Stereo Photography • http://www.rpi.edu/~ruiz/stereo_history/text/historystereog.html • Double Exposure • http://home.centurytel.net/s3dcor/index.html • Stereo Photography • http://www.shortcourses.com/book01/chapter09.htm • 3D Photography links • http://www.studyweb.com/links/5243.html • National Stereoscopic Association • http://204.248.144.203/3dLibrary/welcome.html • Books on Stereo Photography • http://userwww.sfsu.edu/~hl/3d.biblio.html

  8. Sztereo panorámaképek • Interaktiv demo: http://www.cs.columbia.edu/CAVE/

  9. Mélységi információ sztereo képből Diszparitás térkép

  10. Stereo Cyclographs [Seitz, 2001]

  11. Sztereo Jelenet egy pontja Képsík Optikai középpont

  12. Sztereo feladatok p’ ? p • Adott egy ppont a bal képen, hol található a hozzátartozó p’a jobbon? (párosítás - correspondence) • Milyen térbeli pont felel meg a (p, p’) képpontpárnak? (3D visszaállítás)

  13. Sztereo 3D visszaállítás • Alapelv: háromszögelés • Két fénysugár segítségével • Előkövetelmények • kalibráció • összetartozó pontok (correspondence)

  14. Sztereo párosítás Epipoláris vonal Epipoláris vonal Epipoláris sík • Az egymásnak megfelelő pixelek meghatározása • Ugyanahhoz a jelenetponthoz tartozó képpontpár • Epipoláris feltétel • A megfeleltetés problémáját 1D keresésre vezeti vissza a konjugált epipoláris vonalak mentén • Java demo: http://www.ai.sri.com/~luong/research/Meta3DViewer/EpipolarGeo.html

  15. Sztereo feltétel - Epipolárisgeometria Epipoláris egyenes p’ Y2 X2 Z2 O2 Epipólus M Képsík Y1 p O1 Z1 X1 Fókuszsík

  16. Sztereo párosítás (megfeleltetés) • Jellemzők vs. tetszőleges pixelek segítségével? • A megfeleltetés során szükségünk van-e előzetesen jellemzőkre? Julesz Béla véletlen pont sztereo diagram (Random Dot Stereogram)

  17. Sztereo párosítási algoritmusok • A konjugált epipoláris vonalak mentén történő párosítás során • Tételezzük fel, hogy a pontok színe nem változik • Problémák, hibaforrások • Tükröződés • Alacsony kontrasztú területek • Elzártság • Képhiba • Kamera kalibrációs hiba • Megközelítések, módszerek • Dinamikus programozás [Baker 81,Ohta 85] • Simasági függvények • Több kép használata (trinocular, N-ocular) [Okutomi 93] • Gráfokhasználatával [Boykov 00] • …

  18. Alapvető sztereo algoritmus Minden epipoláris vonalra A bal kép minden pixelére Továbbfejlesztés: ablakok párosítása • Hasonlítsunk össze minden pixelt az epipoláris vonalon • A legkisebb párosítási költségű pixelt vegyük ki - jóság

  19. Ablakméret • Kisebb ablak • Több részlet • Több zaj • Nagyobb ablak • Kevesebb zaj • Kisebb részletezettség W = 3 W = 20 • Jobb eredmények adaptív ablakkal • T. Kanade and M. Okutomi,A Stereo Matching Algorithm with an Adaptive Window: Theory and Experiment,, Proc. International Conference on Robotics and Automation, 1991. • D. Scharstein and R. Szeliski. Stereo matching with nonlinear diffusion. International Journal of Computer Vision, 28(2):155-174, July 1998

  20. Konkrét párosítási módszerek

  21. Jellemző alapú sztereo - Token Based Stereo • Detektáljuk a jellemzőket • Csúcsok, érdekes pontok, élpontok • Keressük meg az összetartozást • Interpoláljuk a teljes felületet

  22. Párosítás jellemzők nélkül • Az epipoláris feltétel miatt továbbra is 1D probléma, melyre megoldások: • Marr-Poggio • Korreláció alapú sztereo • Energia alapú módszer

  23. Marr-Poggio algoritmus • Első sztereo algoritmusok egyike (1979) • Fekete és fehér pixelekből álló képekre alkalmazható • Feltételek: • Kompatibilitás:fehér fehérre illeszkedik • Folytonosság:a szomszédoknak hasonló diszparitása kell, hogy legyen • Egyértelműség:a bal kép egy pixele pontosan egy pixelhez illeszkedjen a jobb képen

  24. Marr-Poggio Algorithm • Összetartozás térkép • Sorokban keresünk • 1D 1 2 3 4 5 d=2 1 1 1 d=1 1 1 Kezdeti összetartozás tömbje C0(x, d) d=0 1 1 1 d=-1 1 d=-2 1 1

  25. Marr-Poggio • Iterativan számoljuk az összetartozás tömböt(lambda: 2, T: 4, w: 2) 1D eset max. lehets. diszparitás serkentő tag tiltó tag – folytonosság 2D eset

  26. Korreláció alapú sztereo • A mélység a jellemzőknél kerül kiszámolásra és a többi pixelnél interpolálás • Diszparitás térkép készül a mért korreláció alapján

  27. Korreláció alapú sztereo • Ha a diszparitás már ismert, akkor a mélység:

  28. Példák Balkép Jobbkép Mélység térkép

  29. Sztereo energia minimalizálásként • A párosítás jóságát energiaként fogalmazzuk meg • “adattag”, mely bünteti a rossz párosítást • “szomszédosság tag” a térbeli simaságot növeli

  30. Sztereo eredmények • University of Tsukuba adatai • Hasonló eredmények más képekre Jelenet A valóság

  31. Ablakos korrelációs algoritmus Normalizált korreláció (legjobb ablakmérettel) A valóság

  32. Gráf algoritmus eredményei A valóság Gráf alapú algoritmus

  33. Sztereo rekonstrukció menete • Lépések • Kamerák kalibrációja • Képrektifikáció (opcionális, de sokat gyorsít) • Diszparitás számítás • Mélység számítás

  34. Kalibráció síkokkal • Ha kamera paraméterektől függ (A, R, t) ahol • Perspektíva esetén egy sík képe • 3x3-as projektív transzformáció • Vonalat, egybevágóságot megtart • A, R, t számolható legalább 3 fenti mátrixból • Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. • http://research.microsoft.com/~zhang/Calib/

  35. Rektifikáció

  36. Rektifikáció • A kép transzformálása • Az optikai középpontok által meghatározott egyenessel párhuzamos sík legyen a képsík • 3x3 transzformációt használunk mindkét képre • C. Loop and Z. Zhang. Computing Rectifying Homographies for Stereo Vision. IEEE Conf. Computer Vision and Pattern Recognition, 1999.

  37. Mélység számítása diszparitásból 3D renderelés egyik input kép mélységi térkép [Szeliski & Kang ‘95] X z u u’ f f baseline C C’

  38. Diszparitás alapú renderelés • Új nézetek készítése • S. M. Seitz and C. R. Dyer, View Morphing, Proc. SIGGRAPH 96, 1996, pp. 21-30. • L. McMillan and G. Bishop. Plenoptic Modeling: An Image-Based Rendering System, Proc. of SIGGRAPH 95, 1995, pp. 39-46.

  39. Bázistávolság megválasztása • Milyen az optimális bázistávolság? • Túl kicsi: nagy mélységi hiba • Túl nagy: nehezebb a keresés Nagy bázistávolság Kicsi bázistávolság

  40. A bázistávolság hatása a mélységre

  41. Sztereo Vámossy Zoltán 2005 Sebastian Thrun, Gary Bradski, Daniel RussakoffStanford CS223B Computer Vision

  42. Sztereo: illusztráció

  43. Sztereo • Alapok • Epipoláris geometria • Képrektifikáció • Rekonstrukció • Megfeleltetés • Aktív távolság meghatározó technikák

  44. Pinhole kameramodell Képsík Fókusztávolság f Projekció középpontja

  45. Pinhole kameramodell Képsík

  46. Pinhole kameramodell Képsík

More Related