Kārlis Dimza 06.08.2012

1. Gājēju meklēšanas telpas sašaurināšana izmantojot projektīvo ģeometriju viedo automobiļu drošības sistēmāsSearch Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry利用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間 Kārlis Dimza06.08.2012

2. Saturs 1. Ievads 2. Literatūras pārskats 3. Attēlveidošana • Nakts redzamība • NIR nakts redzamība • Filtri • Filtru mērījumu rezultāti • Attēluzlabošana 4. Gājēju meklēšanas telpas sašaurināšana • Gadījums ar zināmiem kameras kalibrācijas parametriem • Gadījums ar nezināmiem kameras kalibrācijas parametriem 5. Eksperimenti • Prognozētā gājēju izmēru kartes izveide • Gājēju meklēšana • Izmantojot publiskus datus (Daimler) • NTHU CVLAB Day-Night monocular pedestrian dataset 6. Secinājumi un turpmākie darbi

3. 1. Ievads(1/7). Auto industrijas attīstība • Mūsdienu automašīnās sastopams liels daudzums elektronikas, kas uzlabo braukšanas drošību un komfortu Stanford University in DARPA Challenge 2007: Autonomās automašīnas prototips Pirmās automašīnas:nekādas inteliģences Zirgu pajūgs:transports ar zināmu inteliģences devu

4. 1. Ievads(2/7). Gājēju aizsardzība • Mazaizsargātie satiksmes dalībnieki sastāda 2/3 no visiem nāves gadījumiem uz ceļa • Izšķir aktīvo un pasīvo gājēju aizsardzību • ADAS1cenšas uzlabot pasīvo gājēju aizsardzību • Mērķis ir noteikt gājēju pēc iespējas agrāk un dot brīdinājuma signālu vadītājam • Liela daļa letālo gadījumu notiek naktī 1 ADAS-Advanced Driver Assistance System

5. 1. Ievads(3/7). Gājēju meklēšana • Pašreiz viens no visvairāk citētajiem cilvēku klasifikatoriem ir HOG ar SVM • Pateicoties labajai veiktspējai lielākajā daļā moderno cilvēku meklētāju ir izmantotas idejas no HOG • Šajā darbā mēs izmantojam klasisko HOG • Ilustratīvs piemērsHOG1: 1Dalal and Triggs - Histograms of Oriented Gradients for Human Detection, CVPR 2006

6. 1. Ievads(4/7). Perspektīva– sirreāls gadījums • Meklēšanas telpa ir svarīga!

7. 1.Ievads(5/7). Lokalizācija • Slīdošā maska ir tradicionāls veids kā meklēt objektus attēlā • Parasti slīdošās maskas izmērus un pozīcijas izvēlas t.s. Vienmērīgā sadalījuma principa

8. 1.Ievads(6/7). Perspektīva– pareizs gadījums

9. 1.Ievads (7/7). Adaptīvā maska- princips

10. 2. Literatūras pārskats(1/4). • Nakts redzamība • FIR un NIR salīdzinājums • IR-PASS filtra dizains • Meklēšanas telpas ierobežošana • Putting objects in perspective (CVPR2006) • Camera calibration toolkit (CVPRW2011)

11. 2. Literatūras pārskats(2/4). • Nakts redzamība • Near infrared system (NIR) • Far infrared system (FIR), dažreiz tiek saukta par termālo sistēmu Material from [8]

12. 2. Literatūras pārskats(3/4). WDR CMOS. • Lai izbēgtu no kameras «apžilbšanas» efekta naktī, tika izvēlēta WDR tipa kamera ArWDR BezWDR The sample images are taken from WDR manufacturer proposal

13. 2. Literatūras pārskats– Meklēšanas telpas sašaurināšana(4/4). • Perspektīvas informācijas nozīme tika pierādīta objektu meklēšanā, bet metode ir limitēta tajā, ka nepieciešams zināt kameras parametrus • Ar nelielu lietotāja līdzdalību kameras parametru aproksimācija var tikt atrasta • Piedāvātā metode tika modificēta, lai izslēgtu kļūdainu lietotāja ievadu.

14. Pamatveikums. • NIR nakts redzamības sistēmas izveide • Apmēram 320GB ar ievāktiem datiem • Izveidota datubāze ar atzīmētiem gājējiem balstoties uz ievāktajiem datiem • Cilvēka augstuma prognozēšana • Atrisināts gadījums ar kļūdainu saplūšanas punktu noteikšanu

15. 3.Attēlveidošana(1/6). NIR princips. • Uzbūvētā NIR gaismekļa princips • Redzamā gaisma tiek bloķēta ar trīsslāņu filtru • Zilais, zaļais un sarkanais filtrs ir kombinēts, lai iegūtu redzamo gaismu necaurlaidīgu filtru

16. 3.Attēlveidošana(2/6). Instalācija. WDR image sensor NIR illuminator side view NIR illuminator (front view) NIR illuminator (view from top)

17. 3.Attēlveidošana(3/6). Gaismas avota intensitātes spektrālais sadalījums un IR-PASS Filtra mērījumi. • Mērīts arBWTEK BRC111A CCD Array Spectrometer

18. 3.Attēlveidošana (4/6). NIR nozīme. With conventional USB color camera With NIR camera

19. 3.Attēlveidošana (5/6). Piemērs WDR. • Piemēri no iegūtajiem datiem, kuros redzams WDR nozīmes efekts. On coming vehicle On coming vehicle WDR1 WDR2

20. 3.Attēlveidošana (6/6). Attēluzlabošana(NLM) • Lai uzlabotu nakts redzamības attēlu kvalitāti, trokšņa filtrācija tika pielietota Pirms Pēc

21. 4. Meklēšanas telpas sašaurināšana(1/11). • Procesu var sadalīt 3 galvenajās daļās: • Priekšapstrāde • Darba galvenā daļa • Klasifikācija • Izmantota validācijai • Pēcapstrāde • Nav lietota

22. 4. Meklēšanas telpas sašaurināšana(2/11). Cilvēka projekcijas lieluma noteikšana. Scenegeometry withknowncameraparameters Scenegeometry withunknowncameraparameters

23. 4. Meklēšanas telpas sašaurināšana(3/11). Cilvēka projekcijas lieluma noteikšana ar zināmiem kameras kalibrācijas parametriem. => Projekcijas matrica => bezgalīgi daudz atrisinājumu! => viens atrisinājums! => Project back to image, by assuming human metric height is 1,8m Y=0 (zemes plakne)

24. 4. Meklēšanas telpas sašaurināšana(4/11). Saplūšanas punkti. • Pamatideja ir balstīta uz paralēlām līnijām, kuras krustojas saplūšanas punktos (VanishingPoint(VP)) • Trīs savstarpēji perpendikulāri saplūšanas punkti ir nepieciešami attēla analīzei • Parasti tiek lietoti kalibrācijasobjekti, lai noteiktu trīs VP • Bet parasti uz ceļa šādi objekti nav pieejami

25. 4. Meklēšanas telpas sašaurināšana(5/11). Saplūšanas punktu atrašana. Metode ar lietotāja līdzdalību pielietota: Lietotājam jāievada: 3 pāri ar savstarpēji perpendikulārām paralēlajām līnijām Viens cilvēka lieluma objekts Līnijas X un Y virzienā nepieciešams automātiski pielabot jo: Līnijām savstarpējais leņķis uz projekcijas attēla ir ļoti neliels VP trijstūra ortocentrs ir optiskais centrs attēlā Attēla optiskais centrs tiek pieņemts atrodamies attēla centrā, kas ir patiesi jebkurai modernai kamerai.

26. 4. Meklēšanas telpas sašaurināšana(6/11). Optiskais centrs, attēla centrs, ortocentrs Principal point Orthocenter Ortocentrssakrīt ar optisko centru attēlam Optiskais centrs atrodas attēla centrā(every modern camera is built to have principal point at center of image) Attiecīgi optiskais centrs var tikt pieņemts, kā zināms mainīgais, ko varam izmantot ortocentra validācijā

27. Large mutual slope of vanishing lines 4. Meklēšanas telpas sašaurināšana(7/11). Saplūšanas punkts pie dažāda slīpuma paralēlo līniju projekcijas. Error in vanishingpoint estimation User interactionerror = ε Small mutual slope of vanishing lines Error in vanishingpoint estimation User interactionerror = ε

28. 4. Meklēšanas telpas sašaurināšana(8/11). VP noteikšana. Region to pick random new endpoint from X direction parallel lines Y direction parallel lines Principal point Z direction parallel lines Current orthocenter of VP triangle

29. 4. Meklēšanas telpas sašaurināšana(9/11). VP estimation. Computeinitial orthocenter Initialize image center Initialize 16 random values New X vanishing point;Random new 8 coordinatesfrom defined small range New Y vanishing point Compute the new orthocenter;While orthocenter is not in image center

30. 4. Meklēšanas telpas sašaurināšana(10/11). Cilvēka izmēra projekcijas noteikšana. Line from reference head to Vn Line through reference foot and point of interest foot Y VP Human reference Intersection of Horizon line and line through reference foot and point of interest foot Horizonline X VP Z VP Unknown human height Line from point of interest (foot) to Y VP Estimated human height

31. 4. Meklēšanas telpas sašaurināšana(11/11). Projected human height estimation from VP and reference. Convert points to 3Dvectors Compute cross product Human height isdifference between head and foot points

32. Eksperimenti(1/10). • Cilvēka izmēra noteikšana • Adaptīvās maskas efekts gājēju noteikšanā • Publiskos datos • NTHU CVLAB Day monocular pedestrian dataset • NTHU CVLAB Night monocular pedestrian datasets

33. Eksperimenti(2/8). Cilvēka izmēra noteikšana.

34. Eksperimenti(3/8). Rezultāti uz publiskiem datiem. * - Results from:

35. Eksperimenti(4/8). NTHU CVLAB Day monocular pedestrian dataset.Rezultāti

36. Eksperimenti(5/8). NTHU CVLAB Night monocular pedestrian dataset Rezultāti. Night1 Night2 Night3

37. Eksperimenti(6/8). NTHU CVLAB Day monocular pedestrian dataset.Paraugrezultāti Uniform scan Adaptive Daimler NTHU Daytime

38. Eksperimenti(7/8). NTHU CVLAB Night monocular pedestrian dataset. Lietotāja ievads Night1 X VP Y VP X VP X VP Y VP Night2 Y VP Z VP Humanreference Z VP Humanreference Humanreference Z VP Night3

39. Eksperimenti(8/8). NTHU CVLAB Night monocular pedestrian dataset. Paraugrezultāti. Adaptive Dense Night1 Night2 Night3

40. Secinājumi un nākotnes pētījumi • Izstrādāta metode lai samazinātu gājēju meklēšanas telpu • Gājēju datubāzes izveide • Metodes efektivitāte pierādīta eksperimentos • GPU daudzkodoluiegultās sistēmas implementācija ir plānotais nākotnes darbs • Nepieciešams izveidot reģionu grupēšanas metodi, kura ir saderīga ar adaptīvo masku • Rezultātu kombinēšana no vairāka tipa sensoriem kā arī stereo informācijas pielietojumi.

41. Paldies par uzmanību!