Analiza gibanja, ....

2. Analiza gibanja, .... • Detekcija, sledenje, analiza, .... • Področja uporabe, .... • Pristopi, .... • Sledenje s Kalmanovim filtrom (Matej Perše) • Analiza športnih dogodkov (Janez Perš)

3. Detekcija,sledenje,analiza,... • Detekcija (zaznavanje) (Angl. Motion detection) • kje se objekt zanimanja nahaja v sliki • Sledenje (Angl. (Motion) Tracking) • kje se objekt zanimanja nahaja v zaporedju slik • Analiza (kvalitativna, kvantitativna) (Angl. Motion Analysis) • kaj se z objektom zanimanja dogaja • Razpoznavanje (Angl. Recognition) • kaj objekt zanimanja je • Razumevanje (Angl. Understanding) • kakšen je pomen

4. Področja uporabe • Prometni sistemi • Nadzorni (varnostni) sistemi • Uporabniški vmesniki • Šport • ....

5. Prometni sistemi • Samostojno vozilo (navigacija, ....) • Podpora vozniku (zaznavanje pešcev, ...) • Nadzor prometa (gostota, zastoji, ...)

6. Samostojno vozilo Ernst Dickmanns, Universität der Bundeswehr München, 1999.

7. Podpora vozniku D. M. Gavrila, DaimlerChrysler Research, Ulm, Germany, 1999- Primerjnaje s predlogo in ‘distančni transform’, od grobega k finejšemu.

8. Nadzor prometa J. Malik et al., Computer Vision Group, University of California, Berkeley, ~ 1996

9. Nadzorni (varnostni) sistemi D. Hogg, School of Computing, University of Leeds, UK, ~ 1998.

10. Uporabniški vmesniki D. Gorodnichy, Computational Video GroupNational Research Council of Canada, 2002.

11. Analiza športnih dogodkov • Raziskave na področju športa • Pomoč trenerjem • Obogatitev športnih prenosov, • priprava novic, arhiviranje

12. Športni dogodki I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

13. Športni dogodki I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

14. Športni dogodki J. Perš, G. Vučkovič, FE, FŠ, UNI-LJ, 2001

15. Analiza gibanja • V računalniškem vidu skušamo na podlagi zaporedja • slik iz ene (ali več) kamer sklepati na gibanje • objektov v prostoru. • Slika se kot posledica gibanja objektov v • prostoru s časom spreminja in • z analizo teh sprememb skušamo sklepati na • gibanje objektov. • Op.: • Stacionarna kamera, gibljiv prizor • Gibljiva kamera, stacionaren prizor • Gibljiva kamera, gibljiv prizor

16. Analiza gibanja – streo vid • Problematika analize gibanja (zaporedja slik) ima • precej skupnega s stereo vidom. • V obeh primerih gre za iskanje korespondence med • dvema podobnima slikama. • V primeru časovnega zaporedja slik je ta razlika • običajno majhna – primerjanje je manj zahtevno. • So pa disparitete slik bolj svobodne.

17. Pristopi • Diferenčne metode • Odštevanje ozadja • Odštevanje (zaporednih) slik • Optični tok (in polje gibanja) • Primerjalne metode (podobno kot stereo) • Primerjanje – sledenje področij • Primerjanje - sledenje značilnosti • Prilagodljivi modeli (‘kače’) • Kalmanov filter • ....

18. Slikovna ravnina x X X x0 Z = Z0 - v . t f Z0 Čas do “dotika” • Gibljivi vizualni vzorci vsebujejo veliko količino informacije. • Že samo na podlagi slike se da ugotoviti čas do dotika (trčenja) • (Angl. Time to Impact, Time to Collison). P P v p

19. Polje gibanja • Polje gibanja (angl. Motion Field) je 2D upodobitev polja • (vektorjev) hitrosti gibanja (Angl. Velocity Field) v prizoru. Slikovna ravnina P V v p f Z Vektor hitrosti Vektor gibanja Kotna hitrost Translatorna hitrost

20. Optični tok (angl. Optical Flow) • Časovne spremembe svetlosti slike imenujemo • ‘optični tok’ (Angl. Optical Flow). • Na podlagi optičnega toka skušamo sklepati na • gibanje objekov. • Optični tok pove veliko o polju gibanja in • polju hitrosti, • Vendar so svetlostne spremembe v sliki • posledica tudi drugih učinkov, ne le gibanja.

21. Enačba optičnega toka E(x+x,y+y,t+t) y E(x,y,t) y+y x x+x Časovna sprememba svetlosti Svetlostni gradient

22. Optični tok – problem reže • Koliko nam enačba optičnega toka pove o polju gibanja? • Določiti se da samo komponento hitrosti v smeri svetlostnega • gradienta • Pojav je znan kot ‘problem reže’ • (angl. Aperture problem).

23. Optični tok • Računanje optičnega toka je zelo občutljivo na šum. • Priporočljivo je (predhodno) filtriranje z nizkopasovnim (na • primer Gaussovim) filtrom. • Lahko pa operacijo filtriranja in odvajanja kar združimo, t.j. • filtriramo z odvodom Gaussa. • Smiselna je tudi naslednja predpostavka: • polje gibanja se počasi spreminja • (je konstantno v majhni okolici izbrane točke). • Torej lahko za vse točke (slikovne elemente) v majhni okolici • določimo skupen (povprečen) vektor polja gibanja.

24. Optični tok • Za vsako točko pi v majhni okolici, t.j. ‘oknu’ velikosti N x N • lahko zapišemo: • Iščemo v, ki minimizira srednjo kvadratno odstopanje: • Za vsako točko v oknu izračunamo svetlostni gradient in • časovni odvod ter izračunamo optimalni v. • To naredimo za vse točke v sliki ?

25. Optični tok • Minimizacija • pomeni rešiti enačbo

26. Še o optičnem toku ‘Detektor oglišč’ • ‘Dobre’ sledilne točke so tiste z velikima • lastnima vrednostima.

27. Optični tok – primer rezultata J. Perš, LST, FE, UNI-LJ, 2003. (A. Jepson, M. Black, University of Toronto, 1993)

28. Optični tok – polje gibanja • Optični tok je dobra aproksimacija polja gibanja: • v primeru Lambertovih površin, • majhnih fotometričnih distorzij, • oddaljenega točkovnega svetila, • na mestih z velikim svetlostnim gradientom.

29. Toge predloge Janez Perš, FE, UNI-LJ, 1999.

30. Deformabilni modeli • Aktivni modeli krivulj (kače) (Kass, Witkin): • Krivuljo položimo na slikovno ravnino, kot da je elastična • in jo prilagodimo na vsebino slike. • Krivulji v(s)=(x(s),y(s)), s  [0,1]pripada energijski funkcional: • Minimum energijskega funkcionala poiščemo • z rešitvijo Eulerjeve diferencialne enačbe: Elastični model krivulje

31. Diskretna oblika kače Z diskretizacijo po metodi končnih deiferenc (za i-to točko krivulje): Vektor diskretnih točk krivulje ‘Privlačno’ polje, ki ga generira slika Matrika prožnosti (model krivulje)

32. Deformabilni modeli Aktivni modeli krivulj (Angl. Active contours models) “Snakes”. J. Denzler, H. Niemann, Institut für Informatik, UNI-Erlangen-Nürenberg, ~1997.

33. Kalmanov filter (R.E.Kalman 1960) • Kalmanov filter je danes osnovno orodje, ki se na • področju računalniškega vida uporablja za sledenje • objektov v povezavi z najrazličnejšimi drugimi pristopi. • Kalmanov filter s stališča sledenja pomaga oceniti nov položaj • gibajočega se objekta (značilne točke) in negotovost položaja, • to je napove kje iskati objekt v naslednji sliki in • kolikšno naj bo področje iskanja (pregledovanja). • Rešuje probleme v zvezi z • mankajočo informacijo, • nepopolno informacijo, • moteno informacijo.

34. Analiza športnih dogodkov • Začetki 1998 • ..... • Komercialni projekt , 2004 –

35. Sledenje - rezultat