1 / 43

Kompjuterska vizija u interakciji čoveka i kompjutera

Kompjuterska vizija u interakciji čoveka i kompjutera. MENTOR: Prof. Dr Milorad Banjanin. STUDENT:. Marijana Đoković S3946. Prepoznavanje radnje u emitovanju video snimka tenisa. Optički protok je p rostorna šema ometanog merenja umesto preciznog razmeštanja piksela.

malory
Download Presentation

Kompjuterska vizija u interakciji čoveka i kompjutera

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Kompjuterska vizija u interakciji čoveka i kompjutera MENTOR: Prof. Dr Milorad Banjanin STUDENT: MarijanaĐoković S3946

  2. Prepoznavanje radnje u emitovanju video snimka tenisa

  3. Optički protok je prostornašema ometanog merenja umesto preciznog razmeštanja piksela • Detalji pokreta su mutni • Igrač se može pratiti kao tačka • Teško je odrediti odvojene pokrete Mašina podrške vektora se koristiza treniranje klasifikatora Istraživački izazovi Predstavljanje pokreta optičkim protokom Prepoznavanje akcija mašinom podrške vektora Prema stopi pojavljivanja terena u jednom frejmu, frejmove emitovanja video snimka tenisa delimo na: Lako obeležavanje i segmentiranje delova tela kao što su: glava, torzo, udovi Pogled iz daljine Pogled iz bliza Figura igrača uglavnom 30 piksela Figura igrača uglavnom 300 piksela

  4. Izgled nije uvek očuvan Manje je pogodan za klasifikaciju Bazira se na periodičnosti i tako ograničen na periodične pokrete Snimci nisu bili za emitovanje Naučne predpostavke • Automatski sistem za objašnjavanje • teniskih pokreta, uključujući forhand, • backhand i udarac preko ramena • Zasnovan na promenama siluete Mijamori i Isaki • Razvili su opšti pristup za prepoznavanje • pokreta u “srednjem polju” Efros i drugi

  5. Dijagram toka Izračunavanje optičkog protoka, ispravljanje, izglađivanje i predstavljanje pokreta Praćenje igrača i stabilizacija figure Metoda za analizu pokreta za prepoznavanje pokreta igrača izdaleka u emitovanim video snimcima Emitovanje video snimka Sekvenca centralizivane figure Opisivač pokreta Klasifikator radnji Baza podataka Nadgledano učenje Označavanje radnji

  6. Praćenje igrača i stabilizacija Konstruisanjem prozora u svakom frejmu centriranom na oblasti igrača Praćenje oblasti igrača kandidata • Izdržljivo za bučne okolnosti, • tako da prati osobu određene • telesne konfiguracije do približno • iste stabilizovane slike • Prozor za praćenje igrača se uvećava • do određene skale u jedinici piksela • Koristi sofisticiranu strategiju –SVR filter čestica Koristi metodu izračunavanjacentroida oblasti igrača Koordinate centroida oblasti : R oblast zauzeta objektom u ravni slike i f(x, y) sivi nivo na lokaciji (x,y).

  7. Različiti igrači mogu imati različite položaje za istu radnju i različiti položaji mogu biti snimljeni na različitim video snimcimačak i za istu radnju. pokret nastaje zbog relativnih pokreta izazvanih različitim delovima tela igrača, koji su različite oblasti koje se označavaju na ravni slike. opisivač nije izdržljiv niti možedarazdvajaprepoznavanje radnje i klasifikaciju. Izračunavanje opisivača pokreta Najintuitivnija tehnika za snimanje pokreta nezavisno od izgleda Izvođenje osobine o pikselima optičkog toka tretiranje polja optičkog toka kao prostornu šemu bučnih mera koje se prikupljaju korišćenjem našeg opisivača pokreta umesto preciznih pomeranja piksela po tačkama. ! Jedan od način za lokalizaciju pokreta je da se polje optičkog toka podeli na različite pod - oblasti nazvane komadi. !

  8. Adaptivno izdvajanje pozadine Cilj: konačan kanal GMMs model rast oblasti Horn- Šunk algoritam Ima uticaj na izračunavanjeoptičkog protokaunutar ljudske oblasti Izračunavanje optičkog toka i eliminacija ometanja Izvođenje osobine optičkog toka ljudske centrične figure Algoritam za eliminisanje ometanja u polju toka Frejmovi uzoraka OFFx+ Stabilizivana sekvenca centrične figure Figura izdvojene pozadine OFFx- Gaussian izglađivanje izračunavanje polja optičkog toka polutalasno ispravljanje OFFy+ OFFy- Reforma polja optičkog toka Četiri ne- negativna kanala

  9. Usvajamo jednostavan ali efektivan stil oblast koji se naziva komad Predstavljanje lokalnih pokreta Metode za predstavljanje pokreta globalne Uzima u obzir celu sliku ili sekvencu • Visina komada jednaka je visini figure, • a širina se može podesiti prema • prostornoj strukturi objekta lokalne Fokusiraju se na odredjene delove slike ili video podataka . • Pokret ljudsko centrične figure • nastaje zbog relativnog pokretanja • različitih delova tela koji se vide u • različitim oblastima figure. Metode zasnovane na histogramu

  10. Uspešno primenjen na širok opseg prepoznavanja šema i probleme klasifikacije • brži • bolji za interpretaciju i odredjivanje • sposobnosti da tačno klasifikuje nevidjene podatke • pružanja boljih predvidjanja nevidjenih test podataka • pružanja jedinstvenih optimalnih rešenja za problem u treniranju • sadržavanje manje parametara u poredjenju sa drugim metodama Klasifikacija radnji SVM (podrška vektora mašine) Prednosti u odnosu na veštačke nervne mreže(ANNs) Prednost SVM nad drugim metodama

  11. Eksperimenti : dve osnovne radnje: levi udarac i desni udarac Test podaci se izvode iz video snimaka zabeleženih iz uživo emitovane televizije jednog od mečeva turnira zauzimaju oko 90% ponašanja u teniskim mečevima. 56 radnji levog udarca i 49 radnji desnog udarca je uključeno u test sekvence. Rezolucija frejma od 352x288.5 sekvenci , izvlači se iz celog videa čiji ukupan broj frejmova je 6035 Video je kompresovan u MPEG-2 standard Implementirana su dva eksperimenta jedan za prepoznavanje radnje frejmova udaraca drugi za prepoznavanje klipova radnji udaraca Opoziv R P Ocena učinka : Preciznost A Tačnost

  12. Zaključci: • Pristup prepoznavnja radnje je predstvljen za analizu pokreta teniskih igrača u emitovanom video snimku • Predložena je grupa histograma skraćenih na S-OFHs, • na osnovu izgladjivanja i prikupljanja mera optičkog toka • Bučni optički protok se tretira kao prostorna šema • ometanih mera umesto preciznog premeštanja piksela • S-OFHs se izvode kao šeme prostornog predstavljanja • Za prepoznavanje radnje koju obavlja ljudska figura • u jednom frejmu, koristimo mašinu podrške

  13. LiceMiš: Ljudsko-kompjuterski interfejs za tetraplegične osobe

  14. Implementirani algoritam je zasnovan na podudarnosti šablona za praćenje nosa korisnikai na medjusobnoj korelaciji za izračunavanje najboljeg podudaranja. Ko su tetraplegičari ? Ljudi sa hendikepom ! Ovi ljudi, zapravo, mogu da koriste samo svoju glavu (a i to uz teškoće) da vrše interakciju sa okolinom i zahtevaju specijalnu adaptaciju. Sistem LiceMiš Standardnu Web kameru Tehnike za praćenje nosa Koristi : Pokazivač miša

  15. „tamo gde pogledam, tamo želim da idem“ „ono što pogledam to želim“ Podela interfejsa između ljudi i kompjutera: korisnik može da aktivira udaljene uredjaje birajući odredjenu ikonu 2D sinoptički interfejsi simuliraju navigaciju i interakciju sa stvarnim svetom 3D virtuelni svetski sistemi klasični grafički interfejs zasnovan na prozorima • praćenju oka • praćenju glave • kontroli gledanja (piljenja) praćenje određenih delova tela : Derivativna paradigma Koristi paradigmu pokazivača

  16. Sistem LiceMiš koristi: Jeftinu Web kameru da snimi sliku • Tehnike kompjuterskog gledanja za • identifikaciju različitih delove lica korisnika • Iskoriste za pomeranje pokazivača miša • ili izvršavanje klika mišem Metoda praćenja zasnovana na podudaranju šablona razdaljina izmedju delova sadašnje slike ili šablona izračunata korišćenjem unakrsno-korelativne funkcije zasnovana na koeficijentu normalizovane korelacije poštopokreti ljudi sa Hendikepomne prate neki predvidljivi model kretanja

  17. HCI koji se lako koristi • pokazati preciznu poziciju i održati je neko vreme ljudsko-kompjuterski interfejs REŠENJE Derivativna paradigma PROBLEMI • opseg pokreta udova i glave može biti ograničen • osobina se izvlači putem polu-automatske metode Korisnik je zamoljen da lice drži što mirnijim a operater (koji može da koristi standardne uredjaje miša) bira tačku na trenutnoj slici koja je usredsredjena na izabranu osobinu lica (na primer, centar nosa). Označava smer duž kog se miš treba pomerati interakciju čak i ako nema precizne kontrole glave, jer može da pravi samo male pokrete Omogućava • Kvadratni šablon centriran na ovoj tački • se koristi kao model i čuva za dalje podudaranje r1 r2 r3 • Ako je centar osobine detektovan unutar centralne oblasti (označen sa „SW klik“ gde SW znači „statični prozor“) to odgovara zahtevima ne pomeranja pokazivača miša. • I ako korisnik održi osobinu u toj oblasati • duže od definisanog vremena T click, • vrši se pritisak klika na dugme. r8 SW r4 click r7 r6 r5

  18. Ako se korisnik pomera u drugom prozoru (rl.....r8) pokazivač miša se pomera u odgovarajućem smeru. ovaj pristup ne radi dobro za korisnike koji ne mogu tačno da pomeraju glavu u svim pravcima HCI koji se lako koristi Tri različita tipa dinamike miša : • dinamičnost uz konstatnu brzinu • dinamičnost sa konstatnim ubrzanjem • dinamičnost u kojoj je brzina funkcija • pomeranja iz centra mreže. NO spead variation SW click kada korisnik želi da klikne na tačkuna ekranu, mora da pozicionira pokazivač miša na željenu tačku,vrati se u statični prozor SW i ostane u toj oblasti Th1 alternativno rešenje: tokom faze podešavanja korisnk (uz pomoć operatera) bira skup tačaka koje predstavljaju pozicije koje korisnik može zauzeti a koje odgovaraju smerovima (gore, dole, levo, desno) i centralnu poziciju Th2 V= (0, 0)ako korisnik pokaže na „SW klik“ zonu f1 i f2 dve funkcije koje se sastoje od konstatnog ubrzanja počevši od prvog parametra V= (v.., v..)brzina pomeranja koja se treba odrediti za pokazivač miša,

  19. Praćenje nosa Faza inicijalizacije jedini konveksni oblik na ljudskom licu koji je lako vidljiv je vrh nosa • operator će odabrati za hendikepiranog • korisnika „dobru“ osobinu na njegovom licu • mora biti nedvosmisleno detektujuća, i nepromenljiva • rotacija, interpretacija i promena skale svetlosni uslovi konstantni izmedju dva uzastopna frejma Predpostavke: normalizovana unakrsna korelacija može se koristiti da obavlja u vremenu t podudaranje šablona s obzirom na šablon Zadaci u vreme t – 1 normalizovana unakrsna korelacija zadržava samo „dovoljno dobre“ parove koji se podudaraju poboljšanja za povećanje pouzdanosti i izdržljivosti ovog sistema Da bi smanjili lažna podudaranja, prethodni šablonse ponovo poravnanva sa početnim šeblonom

  20. Korisnik pomera prozor koji odgovara odabranom uredjaju i miruje neko vreme da bi izvršio klik i otvara novi interfejs sa specifičnim komandama za taj uredjaj. Vrata Telefon Prozor Svetlo Radio Klima uređaj Oni se mogu jednostavno otvarati ili zatvarati pritiskanjem odgovarajuće dugmadi, ili ručno otvarati donekle pomeranjem klizećih poluga. Tv Peć Mašina Alarm Aplikacije : • korišćenje sinoptičkih interfejsa za kontrolisanje kuće • primena za medjusobnu komunikaciju i pisanje • opšte Microsoft Windows aplikacije Tipovi Prednosti sistema LiceMiš : • nema potrebu za operatorom • upotrebljava interfejs lakši za korisnika • zasnovan na virtuelnoj tastaturi dva poboljšanja su uključena u sistem • ne zahteva od korisnika da se vrati u statični prozor • predlaganje sledećeg najverovatnijeg • karaktera, uz dati trenutno izabran karakter Virtuelna tastatura LiceMiš interfejsa za kontrolisanje kuće

  21. testiranje sa deset tetraplegičnih osoba Eksperimentalni zaključci 1. Korišćenjem predloženog sistema, korisnici mogu da pišu više od dva puta (bez predvidjanja) ili više od tri puta (sa predvidjanjem) brže nego koristeći tradicionalni sistem 3. Sa sistemom predvidjanja korisnik može da ubrza proces pisanja (za 59% i za 25% za dinamičnost 1, odnosno 2) uzimajući u obzir slučaj bez predvidjanja. 2. Najbolji učinak može se postići korišćenjem predvidjanja i brzine u zavisnosti od pozicije pokazivača

  22. Zaključci: Sistem LiceMiš - ljudsko-mašinski interfejs za pomoć tetraplegičarima - Sistem je zasnovan na tehnikama kompjuterskog vida, zato nije neophodno primeniti senzore na telo korisnika, - omogućava korisniku da piše više od tri puta brže nego sa tradicionalnim sistemima.

  23. Povraćaj objekata putem ispitivanja sa osetljivošću zasnovanom na skali KANSEI-rečnika

  24. na japanskom jeziku znači osetljivost, osećati, prisetiti se, želeti i misliti o lepoti u stvarima KANSEI izražava se uglavnom emotivnim rečima na primer: lepo, romantično, fantastično, udobno Koncept KANSEI- je usko povezan sa konceptom ličnosti i osećajnosti KANSEI informacija je polje koje cilja na obradu i razumevanje kako ljudska inteligencija obradjuje subjektivne informacije ili dvosmislenu osećajnosti i kako informacije mogu da se izvrše od strane kompjutera

  25. povežemo vizuelne informacije sa osećanjimaljudskih bića preko skale relacionihuzoraka Vizulenih informacija ( boje, oblika ) kreiranje KANSEI skale rečnika zasnovane na vizuelnim informacijama kao što su boja, oblik, tekstura i šema KANSEI-rečnikom ljudi U fokusu je studija KANSEI-zasnovanih alata povraćaja slika je ograničena i zasnovana na sadržaju koristeći vizuelne osobine kao što su tekstura, oblik, šema i naročito boja za skalu smo sakupili i klasifikovali najuobičajenije oblike i definisali koji su najstandardniji oblici našli smo vezu izmedju oblika i KANSEI rečnika. najpopularniji izvori za eksperiment, ili zasnovani na osobinama kao i sistemi koji koriste prepoznavanje rezultat imaju teškoće u proveravanju i prepoznavanju slika koje odgovaraju svrhama ili ukusima korisnika u višem značenju KANSEI skala rečnika za oblike i povezani KANSEI rečnik. Konačna svrha skale relacionihuzoraka

  26. Definicija oblika znači ravan dvodimenzionalnog obllika napravljen linijama koji pokazuje ili „siluetu“ ili „okvir“ Oblik dužina i širina dvodimenzionalan oblik stvari, njen izgled i držanje, ili telo i figura, i to je jedinstvo, ujedinjena celina, ili organizacija koja kreira delimični red za celo telo stvari. Forma je prirodna metafora ili prefinjena forma kreirana ideološkim mislima ljudi Geometrijska forma

  27. Tri forme sadrži konceptualne elemente,vizuelne elemente relacione elemente i konstrukcione elemente Dizajn - konceptualna prirodna Vizuelne informacije geometrijska veštačka apstraktna forma promenjena kroz formu u jednostavnost nemaju definisan standard

  28. oblik i forma se kreiraju ravnima ravni oblika se staljaju u glavne elemente

  29. Tehnika aplikacije povraćaja objekta (GVF)i (TSR) GVF GVF Gradacijski Vektor toka, zmija za detekciju kontura oblika Tangentna preznetacija prostora za meru sličnosti oblika: Počinje kalkulacijom polja sila, GVF sile, nad domenom slika Alternativna prezentacija Digitalna kriva linija C je predstavljena u tangentnom prostoru grafikom funkcije koraka Izračunavaju se primenom opšte difuzijske jednačine na obe komponente gradacije mape ivica slike. Produžava „obim snimanja“ mogu da nadju objekte koji su dosta daleko od prvobitne pozicije zmije

  30. Slika oblika KANSEI- Rečnik bogat, pun, slab, perfektan, relaksirajući, siguran, zadovoljan, topao Neprijatan, hladan, iskrivljen, vrtoglav, iritirajući, stran, neprijatan nejasan, zbunjen, nervozan, stran, jedinstven, nestabilan, neodređen, zabrinut Obilan, balansiran, udoban, fleksibilan, slobodouman, mekan, nežan nema razlike izmedju KANSEI stepena i date KANSEI reči Merenje KANSEI-rečnika skale prema obliku 1. korak 2. korak Standard je bio 5 intervala skale • Grupi subjekata sastavljene od 280 ljudi se pokažu slike oblika • da opišu svoja osećanja pridevima gledajući u svaku datu sliku • svi pridevi sakupljeni u koraku 1 su klasifikovani • prema njihovoj učestalosti korišćenja. Efekti veličine, boje, pratećeg efekta i spoljašnjeg okruženja su kontrolisani da izmere KANSEI skale za svaku sliku oblika ili linije • reči koje ne pokazuju osećanja ili nisu • demonstrativne reči se odstranjuju Druga grupa uzorka od 250 ljudi se koristi za merenje stepena KANSEI-a Deo prvog KANSEI-rečnika prema obliku raskošno analiziraodnose izmedju svih reči KANSEI rečnika i odnosa izmedju svakog oblika i njegovog odgovarajućeg KANSEI rečnika 100 75 50 25 0 Primer KANSEI-rečnika skale

  31. osobine svakog oblika usko povezane sa osećajnošću ljudi i odlučuju o razdaljini dimenzija medju rečima KANSEI rečnika ljudi iz grupe uzorka osetljiviji na oble oblike nego na druge oblike i osetili su slična osećanja prema datim oblicima KANSEI rečnik skale prema obliku

  32. Arhitektura i eksperimenti sistema povraćaja objekata Selektovana slika Ispitivanje (KANSEI rečnik) Interfejs Feedback u istraživanju Dokazni podaci KANSEI- rečnik skale oblika ispitivanje Agent istraživanja (Sličnost između oblika) Objekat otkrivanja Geometrijski oblik Slika postavljenog zadatka GVF zmija TSR

  33. uredno vraćamo slike po minimumu vrednosti zbog niže vrednosti, i veće sličnosti Eksperiment: Ispitivanje KANSEI rečnika Levi prozor Desni prozor Pojam :UDOBAN Zadatak: Povraćaj objekta koji je “Udoban” slika objekta sličnost koja koristi TSR izmedju F i I Rezultat detekcije kontura Rezultat originalne slike Razdaljina između F i V slika geometrijskog oblika Slike detekcije kontura Stopa zadovoljstva Korisnika zavisi od drugih faktora Slika je formirana kao vizuelna informacija po boji, obliku, teksturi i šemi

  34. Zaključci: • KANSEI rečnik skale se koristi za povraćaj slika prema nameri korisnika • Koristi se zaocenjivanje zadovoljstva korisnika prema obliku • U dizajnu proizvoda i proizvodnji proizvoda • U budućnosti : inteligentni povraćaj slika,znanja, informacija na osnovu ontologije osećajnosti

  35. Hvala na pažnji

  36. Sofisticirana strategija praćenja - SVR filter čestica SVR filtar čestica- poboljšani filter čestica

  37. S- OFH Ubacuje se u okvir za učenje Za obezbeđivanje kompaktnog Predstavljanja prostorne šeme bučnog optičkog protoka 1. Optičko polje se izvodi • Post- obradom ispravljanjem plutalasa • Izglađivanjem metodom “Gaussian” 2. Optičko polje se deliu komade • na osnovu odnosa između • pokretačkih delova tela i oblasti figure

  38. Osetljvost pratioca na buku, deformaciju igrača i pozadinsko zagušenje izazvano nejasnioblicima Podudaranje šablona SVR- filter čestica Postojeće metode Poboljšava učinak klasičnog Filtera čestica sa malim skupom uzoraka i dovoljno je izdržaljiv za ometanje u emitovanom snimku

  39. Jednom kad se video sekvenca stabilizuje, pokret u video emitovanju izazvan ponašanjem kamere može se smatrati otklonjenim. Ovo odgovara veštom kretanju kamermana koji zadržava figuru u pokretu u centru gledišta. Svaki zaostali pokreti u okviru ljudske centrične figure postoje zbog relativnog pomeranja različitih delova tela kao što su udovi, glava, torzo, i reket kojim igrač igra.

  40. Post obrada koja povezuje pozadinske piksele u oblasti Adaptivna metoda detekcije polja Detekcija piksela pozadine Rastuća tehnika oblasti Eliminiše buku i izglađuje graice Polje igre kao pozadina ljudske centrične figure

  41. Metode zasnovane na histogramu Za prostorno prepoznavanje PREDNOST • pružaju mnogo informacija koristeći • veoma kompaktne opise ako su dimenzije • histograma male Motivisana centralnom procenom gustine za distribuciju boje Grupa histograma optičkog toka zasnovanih na komadu (S-OFH). zapolje optičkog toka skup indeksa histograma povezanog sa vektorom optičkog toka f na lokaciji p i figuru Fi i=1, ....N gde je N ukupni broj figura verovatnoća skupa u=1,...,m u histogramu OFF je pod- polje optičkog toka u j-tom komadu, j=1,.....L i ovde je L=3 δ- Kronekerova delta funkcija C je constantan normalizacije se definiše k je konveksni i monotoni opadajući centralni profil

  42. tačnost prema iskustvu 1. Klasifikacija 2170 frejmova udaraca u dve katogorije radnje Eksperimentalni rezultati prepoznavanja u frejmovima 87.10 Netačno prepoznavanje ! Igrač objekat koji se deformiše i njegovi ekstremiteti se slobodno kreću tokom prikazivanja radnje. Ovo uznemirava regularnu distribuciju optičkog toka i učiniće da S- pogrešno obaveste o karakteristikama pokreta figure.

  43. Okvir koji odgovara pojavljivanju udaranja 56 radnji levih udaraca klasifikovano u dve kategorije 49  desnih udaraca metod zasnovan na audio modalitetima detektujemo udaranje lopte da bi locirali klip radnje na video snimku hitting point – tačka udarca biranje grupe frejmova u susednom prozoru pre tačke udaranja Konačna prepoznata kategorija radnje se odredjuje kao: je i-ti frejm u video klipu V Dužina prozora se odredjuje na osnovu iskustvuna 25 frejmova u eksperimentu: je ljudska centrična figura Reg(.) se odnosi na naš pristup prepoznavanju radnje.

More Related