Ra čunarska vizija

1. UNIVERZITET U ISTOČNOM SARAJEVU SAOBRAĆAJNI FAKULTET DOBOJ Računarska vizija Student: Savanović Sanja 185/10 Profesor: dr Milorad K.Banjanin

2. Računarska vizija je jedna od oblasti koje proučava vještačka inteligencija (Artificial Inteligence). Automatski analizira slike i video te određuje šta kompjuter “vidi” ili“prepoznaje”. (Margrit Betke) Predstavlja način kako da se rekonstruiše, tumači i razumije 3D scena od njenih 2D slika u pogledu svojstava objekata prisutni na sceni. (Robert Fisher, Ken Dawson-Howe2005.) Definicije

4. Interpretacija gestova ruku zasnovana na vidu za daljinsko upravljanje kompjuterskim mišem • Interfejs zasnovan na vidu za kontrolisanje kompjuterskog miša putem 2D i 3D gestova ruku. • Zavisno praćenje kamera, kombinovano sa detekcijom vrhova prstiju, olakšava definiciju jednostavnih a time i interpretirajućih riječnika gestova ruku. • Ovaj perceptivni interfejs koristi standardne web-kamere sa izdržljivim tehnikama gledanja i dozvoljava rukama korisnika da saberu hardver uređaje za pokazivanje u okvir WIMP paradigme .

5. 2D praćenje ruke • podržava praćenje više tačaka koji pokazuju određenu distribuciju boje na slikama dobijenim iz mogućnosti pokretne kamere • u svakom trenutku kamera dobija sliku na kojoj su detektovane odgovarajuće obojene tačke (tj.povezani skupovi piksela u boji kože). 3D praćenje ruku • koristi sistem stereoskopske kamere koji daje dva sinhronizovana video toka • Da bi postigli 3D rekonstrukciju polažaja ruke i kontura ruke, podudaranje između tačaka na ruci dvije stereo slike mora se ustanoviti (problem stabilnog braka)

6. Detekcijaprstiju • veomajevažno biti u mogućnosti identifikovati vrhove prstiju ruke • detekcija prstiju se obavlja procjenom nekoliko skala zakrivljenosti na tačkama kontura • Mjera zakrivljenosti predstavlja vrijednost koja se definiše kao: U s l o v a prevazilazi određeni prag za bar jednu od predviđenih skala, i D v a je lokalni maksimum u svom okruženju kontura

7. Slika 2. (a),(b) stereo par iz 3D eksperimenta praćenja ruke; tačke kontura ruke identifikovani kao prsti pojavljuju se kao crni kvadrati, (c) procjenjene 3D konture ruke.

8. Kontrola miša zasnovana na 2D gestovima ruku 2D gestovni rječnik uključuje statične gestove, tj.gestove u kojima informacija koja se prenosi leži u položaju ruke i prsta u određenom trenutku u vremenu. ruka pokazivač ruka za komandovanje • ruka za pokretanje pokazivača miša • prva ruka koje se pojavi u vidnom polju kamera sa jednim ispruženim prstom • ruka odgovorna za izdavanje određenih komandi • druga ruka koja se pojavi u vidnom polju kamere Jednostavnim pomjeranjem ruku van vidnog polja, mjenjaju se njihove uloge tokom rada sistema.

9. Instrukcije Aktivacija i deaktivacija kontrole miša obe ruke predstavljene sa pet ispruženih prstiju Pokretanje miša postiže se kroz pokretanje ruke pokazivača

10. Pritisni lijevo dugme miša komandujuća ruka pokazuje pet ispruženih prstiju Klik desnog dugmeta miša ruka pokazivač pokazuje pet ispruženih prstiju Dupli klik lijevog dugmeta miša komandujuća ruka pokazuje tri ispružena prsta

11. Kontrola miša zasnovana na 3D gestovima 3D rječnik traži gestove samo jedne ruke, sa izutekom slučaja aktivacije i deaktivacije kontrole miša na bazi gestova. Aktivacija i deaktivacija kontrole miša: implementria kao i u 2D rječniku, tj. detektovati deset prstiju ispruženih na obe ruke. Izbor ruke pokazivača: ruka pokazivač je ona koja je najbliža kameri. Pritisnuti lijevo gume miša. ruka pokazivač je ispružena kameri sa nijednim ispruženim prstom.

12. Otpustiti lijevo dugme miša: ruka pokazivač grubo povlači nazad do referntne razdaljine nakon gesta ‚‚pritiskanje lijevog dugmeta miša”. Klik lijevim dugmetom miša: implemetiran kao kombinacija gesta ‚‚ pritiskanje lijevog dugmeta miša” praćenog ‚‚otpuštanjem lijevog dugmeta miša”. Klik desnim dugmetom miša: ruka pokazivač ima pet ispruženih prstiju. Dupli klik lijevim dugmetom miša: slično kliku lijevim i desnim dugmetom miša, sa razlikom što ruka pokazivač ima tri ispružena prsta.

13. Eksperiment • Zadaci: • pokrenuti MS Paint aplikaciju • odabrati alatku-slobodnu olovku • izabarti određenu veličinu olovke, oblik i boju • napisati mali tekst na ekranu Rezultat eksperimenta primjenom 2D interfejs gestova • Zaključak eksperimenta: • 3D gestovi se lakše razumiju u poređenju sa 2D gestovima • prednost 3D skupa jeste što je potrebna samo jedna ruka da bi se ubravljalo mišem, a nedostatak 3D interfejsa jeste činjenica da je klik miša manje tačan u poređenju sa 2D gestom • korsinici su otkrili da interfejs zasnovan na 2D gestovima bolje reaguje i zato je mnogo bolji za korisnike

14. Reprezentativni video eksperimenta

15. Kontekstualne platforme Začetak ideje kontekstualnog računarstva nalazimo kod autora M.Weiser-a, koji uvodi pojam računarstvo svuda oko nas (ubiquitous computing) • Pojam kontekstualno računarstvouveli su Schilit, Adams i Want. • Po njihovoj početnoj definiciji, kontekstualno računarstvo omogućuje otkrivanjekonteksta, odnosno zaključivanje zasnovano na tri najvažnija aspekta: • Gdje jekorisnik • U čijem je društvu korisnik • Koji resursi su na raspolaganju korisniku

16. Da bi se pružila adekvatna usluga korisnicima, aplikacije i servisi se moraju automatski prilagođavati promjenama konteksta. Ovo prilagođavanje nazivamo kontekstualnost. • Pod stanjem entiteta, podrazumjeva se njegovatrenutna lokacija, • vreme, • trenutno obavljena aktivnost i željene postavke. Sistem, odnosno platforma, se smatra kontekstualnom ukoliko je u stanju da sazna, tumači i koristi informacije o kontekstu, u cilju prilagođavanja svoje funkcionalnosti tom kontekstu. Kontekstualnostomogućava prilagođavanje promjeni trenutnog stanja entiteta u okruženju: ljudi, mjesta, stvari i uređaja (Kwon, 2004).

17. ARHITEKTURA KONTEKSTUALNE PLATFORME Zajednička karakteristika većine apstraknih modela je slojevita arhitektura kontekstualne platforme, koja najčešće sadrži sledeća 4 nivoa: Nivo korisničkoginterfejsa Aplikativni nivo Srednji nivo Nivo mreže

18. OBLAST POTROŠAČKE ELEKTRONIKE Odnosi se naelektronske uređaje namjenjene svakodnevnoj upotrebi, u sferi zabave, komunikacije itd. Danas, uređaji potrošačke elektronikeobuhvataju mobilne telefone i tablete, MP3 plejere, TV prijemnike, digitalne fotoaparate i kamere.

19. Aplikacija Wakeup omogućava kreiranje naprednih scenarija jutarnjeg buđenja, korišćenjem postepenog uključivanja svjetla, uključivanjem omiljene muzike. Aplikacija Vocation omogućava simulaciju prisustva ukućana u domaćinstvu, tako što nakon aktiviranja, nastavlja da koristi TV, uključuje/isključuje svjetla i sl.

20. Hvala na pažnji!

21. Eksplicitan- kada korisnici unose informacije u sistem korišćenja korisničkog interfejsa koji je za to predviđena i koji je poznat korisnicima. Ovaj način interakcije najčešće se obavlja korišćenjem ekrana, često osjetljivih na dodir. N I V O K O R I S N I Č K O g I N T E R F E jsa Nivo korisničkoginterfejsaomogućava korisnicima da na određeni način saopšte ulazne informacije sistemu. Način interakcije korisnika sa kontekstualnom platformom može biti: Implicitan- kada se interakcija obavlja indirektno, bez nužne potrebe da korisnik zna interakciju.

22. Istražuje se primjena kontekstualnih platformi za rješavanje različitih problema današnjice. Najčešće oblasti primjene: A P L I KA T I V N I N I V O • inteligentna okruženja ( domaćinstvo, bolnica..) • virtuelni turistički vodiči (informacije o turistickom mjestu) • sistemi za trgovinu i marketing

23. Osnovna funkcija srednjeg nivoa je da prikuplja informacije o kontekstu sa svih dostupnih izvora, sortira i kategoriše te informacije, izvede zaključak o stanju i potrebama okruženja, te da omogući aplikativnom nivou da obavi željene akcije na osnovu pristupa zaključcima obavljenim od strane srednjeg nivoa. S R E D NJ I N I V O Srednji nivo zasnovan na agentima Srednji nivo zasnovan na metapodacima Adaptivni srednji nivo

24. Adaptivni srednji nivo zasniva se na mogućnosti srednjeg nivoa da prilagodi svoj rad u skladu sa parametrima kvaliteta informacija o kontekstu (QoC-quality of context). Prostorno porijeklo-lokacijska pripadnost entiteta za koji je vezana informacija o kontekstu posmatranoj lokaciji, odnosno udaljenost od nje. Stepen slaganja-odnosi se na dva odvojena konteksta, i ukljucuje mjeru u kojoj se informacije o kontekstu u tim konteksima podudaraju. Zastarijelost- relativno vrijeme proteklo od prijema najstarije informacije o kontekstu istog tipa koji se nalazi u bazi do prijema date informacije. Pouzdanost- kombinacija pouzdanosti izvora informacija o kontekstu. IV atrubuta

25. Srednji nivo zasnovan na metapodacima kao osnovu koristi metapodatke. Osnovno razmatranje u okviru realizacije kontekstualne platforme odnosi se na identifikaciju stanja konteksta, što se naziva semantizacijom. Metapodaci opisuju osnovne osobine korisnika, predmeta i pojava u okruženju, kao i skup pravila na osnovu kojih se izvode zaključci. Profili Polise Profilima se zadaju karakteristike, mogućnosti i zahtjevi vezani za korisnike, uređaje. Polise su pisane instrukcije na osnovu kojih kontekstualna platforma obavlja semantizaciju konteksta za druge upotrebe.

26. Srednji nivo zasnovan na agentima se sastoji od intelegentnih agenata koji nezavisno prikupljaju informacije o kontekstu sa mrežnog nivoa, zaključuju na osnovu tih informacija i skladište zaključke (znanje) u bazu podataka srednjeg nivoa. Ovaj posrednik upravlja bazom znanja i stara se o objavljivanju tog znanja svim zainteresovanim stranama. Većina realizacija srednjeg nivoa zasnovanog na agentima organizuje agente u zajednice, i posjeduje koncept posrednika između zajednica.

27. Senzorske komponente Fizički senzori Virtuelni senzori Logički senzori Logički senzori koriste informacije o kontekstu koje dolaze sa jednog ili više različitih izvora, i izvode zaključak na osnovu tih informacija.Osnova rada predstavljaju algoritmi na osnovu kojih se izvode zaključci višeg nivoa semantike. Ovi algoritmi su često zasnovani na obradi slike i zvuka.

28. Senzorske komponente Virtuelni senzori Logički senzori Fizički senzori NIVO MREŽE Ovi senzori predstavljaju zasebne uređaje koji prikupljaju fizičke parametre okruženja i obavještavaju kontekstualnu platformu o tim parametrima.

29. Senzorske komponente NIVO MREŽE Fizički senzori Logički senzori Virtuelni senzori obavljaju informacije o kontekstu sa strane različitih servisa ili aplikacija. Virtuelni senzori Ovo uključuje npr.analizu pokretnih aplikacija na računaru, zakazanih sastanaka u elektronskom kalendaru itd.

30. Tipovi fizičkih senzora u upotrebi

31. KORISNIKje osoba koja koristi kontekstualnu platformu, ali njeno korišćenje ili prisustvo ne utiče na zaključke kontinualne platforme.

32. Ovaj pojam obuhvata uređaje zasnovane na računaru čije je zaduženje da nam pomognu u svakodnevnom životu, ali tako da je korisnik u prvom planu, a ne uređaji, odnosno, uređaji moraju da budu neuočljivi za korisnika (Weiser, 1991).

33. Kvalitet informacija o kontekstu je pojam koji označava skup atributa pridruženih svakoj informaciji o kontekstu, a koji uslovljavaju kvalitet, odnosno upotrebljivost te informacije i ne zavise od konkretnog slučaja korišćenja.

34. Inteligentni agenti predstavljaju softver koji ima sposobnost da samostalno i bez intervencije korisnika izvršava postavljeni zadatak, a krajnjeg korisnika izvještava o završetku zadatka ili samoj pojavi događaja koji se očekuje.

35. Kontekst predstavlja mikrookruženje komunikacionih interakcija koje omogućava da se ocjeni značenje informacije ili poruke u interaktivnoj razmjeni. Kontekst predstavlja fizičko okruženje sistema i korisnika (vrijeme, aktivnost korisnika, osobine korisnika-pol, godine, zanimanje i sl.) kao i stanje korisnika ( psihičko i emocionalno stanje, omiljeni režim rada, uobičajne aktivnosti i sl.).

36. Vještačka inteligencija podrazumjeva proučavanje procesa razmišljanja kod ljudi. Bavi se proučavanjem tih procesa preko mašina (računara, robota). Konačan cilj VI je sagraditi mašine koje će oponašati ljudsku inteligenciju. VI bavi se oblikovanjem računarskih sistema koji pokazuju neki oblik inteligencije.Takvi sistemi mogu učiti , donositi zaljučke o svijetu koji ih okružuje, oni razumiju prirodni jezik te mogu obavljati druge vrste vještina za koje se zahtjeva čovjekov tip inteligencije.

37. WIMP paradigma (Windows, Ikone, Meniji, Poenteri-uređaji za pokazivanje) dominira većinom modernih grafičkih korisničkih interfejsa (GUI). predstavlja stil interakcije prema kom korisnik komunicira sa kompjuterom pomoću uređaja za pokazivanje koji se koristi za biranje komandi iz padajućih menija ili ikona na displeju ekrana koji odgovaraju unaprijed definisanim radnjama.

38. (a) (c) • ruka se pomjera prema CD plejeru • otvara pločicu • pomjera se prema CD-u • podiže CD i stavlja ga u otvoren prozor • zatvara pločicu i povlači se u svoju poziciju za odmor • Detektovani pikseli boje kože su ilustrovani bijelom bojom. • Kontura ruke je obilježena svijetlo plavom bojom (b) Slika 1. (a), (b) stereo par iz 3D eksperimenta praćenje ruke, (b) kompjuterska putanja ruke u 3D

39. PIKSEL Piksel (eng.pixel), izvedenica je od eng. "picture element" - što znači element slike. Piksel je naime, najmanji grafički element slike. Voksel (eng.Voxel, od reči volumetric i pixel, u prevodu zapreminski piksel) u trodimenzionoj grafici predstavlja najmanji deo trodimenzionog prostora neke scene, koji se može obrađivati ili prikazati.  voksel