V Međunarodni simpozijum “TEHNOLOGIJA, INFORMATIKA I OBRAZOVANJE ZA DRUŠTVO UČENJA I ZNANJA”

1. V Međunarodni simpozijum “TEHNOLOGIJA, INFORMATIKA I OBRAZOVANJE ZA DRUŠTVO UČENJA I ZNANJA” Novi Sad, 19. i 20.06.2009. godine SIMETRIČNE KOMBINACIJE MULTI-MODALNIH INTERAKCIJA U INTELIGENTNOJ OKOLINI Dr Milorad K. Banjanin, redovni professor e-mail: banjanin@uns.ns.ac.yu Mr Goran Drakulić e-mail: drakulic@hotmail.com FAKULTET TEHNIČKIH NAUKA Novi Sad

2. ta definicija olakšava Ajnštajn „okolina je sve ono što nisam ja” U jednoj ili drugoj dimenziji okoline analizira se konvencionalni prostor sa reaktivnim, proaktivnim i koaktivnim interakcijama čoveka sa drugim sistemima (kompjuteri, automobili..) ili objektima Razlikovanje ambijentalne dimenzije okoline (kontekst) od dimenzije šireg okruženja Mi fokusiramo novu interakcionu paradigmu inteligentnogprostoraili ambijenta(AmI)u kome ljudi mogu voditi višestruke-multimodalne dijaloge sa objektimakoji imaju neke njihove osobine

3. Informacije obezbeđene iz jednog ili više (multi) izvora mogu se koristiti za rešavanje nejasnoća, prepoznavanje ili detekciju neizvesnosti, redukciju grešaka u sistemskoj interpretaciji korisničkih inputa i za korisničko razumevanje sistemskih outputa Objekti se ponašaju kao inteligentna okolina čiji se konverzacioni interfejs kombinuje sa stvarnim korisničkim interfejsom koji koristi situacioni kontekst Interakcije Interfejs predstavlja skup operacija koje definišu neko ponašanje Načini na koje objekti komuniciraju u cilju ostvarivanja očekivanog ponašanja i izvršavanja određenog zadatka mogu se predstaviti specifikacijom poruka koje međusobno prosleđuju Simetrična multi-modalnost sistema podrazumeva njegovu sposobnost da sve input metode može koristiti kao output metode, i obrnuto

4. Glavne komponente infrastrukture koje postoje u inteligentnoj okolini prodavnica uključuju mobilne uređaje, koji se koriste kao komunikacioni kanal, i kontejnere, npr. police, kolica i druga svojina prodavnice Raspoređena arhitektura MSA u inteligentnoj okolini prodavnice Simetrični multi-modalni dijalog sistemi kao SmartKom i MSA (Mobile Shop Assist) stvaraju prirodan doživljaj korisniku u obliku svakodnevne komunikacije čovek-čovek, dopuštajući korisnicima i sistemu da kombinuje iste spektre za inpute kao i za outpute Simetrična multi-modalnost podržava uzajamnu disambiguaciju modaliteta, kao i multi-modalnu ili unakrsni model deixis i anaphora rezoluciju MSA je demonstrator koji obezbeđuje bogatu simetričnu višestruku interakciju i mogućnost da korisnici vrše direktnu konverzaciju sa drugim sistemima ili objektima MSA predstavlja novu generaciju multi-modalnog dijaloga sistema koji posedujejednostavan način integracije i sinhronizacije, i pokriva ceo spektar dijaloga fenomena koji su povezani sa simetričnom multi-modalnošću

5. Uređaji u inteligentnoj okolini prodavnice

6. Multi-modalna interakcija u inteligentnoj okolinije zasnovana na 23 kombinacije sledećih modaliteta: govor, rukopis, intra i ekstra gestovi Modaliteti korišćeni za input i output inteligentne okoline prodavnice Modaliteti uključuju unimodal (samo govor) i multi-modal (govor i gestovi) kombinacije, kao i kombinacije sa preklapanjem i bez preklapanja modaliteta. Output intra-gestova za izabrane objekte ostvarljiv je crtanjem ivica oko svakog objekta, dok je output intra-gestova za izabrane osobine ostvarljiv osvetljenjem ključne reči sa vizuelnim WCIS tekst barom, pomeranjem preko donjeg dela ekrana displeja mobilnog uređaja, npr. PDA Output govora je predstavljen korisniku kao ugrađen uređaj za sintezu, koji omogućava manipulaciju glasovnim karakterima kao što su starost i pol Output jednak rukopisu je sistemski font prikazan na prethodno definisanom mestu displeja mobilnog uređaja, npr. PDA Output ekstra-gestova je omogućen kroz upotrebu promenjivog usmerenja projektora koji je osposobljen za stvaran odabir proizvoda postavljanjem proizvoda ispod reflektora

7. Pre nego što se interakcija raščlani, mora se prvo pretvoriti u jezik slobodnog-modaliteta, koji je formatiran u XML formatu i veoma je sličan W3C EMMA standardu Kod objekata sa ljudskim osobinama multi-modalni outputi mogu obezbediti vredne podatke za vreme reprodukovanja osobinai informacija o samom objektu, i dovoljno su fleksibilni za pružanje oba pri direktnoj interakciji Sistemi koji podržavaju multi-modalne interakcije kao što su: govor, rukopis, i gestovi, zahtevaju uspešno sredstvo za sjedinjenje interakcija u jedinstven nedvosmislen oblik, koji može biti savršen za sledeći modalitet u sistemu koji pronalazi komponente Inputi korisnika u multi-modalnim interakcijama u inteligentnoj okolini se obično sastoje od pojedinačnih osobina i jedne ili više referenci objekta

8. Nisu uključeni objekti koji su sastavljeni iz više delova, tj. inputi koji se preklapaju Simetrične kombinacije multi-modalnih interakcija u inteligentnoj okolini prodavnice Iz mogućeg opsega kombinacija modaliteta koji postoje kao inputi korisnikai outputi objekata sa ljudskim osobinama, kada se koriste modaliteti govor (S), rukopis (H), intra-gestovi (I), i ekstra-gestovi (E), za inpute su moguće sledeće kombinacije: SS, SH, SI, SE, HS, HH, HI, HE, IS, IH, II i IE Izlaz mora biti dosledan tačnim podacima u odgovorima za korisnike koji se dvoume, ali takođe i izabrana kombinacija modaliteta koja je korišćena za prikaz podataka Odgovoran za prepoznavanje i interpretiranje interakcija korisnika sa sistemom Odgovoran za kordiniranje izlaza za prezentacionu podršku korisnika

9. Strategija izlaza bez MSA koristi govor kao osnovni modalitet za predstavljanje objekata (O), osobina (F), i vrednosti (V) podataka Dopuna jezika je modalitet rukopisa koji je prvenstveno korišćen da predstavi korisniku trenutnu informaciju (O) i (F), a nakon kraćeg vremena i ne trenutnu informaciju (V) Gestovi se pored toga koriste da pokažu izabran (O) korisniku kao ne trenutnu informaciju, isključivo na PDA displeju ili kao ekstra-gestove preko projektora, ukoliko je to moguće Intra-gestovni izlazi za osobine (npr. naglašavanje ključne reči u WCIS tekstu) pojavljuju se samo kao trenutno vidljivi u tekstu Druge strategije izlaza uključuju npr.tačno ponavljanje modaliteta korišćenih za izlaze kao za outpute (oponašanje), definisan profil korisnika, ili profil koji ograničava posrednika na tip koji treće lice ne može primetiti (npr. rukopis, intra-gestove, i govorni izlaz kroz PDA preko slusalica), ili kada se ne zahteva mobilni uređaj – PDA (npr. govor serverske strane i ekstra-gestovi) Aktuelna strategija izlaza je upravo ona sa nekoliko mogućnosti. Na kraju INTERAKCIONOG DIJALOGA, korisniku će biti predstavljena ista informacija na dva načina (govor i rukopis) i deo modaliteta gestova

10. HVALA NA PAŽNJI Dr Milorad Banjanin