Interaktiivisten Järjestelmien Tekniikan Suunnittelu

1. Interaktiivisten Järjestelmien Tekniikan Suunnittelu GAZE

2. Oulussa 24.4.2003 Tekijät: • Juha Hämäläinen • Juha Tuikkanen • Jari Koliseva

3. 1. Johdanto • GAZE = Katseohjaus • Nykyiset tiedonsyöttötavat perustuvat jonkin laitteen käyttämiseen • Katseohjaus käyttää ihmisen luonnollista käyttäytymistä tiedon syöttämiseksi • Useita sovelluskohteita: esim. käyttöliittymätestaus, langaton hiiri, manuaalit, sanakirjat jne.

4. 0 1 5 [deg] Foveal Parafoveal Peripheral 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät • Silmän rakenne ja käyttäytyminen - pupilli, iiris, verkkokalvo ja sarveiskalvo - näkökentän 3 aluetta: Foveal (1 aste ~ 1cm), Parafovea ja Peripheral - Fiksaatio - Saccade

5. 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät • Fyysiseen kontaktiin perustuvat menetelmät: - jännitemuutosten mittaus elektrodeilla - kontakti linssit

6. Bright pupil Corneal reflection 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät • Videokuvaukseen perustuvat menetelmät: - videokamera kuvaa käyttäjän kasvoja - kuvan siirto tietokoneelle, jossa kuvankäsittelysovellus etsii kuvasta toisen silmän ja arvioi silmän asennon - mitataan kahden eri kohdan liikettä, jotka liikkuvat toisiinsa nähden eri tavalla katseen absoluuttisen suunnan ja pään asennon muuttuessa

7. 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät • Videokuvaukseen perustuvat menetelmät - infrapuna videokamera (myös peilin kautta) - gazepoint - käyttäjän vapaa liikkuminen - auringonvalon ja fluorescenttien valojen käyttö heikentää tarkkuutta

8. 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijät • Kuka voi käyttää Gaze systeemejä - käytöllä ei ole muita kuin silmään liittyviä rajoituksia - kyky katsoa ylös, alas ja sivuille - kyky tarkentaa katsetta ja pitää sitä hetken paikallaan - lukukyvystä hyötyä - kyky muistaa asioita - toimii myös silmälasien kanssa

9. iEye projekti Tampereen yliopiston tutkimus. Tutkimus on tehty yhteistyössä saksalaisten, englantilaisten, italialaisten ja helsinkiläisten partnerien kanssa. Tässä tutkittiin mahdollisuuksia hyödyntää katseenseurantaa apuna kun mukautetaan ohjelman toimintaa käyttäjän toimenpiteitä vastaavaksi.

10. iEye projekti Päätavoite tutkia miten silmänliikkeistä saatavaa dataa voidaan käyttää parantamaan ihmisen ja tietokoneen vuorovaikutusta. Tutkimuksessa tehty sovellus iDict eli vieraskielisten tekstien lukemisen apuväline.

11. Miksi iDict? Tavoitteena apuväline, jonka avulla vieraskielisen sanan käännös tuodaan lukijan näyttöön ilman että niitä tarvitsee erikseen ohjata. Sen avulla saadaan vieraskielisten tekstien luku huomattavasti nopeammaksi ja tehokkaammaksi Laite toimii englannin, ruotsin, saksan ja suomen kielen käännöksissä. Esim. voit lukea saksaa ja haluta englanninkielisen vastineen ongelmasanalle. Käännöskieli valitaan ennen lukemisen alkamista.

12. Miksi iDict?

13. IDictin toiminta lukuprosessin kannalta mielenkiintoiset silmänliikkeet jakautuvat Fiksaatioihin ja sakkadeihin fiksaation aikana silmä pysyy paikallaan, ja sen aikana tapahtuu näköhavainnon siirtyminen hermojärjestelmään Sakkadit ovat siirtymiä fiksaatioista toiseen.

14. IDictin toiminta Ongelmakohtia syntyy sillä katseen pysähtyminen ei ole riittävä indikaattori. Fiksaatiot eri henkilöillä eri pituisia sanan pituuden kasvaessa katseen kesto pitenee miten yleinen sana on toimiakseen sovellukselta edellytetääntietoa siitä miten katse käyttäytyy tekstiä luettaessa, ja minkä tyyppisissä sanoissa ja rakenteissa esiintyy ongelmia. Nykyään E-Z Reader lukumalli

15. Olemassa oleva laitteisto täällä hetkellä tarkin laitteisto on projektiin osallistuvalla laitevalmistajalla SensoMotoric : lla laitteistossa pupillia seurataan infrapunavalolla ja kuvataan videokameralla lisälaitteiden hinta noin 300 000 mk

16. Kehityslaitteisto seuraa molempia silmiä pääripusteinen optiikka kaksi tietokonetta toinen ohjaukseen toinen aiheeseen näytteenottotaajuus 250 HZ Hyvin tarkka ¨0.5 - 1 astetta. Laitteen huonopuoli: Iso päähän ripustettava laite epämiellyttävä käyttää

17. Hankkeessa kehitettävä laite käytettävyyden kehittäminen on sovelluksen ydin. Katseenseuranta laitteita on olemassa( edellinen kalvo) kehitettävä laite silmälasien kokoluokkaa. Tampereen yliopisto suunnitellut siihen käyttösoftan kehittäjät arvioivat laitteen hinnan tippuvan alle 1000 markan kunhan laite tulee massatuotantoon

18. Hankkeeseen kehitetty laite toimintaperiaate: sama kuin muissa sovelluksissa kamera kuvaa silmää kahdesta pisteestä silmän asento kuvankäsittelyohjelmalla Tässä käytetty kuvaus tekniikka infrapuna videokamera peilin kautta informaatio tietokoneelle usb kaapelin kautta

19. Kehitetyn laitteen tekniset tiedot Kevit ja pieni (mukava käyttää) koko 21x21x25 mm paino 35 g kiinnitysalusta esim silmälasit Näytteenottotaajuss 50 HZ edellinen laite 250 HZ tarkkuus hieman huonompi kuin edellisessä n. 1 aste

20. Arkkitehtuuri

21. Projektiin aikataulu

22. Sovellutuksia

23. Smart-Nav

24. Smart-Nav • Täysin kädet vapaana tietokoneen kursoriohjaus • Merkkipisteen ja infrapunakameran avulla toteutttu

25. Toiminta • Infrapunavaloa lähetetään neljällä ledillä • Kameralla kuvataan ympäristöä • Kuvasta etsitään tietyntyyppistä heijastumaa • Lopullinen analysointi tapahtuu tietokoneella missä tieto yhdistetään kursorin ohjaukseen

26. Kameran katseohjattu tarkennus • Kamera tulkitsee kuvaajan katseen perusteella kohteen ja tarkentaa siihen

27. Toiminta • Kamerassa on 8 infrapunalediä • Niistä toimii tilanteesta riippuen 2-8 • Heijastuneesta kuvasta päätellään pupillin asento • Asennosta voidaan päätellä mihin kuvaaja katsoo etsimessä

28. Toiminta (2) • Kamera tarkentaa tähän havaittuun kohtaan • Heijastunut kuva tulee tietenkin samaa reittiä takaisin kameraan kuin kuvaajan katsekin, joten tarvitaan erikois linsejä välissä jotta erotellaan infrapuna heijastus normaalista valosta.

29. Lähteet • www.canon.com • www.naturalpoint.com • www.cs.uta.fi/hci/ieye