Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta Interact päätösdemo 12/12 2002

1. Kohti luonnollisempaa ihmisen ja koneen välistä vuorovaikutusta • Interact päätösdemo • 12/12 2002 Interact päätösdemo

2. Interact päätösdemo 13.30 Tervetuloa 13.35 Kristiina Jokinen: Interact-projekti 13.50 Markku Turunen: Arkkitehtuuri ja käyttäjätestit 14.00 Lauri Carlson ja Tommi Jauhiainen: Luonnollisen kielen prosessointi sekä korpusannotointi 14.10 Antti Kerminen: Dialoginhallinta 14.20 Kevin Hynnä ja Topi Hurtig: Interact-projektin laajennuksia: Activation-Based Recurrent Self-Organizing Map sekä Puhuva kartta 14.30 Kahvi 15.00 Demoesitykset (kysy ja kokeile) 15.45 Päätöskeskustelu Interact päätösdemo

3. Interact-projekti Kristiina Jokinen Taideteollinen korkeakoulu Medialaboratorio Interact päätösdemo

4. Tutkimusosapuolet: Taideteollinen korkeakoulu, Media Lab (koordinoija) Helsingin yliopisto, Kieliteknologian laitos Tampereen yliopisto, TAUCHI-yksikkö Helsingin teknillinen korkeakoulu, neuroverkkojen tutkimusyksikkö Tukijaosapuolet: Koko projektin ajan Arlainstituutti Fujitsu Invia oyj Kuurojen Liitto ry Lingsoft oy Tecnomen oyj TEKES Osan projektia Gurusoft oy Sonera oyj Tampereen teknologiakeskus Projektin konsortium Interact päätösdemo

5. Mitä? – Interact päämäärät • Suomenkielisen dialogijärjestelmän prototyyppiversion toteuttaminen • Luonnollisen puhutun kielen käyttö vuorovaikutustilanteissa • Adaptiivisten menetelmien soveltaminen Interact päätösdemo

6. Kuka? – Interact asiantuntijuus • Agenttipohjainen arkkitehtuuri (TAY) • Jaspis-kehitysympäristö • Käyttäjätestit • Kieliteknologia (HY) • Teksti- ja puhesyötös • Suomen kieli ja monikielisyys (viittomakieli) • Topiikin tunnistus (TKK) • Itseorganisoituvat kartat • Keskustelullisuus (TAIK) • Vuorovaikutusmallin kehittäminen • Adaptiivisuus Interact päätösdemo

7. 2000 2001 2003 2002 Interactin eteneminen 10/00 5/00 5/01 12/01 5/02 7/02 12/02 1/03 Tulevaisuus- työpaja Nodalida Alku USIX päivä SIGDial, Philadelphia USIX loppu- seminaari Loppu- demo Hello world! 1. integroitu järjestelmä 1. demo- järjestelmä Kahdenkeskinen projekti Fujitsu Invian kanssa Interact päätösdemo

8. Interactin tulokset 1/5 • Toimiva puhekielinen dialogijärjestelmä: HKL:n bussiaikatauluneuvonta • Luonnollisen kielen syötteet ja tulosteet (puhe ja teksti) • Joustava arkkitehtuuri ja järjestelmäalusta • Dialoginhallinta erillään tehtävänhallinnasta • Adaptiiviset menetelmät • Multimodaalisuuden huomioonottaminen • Alustavat käyttäjätestit Interact päätösdemo

9. Viinit, Iines Luokka A: Iines V ä kev ä t, Hannu Luokka B: Hannu Asiakas- Reititin, Oluet, Kerttu Luokka C: Kerttu luokitteluun perustuva kysely Muut: Iines Valitukset jne. Interactin tulokset 2/5 • Kahdenkeskinen projekti Fujitsu Invian kanssa • Reitityspalvelu: asiakkaan kysymyksen (puoli-) automaattinen reititys kysymyksen sisällön perusteella oikealle henkilölle • Helpottaa ja nopeuttaa help deskin työtä Interact päätösdemo

10. Interactin tulokset 3/5 • 120 dialogia käsittävä dialogikorpus • aidot keskustelut HKL:n neuvontapalvelun ja asiakkaiden välillä (tunnistetiedot poistettu) • Dialogikorpuksen annotaatiotyökalut • puheen transkriptio, analysointi, visualisointi Interact päätösdemo

11. Interactin tulokset 4/5 • Adaptiivisten menetelmien käyttö • WEBSOM-menetelmä • ARSOM-menetelmä • LVQ-menetelmä • Palauteoppimismenetelmä • Eri käyttäjäryhmien huomioonottaminen • Multimodaalisuus • Viittomakielinen helppi Interact päätösdemo

12. Interactin tulokset 5/5 • Tietotaito • agenttiarkkitehtuurin edelleen kehittäminen • dialoginhallinnan realisoiminen • suomenkielen puheentunnistuksen edistäminen • adaptiivisten menetelmien kehittäminen • korpusten keräys ja käsittely • puhekäyttöliittymien vuorovaikutteisuus • Yhteistyö neljän yliopiston kanssa Interact päätösdemo

13. Interactin julkaisut 1/2 Yleisesitykset Jokinen, K., A. Kerminen, M. Kaipainen, T. Jauhiainen, G. Wilcock, M. Turunen, J. Hakulinen, J. Kuusisto and K. Lagus (2002). Adaptive Dialogue Systems -- Interaction with Interact. Proc of the 3rd SIGDial Workshop on Discourse and Dialogue, Phildadelphia, US. Jokinen, K. (2001). Interact project. Elsnews 10.2:10 Arkkitehtuuri Markku Turunen and Jaakko Hakulinen. Agent-based Adaptive Interaction and Dialogue Management Architecture for Speech Applications. In Text, Speech and Dialogue. Proceedings of the Fourth International Conference TSD 2001 : 357-364. Turunen, Markku and Jaakko Hakulinen (2001). Agent-based Error Handling in Spoken Dialogue Systems. Eurospeech, Denmark. Luonnollisen kielen prosessointi Jauhiainen, Tommi (2001). Using existing written language analyzers in understanding natural spoken Finnish. In Proc of Nodalida '01, Uppsala, Sweden. Jokinen, K. and G. Wilcock (2001): Confidence-based Adaptivity in Response Generation for a Spoken Dialogue System. Proc of the 2nd SIGDial Workshop on Discourse and Dialogue, Denmark. Interact päätösdemo

14. Interactin julkaisut 2/2 Adaptiiviset menetelmät Bingham, E. J. Kuusisto and K. Lagus (2002). ICA and SOM in text document analysis. Proc of the 25th ACM SIGIR Conference on Research and Development in Information Retrieval, Tampere, Finland. Jokinen, K., T. Hurtig, K. Hynnä, K. Kanto, M. Kaipainen, and A. Kerminen (2001). Self-Organizing Dialogue Management. Proc of the 2nd Workshop on Neural Networks and Natural Language Processing, Natural Language Pacific Rim Symposium (NLPRS), Japan. Kaipainen, M., K. Jokinen, T. Koskenniemi and A. Kerminen (2001). Clustering dialogue knowledge with self-organising maps. In Proc of Nodalida '01, Uppsala, Sweden. Lagus, K. and J. Kuusisto (2002). Topic identification in natural language dialogues using neural networks. Proc of the 3rd SIGDial Workshop on Discourse and Dialogue, Philadelphia, US. Interact päätösdemo

15. Interaction manager Yhteinen Tietovarasto SS ASR Kielen tuottaminen Kielen ymmärrys Dialogin hallinta Topiikin tunnistus Tehtävän hallinta HKL data Demojärjestelmä Arabiasta keskustaan pääsee busseilla 68, 71, 71S, 73b... Interact päätösdemo

16. Arkkitehtuuri ja käyttäjätestit Markku Turunen Tampereen yliopisto TAUCHI-yksikkö Interact päätösdemo

17. Arkkitehtuurin yleiskaavio Interact päätösdemo

18. Jaettu tietämys • Kaikki keskeinen informaatio säilytetään yhteisessä tietovarastossa => yhteinen tietämys parametrien välityksen sijaan • kaikki järjestelmän komponentit voivat hyödyntää toisten komponenttien tuottamaa tietoa – keskeinen asia adaptiivisissa järjestelmissä (adaptiivisuus järjestelmän tasolla, ei pelkästään kokoelma adaptiivisia komponentteja) • esitysmuodolla on keskeinen merkitys, jotta tietoa saadaan hyödynnettyä => yhteisiä esitysmuotoja (esim. Annotation Graphs) Interact päätösdemo

19. Agentit, evaluaattorit ja managerit • agentit hoitavat erilaisia vuorovaikutustilanteita toteuttamalla vuorovaikutustekniikoita • evaluaattorit valitsevat kuhunkin tilanteeseen parhaiten soveltuvimmat agentit • managerit hoitavat koordinoinnin • tarjoaa joustavan pohjan hajautettuihin järjestelmiin, uudelleenkäytettäviin komponentteihin ja adaptiivisiin vuorovaikutusratkaisuihin Interact päätösdemo

20. Vuorovaikutuskomponentit Interact päätösdemo

21. Tekninen arkkitehtuuri • input/output: puhelinliittymä (Dialogic), mikrofoni, VAD (voice activity detector), tunnistinrajapinnat (Lingsoft, Philips), teksti, SMS, GUI, video • kommunikaatio: XML-RPC, sockets, funktiokutsut • hajautus: mahdollista kaikkien komponenttien osalta • tiedon esittäminen: XML-pohjainen perusratkaisu, tämän pohjalta käytetty standardeja esityskieliä: JSML (synteesi), Annotation Graphs (tunnistustulokset, muu lingvistinen informaatio) Interact päätösdemo

22. Käyttäjätestit • järjestelmää testattiin koekäyttäjillä laboratoriossa kesän 2002 aikana • tehtäväpohjainen lähestymistapa • iteratiivinen (8) kehitys, järjestelmää muutettiin jokaisen testikerran välillä löydettyjen ongelmien korjaamiseksi • erityisesti muokattiin tunnistimen kielioppia ja järjestelmän tulosteita • keskeisiä kysymyksiä virheiden hallinta, järjestelmän aloitteellisuus ja tulosteiden muoto Interact päätösdemo

23. Käyttäjätestien havainnot • käyttäjä toimii oletetusti => järjestelmä toimii • käyttäjät olivat usein epätietoisia järjestelmän tilasta, niukat tulosteet yhdessä virheiden kanssa voivat johtaa helposti väärinymmärryksiin • kieli poikkeaa ihmisten välisen keskustelun kielestä • käyttäjät adaptoituvat nopeasti järjestelmään • avustusta ei kuunnella • järjestelmää ei koettu hitaaksi: kognitiivinen kuormitus Interact päätösdemo

24. Käyttäjätestien johtopäätökset • järjestelmän tulosteet tulee olla mahdollisimman informatiivisia, palautetta antavia ja (implisiittisesti) konfirmoivia • myös yksinkertainen ja normaalista puhekielestä poikkeava kieli sallittava: [lähtöpaikka] arabia[sta], [tulopaikka] keskusta[an] • avustuksen oltava kontekstitietoista • järjestelmän on kyettävä ottamaan aloite: joustava malli joka tukee myös täysin järjestelmäaloitteellista vuorovaikutusta Interact päätösdemo

25. Vuorovaikutustekniikat 1/2 • kontekstina Interact -järjestelmä ja Tampereen Bussimies => eri lähestymistapojen testaaminen • luonnollisuus tulosteissa: alustavissa testeissä havaittiin, että noviisikäyttäjät preferoivat personallisia, luonnollisia tulosteita, mutta niillä ei ole merkittävää vaikutusta vuorovaikutukseen (muut seikat keskeisempiä) • joustava aloitteellisuus erilaisia dialogistrategioita käyttävien agenttien pohjalta => kohti täysin säädettävää aloitteellisuutta Interact päätösdemo

26. Vuorovaikutustekniikat 2/2 • eri kielioppien käyttäminen eri tilanteisiin (aloitukset, varmistukset jne.) => suurin hyöty kun aloite järjestelmällä ja erikoistilanteissa (virheidenhallinta) • yhteisten konseptien käyttäminen kielioppien generoinnissa, vastausten tulkinnassa, dialoginhallinnassa ja tulosteiden muodostamisessa => ei konflikteja • puoliautomaattinen kielioppien generointi => täysin automaattinen prosessi ei realistinen Interact päätösdemo

27. Luonnollisen kielen prosessointi sekä korpusannotointi Lauri Carlson ja Tommi Jauhiainen Helsingin yliopisto Kieliteknologia Interact päätösdemo

28. Interact päätösdemo

29. Testeistä ja puheentunnistuksesta • 35 keskustelua Praat-tiedostoina. • Vapaa kielioppi vs. rajoitettu kielioppi • Ihmisten keskusteluhalukkuus huomattavasti pienempi kuin ihminen-ihminen dialogeissa • Käyttöohjeiden antaminen puhelimitse hankalaa Interact päätösdemo

30. bussi 8.0% lähtee 5.0% koska 4.6% numero 3.8% seuraava 3.4% pääsee 2.5% on 1.5% millä 1.5% milloin 1.4% bussilla 1.4% joo 3.4% on 3.2% niin 2.9% se 2.9% mä 2.3% ja 2.3% tota 1.8% että 1.6% et 1.5% no 1.4% kone / ihminen Interact päätösdemo

31. ihminen - ihminen • bussi 0.3% • lähtee 0.2% • koska 0.08% • numero 0.03% • seuraava 0.03% Interact päätösdemo

32. Työn alla • Kielitieteen laitoksen automaattinen informaatiopuhelin • Yhteystiedot, opettajat, vastaanottoajat ja opetus • Järjestelmä pitää aloitteen itsellään • Joka alueelle oma kielioppinsa • Ongelma: taulukoiden esittäminen puheella Interact päätösdemo

33. Antti Kerminen Taideteollinen korkeakoulu Medialaboratorio Dialoginhallinta Interact päätösdemo

34. Hajautettu dialoginhallinta • Syötteen analysointi • Tehtävänhallinta • Päätöksenteko Interact päätösdemo

35. Konstruktiivinen dialogimalli • Dialogi on puhujien välistä yhteistyötä, jossa puhujien tarkoituksena on rakentaa yhteinen keskustelukonteksti tietyn tavoitteen saavuttamiseksi. • Dialogi kuvataan sarjana dialogitiloja: • Dialogiakti: kysymys, vastaus, ... • LVQ-luokittelijalla 94%:n tarkkuus (NLPRS-01) • Käsitteet: linja, lähtöaika, tulopaikka, ... • Jäsentäjältä, dialogitason analyysillä täydennettynä • Topiikki / fokus • Jäsentäjältä Interact päätösdemo

36. Päätöksenteko • Toiminnot toteutettu agentteina, jotka tietävät kuinka hyvin soveltuvat kuhunkin tilanteeseen • Toiminnot ovat yleisiä, keskusteluntutkimuksesta peräisin Interact päätösdemo

37. Päätöksenteko • Taustalla ajatus palauteoppimisen menetelmillä toteutetusta toimintojen arvioinnista: tilanteet ja toiminnot palautuvat suoraan palauteoppimisen vastaaviin Interact päätösdemo

38. Jatkokehitys • Yleisen sovelluskehyksen kehittäminen dialoginhallintaan • Optimaalisen dialogistrategian oppiminen palauteoppimisella Interact päätösdemo

39. Puhuva kartta Topi Hurtig Taideteollinen korkeakoulu Medialaboratorio Interact päätösdemo

40. Toiminnallisuus • Multimodaalinen karttakäyttöliittymä: • puhesyöte (mikrofoni) • elesyöte (kosketusnäyttö) • Puhesyöte pääosassa • Elesyöte: • 0-2 painallusta • täydentää puhesyötettä Interact päätösdemo

41. Syöte Milloin menee seuraava bussi tänne täältä? Interact päätösdemo

42. Tuloste • Bussi 59 menee Pasilaan kello 14:31. Interact päätösdemo

43. Syötteiden käsittely • Dialoginhallinta muodostaa syötteestä paikka-käsitteitä: • puhesyöte: [miten pääsen tänne täältä] [paikka2][paikka1] • elesyöte: [paikka1, pasila][paikka2, kulosaari] • Integrointikomponentti yhdistää tarvittaessa syötteet: • lopullinen syöte: [lähtöpaikka: kulosaari] [tulopaikka: pasila] • seuraavien komponenttien ei tarvitse tietää mistä syöte on peräisin. Interact päätösdemo

44. Hyödyt • Puheentunnistimen kuorma kevenee • Käyttäjä ei ole sidottu auditoriseen viestintään eikä näppäimistöön • Kysymyksien luonnollisuus ja nopeus Interact päätösdemo

45. Activation-based Recurrent Self-Organizing Map (ARSOM) : Implementing extensions to the dialogue system based on adaptive methodologies Mauri Kaipainen & Kevin Hynnä Taideteollinen korkeakoulu Medialaboratorio Interact päätösdemo

46. Developmental Lines of Research • Textual Data-Mining using SOM - e.g., WEBSOM - information storage and retrieval • Process Monitoring and Control - industrial applications in, e.g., pulp and paper mills, steel industry - fault detection and monitoring • Recurrent Neural Networks - e.g., Back Propagation - capture temporal patterns Interact päätösdemo

47. Activation-based Recurrent Self-Organizing Map (ARSOM) • captures sequential/temporal patterns and is able to model context effects, outperforming previous attempts to extend the inherently static SOM into the temporal domain • keeps track of the flow of information over the evolution of a dialogue • has a built-in ’look ahead’ mechanism which can serve as the basis of a decision-making engine • adaptive, flexible, not problem domain specific, yet produces robust and systematic behaviour Interact päätösdemo

48. Interact päätösdemo

49. Topiikin tunnistus • Krista Lagus ja Jukka Kuusisto, Teknillinen korkeakoulu • Topiikki = se mistä käyttäjä haluaa puhua • WEBSOM-metodin käyttö • topiikin mukaisesti järjestetty semanttinen avaruus • lausuman topiikki määräytyy topiikkikartalla sinä yksikkönä joka parhaiten vastaa lausumaa • Topiikkitietoa voidaan käyttää • puheentunnistajan ohjaamisessa • dialoginhallinnan päätöksenteossa Interact päätösdemo

50. DemoesityksetMedialaboratorio, 3krs Interact päätösdemo