1 / 29

Beszédtechnológia - A multik – és a többiek lehetőségek és korlátok

Beszédtechnológia - A multik – és a többiek lehetőségek és korlátok. Németh Géza BME Távközlési és Médiainfor matikai Tanszék Beszédkommunikáció és Intelligens Interakciók Laboratórium nemeth@tmit.bme.hu. Á ttekintés. Mi is a beszédtechnológia? Miért fontos általában?

kristy
Download Presentation

Beszédtechnológia - A multik – és a többiek lehetőségek és korlátok

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Beszédtechnológia - A multik – és a többiek lehetőségek és korlátok Németh Géza BME Távközlési és Médiainformatikai Tanszék Beszédkommunikáció és Intelligens Interakciók Laboratórium nemeth@tmit.bme.hu

  2. Áttekintés • Mi is a beszédtechnológia? • Miért fontos általában? • Miért fontos a magyaroknak? • Történeti áttekintés • Friss eredmények • Erőforrások • Kutatási kihívások • Alkalmazási kihívások

  3. Mi is a beszédtechnológia? A természetes beszédlánc bármely elemének gépi megvalósítása (interdiszciplináris tudomány) }

  4. Miért fontos általában? • Nyelv <> szöveg • A nyelv kifejezésének a beszéd az alapvető modalitása • A leghatékonyabb • Siketnémák <> vakok • Bizonyos helyeztekben (járműben, gyártás során, …) a kedvelt kommunikációs csatorna • „Big data” forrás (természetes, valódi, …)

  5. Miért fontos általában? Beszédtechnológiával kapcsolatos [Gartner hype-cycle on Emerging technologies July 2012]

  6. Miért fontos a magyaroknak? • Különleges a nyelvünk (ragozó, szabad szórend) • Extra befektetés – Közepes piac (73. a világon [Ethnologue]) • Érdekli a multikat (Google, Nuance, …) de • Testreszabott, kiváló megoldások drágák <> „justsufficienteffort” • Prominens résztvevők • Maróth Miklós (alelnök, MTA, nyelvész); • Gróh Gáspár (Áder János köztársasági elnök megbízásából, közíró); • Kelemen Csaba (fővh, ICT fejlesztés, Németh Lászlóné miniszter köszöntője, NFM); • Csizmadia Norbert (tervezéskoordinációért felelős államtitkár, NGM); • L. Simon László (kultúráért felelős államtitkár, EMMI); • Hoffmann Rózsa (oktatásért felelős államtitkár, EMMI) írásos köszöntője; • Bába Iván (közigazgatási ügyekért felelős államtitkár, KülügyM); • Korányi László (kül- és belkapcsolati elnökhelyettes, villamosmérnök, NIH)

  7. Történelem közlekedés és beszédtechnológia • 1791 • 2012

  8. Kempelentől napjainkig Kempelen Farkas 1791 HungaroVox 1982 MultiVox 1986-2002

  9. Kempelentől napjainkig Voder 1939 Dectalk 1982

  10. Kempelentől napjainkig ProfiVox diád 1995- ProfiVox triád 2000- ProfiVox korpusz 2002- ProfiVox HMM 2005-

  11. Kempelentől napjainkig AT&T 2011 (US English) AT&T 2011 (German) Nuance (Loquendo) 2011 (US English) Nuance (Loquendo) 2011 (German)

  12. Mi hozta ezt el? A szabály-alapú modellek (artikulációs csatorna, prozódia) helyett Természetes elemek egyre nagyobb halmaza statisztikai modellépítés minimális jelfeldolgozás Egységes(re törekvő) kiértékelés

  13. Mi hozta ezt el?

  14. Mi hozta ezt el? Blizzard Challenge (http://festvox.org/blizzard)

  15. Nyelvtechnológiai illusztráció Translate.google.com You can not choose the lump-sum tax of the entity, the tax identification number of the tax authority, within two years prior to the application of law suspended or canceled. Webforditas.hu The undertaking the tax number of which the inland revenue office suspended validly inside the two years preceding the announcement may not elect the itemized tax or deleted it.

  16. Nyelvtechnológiai illusztráció Fordítandó: Nem választhatja a tételes adót az a vállalkozás, amelynek adószámát az adóhatóság a bejelentést megelőző két éven belül jogerősen felfüggesztette vagy törölte.

  17. A Microsoft friss eredményei http://www.element14.com/community/community/news/blog/2012/11/14/microsofts-live-speech-translator-your-voice-in-other-languages

  18. A magyar nyelvű beszédtechnológia eredményei MailMondó Westel BME TMIT 1999 T-Mobile Freedom BME TMIT 2002 Scientific Informatika a Látássérültekért Westel BME TMIT 2003 T-Mobile MIT Systems Digital Natives BME TMIT 2008 AITIA MonSpeech Vodafone Montana, AITIA, 2012 BME TMIT, MTA Nytud

  19. Elérhető erőforrások • Világszínvonalú nyelv- és beszédtechnológiai együttműködő K+F kapacitás (www.hlt-platform.hu) • Cégek (AITIA, Morphologic, Nextent, … ) • Nemzetközi hálózatok • Hiányoznak a nagy ipari K+F központok • Hiányzik a fókuszált (kormányzati) odafigyelés, a minőségi elvárások META-NET

  20. Kutatási kihívások1 • Pontos referencia beszédfeldolgozási infrastruktúra (platform) • Spontán interakciók feldolgozása • Elégséges (?) adat gyűjtése és annotálása • Finanszírozás nélküli nagy projektek (pl. U-STAR) • Szabály-adatvezérelt kombináció • Cognitive Infocommunications • Cognitive Robotics • Eto – communications • Életközeli alkalmazások

  21. Kutatási kihívások2 A rejtélyes völgy - „uncanny valley” elkerülése

  22. Alkalmazási kihívások 1 • A 15-69 éves magyar lakosok 62%-a internet felhasználó • Mi legyen a többiekkel (38%)? • Információs akadálymentesítés ??? • A beszédtechnológia segíthet (magyarorszag.hu, 112, MÁV, BKV, Volán) • Példák: www.gyogyszervonal.hu, www.metnet.hu • Alkalmazások fogyatékosoknak • Képernyő olvasó vakoknak • Elektronikus hozzáférés írott anyagokhoz • Példák: www.robobraille.org, VoxAid

  23. Alkalmazási kihívások 2 • Beszédtechnológia az oktatásban • „Játékok” óvodásoknak és iskolásoknak • Példa: GOH hallásvizsgálat 3 éveseknek • Interaktív multimodális oktatási anyag • Kisebbségi helyzetű magyar gyermekek motiválása • Afáziás, autista, stb. támogatása

  24. Alkalmazási kihívások 3 • Beszédtechnológia az egészség iparban • Műtétek automatizálása (utasítások, jegyzetelés) • Leletek diktálása • Hang alapján gége problémák, depresszió, stb. korai diagnózisa és rehabilitációja • Táv(fel)ügyeleti alkalmazások (pl. gyógyszer bevétel figyelmeztetés, ablak zárás, stb.) • Demencia, Alzheimer, … felügyelete

  25. Alkalmazási kihívások 4 • Beszédtechnológia a tartalom- és a kreatív iparban • Interdiszciplináris integráció • Beszédtechnológia – orvosok – szociális munkások képzése (pl. IBM –kormányzat) • Digitális közoktatás és intelligens otthon program ( pl. Microsoft – kormányzat) • Multi-modális tartalomelemzés (közvélemény kutatás) • Bankok, kisker., információs szolgáltatások • Car infotainment (Audi, Daimler – kormányzat) • Beszédvezérelt otthon • okostelefon, okosTV • okos mosógép, ……

  26. Alkalmazási kihívások 4 • Beszédtechnológia a tartalom- és a kreatív iparban • Interdiszciplináris integráció • Beszédtechnológia – orvosok – szociális munkások képzése (pl. IBM –kormányzat) • Digitális közoktatás és intelligens otthon program ( pl. Microsoft – kormányzat) • Multi-modális tartalomelemzés (közvélemény kutatás) • Bankok, kisker., információs szolgáltatások • Car infotainment (Audi, Daimler – kormányzat) • Beszédvezérelt otthon • okostelefon, okosTV • okos mosógép, ……

  27. Alkalmazási kihívások 5 • Beszédtechnológia a gyártásban • Raktár-logisztika automatizálás • Gyártásközbeni információ, figyelmeztetés • Beszéd utasítások • Beszélő gépkönyvek • 3DICC 3D Internet Based Control and Communication

  28. Mélyebb érdeklődőknek: http://speechlab.tmit.bme.hu/ http://magyarbeszed.tmit.bme.hu/ Köszönjük az támogatását. (Teleauto, BelAmi, EtoCom -TÁMOP-4.2.2-08/1/KMR-2008-0007- , BME Kutatóegyetemi -TÁMOP-4.2.1/B-09/1/KMR-2010-0002- , CIP CESAR, AAL PAELIFE projektek) Hozzászólások

More Related