Prozódia a beszédben

1. Beszédfelismerés és szintézis Prozódia a beszédben Takács György Bárdi Tamás előadására építve

2. Tartalom • Ismétlés • Szegmentális és szupraszegmentális jellemzők • Hanglejtés • Hangsúly • Tempó, ritmus

3. Beszédhang -- Szegmentum • A legkisebb olyan egységek, amelyek sorozatával egy nyelvet megvalósító beszéd akármilyen részlete az agy számára reprodukálható, beszédhangnak nevezzük. • A beszédhangok a beszéd olyan szegmensei, részletei, amelyeket a nyelvet beszélő egymástól elkülöníteni és felismerni teljes biztonsággal képes. • A beszédhangok a nyelvre jellemzőek! • Egyes nyelvekben a hangmagasság hajlítása is megkülönböztet beszédhangokat. • Az élő beszéd olyan leírása, amely a beszéd hangzásának leírására törekszik – a fonetikai átírás. Ennek elterjedt rendszerei az APhI és a SAMPA.

4. A beszéd szerkezete • A beszéd egymástól megkülönböztethető elemek (SZEGMENTUMOK) szervezett időbeni egymásutánisága – soros szerkezet. • Elem lehet egy összefüggő mondanivaló, egy hosszabb szünetekkel elhatárolt beszédrész, egy mondat, egy szó, egy beszédhang. • Egy ötven beszédhangból álló nyelvben (leszámítva, hogy nem minden hang mondható egymás után) kb. egymillió különböző tíz hangból álló szó képezhető. • A beszéd szerkezete felülről gyakorlatilag nyitott, alulról zárt.

5. A fonéma • Egy nyelv fonémakészlete elemek olyan minimális számosságú halmaza, amelyből minden szó jelentéshelyesen, de csak egyféleképpen állítható elő • A fonémakészlet elemei a fonémák. • Az azonos fonémákat képviselő beszédhangok az allofonok.

6. A prozódia szó jelentése • Verstanban: az időmértékes és ütemhangsúlyos verselés tudománya • Zenében: a dallam és a szöveg illesztésének tudománya • A beszédfeldolgozásban: a beszéd szupraszegmentális akusztikai jegyeivel foglalkozó tudományág szupraszegmentális: több szegmentumon (több fonémán) átívelő jelenség

7. Prozódikus vagy szupraszegmentális jellemzők – az akusztikus megjelenés szempontjából • Intonáció: Hanglejtés. Az alapfrekvencia (F0) változtatásaival produkáljuk. A zöngétlen hangok nem játszanak szerepet a beszéddallam alakításában. • Hangerő: Elsősorban a tüdőből kiáramló levegő mennyiségével szabályozzuk. A hang intenzitásához kapcsolódik. • Ritmus: Időtartamok. Ide tartozik a beszéd sebesség, bizonyos szótagok vagy fonémák nyújtása, és a szünet. • Hangszín: Érzékelhető kommunikációs szerepe van, de hogy pontosan mi a hangszín, azt nehéz megfogalmazni, és még nehezebb mérni. Spektrális tulajdonság.

8. Prozódikus vagy szupraszegmentális jellemzők képzése • Ugyanazokkal a szervekkel képezzük. • A beszédhangokkal, szegmentumokkal egy időben képezzük. • A beszédszerveket működésekor ugyanazon agy vezérli akár a szupraszegmentális tényezők, akár a szegmentumok képzésénél.

9. Prozódikus vagy szupraszegmentális jellemzők – a jelentéshordozás szempontjából • Hanglejtés: „Dallamforma” • Hangsúly: A dallamforma, a hangerő és a ritmus együtteséből alakul ki. • Ritmus: beszédtempó változását, hullámzását és a szüneteket foglalja magába..

10. Megkülönböztetés prozódikus elemek segítségével • Egyszerű példa: jó Jó? Jó. • Összetett példa: az nem fontos kivel köt a tulajdonos szerződést Az nem fontos, kivel köt a tulajdonos szerződést. Az nem fontos. Kivel köt a tulajdonos szerződést? • A királynő mondta, a lovag egy szörnyeteg. • A királynő -- mondta a lovag -- egy szörnyeteg.

11. A magyar nyelv prozódiája • Magyar Nyelvi Beszédtechnológiai Alapismeretek - demo5.4 A magyar beszéd - Prozódia

12. A prozódia és az írás • Írásban a prozódiát írásjelekkel, időnként tipográfiai eszközökkel közelítjük. A kapcsolat azonban jóval kevésbé szoros vagy definiált, mint a betűk és az elhangzó fonémák között. • Példák:A bizottság elnöke Veres Lajos professzor lett.A bizottság elnöke, Veres Lajos professzor lett.Nem erre válaszoltam. Nem erre – válaszoltam.Van még időd? Van még időd!A tüntetések Bolognában illetve Rómában voltak. A tüntetések Bolognában – illetve Rómában voltak.

13. A beszéd agyi szerveződése • Aszimmetria:A bal agyfélteke dominál a beszédképzésben és megértésben. A jobb agyfélteke leginkább a beszéd zenei jellemzőivel foglalkozik, vagyis a prozódiával. • A beszéd jellemzően emberi jelenség:Az állatvilágban ismeretlen az agyféltekék ilyen aszimmetrikus szereposztása

14. Nyelvfüggőség - nyelvfüggetlenség • A beszéd prozódikus jelenségei nyelvről nyelvre másképp viselkednek, de vannak nyelvcsaládon belül, vagy néhány nyelvre érvényes szabályszerűségek • Univerzális szabályszerűségek: - Alapfrekvencia deklináció és terjedelem redukció - Hangerő csökkenés - Szavak csoportokba szervezése (frázis tagolás) - Szillabifikáció (szótagok képződése)A minden nyelvre érvényes szabályszerűségek gyaníthatóan biológiai okokból erednek. De pl. a szillabifikációnál vitatott, hogy van-e ilyen biológiai kényszer.

15. Alapfrekvencia lejtési trendés tartomány csökkenés Biológiai okok: légzés, crico-thyroid rendszer mechanikája

16. Fujisaki modell Forced-dumped oscillations:

17. Fujisaki modell 2

18. Hangerő csökkenés A légzésre visszavezethető.

19. Hangerő - hangzósság Azonos képzési erőhöz különböző mérhető hang intenzitás tartozik a különböző fonémáknál.

20. Hangerő megválasztása • A hangerő megválasztása elsősorban a fizikai és pszichikai „távolsághoz” igazodik. • Sok ember jelenlétében ezzel fejezzük ki, hogy mekkora körnek szól amit éppen mondunk. • A kisebb hangerő utal a tartalom bizalmasságára,a nagyobb távolságtartást jelezhet.

21. Lombard speech • Amikor nagy az alapzaj (mások is beszélnek) • Növekvő alapfrekvencia • Nagyobb hangerő • Hosszabb beszédhang időtartam • A kulcsszavak még kitartottabbak • Felfelé tolódó formánsfrekvenciák • Kifejezőbb arcmozgás

22. Szavak csoportokba szervezése Nem tudni biztosan, van-e biológiai oka.

23. Szavak csoportokba szervezése 2 Frázisok képzése: A prozódiai frázist jellegzetes hanglejtés minták zárják le, gyakran szünettel kiegészítve. Jellemzően emelkedő dallam zárja a nem mondatvégi frázisokat, jelezve hogy még folyt. köv. Prozódiai mondat: Tipikusan levegővételtől levegővételig tart. Általában eső alapfrekvencia zárja a mondat többi részénél mélyebb értéken. Szinte mindig van utána szünet.

24. Szillabifikáció Még kevésbé tudni, van-e biológiai oka.

25. A prozódia szerepe a beszédben • Az élő beszédet hallgatni, értelmezni nehéz munka.Ezt lehet megkönnyíteni a beszéd értelemszerű tagolásával és a hangsúlyozással. • Szerepe a nyelvben:- szemantika: tonális nyelvekben- szintaktika és pragmatika: minden nyelvben • Jellemzően prozódikus eszközökkel fejezi ki a beszélő érzelmi állapotát, hangulatát, indulatait.

26. Tonális nyelvek A tonális nyelveken a dallam lexikális információt hordoz. Ezekben ugyanaz a fonéma sor más-más szót jelent különböző dallammal kiejtve. Tonális nyelvek pl. a kínai (mandarin), kantoni, tibeti, vietnami, thai Egy példa vietnamiból: Mandarin kínai szótagtípusok:

27. Hangsúlyozás • Mi a hangsúly?Az a szótag hangsúlyos, amelynek a képzésébe érezhetően több fiziológiai erőt fektetünk, mint a szomszédaiba. • Hangsúlyok hatóköre:ütemhangsúly, szakaszhangsúly, mondathangsúly • Hangsúlyok szerepe:A mondanivaló fontos részeinek megjelölése.Topic-comment megkülönböztetés. A figyelem felkeltése mikor a korábbiakhoz képest újat mondunk. • Érzelmi hangsúlyok: az értelmieket gyakran felülírják.

28. Prozódia a beszédtechnológiában • Beszéd szintézis:Ma már a jó minőségű TTS rendszereknél elvárás, hogy (közel) természetesen hangzó intonációval és ritmussal beszéljen. Az automatikus hírolvasók még hangsúlyozni is elfogadhatóan tudnak.Új törekvés: Expressive Speech Synthesis • Felismerés prozódia alapján (ez még gyerekcipőben van):Kérdés-válasz megkülönböztetés, mondathatárok megállapítása, érzelmi állapot felismerése. • Dialógus rendszerek:Itt mindkét irány kéne. Elsősorban azt kéne jelezni és észrevenni, hogy mikor kinek kell átvenni a szót (turn taking prosody).

29. Prosody in TTS • Újabb megközelítés:text-to-speech helyett concept-to-speechehhez megfelelő markup language bemenet kell

30. Szimbolikus prozódia • Tones and Break Indices (ToBI)