Szintaktikai elemzés - PowerPoint PPT Presentation

szintaktikai elemz s n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Szintaktikai elemzés PowerPoint Presentation
Download Presentation
Szintaktikai elemzés

play fullscreen
1 / 27
Szintaktikai elemzés
99 Views
Download Presentation
bryson
Download Presentation

Szintaktikai elemzés

- - - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

  1. Szintaktikai elemzés 2010. február 23.

  2. Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő

  3. Szintaktikai elemzés A mondat egységeinek azonosítása, a közöttük lévő szintaktikai kapcsolatok feltárása. Megközelítések: • alany, állítmány, tárgy … • konstituens fa (constituencyparsing) • függőségi nyelvtan (dependency parsing)

  4. Alkalmazás • Információ kinyerés, gépi fordítás A Kis Hal bt.-t felvásárolta a Nagy Hal kft. A Kis Hal bt. felvásárolta a Nagy Hal kft.-t. • Nyelvtani ellenőrzés

  5. Nyelvtan • „Egy nyelv elemei, szerkezete, törvényszerűségei” • 3 évesen tökéletes az anyanyelven • Implicit! • Iskolai nyelvtan?

  6. Konstituens fa • Szavak csoportjai (eredeti sorrendben) egységeket alkotnak • Az egységek osztályokba sorolhatóak amelyek külső és belső szempontokból jól definiáltan viselkednek. Például főnévi csoportok: én, a város, a piros labda, a tegnapelőtt vásárolt nagy kerek piros labda

  7. Konstituens fa S: mondat VP: igei csoport NP: főnévi csoport Egy példa a Szeged TreeBank-ből

  8. Strukturális többértelműség Láttam a lányt távcsővel. S VP NP

  9. Strukturális többértelműség Láttam a lányt távcsővel. S VP NP NP

  10. Környezetfüggetlen nyelvtanok (CFG) • Terminálisok: szavak • Nemterminálisok: konstituensek • Szabályok: baloldal egyetlen nemterminális

  11. Szintaktikai elemzés • Adott szabályok egy halmaza • S a gyökér • Minden szót fedjen le és csak azokat • Top-Down vs. Bottom-Up

  12. S NP VP Det N V NP Det N Bottom-Up elemzés a dog has a bone

  13. PCFG • Minden szabályhoz egy valószínűség (baloldalak feletti eloszlások) • Treebankből becsülhető • Strukturális többértelműség?

  14. Shift Reduce elemzés • Bottom – Up, backtrack nélkül • Verem segítségével dolgozik, O(n) • Shift: Leválasztja a mondat legbaloldalibb elemét, és a verembe teszi. • Reduce: A veremben lévő elemekre próbál szabályt illeszteni.

  15. Shift Reduce elemzés →| Step Action Stack Input 0 (start) the dog barked 1 shift the dog barked 2 reduce d dog barked 3 shift dog d barked 4 reduce n d barked 5 reduce np barked 6 shift barked np 7 reduce v np 8 reduce vp np 9 reduce s

  16. Shift Reduce tanulás Tanító halmaz alapján: • reduce szabályok generálása • szabályok közötti sorrend felállítása (mohó, valószínűségi) • akciók (S/R) alkalmazásának tanulása

  17. Megkötések ’hány -t’ – fitty ’hány -rA’ – szem ‘hány -nAk’ !?

  18. Fej azonosítása

  19. Függőségi nyelvtan • Irányított, bináris kapcsolat szavak közt • Minden szóhoz pontosan egy bemenő él (fa) • Kiindulási pont a főige Eltérés a konstituens fától: • Nincsenek frázisok, • nem csak az egymást követő szavak közti kapcsolatokat vizsgálja.

  20. Függőségi nyelvtan Különösen alkalmas szabad szórendű nyelvek kezelésére!

  21. Dependecia elemző tanulása • Tranzakció-alapú • Minden lépésben egy új él felvétele • Osztályozási probléma: • egyedek: szópárok • jellemzők: szavak, POS kódok • akció: új él behúzása vagy semmi • Gráf-alapú • Jósági függvény • Legjobb gráf megtalálása

  22. Gráf-alapú dependencia elemzés • Jósági függvény • Él szintű jósági értékek aggregáltja • Él szintű érték: gyerek és szülő, szavak és POS kódok • Paramétereinek megtanulása a tanító adatbázisból • Legjobb gráf megtalálása • Maximális feszítő fa • Dinamikus programozás

  23. Konstituens vs. függőségi nyelvtan Főige: robbed alany: the burglar robbed tárgya: the appartament

  24. Konstituens vs. függőségi nyelvtan • Melyiket? Alkalmazás-orientáltan… • függőségi nyelvtan könnyebben gépi tanulható • szemantikához közelebb áll a függőségi

  25. Szintaktikai elemzés jóságának mérése • Konstituens elemzés • Minden konstituenst hasonlítunk (címkézve vagy anélkül) • Egyes szavak őseinek sorozatát hasonlítjuk • Dependencia elemzés • minden szóra • ős és/vagy reláció típusának eltalálása

  26. Hol tart a világ? • Korpuszok • Konstituens alapú korpuszok (Penn TreeBank, Szeged TreeBank) • Ezek átalakítása dependenciára • Magyarra is folyamatban • Elemzők • Nyelvtől, jelölés mélységétől függ • ~75-85% (CoNLL 2007)