Stochastische kontextfreie Grammatiken (SKFGn)

1. Stochastische kontextfreie Grammatiken(SKFGn)

2. Gliederung • Einführung • Definition • Anwendungen • Eigenschaften • Innen- / Außenwahrscheinlichkeiten • Trainingsalgorithmus • Schlusswort

3. Definition G = (V, N, N1, R, P) mit • Terminalalphabet V = {v1, . . . , vv} • Nichtterminal-Alphabet N = {N1, . . ., Nn} • Startsymbol N1 N • Menge kontextfreier Regeln R = {N i j} • Regelwahrscheinlichkeiten P : R  [0, 1] mit Normierung

4. S S NP VP VP NP N V PP V N PP P N fliegen fliegen P N mit socken fliegen fliegen mit socken c) S VNP PP VP NP P N V N mit socken fliegen fliegen Beispiel fliegen fliegen mit socken a) b)

5. Anwendungsmöglichkeiten • Baumwahrscheinlichkeiten • Produkt der Wahrscheinlichkeiten aller Regeln im Baum • Wahrscheinlichster Parsbaum für einen Satz • Wahrscheinlichkeit eines Satzes • Summe der Wahrscheinlichkeiten aller möglichen Parsbäume des Satzes • Erlernen von Regelwahrscheinlichkeiten

6. S S NP VP VP NP N V PP b) a) 0.1 V N PP P N fliegen fliegen 0.3 0.6 1.0 1.0 0.7 0.3 P N mit socken fliegen fliegen 0.7 0.3 1.0 1.0 0.7 0.7 1.0 0.4 0.6 mit socken c) 0.6 1.0 1.0 S 1.0 0.6 0.4 1.0 0.4 VNP PP 1.0 VP NP P N V N mit socken fliegen fliegen Beispielberechnungen

7. Nikl ... ... ... w1w2 wkwk+1 wlwl+1 wn-1wn - Notation Nikl • Oberer Index: Symbolzähler • Unterer Index: (überspannende) Position(en) im Satz • Nikl ist das i-te Nichtterminalsymbol der Grammatik und leitet den Satz von der Position k bis Position l her. (Niklwkl)

8. Kettenregel • Bedingte Wahrscheinlichkeit:

9. Unabhängigkeitsannahmen • Positionsunabhängigkeit: P(Njk(k+c)) ist gleich für alle k • Kontextunabhängigkeit: P(Njkl | irgendwas außerhalb k bis l) = P(Njkl) • Vorfahrenunabhängigkeit: P(Njkl|beliebiger Vorgänger außerhalb Njkl)=P (Njkl )

10. Orientierungsfolie • Einführung • Innen- und Außenwahrscheinlichkeiten (Inside/Outside-Probabilities) • Äquivalent zu Vorwärts-/Rückwärts- Wahrscheinlichkeiten für HMM‘s • Trainingsalgorithmus • Schlusswort

11. H 2 =Si H 1 3 t =Si H 3 t C 2 n T Innen- und Außenwahrscheinlichkeit • Analog zu Vorwärts- und Rückwärtswahrscheinlichkeit für reguläre Grammatiken • Rückwärts / Innen: • HMM: i(t)= P(wtn|St=si) • SKFG: j(k,l)=P(wkl|Njkl) • Vorwärts / Außen: • HMM: i(t)=P(w1(t-1),St=si) • SKFG: j(k,l)=P(w1(k-1),Njkl,w(l+1)n)

12. N1  Nj  ... ... ... wl w1 wk wn Innen- und Außenwahrscheinlichkeit j(k,l)=P(wkl|Njkl) j(k,l)=P(w1(k-1),Njkl,w(l+1)n)

13. Innenwahrscheinlichkeit • Ermitteln der Wahrscheinlichkeit eines Satzes mittels Innenwahrscheinlichkeit P(w1n) = P(N1 * w1n) = P(w1n|N11n) = 1(1,n)

14. Berechnung der Innenwahrscheinlichkeit • Initialisierung: • j(k,k)=P(wk|Njkk) =P(Njwk) • Für l>k : • Njkl Npkm Nq(m+1)l (k <= m <= l-1) • Summe aller Kombinationen von p,q,m: • j(k,l)=P(wkl|Njkl) • = p,q,mP(wkm,Npkm,w(m+1)l,Nq(m+1)l|Njkl)

15. Berechnung der Innenwahrscheinlichkeit j(k,l)=P(wkl|Njkl)

16. NP = 0.42 VP = 0.7 NP = 0.42 N = 0.6 V = 1 ßvP=0.7 P = 1.0 N = 0.4 S3 = 0.01176 S1 = 0.03024 S2 = 0.01512 Innenwahrscheinlichkeit am Beispiel S = 0.176 VNP = 0.29 S = 0.057 NP = 0.072 VP = 0.12 PP = 0.4

17. Außenwahrscheinlichkeit

18. N11n N11n Nphl Nphl Njh(k-1) Nqkl Nqh(k-1) Njkl ... ... ... ... ... ... ... ... wn wn w1 wk wl w1 wk wl wh wh Berechnung der Außenwahrscheinlichkeit • Initialisierung: • Berechnung aus höheren Konstituenten: • NphlNqh(k-1)Njkl; NpkmNjklNq(l+1)m j(k,l)=P(w1(k-1),Njkl,w(l+1)n)

19. Berechnung der Außenwahrscheinlichkeit

20. Orientierungsfolie • Einführung • Innen- und Außenwahrscheinlichkeiten • Trainingsalgorithmus • ähnelt HMM • verwendet Innen- Außenwahrscheinlichkeiten zur Schätzung der Regelwahrscheinlichkeit • Schlusswort

21. Trainingsalgorithmus (wie HMM) • Wähle Grammatik G0 als Ausgangshypothese • Iteration bis Wahrscheinlichkeiten der Trainingssätze sich nicht mehr ändern: • Schätze mit Hilfe der Inside-/Outside-Wahrscheinlichkeiten die Wahrscheinlichkeiten für die Regeln • Ersetze Gi durch neu gewonnene Gi+1

22. Berechnung der Regelwahrscheinlichkeiten Geschätzte Anzahl der Regelanwendung Geschätzte Wahrscheinlichkeit einer Regel Geschätzte Gesamtzahl der Anwendung von Regeln mit gleichem Nichtterminal

23. Schätzen der Anzahl der Regelanwendungen • Berechnung aus Summe für alle möglichen Konstituenten k..l des Satzes

24. Orientierungsfolie • Einführung • Innen- und Außenwahrscheinlichkeiten • Trainingsalgorithmus • Schlusswort • Eigenschaften und Bedeutung von SKFGn und Inside/Outside-Algorithmus

25. Bedeutung von SKFGn • Wahrscheinlichkeitsgrade für Ambiguitäten – probabilistisches Sprachmodell • Robustheit • Bewertung ausschließlich über Struktur, keine lexikalischen Abhängigkeiten (kontextfrei) • Kombinationsmöglichkeit mit n-Gramm-Modellen • Lernmöglichkeiten bei entsprechendem Korpus

26. Eigenschaften des I/O-Algorithmus • Komplexität O(m3n3) (n: Satzlänge, m: #NT) • Lokale Maxima; Initialisierung einflussreich • Mehr Nichtterminale zum Lernen benötigt als zur manuellen Beschreibung (experimentell: 3n) • Gelernte Grammatik widerspiegelt nicht unbedingt die natürliche Struktur der Sprache • Präterminale erhöhen Chance auf Erhalt der Struktur und vereinfachen das Schätzverfahren