Maschinelles Lernen und automatische Textklassifikation

1. Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten

2. Konzepte • Was ist ein Konzept? • Eigenschaft, Tatsache, ... die auf ein bestimmtes Objekt zutrifft oder nicht • C(x) = {0,1} • Binäre Klassifikation

3. Beispiel: SportTreiben

4. SportTreiben • Repräsentation: betrachte Vektor der Wettereigenschaften, SportTreiben wird durch +/- angezeigt: • <himmel,temperatur,feuchtigk,wind,wasser,vorhersage>,{+,-}

5. SportTreiben: Repräsentation • Hypothese h: • Konjunktion von Constraints Ci auf Attributen • Ci kann sein: • Spezieller Wert: Wasser = warm • Egal: Wasser = ? • Kein Wert erlaubt: Wasser = Ø • Beispiel: <sonnig,?,?,stark,?,stabil>

6. Typisches Lernen von Konzepten • Gegeben: • Instanzen X = mögliche Tage, die durch die Wetterattribute beschrieben sind • Zielfunktion c: SportTreiben : X -> {0,1} • Hypothesen H: Konjunktionen von Literalen, z.B. <?,kalt,hoch,?,?,?> • Trainingsbeispiele T: positive und negative Beispiele für die Zielfunktion: <x1,c(x1)>, ..., <xn,c(xn)> • Gesucht: • Hypothese h in H, so dass h(x) = c(x) für alle x in T

7. Grundannahme • Hypothese des induktiven Lernens • „Jede Hypothese, die die Zielfunktion auf einer hinreichenden Menge von Trainingsbeispielen approximiert, wird die Zielfunktion auch für neue Instanzen approximieren.“

8. Vergleich von Hypothesen • Betrachte Instanzen: • X1 = <sonnig,warm,hoch,stark,kalt,stabil> • X2 = <sonnig,warm,hoch,leicht,warm,stabil> • Und Hypothesen • h1= <sonnig,?,?,stark,?,?> • h2 = <sonnig,?,?,?,?,?> • h3 = <sonnig,?,?,?,kalt,?>

9. Allgemein - spezifisch • Def.: Seien hi und hk Hypothesen aus H, hj ist allgemeiner-oder-gleich zu hk (hj≥g hk) gdw für jedes x aus X gilt: hk(x) = 1 => hj(x) = 1

10. Simpler Lern-Algorithmus: Find-S • Grundidee: • Gehe von sehr spezifischer Hypothese aus, und „verallgemeinere“ diese sukzessive für jedes Trainingsbeispiel.

11. Simpler Lern-Algorithmus: Find-S • Wähle die spezifischste Hypothese h aus H • Für jede positive Trainingsinstanz x • Für jeden Attribut-Constraint ai in h: • wenn ai wird in h von x erfüllt, • Dann weiter, • sonst ersetze ai in h durch den nächst allgemeineren Constraint, der von x erfüllt wird • Ergebnis: Hypothese h

12. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>,

13. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+

14. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil>

15. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+

16. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil>

17. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,-

18. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil>

19. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil> • x4 = <sonnig,warm,hoch,stark,kühl,wechselhaft>,+

20. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil> • x4 = <sonnig,warm,hoch,stark,kühl,wechselhaft>,+ • h4 = <sonnig,warm,?,stark,?,?>

21. Bewertung Find-S • Kein Feedback, wann das Konzept tatsächlich gelernt wurde • Kein Feedback bei inkonsistentem Input (konvergiert nicht notwendig!) • Keine Toleranz gegenüber fehlerhaftem Input • Ergebnis ist immer die/eine maximal spezifische Hypothese, keine Beschreibung aller korrekten Hypothesen • Starke Abhängigkeit von H

22. Versions-Räume • Def.: Eine Hypothese h ist konsistent mit einer Trainingsmenge T für ein Zielkonzept c, gdw. für jede Instanz <x,c(x)> in T: h(x) = c(x) • Def.: der Versions-RaumVSH,T in Bezug auf eine Hypothesen-Menge H und eine Trainingsmenge T ist die maximale Teilmenge von H, die mit allen Instanzen in T konsistent ist.

23. „List-then-eliminate“-Algorithmus • Ziel: schränke den Versionsraum sukzessive ein • Vorgehen: • 1. Versions-Raum VSH,T = Menge aller Hypothesen • 2. für jede Instanz <x,c(x)> der Trainigsmenge T, eliminiere aus VSH,T diejenigen h aus H für die h(x) ≠ c(x) • 3. Ergebnis ist die Liste VSH,T

24. Repräsentation des Versions-Raums • Idee: repräsentiere den VS durch obere und untere Schranken bzgl. Der allgemeiner-oder-gleich Relation

25. Repräsentation des Versions-Raums • Def.: Die allgemeine Schranke G des Versions-Raums VSH,T ist die Menge seiner maximal allgemeinen Elemente (bzgl ≤g). • Def.: Die spezifische Schranke S des Versions-Raums VSH,T ist die Menge seiner maximal spezifischen Elemente (bzgl ≤g). • Jedes Element des Versions-Raums liegt zwischen diesen Schranken: • VSH,T = {hH| s  S und g  G: g ≥ h ≥ s}

26. „Candidate Elimination“ Algorithmus • Idee: statt VSH,T komplett zu durchlaufen, modifiziere in jedem Schrit S und G • Setze: • G = Menge der maximal allgemeinen Hypothesen in H • S = Menge der maximal spezifischen Hypothesen in H • Für jedes positive Trainingsbeispiel t: • Entferne alle mit t inkonsistenten Hypothesen aus G • Für jede Hypothese s in S, die nicht konsistent mit t ist: • Entferne s aus S • Füge alle minimalen Generalisierungen h von s hinzu, so dass • h ist konsistent mit t • Es gibt in G ein allgemeineres Element als h • Entferne alle Hypothesen aus S, die allgemeiner als andere Hypothesen in S sind

27. „Candidate Elimination“ Algorithmus • Für jedes negative Trainingsbeispiel t: • Entferne alle mit t inkonsistenten Hypothesen aus S • Für jede Hypothese g in G, die nicht konsistent mit t ist: • Entferne g aus G • Füge alle minimalen Spezialisierungen h von g hinzu, so dass • h ist konsistent mit t • Es gibt in S ein spezifischeres Element als h • Entferne alle Hypothesen aus G, die spezifischer als andere Hypothesen in G sind

28. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Frage: • <sonnig,warm,normal,stark, warm,stabil>,?

29. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Vorschlag: • <sonnig,warm,normal,stark, warm,stabil>,+ • Warum?

30. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Vorschlag: • <sonnig,warm,normal,stark, warm,stabil>,+ • Wegen: • <sonnig,warm,normal,?,?,?>

31. Grundannahmen • Hypothesen sind Konjunktionen von Constraints • Ohne Einschränkung: Hypothesen sind Disjunktionen, Konjunktionen oder Negationen über der Potenzmenge von X: • <sonnig,warm,normal,?,?,?>  <?,?,?,?,?,wecheselhaft> • Alternative Grundannahme: • klassifiziere x gdw. wenn x in T

32. Zusammenfassung • Lernen von Konzepten = Durchsuchen von Hypothesen • Hypothesen lassen sich nach Spezifizität bzw. Allgemeinheit anordnen • Versions-Raum = Menge der mit T konsistenten Hypothesen • Versions-Raum lässt sich charakterisieren durch obere und untere Schranken • Induktionsschritte nur möglich durch Zusatzannahmen bzgl H

33. Aufgaben • Wie groß ist der Hypothesenraum für das Lernbeispiel? • Prinzipiell gibt es mehr mögliche Funktionen, die die Zielfunktion approximieren können als H! Welche? • Was besagt die Annahme einer Konjunktion von Constraints? • Was ist die Konsequenz für die beschriebenen Verfahren ? • Was passiert, wenn man diese Annahme nicht macht? Wie groß ist dann der Hypothesen-Raum? • Wie sehen S und G in diesem Fall aus?