Die Information Bottleneck Methode

1. Die Information Bottleneck Methode Theoretische Informatik Seminar E Neumann Gerhard, 16.05.02

2. Gliederung des Vortrags • Wiederholung • grundlegenden Begriffe der Informations- und Wahrscheinlichkeitstheorie • Teil 1: Berechnung der Rate Distortion Funktion • Langrange Verfahren • Blahut-Arimoto Algorithmus • Rate Distortion Theorie

3. Gliederung des Vortrags • Teil 2: Die Information Bottleneck Methode • Idee • Berechnung mittels Langrange Verfahren • Iterativer Algortihmus • Teil 3: Clustering Algorithmen (mit Bezug auf IB) • Deterministic Annealing • Agglomeratives Clustering

4. Wiederholung: Wahrscheinlichkeitstheorie • Conditional Probability: • Produktregel: • Summenregel (Randverteilungen)

5. Wiederholung: Wahrscheinlichkeitstheorie • Bayes Theorem: • Markov Kettenregel: • Falls: also • Dann gilt:

6. Wiederholung: Informationstheorie • Informationsgehalt: • Entropie: • Conditional Entropy

7. Wiederholung: Informationstheorie • Joint-Entropy: • Kettenregel • Kullback-Leibler Divergenz • „Distanz“ zwischen 2 Verteilungen • Axiome: i.d.R

8. Wiederholung: Informationstheorie • Mutualinformation: • Wichtiger Zusamenhang • Andere Axiome

9. Teil 1: Rate Distortion Theorie • Grundaussage: • ... Kodeword • ... Zuordnungswahrscheinlichkeit • D ... Maximal gewünschte Distortion • ... Distortionfunktion (Fehler von ) • ... Erwartete Distortion: • Relevanze der Daten durch Distortion gegeben

10. Rate Distortion Theorie • Berechnung der Rate Distortionfunktion • Minimierungsaufgabe über : • Unter der Nebenbedingung: • => Langrange Verfahren

11. Wiederholung: Lagrange Verfahren • Definition (mit Gleichungsrestriktionen) • Optimiere • Unter den Nebenbedingungen • =>Menge der zulässigen Vektoren • Schnittpunkte aller durch die Nebenbedingungen gegebenen Kurven

12. Geometrische Betrachtung • Im 2-dimensionalen Fall mit 1 Nebenbedingung Höhenlinien von f(x,y) Kein Max. Maximum : Kurve h wird von Höhenlinie tangiert h(x,y) = c

13. Langrange Verfahren • Erkenntnisse aus geometrischer Betrachtung: • Gradient der Funktion und der Kurve h(x,y) = c müssen in die gleiche (bzw. entgegengesetzte) Richtung zeigen. • => • Resultierender Langrange Ansatz • Optimierbar mittels Nullsetzen des Gradienten

14. Langrange Verfahren (Gleichungsrestriktionen) • Verallgemeinerung für den n-dimensionalen fall mit m Nebenbedingungen • Ansatz: • Gleichungen: • Vorteil: Einfache Optimierung (grad(L)=0) • Nachteil: Einführen von m ( ) neuen Unbekannten

15. Lagrange Verfahren mit Ungleichungen • Definition (mit Ungleichungsrestriktionen) • Optimiere • Unter den Nebenbedingungen • Bei Maximierung: • Bei Minimierung

16. Geometrische Betrachtung • Im 2-dimensionalen Fall mit 1 Nebenbedingung Höhenlinien von f(x,y) Richtung von Gradient von f wichtig: Bei Maximierung aus der Menge heraus,bei Minimierung in die Menge hinein. =>Langrange Multiplikator immer positiv!! g(x,y) < b Maximierungsbereich g(x,y) > b Minimierungsbereich

17. Langrange Verfahren (Ungleichungsrestriktionen) • Verallgemeinerung für den n-dimensionalen fall mit k Nebenbedingungen • Ansatz: • Gleichungen: • Zusätzliche Einschränkungen bzw.

18. Minimierung der Rate Distortion Funktion • Minimierung bezüglich • Nebenbedingung: • Vereinfachter Langrangeansatz

19. Minimierung der Rate Distortion Funktion • 2. Nebenbedingung • Einsetzen der Definitionen Mutual Information Distortion Normierungsterm

20. Ableitung bezüglich einer Wahrscheinlichkeitsverteilung • Nullsetzen des Gradienten: • Ableitung bezüglich • Betrachtung von als normale Variable (nur für ein bzw. x) • Einsetzen von bekannten Formeln der Wahrscheinlichkeitstheorie um auf die Form zu kommen

21. Lösung der Langrange Funktion: konsistente Gleichungen • Probleme: • Lösung nur für ein , optimales nicht bekannt. • Langrange Multiplikator für eine bestimmte Distortion D unbekannt.

22. p*(x) unbekannt: Lösung 1 ^ • Mit p(x) Multiplizieren und über alle x aufsummieren. • => • Für jedes Codewort x eine Gleichung, wenn dann SEHR schwierig lösbar. ^

23. B A p*(x) unbekannt, 2. Lösung ^ • Algorithmus in der Geometrie • Abwechselndes Minimieren eines Abstandes mittels 2 Variablen, die sich in convexen Mengen befinden.

24. Blahut-Arimoto Algorithmus • Benötigt werden: • 2 Variablen, welche Abstand minimieren: • Abstandsmaß: • Minimierung bezüglich • => Langrangeverfahren • Minimierung bezüglich • =>Minimiert Randverteilung I ?? • Convexe Mengen von Wahrscheinlichkeitsverteilungen

25. Convexe Mengen von Verteilungen • Definition von convexen Mengen: • Bei Wahrscheinlichkeitsverteilungen: • Für jedes Erreignis xi wird ein Intervall von Wahrscheinlichkeiten festgelegt

26. Minimierung bezüglich p(x) ^ Wird minimiert wenn ... Randverteilung

27. Blahut Arimoto: Iterative Gleichungen • Abwechselnde Optimierung über und • Iterative Gleichungen • Konvergiert zum globalen Minimum • Keine Regel für die Codewords bzw.

28. Bedeutung des Langrange Multiplikators • Nicht (oder nur schwer) berechenbar für eine gewünschte Distortion • Bestimmt Steigung der R(D) Kurve: • Durch Variieren von kann die R(D) Kurve bei genügend grossen durchlaufen werden • Besondere Werte: • : Codealphabet kollabiert zu einzigen Codeword • : ,Distortion geht gegen 0

29. Bedeutung des Lagrange Mutliplikators • SoftMax Verfahren • Bei Erhöhung von Beta werden mit kleiner Distortion bevorzugt. • Durchlaufen der R(D) Kurve

30. Zusammenfassung: Rate Distortion Theorie • Liefert Optimale Rate für gegebene Distortion • Distortion Funktion FREI wählbar • Blahut-Arimoto Algorithmus: • Durchlaufen der R(D) Funktion mittels des Lagrange Multiplikators. • Relevanz der Information wird nur über die Distortion spezifiziert

31. Teil 2 :Die Information Bottleneck Methode • Idee: Komprimierung mit Bezug auf Relevanz der Daten • Relevanz gegeben durch eine andere Variable • Zusätzlich gegebene Verteilung: • Ziel: Komprimiere X und erhalte dabei die meiste Information von Y • minimieren • maximieren

32. Langrange Ansatz der I.B.M. • Geometrische Betrachtung: Minimierung von f(x,y) und Maximierung von g(x,y): Beobachtung : => gleicher Langrange Ansatz -grad(f) grad(g) {x*}

33. Langrange Ansatz der I.B.M. • Vereinfachte Langrange Funktion: • Bedeutung von beta: • Tradeoff zwischen Kompression und Erhaltung der relevanten Daten • siehe Rate Distortion Theory

34. Lösung der Langrange Funktion • Formale Lösung

35. Vergleich zu Rate Distortion Theorie • Lösung der Rate Distortion Theory • Lösung der Information Bottleneck Method • =>

36. Bedeutung der Distortionfunktion • Der begangene Fehler ist der „Abstand“ zwischen den Verteilungen p(y|x) und p(y|x) ^

37. Der Iterative IB Algorithmus • Die Minimierung wird Unabhängig über die Convexen Mengen von Verteilungen durchgeführt ( , und ), ein allgemeiner BA Algorithmus.

38. Der Iterative IB Algorithmus • Minimierung bei Iterationsschritt t

39. Die Informationsebene • Das optimale für ein gegebenes ist eine konkave Funktion impossible Possible phase

40. Zusammenfassung: Information Bottleneck Methode • Relevanz durch eine zusätzliche Variable • Distortionfunktion: • Iteratver Algorithmus zur Berechnung der optimalen Codeword-zuordnung

41. Teil 3: Clustering Algorithmen • Agglomeratives Clustering • Beginne mit • Verschmelze bei jedem Schritt 2 Cluster, deren Verschmelzung den grössten Verlust der Rate und den kleinsten Zuwachs der Distortion ergibt • Zuordnungwahrscheinlichkeit für Cluster = 1 (hard clustering) • =>nächster Vortrag

42. Clustering Algorithmen • Deterministic Annealing • Ansatz: Minimierung der Distortion unter gegebener Unsicherheit • T...symbolisiert Temperatur • Ableiten nach und • Liefert ebenfalls Regel für Adaption der • z.B. für Lage der Codevectoren bei der Squared Error Distortion

43. Deterministic Annealing: Ableitungen • Ableitung nach • Ableitung nach • Für z.B Squared Error Distortion

44. Deterministic Annealing: Phasenübergänge • Phasenübergange (Clusterteilung) für bestimmte Cluster • Keine Minimierung der Distortion für diesen Cluster mehr möglich • Teile Cluster: • 2 Möglichkeiten zur Berechnung • Temperatur für jeden Cluster berechenbar (rechenaufwendig) • Für jeden Cluster kann ein zweiter Cluster angelegt werden, falls diese bei abnehmender Temperatur auseinandergehen, dann Phasenübergang

45. Deterministic Annealing • 1) Beginne mit • Nur ein Cluster (bzw. Wahrscheinlichkeit für jeden Cluster gleich) • 2)Update für • Update • Update (für alle x) • Bis Konvergenz erreicht (BA-Algorithmus) • 3)Abkühlung • 4)Überprüfe für jeden Cluster Phasenübergang • Falls Übergang, Teile Cluster • 5) Gehe zu 3. • Kann jederzeit abgebrochen werden (soft clustering)

46. Deterministic Annealing: Beispiel (squared error distortion)

47. Deterministic Annealing: Weitere Anwendungsmöglichkeiten • Noisy Channel Coding • Entropy Constrained Coding • Structural Constrained Coding • Supervised Learning • Berechnung der R(D) Funktion