1 / 31

Nichtlineare Fisher-Diskriminanzanalyse

Nichtlineare Fisher-Diskriminanzanalyse. Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau. Inhalt. Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung. 1. 2. 3.

sierra
Download Presentation

Nichtlineare Fisher-Diskriminanzanalyse

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Nichtlineare Fisher-Diskriminanzanalyse Raphael HoffmannPraktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau

  2. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  3. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  4. F Motivation Beispiel I I • Merkmalsreduktion • Klassifikation Männer (blau) Frauen (rot) Gewicht Größe

  5. Motivation Klassifikation mit Diskriminanzanalyse Vorgehensweise: • Finde Gerade durch den Ursprung, so dass Klassen auf Gerade gut getrennt sind • Finde Decision Boundary db auf Gerade I F w db g: w ¢ x = 0

  6. Motivation Alternative Klassifikationsverfahren • Perzeptron-Lernen • Lösung eines linearen Ausgleichsproblems • Support Vector Machines I w

  7. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  8. Menge der Vektorender Klasse i Mittelwert der Vektoren der Klasse i Mittelwert aller Vektoren Lineare Fisher-Diskriminanzanalyse Fisher-Kriterium maximiere Streuung zwischen den Klassen (erklärte Streuung) Streuung innerhalb der Klassen (unerklärte Streuung)

  9. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  10. Nichtlineare Fisher-Diskriminanzanalyse Beispiel II I krank (blau) gesund (rot) Temperatur Blutdruck

  11. Beispiel Nichtlineare Fisher-Diskriminanzanalyse Architektur-Übersicht Nichtlineare Transformation Lineare Fisher- Diskriminanz- analyse Eingabe- raum Ausgabe- Raum Raum H I F

  12. Nichtlineare Fisher-Diskriminanzanalyse MLP-basierte Architektur (MLP-NLDA) Bias Bias Ausgabe- Raum Eingabe- raum F lineareAktivierung I sigmoideAktivierung Nichtlineare Transformation Lineare Fisher-Diskriminanzanalyse

  13. Nichtlineare Fisher-Diskriminanzanalyse RBF-basierte Architektur (RBF-NLDA) Bias Ausgabe- Raum Eingabe- raum F I lineareAktivierung Radiale Basisfunktionen-Aktivierung Nichtlineare Transformation Linear Fisher- Diskriminanzanalyse

  14. Nichtlineare Fisher-Diskriminanzanalyse Kern-basierte Architektur (Kern-NLDA) Nichtlineare Transformation • Kernfunktion berechnet Skalarprodukt in einem anderen Raum • Keine explizite Anwendung von notwendig Lineare Fisher- Diskriminanzanalyse  Eingabe- raum Ausgabe- Raum Raum H I F : I£I!R 

  15. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  16. 1. Setzen der Gewichte nach Fisher-Kriterium 1. Setzen der Gewichte nach Fisher-Kriterium 2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten 3. Anpassung der Gewichte nach Gradientenaufstieg Implementierung Implementierung im NNSIM • Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg

  17. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  18. Experimente Experiment I • Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

  19. Experimente Vergleich von Klassifikationsraten auf Standarddatensätzen • Fehlerraten des Cancer3-Datensatzes

  20. Experimente Experiment II • Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

  21. F ? Experimente Lineare Separierung im Ausgabe-Raum Beispiele Mögliche Kriterien: • Euklidischer Abstand zu Klassenzentren • Maximum A Posteriori (MAP) • Klassifizierung durch lineare SVM F ?

  22. Experimente Lineare Separierung im Ausgabe-Raum • MAP erlaubt Berücksichtigung eines prior • Anmerkung: • Durchschnittswerte für Cancer1, Cancer2, Cancer3

  23. Experimente Experiment III • Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

  24. Normal- Verteilung (rot) Exponential- Verteilung (blau) Experimente Robustheit bei unterschiedlichen Klassenstärken • Synthetische Daten mit hoher Überlappung • Variation der Klassenstärke der Exp.-Vert.

  25. Experimente Robustheit bei unterschiedlichen Klassenstärken • Analytische Ermittlung der Fehlerrate • Gleiche Berücksichtigung beider Klassen • Anmerkungen: • MLP mit target coding (0,...,0,1,0,...0) • MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

  26. max. Division durch Klassengröße Experimente Klassifikation bei unterschiedlichen Klassenstärken Anpassungen des MLP-NLDA: • MAP nimmt uniformen prior an • Modifizierung der unerklärten Streuung

  27. Experimente Robustheit bei unterschiedlichen Klassenstärken Prior: Klassenstärke unerklärte Streuung: normal unerklärte Streuung: normal Prior: uniform unerklärte Streuung: modifiziert Prior: uniform

  28. Experimente Robustheit bei unterschiedlichen Klassenstärken MLP MLP-NLDA1 Prior: Klassenstärken Unerklärte Streuung: normal MLP-NLDA2 Prior: uniform Unerklärte Streuung: normal MLP-NLDA3 Prior: uniform Unerklärte Streuung: modifiziert

  29. Inhalt • Motivation • Lineare Fisher-Diskriminanzanalyse • Nichtlineare Fisher-Diskriminanzanalyse • Implementierung • Experimente • Zusammenfassung 1 2 3 4 5 6

  30. Zusammenfassung • Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten. • Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza. • Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

  31. Ende • Vielen Dank für Ihre Aufmerksamkeit Literatur: Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998

More Related