Motivation Eigenschaften biologischer Neuronen Eigenschaften künstlicher Neuronen

2. Übersicht Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften künstlicher Neuronen Eigenschaften künstlicher neuronaler Netze (KNNs) Ausgewählte Lernmethoden Zusammenfassung Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 2

3. Computer : • schnelle und exakte arithmetische Berechnungen • Einzelelemente (Transistoren) arbeiten im Gigahertzbereich • Prozessor als Flaschenhals • Gehirn besitzt diese Eigenschaften nicht Motivation Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen • Mensch: • Komplexe Vorgänge wie Gehen, Sprechen • Gehirn in hohem Maße parallel • lernend •  Konzeption des Gehirns gut für derartige Tätigkeiten geeignet Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 3

4. AP Zeit Aufbaueines Neurons Dendriten Übersicht synaptisches Endköpfchen Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Axonhügel Axon Zusammen- -fassung Folie 4

5. Konzepte der Informationsweitergabe Synapse Übersicht Motivation Eigenschaften biologischer Neuronen +/- Eigenschaften Künstlicher Neuronen präsynaptisch postsynaptisch Eigenschaften von KNNs Ausgewählte Lern- methoden • Exzitatorische (+) /inhibitorische (-) Reize • Bahnung • neuronale Integration Zusammen- -fassung Folie 5

6. Aufbau eines künstlichen Neurons Übersicht Motivation Eigenschaften biologischer Neuronen Neuron i Neuron j Eigenschaften Künstlicher Neuronen • Netzeingabe • Aktivierungsfunktion • Aktivierungszustand • Schwellenwert • Ausgabefunktion • Gewichte • Propagierungsfunktion Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 6

7. Der Aktivierungszustand Übersicht • Diskrete Zustände • binär ({0,1}, {-1,1}, {+,-}) • Mehrwertig ({-1,0,1}, {-100, ..., 100}, Z) • Kontinuierlicher Zustand • Unbeschränkt ( IR ) • Intervalle ([0,1], [-1,1]) Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 7

8. Ausgabe- und Aktivierungsfunktionen Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 8

9. Vergleich biologischer & technischer neuronaler Netze Übersicht • Gemeinsamkeiten • Massive Parallelität • Einfache Grundelemente • Gerichtete Verbindungen • Modifizierbare Gewichtung • Konnektivität • Information in Verbindungen und Gewichten gespeichert • Unterschiede • Anzahl der Neuronen und Verbindungen • Amplituden- statt Frequenzmodulation Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 9

10. input layer Perzeptrons hidden layer Übersicht Motivation Eigenschaften biologischer Neuronen output layer Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs • Neuronen eines Perzeptrons • Repräsentierbarkeit/ Lernfähigkeit • Feedforward Netzwerk • einstufiges Perzeptron • vielstufiges Perzeptron Ausgewählte Lern- methoden Zusammen- -fassung Folie 10

11. 1 1 -1 -1 1 1 lineare Trennbarkeit am Beispiel XOR Übersicht Motivation (1,1) (0,1) Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen (0,0) (1,0) Eigenschaften von KNNs • linearer Separierbarkeit: • Hypercubi und -Ebenen • XOR nicht linear separierbar • linear separierbare Probleme durch einstufiges Perzeptron realisierbar Ausgewählte Lern- methoden Zusammen- -fassung Folie 11

12. Lernen • überwachtes, bestärkendes und unüberwachtes Lernen • Trainings- und Testmenge • Generalisierung Lernen & Generalisierung Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung • modellfreies Lernen Folie 12

13. Test Over-, Underfitting & Robustheit • Over-, Underfitting und Abhilfe Übersicht Fehler Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Training Ausgewählte Lern- methoden Trainings-Iterationen • relativ robuste Performance gegen: • Ausfall von einzelnen Eingangsdaten bzw. Neuronen • Rauschen in den Eingangsdaten Zusammen- -fassung Folie 13

14. Hebb‘sche Lernregel Übersicht • Grundlage für die meisten Lernregeln • Erhöhung des Gewichts , wenn j eine Eingabe von i bei gleichzeitiger starker Aktivierung von i und j erhält. • binäre Kodierung Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 14

15. Backpropagation Übersicht Motivation Fehler Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen • Fehler als Funktion der Gewichte • Propagierung/Backpropagierung • Gradienten-Abstiegsverfahren • erfordert differenzierbare Aktivierungsfunktion • Fehler durch geeignetes Setzen der Gewichte minimieren • Schrittweite Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 15

16. 1. Initialisiere Gewichte W aus 3. Berechne Deltas der Ausgabeschicht aus Ist - Sollwert Backpropagation-Algorithmus: Übersicht 2. Berechnung aller Ausgabewerte für ein Muster p Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs p Ausgewählte Lern- methoden Zusammen- -fassung Folie 16

17. 4. Berechnung der Deltas der vorhergehenden Schichten 5. Aktualisierung aller Gewichtungen Übersicht Motivation Eigenschaften biologischer Neuronen 6. IF Fehler nicht akzeptabel GOTO 2. Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Folie 17

18. Klassifizierung von KNNs NachLernmethode: Übersicht Lernmethode Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Bestärkend Überwacht Unüberwacht ADALINE Boltzmann CCN GRINN Hopfield LVQ MLFF mit BP PNN RBF RNN RCE Eigenschaften von KNNs ART Hopfield LVQ Neokognitron SOM Ausgewählte Lern- methoden Zusammen- -fassung Folie 18

19. Nach Anwendungstyp: Anwendungstyp Übersicht Assoziativspeicher Motivation ART AM BAM BSB Hopfield MLFF mit BP Eigenschaften biologischer Neuronen Funktions- approximation Eigenschaften Künstlicher Neuronen CCN GRNN Vorhersage ADALINE CNN GRNN MADALINE MLFF mit BP RBF RNN SOM Eigenschaften von KNNs Mustererkennung Klassifizierung ART CCN CPN GRNN LVQ MLFF mit BP Neokognitron RBF RCE SOM ADALINE ART CCN CPN GRNN LVQ MLFF mit BP RBF RCE SOM Ausgewählte Lern- methoden Zusammen- -fassung Folie 19

20. Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Nach Architekturtyp: Architekturtyp Einschicht Feedforward Mehrschicht Feedforward Rekursiv ART BAM BSB Boltzmann-Maschine Cauchy-Machine Hopfield RNN ADALINE AM LVQ Perceptron SOFM CCN GRNN MADALINE MLFF mit BP Neokognitron RBF RCE Folie 20

21. Übersicht Motivation Eigenschaften biologischer Neuronen Eigenschaften Künstlicher Neuronen Eigenschaften von KNNs Ausgewählte Lern- methoden Zusammen- -fassung Zusammenfassung • Eigenschaften künstlicher Neuronen • Einfache Architektur Perzeptron • Lineare Trennbarkeit • Lernen & Generalisierung • Hebb‘sches Lernen und Backpropagation • Klassifizierung Folie 21

22. Vielen Dank für die Aufmerksamkeit ENDE Folie 22