wissensextraktion mittels k nstlicher neuronaler netze autoassoziative netze
Download
Skip this Video
Download Presentation
Wissensextraktion mittels künstlicher neuronaler Netze Autoassoziative Netze

Loading in 2 Seconds...

play fullscreen
1 / 17

Wissensextraktion mittels künstlicher neuronaler Netze Autoassoziative Netze - PowerPoint PPT Presentation


  • 90 Views
  • Uploaded on

Wismar Business School. Wissensextraktion mittels künstlicher neuronaler Netze Autoassoziative Netze. Uwe Lämmel. www.wi.hs-wismar.de/~laemmel [email protected] 1. 2. 3. 4. 1. 2. 3. 4. Hopfield-Netz. Analogie zur Thermodynamik: Viele Teilchen mit starken Wechselwirkungen

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Wissensextraktion mittels künstlicher neuronaler Netze Autoassoziative Netze' - enye


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
wissensextraktion mittels k nstlicher neuronaler netze autoassoziative netze

Wismar Business School

Wissensextraktion mittelskünstlicher neuronaler NetzeAutoassoziative Netze

Uwe Lämmel

www.wi.hs-wismar.de/~laemmel

[email protected]

hopfield netz

1

2

3

4

1

2

3

4

Hopfield-Netz
  • Analogie zur Thermodynamik:Viele Teilchen mit starken Wechselwirkungen
  • Neuron entspricht einem Teilchen
  • Lernen: Finden eines Energieminimums (lokal) für die Teilchenmenge (Netz)
  • Neuronale Netze mit Rückkopplung
  • Jedes Neuron ist mit allen anderen Neuronen verbunden(ohne direkte Rückkopplung
autoassoziative netze
Autoassoziative Netze
  • Rückgekoppelte Netze
  • Keine Unterteilung in Eingabe-, Ausgabe-Neuronen
  • Aktivierung eines Neurons zum Zeitpunkt tabhängig (indirekt) von Aktivierungen zu Zeiten tj<t-1
  • Natürliches neuronales Netz ist KEIN Vorbild
  • Paradigma: Teilchenverhalten in festen Stoffen
hopfield architektur
Hopfield-Architektur
  • Alle Verbindungen symmetrisch: wij = wji
  • Ausgabe des Netzes, wenn keine Änderung der Ausgabewerte aller Neuronen
  • netj(t+1) =  wijoi(t)

 1 , netj(t+1) > joj(t+1) = f(netj(t+1)) =  0 , netj(t+1) < j

 oj(t), sonst (*)

  • Netz-Energie: E = -½  wij oioj+ioi
  • Ziel der Verarbeitung:
  • Stabiler Zustand
  • Minimale Netz-Energie
stabilit t muster
Stabilität / Muster
  • Stabilitätstheorem von Cohen/Großberg 1993:
    • Rekurrente Netze sind stabil, falls
      • Gewichtsmatrix W symmetrisch 1. wij = wji und
      • Hauptdiagonale 0 ist: 2. i | wii = 0
  • Auffinden der Gewichte:
    • Sei m ein Muster m=(m1,...,mk).
    • Ein Hopfield-Netz speichert das Muster m, falls:
      • Bias-Werte i=1 und
      • Gewichte: wij = mimj, ij
lernen einschwingen
Lernen – Einschwingen

Wiederhole

Wähle zufällig eine Neuron aus;

Bestimme Zustand des Neurons nach

1 , netj(z+1) > joj(t+1) = f(netj(t+1)) = 0 , net(j(t+1) < j

oj(t), sonst

bis keine Änderung mehr.

energie betrachtung
Energie-Betrachtung
  • Bei keinem Propagierungsschritt wird das Energie-Niveau größer!
    • Mit jedem Schritt wird Energie-Niveaukleiner oder bleibt gleich
energie differenz
Energie-Differenz
  • Aktivierung von Neuron z wird neu berechnet:
  • Man betrachte die Möglichkeiten für oz
  • E ist stets <= 0
anwendungen beispiel
Anwendungen/Beispiel
  • Finden lokaler Minima zum Wiederherstellen verrauschter Eingaben;Energieminimum entspricht unverrauschter Eingabe
  • Ein Netz mit N Neuronen kann höchstens 0.14*N verschiedene Muster speichern
  • Die Verwendung der Aktivierung {-1,+1} zeigt bessere Ergebnisse
  • Wiederherstellen von verrauschten Pixelmustern:
    • Siehe Excel-Datei Hopfield.xls
    • Beispiel Kruse, Datei HOP_ASSO.*
    • Demo-Programm Hopfield-Demo.zipAusführen von Hopfield.jar
boltzmann maschine
Boltzmann-Maschine
  • Vermeidung des Stabilisierens in einem lokalen Minimum
  • Neuronen verändern ihren Zustand entsprechend einer Wahrscheinlichkeitsverteilung (einziger Unterschied zu den Hopfield-Netzen)(Statistische Methode, Boltzmann-Maschine, Simulated Annealing)
  • Energie wie vorher: E = -½  wij oioj + ioi
boltzmann aktivierung
Boltzmann-Aktivierung
  • Die Änderung der Aktivierung eines Neurons ist nun:

 1 , random()  flogistic(Ek/T)ok(t+1) = fact,k(netk) =  0 , sonst 

Ek - Differenz der Energien des Netzes für die Zustände, in denen Neuron k die Ausgabe 1 bzw. 0 hatte;

T - künstlicher Temperaturparameter, wird während des Verfahrens kleiner

  • Für große T ist Wahrscheinlichkeit, dass oi=1 ist: 0.5
boltzmann einschwingvorgang
Boltzmann - Einschwingvorgang

begin Wähle genügend großen Temperaturwert TrepeatrepeatWähle zufällig Neuron i aus Bestimme neuen Ausgabewert oiuntil thermisches Gleichgewicht (Energieniveau im Mittel konstant) Verringere TemperaturuntilStabiler Zustandend

boltzmann hinweise
Boltzmann - Hinweise
  • Zum langsamen “Abkühlen” wird Abkühlungsplan aufgestellt:
    • Startwert T0
    • Anzahl der Verarbeitungsschritte LT bei geg. Temperaturniveau T
    • Vorschrift zur Senkung von T, oft T=1/(Nrdes Zeitschritts)
    • Abbruchkriterium
  • Bei jeder Temperatur T>0 ist es möglich, dass höhere Temperaturniveau angenommen wird.
  • Anwendung: Optimierungsprobleme
anwendung in der optimierung
Anwendung in der Optimierung
  • Netz schwingt in Energie-Minimum ein
  • Optimale Lösung ~ Energie-Minimum?
  • Problem:
    • Bestimmung der Gewichte
  • Beispiel:
    • N-Dame-Problem
    • Travelling Salesman Problem
aufgaben
Aufgaben
  • Man betrachte ein Hopfield-Netz aus 3 Neuronen, alle wij=1,=1.Berechnen Sie von Hand die Ausgabe des Netzes für die Eingabe in=(0,1,1).
  • Entwickeln Sie auf dem Papier ein Hopfield-Netz, welches das Pixel-Muster speichert.
  • Wie reagiert das Netz auf die Eingabe des Musters:
  • Nutzen Sie die Hopfield-Demo und ermitteln Sie den Einfluss der Größe des Schwellwertes auf die Ergebnisse.
  • Machen Sie sich mit dem Demo-Programm zur Lösung des N-Dame-Problems vertraut (Kruse).
aufgaben1

1

2

3

4

5

Gewichte in Datei:

0 1 3 0 0

0 0 2 4

0 5 0

0 2

0

1

2

4

3

2

5

Aufgaben
  • Max-Cut-Problem (Aus Kruse ): Ein ungerichteter aber gewichteter Graph soll so in zwei Teilmengen zerteilt werden, dass die Summe der Gewichte aller Kanten zwischen den Teilmengen maximal ist. (Anwendungen im Chip-Entwurf, Netz-Konfigurationen)
  • Machen Sie sich anhand des folgenden Graphs mit der Problematik vertraut:
  • Benutzen Sie BLZ_MAXC.EXE (Neuronales Netz) und vergleichen Sie die Lösung mit der algorithmisch berechneten BLZ_COMP.EXE.
ad