Proseminar SS 2002 Technische Informatik
Download
1 / 11

Carola Huthmacher - PowerPoint PPT Presentation


  • 86 Views
  • Uploaded on

Proseminar SS 2002 Technische Informatik Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning. Carola Huthmacher. Vortragsüberblick. Clusterbildung Lernen in Neuronalen Netzen Prinzip von Competitive Learning Architektur Unüberwachter Lernalgorithmus Simulation

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Carola Huthmacher' - dalton-whitehead


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript

Proseminar SS 2002 Technische InformatikUnüberwachtes Lernen in neuronalen Netzen: Competitive Learning

Carola Huthmacher


Vortrags berblick
Vortragsüberblick

  • Clusterbildung

  • Lernen in Neuronalen Netzen

  • Prinzip von Competitive Learning

  • Architektur

  • Unüberwachter Lernalgorithmus

  • Simulation

  • Vorteile und Nachteile

  • Anwendung: SOM

  • Zusammenfassung

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Clusterbildung
Clusterbildung

  • Ziele:

    • Unterschiede zwischen Objekten eines Clusters sind minimal

    • Unterschiede zwischen Objekten verschiedener Cluster sind maximal

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Lernen in neuronalen netzen
Lernen in Neuronalen Netzen

Lernen in Neuronalen Netzen

Überwachtes Lernen

Feste Lernaufgabe:

Geg.: EingabeE,AusgabeA

Unüberwachtes Lernen

Freie Lernaufgabe:

Geg.: EingabeE

Correlation

Learning

Competitive

Learning

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Prinzip von competitive learning
Prinzip von Competitive Learning

  • Konkurrenzprinzip (Competition)

  • Ziel: pro Eingabegruppe wird ein Neuron aktiviert (Clusterbildung)

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Architektur eines competitive learning netzwerks
Architektur eines Competitive Learning Netzwerks

Ausgabe

( 1

0 )

0 )

Competitive Layer

...

...

Input Layer

1

2

3

n

...

...

Eingabe

( 1

0

0

1

1

1

1

) = x  Rn

) = x

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Prozesse im competitive layer

Abstand Eingabe/Gewichtungsvektor: Sj = iwijxi = |w||x|cos

Gewinner: Neuron j mit Sj > Sk für alle k  j

Ausgabe: aGewinner = 1, aVerlierer = 0 („winner take all“)

Prozesse im Competitive Layer

j

wj1

wj2

wjn

) = x  Rn

x1

x2

xn

(

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Un berwachter lernalgorithmus
Unüberwachter Lernalgorithmus

  • Initialisierung:

    • Zufällige Anfangsgewichtung

    • Vektoren aus Trainingseingaben als Anfangsgewichtungen

  • Konkurrenzprozess

  • Lernen:

    • Neuberechnung der Gewichtungen des Gewinnerneurons: wj(t+1) = wj(t) +  (t)[xk - wj(t)]

  • Termination:

    • Ende bei Erfüllung eines Terminationskriteriums

 ( x – wj (t) )

1

wj (t)

wj (t+1)

x

0

1

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Vorteile und nachteile
Vorteile und Nachteile

  • Nachteile:

    • schwierig, gute Initialisierung zu finden

    • Instabilität

    • Problem: # Neurone in Competitive Layer

  • Vorteile:

    • gute Clusterbildung

    • einfacher und schneller Algorithmus

    • Baustein für komplexere Netzwerke

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Anwendung som
Anwendung: SOM

  • Self Organizing Map (Kohonen Map)

    • ähnliche Cluster werden durch benachbarte Neurone des Competitive Layers repräsentiert

Competitive Layer

...

Input Layer

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning


Zusammenfassung
Zusammenfassung

  • Algorithmus zur Clusterbildung: Daten werden aufgrund ihrer Ähnlichkeit in repräsentative Gruppen eingeteilt

  • Baustein für größere Netzwerke: z. B. SOM, Counter-Propagation

Unüberwachtes Lernen in neuronalen Netzen: Competitive Learning