Neuronale netze f r strukturierte daten
This presentation is the property of its rightful owner.
Sponsored Links
1 / 39

Neuronale Netze f ür strukturierte Daten PowerPoint PPT Presentation


  • 57 Views
  • Uploaded on
  • Presentation posted in: General

Neuronale Netze f ür strukturierte Daten. Antrittsvorlesung zur Habilation, Barbara Hammer, AG LNM, Universität Osnabrück. Vektor. Übersicht. Lernende Vektorquantisierung und Relevanzlernen LVQ RLVQ Anwendungen Large margin Weitere Ans ätze.

Download Presentation

Neuronale Netze f ür strukturierte Daten

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Neuronale netze f r strukturierte daten

Neuronale Netze für strukturierte Daten

Antrittsvorlesung zur Habilation,

Barbara Hammer,

AG LNM, Universität Osnabrück

Antrittsvorlesung


Neuronale netze f r strukturierte daten

Vektor

Antrittsvorlesung


Bersicht

Übersicht

  • Lernende Vektorquantisierung und Relevanzlernen

    • LVQ

    • RLVQ

    • Anwendungen

    • Large margin

  • Weitere Ansätze

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen

Lernende Vektorquantisierung und Relevanzlernen …

Antrittsvorlesung


Neuronale netze f r strukturierte daten

LVQ …

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Kohonen

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq1

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Lernende Vektorquantisierung(LVQ) [Kohonen]:

überwachtesselbstorganisierendes Klassifikationsverfahren

Netz gegeben durch Prototypen (wi,c(wi)) ∈ ℝn x {1,…,m}

Klassifikationℝn∋x  c(wj)∈{1..m} mit |x-wj| minimal

Hebbsches Lernen anhand von Beispieldaten (xi,c(xi))

i.e.ziehe xi und adaptiere den Gewinner wj:

wj := wj ±η·(xi-wj)

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq2

x2

x1

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Beispiel: unterscheide Äpfel von Birnen

Repräsentation als Vektor ( Øx/Øy , Härte ) in ℝ2

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq3

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Problem: LVQ basiert auf der Euklidischen Metrik.

 Probleme bei vielen und unterschiedlich relevanten Dimensionen

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq4

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Dramatisches Beispiel dieses Problems:

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq5

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Dieses tritt insbesondere bei als Vektor kodierten komplexen Strukturen auf.

(mittlere Anzahl Nachbarn,

minimale Anzahl Nachbarn,

maximal Anzahl Nachbarn,

Anzahl von gegebenen Subgraphen,

topologische Indizes,

...

Farbe der Knoten)

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen lvq6

Lernende Vektorquantisierung und Relevanzlernen - LVQ

Kohonen, wenn er diesen Vortrag hören würde…

Antrittsvorlesung


Neuronale netze f r strukturierte daten

RLVQ …

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen rlvq

Relevanzlernen: ersetze die Euklidische Metrik durch eine Metrik mit adaptiven Relevanzfaktoren

adaptiere die Relevanzfaktoren durch Hebbsches Lernen:

Lernende Vektorquantisierung und Relevanzlernen - RLVQ

 Relevanz LVQ

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen rlvq1

Generalisiertes RLVQ – adaptive Relevanzfaktoren in GLVQ, Adaptation als stochastischer Gradientenabstieg

Lernende Vektorquantisierung und Relevanzlernen - RLVQ

gewichteter quadratischer Abstand zum nächsten korrekten/falschen Prototypen

minimiere

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen rlvq2

Lernende Vektorquantisierung und Relevanzlernen - RLVQ

Wir bzw. Kohonen, wenn er‘s wüßte …

Antrittsvorlesung


Anwendungen

Anwendungen …

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

Erkennung von Fehlzuständen bei Kolbenmaschinen

PROGNOST

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen1

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

Detektion aufgrund hochdimensionaler und heterogener Daten:

Sensoren liefern zeitabhängige Daten:

Druck, Oszillation, ...

Prozeß Charakteristika,

Merkmale des pV Diagramms,

Sensorik

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen2

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

Typische Datenlage:

  • 30 Zeitreihen mit je 36 Einträgen

  • 20 Analysewerte über ein Zeitintervall

  • 40 globale Merkmale

    15 Klassen, 100 Trainingsmuster

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen3

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

… Prognost

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen4

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

Prognose von Splice-Stellen:

Kopie der DNA

branch site

A64G73G100T100G62A68G84T63

C65A100G100

reading frames

18-40 bp pyrimidines, i.e. T,C

donor

acceptor

ATCGATCGATCGATCGATCGATCGATCGAGTCAATGACC

nein

ja

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen5

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

  • IPsplice (UCI): menschliche DNA, 3 Klassen, ca.3200 Punkte, Fenstergröße 60, alt

  • C.elegans (Sonneburg et al.): nur acceptor/decoys, 1000/10000 Trainingspunkte, 10000 Testpunkte, Fenstergröße 50, decoys liegen nahe an acceptors

  • GRLVQ mit wenigen Prototypen (8 / 5 pro Klasse)

  • geänderte Metrik: LIK

lokale Korrelationen

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen6

Lernende Vektorquantisierung und Relevanzlernen- Anwendungen

IPsplice:

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen7

Lernende Vektorquantisierung und Relevanzlernen- Anwendungen

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen8

Lernende Vektorquantisierung und Relevanzlernen- Anwendungen

C.elegans:

... GRLVQ erlaubt kom-pakte Modelle, Aufwand linear in Bezug auf die Trainingsdaten

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen anwendungen9

Lernende Vektorquantisierung und Relevanzlernen - Anwendungen

… die Biologen

Antrittsvorlesung


Large margin

Large margin …

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen large margin

Lernalgo.

Lernende Vektorquantisierung und Relevanzlernen – large margin

F := durch GRLVQ mit p Prototypen berechnete binäre Klassifikationen

(xi,yi)i=1..m Trainingsdaten, i.i.d. gemäß Pm f in F

Ziel: EP(f) := P(y≠f(x)) soll klein sein

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen large margin1

Lernende Vektorquantisierung und Relevanzlernen – large margin

Ziel: EP(f) := P(y≠f(x)) soll klein sein

Lerntheorie:EP(f) ≤ |{ i | yi≠f(xi)}| + strukturelles Risiko

Für GRLVQ gilt:

EP(f) ≤ |{ i | yi ≠ f(xi)}| + Ʃ0<Mf(xi)<ρ(1-Mf(xi)/ρ) + O(p2(B3+(ln 1/δ)1/2)/(ρm1/2))

wobei Mf(xi) := - dλ+(xi)+ dλ-(xi) der margin ist (= Sicherheit)

  • dimensionsunabhängige large-margin Schranke!

    GRLVQ optimiert den margin:

empirischer Fehler wird im Training optimiert

wie sicher legen m Trainingsdaten die Funktion fest

Trainingsfehler

Punkte mit zu kleinem margin

Schranke in Abhängigkeit von

m = Anzahl Daten

p = Anzahl Prototypen, B = Träger,

δ = Konfidenz

ρ = margin

Antrittsvorlesung


Lernende vektorquantisierung und relevanzlernen large margin2

Lernende Vektorquantisierung und Relevanzlernen – large margin

Wir

Antrittsvorlesung


Weitere ans tze

Weitere Ansätze …

Antrittsvorlesung


Weitere ans tze1

Weitere Ansätze

Rekursive Verarbeitung von beliebig langen Sequenzen reeller Vektoren

A

T

C

G

Antrittsvorlesung


Weitere ans tze2

a

b

e

a

h

d

Weitere Ansätze

Rekursive Verarbeitung von Bäumen und DPAGs: gerichtete positionierte

azyklische Graphen mit beschränkter Anzahl Nachfolger/Vorgänger und

einem Wurzelknoten

Antrittsvorlesung


Weitere ans tze3

Weitere Ansätze

Ich

Antrittsvorlesung


Weitere ans tze4

Weitere Ansätze

Antrittsvorlesung


Weitere ans tze5

SVM

Komplexität

GRLVQ +

Schriftzeichenerkennung

Satellitendaten

Zeitreihenprognose

Kernelisierung

Neural Gas

Regelextraktion

Rekurrente Netze

Rekursive Netze

Weitere Ansätze

Lernbarkeit

SOM, Datamining

.. und weitere Nullmengen 

Antrittsvorlesung


Neuronale netze f r strukturierte daten

os

Berlin

Rheine

Birmingham

Hyderabad

Biele

Padua

Pisa

Leipzig

Illinois

Houston

Gatersleben

Thorsten Bojer

Prognost

Peter Tino

Brijnesh Jain

Jochen Steil

Helge Ritter

Tina 

Marc Strickert

Kai Gersmann

OR-Gruppe

Theo.Inf.

Thomas Villmann

Erzsebeth

Merenyi

Udo Seiffert

Bhaskar

DasGupta

Matukumalli

Vidyasagar

Alessandro Sperduti

Alessio Micheli

Thanks!!!

Antrittsvorlesung


Neuronale netze f r strukturierte daten

Antrittsvorlesung


  • Login