Konnektionismus
This presentation is the property of its rightful owner.
Sponsored Links
1 / 36

Konnektionismus PowerPoint PPT Presentation


  • 61 Views
  • Uploaded on
  • Presentation posted in: General

Konnektionismus. apl. Prof. Dr. Ulrich Schade. 0Formalia. Vorlesung Scheine Teilnahmeschein: Bitte nicht öfter als zweimal fehlen! Protokoll von einer Sitzung Benoteter Leistungsschein schriftliche Hausarbeit (Programm plus dessen Beschreibung). 0Formalia. Inhalt Methodologie

Download Presentation

Konnektionismus

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Konnektionismus

Konnektionismus

apl. Prof. Dr. Ulrich Schade


0 formalia

0Formalia

Vorlesung

Scheine

  • Teilnahmeschein:

    • Bitte nicht öfter als zweimal fehlen!

    • Protokoll von einer Sitzung

  • Benoteter Leistungsschein

    • schriftliche Hausarbeit

      (Programm plus dessen Beschreibung)


0 formalia1

0Formalia

Inhalt

  • Methodologie

  • Techniken

    • Einleitung und historischer Rückblick

    • Spreading Activation

    • Error Backpropagation

    • Kohonen-Netze

  • Anwendungen

    (auf Fragestellungen der Sprachverarbeitung)


1 methodologie

1Methodologie


1 methodologie1

1Methodologie

Anmerkungen zur Computerlinguistik

Erste Funktion:

Aufbau eines funktionierenden Systems

Gütekriterium: Das System leistet das Gewünschte.

Zweite Funktion:

Modellierung eines kognitiven Prozesses

Gütekriterium: Das Modell liefert Erkenntnisgewinn.


1 methodologie2

1Methodologie

Der methodologische Zyklus

Phänomene / Daten

Intuition

Evaluation

Modell

Experiment

Vorhersagen

Theorie

Simulation


1 methodologie3

1Methodologie

Anmerkungen zum methodologischen Zyklus

Aus der Beobachtung von Phänomenen/Daten

lassen sich Modelle ableiten,

welche möglichst

zu den beobachteten Phänomenen und Daten

passen sollten.


1 methodologie4

1Methodologie

Anmerkungen zum methodologischen Zyklus

Komplexe Modelle müssen mit Simulationen auf ihre interne Widerspruchsfreiheit (Kohärenz) hin überprüft werden.

Erst dann gilt:

“Whether or not it is the right theory depends on whether it fits the facts, but at least it has succeeded in avoiding vagueness, confusion, and the mystical incantation of empty verbal formulae.”

Johnson-Laird (1988, p. 26): The Computer and the Mind.


1 methodologie5

1Methodologie

Anmerkungen zum methodologischen Zyklus

Simulationen

entsprechen nicht in allen Aspekten ihren Modellen.

Die Analyse der Modelle und der Simulationsergebnisse

führt zu (unerwarteten) Vorhersagen,

die man experimentell testen sollte.


1 methodologie6

1Methodologie

Anmerkungen zum methodologischen Zyklus

Experimente bilden den Anker zur Wirklichkeit.

Sie erlauben die Evaluation des Modells an der Wirklichkeit.

Aus ihnen ergeben sich neue Daten zum Gegenstandsbereich

und damit „Erkenntnisgewinn“.


1 methodologie7

1Methodologie

Anmerkungen zum methodologischen Zyklus

Aber: Experimente „bestätigen“ oft nur vorgefasste Meinungen.

Die Messung beeinflusst das Ergebnis.

Experimente benötigen den „Rückhalt“ von Modellen,

möglichst von konkurrierenden Modellen.

Modelle müssen die Experimente „lenken“.


1 methodologie8

1Methodologie

Anmerkungen zum methodologischen Zyklus

zur Güte von Modellen

„Wahrheit“

Falsifizierbarkeit

Einfachheit

Generalisierbarkeit

Erklärungsadäquatheit

Ein Modell ist keine Theorie. Gefordert ist Beschreibungsadäquatheit.

„Güterabwägung“

Ziel: „Bewährung“ des Modells


1 methodologie9

1Methodologie

Anmerkungen zum methodologischen Zyklus

zum Begriff der „Bewährung“

nach Karl Popper (1935): Logik der Forschung

  • Aus dem Modell M sowie aus allgemein akzeptierten Annahmen H lässt sich P ableiten.

  • P ist nicht bereits allgemein akzeptiert und nicht aus H allein ableitbar.

  • Es gibt kein bereits akzeptiertes Modell L, für das a) gilt.

  • Im Gegenteil: Aus allgemein akzeptierten Modellen und H ist P ableitbar.


1 methodologie10

1Methodologie

Anmerkungen zum methodologischen Zyklus

Das Ziel von Kognitionswissenschaft ist Erkenntnisgewinn

zum Gegenstandsbereich (für uns: Sprachverarbeitung).

Existieren konkurrierende Modelle

(aus einem ist P, aus dem anderen Pableitbar),

so ist dies eine besonders „gewinnbringende“ Situation.

Ein entsprechendes Experiment kann dann die Entscheidung bringen.


1 hypothesenbildung

1 Hypothesenbildung

  • Grundlage eines Experiments ist eine Hypothese.

  • Hypothese:

    Vorläufige (vermutete) Antworten, die Forscher auf ihre Fragen geben, nennt man Hypothesen. Die Überprüfung eines spezifischen Teils dieser Hypothesen, nämlich kausaler Hypothesen, ist Gegenstand des Experiments.

    Hussy/Jain (2002:33)

  • Hypothesen müssen also empirisch überprüfbar sein.

    Operationalisierung


1 techniken

1 Techniken

  • Einleitung und Historischer Rückblick

  • Spreading Activation

  • Error-Backpropagation

  • Kohonen-Netze


1 einleitung und historischer r ckblick

1 Einleitung und Historischer Rückblick

Konnektionismus

(geleitet durch die Vorstellung neuronaler Netze)

Systemaufbau bzw. Modellbildung

mittels konnektionistischer Netzwerke

  • Knoten

  • Verbindungen

  • Aktivierung


1 einleitung und historischer r ckblick1

1 Einleitung und Historischer Rückblick

Konnektionismus

ist die Alternative zu

regelgeleiteten Systemen bzw. Modellen

erster Ansatz: das Perzeptron

Rosenblatt, Frank (1958): The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Reviews 65, 386-408.


1 einleitung und historischer r ckblick2

1 Einleitung und Historischer Rückblick

Das Perzeptron ist eine Umsetzung (bzw. Erweiterung)

der Hebb‘schen Regel.

Hebb, D. (1949): Organization of Behaviour. New York: Wiley.

Danach erfolgt Lernen durch eine Verstärkung

einer Verbindung zwischen zwei Neuronen,

sofern diese beide gleichzeitig aktiv sind.


1 einleitung und historischer r ckblick3

1 Einleitung und Historischer Rückblick

das Perzeptron: Aufbau

zwei Schichten von Knoten:

Eingabeschicht und Ausgabeschicht

Verbindungen:

Jeder Knoten der Eingabeschicht ist auf jeden Knoten

der Ausgabeschicht verbunden.


1 einleitung und historischer r ckblick4

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Die Stärke der Verbindungen wird ganz zu Beginn

per Zufall festgesetzt.

Beim Lernen (Training) werden Muster in der

Eingabeschicht angelegt.


1 einleitung und historischer r ckblick5

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Dann wird das Ergebnis (zu dem angelegten Muster)

in der Ausgabeschicht berechnet:

oj = Σwij ei mit oj Aktivierung des Ausgabeknotens j

ei Aktivierung des Eingabeknotens i

wij Stärke der Verbindung von i nach j


1 einleitung und historischer r ckblick6

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Das Ergebnis ist das Muster,

das das Perzeptron zu dem Eingabemuster assoziiert.

Um zu lernen, wird dann das erzielte Ergebnismuster

mit dem eigentlich gewünschten Ergebnismuster verglichen.

Δoj = ojgewünscht – ojtatsächlich (Fehler)


1 einleitung und historischer r ckblick7

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Aus dem Fehler wird

eine Änderung der Leitungsstärken berechnet:

wij (neu) = wij (alt) + Δwij

Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)


1 einleitung und historischer r ckblick8

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Aus dem Fehler wird

eine Änderung der Leitungsstärken berechnet:

wij (neu) = wij (alt) + Δwij

Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)

positive Änderung:

Δoj positiv


1 einleitung und historischer r ckblick9

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Aus dem Fehler wird

eine Änderung der Leitungsstärken berechnet:

wij (neu) = wij (alt) + Δwij

Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)

negative Änderung

Δoj negativ


1 einleitung und historischer r ckblick10

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Aus dem Fehler wird

eine Änderung der Leitungsstärken berechnet:

wij (neu) = wij (alt) + Δwij

Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)

keine Änderung

ei = 0


1 einleitung und historischer r ckblick11

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Aus dem Fehler wird

eine Änderung der Leitungsstärken berechnet:

wij (neu) = wij (alt) + Δwij

Δwij = α· Δoj· ei (α ist die Lernrate: 0 ≤ α ≤ 1)

keine Änderung

Δoj = 0


1 einleitung und historischer r ckblick12

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Objekte

Knoten, Verbindungen, Muster

Eingabeknoten Ausgabeknoten

Trainingsmuster Testmuster


1 einleitung und historischer r ckblick13

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Objekte

Attribut: Name (Sting, eindeutig)

Knoten

Attribut: Aktivierungswert (Float)

Ausgabeknoten

Attribute: Zielwert (Float), Fehler (Float)


1 einleitung und historischer r ckblick14

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Verbindung

Attribute: aktuelle Verbindungsstärke (Float)

neue Verbindungsstärke (Float)

Fehler (Float)


1 einleitung und historischer r ckblick15

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Muster

Attribute: Liste der Aktivierungsstärken der Eingabeknoten

Liste der gewünschten, dazu assoziierten Aktivierungsstärken der Ausgabeknoten

(jeweils Listen von Floats)


1 einleitung und historischer r ckblick16

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Programmablauf (Lernzyklus)

  • wähle ein Trainingsmuster;

  • lege das Muster an den Eingabeknoten an;

  • berechne das Ergebnismuster;

  • berechne die Fehler der Ausgabeknoten;

  • berechne die Änderungen der Verbindungsstärken;

  • ändere die Verbindungsstärken;


1 einleitung und historischer r ckblick17

1 Einleitung und Historischer Rückblick

das Perzeptron: Funktion

Programmablauf:

Training

Lernzyklus

Abbruch ?Test

Verringerung der Lernrate ?


1 einleitung und historischer r ckblick18

1 Einleitung und Historischer Rückblick

das Perzeptron:Problem

Aufgabe: Erlerne das „Entweder – Oder“:

Muster

A

R

B


1 einleitung und historischer r ckblick19

1 Einleitung und Historischer Rückblick

das Perzeptron: Problem

Aufgabe: Erlerne das „Entweder – Oder“.

Ergebnis: Das „Entweder – Oder“ kann durch

das Perzeptron nicht erlernt werden.

Minsky, Marvin L. & Seymore A. Papert (1969).

Perceptrons. Cambridge, MA: MIT-Press.

A

R

B


  • Login