1 / 39

Neuroinformatik

Neuroinformatik. Verhalten: Analyse und Modellierung Björn Brembs. Computational Neuroscience. Ivan Petrowitsch Pavlov. Pavlov’s Hunde. Valiet Tungus Barbos. Klassisches Konditionieren. UR. Pavlov‘s Hund. Zeitliche Paarung von CS und US. Komplexere Assoziationen (1960er).

archer
Download Presentation

Neuroinformatik

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Neuroinformatik Verhalten: Analyse und Modellierung Björn Brembs

  2. Computational Neuroscience

  3. Ivan Petrowitsch Pavlov

  4. Pavlov’s Hunde Valiet Tungus Barbos

  5. Klassisches Konditionieren UR Pavlov‘s Hund

  6. Zeitliche Paarung von CS und US

  7. Komplexere Assoziationen (1960er) Overshadowing Blocking

  8. Theoretische Formulierungen (1970er) Experiment/Analyse: „Lernen ist von der zeitlichen Paarung der Reize abhängig“ Hypothese: „Der prädiktive Wert des CS könnte für das Lernen entscheidend sein“ also: Lernen findet immer dann statt, wenn Erwartungen verletzt werden Formalisierte Hypothese: , mit DV - Lernrate, l - tatsächl. US - erwarteter US Rescorla-Wagner-Regel (1972): Mit ai - Salienz von CSi (0<a<1), b - Salienz des US (-1<b<1)

  9. Rescorla Wagner Regel Anfangsbedingungen: • Vmax = 100 (willkürlich) • Vall = 0 (kein Lernen) • Vcs = 0 (kein Lernen) • c = 0.5 (willkürlich) Vereinfacht: DVCS=c(Vmax-Vall)

  10. First Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 1 0.5 * 100 - 0 = 50

  11. Second Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 100 - 50 = 25

  12. Third Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 3 .5 * 100 - 75 = 12.5

  13. 4th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 4 .5 * 100 - 87.5 = 6.25

  14. 5th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 5 .5 * 100 - 93.75 = 3.125

  15. 6th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 6 .5 * 100 - 96.88 = 1.56

  16. 7th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 7 .5 * 100 - 98.44 = .78

  17. 8th Conditioning Trial Trial c(Vmax - Vall) = ∆Vcs 8 .5 * 100 - 99.22 = .39

  18. Extinktion

  19. 1st Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 1 .5 * 0 - 99.61 = -49.8

  20. 2nd Extinction Trial Trial c(Vmax - Vall) = ∆Vcs 2 .5 * 0 - 49.8 = -24.9

  21. Hypothetical Acquisition & Extinction Curves with c=.5 and Vmax = 100

  22. Acquisitions & Extinktions Kurven mit c=0,5 vs. c=0,2 (Vmax = 100)

  23. Rescorla-Wagner Spreadsheet

  24. R-W sagt Übererwartung voraus DVCS=c(Vmax-Vall) • Blocking • Wenn Vall=Vmax=100 wird CS2 kaum noch assoziative Stärke erreichen (Blocking) • Übererwartung • Bei Vall>Vmax wird DV<0!

  25. Computational Neuroscience

  26. PER Konditionierung

  27. R-W und Vummx1

  28. Blocking und Dopamin

  29. Seit Rescorla und Wagner • Sutton und Barto 1990: Reinforcement learning, temporal difference models • „actor-critic model“ assoziativen Lernens http://en.wikipedia.org/wiki/Temporal_difference_learning http://www.scholarpedia.org/article/Temporal_difference_learning Reinforcement Learning: An Introduction Richard S. Sutton and Andrew G. Barto: http://www.cs.ualberta.ca/~sutton/book/the-book.html http://machinelearning.org

  30. Analyse von Spontanverhalten http://brembs.net/spontaneous/ http://www.plosone.org/doi/pone.0000443

  31. Die Organisation von Verhalten wird meist als Input/Output Modell beschrieben Brain function is ultimately best understood in terms of input/output transformations and how they are produced. Michael Mauk (2000): Nature Neuroscience 3, 649-651 Konstanter Input Verrauschter Output Konstanter Output …aber jedes Verhalten ist eine Antwort auf einen Reiz Nicht jeder Reiz bedingt die gleiche Antwort…

  32. baseline spike Drosophila am Drehmoment-Kompensator Selbst bei konstantem sensorischem Eingang verhält sich die Fruchtfliege variabel

  33. Zustandsraum-Rekonstruktion Koordinaten-Einbettung Zeitreihe: 80, 60, 40,…… Einbettungs-Dimension: 3 Drei Datenpunkte bestimmen einen 3D Vektor: All computations: Alexander Maye, UKE Hamburg

  34. Fliegen gegen Poisson Fliegenverhalten sieht nicht wie einfaches Rauschen aus Geometric Random Inner Products: GRIP Inter-Spike-Interval (ISI-)Analyse Fliegen als Zufallsgeneratoren? All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

  35. Statistik erster Ordnung ISI-Verteilungen haben ein „schweres Ende“ Potenzgesetz: Skaleninvarianz All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

  36. Unabhängigkeit der Daten Mischung der Einzelwerte ähnelt den Originaldaten nicht All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

  37. Nichtlinearität? Noch nicht einmal sehr komplexe stochastische Modelle reichen aus Branched Poisson Process: BPP Root mean square fluctuation of displacement Offensichtlich scheint die Nichtlinearität ein wichtigerer Faktor zu sein als die Zufälligkeit! All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

  38. Korrelation Nichtlinearität Nichtlineare Vorhersagen: S-Maps Mathematisch instabile, nichtlineare Prozesse steuern das Flugverhalten von Drosophila Logistische Gleichung: nichtlinear linear/stochastisch All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)

  39. Ein neues Verhaltensmodell Haben Fruchtfliegen einen freien Willen? Es muss eine input-unabhängige Output-Komponente geben:

More Related