Symulacje ludzkiej pami ci
Download
1 / 29

Symulacje Ludzkiej Pamięci. - PowerPoint PPT Presentation


  • 96 Views
  • Uploaded on

Symulacje Ludzkiej Pamięci. Włodzisław Duch Katedra Metod Komputerowych, Uniwersytet Mikołaja Kopernika, Grudziądzka 5, 87-100 Toruń. WWW: http://www.phys.uni.torun.pl/~duch. Fizyka i s ieci neuronowe . Pamięć Najprostsz e model e pami ę ci skojarzeniow ych Sieci atraktorowe

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' Symulacje Ludzkiej Pamięci.' - trory


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
Symulacje ludzkiej pami ci

Symulacje Ludzkiej Pamięci.

Włodzisław Duch

Katedra Metod Komputerowych,Uniwersytet Mikołaja Kopernika,

Grudziądzka 5, 87-100 Toruń.

WWW: http://www.phys.uni.torun.pl/~duch


Fizyka i sieci neuronowe.

Pamięć

Najprostsze modele pamięci skojarzeniowych

Sieci atraktorowe

Pamięć semantyczna

Pamięć robocza i SMNI

Pamięć epizodyczna.

Model amnezji

Degeneracja pamięci

Leabra - symulacje psychologiczne

Perspektywy modeli neuronowych

Plan


Sieci neuronowe i fizyka
Sieci neuronowe i fizyka

Wielkie wyzwanie fizyki: stworzenie modelu świata, który da się zrozumieć.

Mózg: najbardziej skomplikowany obiekt w znanym Wszechświecie.

Działanie mózgu mogą wyjaśnić tylko modele, na wielu poziomach, od molekuł do globalnych stanów dynamicznych.

Mózg jest zbyt ważny, by zostawić go neurofizjologom. Neurofizyka i neuroinformatyka;

Cognitive computational neurosciences.

Institute for Theoretical Neurophysics, Uni Bremen


Sieci neuronowe
Sieci neuronowe

1938 N. Rashevsky, neurodynamika - sieci neuronowe jako układy dynamiczne, sieci rekurencyjne.

1943 W. McCulloch, W. Pitts, sieci neuronowe=układy logiczne

1958 F. Rosenblatt, perceptron, sieć jako funkcja; MLP, RBF, 1986 wsteczna propagacja błędów; liczne zastosowania.

1973 Chr. von der Malsburg, samoorganizacja w mózgu; 1982 Kohonen, Self-Organized Mapping

Impulsujące szczegółowe modele neuronów

Modele stochastyczne; sieci bezwagowe ...


Model hopfielda
Model Hopfielda

Wektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście.

Dynamika (iteracje) Þ sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja).

t - czas dyskretny (numer iteracji).

Stany stacjonarne = atraktory punktowe.


Regu a hebba
Reguła Hebba

„Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B

i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.”

D. O. Hebb, 1949

Na poziomie molekularnym:

LTP - Long Term Potentiation

LTD - Long Term Depression

E. Kandel, Nobel 2000


Pamięć

Ze względu na czas trwania:

  • LTM - pamięć długotrwała - lata. Kora + hipokamp.

  • Pamięć krótkotrwała (STM), robocza (WM), operacyjna - sekundy do minut, przy ciągłym odświeżaniu godzin; aktualizuje kombinacje stanów LTM. Stan dynamiczny mózgu.

  • Pamięć natychmiastowa, ikonograficzna, pętla fonologiczna - od ułamków do kilku sekund. Lokalny stan dynamiczny.

    Ze względu na rodzaje pamięci.

  • Pamięć rozpoznawcza (recognition memory) - już to widziałem, choć nie mogłem sobie przypomnieć (kora śród- i około-węchowa).

  • Pamięć opisowa (deklaratywna): epizodyczna i semantyczna.

  • Pamięć nieopisowa (niedeklaratywna): proceduralna, odruchów warunkowych (gotowości reakcji, dyspozycyjności), habituacja-sentetyzacja (nieasocjacyjna) oraz torowanie (priming).

  • Pamięć jawna (świadoma, explicit) i utajona (nieświadoma, implicit).

  • Pamięć emocjonalna - często utajona, ale dzięki połączeniom hipokamp-kora przejściowa-ciało migdałowate bywa jawna.


Bcm pami autoasocjacyjna
BCM: pamięć autoasocjacyjna

1 1 0 0 0 01 1 0 0 010 0 0 0 0 00 0 0 0 0 00 0 0 0 0 00 1 0 0 0 1

110000

010001

W - macierz połączeń synaptycznych.

q - próg pobudzenia

Pamięć rozpoznawcza.

Niższy próg - rozpoznawanie błędnych wektorów.

Binarne synapsy - możliwe biologicznie! Resorpcja kolców dendrytycznych.

BAM, Bidirectional Associative Memory - heteroasocjacja.


Cechy modelu bcm
Cechy modelu BCM

  • Zdolność do rozpoznawania uszkodzonych wzorców – adresowalność kontekstowa.

  • Czas nie zależy od liczby zapamiętanych wzorców.

  • Uszkodzenie części macierzy połączeń nie prowadzi do zapomnienia konkretnych wzorców - brak lokalizacji.

  • Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż dla wzorców odmiennych.

  • Przepełnienie pamięci (macierzy wag) prowadzi do chaotycznego zachowania.

Wniosek: najprostsze systemy rozproszone wykazują cechy typowej pamięci skojarzeniowej.


Pami i atraktory
Pamięć i atraktory

Za pamięć biologiczną odpowiedzialne są sieci atraktorowe.

Modele wyrastające z sieci Hopfielda - tylko atraktory punktowe, zbyt proste.

DMS, Delayed Match to Sample - małpa musi nauczyć się sekwencji wielu obrazów; w fazie testu po krótkiej prezentacji jednego obrazu i przerwie rzędu 30 s ma pokazać sekwencję kilku obrazów.

Wysoka aktywność (20 Hz) neuronów IT i PF do 30 s po prezentacji, pomiary z wielu elektrod.

Korelacje czasowe przechodzą w korelacje aktywności.

Model Amita pozwala odtworzyć krzywą korelacji.


Model amita
Model Amita

  • D. Amit, N. Brunel,S. Fusi, 1993-2000, teoria i symulacje

    Spoczynkowa aktywność neuronów (1-5 impulsów/s)

    Ok. 10.000 impulsów/s dochodzi do neuronu w pobliżu progu.

    1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor.

    2. Uczenie się przez tworzenie nowych atraktorów.

    Założenia ogólne:

  • Aktywność tła ma charakter stochastyczny.

  • Jednorodność: neurony w identycznym środowisku.

  • Wystarczy aktywność neuronu = liczbie impulsów na sekundę.

  • Spontaniczna aktywność różnych neuronów nie jest skorelowana.

  • Aktywacja neuronu jest sumą wkładów synaptycznych.

  • Gaussowski rozkład wkładów synaptycznych.


Schemat kolumny
Schemat kolumny

Sieć kolumn (ok. 1 mm2), każda 105 neuronów = 103 mikrokolumn.

Połączenia: populacje pobudzające i hamujące (bez adaptacji) wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe).

50-80% impulsów z lokalnych obwodów pobudzających.

Ok. 20% jednostek hamujących; 104synapsE i 2000 synaps I na neuron.


Dzia anie sieci
Działanie sieci

Sprawności synaptyczne: tylko LTP i LTD, ok. 5x słabsze.

Depolaryzacja membrany V(t)o t10ms opisanajest równaniem:

Wyniki symulacji programem SpikeNet, 2000-400.000 neuronów.

Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów.

Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego.

Etap 1: komórki mikrokolumn reagują na nauczone bodźce.

Etap 2: aktywność spoczynkowarośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci.

Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona. Etap 3: powstają korelacje pomiędzy mikrokolumnami.

Implementacja VLSI - gotowa.


Pami semantyczna
Pamięć semantyczna

Jak z epizodów tworzy się pamięć semantyczna?

Model McClleland-Naughton-O’Reilly (1995).

Uczenie synaptyczne, powstawanie reprezentacji wewnętrznych.

Relacje pomiędzy wektorami pobudzeń dla słów da się zinterpretować w przestrzeni ok. 300-wymiarowej.

Porównanie rezultatów eksperymentów mierzących szybkość skojarzeń i wektorów w przestrzeni cech na obrazach MDS.

Semantyka - oparta na relacjach podobieństwa.


Pami robocza
Pamięć robocza

Pamięć aktywna, dynamiczna, jej zawartość to treść świadomości.

Czas trwania rzędu sekund, pojemność 7±2 obiekty (Miller 1956).

Testy: głównie nieskorelowane słowa/liczby/symbole.

Porcjowanie: grupowanie prostszych obiektów w obiekty wyższego rzędu, mechanizm uczenia „divide and conquer”, pozwala pamiętać więcej pomimo ograniczeń STM.Dla obiektów wzrokowych STM mieści tylko 4±2 obiekty - np. chińskie znaki jeśli ktoś nie zna chińskiego.

Jak WM wiąże się z aktywnością EEG?

Jak uzasadnić magiczną liczbę 7?


SMNI

Lester Ingber, od 1983 r, SMNI, Statistical Mechanics of Neocortical Interactions (Phys. Rev. A & E).

Teoria statystyczna, uśrednianie po mikro i minikolumnach.

Mikrokolumy 110 neuronów; kolumny 105- 106 neuronów.

Mezoskopowy nieliniowy Lagrangian określa rozkład p. impulsacji w mikrokolumnie po oddziaływaniu z neuronami kolumny, uwzględniając oddziaływania międzykolumowe (neurony piramidowe) i szum synaptyczny.

Ewolucja parametrów modelu (sprawności synaptyczne, progi pobudzeń, częstości impulsacji n. hamujących i pobudzających) symulowana jest (PATHINT) metodą całkowania po trajektoriach a parametry dopasowane za pomocą Adaptive Simmulated Annealing.


Rezultaty smni
Rezultaty SMNI

Pierwsze oszacowania pojemności STM w 1984 roku. Atraktory STM: warunkowe rozkłady prawdopodobieństwa pobudzeń kolumn kory. Czas t =10 ms.

Lokalne oddziaływania minikolumn - czasy rzędu 5t wystarczą do silnych interferencji atraktorów. Konieczne są oddziaływania długozasięgowe i „odświeżanie” falami 40 Hz: naiwne oszacowanie: 25 ms/3.5ms7.

Reguła 7±2 i 4±2 - różnica wynika z l. neuronów/mikroklumnę. Większość kory - 110 n/mikrokolumna; kora wzrokowa ma 220. Efekt najlepszego pamiętania początku i końca listy, najsłabiej w środku - statystyka atraktorów. Struktura EEG - oscylacje 16 Hz, korelaty WM?


Pami epizodyczna
Pamięć epizodyczna

Układ neuromodulacji reguluje plastyczność hipokampa i kory.

Pamięć średnioterminowa zapisana jest w sieciach hipokampa, jako wskaźniki do kolumn kory (?)

Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest w synapsach w sposób rozproszony.

Pamięć epizodyczna - odtworzenie stanu mózgu w momencie epizodu.



Amnezja wsteczna
Amnezja wsteczna

Główna przyczyna:

utrata łączy do kory.

Objawy:

gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.


Amnezja nast pcza
Amnezja następcza

Główna przyczyna:

uszkodzenie systemu neuromodulacji.

Wtórnie: utrata łączy z korą.

Objawy:

Brak możliwości zapamiętania nowych faktów.


Amnezja semantyczna
Amnezja semantyczna

Główna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania.


Symulacje
Symulacje

Murre, Meeter (w trakcie): uszkodzenie łączy wewnątrzkorowych. 200 kolumn korowych; 42 kolumny hipokampa; neuromodulacja wpływa na parametry, ale nie jest explicite uwzględniana.Połączenia wewnątrz i pomiędzy neuronami - bez ograniczeń.Binarne neurony stochastyczne, p. wysłania impulsu zależy od pobudzeń i hamowania, szybkiego (wymuszone I) i powolnego (spontaniczne I).Uczenie Hebbowskie (Singer 1990), szybkość uczenia w korze mała. Nakrywanie wzorców: spore w hipokampie, niewielkie w korze.

Symulacje normalnego uczenia i przypominania: akwizycja - szybkie uczenie, hipokamp. konsolidacja - powolne korowe, spontaniczne przypominanie;testowanie - częściowe wektory, ile kolumn prawidłowo pobudzonych? Potęgowe prawo zapominania, w wyniku interferencji nowych faktów.Gradienty Ribota i amnezja wsteczna; zanik RA, chwilowa amnezja globalna (TGA) w wyniku zaniku aktywności w hipokampie; AA i jej korelacje z RA; izolowana RA, pamięć utajona, poziomy analizy ...


Degeneracja pami ci
Degeneracja pamięci

Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps.

Jak wpłynie taka utrata na pojemność pamięci?

Odpowiedzi - na razie tylko w oparciu o modele Hopfielda.

Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza?

d - stopień uszkodzenia

k=k(d) funkcja kompensacji

Silne synapsy ulegają dalszemu wzmocnieniu.

Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci.


Kompensacja
Kompensacja

Poprawne odpowiedzi jako funkcja ułamka usuniętych połączeń bez i z kompensacją.

Zmiana wielkości basenów atrakcji w wyniku uczenia z kompensacją.


Leabra

Realizm biologiczny.

Rozproszone reprezentacje.

Konkurencja k-WTA.

Dwukierunkowa propagacja aktywacji.

Uczenie Hebbowskie.

Uczenie redukujące błędy.

Wiele zastosowań do modelowania percepcji, uwagi, pamięci, zjawisk lingwistycznych i myślenia/planowania.

Leabra


Eksperymenty a not b

Piaget (1954) - eksperymenty A-not B z niemowlętami i małpami.

E - eksperymentator, N - niemowlę, A, B - miejsca

1. N obserwuje, jak E chowa zabawkę w A, po krótkiej przerwie ją tam znajduje; powtarza się to kilka razy.

2. N obserwuje, jak E chowa zabawkę w B, ale po krótkiej przerwie szuka zabawki nadal w A.

Uczenie faworyzuje A, aktywacja WM (kora prefrontalna) B.

Lezje kory prefrontalnej u rezusów i N - silny efekt A-not B.

Konkurencja pomiędzy uczeniem synaptycznym i aktywacjami.

Symulacje - Munakata (1998).

Eksperymenty A-not B


Rezonans stochastyczny

Synchronizacja impulsów nie jest idealna - czy wariancja to szum czy ukryty sygnał?

W układach sensorycznych (dotyk 1996; wzrok 1997) czułość wzrasta.

Rezonans stochastyczny

Usher, Feingold (Biological Cybernetics 83, L11-L16,2000) badali czas odpowiedzi na pytania z tabliczki mnożenia.

Szum: sekwencja tonów o przypadkowej częstości, 50-90 dB.

Wyniki tłumaczy prosty model oparty na modelach neuronów całkujących zaszumione pobudzenia z upływnością (noisy leaky integrator).


Perspektywy

Sieci impulsujące, bliższe temu, co neurofizjolog mierzy. szum czy ukryty sygnał?

Modele pamięci obejmujące szerszy zakres zjawisk.

Integracja z modelami układów sensorycznych.

Integracja z czynnościami poznawczymi.

Perspektywy

Fizyka umysłu?


ad