Inteligencja obliczeniowa sieci dynamiczne
This presentation is the property of its rightful owner.
Sponsored Links
1 / 36

Inteligencja Obliczeniowa Sieci dynamiczne. PowerPoint PPT Presentation


  • 99 Views
  • Uploaded on
  • Presentation posted in: General

Inteligencja Obliczeniowa Sieci dynamiczne. Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch. Teoria aproksymacji Funkcje radialne Sieci RBF. Co było. Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej. Co będzie. Sieci dynamiczne.

Download Presentation

Inteligencja Obliczeniowa Sieci dynamiczne.

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Inteligencja obliczeniowa sieci dynamiczne

Inteligencja ObliczeniowaSieci dynamiczne.

Wykład 14

Włodzisław Duch

Uniwersytet Mikołaja Kopernika

Google: W. Duch


Co by o

Teoria aproksymacji

Funkcje radialne

Sieci RBF

Co było


Co b dzie

Sieci ze sprzężeniami zwrotnymi

Model Hopfielda

Modele pamięci asocjacyjnej

Co będzie


Sieci dynamiczne

Sieci dynamiczne

W układach biologicznych neurony mają silne sprzężenia zwrotne.

Dotychczas tylko model BAM wykorzystywał sprzężenia zwrotne.

Najprostsze modele sieci z rekurencją:

  • sieci Hopfielda,

  • sieci uczone regułą Hebba,

  • sieć Hamminga.

    Modele bardziej złożone:

  • RTRN - Real Time Recurrent Network, przetwarzająca sygnały w czasie rzeczywistym;

  • sieć Elmana i inne o uproszczonej strukturze rekurencji

  • RCC - Recurrent Cascade Correlation


Regu a hebba

Reguła Hebba

“Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.”

D. O. Hebb, 1949


Model hopfielda

Model Hopfielda

John Hopfield (1982, 1984), model pamięci autoasocjacyjnej.

Założenia:

  • Wszystkie neurony są ze sobą połączone (fully connected network) zwagami synaps Wij.

  • Macierz wag połączeń jest symetryczna, Wi,i=0, Wij = Wji.

    Symetria jest wygodna z teoretycznego p. widzenia,

    pozwala wprowadzić f. energii;

    jest nierealistyczna z biologicznego p. widzenia.

    Dyskretny stan neuronu - potencjał Vi = ±1 = sgn (I(V))

    W późniejszych modelach stany rzeczywiste.


Model hopfielda dynamika

Model Hopfielda - dynamika

Wektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście.

Dynamika (iteracje) Þ sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja).

t - czas dyskretny (numer iteracji).

Stany stacjonarne = atraktory punktowe.


Minimalizacja energii

Minimalizacja energii

Dla sieci o symetrycznych wagach taka dynamika prowadzi do minimalizacji funkcji typu energii.

W teorii układów dynamicznych - funkcji Lapunova, w fizyce statystycznej funkcji Hamiltona, w teorii optymalizacji funkcji celu lub kosztu, w obliczeniach ewolucyjnych funkcji przystosowania ...

Zmiana energii w czasie iteracji jest 0

Jeśli Ii0 to Vi nie może zmaleć, więc energia zmaleje;Jeśli Ii < 0 to D Vi < 0, energia również zmaleje.


Atraktory

Atraktory

Dynamika: ruch po hiperpowierzchni energii, zależnej od potencjałów neuronów, aż do osiągnięcia lokalnego minimum na takiej powierzchni. Jeśli Vi dyskretne to ruch po rogach hipersześcianu.


3 neurony

3 neurony


Stopniowe studzenie

Stopniowe studzenie

Atraktory punktowe - tylko dla symetrycznych połączeń.

Stany stabilne: minima lokalne E(W) odpowiadające pamiętanym wzorcom Vi - pamięć asocjacyjna.

Prawdopodobieństwo aktywacji: sigmoidalne.

W wysokiej T przypadkowe błądzenie, stopniowe studzenie pozwala unikać płytkich minimów lokalnych.Duża aktywacja i niska temperatura prawie na pewno da Vi=1


S a wykres e

S.A. - wykres E


S a wykres p

S.A. - wykres P


Uczenie

Uczenie

Warunek stabilności korzystając z reguły Hebba:

Wystarczy zażądać by:

Dla wielu wzorców korzystamy z reguły Hebba uśredniając:


Uczenie cd

Uczenie cd.

Warunek stabilności prowadzi do wydzielenia przesłuchu:

Jeśli korelacja pomiędzy wzorcami jest słaba to zbieżność.Lepsze rezultaty: metoda pseudoinwersji:


Pojemno modelu h

Pojemność modelu H

Odwracania macierzy V można uniknąć iteracyjną metodą rzutowania:

2Nmożliwych stanów sieci binarnej złożonej z N neuronów.

Zbyt wiele wzorców Þ chaos, zapominanie.

L. poprawnie pamiętanych wzorców: dla p. błędów 0.37% wynosi a/N= 0.138

Około 7 neuronów/N-bitowy wzorzec lub 7 połączeń/bit. W praktyce gorzej, ale różnie dla różnych algorytmów!

Liczba dobrze pamiętanych wzorców = f(e)


Diagramy fazowe

Diagramy fazowe

Dla a = pwzorców/N i różnych temperatur


Sprytna modyfikacja

Sprytna modyfikacja

Co zrobić jeśli wzorce b. duże, np. dla obrazów N106 ?

Faktoryzacja macierzy wag Wna m<Nwektorów własnychS

S - macierze N x m

Ortogonalizacjanowego wektora

Zamiast mnożenia wag przez wektory O(N2)wystarczy 2Nxm.

Szybka zbieżność dla dużych rozmiarów.

Jeśli f=I to warunek stabilności oznacza, że V to wektory własne.


Realizacja sprz towa

Realizacja sprzętowa


R wnania sprz towo

Równania - sprzętowo

Prosta realizacja sprzętowa, elektroniczna lub optyczna.

W stanie stacjonarnym wejście=wyjście.

Równania na sygnały wejściowe:

Ui- napięcie wejściowe i-tego wzmacniacza

Vi- napięcie wyjściowe i-tego wzmacniacza

C- pojemność wejściowa

Ii- zewnętrzny prąd i-tego wzmacniacza


Cam pami adresowalna kontekstowo

CAM, pamięć adresowalna kontekstowo

Sieć Hopfielda może służyć jako pamięć adresowalna kontekstowo.

Fragment epizodu pozwala odtworzyć całość.

Zbiór wzorców {Pi}, i=1..mFunkcja kosztu: korelacja wzorców z osiąganymi minimami:

Dla ortogonalnych prototypów i idealnej zgodności:

Energia używając reg. Hebba


Optymalizacja

Optymalizacja

Zagadnienia NP-trudne: jak zastosować sieć Hopfielda?

Przykład: najkrótsza droga pomiędzy N miastami.

Macierz niai=1,2..N, nr. miasta a - kolejność

Funkcja kosztów: min. droga + 1 w wierszu + 1 w kolumnie

Jak dobrać W?


Dob r wag

Dobór wag

Zagadnienia NP-trudne: jak zastosować sieć Hopfielda?

Przykład: najkrótsza droga pomiędzy N miastami.

Odległość

+ 1 w wierszu

+ 1 w kolumnie

N miast


Spe nianie ogranicze

Spełnianie ograniczeń

Rozwiązania mogą nie spełniać ograniczeń, obliczanie odbywa się wewnątrz hiperkostki, ma końcu osiągany jest stan poprawny.

Metody optymalizacji - operacje dyskretne, zawsze poprawne.

Zagadnienia wymagające spełniania ograniczeń i optymalizacji:

Problem N królowych: umieścić je na szachownicy NxN tak, by się nie szachowały.

Problem ustawienia skoczków, problem plecakowy ...

Problem rutowania pakietów w sieciach pakietowych.

Dobór funkcji kosztu, metody minimalizacji - intensywnie badane. Metody wyspecjalizowane radzą sobie lepiej ale wyrafinowane wersje metod pola średniego dają doskonałe rezultaty.

Porównanie metod SA bez i z modelem Hopfielda?


Model hopfielda i percepcja

Model Hopfielda i percepcja

Interpretacja sygnałów dochodzących do mózgu nie jest jednoznaczna.

Interpretacja musi spełniać ograniczenia:

Tylko jedna litera na danej pozycji.

Obecność danej litery aktywizuje rozpoznanie słowa.

Cecha na danej pozycji aktywizuje rozpoznanie litery.

KOT


3 s owa

KAT

KĄT

KAP

K..

Ą..

.A.

..T

..P

3 słowa


Faza snu

Faza snu

Sen może być okresem, w którym mózg prowadzi optymalizację zużycia swoich zasobów, utrwalając pewne zdarzenia/fakty i usuwając z pamięci pozostałe.

W modeluCAM Hopfielda szybkość ostatnio poznane są szybciej przypominane.

Wzorce odpowiadające fałszywym minimommożna wyeliminować pokazując antywzorce, związane z fałszywymi, płytkimi minimami.

Przypadkowe błądzenie wśród zniekształconych wzorców - sen?

Niektóre neurochipy do prawidłowej pracy muszą działać przez pewien czas bez żadnych sygnałów wejściowych - okres kalibracji.


Zaburzenia pami ci

Zaburzenia pamięci

Są eksperymentalne dowody na to, że za pamięć biologiczną odpowiedzialne są sieci atraktorowe.

Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps.

Jak wpłynie taka utrata na pojemność pamięci?

Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza?

d - stopień uszkodzenia

k=k(d) funkcja kompensacji

Silne synapsy ulegają dalszemu wzmocnieniu.

Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci.


Kompensacja

Kompensacja


Model amnezji

Model amnezji

Układ neuromodulacji reguluje plastyczność hipokampa i kory.

Pamięć średnioterminowa zapisana jest w sieciach hipokampa.

Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest więc w synapasch.


Powstawanie trwa ej pami ci

Powstawanie trwałej pamięci


Amnezja wsteczna

Amnezja wsteczna

Główna przyczyna:

utrata łączy do kory.

Objawy:

gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.


Amnezja nast pcza

Amnezja następcza

Główna przyczyna:

uszkodzenie systemu neuromodulacji.

Wtórnie: utrata łączy z korą.

Objawy:

Brak możliwości zapamiętania nowych faktów.


Inteligencja obliczeniowa sieci dynamiczne

Amnezja semantycznaGłówna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania.


Co dalej

Maszyna Boltzmana i sieci stochastyczne

Samoorganizacja

Klasteryzacja

Wizualizacja

Czyli modele Kohonena.

Co dalej?


Koniec wyk adu 12

Koniec wykładu 12

Dobranoc !


  • Login