Systemy wspomagania decyzji
This presentation is the property of its rightful owner.
Sponsored Links
1 / 29

Systemy wspomagania decyzji PowerPoint PPT Presentation


  • 119 Views
  • Uploaded on
  • Presentation posted in: General

Systemy wspomagania decyzji. Sieci neuronowe – neurony typu Adaline i Hebba. x 0 =1. w 0. x 1. w 1. x 2. w 2. 1. S. y. -1. x n. w n. d =delta. Pojawia sie tu tzw. „reguła delta”. S. w (t+1)= w (t)+ hd x (t). d. Neuron typu adaline.

Download Presentation

Systemy wspomagania decyzji

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


Systemy wspomagania decyzji

Systemy wspomagania decyzji

Sieci neuronowe – neurony typu Adaline i Hebba


Systemy wspomagania decyzji

x0=1

w0

x1

w1

x2

w2

1

S

y

-1

xn

wn

d=delta. Pojawia sie tu

tzw. „reguła delta”.

S

w(t+1)=w(t)+hdx(t)

d


Neuron typu adaline

Neuron typu adaline

Model neuronu typu adaline (ang. AdapitiveLinearNeuron) został zaproponowany przez Bernarda Widrowa. Schemat ogólny jest pokazany na rysunku. Funkcja aktywacji przyjmowana jest zazwyczaj jako bipolarna (zwana też signum od słowa „znak”):

gdzie

Wyrażenie na s czasami zapisujemy w sposób zwarty wprowadzając rozszerzony wektor wag tak, aby zawierał próg b oraz rozszerzony wektor wejściowy zawierający dodatkowo jeden impuls x0=1:

Wtedy


Systemy wspomagania decyzji

Budowa tego neuronu jest bardzo podobna do modelu perceptronu, a jedyna różnica dotyczy algorytmu uczenia. Sposób obliczania sygnału wyjściowego jest taki sam jak w klasycznym perceptronie, natomiast przy uczeniu neuronu adaline porównuje się sygnał wzorcowy d z sygnałem s na wyjściu części liniowej neuronu, co daje następujący błąd

Uczenie (dobór wag) sprowadza się do minimalizacji funkcji błędu zdefiniowanej wzorem (średni błąd kwadratowy):


Systemy wspomagania decyzji

Zgodnie z algorytmem – zaproponowanym przez Widrowa – do minimalizacji funkcji błędu stosuje się metodę największego spadku (podobnie jest dla neuronu sigmoidalnego). Tak więc wagi w neuronie typu adaline modyfikujemy następująco

w którym h>0 jest współczynnikiem uczenia, E(w) to zdefiniowana poprzednio funkcja błędu. Współczynnik h na ogół dobiera się eksperymentalnie.

Pamiętajmy, że w powyższym wzorze występuje rozszerzony wektor wag, a zatem mamy w0=b.


Systemy wspomagania decyzji

Gradientowa metoda największego spadku

E(w1,w2)

w1

w2


Systemy wspomagania decyzji

Obliczamy pochodną

Zatem wzór na modyfikację wag przybiera postać

Powyższa reguła jest szczególnym przypadkiem tzw. reguły delta (w tym przypadku nie uwzględniamy funkcji aktywacji neuronu).


Systemy wspomagania decyzji

Do uczenia neuronu będziemy potrzebowali ciągu uczącego

gdzie x(t) to wektor sygnałów wejściowych, dt to oczekiwane wartość wyjście (1). Podstawowy krok modyfikacji wag, tj. przejście od wektora uczącego t do t+1, ma postać (w zapisie wektorowym)

W zapisie dla poszczególnych składowych mamy (pamiętajmy, że w0=b, x0=1)


Systemy wspomagania decyzji

Schemat blokowy algorytmu uczenia neuronu typu adaline.


Systemy wspomagania decyzji

Przykład. Zastosować procedurę uczenia neuronu typu adaline o trzech wejściach (n=3). Posłużyć się danymi z poniższej tabeli.

Optymalny dobór wag w1, w2, w3 i progu b=w0 jest następujący:

-0,25; -0,25; 0,75; 0,25.

Wypisywać wartości po każdej epoce. Przetestować współczynnik uczenia h=0,1 oraz h=0,001.


Systemy wspomagania decyzji

Model adaline (podsumowanie)

Dany jest ciąg uczący

W ciągu tym x(t) oznacza wektor sygnałów wejściowych, a dt oznacza żądaną wartość wyjścia z neuronu.

Algorytm uczenia (wersja reguły delta) ma postać


Systemy wspomagania decyzji

Wpływ współczynnika uczenia h na jakość wag

W obu przypadkach wagi początkowe były zerowe (wi=0, b=0).

Wynik działania metody adaline: liczba epok=1000, h=0,1:

Wynik działania metody adaline: liczba epok=1000, h=0,01:


Systemy wspomagania decyzji

Model neuronu sigmoidalnego

x0=1

w0

x1

w1

x2

w2

s

f(s)

S

S

xn

wn

w ← w + h(d-f(s))f’(s)x

d


Neuron sigmoidalny

Neuron sigmoidalny

Funkcja aktywacji jest następująca

gdzie

jest zadanym parametrem.

Zatem wartość sygnału wyjściowego jest dana wzorem


Systemy wspomagania decyzji

Wyrażenie na s możemy zapisać w sposób bardziej zwarty wprowadzając rozszerzony wektor wag tak, aby zawierał próg b (czasami oznaczany też literką theta, q) oraz rozszerzony wektor wejściowy zawierający dodatkowo jeden impuls x0=1:

Wtedy


Systemy wspomagania decyzji

Miarę błędu E(w) definiujemy jako kwadrat różnicy wartości wzorcowej i wartości otrzymanej na wyjściu przy aktualnych wagach

Do uczenia używa się reguły największego spadku. Ale teraz – w odróżnieniu od modelu adaline – uwzględniamy także funkcję aktywacji. Wagi uaktualniamy zgodnie ze wzorem metody największego spadku

gdzie

to gradient funkcji wielu zmiennych E(w)=E(w0,…,wn).


Systemy wspomagania decyzji

Rozpisując wzór na modyfikacje wag na poszczególne składowe otrzymujemy

w którym h>0 jest współczynnikiem uczenia, E(w) to zdefiniowana poprzednio funkcja błędu. Współczynnik h na ogół dobiera się eksperymentalnie.

Pamiętajmy, że w powyższym wzorze występuje rozszerzony wektor wag, a zatem mamy w0=b (czasami oznaczany przez q).


Systemy wspomagania decyzji

Obliczamy pochodną

Pochodna funkcji sigmoidalnej (liczyliśmy na wykładzie 01) f’(s) wyraża się przez samą funkcję f (s) następującym wzorem


Systemy wspomagania decyzji

Ostatecznie wzór na modyfikację wag przybiera postać

Powyższa reguła jest szczególnym przypadkiem tzw. reguły delta (w tym przypadku uwzględniamy funkcję aktywacji neuronu).


Systemy wspomagania decyzji

Podsumowanie (uczenie neuronu sigmoidalnego)

Do uczenia neuronu dany jest ciąg uczący

gdzie x(t) to wektor sygnałów wejściowych, dt to oczekiwana wartość wyjścia. Podstawowy krok modyfikacji wag, tj. przejście od wektora uczącego t do t+1, ma postać (w zapisie wektorowym)

W zapisie dla poszczególnych składowych mamy (pamiętajmy, że w0=b, x0=1)


Systemy wspomagania decyzji

Model neuronu Hebba

x0=1

w0

x1

w1

x2

w2

y

S

xn

wn

y

w(t+1)=w(t)+hyx(t)


Systemy wspomagania decyzji

Budowa neuronu Hebba jest podobna jak w przypadku adaline czy sigmoidalnego, ale charakteryzuje się specyficzną metodą uczenia, znaną jako reguła Hebba. Reguła ta występuje w wersji z nauczycielem i bez nauczyciela. Donald O. Hebb badając działanie komórek nerwowych zauważył, że powiązanie dwóch komórek jest wzmacniane, jeśli obie są pobudzane w tym samym czasie. Sformułował to tak:

Jeżeli akson komórki A bierze systematycznie udział w pobudzaniu komórki B powodującym jej aktywację, to wywołuje to zmianę metaboliczną w jednej lub obu tych komórkach, która prowadzi do wzrostu skuteczności pobudzania komórki B przez komórkę A.

Szczególnie interesująca jest wersja uczenia bez nauczyciela (czasami mówi się „bez nadzoru” od ang. unsupervised). Oznacza to, że na wejście neuronu podawane są tylko „zadania” – bez wskazówek dotyczących rozwiązania.


Systemy wspomagania decyzji

Zgodnie z regułą Hebba modyfikacja wagi wi— czyli Dwi— jest proporcjonalna do iloczynu sygnału wejściowego xi propagującego się wzdłuż tego połączenia oraz sygnału wyjściowego y:

Tak więc podstawowy krok procedury uczenia metodą Hebba bez nauczyciela ma postać

We wzorach jak zwykle dodatni parametr h oznaczą stałą uczenia wpływającą na szybkość jak i dokładność procesu uczenia.


Systemy wspomagania decyzji

Przykład

Współczynnik uczenie przyjmujemy h=1,

a funkcję aktywacji bipolarną, f(s)=sgn(s).

W tym przykładzie nie uwzględniamy progu b (bias), tak więc nie ma wagi w0=b oraz wejścia x0=1.


Systemy wspomagania decyzji

Wykonując kolejne kroki algorytmu Hebba otrzymujemy w pierwszej epoce następujące wektory (kolumny) wag:

Po wykonaniu powyższego przykładu widzimy, że w przypadku bipolarnej funkcji aktywacji i współczynnika uczenia h=1 reguła Hebba sprowadza się do dodawania lub odejmowania wektora sygnałów wejściowych od aktualnie obowiązujących wag.

Wykonać analogiczny trening ale z sigmoidalną funkcją aktywacji (przyjąć b=1).


Systemy wspomagania decyzji

Pewnym problemem w podstawowej metodzie Hebba jest to, że wagi mają tendencję do przyjmowania dużych wartości, gdyż w każdym cyklu uczącym dodajemy przyrosty Dw:

Jedną z metod poprawy tej reguły jest użycie tzw. współczynnika zapominania 0≤g ≤ 1, który zmniejsza znaczenie aktualnych wag. Zmodyfikowana reguła Hebba ma postać:

Współczynnik zapominania g stanowi najczęściej niewielki procent stałej uczenia h>0. Typowe wartości to g<0,1.


Systemy wspomagania decyzji

Neuron Hebba występuje także w wersji z nauczycielem. Wtedy modyfikacja wag w cyklu uczenia ma postać

gdzie d oznacza sygnał wzorcowy.

Tak więc podstawowy krok procedury uczenia ma wtedy postać


Systemy wspomagania decyzji

Przykład

Przykład dotyczy uczenia neuronu z wykorzystaniem reguły Hebba z nauczycielem. Zadanie polega na modyfikacji wag, aby rozpoznawać cyfry 1 i 4. Białym pikselom przypisujemy -1, a czarnym +1.


Systemy wspomagania decyzji

Otrzymujemy następujące dwa wektory ciągu uczącego:

Jako funkcję aktywacji użyjemy funkcji typu signum

współczynnik uczenia h=0,2, a wagi początkowe zerowe (w1=w2=0).


  • Login