Download
1 / 12
120 likes | 197 Views
NEURONHÁLÓK. Egy neuron modellje. A 1. Súlytényezők. w 1. szummázó küszöb fv. Kimenet. w i. Bemeneti aktiválások. A i. w n. A n. Küszöbfüggvények lépésfüggvény szigmoid függvények Lépésfüggvény 1, ha x > 0 f(x) = f’(x), azaz f(x) előző értéke ha x = 0 -1, ha x < 0
E N D
Egy neuron modellje A1 Súlytényezők w1 • szummázó küszöb fv. Kimenet wi Bemeneti aktiválások Ai wn An
Küszöbfüggvények • lépésfüggvény • szigmoid függvények • Lépésfüggvény • 1, ha x > 0 • f(x) = f’(x), azaz f(x) előző értéke ha x = 0 • -1, ha x < 0 • ahol x = Ai*wi
Szigmoid függvények f(x) = 1 / (1+e-x) f(x) = tanh(x)
Kétrétegű neurális hálózat Y1 Yj Yn W11 Wmj W1j Wij Wmn Win Wi1 W1n Wm1 X1 Xi Xm
Tanulás Donald Hebb: Organization of Behaviour wij = ai aj ahol a tanulási sebesség, ai és aj az i-edik és j-edik neuron aktivitási szintje (két különböző réteg!) Ez az ú.n. korrelációs tanulás. Egy változata wij = - wij + S(ai) S(aj) ahol S egy szigmoid függvény
Tanulás tanító nélkül A fenti két módszer egyáltalán nem vizsgálta a kimenetet a súlytényezők változtatásához. Ezért ezt „tanító nélküli” tanulásnak (néha önszerveződésnek) nevezzük. Tanulás tanítóval Minden bemenethez megadjuk a kívánt kimeneti értéket. Az ettől való eltérés a hiba, ennek alapján korrigáljuk a súlytényezőket. A hibakorrekciós tanulás egy formája: wij = ai[cj – bj] ahol a tanulási sebesség, ai az i-edik neuron bj a j-edik neuron aktivitási szintje és cj a kivánt szint.
Többrétegű neurális hálózatok Visszafelé terjedéses hálók: tanítóval tanulnak, bemeneti és kimeneti rétegük között egy v. több rejtett réteg található. A hibát először a kimenetre határozzuk meg, onnan transzformáljuk vissza a rejtett rétegekre, innen a „visszafelé terjedés” név.
o1 ok oq kimeneti réteg w21k W2 súlymátrix w211 w21q h1 hj hp rejtett réteg W1 súlymátrix w1nj w11j w1np w111 w1ij w11p w1ip w1n1 w1i1 i1 ii in bemeneti réteg
A működés Előre menet 1. A rejtett réteg neuronjainak aktivitása: h = F(iW1), ahol h a rejtett réteg neuronjainak vektora, i a bemeneti réteg neuronjainak vektora és W1 a súlymátrix a két réteg között. 2. A kimeneti réteg neuronjainak aktivitása: o = F(hW2), ahol o a kimeneti réteg neuronjainak vektora, h a rejtett réteg neuronjainak aktivitása és W2 a súlymátrix a két réteg között. F az 1/(1+e-x) alakú szigmoid függvény. Visszafelé menet 3. A kimeneti hiba meghatározása: d=o(1-o)(o-t), ahol d a hibavektor, o a kimeneti réteg neuronjainak aktivitása, t a helyes kimeneti értékek vektora.
4. A rejtett réteghibája: e = h(1-h)W2d, ahol e a hibavektor a rejtett réteg neuronjaira. 5. A súlytényezők módosítása a második kapcsolati rétegben: W2 = W2 + W2, ahol W2 = hd + W2t-1 6. A súlytényezők módosítása az első kapcsolati rétegben: W1 = W1 + W1t, ahol W1t = i e + W1t-1
A tanultak visszahívása • h = F(W1i) • o = F(W2h), ahol o a visszahívott mintázat
