Download
1 / 14
140 likes | 241 Views
Echo state network. Formálny popis. diskrétny matematický model (iterácie n = 1,2,3,...) K - vstupných neurónov: u(n) = (u 1 (n), u 2 (n),..., u K (n)) t N - interných neurónov: x(n) = (x 1 (n), x 2 (n),...,x N (n)) t L - výstupných neurónov: y(n) = (y 1 (n), y 2 (n),...,y L (n)) t.
E N D
Formálny popis • diskrétny matematický model • (iterácie n = 1,2,3,...) • K - vstupných neurónov: • u(n) = (u1(n), u2(n),..., uK(n))t • N - interných neurónov: • x(n) = (x1(n), x2(n),...,xN(n))t • L - výstupných neurónov: • y(n) = (y1(n), y2(n),...,yL(n))t
... • váhy uložené v maticiach • N x K matica vstupných váh: • Win(wijin) • N x N matica vnútorných váh: • W(wij) • L x (K+N+L) matica výstupných váh: • Wout(wijout) • N x L matica spätných váh: • Wback(wijback) • reprezentuje spojenia vedúce od výstupných k vstupným neurónom
Učenie • aktivácie interných neurónov • výstup • f – aktivačná funkcia sigmoidálna funkcia (tanh) • fout – výstupná funkcia (lineárna) (1) (2)
Učenie • concept of echo states • ak sa stav siete menil dostatočne dlho, možno povedať, že stav siete je jednoznačne určený predchádzajúcimi vstupmi a výstupmi • teda : pre každý interný signál xi(n) existuje echo funkcia ei, ktorá mapuje minulé vstupy a výstupy v momentálnom stave siete.
Učenie • echo stav je prepojený s matematickými vlastnosťami váhovej matice W. • zatiaľ neexistuje nutná a postačujúca podmienka, ktorá umožní rozhodnúť, či dané váhové matice Win, W, Wback a teda aj sieť sú v echo stave. • existuje však postačujúca podmienka pre neexistenciu echo stavov.
Postačujúca podmienka pre neexistenciu echo stavov • NN • U, D, Win, W, Wback, f=tanh • Win, Wback : nemajú vplyv na echo stav • ak pre W je splnené, potom bez ohľadu na vstup a výstup z intervalu UxD platí: sieť neobsahuje žiadne echo stavy • je najväčšie charakteristické číslo matice W
Učenie • Generovanie matice váh – W • je to tzv. riedka matica • veľkosť N x N • náhodná inicializácia [-1,1] • normovanie • škálovanie
Učenie • Škálovací parameter • upravuje dynamiku časovanie zmien v DR • malá hodnota predstavuje rýchle zmeny v DR • štandardne sa používa hodnota z intervalu <0.7,0.98> • voľba tohto je dôležitá pre úspech učenia tejto siete
Učenie • Voľba mohutnosti W • veľkosť trénovacej množiny T • zložitosť danej úlohy • všeobecné pravidlo • N je z intervalu <T/10, T/2> • N sa vyberá bližšie k T/2, čím viac sú dáta z trénovacej množiny periodické • týmto predídeme preučeniu siete
Učenie • Príklad • máme : vstupné a výstupné trénovacie dáta • (u(1), d(1), ... , u(T), d(T)) • chceme : sieť ( Win,W , Wback, Wout ), ktorej výstup y(n) aproximuje výstupné dáta d(n) za pomoci vstupných dát u(n) • Riešenie • Krok 1 - vygenerujeme maticu W • Krok 2 • nainicializujeme sieť na požadovaný stav, napr. x(0) = 0 • za pomoci (1) sieťou preženieme vstupné a výstupné dáta, u(n), d(n-1) n = 0, ..., T
Učenie • v čase n=0 je d(n) nedefinované, položíme d(n)=0 • pre čas > T0(washout time) uložíme • stav siete x(n) ako nový riadok matice M o veľkosti (T-T0+1)x(K+N+L) • tanh-1d(n) ako nový riadok matice T o veľkosti (T-T0+1)xL • Krok 3 (výpočet výstupných váh) • vypočítame čo je Wout s veľkosťou (K+N+L)xL, kde i-ty stĺpec predstavuje i-ty výstupný neurón
Ladenie • nestabilita pri testovaní • treba pridať šum pri procese vzorkovania, teda použiť upravenú rovnicu (1) na tvar: • ako šum zväčša sa použije hodnota z intervalu <0.0001, 0.01> • odstránenie spojení vedúcich z výstupných do výstupných neurónov • počas vzorkovania uložíme stavy bez výstupných neurónov a pri testovaní použijeme modifikovanú rovnicu (2) v tvare:
