RETI NEURALI - 2

1. RETI NEURALI - 2

2. TIPI DI APPRENDIMENTO • Esistono due tipi di apprendimento: • Supervisionato • Non supervisionato • L’apprendimento supervisionato fa uso di una serie di esempi di cui si conosce l’output • L’apprendimento non supervisionato classifica l’input mediante autoorganizzazione

3. APPRENDIMENTO SUPERVISIONATO

4. APPRENDIMENTO SUPERVISIONATO • Algoritmo: • N esempi ciascuno composto da k input • J output • Ogni ciclo viene chiamato epoca di apprendimento • Durante l’addestramento la rete impara la relazione fra input ed output

5. APPRENDIMENTO SUPERVISIONATO • Algoritmo:

6. APPRENDIMENTO SUPERVISIONATO • Regola Delta generalizzata: Errore = ( Dj – Oj) 2 • Dwij = - e(d err / dwij) • Vogliamo minimizzare l’errore • Facciamo piccoli spostamenti di segno opposto alla derivata della funzione errore

7. APPRENDIMENTO SUPERVISIONATO

8. APPRENDIMENTO SUPERVISIONATO • In questo modo ci spostiamo sempre nella direzione opposta a quella in cui l’errore cresce: se l’errore E cresce all’aumentare di wji i pesi vengono diminuiti, mentre se E diminuisce al crescere di wji i pesi vengono aumentati. • Ad ogni ciclo ci avviciniamo al minimo dell’errore • Quando l’errore è minore di e la rete si ferma.

9. APPRENDIMENTO SUPERVISIONATO • Questo è il cosiddetto metodo del gradiente decrescente • E’ la base dell’algoritmo di apprendimento backpropagation (retropropagazione dell’errore) • Nelle reti a più strati non si può applicare direttamente perché mentre conosciamo l’errore sullo strato di output non conosciamo l’errore sullo strato hidden • L’algoritmo arriva alla soluzione mediante manipolazioni matematiche

10. APPRENDIMENTO SUPERVISIONATO • Quando la rete ha appreso si congelano i pesi e si utilizza la rete in testing, ossia per risolvere problemi nuovi • Quanto migliore è la scelta del training set, tanto più facile per la rete è generalizzare • Le reti backpropagation sono le più potenti e versatili attualmente implementate

11. APPRENDIMENTO SUPERVISIONATO • TEOREMA DI HECHT-NIELSEN-KOLMOGOROV:  Data una qualsiasi funzione f:{0,1}n --> Rm, f(x) = y, f puo’ essere implementata esattamente da una rete neurale feedforward a tre strati con n elementi nel primo strato, 2n+1 elementi nello strato nascosto, ed m elementi nello strato di output.

12. APPRENDIMENTO NON SUPERVISIONATO • La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. • Consiste in uno strato di N elementi, detto strato competititvo. • Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.

13. APPRENDIMENTO NON SUPERVISIONATO • La SOM e’ stata sviluppata negli anni 80 da T. Kohonen sulla base di precedenti studi di neurofisiologia. • Consiste in uno strato di N elementi, detto strato competititvo. • Ciascuno di questi riceve n segnali x1,…,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij.

14. APPRENDIMENTO NON SUPERVISIONATO

15. APPRENDIMENTO NON SUPERVISIONATO Per stimare l’intensita’ Ii dell’input : Ii = D(wi,x) wi=(wi1,…,win)T x i =(x1,...,xn)T D(u,x) e’ una qualche funzione distanza, ad es. quella euclidea.

16. APPRENDIMENTO NON SUPERVISIONATO • A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensita' di input (ossia quale wi e’ il piu’ vicino ad x). • La SOM prevede a questo punto un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico.

17. APPRENDIMENTO NON SUPERVISIONATO • Nella regione corticale del cervello, neuroni fisicamente vicini mostrano legami piu' forti, mentre ad una certa distanza iniziano a mostrare legami inibitori. • Ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la forma "a cappello messicano".

18. APPRENDIMENTO NON SUPERVISIONATO

19. APPRENDIMENTO NON SUPERVISIONATO • L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti. • A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "winner Take All Law" (WTA). • I dati di training consistono in una sequenza di vettori di input x .

20. APPRENDIMENTO NON SUPERVISIONATO • Lo strato di Kohonen decide poi il neurone vincitore sull abase della distanza minima. • Ora i pesi vengono modificati secondo la legge winew = wiold + a(x - wiold)zi 0<a<1 e decresce lentamente nel tempo con una legge del tipo a(t) = a [1 - t/d] dove d e' un'opportuna costante.

21. APPRENDIMENTO NON SUPERVISIONATO

22. APPRENDIMENTO NON SUPERVISIONATO • Essendo zi <> 0 solo per il neurone vincitore, i pesi dei neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi. •  La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, conservando la topologia di partenza.

23. APPRENDIMENTO NON SUPERVISIONATO • La SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficolta' nel caso di ditribuzioni non lineari. • E’ evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.