Modulo 3: Reti neurali - naturali ed artificiali

1. 10/04/2012 1 Modulo 3: Reti neurali - naturali ed artificiali

2. 10/04/2012 2 Sintesi della lezione Neuroni, sinapsi, cervello Reti neuronali artificiali McCullough & Pitts Il perceptrone Limiti del Perceptrone Hopfield Back-Propagation Reti senza supervisione Lezioni e limiti delle reti neurali

3. 10/04/2012 3 Origini filosofiche dell’intelligenza artificiale Origini filosofiche del cognitivismo L’uomo come animale razionale (aristotele) La razionalità come applicazione della logica Cartesio La formalizzazione della logica Russell/Wittgenstein Logica come manipolazione formale di simboli Il sistema MIU La macchina di Turing come computer universale

4. 10/04/2012 4 Problem Solving Regole di produzione Creazione di una lista di possibili scenari/strategie Rappresentazione simbolica delle singole strategie Valutazione delle singole strategie Scelta della strategia migliore

5. 10/04/2012 5 Conseguenze dell’approccio razionalistico Intelligenza come manipolazione di rappresentazioni linguistiche del mondo esterno Intelligenza come sistema di elaborazione delle informazioni Intelligenza “senza cervello” Intelligenza senza storia (senza evoluzione) Intelligenza “senza corpo” Intelligenza asociale

6. 10/04/2012 6 Un’ipotesi alternativa Intelligenza come sistema, biologicamente evoluto per vivere nel mondo Ruolo fondamentale del cervello dell’evoluzione biologica del corpo dei “desideri del corpo” delle interazioni fra corpo e ambiente La logica/le lingue umane come prodotti recenti di meccanismi più generali condivisi da altri organismi

7. 10/04/2012 7 Livelli di descrizione del cervello Le singole molecole e i loro ricettori Funzionamento elettro-chimico del singolo neurone/singola sinapsi Funzionamento di piccoli reti di neuroni Funzionamento di singoli sistemi percettivi ad es. i primi stadi della visione Macro-funzionamento del cervello

8. 10/04/2012 8 Fonti di conoscenza sul cervello Fisiologia Anatomia Genetica Neurologia Registrazione dell’attività di: “Brain imaging” Psicologia Simulazione

9. 10/04/2012 9 Il neurone Tutti i sistemi nervosi animali sono costituiti da neuroni Fondamentalmente simili in tutti gli animali Nematode c. 600 Essere umano c. 10.000.000.000.000 (10 12) Forma del neurone Dendriti Soma Assona

10. 10/04/2012 10 Il neurone - funzione Riceve input da altri neuroni sui dendriti Genera impulsi che vengono trasmessi lungo l’assone Molto lento rispetto a componenti elettronici Comportamento influenzato da ormoni/neurotrasmettitori Modifica della soglia per la generazione di un impulso

11. 10/04/2012 11 Codifica dell’informazione da parte del neurone Non è pienamente capito 50 anni fa si pensava che il neurone fosse un dispositivo binario accesso/spento Ma oggi sappiamo che: Una parte dell’informazione trasmessa dal neurone dipende dalla frequenza degli impulsi Il neurone genera impulsi anche quando sta a riposo Sotto stimolo aumenta/riduce la frequenza degli impulsi Intervallo fra un impulso e il prossimo come portatore di informazione?

12. 10/04/2012 12 La sinapsi Spazio fra terminazione di un assone e i dendriti di un altro neurone Trasmissione di informazione Unidirezionale Trasmissione elettrica Trasmissione con neuro-trasmettitori Sinapsi eccitanti Sinapsi inibitorie Nel cervello umano circa 1015

13. 10/04/2012 13 Ruolo della sinapsi nella memoria Legge di Hebb Modifica della capacità di trasmissione dell’informazione A breve termine (reversibile) A lungo termine (LTP) Collegato a processi di apprendimento Blocco farmacologico del LTP blocca l’apprendimento Creazione/distruzione di sinapsi Nel corso dell’ontogenesi Elasticità cerebrale

14. 10/04/2012 14 Reti neuronali (naturali) Connettività estremamente ricca alcuni neuroni ricevono input da pià di 10.000 altri neuroni Connessioni prevalentemente a breve distanza Alcune connessioni a lunga distanza

15. 10/04/2012 15 Piccolo mondo Ogni neurone è connesso ad ogni altro con relativamente pochi passi

16. 10/04/2012 16 Funzionamento di una rete neurale Metodo di studio Esporre rete ad uno stimolo Studiare attività dei neuroni Registrazione da singoli neuroni Registrazione simultanea da diversi neuroni Identificazione del stimolo/dei stimoli che massimizza la risposta del neurone

17. 10/04/2012 17 Architettura dei primi stadi della visione Neuroni nella primo stadio del sistema della visione Studi su gatti/primati (Hubel & Wiesel) I neuroni formano una mappa della retina Ogni neurone risponde massimamente quando si stimola una certa area della retina campo ricettivo Secondo la propria collocazione i neuroni rispondono a diversi tipi di stimolo

18. 10/04/2012 18 I neuroni center-surround Cellule bipolari/ Cellule gangliari della retina Rispondono massimamente a punti di luce circondati da un’area oscura o vice/ versa

19. 10/04/2012 19 Il meccanismo di funzionamento di un neurone bipolare center-surround

20. 10/04/2012 20 Le tecniche di rappresentazione dei neuroni center-surround Codifica non accessibile alla coscienza Codifica distribuita Le caratteristiche dell’immagine sulla retina vengono codificate dall’attività di grandi numeri di neuroni Codifica difficilmente rappresentabile in linguaggio simbolico (naturale)

21. 10/04/2012 21 Flusso dell’informazione nel sistema visivo del gatto Architettura assai complessa Feature detectors a diversi livelli di astrazione Center surround Barre (sensibile alla lunghezza) Barre (end-stopping) Barre con un determinato orientamento Barre in movimento …. Oggetti particolari Facce La Cellula della nonna

22. 10/04/2012 22 Macro-architettura del sistema visivo Non esiste nel cervello un solo sistema visivo Blind sight Test della doppia disassociazione Se due funzionalità possono essere lesionati/risparmiati indipendentemente esse dipendono da diverse aree del cervello Moduli separati per: colore, moto ecc. “Sentieri separati per: Localizzazione di un oggetto Identità di un oggetto Nessuna equivalente del primal sketch di Marr

23. 10/04/2012 23 Rappresentazione della mano Mappe topologiche della mano Riorganizzazione delle mappe in caso di amputazione di un dito Ubiquità delle mappe ad es. mappe della retina

24. 10/04/2012 24 Macro-architettura del cervello Visione modulare Frenologia Brocca Visione olistica Lashley Lesioni focali portava ad una graduale diminuzione della capacità di memorizzazione Studi moderni Effetto di lesioni puntuali Il cervello è sicuramente modulare

25. 10/04/2012 25 Lo studio anatomico del cervello (macrostruttura) Divisione in due emisferi Vecchi componenti del cervello Ippocampo Amigdala Corteccia (6 strati) Diverse aree del cervello sono connesse a diversi sensori, apparati motori Connessioni ricorrenti Connessioni a lunga distanza

26. 10/04/2012 26 Studi neurologici Lesioni/disfunzioni agnosia faciale disfunzioni del cervello disfunzioni delle emozioni Doppia disassociazione

27. 10/04/2012 27 Imaging CT MRI fMRI PET

28. 10/04/2012 28 PET/MRI Diverse aree del cervello “si illuminano” nel corso di diverse operazioni cognitive Esempio Studio del linguaggio “Imaging” in quattro dimensioni Il cervello come sistema dinamico

29. 10/04/2012 29 Psicologici Studi dei tempi di reazione Possibile calcolare numero di passaggi per una determinata operazione cognitiva Esempio: Il problema: identificare se due oggetti, con un diverso grado di rotazione sono identici Il tempo di calcolo è proporzionale ai gradi di rotazione dell’oggetto Legge dei dieci passi

30. 10/04/2012 30 Sintesi I componenti base del cervello (neuroni/sinapsi) sono uniformi Per tutte le specie Per tutte le diverse funzioni Potenza dipende dalle dimensioni e dalla micro-architettura Il cervello come sistema per l’apprendimento/adattamento Dinamico: mappe in continua riorganizzazione Modifiche delle sinapsi Creazione/distruzione di sinapsi/neuroni

31. 10/04/2012 31 Struttura modulare del cervello Il cervello è sicuramente modulare diversi componenti svolgono diverse funzioni MA Organizzazione assai complessa I moduli non corrispondono necessariamente a quelli identificati dai cognitivisti Moduli a doppia funzione Zona di Wernicke (percezione di ordine/linguaggio) Mappe mobili

32. 10/04/2012 32 Limiti della sperimentazione diretta I dati che ricaviamo dal cervello sono raramente sufficiente per consentire una vera comprensione dei meccanismi di funzionamento Comprensione come capacità di ricostruzione/simulazione Estrema complessità Limiti tecnici della registrazione neuronale dell’imaging del metodo dei lesioni dei metodi psicologici pratici Limiti etici

33. 10/04/2012 33 Il metodo simulativo Creazione al computer di modelli di alcuni funzioni cerebrali Il modello riproduce quegli aspetti del funzionamento del cervello che lo sperimentatore ritiene fondamentali Questi elementi possono essere diversi per diversi sperimentatori Estrema semplificazione Studio del comportamento del modello Confronto con i dati sperimentali

34. 10/04/2012 34 Reti Neurali artificiali Tentativo di creare dei modelli che riproducano la struttura base di una rete neurale all’interno del cervello ad es. nel sistema visivo Componenti base Neuroni Sinapsi Calcolo distribuito Ogni neurone contribuisce al calcolo Rappresentazioni distribuite Le rappresentazioni di una rete neurale sono contenute nei pesi delle sinapsi Modello alternativo al modello di Van Neumann Difficoltà di implementazione tecnologica

35. 10/04/2012 35 Il modello di McCullough & Pitts Il neurone artificiale Connessioni/pesi Funzione di soglia Output binario Rete neurale come calcolatore universale La macchina di Van Neumann non è l’unica possibile implementazione di un calcolatore universale

36. 10/04/2012 36 Le reti neurali e l’apprendimento Problema di acquisizione della conoscenza Suggerimento di Van Neumann Un calcolatore efficace deve poter imparare come un bambino Legge di Hebb Stimolazione simultanea (o quasi) di due neuroni interconnessi provoca rafforzamento della sinapsi

37. 10/04/2012 37 Se S1=S2 allora W:=W+?W Altrimenti W:=W - ?W Implementazione della Legge di Hebb su un neurone artificiale

38. 10/04/2012 38 Implicazioni della Legge di Hebb Una volta che si è stabilita una forte connessione fra due neuroni è sufficiente un input ad un solo neurone per attivare il neurone al quale è collegato Funzioni (esempi) Condizionamento Ricostituzione dati parziali

39. 10/04/2012 39 Il perceptrone Rosenblatt (1958) Ispirati a studi sul sistema di visione del cervello Hardwired feature detectors Ognuno vede solo una parte dell’input Analoghi a “Feature detectors” nel cervello Neurone di output Connessioni da ogni feature detector al neurone di output “Peso” variabile delle connessioni fra feature detectors e neurone di output

40. 10/04/2012 40 “Perceptron learning procedure” Procedura di apprendimento che consente di apprendere qualsiasi mapping teoricamente acquisibile da parte di un perceptrone Algoritmo Presentare input (in ordine casuale) Se output giusto Non fare nulla Se output ON quando dovrebbe essere OFF Ridurre forza connessioni a FD che sono ON Se output OFF quando dovrebbe essere ON Aumentare forza connessioni a FD che sono ON

41. 10/04/2012 41 I perceptroni e l’intelligenza biologica Numero limitato di feature detector Una parte del cervello è geneticamente determinata Feature detectors Una parte è modificabile attraverso l’esperienza Connessioni fra feature detector e neurone di output Capacità di generalizzazione Robusto nei confronti del rumore “Graceful degradation”

42. 10/04/2012 42 Applicazioni dei perceptroni Auto-associazione La stessa immagine in input e in output Apprendimento Recupero immagine da immagine parziale e/o rumoroso Hetero-associazione/categorizzazione Riconoscimento di caratteri (OCR) Riconoscimento di caratteristici astratti

43. 10/04/2012 43 Esercitazione 1 Progettazione (a mano) di una rete per il calcolo della funzione AND

44. 10/04/2012 44 Esercitazione 2 Progettazione della funzione OR

45. 10/04/2012 45 Esercitazione 3 Apprendimento automatico Utilizzo del simulatore TLearn Definizione dell’architettura della rete Definizione dell’input di addestramento Definizione dell’output desiderato Studio di diverse coefficienti di apprendimento

46. 10/04/2012 46 Esercitazione 4 Apprendimento della funzione XOR

47. 10/04/2012 47 Limiti dei perceptroni Limiti già noti a McCullough & Pitts, Rosenblatt Separabilità lineare L’attacco di Minsky & Pappert Problemi non risolvibili con connettività locale Il problema del credit assignment

48. 10/04/2012 48 La separabilità lineare Un perceptrone con un solo livello può solo imparare problemi che sono linearmente separabili ad es: AND,OR,NOT Non può imparare problemi non separabili ad es: XOR

49. 10/04/2012 49 Problemi non risolvibili con la connettività locale Nel perceptrone i feature detectors hanno connessioni locali Nessun feature detector è connesso a tutti i neuroni di input Minsky e Pappert hanno dimostrato che esistono problemi che non possono essere risolti senza feature detector con connessioni a tutti gli input Il problema della parità

50. 10/04/2012 50 Il problema dei perceptroni a più livelli Un sistema a due (o più) livelli può risolvere problemi di complessità arbitraria MA Problema del credit assignment Non è possibile identificare quali neuroni/sinapsi sono responsabili per il buono/cattivo comportamento del sistema Non è possibili calcolare la correzione ai pesi delle sinapsi

51. 10/04/2012 51 Effetti dell’attacco di Minsky e Pappert Abbandono delle ricerche sulle reti neurali per molti anni Trionfo (temporaneo) dell’Intelligenza Artificiale classica

52. 10/04/2012 52 Critica alla critica Ma molti dei problemi che non possono essere risolti da un Perceptrone XOR Parity Sono molto difficili anche gli esseri umani e gli animali Gli stessi punti di debolezza del perceptrone sono un indizio che il cervello potrebbe funzionare in modo analogo Il cervello come sistema di pattern matching con limitata capacità di calcolo I perceptroni possono comunque essere utilizzate per la creazione di modelli complessi

53. 10/04/2012 53 Passato del verbo inglese La maggior parte dei verbi inglesi formano il passato con il suffisso “-ed” “I walk/I walked” I verbi più comuni sono irregolari “I have/I had” Assenza di regole chiare e semplici Difficoltà di formalizzazione delle regole Apprendimento dei bambini: tre fasi Risposte corrette (pochi verbi comuni) “Iperregolarizzazione ( “I have”/”I haved”) Risposta corretta

54. 10/04/2012 54 Sistema a reti neurali per la generazione del tempo passato Rumenlhart & Mcclelland (1986) Input: rappresentazione fonetica del radice del verbo (stringa caratteri) Output effettivo/desiderato: rappresentazione fonetica (stringa caratteri) Pattern associator Senza neuroni nascosti Senza connessioni ricorrenti Apprendimento in due fasi 10 verbi comuni 410 verbi

55. 10/04/2012 55 Risultati Tre fasi di apprendimento Errori simili a quelli dei bambini Generazione di risposte corrette per verbi non compresi nel “Training set”

56. 10/04/2012 56 Confronto con un sistema esperto classico Rete neurale Modello parsimonioso Resistente a rumore/errori Riproduce le fasi di apprendimento con un meccanismo unitario Sistema esperto Grande complessità delle regole Fragile nel confronto di rumore/errori Distinti meccanismi per diverse fasi di apprendimento Sistema di regole Apprendimento a memoria

57. 10/04/2012 57 Il modello di rappresentazione della conoscenza La conoscenza della rete neurale è implicito nei valori assegnati alle connessioni Non vi è una rappresentazione esplicita, linguiforma delle regole della sintassi Conclusione: è possibile riprodurre un comportamento linguistico tipicamente umano senza rappresentazioni/manipolazioni simbolico-linguistiche

58. 10/04/2012 58 Limiti del modello Due fasi di apprendimento 10 verbi 410 verbi comuni Il problema non è linearmente separabile Errori residui/ necessità di unità nascoste

59. 10/04/2012 59 Plunkett & Marchman (1991) Crescita naturale del vocabolario Frequenza d’uso realistica Reti multi-livello Riproduzione degli errori dei bambini

60. 10/04/2012 60 Hopfield e la riabilitazione delle reti neurali Reticolo di neuroni Immagine in input Apprendimento Hebbsiano Input parziale Iterazione Recupero immagine Generazione di prototipi

61. 10/04/2012 61 Hopfield e la riabilitazione (2) Analisi matematica del comportamento della rete Analogo ad un Spin-Glass Matematica ben conosciuto Possibile addestrare una rete con più livelli Riabilitazione delle reti neurali

62. 10/04/2012 62 Lezioni/problemi del modello di Hopfield Il cervello come sistema dinamico Modello di memoria distribuita Non simbolico Il cervello come sistema per la generazione di prototipi MA lunghi tempi di risposta Incompatibilità con i risultati della ricerca psicologica

63. 10/04/2012 63 Back-propagation Apprendimento per reti a più livelli La strategia Creare rete feed-forward con ogni livello connesso al livello precedente Presentare input Calcolare output Confrontare output effettivo e output desiderato Correggere ultimo livello di connessioni Calcolare output desiderato per penultimo strato di neuroni Confrontare con output effettivo ecc.

64. 10/04/2012 64 Impatto del back-propagation Possibilità (teorica) di insegnare qualsiasi mapping fra input e output anche linearmente non-separabile Applicazione a molti domini diversi Identificazione mine/roccia ecc.

65. 10/04/2012 65 NetTalk - il problema Sintesi della voce (inglese) Ortografia altamente irregolare Input Testo inglese Output Rappresentazione fonetica del discorso Output sonoro via DecTalk

66. 10/04/2012 66 NetTalk - architettura 7 gruppi di 29 neuroni in input Input presentata come stringa Gruppi di neuroni di input Ogni gruppo rappresenta un carattere 80 unità nascoste 26 unità di output (features)

67. 10/04/2012 67 NetTalk - apprendimento Discorso informale continuo di bambini Dizionario di singole parole Apprendimento tramite Back-Prop

68. 10/04/2012 68 NetTalk - risultati 95% di risposte corrette dopo 50.000 cicli di apprendimento Ancora in fase di miglioramento Sequenza di apprendimento simile a quello dei bambini Distinzione vocali/consonanti Ma sistema utilizza un solo vocale Babble Apprendimento corretto Generalizzazione Resistenza a lesioni

69. 10/04/2012 69 Il significato del back-propagation “Dimostrazione di esistenza” Esistono delle reti multi-strato con competenze interessanti Obiezioni neurologiche Non conosciamo alcun meccanismo neurologico capace di implementare il back-prop. Il back-prop non consente l’utilizzo di connessioni ricorrenti Obiezioni ecologiche In natura gli animali non conoscono “le risposte corrette” Per capire un insegnante occorre un apparato cognitivo complesso

70. 10/04/2012 70 Apprendimento “senza supervisore” - il sistema visivo Il sistema visivo Livelli crescenti di astrazione Center-surround Barre di diverso orientamento Barre in movimento Sistema sotto-determinato a livello genetico Capacità acquisita attraverso l’apprendimento Inconscio

71. 10/04/2012 71 Modello di Linsker - architettura 7 strati (A,B,C,D,E,F,G) Ogni neurone prende input da c. 100 neuroni nello strato superiore Neuroni vicini prendono in parte gli stessi input Modifica delle connessioni con legge di Hebb

72. 10/04/2012 72 Modello di Linsker - risultati A - input B - livello medio di input nei neuroni sovrastanti C - Center-Surround D e strati superiori: cellule sensibili all’orientamento I strati si formano anche nell’assenza di input strutturato

73. 10/04/2012 73 Le Reti di Kohonen Strato di neuroni Ogni neurone connesso all’input Multidimensionale Misurare attivazione di ogni neurone Per il neurone più attivo Rafforzare risposta all’input Rafforzare risposta per tutti i neuroni vicini Formazione di “mappe neuronali” Simili alle mappe riscontrate nel cervello Riduzione di input multidimensionale ad input a bassa dimensionalità

74. 10/04/2012 74 Dettatura automatizzata Problema a più livelli fonemico Formazione di parole Formazione di frasi Ambiguità ad ogni livello Il problema fonetico Finlandese, giapponese, italiano, tedesco

75. 10/04/2012 75 Il “neural phonetic typewriter” Input: discorso parlato Pre-processing: 15 canali di frequenza Rete di Kohonen con 15 input Auto-organizzazione in mappa bi-dimensionale Ogni “zona” della mappa rappresenta un fonema Una parola rappresentata come una traiettoria sulla mappa

76. 10/04/2012 76 Mappe e traiettorie fonetiche

77. 10/04/2012 77 Reti neurali e intelligenza artificiale classica (1) Differenze Le reti neurali apprendono - si tratta quindi di reti adattivi Questo è particolarmente importante nel caso dell’apprendimento senza supervisore Le reti neurali generalizzano - l’esempio dei verbi inglesi Le reti neurali sono resistenti al rumore Le reti neurali sono resistenti alle lesioni Rappresentazioni distribuiti/rappresentazioni simboliche Le reti neurali sono più vicini all’intelligenza biologica

78. 10/04/2012 78 Reti neurali e intelligenza artificiale classica (2) Punti di contatto Le reti neurali come calcolatore universale (McCullough & Pitts) Modello “information processing” input/ elaborazione informazione/ output Le reti neurali non hanno un corpo Le reti neurali non hanno “valori” da mantenere Le reti neurali non hanno autonomia Le reti neurali non vivono in un ambiente fisico

79. 10/04/2012 79 Applicazioni delle reti neurali In alcuni campi è diventato una tecnologia standard ad es. OCR Analisi di spettri (controllo esplosivi, droga) MA Nella maggior parte dei campi vince la tecnologia standard ad es. gioco dei scacchi Non da risposte per cognizione complessa

80. 10/04/2012 80 Reti neurali e evoluzione Problema della complessità In una rete, ad architettura fissa, il tempo di addestramento cresce esponenzialmente con la complessità del problema NP-completeness Possibile solo addestrare reti piccoli Biologicamente realistico Macro-architettura dev’essere fissato dal progettista Per problemi complessi il compito può rilevarsi impossibile Evoluzione artificiale

81. 10/04/2012 81 EsercitazioneCreazione di una rete per il riconoscimento delle persone Funzionalità Imparare delle descrizioni di un certo numero di persone Restituire la descrizione completa di una persona in base ad una descrizione parziale

82. 10/04/2012 82 Codifica dell’input e dell’output Sesso M: 0 F: 1 Altezza <1,60:0 >=1,60:1 Capelli: corti:0 Lunghi:1 Capelli Scuri:0 Altro:0 Robusto Meno della media:0 Media o più della media:1

83. 10/04/2012 83 Architettura della rete

84. 10/04/2012 84 Una rete autoassociativa

85. 10/04/2012 85 Fasi del progetto Addestramento con dati pieni Creazione file di dati incompleti Test con dati incompleti Modifica/miglioramento architettura