נושאים מתקדמים בנוירו - חישוביים הרצאת מבוא

1. מנחה הקורס ד"ר לרימנביץ' נושאים מתקדמים בנוירו-חישובייםהרצאת מבוא

2. נושאים • מה זה נוירון? • 3 דורות של מודל הנוירון • נוירון ביולוגי • סימולציה לנוירון • IPSP/EPSP • LSM • סקירת מאמרים

3. Man versus Machine (hardware)

4. Man versus Machine (information processing) No memory management, No hardware/software/data distinction

5. Biologically Inspired • Electro-chemical signals • Threshold output firing

6. The Perceptron • Binary classifier functions • Threshold activation function xi = ∑jwijyj Yj: output from unit j Wij: weight on connection from j to i Xi: weighted sum of input to unit i yi = f(xi – qi) Threshold

7. i1 w01 w02 i2 y0 b=1 w0b x0 f Type 1. Perceptron • feedforward • Structure: 1 input layer 1 output layer • Supervised learning • Hebb learning rule • Able : AND or OR. • Unable: XOR

8. Learning in a Simple Neuron Perceptron Learning Algorithm: 1. Initialize weights 2. Present a pattern and target output 3. Compute output : 4. Update weights : Repeat starting at 2 until acceptable level of error

9. i1 w01 w02 i2 y0 b=1 w0b x0 f Computing other functions: the OR function • Assume a binary threshold activation function. • What should you set w01, w02 and w0b to be so that you can get the right answers for y0?

10. i2 i1 Many answers would work y = f (w01i1 + w02i2 + w0bb) recall the threshold function the separation happens when w01i1 + w02i2 + w0bb = 0 move things around and you get i2 = - (w01/w02)i1 - (w0bb/w02)

11. i2 i1 The XOR Function

13. Type 2. Multi-Layer-Perceptron • feed forward • 1 input layer, 1 or more hidden layers, 1 output layer • supervised learning • delta learning rule, backpropagation (mostly used) • Able : every logical operation

14. The Perceptron

15. Type 3. Backpropagation Net • feedforward • 1 input layer, 1 or more hidden layers, 1 output layer • supervised • backpropagation • sigmoid • Used :complex logical operations, pattern classification, speech analysis

16. The Back-propagation Algorithm On-Line algorithm: 1. Initialize weights 2. Present a pattern and target output 3. Compute output : 4. Update weights : Repeat starting at 2 until acceptable level of error

17. Pattern Separation and NN architecture

18. סימולציות של רשתות נוירונים דור I • McCulloch-Pitts threshold • מסוגל לחשב משוואות בוליאניות דור II • feed-forward, recurrent neural networks and backward propagation • מסוגלות לחשב משוואות פולינומיאלית ונקראים גם universal approximation מכיוון שמסוגלים לחקות כל משוואה אנלוגית. • בהשוואה לנוירון הביולוגי הדור 2 מסוגל ל"דבר" ב-rate coding או frequency coding שזה תדירות היריות (המרחק בין ירייה לירייה)

19. סימולציות של רשתות נוירונים דור III • עליה נוספת בקירוב הסימולציות לנוירון הביולוגי. • הנוירונים מסוגלים לרבב multiplexing תדרים יריות ו"לדבר" ב - pulse coding במקום ב – rate coding ובכך להעביר כמה "מילים" באותו זמן • "שעון" עצמי לכל יחידה

30. 100 I mV C gK gl gNa 0 stimulus Hodgkin-Huxley Model inside Ka Na outside Ion channels Ion pump K = אשלגן Na = נתרן

31. inside Ka Na outside Ion channels Ion pump stimulus m0(u) h0(u) u u Hodgkin-Huxley Model pulse input I(t)

32. דוגמאות • Integrate & Fire Neural Network.htm • actionpotential.swf

33. מבנה נוירולוגי כללי • בגופנו יש שני סוגי מערכות, • ממריץ (אנדרנלין) • מרגיע\מאיט (אציטין חולין) • יש לפחות שני סוגי סינפציות: • מעקבות : לרוב מתחברת לגוף התא • מעוררת : לרוב מתחברות בסופי העצים • מרווח בין הסינפצות הוא 20 ננומטר. • מימד הזמן- ניתן ליראות את הלמידה אסוציאטיבית היא שימוש במימד הזמן, - שני מאורעות שקורים בו זמנית הן בדרך כלל קשורים אחד לשני. לדוגמא ניסוי פאבלוב טעם גירוי וזמן.

40. השלב השני בחיזוק הקשר בין תאים נובע מיצירת סינפסות חדשות, מתמשך לטווח ארוך ומצריך שפעול גנים.

43. פלט / קלט טיפוסי

45. Generation of multiple Action Potentials • Rate is dependent on depolarization • Firing frequency • 1 per second is 1 Hz • Maximum is about 1000Hz • Absolute refractory period • Relative refractory period • I(ion)=g(ion)(Vm-Eion)

46. תגובה אינסטינקטיבית

47. Mapping from biological neuron

48. EPSPexcitatory postsynaptic potential IPSPInhibitory postsynaptic potential

49. חוקHebb: הקשר בין תאים הפועלים בו זמנית יתחזק

50. Liquid State Machine (LSM)