הכללה ואבחנה – הסקת מודלים של העולם

1. הכללה ואבחנה – הסקת מודלים של העולם מבוא ללמידה והתנהגות: התניה ומח שעור 10

2. נושאים • הכללה ואבחנה – מה חיות יכולות ללמוד? • תאוריות ותמיכה נסיונית: • תאוריות של אלמנטים – הרחבה של R-W • תאוריות קונפיגורליות – Pearce • השאלות המרכזיות  חיפוש עקרון מנחה • Occam’s razor והסקה לגבי מודל של latent causes: איך ניתן להסיק מתי להכליל ומתי להבחין? • סיכום הקורס: מה היה לנו עד כה

3. חזרה לבעית ה-XOR • חיות יכולות ללמוד בעיות לא לינאריות כמו למשל בעית XOR (negative patterning): • A+ • B+ • ABo • חוק הלמידה של R-W לא יכול (לינארי) • פתרון פשוט: הוספת יחידות (elements)נוספות לצירופים השונים • בעת הצגת AB: Vtotal = VA + VB + VAB • למידה נפרדת עבור כל יחידה • לאחר למידת האבחנה ליחידה AB יהיה ערך שלילי השווה ל-2R

4. תופעה בסיסית נוספת: עקומת הכללה • באימון עם גירוי A, מבחן עם גירוי שונה ממנו במקצת יראה פחות CR: Generalization decrement • מידת ההפחתה קשורה במידת הדמיון בין הגירוי החדש והגירוי המקורי • אותו פתרון ב-RW: בעצם כל גירוי הוא גירוי המורכב מהרבה תתי-אלמנטים העוברים כל אחד התניה בנפרד. גירוי שונה במעט מכיל חלק מאותם אלמנטים אך לא את כולם  הפחתה של התגובה (=הערך המנובא) • אבל: A+ ואח"כ מבחן עם AB גם גורר הפחתת הכללה...

5. AC+ AC+ ACBo ACBo בעיות נוספות עם elemental theories • ניבוי: אבחנה יותר טובה כאשר ההבדלים בין הגירויים קטנים! • נשווה למידה של A+;ABo ל- AC+; ACBo • בצעד הראשון AC+, למידה על A ועל C • בצעד השני ACBo – ניבוי כבר יותר גדול  טעות ניבוי גדולה יותר ויותר למידה של ערך שלילי ל-B • באותה מידה: למידה של A+;ABCoאיטית יותר מ-AB+;ABCo

6. נסיון נוסף לפתרון: תחרות על משאבי למידה • נניח שיש פחות למידה על גירוי ככל שיש יותר גירויים: • פותר את הבעיות הנ"ל • אבל: אימון של A+/B+/C+ או AB+/BC+/CA+במבחן עם ABC – איזו קבוצה תגיב יותר? מה R-W מנבא? • בעצם: נראה שהעקרון המנחה הוא שלמידה של אבחנה בין גירויים תלויה בדמיון (similarity) ביניהם

7. Pearce – Configural theory • גירוי שמוצג יכול לגרור הפעלה של מספר יחידות • אבל: רק זו המייצגת בדיוק את הקונפיגורציה של הגירוי הנכחי לומדת בצעד הנכחי • חוק עדכון error correcting • הניבוי של V – בכל זאת ע"י כל היחידות • כמו R-W רק מעדכן אסוסיאציה אחת • חשוב: אקטיבציה של היחידות עפ"י דמיוןS(כלומר – ה-CR נקבע ע"י מספר יחידות) • ועוד כמה תוספות פחות אלגנטיות – כל גירוי הוא בעצם גירוי מורכב (בשביל הפחתת הכללה), גירוי עם עוצמה חזקה יותר מפעיל יותר יחידות (בשביל הצללה) וכו'.

8. Configural theory – תוצאות • מסביר חסימה, הצללה, negative patterning וכו' • מנבא הכללה סימטרית מ-AB ל-A כמו מ-A ל-AB • ניבויים כמותיים ספציפיים: A+; ABo ליחידה של A יש ערך גדול מ-R וליחידה של AB ערך שלילי. כך גם B לבד הוא אינהיביטורי (כי הצגתו מפעילה את AB). עתה אם יאמנו B+ מה הניבוי? מה הניבוי של R-W? • מסביר את התוצאות שתאוריות elemental לא הסבירו • אבל: • לא מסביר summation (שלפעמים קורה). הסבר באמצעות context • בעית 'קביעות' של קונפיגורציה – בכל נקודת זמן הגירוי יכול להראות שונה... • התפוצצות קומבינטורית

9. הכללה – חוסר סימטריה Rescorla/Wagner model אימון: • A+ • BC+ • ABCo Results (Redhead & Pearce 94) Pearce model

10. סכימה אימון: • AB+ • CD+ מבחן: • AB, CD (הזוגות שאומנו) • AC, BD (העברה/הכללה) • A, B, C, D (אלמנטים) Rescorla/Wagner model Results (Rescorla 03) Pearce model

11. Elemental vs. configural theories • Elemental – • כל האלמנטים הפעילים נכנסים לאסוסיאציות עם ה-US • דגש על מקרים בהם רואים סכימה של השפעות של גירויים נפרדים • Configural – • דגש על דמיון בין גירויים כמשפיע על קושי האבחנה ביניהם • בכל צעד בניסוי נוצרת/מתעדכנת רק אסוסיאציה אחת • בשתיהן: תפקיד מיוחד לחיזוק (לא מתפקד כגירוי רגיל) • ניסויי מפתח עם פרדיקציות שונות (למשל לימוד של (A+,B+,C+,AB+,AC+,BC+,ABCo – כל מעבדה מקבלת תוצאות שמתאימות למודל שלה...

12. שאלות חשובות • באילו מצבים נייצר יחידה קונפיגורלית נוספת (ומתי רק נסכום)? • כאשר מוצג גירוי מסוים – כיצד תתבצע ההכללה לקונפיגורציות אחרות? • איך לחלק את הלמידה בין היחידות השונות? • תאוריות elemental ו-configural מציעות תשובות שונות • אך... לא ברור (משיקולים תאורטים) את מי להעדיף • וגם – אין תמיכה ניסויית חד משמעית באף אחת... ואף יש ניסויים שסותרים את שתיהן!

13. לאן הולכים מכאן? – Courville + Daw 2005 • נדמה שכל מודל טוב בסיטואציות אחרות. מה העקרון שינחה אותנו? "Pluralitas non est ponenda sine necessitate” Plurality should not be posited without necessity – William of Occam (1349) • לפי התער של אוקהם – יש לבחור את המודל הפשוט ביותר המסביר את התצפיות • מימוש חישובי: הסקה בייסיאנית (תער אוקהם אוטומטי)

14. A אור, צליל וכו' B wA wB R מזון, שוק וכו' A B AB wA wAB wB R מודלים מחוללים (generative) של העולם • R-W – מודל מחולל לינארי (כך גם ב-TD) • חוק הלמידה: מציאת ה-w עם הנראותהגבוהה ביותר (maximum likelihood), מסבירים את התצפיות טוב ביותר • Kalman filter – מתיחס ל-wכמשתנים חבויים (latent variables)דינמיים ומנסה להסיק אותם בצורה בייסיאנית • הוספת יחידות קונפיגורליות • בכדי לפתור בעיות לא לינאריות • אבל: אילו יחידות להוסיף ומתי? • סכימה מול אבחנה

15. x1 x2 A B R A R B מודל 'משתנים חבויים' • החיה נחשפת לצעדים המוגרלים (זהים ב"ת) מאיזשהו מודל של העולם. המטרה: להסיק את המודל מהתצפיות • sigmoid belief network (כל המשתנים בינריים) • ממדלת יחד את הגירויים והחיזוקים • x – גורמים חבויים – ממדלים קורלציות בין קבוצות ארועים בעולם • לומדים לא רק משקולות אלא את מבנה המודל עצמו (כמה גורמים חבויים, בין מי למי החיצים) Courville, Daw, & Touretzky 2003, 2004

16. הסקת מבנה המודל באילו "יחידות קונפיגורליות" להשתמש לתאור העולם? A R B vs A R B vs A R B etc

17. A R B Learning & prediction • למידה:P(w,M|data) ע"י חוק בייס (קביעת משקולות נראות לכל מודל w,M) • ניבוי: המטרה – לדעת מתי יגיע חיזוק R (עפ"י כל המידע עד עכשיו, והגירויים בצעד הנכחי) • P(R|stim,data)- ע"י מיצוע (marginalization) מעבר לכל המודלים האפשריים (ממושקל עפ"י סבירותם) והמשקולות • מתיחס גם לשילובים של גורמים חבויים (explaining away) • בסופו של דבר, דומה ל-Pearce כי גורם נחשב סביר אם תוצאותיו דומות למה שמוצג בצעד הנכחי

18. פשטות מול דייקנות • התפלגות א-פריורית מעדיפה מודלים פשוטים (מעט יחידות, מעט קשרים, משקולות קטנות) • ככל שמתווסף מידע מהעולם ה-prior מאבד מחשיבותו ועוברים למודלים מסובכים (אך מדוייקים) יותר • זהו סימן ההיכר של הסבר בייסיאני: tradeoff בין סיבוכיות המודל לנאמנותו לנתונים

19. Results (Rescorla 03) Bayesian model סכימה MAP model structure: אימון: • AB+ • CD+ מבחן: • AB, CD (הזוגות שאומנו) • AC, BD (העברה/הכללה) • A, B, C, D (אלמנטים)

20. אי-סימטריה בהכללה MAP model structure: Results (Redhead & Pearce 94) Bayesian model

21. התניה מסדר שני מול התניה אינהיביטורית • פרוצדורות מאוד דומות: • התניה מסדר שני: A+, שלב ב' – ABo • התניה אינהיביטורית: A+, ABo • אורך האימון משפיע על דפוס התוצאות • Yin et al. 1994 – צעדים משולבים של A+, ABo • מעט צעדים: B אקסיטטורי (מנבא חיזוק)  התניה מסדר שני • הרבה צעדים: B אינהיביטורי (מנבא העדר חיזוק צפוי)

22. אז מה היה לנו? • שלושה נדבכים בקורס: • התנהגות • מודלים חישוביים • מח • נסיון לקשור את כל הרמות  השפיע על הדגש, על בחירת הנושאים • חזרה לרמת העל – איפה היער?

23. התנהגות: התניה הבעיה:איך בע"ח לומדים ניבוי (prediction) ושליטה (control)? השיטה: התנהגות מורכבת – ריבוי מנגנונים ואינטראקציות תכנון ניסויים שיביאו לידי ביטוי אחד ויורידו למינימום השפעתם של אחרים. זהירות: דיכוטומיות שני סוגי התניה: 1. התניה קלאסית (ניבוי) 2. התניה אופרנטית (שליטה) דברים שהיו חשובים: - מה נלמד? (תכולת אינפורמציה – ערך, סוג חיזוק וכו') - באילו תנאים מתקיימת הלמידה? (סמיכות, הפתעה וכו') מושגים: ייצוג, אסוסיאציה, סמיכות, מפה קוגניטיבית Whatever is good to know is hard to learn – Greek proverb

24. מודלים חישוביים • הבעיה:ניבוי והתנהגות אופטימלים, הסבר לתופעות התנהגותיות • השיטה: מודלים תאוריים (R-W), מודלים נורמטיבים (RL, בייסיאנים) • דברים שהיו חשובים: • - מהם המגבלות (constraints) שההתנהגות מציבה? • מהם האספקטים ההתנהגותיים/חישוביים שהמודל תופס ומאילו הוא מתעלם? • איך המודלים מעצבים את המחקר הניסויי ? • מושגים: value, forward model, cache, generative model All models are wrong, some models are useful – G. Box

25. מנגנונים מוחיים הבעיה:כיצד המח מממש למידה, ניבוי ושליטה (action selection)? השיטה: רישומים בחיה מתנהגת, הדמיות (fMRI, EEG, PET), פגיעות (lesions), פרמקולוגיה דברים שהיו חשובים: - הכללות: תפקיד כללי של אזור/נוירומודולטור - הבחנות: דיסוסיאציות בין תפקידים/אזורים/נוירומודולטורים מושגים: דופמין, Ach, גרעינים בזליים, אמיגדלה, קורטקס פרונטלי, היפוקמפוס, (סינפסות, רצפטורים) In theory, there is no difference between theory and practice, but not in practice. - Anonymous

26. מבט מגבוה • התניה קלאסית א' – מתי מתרחשת למידה? 3 ניסויי מפתח  חוק R-W ולמידה בעזרת דופמין • התניה קלאסית ב' – אקסיטטורי/אינהיביטורי אפטטיבי/אברסיבי (Konorski, fMRI של התניה אברסיבית, Kalman filter) • התניה אופרנטית א' – Thorndike, Skinner, מודל Actor-Critic • מוטיבציה ו-free operant – energizing vs directing, דופמין טוני • התניה אופרנטית ב' – S-R מול R-O, devaluation – הרגלים והתנהגות מונחית מטרה, חישוב ע"י עץ או ע"י cache, שתי מע' במח • קלאסית ואינסטרומנטלית – מגנון אחד או שניים? השמטה, PIT • הכחדה – תאוריות שונות, אין מודלים • למידה חבויה וסכיזופרניה – LI כמודל פרמקולוגי לשני קטבי ההפרעה • קשב ואסוציאביליות – הפרדה בין ניבוי ללמידה (KF), אמיגדלה, Ach • הכללה ואבחנה – למידה/הסקה של מודל של העולם

27. תודה רבה לכם!