slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
הכללה ואבחנה – הסקת מודלים של העולם PowerPoint Presentation
Download Presentation
הכללה ואבחנה – הסקת מודלים של העולם

Loading in 2 Seconds...

play fullscreen
1 / 27

הכללה ואבחנה – הסקת מודלים של העולם - PowerPoint PPT Presentation


  • 144 Views
  • Uploaded on

הכללה ואבחנה – הסקת מודלים של העולם. מבוא ללמידה והתנהגות: התניה ומח שעור 10. נושאים. הכללה ואבחנה – מה חיות יכולות ללמוד? תאוריות ותמיכה נסיונית: תאוריות של אלמנטים – הרחבה של R-W תאוריות קונפיגורליות – Pearce השאלות המרכזיות  חיפוש עקרון מנחה

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'הכללה ואבחנה – הסקת מודלים של העולם' - verena


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

הכללה ואבחנה – הסקת מודלים של העולם

מבוא ללמידה והתנהגות: התניה ומח

שעור 10

slide2
נושאים
  • הכללה ואבחנה – מה חיות יכולות ללמוד?
  • תאוריות ותמיכה נסיונית:
    • תאוריות של אלמנטים – הרחבה של R-W
    • תאוריות קונפיגורליות – Pearce
  • השאלות המרכזיות  חיפוש עקרון מנחה
  • Occam’s razor והסקה לגבי מודל של latent causes: איך ניתן להסיק מתי להכליל ומתי להבחין?
  • סיכום הקורס: מה היה לנו עד כה
slide3
חזרה לבעית ה-XOR
  • חיות יכולות ללמוד בעיות לא לינאריות כמו למשל בעית XOR (negative patterning):
    • A+
    • B+
    • ABo
  • חוק הלמידה של R-W לא יכול (לינארי)
  • פתרון פשוט: הוספת יחידות (elements)נוספות לצירופים השונים
    • בעת הצגת AB: Vtotal = VA + VB + VAB
    • למידה נפרדת עבור כל יחידה
    • לאחר למידת האבחנה ליחידה AB יהיה ערך שלילי השווה ל-2R
slide4
תופעה בסיסית נוספת: עקומת הכללה
  • באימון עם גירוי A, מבחן עם גירוי שונה ממנו במקצת יראה פחות CR: Generalization decrement
  • מידת ההפחתה קשורה במידת הדמיון בין הגירוי החדש והגירוי המקורי
  • אותו פתרון ב-RW: בעצם כל גירוי הוא גירוי המורכב מהרבה תתי-אלמנטים העוברים כל אחד התניה בנפרד. גירוי שונה במעט מכיל חלק מאותם אלמנטים אך לא את כולם  הפחתה של התגובה (=הערך המנובא)
  • אבל: A+ ואח"כ מבחן עם AB גם גורר הפחתת הכללה...
elemental theories

AC+

AC+

ACBo

ACBo

בעיות נוספות עם elemental theories
  • ניבוי: אבחנה יותר טובה כאשר ההבדלים בין הגירויים קטנים!
    • נשווה למידה של A+;ABo ל- AC+; ACBo
    • בצעד הראשון AC+, למידה על A ועל C
    • בצעד השני ACBo – ניבוי כבר יותר גדול  טעות ניבוי גדולה יותר ויותר למידה של ערך שלילי ל-B
    • באותה מידה: למידה של A+;ABCoאיטית יותר מ-AB+;ABCo
slide6
נסיון נוסף לפתרון: תחרות על משאבי למידה
  • נניח שיש פחות למידה על גירוי ככל שיש יותר גירויים:
  • פותר את הבעיות הנ"ל
  • אבל: אימון של A+/B+/C+ או AB+/BC+/CA+במבחן עם ABC – איזו קבוצה תגיב יותר? מה R-W מנבא?
  • בעצם: נראה שהעקרון המנחה הוא שלמידה של אבחנה בין גירויים תלויה בדמיון (similarity) ביניהם
pearce configural theory
Pearce – Configural theory
  • גירוי שמוצג יכול לגרור הפעלה של מספר יחידות
  • אבל: רק זו המייצגת בדיוק את הקונפיגורציה של הגירוי הנכחי לומדת בצעד הנכחי
    • חוק עדכון error correcting
    • הניבוי של V – בכל זאת ע"י כל היחידות
    • כמו R-W רק מעדכן אסוסיאציה אחת
  • חשוב: אקטיבציה של היחידות עפ"י דמיוןS(כלומר – ה-CR נקבע ע"י מספר יחידות)
  • ועוד כמה תוספות פחות אלגנטיות – כל גירוי הוא בעצם גירוי מורכב (בשביל הפחתת הכללה), גירוי עם עוצמה חזקה יותר מפעיל יותר יחידות (בשביל הצללה) וכו'.
configural theory
Configural theory – תוצאות
  • מסביר חסימה, הצללה, negative patterning וכו'
  • מנבא הכללה סימטרית מ-AB ל-A כמו מ-A ל-AB
  • ניבויים כמותיים ספציפיים: A+; ABo ליחידה של A יש ערך גדול מ-R וליחידה של AB ערך שלילי. כך גם B לבד הוא אינהיביטורי (כי הצגתו מפעילה את AB). עתה אם יאמנו B+ מה הניבוי? מה הניבוי של R-W?
  • מסביר את התוצאות שתאוריות elemental לא הסבירו
  • אבל:
    • לא מסביר summation (שלפעמים קורה). הסבר באמצעות context
    • בעית 'קביעות' של קונפיגורציה – בכל נקודת זמן הגירוי יכול להראות שונה...
    • התפוצצות קומבינטורית
slide9
הכללה – חוסר סימטריה

Rescorla/Wagner model

אימון:

  • A+
  • BC+
  • ABCo

Results (Redhead & Pearce 94)

Pearce model

slide10
סכימה

אימון:

  • AB+
  • CD+

מבחן:

  • AB, CD (הזוגות שאומנו)
  • AC, BD (העברה/הכללה)
  • A, B, C, D (אלמנטים)

Rescorla/Wagner model

Results (Rescorla 03)

Pearce model

elemental vs configural theories
Elemental vs. configural theories
  • Elemental –
    • כל האלמנטים הפעילים נכנסים לאסוסיאציות עם ה-US
    • דגש על מקרים בהם רואים סכימה של השפעות של גירויים נפרדים
  • Configural –
    • דגש על דמיון בין גירויים כמשפיע על קושי האבחנה ביניהם
    • בכל צעד בניסוי נוצרת/מתעדכנת רק אסוסיאציה אחת
  • בשתיהן: תפקיד מיוחד לחיזוק (לא מתפקד כגירוי רגיל)
  • ניסויי מפתח עם פרדיקציות שונות (למשל לימוד של (A+,B+,C+,AB+,AC+,BC+,ABCo – כל מעבדה מקבלת תוצאות שמתאימות למודל שלה...
slide12
שאלות חשובות
  • באילו מצבים נייצר יחידה קונפיגורלית נוספת (ומתי רק נסכום)?
  • כאשר מוצג גירוי מסוים – כיצד תתבצע ההכללה לקונפיגורציות אחרות?
  • איך לחלק את הלמידה בין היחידות השונות?
  • תאוריות elemental ו-configural מציעות תשובות שונות
  • אך... לא ברור (משיקולים תאורטים) את מי להעדיף
  • וגם – אין תמיכה ניסויית חד משמעית באף אחת... ואף יש ניסויים שסותרים את שתיהן!
courville daw 2005
לאן הולכים מכאן? – Courville + Daw 2005
  • נדמה שכל מודל טוב בסיטואציות אחרות. מה העקרון שינחה אותנו?

"Pluralitas non est ponenda sine necessitate” Plurality should not be posited without necessity – William of Occam (1349)

  • לפי התער של אוקהם – יש לבחור את המודל הפשוט ביותר המסביר את התצפיות
  • מימוש חישובי: הסקה בייסיאנית (תער אוקהם אוטומטי)
generative

A

אור, צליל וכו'

B

wA

wB

R

מזון, שוק וכו'

A

B

AB

wA

wAB

wB

R

מודלים מחוללים (generative) של העולם
  • R-W – מודל מחולל לינארי (כך גם ב-TD)
    • חוק הלמידה: מציאת ה-w עם הנראותהגבוהה ביותר (maximum likelihood), מסבירים את התצפיות טוב ביותר
    • Kalman filter – מתיחס ל-wכמשתנים חבויים (latent variables)דינמיים ומנסה להסיק אותם בצורה בייסיאנית
  • הוספת יחידות קונפיגורליות
    • בכדי לפתור בעיות לא לינאריות
    • אבל: אילו יחידות להוסיף ומתי?
      • סכימה מול אבחנה
slide15

x1

x2

A

B

R

A

R

B

מודל 'משתנים חבויים'
  • החיה נחשפת לצעדים המוגרלים (זהים ב"ת) מאיזשהו מודל של העולם. המטרה: להסיק את המודל מהתצפיות
  • sigmoid belief network (כל המשתנים בינריים)
  • ממדלת יחד את הגירויים והחיזוקים
  • x – גורמים חבויים – ממדלים קורלציות בין קבוצות ארועים בעולם
  • לומדים לא רק משקולות אלא את מבנה המודל עצמו (כמה גורמים חבויים, בין מי למי החיצים)

Courville, Daw, & Touretzky 2003, 2004

slide16
הסקת מבנה המודל

באילו "יחידות קונפיגורליות" להשתמש לתאור העולם?

A

R

B

vs

A

R

B

vs

A

R

B

etc

learning prediction

A

R

B

Learning & prediction
  • למידה:P(w,M|data) ע"י חוק בייס (קביעת משקולות נראות לכל מודל w,M)
  • ניבוי: המטרה – לדעת מתי יגיע חיזוק R (עפ"י כל המידע עד עכשיו, והגירויים בצעד הנכחי)
    • P(R|stim,data)- ע"י מיצוע (marginalization) מעבר לכל המודלים האפשריים (ממושקל עפ"י סבירותם) והמשקולות
    • מתיחס גם לשילובים של גורמים חבויים (explaining away)
    • בסופו של דבר, דומה ל-Pearce כי גורם נחשב סביר אם תוצאותיו דומות למה שמוצג בצעד הנכחי
slide18
פשטות מול דייקנות
  • התפלגות א-פריורית מעדיפה מודלים פשוטים (מעט יחידות, מעט קשרים, משקולות קטנות)
  • ככל שמתווסף מידע מהעולם ה-prior מאבד מחשיבותו ועוברים למודלים מסובכים (אך מדוייקים) יותר
  • זהו סימן ההיכר של הסבר בייסיאני: tradeoff בין סיבוכיות המודל לנאמנותו לנתונים
slide19

Results (Rescorla 03)

Bayesian model

סכימה

MAP model structure:

אימון:

  • AB+
  • CD+

מבחן:

  • AB, CD (הזוגות שאומנו)
  • AC, BD (העברה/הכללה)
  • A, B, C, D (אלמנטים)
slide20
אי-סימטריה בהכללה

MAP model structure:

Results (Redhead & Pearce 94)

Bayesian model

slide21
התניה מסדר שני מול התניה אינהיביטורית
  • פרוצדורות מאוד דומות:
    • התניה מסדר שני: A+, שלב ב' – ABo
    • התניה אינהיביטורית: A+, ABo
  • אורך האימון משפיע על דפוס התוצאות
  • Yin et al. 1994 – צעדים משולבים של A+, ABo
    • מעט צעדים: B אקסיטטורי (מנבא חיזוק)  התניה מסדר שני
    • הרבה צעדים: B אינהיביטורי (מנבא העדר חיזוק צפוי)
slide22
אז מה היה לנו?
  • שלושה נדבכים בקורס:
    • התנהגות
    • מודלים חישוביים
    • מח
  • נסיון לקשור את כל הרמות  השפיע על הדגש, על בחירת הנושאים
  • חזרה לרמת העל – איפה היער?
slide23

התנהגות: התניה

הבעיה:איך בע"ח לומדים ניבוי (prediction) ושליטה (control)?

השיטה: התנהגות מורכבת – ריבוי מנגנונים ואינטראקציות תכנון ניסויים שיביאו לידי ביטוי אחד ויורידו למינימום השפעתם של אחרים. זהירות: דיכוטומיות

שני סוגי התניה: 1. התניה קלאסית (ניבוי)

2. התניה אופרנטית (שליטה)

דברים שהיו חשובים:

- מה נלמד? (תכולת אינפורמציה – ערך, סוג חיזוק וכו')

- באילו תנאים מתקיימת הלמידה? (סמיכות, הפתעה וכו')

מושגים: ייצוג, אסוסיאציה, סמיכות, מפה קוגניטיבית

Whatever is good to know is hard to learn – Greek proverb

slide24

מודלים חישוביים

  • הבעיה:ניבוי והתנהגות אופטימלים, הסבר לתופעות התנהגותיות
  • השיטה: מודלים תאוריים (R-W), מודלים נורמטיבים (RL, בייסיאנים)
  • דברים שהיו חשובים:
  • - מהם המגבלות (constraints) שההתנהגות מציבה?
  • מהם האספקטים ההתנהגותיים/חישוביים שהמודל תופס ומאילו הוא מתעלם?
  • איך המודלים מעצבים את המחקר הניסויי ?
  • מושגים: value, forward model, cache, generative model

All models are wrong, some models are useful – G. Box

slide25

מנגנונים מוחיים

הבעיה:כיצד המח מממש למידה, ניבוי ושליטה (action selection)?

השיטה: רישומים בחיה מתנהגת, הדמיות (fMRI, EEG, PET), פגיעות (lesions), פרמקולוגיה

דברים שהיו חשובים:

- הכללות: תפקיד כללי של אזור/נוירומודולטור

- הבחנות: דיסוסיאציות בין תפקידים/אזורים/נוירומודולטורים

מושגים: דופמין, Ach, גרעינים בזליים, אמיגדלה, קורטקס פרונטלי, היפוקמפוס, (סינפסות, רצפטורים)

In theory, there is no difference between theory and practice, but not in practice. - Anonymous

slide26
מבט מגבוה
  • התניה קלאסית א' – מתי מתרחשת למידה? 3 ניסויי מפתח  חוק R-W ולמידה בעזרת דופמין
  • התניה קלאסית ב' – אקסיטטורי/אינהיביטורי אפטטיבי/אברסיבי (Konorski, fMRI של התניה אברסיבית, Kalman filter)
  • התניה אופרנטית א' – Thorndike, Skinner, מודל Actor-Critic
  • מוטיבציה ו-free operant – energizing vs directing, דופמין טוני
  • התניה אופרנטית ב' – S-R מול R-O, devaluation – הרגלים והתנהגות מונחית מטרה, חישוב ע"י עץ או ע"י cache, שתי מע' במח
  • קלאסית ואינסטרומנטלית – מגנון אחד או שניים? השמטה, PIT
  • הכחדה – תאוריות שונות, אין מודלים
  • למידה חבויה וסכיזופרניה – LI כמודל פרמקולוגי לשני קטבי ההפרעה
  • קשב ואסוציאביליות – הפרדה בין ניבוי ללמידה (KF), אמיגדלה, Ach
  • הכללה ואבחנה – למידה/הסקה של מודל של העולם