התניה קלאסית – חלק א
This presentation is the property of its rightful owner.
Sponsored Links
1 / 30

התניה קלאסית – חלק א' PowerPoint PPT Presentation


  • 257 Views
  • Uploaded on
  • Presentation posted in: General

התניה קלאסית – חלק א'. מבוא ללמידה והתנהגות: התניה ומח שעור 2. נושאים. התניה קלאסית – הפרוצדורה, תוצאות בסיסיות ניסויי מפתח: חסימה והצללה מודל Rescorla Wagner התניה מסדר שני מודל Temporal difference דופמין – 'תאורית טעות הניבוי' תמונה כללית – התניה קלאסית כלמידה של ניבויים.

Download Presentation

התניה קלאסית – חלק א'

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


1818813

התניה קלאסית – חלק א'

מבוא ללמידה והתנהגות: התניה ומח

שעור 2


1818813

נושאים

  • התניה קלאסית – הפרוצדורה, תוצאות בסיסיות

  • ניסויי מפתח: חסימה והצללה

  • מודל Rescorla Wagner

  • התניה מסדר שני

  • מודל Temporal difference

  • דופמין – 'תאורית טעות הניבוי'

  • תמונה כללית – התניה קלאסית כלמידה של ניבויים


1818813

= Conditional stimulus (גירוי מותנה/תלוי)

= Unconditional stimulus (גירוי בלתי מותנה/תלוי)

ריור = Unconditional response(reflex);

conditional response (reflex)

התניה קלאסית

Ivan Pavlov


1818813

חיזוק - Reinforcement

  • פבלוב קרא ל-US חיזוק (reinforcer)

  • הגדרת החיזוק עפ"י פבלוב: חיזוק הוא כל דבר שמעלה את הסבירות (probability) להופעת ה-CR לאחר הצגת ה-CS

  • הגדרה אופרציונלית טהורה – לא מניחה שום ערך סובייקטיבי או אפקטיבי (affective) של החיזוק

  • רכישה (acquisition) – הצגה חוזרת של CS-US מביאה לרכישת ה-CR.


1818813

פרוצדורות נפוצות

  • התניית עפעף בד"כ בארנבות – Nicticating membrane response.

  • התנית קיפול רגל בכלבים (leg flexion)

  • התנית גישה (approach) בחולדות

  • התנית ניקור ביונים (autoshaping)

  • התנית אברסיה למזון (Conditioned taste aversion)

  • התנית תגובה רגשית (CER - Conditioned emotional response); התנית דיכוי מותנה (conditioned suppression)

  • (מה הן קבוצות הביקורת?)


1818813

Key Variable: The CS-US Interval (ISI)

יחסים טמפורלים בין US ל-CS

1. Simultaneous Conditioning

2. Delay conditioning

3. Trace conditioning

4. Backward conditioning

CS

US


Extinction

הכחדה - Extinction

לפי ההגדרה של למידה: האם הכחדה היא למידה חדשה או שכחה?


1818813

הכחדה – החלמה ספונטנית


1818813

תאוריות על הכחדה

  • שכחה – לא, כי לא תלוי רק במעבר הזמן אלא בהצגה בלתי מחוזקת של הגירוי

  • Pavlov – העלמות ה-CR כתוצאה מעיכוב (inhibition) – תהליך שונה מזה של הלמידה. מסביר spontaneous recovery, ו-disinhibition (במונחים של external inhibition).

  • Gutherie – הכחדה כתוצאה מהתנית תגובה מתחרה (אותו תהליך כמו במידה, רק תגובה שונה)

  • תמיכה בפבלוב: אימון מרווח מול צפוף עדיף ברכישה, ההפך בהכחדה; ניתן להשפיע פרמקולוגית שונה על שני התהליכים


1818813

תגובה מותנית לשם מטרה?

  • הטענות בעד

  • איך ניתן לבדוק?

  • ניסויי omission – Hearst + Jenkins 1974

  • זהו המאפיין המרכזי (והמבחן הקובע) להתנהגות פבלובית!


Cs us cr

התאמה בין CS, US, CR

  • לכל US גירויים שקל יותר להתנות אתו (Garcia&Koelling ניסוי המים הרועשים בחולדות, התניה לשוק או ל-LiCl)

    • תלוי בחיה – יונים מקשרות צבע לבחילה, חולדות - טעם

    • יתרון אדפטיבי – מגבלות אבולוציוניות/נלמדות

  • CR לרוב דומה ל-UR אך חלש ממנו. אך:

    • לא כל תגובות ה-UR כלולות ב-CR (ריור לעומת נשיכה)

    • לעתים ה-CR שונה בתכלית מה-UR (קפיאה מול קפיצה/בריחה)


S s s r

מהי האסוסיאציה שנוצרת?תאוריות ראשונות של התניה קלאסית: S-S / S-R

  • פבלוב - Stimulus substitution – למידה של קשרים בין ה-CS ל-US (S-S)

  • Gutherie – Stamping in – ההתניה היא בין ה-CS לתגובה, כאשר ה-US רק משמש ל'הטבעת' האסוסיאציה

  • מבחנים:

    • מניעת אפשרות לביצוע תגובה  עדיין יש התניה

    • Sensory preconditioning

    • שינוי ערך החיזוק לאחר ההתניה – נחזור לכך בהמשך

  • מסקנה כיום: שניהם (Rescorla – Two process theories, Mackintosh – התניה מסדר שני, Holland – תלוי במרחק מהחיזוק)


1818813

מתי מתרחשת למידה? שלושה ניסויי מפתח

  • Rescorla – Background conditioning

    • Temporal contiguity is not enough, need contingency

      Contiguity = סמיכות, הופעה יחד

      Contingency = תלות


1818813

מתי מתרחשת למידה? שלושה ניסויי מפתח

  • Kamin – Blocking (and unblocking)

  • Reynold – Overshadowing

    • Contingency is alsonot enough!!

    • Kamin: The US needsto be surprising

    • Seems like the stimuli compete for learning


1818813

תאוריות חישוביות של למידה

  • מנסות להסביר כיצד ה-CS רוכש "ערך" בתהליך הלמידה

  • מנסות להסביר באילו תנאים הוא רוכש ערך

  • מגבלות:

    • עקומת למידה – הדרגתית (אם כי אולי לא בחיה בודדת?)

    • הכחדה (גם הדרגתית, החלמה ספונטנית)

    • חסימה, הצללה

    • יחסים טמפורלים

    • מה קובע את התגובה: stimulus substitution, CS


Rescorla wagner 1972

Rescorla + Wagner 1972

  • תנאי הכרחי ללמידה: הפרת ציפיות

  • חוק הלמידה:

  • שילוב כמה מנבאים: אדטיבי

  • הטענה המרכזית: הבדל בין מצוי לצפוי מהווה reinforcement

  • הסביר: רכישה, הכחדה, הצללה, חסימה...

  • ניבא: overexpectation effect (לא אינטואיטיבי)

  • תאוריה עם השפעה רבה מאוד

  • ניתן לגזור את החוק כירידה במורד של ריבוע טעות ניבוי, מקסימיזציה של דמיון בין ערך ה-CS וזה של ה-US (מנסים ליצור מצב בו צפוי = מצוי)


1818813

אבל... התניה מסדר שני

  • שלב א': צימוד CS1 – US עד ללמידה

  • שלב ב': צימוד CS2 – CS1 (ללא US)

  • Test: CS2

  • מה יקרה?

  • צעדים מעורבים או בלוקים

  • (Miller – יחסים טמפורלים מורכבים)

  • מה מנבאת תאורית R-W?


1818813

אילו תופעות התאוריות מסבירות?

R-W

  • עקומת למידה הדרגתית

  • הכחדה הדרגתית

  • החלמה ספונטנית

  • חסימה

  • הצללה

  • יחסים טמפורלים

  • מה קובע את התגובה

  • ציפיית יתר

  • התניה מסדר שני


Td learning sutton barto 90s

TD learning (Sutton+Barto ‘90s)

The general case: long term prediction.

The true predictions should be self consistent:

If the predictions are imperfect, there will be an error:

Updating V according to this will result in correct (optimal) predictions

Temporal Difference error


Td real time

TD: תאורית Real Time

  • Real-time: מתיחסת למה שקורה בתוך צעד – התנהגותית ולמידתית (כמו Hull – stimulus trace hypothesis)

  • מה יקרה אם פתאום נשמיט את החיזוק? מה יקרה בהתניה מסדר שני?


1818813

אילו תופעות התאוריות מסבירות?

R-WTD

  • עקומת למידה הדרגתית

  • הכחדה הדרגתית

  • החלמה ספונטנית

  • חסימה

  • הצללה

  • יחסים טמפורלים

  • מה קובע את התגובה

  • ציפיית יתר

  • התניה מסדר שני


Dopamine

דופמין - Dopamine

Parkinson’s Disease

 Motor control + initialtion?

Intracranial self-stimulation;

Drug addiction;

Natural rewards

 Reward pathway?

 Learning?

Also involved in:

  • Working memory

  • Novel situations

  • ADHD

  • Schizophrenia


Schultz

מה דופמין מייצג? Schultz – רישומים בקופים

(Schultz etal. 1993)


Schultz1

מה דופמין מייצג? Schultz – רישומים בקופים


Montague dayan

Unpredicted reward

(unlearned/no stimulus)

Predicted reward

(learned task)

Omitted reward

(probe trial)

מה דופמין מייצג? פרשנות של Montague+Dayan

(Montague et al. 1996)


The td hypothesis of da montague dayan 96

The TD hypothesis of DA (Montague+Dayan ‘96)

The idea: Phasic dopamine encodes a reward prediction error

  • Precise (normative!) theory for generation of DA firing patterns

  • Compelling account for the role of DA in classical conditioning: prediction error acts as signal driving learning in prediction areas

  • Corticostriatal synapses: three factor learning rule modulated by DA (Wickens+Kotter)


Corticostriatal synapses 3 factor learning

Corticostriatal synapses: 3 factor learning

Stimulus

Representation

Cortex

X1

X2

X3

XN

Adjustable

Connections

(“weights”)

V1

V2

V3

VN

Striatum

Prediction

Error (Dopamine)

R

P

PPTN?

VTA/SNc


More dopamine responses

More dopamine responses

  • Partial reinforcement task (Fiorillo, Tobler & Schultz 2003)

  • Accords with TD model


1818813

תמונה כללית

  • התניה קלאסית = למידת ניבוי

  • ההתנהגות: אוטומטית במובן מסוים, נובעת מהניבוי (עוד אין control)

  • איך נלמדים הניבויים? מתוך התבוננות בסביבה, ע"י השוואת צפוי למצוי, בצורה הדרגתית

  • במח: למידה תלוית דופמין (קשר בין מודל חישובי נורמטיבי לפעילות של תאים ספציפים)

  • תאוריות TD, RW – תאוריות מסוג caching (למידה של ערך במנותק מזהות ה-CS וה-US)


1818813

תרגיל בית – להגשה ב-30 למרץ

  • Matlab tutorials – באתר (גישה ל-Matlab?)

  • תכנות TD ו-RW והשוואה בתנאים שונים (בסיס גם לתרגיל השני)

  • שאלות תאורטיות

  • קריאה לשבוע הבא: Tobler, Dickinson + Schultz


  • Login