ניתוח פריטים חלק ב': תיאורית התגובה לפריט

1. האוניברסיטה הפתוחה ניתוח פריטיםחלק ב': תיאורית התגובה לפריט מבחנים פסיכולוגים: תיאוריה ומעשה

2. נושאי הלימוד 2 חלק ב':תיאורית התגובה לפריט • חסרונות מודלים קלאסיים • מושגי יסוד בתיאורית התגובה לפריט • מודלים בתיאורית התגובה לפריט • מודל חד פרמטרי - פרמטר קושי הפריט (b) • מודל דו פרמטרי - פרמטר יכולת הבחנה (a) • מודל תלת פרטרי - פרמטר"הניחוש" (c)

3. נושאי הלימוד (המשך) 3 3 • פונקצית אינפורמציה של פריט • השפעות הפרמטרים של הפריט על פונקצית האינפורמציה שלו • פונקצית אינפורמציה של מבחן וטעות התקן באמידת תטא • אמידת תטא • בדיקת טיב ההתאמה של המודל • יישומים • בניית מבחן • המבחן האדפטיבי הממוחשב

4. חומר הלימוד 4 4

5. הגדרת תחום הדיון תיאורית התגובה לפריט (IRT*) החלה להתגבש בשנות החמישים של המאה שחלפה. פיתוח מואץ של מחשבים בשנות ה-70 וה-80 של המאה הקודמת הפך את הרעיונות שהתפתחו לישימים. 5

6. מצגת זו מבוססת על ספרם של: R. K. Hambleton H. Swaminathan H. Jane Rogers Fundamentals of Item Response Theory 1991, Sage Publication

7. 1. חסרונות מודלים קלאסיים 7

8. חסרונות מודלים קלאסיים של תורת המבחנים תלות מדדי הפריטים במדגם הנבחנים. תלות אומדני היכולת במדגם הפריטים. חוסר יכולת להשוות ציוני נבחנים שונים שהתקבלו בנוסחים שונים של המבחן. שימוש במבחן עבור קבוצה השונה מזו שעליה פותח המבחן מוגבל יחסית.

9. המהימנות וטעות המדידה מחושבות בתורת המבחנים הקלאסית עבור המבחן כולו, ולכן הן אחידות עבור כל הנבחנים, ותלויות מדגם. המודל הקלאסי מספק תשובות מוגבלות לבעיות כמו תכנון מבחן, התאמת פריטים לנבדק בהתאם לרמתו, כיול ציונים, איתור פריטים מוטים ועוד. חסרונות מודלים קלאסיים של תורת המבחנים (המשך)

10. 2. מושגי יסוד בתיאורית התגובה לפריט 10 10

11. מושגי יסוד IRT מבוססת על טענות מרכזיות: ביצוע הנבחן בפריט ניתן לניבוי על ידי גורם או כמה גורמים הנקראים תכונות חבויות או יכולות (). הקשר בין ההסתברות להשיב נכון על הפריט ובין היכולת הנמדדת ()מתואר על ידי פונקציה מונוטונית עולה הקרויה: עקומה אופיינית לפריט (ICC)או פונקצית התגובה לפריט.

12. עקומה אופיינית לפריט (ICC)

13. מה פירוש "הסתברות להשיב נכונה על פריט"? (בפריט דיכוטומי) ההסתברות לתשובה נכונה בקרב תת-אוכלוסייה של נבדקים (ברמת יכולת מוגדרת) שנדגמה אקראית. או ההסתברות של נבדק נתון להשיב נכון על אוכלוסיית פריטים בעלי אותו עקומה אופיינית (ICC).

14. 3. מודלים בתיאוריית התגובה לפריט 14 14

15. מודלים ב- IRT קיימים כמה מודלים של: IRT בכולם פרמטר אחד או יותר המתארים את הפריט, ופרמטר אחד או יותר המתארים את הנבחן. נציג 3 מודלים המכונים המודלים הלוגיסטיים, להם משותפות שתי הנחות מרכזיות: חד ממדיות,וקיומה של אי-תלות מקומית*. הדיון בקורס יתמקד ביישום המודלים עבור פריטים דיכוטומיים. * הנושא יידון בהרצאתה של פרופ' בלר

16. מודלים חד ממדיים מקובלים נציג 3 מודלים חד ממדיים מקובלים ב-IRT הנבדלים זה מזה במספר הפרמטרים המגדירים את עקומת התגובה לפריט (ICC) הפרמטרים של הפריט: קושי הפריט (יסומן b) יכולת הבחנה (תסומן a) "ניחוש" (יסומן c)

17. המודל הלוגיסטי החד-פרמטרי (מודל Rasch) הנחות נוספות של המודל: הפרמטר היחיד המשפיע על תגובת הנבחן (מחוץ לגורם היכולת) הוא קושי הפריט (b) הפריטים אינם נבדלים בכושר ההבחנה שלהם. ההסתברות שנבחנים עם יכולת נמוכה מאוד יענו נכון על הפריט היא אפס

18. נוסחת המודל הלוגיסטי החד פרמטרי

19. פרמטר קושי הפריט (bi) מוגדר כנקודה על ציר היכולת () עבורה ההסתברות לענות נכונה על הפריט היא 0.5* * למעט במודל התלת פרמטרי, ראו הגדרה

20. פונקצית הפריט (ICC) במודל החד פרמטרי

21. המודל הלוגיסטי הדו-פרמטרי הנחות נוספות של המודל: הפרמטרים המשפיעים על תגובת הנבחן לפריט (מחוץ לגורם היכולת) הם קושי הפריט (b) ויכולתההבחנה (a)שלו. ההסתברות שנבחנים עם יכולת נמוכה מאד יענו נכון על הפריט היא אפס

22. נוסחת המודל הלוגיסטי הדו פרמטרי

23. פרמטר יכולת הבחנה (ai) מוגדר כשיפוע עקומת הפריט בנקודת הקושי שלו.

24. 1 פונקצית הפריט (ICC) במודל הדו פרמטרי

25. המודל הלוגיסטי התלת-פרמטרי הנחת נוספות של המודל: הביצוע בפריט מושפע (מחוץ לגורם היכולת) מפרמטר קושי הפריט(b) , מפרמטר יכולת ההבחנה (a),וגם מההסתברות לניחוש (c).

26. נוסחת המודל הלוגיסטי התלת פרמטרי

27. פרמטר "הניחוש" (ci) מייצג הסתברות של נבחנים בעלי היכולת הנמוכה ביותר להשיב נכונה על הפריט. מספק אסימפטוטה תחתונה ל- ICC השונה מאפס.

28. פונקצית הפריט (ICC) במודל התלת פרמטרי

29. a c b פרמטר קושי הפריט (b) במודל התלת פרמטרי

30. 4. פונקצית אינפורמציה של פריט 31 31

31. פונקצית אינפורמציה של פריט Ii() פונקציה המתארת את תרומת הפריט להערכת היכולת של נבחנים בעלי רמות יכולת שונות. מסייעות בפיתוח מבחן, בכך שמאפשרות לבחור פריטים בעלי תרומה רבה יותר לדיוק אומדן היכולת של נבדקים, בנקודות שונות על ציר היכולת ().

32. פונקצית אינפורמציה של פריט Ii()

33. מה בין פונקצית הפריט לפונקצית האינפורמציה שלו? פונקצית אינפורמציה של פריט פונקצית הפריט (ICC)

34. פונקצית אינפורמציה של פריט: השפעת פרמטר b 4 פריט 1: b1=1.00, a1=1.80, c1=0.00

35. פונקצית אינפורמציה של פריט: השפעת פרמטר a 2 פריט 2:b2=1.00, a2=0.80, c2=0.00

36. פונקצית אינפורמציה של פריט: השפעת פרמטר c 3 פריט 3:b3=1.00, a3=1.80, c3=0.25

37. השפעת הפרמטרים של הפריט על המידע שמספק מהו הקשר בין הפרמטרים של הפריט לבין פונקצית האינפורמציה שלו? • האינפורמציה גבוהה יותר ככל שפרמטר b מתקרב ל-  • האינפורמציה גבוהה יותר ככל שפרמטר a גבוה יותר • האינפורמציה יורדת ככל שפרמטר cגבוה יותר

38. 5. פונקצית אינפורמציה של מבחן וטעות התקן באמידת תטא 39 39

39. פונקצית אינפורמציה של מבחן פונקצית אינפורמציה של מבחן שווה לסכום פונקציות האינפורמציה של הפריטים המרכיבים את המבחן בנקודה תטא ()

40. חישוב פונקצית אינפורמציה של מבחן (דוגמא) פונקצית אינפורמציה של מבחן פונקצית אינפורמציה של פריט

41. חישוב פונקצית אינפורמציה של מבחן (דוגמא) פונקצית אינפורמציה של מבחן פונקצית אינפורמציה של פריט

42. חישוב פונקצית אינפורמציה של מבחן (דוגמא) פונקצית אינפורמציה של מבחן פונקצית אינפורמציה של פריט

43. טעויות תקן בהערכת היכולת () - טעות תקן באמידת  - אינפורמציה של מבחן

44. אינפורמציה של מבחן וטעות המדידה

45. טעויות המדידה בהערכת היכולת ברמת יכולת נתונה, טעות המדידה נמצאת ביחס הפוך לאינפורמציה של המבחן טעות התקן באמידת  משתנה ברמות יכולת שונות (בהבדל מ- SEM במודל הקלאסי) ככל שהפריטים הם ברמות קושי תואמות לרמת היכולת () תקטן טעות המדידה

46. 6. אמידת תטא 47 47

47. אמידת תטא () נתון: א. מאגר פריטים מאופיין (הפרמטרים של הפריט ידועים) ב. דפוס תשובות של נבדק בעל יכולת לא ידועה  כיצד נאמוד את רמת היכולת של הנבדק?

48. אמידת (המשך) נחשב את פונקצית הנראות של הנבחן: חישוב ההסתברות לקבלת דפוס התשובות השלם, ברמות היפותטיות שונות של  ע"פ הנחת אי התלות המקומית, ההסתברות לקבלת דפוס התשובות השלם שווה למכפלת ההסתברויות לכל תשובה בתנאי 

49. ערך ה- עבורו פונקצית הנראות של הנבחן היא מקסימאלית נקרא אומדן הנראות המקסימאלית, ומשמש כאומדן ל-  (Maximum Likelihood Estimate - MLE) אמידת (המשך)

50. אמידת תטא(הדגמה)