הרצאה 8

1. הרצאה 8 נושאים באקונומטריקה יישומית 1 אמידת נראות מקסימאלית

2. נראות מקסימאלית • עקרון הנראות המקסימאלית הוא לבחור אומד עבור וקטור הפרמטרים θ הממקסם את הסבירות לראות את המדגם האמיתי. • במקרה הבדיד הסבירות הזו היא פונקצית ההסתברות, במקרה הבדיד זו הצפיפות.

3. נראות מקסימאלית: דוגמא להמחשה • נחשוב על דוגמא פשוטה שתיתן לנו את האינטואיציה להבנת הנראות המקסימאלית. • יש לנו מטבע, ואנו רוצים לאמוד את ההסתברות p שהיא תיפול על צד ה"עץ". • אומרים לנו שההסתברות היא או 1/2 או 9/10. • אנו מטילים את המטבע 10 פעמים, ומקבלים את הרצף הבא: עפעעעפעפעע (כלומר 7 עצים מתוך 10).

4. נראות מקסימאלית: דוגמא להמחשה • מהו אומד הנראות המקסימאלית ל-p? אם הערך האמיתי של p היה 1/2, מה ההסתברות (הסבירות) לקבל את הרצף שאכן קיבלנו? מהי הסבירות לו הערך האמיתי היה 9/10? איזה מערכי p הללו יותר סביר? • החישובים פשוטים: אנו רק צריכים לזכור את הנוסחא לחישוב ההסתברות לקבל מספר נתון של הצלחות ברצף של n ניסויי ברנולי כאשר ההסתברות להצלחה שווה ל-p.

5. נראות מקסימאלית: דוגמא להמחשה • יהי yi=1 אם תוצאת ניסוי i היא הצלחה, ו-0 אחרת. • אזי ההסתברות לקבל k הצלחות היא:

6. נראות מקסימאלית: דוגמא להמחשה • אתם עלולים לזכור שזו פונקצית ההסתברות של התפלגות בינומית. בדוגמא שלנו, ההסתברות לקבל 7 עצים מתוך 10 הטלות של מטבע הוגן היא:

7. נראות מקסימאלית: דוגמא להמחשה • וההסתברות לקבל 7 עצים מתוך 10 הטלות של מטבע לא הוגן (p=9/10) היא:

8. נראות מקסימאלית: דוגמא להמחשה • דוגמא מאוד פשוטה זו מראה את הרכיבים העיקריים של אמידת נראות מקסימאלית. • אנו צריכים את פונקצית הסבירות (likelihood function), פונקציה שאומרת לנו מה ההסתברות לקבל את מה שאכן קיבלנו עבור ערך נתון של פרמטרים המעניינים אותנו; ואת המרחב של ערכי פרמטר אפשריים, מרחב הפרמטרים (בדוגמא שלנו מרחב הפרמטרים הכיל שתי נקודות בלבד: p=1/2 או p=9/10). • אז, כל שעלינו לעשות הוא למצוא את הערך במרחב הפרמטרים הממקסם את פונקצית הסבירות.

9. נראות מקסימאלית: באופן יותר פורמאלי • נחשוב על אמידת נראות מקסימאלית המבוססת על המדגם {(yi,xi), i=1,…,N} • אומד הנראות המקסימאלית ממקסם את פונקצית הלוג-סבירות (log-likelihood). • פונקצית הסבירות הינה הצפיפות המשותפת, אשר בהינתן תצפיות בלתי תלויות הינה המכפלה: שהיא מכפלת הצפיפויות האינדיבידואליות כאשר שמנו התניה בצורת המשתנים הבלתי תלויים.

10. נראות מקסימאלית: צפיפות מעריכית (דוגמא 1) • דוגמא: • אם y1,…,yn הם מדגם של n תצפיות מהתפלגות מעריכית עם פרמטר θ, לדוגמא f(y;θ)=θe-θy, אז פונקצית הסבירות היא:

11. נראות מקסימאלית: צפיפות נורמאלית (דוגמא 1) • דוגמא: • אם y1,…,yn הם מדגם של n תצפיות מהתפלגות נורמאלית עם פרמטרים μ ו- σ2, לדוגמא • אז פונקצית הסבירות היא:

12. נראות מקסימאלית • קודם, עבור מקרה ההתפלגות הבדידה, אמרנו שהמטרה של אמידת הנראות המקסימאלית היא למצוא את ערך של θ שהופך את ההסתברות לקבל את המדגם שאכן קיבלנו להיות גבוהה ככל האפשר. • במקרה של התפלגות רציפה, האנלוגיה לא מדויקת, מכיוון שלכל מדגם ספציפי יש הסתברות אפס. • אולם, העיקרון זהה: מצא את הערך של θ הממקסם את הצפיפות המשותפת של המדגם הנצפה, כלומר, פונקצית הסבירות. • אם כן, אומד ML הוא:

13. נראות מקסימאלית • לעיתים קרובות יותר נוח לעבוד עם הלוגריתם (הטבעי) של פונקצית הסבירות. • פונקצית הלוג הינה טרנספורמציה מונוטונית, כך שהערך הממקסם את הנראות ימקסם גם את הלוג-סבירות. לכן:

14. נראות מקסימאלית: המשך דוגמא 1 • אומד ML ל-θ, הפרמטר של התפלגות מעריכית, הינו הערך של θ הממקסם את: • ניקח את הנגזרת של lnL ביחס ל- θ ונשווה אותה לאפס:

15. נראות מקסימאלית: המשך דוגמא 2 • הלוג-סבירות של התפלגות נורמאלית עם תוחלת μ ושונות σ2 היא: • לקיחת הנגזרות של פונקצית הלוג-סבירות לפי μ ו-σ2 נותנת את משוואות הסבירות:

16. נראות מקסימאלית: המשך דוגמא 2 • כדי למצוא את אומדי ML, אנו צריכים לפתור מערכת של שתי משוואות עם שני נעלמים. ניתן לעשות זאת בשני שלבים. ראשית, נכפיל את המשוואה הראשונה ב-σ2 ונפתור עבור . אז נציב את במשוואה השנייה ונפתור עבור . הפתרונות הם:

17. נראות מקסימאלית • נשים לב שאומר ML ל-σ2 אינו האומד חסר ההטיה המוכר לכם משיעורי הסטטיסטיקה שלכם. • שתי דוגמאות אלו מעט מוזרות, בזאת שהיה ניתן לקבל פתרון סגור עבור אומד ML. • באופן כללי, המערכת של משוואות סבירות תהיה מורכבת ממערכת של משוואות לא-ליניאריות מסובכות שניתן לפתור רק באופן נומרי.

18. נראות מקסימאלית: צפיפות פואסון הלוג-צפיפות של התצפית ה-i היא:

19. נראות מקסימאלית: צפיפות פואסון • אומד Poisson ML ממקסם: כאשר גורם הסילום כלול כדי שהמשוואה תישאר סופית כאשר N שואף לאינסוף. • אומד Poisson ML הינו פתרון של תנאי סדר ראשון או: • אין פתרון מפורש ל- אך ניתן לפתור את הבעיה בעזרת שיטות נומריות

20. פירוש מקדמים ברגרסיה לא-ליניארית • לעיתים אנו מעוניינים במדידת ההשפעות השוליות, כלומר את השינוי בתוחלת המותנית של y כאשר המשתנים x משתנים ביחידה אחת. • עבור מודל הרגרסיה הליניארית, E[y|x]=x’β מתקבל כי כך שלמקדם יש פירוש ישיר בתור ההשפעה השולית. • עבור מודלי רגרסיה לא-ליניאריים, פירוש זה כבר אינו אפשרי. • לדוגמא, E[y|x]=exp(x’β), אזי הינו פונקציה הן של הפרמטרים והן של המשתנים המסבירים, וגודל ההשפעה השולית תלוי גם ב-x בנוסף ל-β.

21. פירוש מקדמים ברגרסיה לא-ליניארית • ישנן שלוש השפעות שוליות שמעניינות אותנו באופן כללי: • ההשפעה השולית הממוצעת לכל הפרטים. • ההשפעה השולית עבור הפרט הממוצע. • ההשפעה השולית עבור ממוצע עם תכונות ספציפיות, x=x*. לדוגמא, x* יכול לייצג פרט שהוא ממין נקבה עם 12 שנות לימודים וכו'. • שלוש מידות אלו הן שונות במודלים לא ליניאריים, בעוד במודל הליניארי כולן שוות ל-β. • אפילו סימן ההשפעה עלול להיות בלתי תלוי בסימן של הפרמטר, כאשר חיובי עבור ערכים מסוימים של x ושלילי לאחרים. • ניתן להציג את ההתפלגות המלאה של השפעות שוליות בעזרת היסטוגרמה (גרף עמודות). נחזור לנושא זה בהרצאות מאוחרות יותר.

22. נראות מקסימאלית: דוגמא באמצעות שימוש בהתפלגות המעריכית הצפיפות המעריכית הינה עם תוחלת 1/λ ושונות 1/λ2. אנו נציג את המשתנים במודל על ידי הצבת: מה שמבטיח כי λ>0 • אומד OLS מאמידה של y כפונקציה של x אינו עקיב כי היא מתאימה קו ישר כאשר פונקצית הרגרסיה הינה בעצם עקום מעריכי.

23. נראות מקסימאלית: דוגמא מ-Stata באמצעות ההתפלגות המעריכית • ניתן להשיג בקלות את אומדי הנראות המקסימאלית. הלוג-צפיפות היא • מה שמביא לתנאי סדר ראשון

24. סימולציה ב-Stata ותוצאות • לצרכי פשטות נחשוב על רגרסיה עם חותך ומשתנה מסביר. • כאשר x~N(1,1) וכן (β1,β2)=(2,-1). נשים לב שהמשמעות הינה כי E[y|x]=exp(-(β1+β2x). • נלקח מדגם גדול מגודל 10,000 כדי להביא למינימום את ההבדלים באומדים, במיוחד שגיאות תקן, העולים מהשתנות הדגימה. • אומד OLS אינו עקיב, ונותן אומדנים שאינם קשורים ל-(β1,β2). • אומדי ML, מצד שני, הינם עקיבים, ונונים אומדנים שהינם במרחק של 2 סטיות תקן מהפרמטרים האמיתיים.

25. פירוש מקדמים • אנו מעוניינים ב-E[y|x] כאשר x משתנה. • ראשית נחשוב על אומדן ML של • התוחלת המותנית הינה יורדת מונוטונית ב-x כך שהסימן של הינו ההיפך מההשפעה השולית. • כאן ההשפעה השולית של גידול ב-x הינה קיטון בתוחלת המותנית. • באמצעות חדו"א: • תגובת ממוצע המדגם הינה והתגובה החזויה בממוצע המדגם הינה