Lecture 5

1. Lecture 5

2. מודל הרגרסיה המרובה y = b0 + b1x1 + b2x2 + . . . bkxk + u הטרוסקדסטיות (heteroskedasticity)

3. מהי הטרוסקדסטיות? • תזכרו בכך שהנחת הומוסקדסטיות נדרשה כדי לקבל שונות קבועה של טעות בלתי נצפית,u,בהינתן משתנים מסבירים • אם המצב שונה, כלומר, שונות של uשונה עבור ערכים שונים של ה-x-ים, אזי הטעויות יהיו הטרוסקדסטיות • דוגמא: באמידת התשואה להשכלה נתוני היכולת המולדת(ability) אינם נצפים, תחשבו ששונות היכולת משתנה עם רמת ההשכלה

4. דוגמא להטרוסקדסטיות f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x

5. למה לדאוג בקשר להטרוסקדסטיות? • אומדני ה-OLSעדיין יהיו בלתי מוטים ועקיבים, גם ללא הנחת הומוסקדסטיות • אם הטרוסקדסטיות אכן קיימת, סטיות התקן של האומדנים יהיו מוטות • כאשר סטיות התקן מוטות, איננו יכולים להשתמש ב-tסטטיסטי, אוFסטטיסטי, אוLMסטטיסטי לביצוע מבחני השערות והסקת מסקנות

6. שונות בנוכחות הטרוסקדסטיות במקרה הפשוט לכן כאשר האומד המתאים לשונות בתנאי יהיה כאשר הן שאריות ה-OLS

7. שונות בנוכחות הטרוסקדסטיות (המשך) במודל הכללי של רגרסיה מרובה אומד בר תוקף לשונותבנוכחות הטרוסקדסטיות הוא כאשרהנה השארית ה-i-ית מהרצת משתנה xiעל כל שאר משתנים מסבירים ו-SSTjשווה לסכום ריבועי השאריות מאותה רגרסיה

8. סטיות תקן יציבות (robust) • עכשיו, כשיש לנו אומד עקיב לשונות, שורש ריבועי ממנו יכול לשמש בדיקת השערות בתור סטיית תקן • נקרא לסטיות התקן האלה יציבות (רובסטיות) • לפעמים עושים תיקון אומדני השונות למספר דרגות החופש על ידי הכפלה ב-n/(n – k – 1) • אולם ככל ש-n → ∞ התיקון מאבד מחשיבותו

9. סטיות תקן יציבות (המשך) • חשוב לזכור כי הצדקת השימוש בסטיות תקן רובסטיות היא אסימפטוטית בלבד, כלומר, במדגמים קטנים התפלגות שלt-סטטיסטיים המורכבים בעזרת סטיות תקן רובסטיות לא תהיה קרובה להתפלגותtאמיתית, ולכן בבדיקת השערות נקבל מסקנות לא נכונות • ב-Stataסטיות תקן רובסטיות ניתן לקבל באמצעות הפקודה: • reg y x1 x2 …xk, robust

10. סטייה לצורך דיון באסימפטוטיות • לפעמים האומדים שנקבל יהיו מוטים. במקרים כאלה נהיה מעוניינים בקבלת אומדים עקיבים (קונסיסטנטיים) במובן שכאשרn  ∞ התפלגות האומד מתכנסת לערך האמיתי של הפרמטר • תחת הנחות גאוס-מרקוב, אומדני ה-OLSהנם עקיבים (וגם בלתי מוטים) • תכונת העקיבות (קונסיסטנטיות) ניתן להוכיח במקרה של רגרסיה פשוטה באופן דומה להוכחת חוסר הטיה • נצטרך לחשב גבול ההתפלגות(plim)לביסוס העקיבות • לחוסר הטיה הנחנו שתוחלת מותנית שווה לאפס -E(u|x1, x2,…,xk) = 0 • לעקיבות נצטרך הנחות חלשות יותר של תוחלת שווה לאפס -E(u) = 0 וחוסר קורלציה - Cov(xj,u) = 0לכל j = 1, 2, …, k

11. התפלגויות מדגמיות ככל ש-n  n3 n1 < n2 < n3 n2 n1 b1

12. עקיבות אומדני ה-OLS • תחת הנחות גאוס-מרקוב, אומדני ה-OLSהנם עקיבים (וגם בלתי מוטים) • תכונת העקיבות (קונסיסטנטיות) ניתן להוכיח במקרה של רגרסיה פשוטה באופן דומה להוכחת חוסר הטיה • נצטרך לחשב גבול ההתפלגות(plim)לביסוס העקיבות

13. הוכחת עקיבות מכיוון ש-

14. הנחה חלשה • כדי להבטיח חוסר הטיה הנחנו שתוחלת מותנית שווה לאפס -E(u|x1, x2,…,xk) = 0 • כדי להבטיח עקיבות נצטרך הנחה חלשה יותר של תוחלת שווה לאפס -E(u) = 0 וחוסר קורלציה -Cov(xj,u) = 0לכלj = 1, 2, …, k • ללא הנחה זו אומדני ה-OLSיהיו מוטים ולא עקיבים!

15. חישוב בלתי עקיבות • באופן דומה לחישוב גודל ההטיה הנובעת מהשמטת משתנה שעשינו קודם, כרגע נחשב את ההטיה הנובעת מבלתי עקיבות, או הטיה אסימפטוטית ונקבל המודל האמיתי: אתם חושבים ש- מכאן ו- כאשר

16. הטיה אסימפטוטית (המשך) • ובכן, הערכת כיוון ההטיה האסימפטוטית דומה להערכת כיוון ההטיה הנובעת מהשמטת משתנה • ההבדל העיקרי הוא בכך שבהטיה האסימפטוטית אנו משתמשים בשונות ושונות משותפת של האוכלוסייה, ואילו בהטיה שנובעת מהשמטת משתנה אנו משתמשים במאפייני ההתפלגות המדגמיים • תזכרו שחוסר עקיבות הנו בעיה של מדגמים גדולים, והיא לא נעלמת כאשר אנו מוסיפים נתונים • ברוב הנושאים שנלמד בקורס זה לא נבדיל בין חוסר עקיבות והטיה

17. הסקת מסקנות במדגמים גדולים • תזכרו שבהינתן הנחות המודל הקלאסי (CLM), ההתפלגויות המדגמיות הן נורמליות, ומכאן אנו יכולים להשתמש בהתפלגויותtו-Fלצורך בדיקת השערות • קבלת אומדנים שמתפלגים נורמלית בדיוק הייתה תוצאה של הנחת התפלגות נורמלית של הטעיות באוכלוסייה • מהנחת הנורמליות בהתפלגות הטעיות נבע שגם התפלגות שלy, בהינתן כל ה-x-ים הנה נורמלית

18. הסקת מסקנות במדגמים גדולים (המשך) • קל מאוד למצוא דוגמאות בהן הנחת הנורמליות המדויקת לא מתקיימת • כל משתנה שהתפלגותו נטויה (skewed), כגון שכר, מספר מעצרים, חיסכון וכד' לא יכול להתפלג נורמלית, מכיוון שהתפלגות נורמלית אמיתית הנה סימטרית • הנחת הנורמליות לא נדרשה כדי שאומדני ה-OLSיהיוBLUE, אלא רק לבדיקת השערות, בניית רווח בר סמך וכד'

19. משפט הגבול המרכזי (Central Limit Theorem) • בהסתמך על משפט הגבול המרכזי, נוכל להראות כי התפלגות אומדני ה-OLS הנה נורמלית אסימפטוטית • נורמליות אסימפטוטית משמעותה כיP(Z<z)F(z)ככל ש-n , או, במלים אחרות,P(Z<z)  F(z) • לפי משפט הגבול המרכזי, ממוצע מתוקנן של כל אוכלוסייה עם תוחלת mושונות s2מתפלג אסימפטוטית נורמלית עם תוחלת 0 ושונות 1 :~N(0,1) , או

20. התפלגות נורמלית אסימפטוטית בהינתן הנחות גאוס-מרקוב, (א) כאשר (ב) הנו אומד עקיב ל- (ג)

21. התפלגות נורמלית אסימפטוטית (המשך) • מכיוון שהתפלגות tמתקרבת להתפלגות נורמלית ככל שמספר דרגות החופש עולה, נוכל להגיד ש- • שימו לב שלמרות שאיננו חייבים להניח התפלגות נורמלית במדגמים גדולים, אנו עדיין צריכים להניח הומוסקדסטיות

22. סטיות תקן אסימפטוטיות • אם שאריותuאינן מתפלגות נורמלית, אנו לעיתים נתייחס לסטיית תקן כאל סטיית תקן אסימפטוטית מאחר ש- • ובכן, נוכל לצפות לכך שסטיות התקן יתכווצו באופן פרופורציוני להופכי של√n

23. LMסטטיסטי (מכפיל לגרנג' -Lagrange Multiplier ) • ברגע שאנו עובדים עם מדגמים גדולים ומסתמכים על נורמליות אסימפטוטית לצורך בדיקת השערות, נוכל להשתמש לא רק ב-t ו-Fסטטיסטיים • סטטיסטי מכפיל לגרנג' אוLMסטטיסטי הנו הסטטיסטי החלופי לבדיקת מגבלת ההשמטה על צירוף המקדמים • כיוון ש-LMסטטיסטי משתמש ברגרסיית עזר, קוראים לו לפעמים nR2סטטיסטי • הגדרה: רגרסיית עזר הנה רגרסיה שמריצים אותה כדי לחשב סטטיסטי כלשהו לצורך בדיקת השערות (לדוגמא), כאשר איננו מעוניינים במקדמים שנקבל באמידה

24. LMסטטיסטי (המשך) • נניח, אנו עובדים עם המודל הסטנדרטי מהצורה y = b0 + b1x1 + b2x2 + . . . bkxk + uוהשערת האפס מנוסחת באופן הבא: • H0: bk-q+1 = 0, ... , bk = 0 • קודם כל, אנו מריצים את המודל המוגבל עכשיו ניקח את השאריות ונריץ על x1, x2, …, xk (כלומר, על כל המשתנים המסבירים) כאשר Ru2 לקוח מהרגרסיה הזאת

25. With a large sample, the result from an F test and from an LM test should be similar Unlike the F test and t test for one exclusion, the LM test and F test will not be identical LMסטטיסטי (המשך) , לכן נוכל לבחור ערך קריטי, c, מהתפלגות או פשוט לחשב רמת מובהקות קריטית p-value על סמך התפלגות • אם השערת האפס שלנו נכונה,R2מהרגרסיה שלũעל כל ה-x-ים יהיה "קרוב" לאפס • במדגם גדול תוצאות מבחןFותוצאות מבחןLMיהיו דומות • בניגוד לזהות בין מבחן F ומבחןtעל השמטת משתנה אחד, מבחןLMלא יהיה זהה למבחןF • סוף הסטייה לצורך דיון באסימפטוטיות

26. LM סטטיסטי רובסטי • תריצו את המודל המוגבל בשיטתOLSותשמרו את השאריות,ŭ • תריצו כל אחד מהמשתנים המושמטים על כל המשתנים שנכללו במודל (qרגרסיות שונות) ותשמרו כל סדרות השאריות שיתקבלוř1, ř2, …, řq • תרוצו משתנה המוגדר כ-1עלř1ŭ, ř2ŭ, …, řqŭ, ללא חותך • LMסטטיסטי יהיה שווה ל-n – SSR1, כאשרSSR1הנו סכום ריבועי השאריות מהרגרסיה האחרונה שהרצתם • דוגמא מס' 5-1,Stata

27. בדיקת הטרוסקדסטיות • למה לדאוג? • כשישנה הטרוסקדסטיות, אומדני ה-OLSכבר לאBLUE, ועוד מעט נראה שקיים אומד טוב יותר כאשר צורת הטרוסקדסטיות ידועה • למעשה, אנו רוצים לבדוק • H0: Var(u|x1, x2,…, xk) = s2 שאקוויוולנטית ל: H0: E(u2|x1, x2,…, xk) = E(u2) = s2 • אם נניח שהקשר ביןu2ו-xjיהיה ליניארי, נוכל לבחון מגבלה ליניארית • ובכן, ל-u2 = d0 + d1x1 +…+ dk xk + vהמשמעות היא לבדוק השערהH0: d1 = d2 = … = dk = 0

28. מבחןBreusch-Pagan • אינו צופה טעויות, אולם יכול לאמוד אותן באמצעות השאריות מרגרסיהOLS • לאחר הרצת השאריות בריבוע על כל ה-x-ים יכול להשתמש ב-R2כדי לבצע מבחןFאו מבחןLM • Fסטטיסטי הנו פשוטFסטטיסטי לבדיקת מובהקות המודל כולו: • F = [R2/k]/[(1 –R2)/(n – k – 1)] שמתפלג Fk, n – k - 1 • LMסטטיסטי הואLM = nR2שמתפלג Χ2k • דוגמא מס' 5-2,Stata

29. מבחן White • מבחןBreusch-Paganיזהה כל צורה ליניארית של הטרוסקדסטיות • מבחן Whiteמאפשר לזהות צורות לא ליניאריות באמצעות הוספת ריבועים ואינטראקציות בין כל ה-x-ים • y = b0 + b1x1 + b2x2 + b3x3 + u • תריצו רגרסיה מהסוג u2 = a0 + a1x1 + a2x2 + a3x3 + a4x12 + a5x22 + a6x32 + a7x1x2+ a8x1x3+ a9x2x3 + error • גם כאן מספיק לבצע מבחןFאו מבחןLMכדי לבדוק האם כל ה-xj, xj2ו-xjxhמובהקים יחד • הבדיקה יכולה להסתבך מהר מאוד

30. צורה אלטרנטיבית של מבחןWhite • תחשבו שסדרת ערכי התחזית מרגרסיהOLS,ŷ, הנה פונקציה של כל ה-x-ים • ŷ= b0 + b1x1 + b2x2 + b3x3 • ŷ2=(b0 + b1x1 + b2x2 + b3x3)2 • מכאן,ŷ2יהיה פונקציה של ריבועים ואינטראקציות, לכןŷו-ŷ2יכולים לשמש כ-proxyלכל ה-xj, xj2ו-xjxh, לכן • תריצו ריבועי השאריות עלŷו-ŷ2ותשתמשו ב-R2להרכבתFאוLMסטטיסטי • שימו לב שאתם בודקים 2 מגבלות כרגע • המשך דוגמא מס' 5-2,Stata

31. שיטת ריבועים פחותים משוקללים (Weighted Least Squares) • למרות שתמיד ניתן לחשב סטיות תקן רובסטיות עבור אומדני ה-OLS, אם ידועים לנו פרטים על צורה ספציפית של הטרוסקסטיות, נוכל לקבל אומדנים יעילים יותר מאשר אומדני ה-OLS • הרעיון הבסיסי הוא להפוך את המודל כך שיהיה בעל טעיות הומוסקדסטיות, והשיטה מכונה שיטת ריבועים פחותים משוקללים (WLS)

32. מקור הטרוסקדסטיות ידוע עד כדי הכפלה בסקלר • נניח שניתן להציג הטרוסקדסטיות בנתונים בצורה Var(u|x) = s2h(x), כאשר המשימה העיקרית היא למצוא איך בדיוק נראה המרכיבh(x) ≡hi • E(ui/√hi|x) = 0מכיוון ש-hiהנה פונקציה שלxבלבד, ו-Var(ui/√hi|x) = s2כי ידוע לנו ש-Var(u|x) = s2hi • לפיכך, אם נחלק את המשוואה כולה ב-√hi, נקבל מודל עם טעויות הומוסקדסטיות

33. שיטת אמידהGLS(Generalized Least Squares) • אמידת המשוואה החדשה בשיטתOLSהנה דוגמא לשימוש בשיטת ריבועים פחותים כללית(GLS) • אומדניGLSיהיוBLUE • שיטתGLSמהווה למעשה שיטת ריבועים פחותים משוקללים (WLS) כאשר כל שארית בריבוע משוקללת בהופכי שלVar(ui|xi)

34. שיטת ריבועים פחותים משוקללים(WLS) • בעוד שמבחינה אינטואיטיבית ברור למה שימוש בשיטת ה-OLSעל משוואה לאחר טרנספורמציה הוא פתרון הולם לבעיה, ביצוע טרנספורמציה לעיתים יכול להפוך לפרוצדורה די מעייפת • שימוש בשיטת ריבועים פחותים משוקללים (WLS) היא דרך נוספת לקבל אותה תוצאה, אולם ללא טרנספורמציה • הרעיון הוא להביא למינימום סכום הריבועים המשוקללים (השקלול נעשה באמצעות1/hi) • דוגמה מס' 5-3,Stata

35. עוד על שיטת האמידהWLS • שיטת WLSמעולה כשאנו יודעים צורה מדויקת שלVar(ui|xi) • ברוב המקרים איננו יודעים מהי צורת הטרוסקדסטיות • במקרה אחד סוג המשקלות נובע באופן טבעי מהמודל הכלכלי תחת האמידה: הנתונים מצרפיים אולם המודל מוגדר ברמה מיקרו (ברמת הפרט) • במקרה כזה נרצה לשקלל כל תצפית מצרפית על ידי ההופכי למספר הפרטים בכל קבוצה

36. דוגמא • נניח, אנו מעוניינים לאמוד את הסכום שעובד מפריש לקופת הפנסיה כפונקציה של נדיבות התוכנית (איך החברה מתאימה את ההשקעה שלה בתוכנית) • contribi,e= b0 + b1earnsi,e + b2agei,e + b3mratei,e+ui,e • כאשר i= פירמה ו-e=מועסק בתוך הפירמה • earns=שכר שנתי למועסק • age=גילו של מועסק • mrate=סכום שפירמה משקיעה בתוכנית על כל $ שמפריש מועסק • נניח שאנו צופים רק ערכים ממוצעים של הפירמות • contrib_avgi,e= b0 + b1earns_avgi,e + b2age_avgi,e + b3mrate_avgi,e+ u_avgi,e • כאשרu_avgi,e = m-1Σeui,e

37. דוגמא (המשך) • אם המשוואה הכתובה ברמת הפרט מתאימה להנחת הומוסקדסטיות, אזי בנתונים ברמת הפירמה בהכרח נמצא הטרוסקדסטיות (תסתכלו על ההגדרה שלu_avgi,e) • אםVar(ui,e)= σ2לכלiו- e, אזיVar(σ2/mi)= σ2/mi • ככל שגודל הפירמה עולה, שונות שלσ2/miיורדת • במקרה כזה h = 1/m • הפרוצדורה היעילה ביותר היא אמידה בשיטתWLSעם משקלות בגודל ההופכי למימדי הפירמה • אותו רעיון ישים כאשר יש לנו נתונים על משתנים לנפש ברמת הערים או המדינות • הערה חשובה: הרעיון מבוסס על הנחת הומוסקדסטיות ברמת הפרט. אולם כאשר יש לנו הטרוסקדסטיות גם ברמת הפרט • תשתמשו בשיטה המחשבת סטיות תקן רובסטיות • תעשו שקלול לפי גודל האוכלוסייה וכד' ותשתמשו בסטטיסטיים רובסטיים גם באמידתWLS

38. GLSבר ביצוע (Feasible GLS) • במקרה הטיפוסי לא נדע את הצורה הספציפית של הטרוסקדסטיות • אם זה המצב, נצטרך לאמודh(xi) • בדרך כלל נתחיל מהנחת מודל גמיש למדי כמו • Var(u|x) = s2exp(d0 + d1x1 + …+ dkxk) • כיוון ש-dאינו ידוע, נצטרך לאמוד אותו

39. GLSבר ביצוע (המשך) • לפי ההנחה שלנו • u2 = s2exp(d0 + d1x1 + …+ dkxk)v • כאשרE(v|x) = 1 • אםE(v) = 1 נוכל לכתוב: • ln(u2) = a0 + d1x1 + …+ dkxk + e • כאשרE(e) = 0 ו-eאינו תלוי ב-x • עכשיו אנו יודעים ש- ûהנו אומד ל-uונוכל לבצע אמידה באמצעותOLS

40. GLSבר ביצוע (המשך) • כרגע האומדן ל- hמתקבל כ-ĥ = exp(ĝ)וההופכי שלו יהיה משקולת • ובכן, מה עושים? • מריצים מודלOLSמקורי, שומרים שאריות,û, מעלים אותן בריבוע ולוקחיםln • מריציםln(û2) על כל המשתנים המסבירים ושומרים תחזיות,ĝ • מריצים WLSעם משקלות השוות ל-1/exp(ĝ) • אומדני ה-FGLSשנקבל יהיו עקיבים ויעילים יותר אסימפטוטית בהשוואה לאומדני ה-OLS • התפלגות הסטטיסטיים לבדיקת השערות יהיו התפלגויותtאוFרגילות, לפחות במדגמים גדולים • דוגמא מס' 5-4,Stata

41. סיכוםWLS • חשוב: בביצוע מבחניFעםWLSתרכיבו משקלות ממודל לא מוגבל ותשתמשו בהם להרצתWLSהן על המודל המוגבל והן על המודל הלא מוגבל • תזכרו שאנו משתמשים בשיטתWLSרק ליעילות – אומדניOLSעדיין יהיו בלתי מוטים ועקיבים • האומדנים ב-WLSיהיו בכל זאת שונים עקב טעויות מדגמיות, אולם במידה והם מאוד שונים זהו סימן לכך שהנחות גאוס-מרקוב אחרות לא מתקיימות