MODELLO DI REGRESSIONE LINEARE MULTIPLA

1. MODELLO DI REGRESSIONE LINEARE MULTIPLA Modello e assunzioni Stimatori OLS e proprietà R2 , variabilità totale , spiegata , residua Previsione Test per la verifica di ipotesi Vincoli lineari e variabili dummy Eteroschedasticità Multicollinearità Autocorrelazione dei residui

2. REGRESSIONE LINEARE MULTIPLA: IL PROBLEMA • Ricerca di un modello matematico in grado di esprimere la relazione esistente tra una variabile di risposta y (quantitativa) e ( ad esempio) k variabili esplicative • Si tratta di una relazione asimmetrica del tipo Nel caso del modello di regr.lineare multipla abbiamo che: che geometricamente corrisponde ad un iperpiano a k dimensioni • Perché si studia tale modello • facilità con cui può essere interpretato un iperpiano a k dimensioni • ii) Facilità di stima dei parametri incogniti bj ( j = 1…k) Nella realtà studiamo un modello del tipo Componente componente sistematica casuale

3. IL MODELLO In forma matriciale dove : vettore (n x 1) di osservazioni sulla variabile dipendente : matrice (n x k) di osservazioni su k regressori : vettore (k x 1) di parametri incogniti : vettore (n x 1) di disturbi stocastici

4. Le matrici e i vettori sono così definiti N.B. La matrice X ha la prima colonna unitaria nel caso in cui si consideri un modello con intercetta b1 nel sistema di riferimento multidimensionale

5. ASSUNZIONI DEL MODELLO • Esiste legame lineare tra variabile dipendente e regressori • Le variabili sono tutte osservabili • I coefficienti bi non sono v.c. • I regressori X sono non stocastici • Il termine u non è osservabile 7) le ui sono omoschedastiche ed incorrelate • X ha rango pieno rank (X) = k condizione necessaria • hp aggiuntiva da utilizzare nell’analisi inferenziale

6. STIMATORE OLS Y = Xb + u Si cercherà quel vettore che minimizza gli scarti al quadrato: dove Xi è la riga i-esima di X In forma matriciale = perché scalare (1)

7. perché è uno scalaredalla (1) si ottienepre-moltiplicando ambo i membriperché rank (X’X) = rank (X) = kX’X è a rango pieno ovvero invertibilestimatore OLS di b

8. CARATTERISTICHE STIMATORE OLS Teorema di Gauss-Markov è uno stimatore di tipo BLUE Best Linear Unbiased Estimator ovvero ha varianza minima nella classe degli stimatori Lineari e Corretti La matrice è formata da elementi costanti per cui è una trasformazione lineare di y . 2. È uno stimatore corretto Inoltre:

9. 3. Si consideri più in dettaglio Pertanto la varianza di ogni parametro si desume prendendo il corrispondente valore sulla diagonale principale della , moltiplicato per :

10. Definiamo uno stimatore alternativo lineare e corretto dove C è una matrice (n x k) ma Pertanto la è la minima nella classe degli stimatori lineari e corretti, e risulta provato il teorema di Gauss-Markov .

11. STIMA DI MX è simmetrica e idempotente, cioè: 1. 2. Da queste proprietà di MX si ottiene perché scalare tr(ABC)= tr(BCA)= tr(BAC)

12. è uno stimatore corretto ESEMPIO (Greene p.200) i : 1960 … 1986 , n = 27 Gi= consumo di benzina in $Pgi = indice dei prezzi benzinaYi= reddito pro-capite in $Pqi = indice dei prezzi auto nuove Se definiamo

15. ANOVA Analisi della varianza Se vogliamo testare simultaneamente ipotesi su tutti i parametri o coefficienti dei regressori andiamo a considerare la statistica F di Fisher-Snedecor. Considerando il modello in forma di scarti

16. Si può dimostrare che e ricordando che Fp,q Sotto

17. TABELLA ANOVA

18. SCOMPOSIZIONE DELLA DEVIANZA TOTALE CASO. Modello senza intercetta La colonna della matrice X relativa alla variabile X1 non è formata da tutte unità Possiamo scrivere i valori stimati del modello come da cui Notiamo che M simmetrica e idempotente P simmetrica e idempotente =0 =0

19. Ma TSS ESS RSS Somma quadr. Somma quadr. Somma quadr. totale modello residui

20. 2. CASO. Modello con intercetta Perché Se consideriamo otteniamo che :

21. Possiamo così scomporre la variabilità o “devianza” della variabile dipendente Y dove: • Devianza totale TSS • Devianza dovuta al modello ESS • Devianza residua o “non spiegata” RSS COEFFICIENTE DI CORRELAZIONE MULTIPLA

22. Il coefficiente di correlazione è un indicatore del legame lineare tra Y e i regressori. Ha però un difetto: Esso può aumentare anche se viene aggiunto un regressore che non “spiega” y. Se dividiamo le devianze per i gradi di libertà andiamo a pesare il contributo a R2 di ogni regressore

23. Consideriamo ancora gli scarti (*) In forma matriciale Gli elementi di Y e X sono scarti Nella matrice X nx(k-1) non appare più la colonna delle unità I vettori b e sono (k-1)x1 e non contengono più l’intercetta

24. Sviluppando gli OLS è sempre uno stimatore BLUE poiché = 0 Dalla (*) si ottiene

25. L’unico cambiamento si nota nella definizione di R 2

26. APPLICAZIONE n = 12 k = 3 Facendo riferimento ai valori Determinare il vettore di stime OLS

27. Se consideriamo il modello in forma di scarti dalle medie Dove

28. da cui

29. RICAPITOLANDO Fino ad ora nessuna ipotesi è stata posta per la distribuzione degli errori nel problema della stima. Aggiungiamo :

30. STIMATORE DI MAX VEROSIMIGLIANZA Determiniamo il max lg L rispetto al vettore b e rispetto a s2: Equivale al

31. Otteniamo quindi Lo stimatore M.L. di b equivale allo stimatore OLS di b Stimatore M.L. di s2 , che sappiamo essere non corretto Nota: Lo stimatore M.L. di b gode (ovviamente) di tutte le buone proprietà viste per lo stimatore OLS di b, Quindi è BLUE

32. TEST PER LA VERIFICA DI IPOTESI Dal teorema di GAUSS-MARKOV : Vogliamo testare Ovvero vogliamo verificare se il regressore Xi spiega effettivamente la variabile dipendente Y nel caso (improbabile) che sia nota s2 Sotto andiamo a considerare la statistica

33. Se il valore cade all’esterno dell’intervallo di confidenza al 95% della , rifiutiamo H0 ed il parametro bi sarà “significativamente” diverso da zero. In generale rifiuto H0 al livello 100e% di significatività quando

34. QUANDO s2 NON E’ NOTA Utilizziamo la sua stima Abbiamo già visto che MX e idempotente con tr(MX) = n-k da cui rank (MX) = (n-k) Per il teorema spettrale esiste una matrice ortogonale P : P’P = In

35. dove (n-k) k (n-k) k E’ una matrice diagonale con (n-k) unità e k zeri sulla diagonale principale Esempio n = 6 k = 2 Sulla base di Pu può essere trasformato

36. con P ortogonale Inoltre dimostriamo che e sono indipendenti: Si dimostra verificando che e è incorrelato da

37. e e sono Normali e incorrelate quindi indipendenti ; lo saranno anche e N.B. Quindi

38. (*) elemento generico di posto ii nella diagonale della (X’X) Le ipotesi su bi possono essere verificate sostituendo i valori nella (*) e controllando poi che la statistica superi o meno i valori della regione critica della distribuzione tn-k .

40. MULTIPLE REGRESSIONdependent variable : Price Var-Covar matrix of Regression Coefficients (B) Below diagonal : Covariance . Above : Correlation FLR ST FP BDR RMS FLR 1.116E-05 .06523 -.02657 .01127 -.41096 ST 5.112E-04 5.50163 .06414 -.03717 -.08660 FP -2.529E-04 .42872 8.11969 .00430 -.06912 BDR 7.452E-05 -.17250 .02423 3.91444 -.83394 RMS -.00230 -.33964 -.32930 -2.75873 2.79561 ----------------------Variables in the Equation----------------------------- Variable B SE B 95%Conf. Intrvl B Beta FLR .019124 .003341 .012155 .026092 .696273 ST 11.253185 2.345555 6.360443 16.145926 .404586 FP 10.295264 2.849507 4.351296 16.239232 .301084 BDR -7.826966 1.978493 -11.954030 -3.699901 -.812218 RMS 4.863990 1.672008 1.376242 8.351738 .658351 Const. 24.172544 4.903762 13.943476 34.401612 ----------------in----------------- Variable T Sig T FLR 5.724 .0000 ST 4.798 .0001 FP 3.613 .0017 BDR -3.956 .0008 RMS 2.909 .0087 (Const.) 4.929 .0001 End Block Number 1 PIN=.050 Limits reached PRICE=24.17+0.019*FLR +11.253*ST+10.295*FP-7.827*BDR+ +4.864*RMR=24.17+0.019*(100)+11.253*(1)+10.295*(0)- -7.827*(3)+4.864*(6)=43.026 (prezzo stimato)

41. RIPRENDIAMO L’ESERCIZIO (Applicazione lucidi precedenti) ( F0.01 , 2 , 9 = 8.02) Ricordiamo: n = 12 k = 3 con intercetta 2 var. esplicative in forma di scarti valore empirico di F Si rifiuta H0 con un livello di significatività del 99%F empirico = 51.75 >F0.01,2,9 = 8.02

42. Se avessimo voluto testare Ovvero la significatività di X2 (t99.9 = 2.82) valore empirico di t Anche adesso rifiutiamo H0il regressore X2 è significativo

43. PROBLEMI DI PREVISIONE Si vuole prevedere il valore di Yn+1 per un insieme di valori X osservati. Supponiamo però per X i valori E’ possibile fare una previsione puntuale o stimare un intervallo di previsioni. Utilizzando le proprietà BLUE di avremo il PREVISORE PUNTUALE sarà BLUFF Best Linear Unbiased Forecasting Function

44. Per ottenere un intervallo di previsione è necessario individuare la distribuzione di Quindi una stima intervallare con un livello fiduciario del 100(1-e)% :

45. APPLICAZIONE Voglio prevedere Y da X0. Per calcolare l’intervallo devo determinare Infatti .

46. L’intervallo fiduciario sarà A parità di dati osservati l’intervallo sarà tanto più largo quanto più X0 è distante da

47. CENNI SULLE VARIABILI DUMMY(Variabili di comodo) Fino ad ora abbiamo assunto che nella equazione generale Y = Xb + u Le variabili X siano variabili cardinali date dalla teoria economica. E’ possibile introdurre variabili cosiddette “di comodo” che riescano a rappresentare diversi fattori : EFFETTI TEMPORALI EFFETTI SPAZIALI VARIABILI QUALITATIVE

48. È possibile che un modello economico possa subire mutamenti strutturali : FUNZIONE DI CONSUMO Tempo di guerra Tempo di pace Si ipotizza comunque che la propensione marginale al consumo rimanga invariata in entrambi i periodi

49. Invece di considerare i due modelli separatamente (stime meno precise) vengono uniti in una sola relazione Dove X1 e X2 sono variabili dummy : La matrice b dei coefficienti sarà e la matrice dei dati

50. La trappola delle variabili di comodo Quando utilizziamo le variabili dummy è necessariob fare attenzione a come viene costruito il modello, per non rendere la matrice (X’X) singolare . Infatti se nel modello precedente lasciavamo una intercetta : Abbiamo che le 4 colonne di X sono linearmente dipendenti (X’X) non è invertibile