La régression multiple

1. La régression multiple Econométrie appliquée Cours de M1 deuxième partie Armand Taranco

2. Quand utiliser la régression multiple • Pour estimer la relation entre une variable dépendante (Y) et plusieurs variables indépendantes (X1,X2, …) • Exemples • Expliquer le prix d’un appartement par la superficie, les prestations, l’emplacement,… • Expliquer les ventes d’un magasin par le marché total, le prix, l’investissement, la publicité,… • Expliquer la consommation des véhicules par le prix, la cylindrée, la puissance et le poids.

3. Le modèle linéaire de régression multiple • Equation de régression multiple Cette équation précise la façon dont la variable dépendante est reliée aux variables explicatives : où b0, b1, b2, . . . , bpsont les paramètreset e est un bruit aléatoire représentant le terme d’erreur.

4. Le modèle linéaire de régression multiple • Les termes de l’équation Influence de la variable Xp Terme constant ième observation de Y Influence de la variable X1 Résidu de la ième observation

5. Le modèle linéaire de régression multiple • Ecriture matricielle du modèle

6. Le modèle linéaire de régression multiple • Les hypothèses du modèle • Les hypothèses de nature probabiliste • Les variables Xi sont aléatoires • E(ei)=0 pour tout i • V(ei)=s2pour tout 1≤i≤p (homoscédasticité des erreurs) • Cov(ei , ei)=0 pour tout i≠j • Le vecteur aléatoire e suit une loi normale à n dimensions N(0, s 2In) • Les hypothèses structurelles • Det(XTX)≠0 (absence de colinéarité entre les variables explicatives). • n>p+1

7. Le modèle linéaire de régression multiple • Interprétation géométrique Le modèle général définit un hyperplan de dimension p. Nous illustrons le cas p=2. E(Yi|X1i, X2i) =0+1X1i+2X2i Yi: observation Y b0 ei X2 (X1i, X2i) X1

8. Données: x1 x2 . . . xp y . . . . . . . . Le processus d’estimation Modèle de régression multiple Y =0+1X1+2X2+. . .+pXp+e Hyperplan de régression multiple E(Y|X1,…,Xp) =0+1X1+ 2X2+. . .+pXp Paramètres inconnus b0, b1, b2, . . . ,bp Equation estimée Estimateursde b0, b1, b2, . . . ,bp Estimateurs

9. Le processus d’estimation • Interprétation géométrique Illustration du cas p=2. yi: observation Y X2 (X1i, X2i) X1

10. Le processus d’estimation • Estimation des coefficients de régression • La méthode : les moindres carrés ordinairesLe principe de l’estimation des coefficients de régression : consiste à minimiser la somme des carrés des résidus : • Le calcul numérique lui-même (calcul matriciel) peut s’effectuer à l’aide de logiciels statistiques (SAS, SPSS, S+, R, Gretl,…).

11. Le processus d’estimation • Estimation des coefficients du modèle La méthode des moindres carrés donne pour résultat : suit une loi est sans biais : Parmi les estimateurs de b linéaires par rapport à X, sans biais, les éléments de ont la plus petite variance.

12. Le processus d’estimation • Interprétation des coefficients de régression estimés • La pente (k≠0) L’estimée de Y varie d’un facteur égal à lorsque Xk augmente d’une unité, les autres variables étant maintenues constantes. • L’ordonnée à l’origine C’est la valeur moyenne de Y lorsque toutes les Xi sont nulles.

13. Le processus d’estimation • Estimation de la variance des résidus

14. Le processus d’estimation • Les intervalles de confiance On peut calculer pour chaque coefficient du modèle un intervalle de confiance de niveau (1-a) donné par : où ta/2 se calcule à partir de : T suivant une de Student à n-p-1 d.d.l.

15. Le processus d’estimation • Les données • Taille de l’échantillon Les données doivent être suffisamment nombreuses : 15 à 20 par variable au moins. • La nature des variables Dans la pratique, Y est une variable quantitative et les Xi peuvent être quantitatives ou binaires.

16. Qualité de la régression • Décomposition de la somme des carrés totale SCT : somme des carrés totale SCR : somme des carrés des résidus SCE : somme des carrés expliqués par le modèle SCT = SSE + SCR

17. Qualité de la régression • Interprétation géométrique de la décomposition en somme de carrés Théorème de Pythagore

18. Qualité de la régression • Les coefficients de détermination • Le coefficient de détermination R2 Il exprime le pourcentage de la variance de Y expliquée par le modèle. Il donne une idée globale de l'ajustement du modèle. • Le R2 ajusté se calcule en fonction du R2 : Il traduit à la fois la qualité de l’ajustement (liaison entre Y et les Xi) et la complexité du modèle (nombre de variables explicatives). R2 = SCE/SCT

19. Qualité de la régression • Remarques sur le R2 • 0≤R2 ≤1 • Lorsque le R2 est proche de 1, cela se signifie que la variable dépendante Y est bien expliquée par les variables Xi. • La racine carrée de R2, R, porte le nom de coefficient de corrélation multiple entre Y et les Xi. • Lorsque l’on ajoute de nouvelles variables explicatives au modèle, le R2 augmente (même dans le cas où les nouvelles variables explicatives sont très liées à la variable dépendante). • C’est la raison pour laquelle on introduit le R2 ajusté.

20. Qualité de la régression • Le test global de Fisher Il permet de répondre à la question : la liaison globale entre Y et les Xi est-elle significative ? • Hypothèses H0: 1 = 2 = ... = p = 0 Y ne dépend pas des variables Xi . H1: Au moins un coefficient est non nul Y dépend d’au moins une variable Xi .

21. Qualité de la régression • Statistique utilisée • Règle de décision Au risque a, on rejette H0 si : a ≥ p-value (calculée avec une loi de Fisher à p et n-p-1 degrés de liberté)

22. Qualité de la régression • R2 et test de Fisher F bon, R² mauvais F bon, R² bon

23. Qualité de la régression • Le test de Student sur un coefficient de régression Il permet de répondre à la question suivante : l’apport marginal d’une variable Xj est-il significatif ? • Hypothèses H0 : j = 0 (j≠0) On peut supprimer la variable Xj H1 : j  0 Il faut conserver la variable Xj

24. Qualité de la régression • Statistique utilisée sous l’hypothèse H0 • Règle de décision Au risque a, on rejette H0 si : a ≥ p-value (calculée à partir d’une loi de Student àn-p-1 degrés de liberté).

25. Analyse des résidus • Normalité • QQ plot • Tests de normalité • Homoscédasticité • La variance des résidus n’est pas stable. • Transformation des données • Indépendance des résidus • Test de Durbin-Watson • Détection des valeurs atypiques

26. Les variables indicatrices • Variable muette ou indicatrice (dummy variable) Variable prenant les valeurs 0 ou 1 pour indiquer que l’observation présente une certaine caractéristique, par exemple une périodicité (trimestre, mois,…). • Exemple : la consommation de fuel trimestrielle di = 1 pour le iéme trimestre di = 0 sinon

27. Multicolinéarité • Définition C’est l’existence de corrélations élevées (au delà de 0.70) entre les variables indépendantes (variables explicatives). La multicolinéarité a notamment pour conséquences : - de fausser la précision de l’estimation des coefficients de régression - de rendre sensible l’estimation des coefficients à de petites variations des données.

28. Multicolinéarité Variablescolinéaires X1 X2 Variablesindépendantes X2 X3

29. Multicolinéarité • Détection • Examen de la matrice de variance covariance ou de corrélation. • R2 élevé mais peu de variables significatives. • Fortes corrélations entre les Xi • Fortes corrélations partielles entre les variables indépendantes.

30. Sélection des variables • Problématique Comment choisir le modèle comportant la meilleure combinaison de variables indépendantes expliquant la variable dépendante ? • Stratégies • Examiner tous les modèles possibles • Sélection progressive • Régression pas à pas descendante • Régression pas à pas ascendante

31. Sélection des variables • Examiner tous les modèles possibles Cette stratégie consiste à envisager tous les modèles et à retenir le meilleur. • Inconvénients • Lenteur (2p modèles si p est le nombre de variables explicatives) et coût de cette approche • C’est quoi le meilleur modèle ?

32. Sélection des variables • Le test de Fisher Il permet de tester si le fait d’ajouter une variable indépendante à un modèle comportant déjà une variable (ou de supprimer une variable d’un modèle comportant deux variables) est statistiquement significatif. La p-value correspondante est utilisée comme critère de décision pou ajouter ou supprimer une variable.

33. Régression pas à pas Calcul de F et de la p-value pour chaque Xi du modèle La variable Xi ayant la plus petite p-value est entrée dans le modèle p-value > seuil ? La variable Xi ayant la plus grande p-value est supprimée du modèle Oui Oui Non p-value < seuil ? Calcul de F et de la p-value pour chaque Xi ne se trouvant pas Dans le modèle Non Début Arrêt

34. Régression pas à pas descendante Au départ toutes les variables Xi sont dans le modèle Calcul de F et de la p-value pour chaque Xi p-value > seuil ? La variable Xi ayant la plus grande p-value est supprimée du modèle Oui Non Arrêt

35. Exemples • Deux exemples sont traités en cours à l’aide du logiciel SPSS : l’un d’entre eux illustre la mise en œuvre d’une régression multiple et l’autre la sélection des variables dans un modèle à l’aide de la méthode de régression descendante.

36. Une étude empirique • Titre de l’article : Reliving the 50s: the Big Push, Poverty Traps, and Take-offs in Economic Development, William Easterly (2005) • Données utilisées : Maddison, Angus. The World Economy : Historical Statistics. OECD 2003.

37. Une étude empirique • L’auteur William Easterly • Expert reconnu du développement économique et de l'Afrique • Professeur à l’Université de New York • Chercheur au Center for Global Development (Washington) • Il a travaillé en tant qu’économiste pendant 16 ans à la Banque Mondiale. Il a dû quitter l’institution à la suite de la parution de son ouvrage : « Les pays pauvres sont-ils condamnés à le rester ? » (juin 2006).

38. Une étude empirique • Termes importants dans le titre de l’article • Économie du développement • Big Push • Poverty traps • Take-offs

39. Economie du développement • Qu’est ce que l’économie du développement ? Branche de l‘économie qui applique les méthodes macroéconomiques et microéconomiques à l’étude des problèmes économiques, sociaux, environnementaux et institutionnels rencontrés par les PVD (Pays en Voie de Développement). • Points focaux • Déterminants de la pauvreté et du sous développement • Politiques à mettre en œuvre pour sortir les PVD de leur sous-développement.

40. Une étude empirique • Le « big push » Les économistes du développement des années 50 préconisaient la théorie du "Big Push": les pays les plus pauvres se trouvent enfermés dans une trappe à pauvreté. D’après eux, seul un effort massif d'investissement financé par l'aide internationale peut leur permettre de décoller.

41. Une étude empirique • La problématique de l’article Le rapport des Nations unies sur les objectifs du millénaire de janvier 2005 et celui de la Commission britannique pour l'Afrique de mars 2005 sont marqués par le retour de l’idée qu’une combinaison d’investissements peut permettre aux économies africaines de sortir des trappes à pauvreté. William Easterly a voulu tester cette approche du « big push » comme réponse aux trappes à pauvreté en utilisant des régressions sur le taux de croissance.

42. Une étude empirique • Comment tester l’existence de trappes à pauvreté ? • Revue de la littérature • Les pays pauvres ont-ils une croissance par tête significativement inférieure à celle des autres pays et cette croissance est-elle nulle ? • Données : revenu par tête de 1950 à 2001 pour 137 pays.

43. Une étude empirique • Test de stationnarité sur le taux de croissance par tête

44. Une étude empirique • Que signifie la stationnarité ? Si l’hypothèse d’une trappe à pauvreté est vraie, alors le Log du revenu par tête pour les pays les plus pauvres doit être stationnaire. Le revenu va fluctuer d’une façon aléatoire autour de son niveau moyen.

45. Une étude empirique • Formulation d’un test de stationnarité Hypothèse H0 : le Log du revenu par tête est stationnaire. Hypothèse H1 : le Log du revenu par tête n’est pas stationnaire.

46. Une étude empirique • « Divergence Big Time » (Pritchett,1996) • Le creusement considérable de l’écart de revenu entre les pays les plus riches et les plus pauvres du monde. • Le ratio de revenu par habitant entre le pays le plus riche et le plus pauvre du monde a été multiplié par 6 au cours du dernier demi-siècle. • Selon la Banque Mondiale, le revenu moyen dans les 20 pays les plus riches est 37 fois plus élevé que le revenu moyen dans les 20 pays les plus pauvres, et ce ratio a doublé depuis 1960.

47. Une étude empirique • Big time divergence Utilisation d’une régression : pour expliquer le taux de croissance par tête par le revenu initial et des indicateurs de démocratie des institutions politiques.

48. Une étude empirique

49. Une étude empirique • Les indicateurs de démocratie • L’indicateur de Freedom House (ONG) attribue: • deux notes, l’une relative aux droits politiques et l’autre aux droits civils. • une lettre dépendant de la moyenne des deux notes précédentes. • L’indicateur Polity IV Ce coefficient (qui va de 1, niveau de contrainte le plus faible, à 7) rend compte de la qualité initiale des institutions politiques, mesurée par les contraintes pesant sur le pouvoir exécutif.

50. Une étude empirique • Take-off (décollage) • Une suite continue de régimes à croissance nulle suivie d’une suite continue de régimes à croissance positive. • La croissance sera considérée comme nulle dès que le taux de croissance se trouve dans l’intervalle [-0.5%,0.5%]. • La croissance par tête est considérée comme positive et stable lorsqu’elle est au-dessus de 1.5% su une période suffisamment longue.