Mattea Stein, World Bank Méthodes Non- expérimentales I

1. Mattea Stein, World BankMéthodes Non-expérimentales I

2. Quesavions nous jusque-là Objectif: Nous voulons identifier l’effet causal de nos interventions (politiquespubliques) sur des variables d’intérêt. • Utilisez les méthodesd’évaluationrigoureuses pour répondre aux questions opérationnellesque nous nousposons • L’affectationaléatoire au traitementestl’étalon-or des méthodologiesexistantes (simple, précis, pas cher) • Que faire si on ne peut pas du tout faire usage de la randomisation? • S’ilest possible, recourir aux méthodes non-expérimentales

3. Les méthodes non-expérimentales • Pourra-t-on trouver un contrefactuel plausible? • Expériencenaturelle? • Chaqueméthode non-expérimentaleestassociée à un ensemble d’hypothèses • Notre mesure de l’effet causal estd’autantmoinscrédibleque les hypothèsessont fortes • Il fautmettre en question noshypothèses • Se conformer à la réalité, relever du bon sens

4. Exemple: L’appui pour l’InfrastructureCommunautaire • Objectif principal • Améliorer les infrastructures communautaires – construction d’écoles primaires • Intervention • Fondscommunautaires • Affectation non aléatoire • Groupecible • Communautées avec unemauvaise structure éducative et un tauxélévé de pauvreté • Principale variable de résultat • Inscription scolaire

5. (+) Impact du programme Exemple: L’appui pour l’InfrastructureCommunautaire – RANDOMISATION (+) Impact des facteurs externes 5

6. Exemple: L’appui pour l’InfrastructureCommunautaire – “AVANT-APRES” (+) Mesure BIAISEE de l’impact du program “Avant-Après” ne fournit pas des résultatscrédibles 6

7. Exemple: L’appui pour l’InfrastructureCommunautaire – DOUBLE DIFFERENCE Différence « Avant » entre participants et non participants Différence « Après » entre participants et non-participants Quelestl’impact de notre intervention? 7

8. Exemple: L’appui pour l’InfrastructureCommunautaire – DOUBLE DIFFERENCE Contrefactuel (2 façons de le présenter) • L’inscriptionscolaire des «sans» intervention, après correction des différences «avant/après» (Différenceinitiale entre groupes) • L’inscriptionscolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteursexternes) • 1 and 2sontéquivalents

9. Données -- Exemple 1

10. Impact = (P-NP)2008-(P-NP)2007 = 5.1 - 9.3 = -4.2 P-NP2008=5.1 P-NP2007=9.3

11. Données -- Exemple 1

12. Impact = (P2008-P2007)-(NP2008-NP2007) = 10.6 – 14.8 = -4.2 P2008-P2007=10.6 NP2008-NP2007=14.8

13. Stratégied’Identification par Double Différence Hypothèsesous-jacente: Sans l’intervention, l’inscriptionscolairedans les communautées participantes et l’inscriptionscolairedans les communautés non-participantesauraientsuivi la mêmetendance

14. Double Différence: Hypothèse de mêmetendance “Impact”=-4.2 Impact vrai=+2.0

15. Double Différence – Exemple (1): Résumé • Impact négatif: • Trèscontre –intuitif: Des fonds pour la construction de nouvellesécoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte! • Hypothèse de tendance commune (Très forte) • Les 2 groupes , en 2007, avaient des tauxd’inscriptionscolaire différents • Peut-être, les 2 groupesauraienteu des taux de changement de l’inscriptionscolaire différents en l’absence du projet • Mettre à l’épreuvel’hypothèse de tendance commune! • Si possible, faire ce test avec des donnéesprovenantd’annéesantérieures

16. Examen de l’hypothèse de tendance commune: Utilisation de donnéesantérieures >> Rejeterl’hypothèse des tendances communes

17. Donnés – Exemple 2

18. Impact = (P2008-P2007)-(NP2008-NP2007) = 10.0 – 4.0 = + 6.0 P08-P07=10.0 NP08-NP07=4.0

19. Hypothèse de tendance commune: Implication graphique Impact = +6.0

20. Double Différence - Exemple 2: Résumé • Impact Positif : • Plus intuitif • L’hypothèse des tendances communes est-elleraisonnable? • Toujoursnécessaire de questionnerl’hypothèse des tendances communes!! • Utiliser les données des annéesprécédentes

21. Examen de l’hypothèse de tendance commune: Utilisation de donnéesantérieures >>Est-ilraisonnabled’accepterl’hypothèse de tendance commune?

22. Attention (1) • Il estsouventdifficile de validerl’hypothèse de tendance commune • Absence de données pour tester l’hypothèse • Mêmesi les tendancesantérieuresétaientsimilaires: • Ont-ellestoujoursétésimilaires (ousommes-nous justechanceux?) • Plus important, seront-ilstoujourssimilaires? • Exemple: D’autresprojetsinterviennentparmi les entreprises non participantes….

23. Attention (2) • Que faire? >> Faire de l’analyse descriptive! • Vérifier les similaritéssur la base des caractéristiques observables • Si les caractéristiques observables ne sont pas similaires, les tendancespourraientdifférer de manière non prévisible >> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sontsouvent plus importantes (capacité, motivation, patience, etc)

24. Méthoded’Appariement (1) Apparier les participants et les non-participants sur la base de caractéristiquesobservables Contrefactuel : • Groupe de comparaisonapparié • Chaque participant au programmeestapparié avec un ouplusieurs non-participants sur la base de caratéristiques observables >> En moyenne, les participants et les non-participants appariésauront les mêmescaractérisques observables (par construction)

25. Méthoded’Appariement (2) Hypothèsescontrefactuellessous-jacentes • Après l’appariemment, iln’y a aucunedifférence entre les participants et les non-participants en termes de caractéristiquesinobservables ET/OU • Les caractéristiquesinobservablesn’influencentnil’affectation au traitement, ni les variables d’intérêt

26. Méthoded’Appariement -Comment procède t-on? • Construire un groupetémoin en trouvant des individusappariésproches en termes de caractéristiques observables • Sélectionner les variables pertinentessurlesquellesréaliserl’appariement • De sortequ’onretienne: • GroupeTraitement: Participants qui peuventavoir un contrefactuel • Groupe de Comparaison: Non-participants assezsimilaires aux participants >> Nous réduisons/ tronquonsunepartie de notregroupetraitement!

27. Implications • Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus • Utile de connaitre qui est sorti de l’échantillon • Exemple Individus appariés Portion du groupe Traitement sorti de l’échantillon Non-participants Participants Score Richesse

28. Conclusion (1) • Avantage de la méthode d’appariemment: • Ne nécessite pas la randomisation

29. Conclusion (2) • Inconvénients: • L’hypothèsesous-jacenten’est pas plausible danstous les contextes et estdifficile à tester • Utiliser le bon sens et faire des analyses descriptives • Nécessite des données de trèsbonnequalité: • Nécessite de contrôlertous les facteurs qui influencent le traitement et les variables de résultat • Nécessite de trèsgrandséchantillons pour générer un bon groupetémoin • Ne permet pas d’appariertous les individus

30. Conclusion (3) • Les expériencesrandomiséesnécessitent beaucoup moinsd’hypothèses et fournissent des estimations intuitives • Les méthodes non-expérimentalesnécessitent des hypothèses qui doiventêtreattentivementtestées • Plus de données • Pas toujourstestables • Faire preuve de créativité: • Mélange de méthodes! • Répondre aux questions avec les techniques appropriées