Qu’est–ce que l’évaluation d’impact … et comment s’en servir ?

1. Qu’est–cequel’évaluationd’impact… et comment s’enservir? Deon Filmer Development Research Group, The World Bank Atelier de gestion des politiques publiques en éducation axée sur les résultats Programme d’Évaluation d’Impact de l’Éducation en Afrique (APEIE) Accra, Ghana 10-14 mai 2010

2. Quelquesexemples • Mon gouvernement doit-il distribuer gratuitement des manuels scolaires aux élèves pour promouvoir l’apprentissage? • Doit-on offrir des bourses scolaires aux enfants pauvres pour promouvoir la fréquentation scolaire? • Doit-on récompenser les enseignants à l’origine des améliorations d’apprentissage de leurs élèves? • Les décisions de gestion doivent-elles être dévolues aux écoles?  L’évaluation d’impact est un moyen de répondre à ces questions en se servant d’un constat bien fondé

3. Qu’est-cequel’évaluationd’impact? Exemple • Vous voulez distribuer des manuels scolaires aux élèves comme moyen d’améliorer leur apprentissage et résultats. • Votre intuition vous dit que les manuels scolaires sont importants. • Mais sur quoi cette intuition est-elle fondée”? • Sa propre expérience • Le “bon sens” • L’observation de l’enfant à l’école • La comparaison entre élèves avec et sans manuels scolaires. • L’évaluation d’impact, dans cette situation, à pour but de fournir • Un constat bien fondé, • Fondé sur une expérience réelle, • De ce qu’est l’impact réel de fournir des manuels scolaires.

4. Qu’est-cequel’évaluationd’impact? • Comment l’évaluation d’impact atteint-elle cet objectif? • En établissant la causalité de l’impact des manuels scolaires sur les résultats d’apprentissage • C’est l’objectif final de l’évaluation d’impact. • Ce atelier répondra aux questions suivantes: • Qu’est-ce qu’une bonne estimation? • Comment estimer cet impact? • Comment interpréter cette estimation?

5. Pourquoiavoirrecours à l’évaluationd’impact? • Pour déterminer l’efficacité des politiques • Une intervention envisagée peut-elle êtreefficace (“démonstration de son bien fondé”)? • Peut-on élargir le champ d’intervention? • Quelles sont les autres options d’intervention pour atteindre un objectif particulier, et quelle est la meilleure?

6. Pourquoiavoirrecours à l’évaluationd’impact? • Déterminer les avantages du programme, et l’efficacité-coût des options. • Il est nécessaires d’obtenir de bonnes données sur les coûts et les avantages • Comprendre la distribution des gains et des pertes • Les contraintes budgétaires contraignent à la sélection. • De mauvais programmes et politiques équivaut à dilapider des ressources et peuvent être nuisibles.

7. Pourquoiavoirrecours à l’évaluationd’impact? • Démontreraux politiciens, à la population, aux bailleurs de fondsque le programmeestefficace • C’estessentiel pour la soutenabilité • Celanourrit les convictions et les attentes

8. Placer l’évaluationd’impactdans le contexte Évaluation d’impact Évaluation Suivi Efforts d’analyse pour établir des liens de causalité La question essentielle: “queserait-iladvenu en l’absenced’intervention?” Efforts d’analyse pour répondre aux questions spécifiquesconcernant la performance du programme/des activitésliées au programme. Collecte et diffusion périodiques de l’information pour savoir si les résultatsatteintssont les résultatsattendus

9. Suivi, évaluation, et évaluationd’impact • Collecter périodiquement des données sur les indicateurs et comparer les résultats obtenus avec les objectifs définis. • Identifier les goulots d’étranglement et les signaux d’alarme (retards, flux des fonds) • Indiquer les besoins d’enquête futurs Suivi Collecte et diffusion périodiques de l’information pour savoir si les résultatsatteintssont les résultatsattendus

10. Suivi, évaluation, et évaluationd’impact • Analyser les raisons pour lesquelles les résultats attendus ne sont pas atteints • Vérifier l’efficacité du ciblage • Étudier les résultats non- voulus • Permet de tirer des leçons et d’émettre des recommandations en vue d’améliorations. Évaluation Efforts d’analyse pour répondre aux questions spécifiquesconcernant la performance du programme/des activitésliées au programme.

11. Suivi, évaluation, et évaluationd’impact Évaluation d’impact • Quelle est l’influence du programme sur les résultats? • Quelle est l’ampleur du changement dans la situation des bénéficiaires suite à l’intervention? • Quelle serait l’influence de programmes élaborés différemment sur les résultats? • Le programme touche-t-il les personnes différemment (femmes, pauvres, minorités)? • Quelle est l’efficacité-coût du programme? Efforts d’analyse pour établir des liens de causalité. La question essentielle: “queserait-iladvenu en l’absenced’intervention?”

12. Le problème central dansl’analysed’évaluationd’impact: Le contrefactuel • Afin d’établir l’impact du programme, nous devons savoir ce qui serait advenu en l’absence du programme • Et essentiellement aux personnes ayant de fait bénéficé du programme

13. Le problème central dansl’analysed’évaluationd’impact: le contrefactuel • Quelestl’impact des bourses scolairessur les inscriptions? • Nous voulons observer les unités de traitementdansdeux situations • Cette observation est-elle possible? Élisabeth au 1 Juillet2010 avec bourse scolaire Élisabeth au 1 Juillet 2010 sans bourse scolaire

14. Le problème central dansl’analysed’évaluationd’impact: le contrefactuel • C’est impossible! • Nous ne pouvons jamais observer le même individu avec et sans programme en un même point dans le temps • Le contrefactuel n’est jamais réellement observé • Il doit être estimé • L’analyse d’évaluation d’impact est axée sur les différentes approches pour estimer le contrefactuel

15. Pourquoi le contrefactuelest-il important? • La session suivante portera en détail sur le contrefacturel • Voici juste un exemple

16. Exemple de l’importance du contrefactuel • Question: quelleest la meilleure estimation de l’impact du programmesur les inscriptions? Inscriptions Avant Après Impact? A B Temps 2008 2010 Programme

17. Exemple de l’importance du contrefactuel • Question: quelleest la meilleure estimation de l’impact du programmesur les inscriptions? Inscriptions Avant Après Impact? A D? B C? Temps 2008 2010 Programme

18. Qu’est-cequel’évaluationd’impact? • L’impact est… la différence entre les résultats avec et sans programme • L’évaluation d’impact implique… D’estimer le contrefactuel de manière à ce que les changements dans les résultats puissent être attribués au programme

19. Qu’implique la mise en oeuvre d’uneévaluationd’impact? • Déterminer pourquoiune évaluation d’impact est nécessaire. • Comprendre le programme et l’enchaînement de résultats associés • Définir ce que l’on à mesurer • Définir la méthodologie • Entreprendre • La collecte des données (point de référence, suivi) • La mise en œuvre du programme • Analyse et rapport d’analyse • Ajuster la politique

20. Déterminer la nécessitéd’uneévaluation • Intervention proposée • Transfert en espèces aux étudiants • Bien identifier le programme de formation des enseignants se rapportant à curriculum donné • Bien identifier le programme de subventions scolaires se rapportant à une structure donnée • Autres interventions/interventions complémentaires • Choix entre subventions aux écoles et formation d’enseignants comme moyen d’améliorer les résultats • Information et subventions aux écoles pour encourager leur redevabilité et performances • Programme entier/groupe d’activités • Réforme du programme  Quels sont les bénéficiaires d’une évaluation (les concepteurs de politiques, les technocrates, le grand public)?

21. Résultats Résultats de long terme Intrants Activités Produits (ceque fait le programme) (Biens& Services) • Formation d’enseignant • Établissement de conseils de classe • Transferts conditionnels en espèces • Incitatifs salariaux • Augmentation des inscriptions • Réduction de l’absentéisme des enseignants • Taux d’achèvement dans l’enseignement élémentaire plus élevés • Facultés d’apprentissage plus élevées des élèves • Chômage plus faible • Réduction de la pauvreté • Meilleure répartition du revenu • Enseignants • Manuels scolaires • Subventions scolaires Comprendre le programme en utilisant l’enchaînement des résultats Cet enchaînement de résultats fournit des indications sur ce qu’il faut mesurer

22. Déterminerquoimesurer • S’appuyer sur l’enchaînement des résultats • Choisir les indicateurs pour l’évaluation • Indicateurs définis avec précision • Pouvant être mesurés de manière précise • Reflétant les influences du programme… • … pendant la période d’évaluation • Quelles sont les importantes sous-populations • Ex: âge, genre, urbain/rural, statut socio-économique…

23. Résultats Résultats de long terme Intrants Activités Produits (ce que fait le programme) (Biens& Services) • Formation d’enseignant • Établissement de conseils de classe • Transferts conditionnels en espèces • Incitatifs salariaux • Augmentation des inscriptions • Réduction de l’absentéisme des enseignants • Taux d’achèvement dans l’enseignement élémentaire plus élevés • Facultés d’apprentissage plus élevées des élèves • Chômage plus faible • Réduction de la pauvreté • Meilleure répartition du revenu • Enseignants • Manuels scolaires • Subventions scolaires Comprendre le programmeen utilisantl’enchaînement des résultats Indicateursliés à la mise en oeuvre d’un programme

24. Résultats Résultats de long terme Intrants Activités Produits (What the program does) (Biens& Services) • Formation d’enseignant • Établissement de conseils de classe • Transferts conditionnels en espèces • Incitatifs salariaux • Augmentation des inscriptions • Réduction de l’absentéisme des enseignants • Taux d’achèvement dans l’enseignement élémentaire plus élevés • Facultés d’apprentissage plus élevées des élèves • Chômage plus faible • Réduction de la pauvreté • Meilleure répartition du revenu • Enseignants • Manuels scolaires • Subventions scolaires Définir les indicateurs en se servant de l’enchaînement des résultats Indicateursliés aux résultats d’un programme

25. Définir la méthodologie • Nous parlerons plus longuement de: • Méthode expérimentale • Méthode quasi-expérimentale • Quelques principes: • Préférence pour la méthode qui complémente le mieux le programme • Préférence pour la méthode qui ne modifie pas la conception du programme ou sa mise en œuvre de manière substantiellement • Préférence pour la méthode qui n’exclut personne quant à l’octroi des bénéfices

26. Le “cycle de l’évaluationd’impact” Phase de conception Collecte des données de référence Mise en œuvre du programme Suivi de la collecte des données Ajustements du programme Analyse et diffusion des données

27. L’ objectif de l’évaluation d’impact • Améliorer les politiques • Comment passer de cette situation de l’enseignement…

28. L’ objectif de l’évaluationd’impact • Améliorer les politiques • …à cette situation?

29. Merci!