L'évaluation d'impact

1. L'évaluation d'impact povertyactionlab.org

2. Qu'est ce qu'une évaluation? • Evaluation des besoins • Evaluation du processus • Evaluation d'impact

3. Evaluation des besoins • Quelle est la population visée? • indispensable d'en avoir une définition claire • Quelle est la question? • connaitre précisément le problème à résoudre, les besoins auxquels le programme va répondre • Dans quel contexte s'insère le programme? • Est-ce la façon la plus efficace, la meilleure et la plus économique de répondre aux besoins? • Quels sont les différents avantages apportés par le programme?

4. Évaluation du processus • L’intervention atteint-elle la population ciblée ? • Les tâches de base sont-elles mises en œuvre? • Les services prévus sont-ils rendus? • Logistique, nombre de bénéficiaires, … • Peut-on les améliorer? • Comment se passe la communication entre les différentes instances? • L’intervention est-elle bien menée et donne t’elle satisfaction aux bénéficiaires ? • Le budget est-il respecté?

5. Evaluation de l'impact • Question centrale: Y a-t-il eu un impact? • Questions auxiliaires: • Quel est la nature de l'impact? • Le programme a t’il changé la vie des personnes ? Comment? • le programme a-t-il eu plus d'effets sur certains que sur d'autres?

6. Processus et impact • Pour répondre à une question portant sur le processus:, • il faut décrire ce qui s’est passé. • Pour répondre à une question portant sur l’impact: • il faut comparer ce qui s’est passé à ce qui se serait passé sans le programme.

7. L'analyse Coût-Efficacité Evaluation du processus Evaluation d’impact Evaluation des besoins Analyse Coût-Efficacité

8. L'analyse Coût-Efficacité • Pourquoi les 3 éléments sont-ils nécessaires pour l’analyse coût-efficacité? • L’évaluation des besoins donne le coût d’opportunité de la dépense • L’évaluation du processus permet une quantification minutieuse des coûts • L’évaluation d’impact permet de quantifier les bénéfices • On peut ensuite comparer différents programmes entre eux

9. La qualité d'une évaluation, c'est: • Poser les bonnes questions • Donner des réponses précises • En lien avec les objectifs de départ • Savoir précisément ce qu'on a appris • Savoir ce qui pourra être généralisé • Une bonne évaluation permet de tirer des enseignements généraux: • Exemple: l'adoption des engrais au Kenya

10. II. Pourquoi utiliser l’assignation aléatoire

11. Comment mesurer l'impact? • L'impact, c'est ce qu'il se serait passé en l’absence du programme • C'est donc la différence entre ce qui s’est passé (avec le programme) • ce qui se serait passé (sans le programme) ____________________________________ = IMPACT du programme

12. Le programme a-t-il apporté un changement? Accouchement encadré 3 3 - 2 = 1 = impact? 2 temps t = 0 t = 1 PROGRAMME

13. Que se serait-il passé en l'absence du programme? Accouchement encadré (Observé) 3 Impact= 3 - X (Non-Observable) X 2 (Observé) temps t = 0 t = 1 PROGRAMME

14. La difficulté de l'évaluation d’impact • On veut savoir ce qui ce serait passé en l’absence du programme: le Contrefactuel • Mais comment savoir ce qui se serait passé sans le programme? • Une évaluation d’impact n’est correcte que si l’estimation de X est correcte • Tout l'art de l’évaluation d’impact est de reconstruire X correctement

15. Comment reconstruire X ? • Souvent, on construit le contrefactuel en sélectionnant un groupe de personnes ne bénéficiant pas du programme, le groupe Témoin • Deux méthodes: • Non aléatoire: on considère simplement qu'un groupe donné, non touché par le programme, imite le contrefactuel • Aléatoire: on affecte le programme de manière aléatoire pour créer un groupe Témoin qui imite réellement le contrefactuel

16. Reconstruire X à l’aide d’un groupe témoin Accouchement encadré “Groupe test” (Observé parmi les bénéficiaires) 3 Impact= 3 – 2,4 (Observé parmi les non-bénéficiaires) 2,4 “Groupe témoin” 2 temps t = 0 t = 1 PROGRAMME

17. Comment choisir le groupe témoin? • Il est possible que les non-bénéficiaires soient assez différents des bénéficiaires. Pourquoi? • Les programmes ciblent souvent certaines population selon un ou plusieurs critères bien définis (pauvreté, niveau initial, etc.) • Les gens choisissent ou non de participer aux programme (Ceux qui choisissent de participer sont-ils plus motivés en général ?) • Des différences subtiles, difficiles à observer (la motivation, l’accès à l'information) • Si les non-bénéficiairessont différents, ils ne peuvent pas représenter un bon contrefactuel • La comparaison sera biaisée par le fait qu’il y a eu sélection des bénéficiaires (Biais de sélection)

18. Graphiquement: le biais de sélection Accouchement encadré Groupe Témoin Groupe Test temps t = 1 t = 0

19. Comment s’assurer que le groupe témoin est un bon contrefactuel? • Situation idéale: l'Assignation aléatoire • Répartir de façon aléatoire les sujets entre les deux groupes • Identifier un ensemble de personnes qui satisfont toutes aux critères de sélection établis pour le nouveau programme • Aléatoirement choisir la moitié des personnes qui participera au programme (le groupe Test); • L’autre moitié (le groupe Témoin)ne participe pas au programme et sert de point de comparaison • L’assignation aléatoire permet d’avoir un groupe Témoin vraiment similaire au groupe Test • Élimine tous les biais de sélection • Pourquoi?

20. La méthode aléatoire (“randomisée”) • Repose sur la loi des grands nombres… • Prenez 1000 personnes dans la rue, et divisez-les en deux groupes aléatoirement • En moyenne • les gens dans le groupe 1 auront la même taille que les gens dans le groupe 2 • ils auront même poids moyen • il y aura autant d’enfants dans chaque groupe • etc… • Note: cela serait-il vrai si on divisait 20 personnes en deux groupes?

21. Avantage principal des évaluations aléatoires • Les groupes Test et Témoin: • ont au départ de l'évaluation exactement les mêmes caractéristiques, observables et inobservables • sont susceptibles de subir des trajectoires comparables, hormis le traitement • ainsi : • si l’on voit une différence entre les deux groupes à l'issue du programme, on peut attribuer cette différence au programme

22. Échantillon aléatoire Qu’est-ce que la randomisation ? • Graphique de l’affectation aléatoire

23. Assignation aléatoire des deux groupes 2006 Revenus par personne, par mois, en CFA 1000 500 0 1457 1442 Assignation aléatoire en groupe test Outémoin Test Témoin

24. Assignation non aléatoire des deux groupes HQ 2006 Revenus par personne, par mois, en CFA 1000 500 0 1457 947 Test Témoin

25. Protocole de base de l'évaluation aléatoire Population ciblée Non inclus dans l’évaluation Affectation aléatoire Groupe test Echantillon de l’évaluation Groupe témoin 25