Etapes de la mise en œuvre d’une évaluation d’impact

1. Radu Ban, DIME – World Bank Etapes de la mise en œuvre d’une évaluation d’impact

2. Etapes

3. 1ere étape: Renforcement des capacités • Objectifs: • Devenir consommateurs instruits de l’évaluation d’impact • Utiliser l’évaluation d’impact pour la gestion interne, pour améliorer le program • Comment? • Formation (cet atelier, par exemple) • Apprendre en faisant

4. 2eme étape: Définir les objectifs de l’apprentissage • Objectif: • Répondre aux questions de politique et opérationnels pertinentes. • Comment? • Discussions dialectiques entre responsables politiques et gestionnaires de program • Facilitation technique pour structurer le cadre de l’analyse • Se concentrer sur un nombre limité des questions de politique (quoi), et opérationnels (comment) • Discuter le programme des activités avec les autorités et avec les citoyens

5. 2eme étape - suite: Questions • Questions opérationnels: la conception du programme • Modalités d’exécution • L’usage des essais randomisés pour tester des alternatives • Mesurer les effets à court terme (mois) • Taux d’usage, taux d’adoption • Choisir les modalités d’exécution qui marchent • Questions de politique: l’efficacité du programme • Différentes interventions du programme • L’usage des essais randomisés pour tester des alternatives • Mesurer les effets à moyen et longue terme (années) • Choisir les intervention qui marchent, négocier le budget, disséminer

6. 3eme étape: Conception de l’évaluation d’impact • Exploiter les opportunités: • Est-ce que la mise en œuvre du projet prendra du temps? • Est-ce que le budget permettra de couvrir tout le monde? • Est-ce qu’il y a des critères quantitatifs d’ éligibilité? • Si le programme a un accès universel, a-t-il adoption imparfaite? • Définir l’ échelle: • Grand échelle avec échantillon représentatif: plus cher, validité externe • Grand échelle avec échantillon détermine: moins cher, seulement indicatif • Calcul du pouvoir statistique pour déterminer la taille minime de l’ échantillon

7. 3eme étape - suite • Sélectionner la « meilleure » méthode • Faisable • Nécessite le moins des hypothèses • Questions éthiques • Ne pas refuser l'accès à toute personne à un programme qui a des preuves irréfutables de succès. • Tester les interventions avant d’implémenter à grande échelle, lorsqu’il n’y a pas des preuves de succès

8. 4eme étape: Planifier l’exécution de l’ évaluation • Budget • Coûts de personnel (FONDS DU PROJET) et formation (DIME) • Appui technique et coordination du terrain(DIME) • Collecte des données (FONDS DU PROJET) • Discussion et dissémination (PARTAGE DES COUTS) • Calendrier • Utilisez le calendrier pour organiser les activités, les responsabilités et pour déterminer la date du commencement • Equipe • Gouvernement (gestionnaire du programme, économiste/statisticien); équipe Banque Mondiale (TTL); équipe de recherche (chercheur en charge, co-chercheur, coordonateur du terrain); agence de collecte des données.

9. 5eme étape: Sélection du groupe témoin et groupe traité • Déterminer l’unité d’intervention • Individuel • Village • Commune, etc • Produire une liste avec les unités traités et unités témoins • Expliquer la sélection des unités traités/témoins aux responsables, pour éviter la « contamination »

10. 6eme étape: Enquête de référence • Assurance de la qualité: équipe évaluation d’impact (pas l’agence de collecte des données) • Conceptions des questionnaires et échantillonnage • Etablir les termes de référence pour la collecte des données • Formation des enquêteurs • Pré-test des questionnaires • Superviser la collecte des données sur le terrain • Ne pas collecter les données avant que l’ évaluation soit conçu et convenu

11. 6eme étape – suite: Enquête de référence • L’agence de collecte de données • Institut National de Statistique: possibilité d’intégrer l’enquête avec les données déjà collectées • Le Ministère pertinent • Entreprise privée • Analyser les données de référence, et faire le feed-back opérationnel si nécessaire • Vérifier la comparabilité du groupe traite avec le groupe témoin

12. 7eme étape: Démarrage du projet • La surveillance intensive est nécessaire pour s’assurer que l’ évaluation n’est pas compromise. • Si le groupe témoin et le groupe traite reçoivent l’intervention du projet… • Si le groupe témoin reçoit une autre intervention…

13. 8eme étape: Enquête(s) de suivi • La collecte des données de suivi se fait utilisant les mêmes questionnaires et même échantillon

14. 9eme étape: Mesurer les effets du programme • Allocation aléatoire: comparer les résultats moyens du groupe traite avec les résultats moyens du groupe traitement (très facile) • Autres méthodes d’allocation: utiliser les techniques économétriques/statistiques pertinents (moins facile) • Est-ce que les effets sont statistiquement significatifs? • Les méthodes statistiques peuvent déterminer si les effets du projet sont précis ou si les mêmes effets peuvent être obtenus par hasard • Est-ce que les effets sont vraiment significatifs? • On doit comparer les couts du programme avec les resultats • Est-ce que les effets sont soutenables?

15. 10eme étape: Discussions, dissémination, feed-back opérationnel et politique • Quand est-ce que vous pensez au résultats? Seulement pendant cet atelier? • Discutez les implications politiques des résultats • Comment est-ce qu’on doit agir, en sachant les résultats d’un programme? • Comment est-ce qu’on doit présenter les résultats pour justifier l’augmentation du budget du programme? • Nous devons disséminer les résultats: si personne ne les connait pas, ça ne fera aucune différence • Vous pouvez organiser/produire aussi des: • Ateliers • Rapports

16. Dernière étape: • Qu'est-ce que vous avez besoin d’apprendre en suite?