Enjeux et défis de l’évaluation d’impact en Afrique : Cas d’une évaluation réalisée au Bénin

1. Enjeux et défis de l’évaluation d’impact en Afrique : Cas d’une évaluation réalisée au Bénin Serge DJOSSA ADOUN, IT/IM, M.SC (Cand) Marie GERVAIS, Ph.D Université Laval, Québec (Qc), Canada Contact: medamas2@yahoo.fr Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

2. Qui sommes-nous? • État civil: DJOSSA ADOUN M. A. Serge • Nationalité: Béninoise • Diplôme d’Ingénieur des Travaux en Imagerie Médicale à l’ÉPAC/UAC en 2005 + pratique 1an ½ • Puis à l’UL…avec bourse du PCBF • Maîtrise en Santé Communautaire : Concentration en Évaluation • Cadre de la recherche: mémoire sous la direction de Marie GERVAIS, Ph D Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

3. Objectif de la communication Discuter avec vous des enjeux et défis rencontrés ainsi que les leçons tirées aux différentes étapes de mon expérience d’une évaluation d’impact menée au Bénin, un pays aux acquis encore fragiles en évaluation. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

4. Plan de la communication I- Identification du sujet et rédaction de protocole de recherche II- Préparation du terrain III- Méthode d’évaluation IV- Collecte de données V- L’après collecte VI- 1ers résultats: Modèle logique VII- Retombées de notre démarche VIII- Facteurs facilitant IX- Leçons dégagées de l’expérience Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

5. I- Identification du sujet et rédaction de protocole de recherche • Enjeu Boursier du PCBF: travailler au développement de son pays • 1er défi: accès à l’information depuis l’extérieur • Visibilité des organisations: informations quasi inexistantes sur internet • Difficulté de contact: importance d’avoir des connaissances dans le milieu (cousinage) Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

6. I- Identification du sujet et rédaction de protocole de recherche • 2e défi: Gestion du temps/étudiant-chercheur Étudiant bousier: à temps plein+formalités administratives liées aux normes de recherche de l’UL - Approbation du CÉRUL - Soumission du protocole à la Direction de programme - Demande d’autorisation dans le milieu de recherche Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

7. II- Préparation du terrain • 3e défi: communication de l’extérieur • Courriel(Email): consultation et réponse • Téléphone: perturbation des lignes • Importance de s’y mettre à temps Autre enjeu: Œuvrer à l’instauration d’une culture d’évaluation dans le milieu organisationnel • 4e défi: adhésion acteurs à la démarche • Démystifier l’évaluation • Réunir les acteurs pour présentation de la démarche • Disponibilité: rêve? Chance? Comment procéder? Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

8. III- Méthode d’évaluation • Objet d’évaluation : • Organisation: Association Béninoise de Promotion de la Famille (ABPF) • Domaine : Santé sexuelle & reproductive • Programme évalué: Programme Adolescents et Jeunes dont les Centres Socio-éducatifs pour Adolescents et Jeunes (CSEAJ) constituent le cadre d’intervention Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

9. III- Méthode d’évaluation • Questions d’évaluation • 1- Quels sont les effets du programme Adolescents et Jeunes de l’ABPF à travers les activités du CSEAJ? • 2- Quelles appréciations les bénéficiaires ont-ils des activités du CSEAJ quant à la satisfaction de leurs besoins et comment perçoivent-ils les changements induits dans leurs comportements par ce programme ? Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

10. III- Méthode d’évaluation • Appr. métho: étude de cas (Yin, 1993) • Pourquoi? Comment? (sources données multi.) • choix du cas • Devis: mesure unique (Deslauriers, 1991) • Difficulté ou impossibilité d’avoir des mesures pré-intervention fiables • Démarche: qualitative (Weiss, 1998 et Owen, 2007) • Logiciel Nvivo (version 8) pour analyser données Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

11. IV- Collecte de données • Consultation des données administratives • 5e défi: disponibilité de base de données • Entrevues avec les responsables • 6e défi: obtention- respect de rendez-vous • Difficulté voire impossibilité d’accès à certains acteurs Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

12. IV- Collecte de données • Questionnaires aux bénéficiaires • 7e défi: rencontrer les bénéficiaires • Période appropriée? Bénéficiaires = élèves/étudiants en début des vacances • Flexibilité • CSEAJ tous les jours ouvrables • Appels téléphoniques • Entrevue sur moto en circulation(matériel!) • Observation participante plage Fidjrossè Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

13. Quelques images observation participante Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

14. Quelques images observation participante Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

15. V- L’après collecte • 8e défi: retour pour validation • Difficulté de réunir les acteurs • Procéder par des rencontres individuelles des acteurs clés pour valider les premiers outputs de notre évaluation... • Un modèle logique du programme: lien entre les objectifs du programme et les résultats attendus en passant par les activités développées pour y arriver… • Mais aussi complétés par indicateurs que nous avons élaborés pour mesurer l’atteinte des objectifs Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

16. VI- 1ers résultats: Modèle logique Composantes Objectifs Acteurs Activités Public cible Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness Résultats Indicateurs

17. Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

18. VII- Retombées de notre démarche évaluative • Quelques pas vers l’émergence d’une culture d’évaluation dans l’organisation • Démystifier l’évaluation • Obtenir l’adhésion des acteurs à notre démarche évaluative • Préparer et outiller l’organisation à l’évaluation d’impact: • Mise sur pied d’indicateurs • Élaboration de modèle logique Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

19. VIII- Facteurs facilitant • Évaluation non demandée par bailleurs • +facile adhésion - attentes émises par acteurs • Auteur ‟étranger ”: facilité à vendre le projet dans milieu organisationnel • Contact dans l’organisation… • Soutien de ma Directrice M.G. dans les décisions de changement prises sur le terrain Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

20. IX- Leçons dégagées de l’expérience • Patience • Prévoir plus de temps qu’il en faut • Être flexible et être en mesure de s’adapter aux changements sur le terrain Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

21. Autres leçons selon vous…? An evaluation panel Merci de votre présence et de votre attentive écoute Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness