Module 7- La qualité d'une évaluation et ses dimensions, les standards à respecter

1. Module 7- La qualité d'une évaluation et ses dimensions, les standards à respecter Questions Méthodes et et critères techniques Qualité Termes de référence Profil des évaluateurs Dispositif mis en place Démarche suivie Etc...

3. Les qualités d'une évaluation Utile Pour qu'une évaluation soit : Crédible Pertinente Accessible Elle doit être : (digne de confiance) Ce qui suppose : Qualité et transparence des Présentation claire, complète Réalisation au moment méthodes employées, et détaillée de tous les opportun, en réponse à une compétence des évaluateurs arguments, distinction nette demande des responsables entre observations, du projet ou de la politique, hypothèses, jugements en vue d'améliorer la Objectivité, impartialité, conception ou la réalisation pluralisme au niveau de la de leurs programmes réalisation, indépendance par Qualité du rapport : rapport aux services organisation, taille, style gestionnaires du projet ou de (clarté, concision) Pertinence des questions la politique initiales posées aux évaluateurs par rapport aux Communication des résultats Qualité des mesures et des préoccupations du relations causales établies commanditaire, des services concernés et de toutes les Caractère reproductible des parties prenantes au projet conclusions (un autre évaluateur ou à la politique , aboutirait aux mêmes conclusions) séparation complète entre conclusions et recommandations

4. Les déterminants de la qualité C'est un processus. La qualité est à assurer tout au long de la chaîne : - Qualité de la demande et des TdR - "Evaluabilité" du programme - Qualité des évaluateurs - Qualité de la préparation - Qualité de la réalisation - Qualité des debriefings et des confrontations - Qualité du rapport final

5. Qualité de la demande - Justifiée par une volonté de progrès - Dans un climat de transparence et de partenariat - Pertinence des questions - Choix du moment - Cohérence entre question et moyens - Qualité des termes de référence (qui traduisent la demande)

6. Qualité des termes de référence Thèmes à inclure dans les TdR: Origine du projet d'évaluation Description schématique du programme à évaluer avec identification des parties prenantes Les questions d’évaluations – les problèmes posés Les résultats attendus La démarche et le plan de travail Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) Le calendrier

7. Qui devrait participer à la préparation des termes de référence ? Commanditaire (s) Ensemble des parties prenantes Termes de référence Equipe d'évaluation

8. "Evaluabilité" du programme - Qualité de la structure logique du projet - Précision des attentes (les indicateurs) - Le cadre d'évaluation - Le système de suivi

9. La structure logique SI les résultats directs sont produits Et SI les hypothèses de développement se vérifient, ALORS l'objectif principal du projet sera atteint Moyens de vérification Présentation Indicateurs Hypothèses Finalités Objectif Principal Matrice du cadre logique Résultats opérationnels Composantes d'activités Ressources

10. Rappel d'une phase essentielle de la préparation des programmes Définition des indicateurs de résultats La logique horizontale

12. Les points clés pour l'évaluabilité d'un programme L'objectif principal est bien un objectif de développement (il décrit un changement dans l'attitude ou les performances des bénéficiaires, pas de confusion avec les résultats opérationnels) L'objectif principal est réaliste (pas de confusion avec les finalités) Des indicateurs de performance et de résultat ont été définis. Ils sont mesurables et possèdent les trois dimensions (quantitatifs, qualitatifs, phases dans le temps)

13. Le cadre d'évaluation défini au départ C'est désormais une exigence dans le cahier des charges pour la définition des projets et des programmes Le cadre de départ doit préciser : - Quel système de suivi - Quelles évaluations prévues - Les responsabilités et le plan d'action Quand le suivi a été bien fait, c'est un acquis énorme pour les évaluations ultérieures

14. Qualité des évaluateurs Quelles sont les qualités requises pour une évaluation ? Discussion

15. Les qualités requises d’un évaluateur • Capacité d'initiative et d'innovation. • Indépendance. • Connaissance du domaine. • Compétences analytiques. • Relations interpersonnelles. • Compétences dans la gestion des projets. • Qualités de synthèse et de rédaction.

16. Qualité de la préparation Au centre de la préparation se situe le choix de la démarche retenue, qui doit être pertinent, mais aussi la qualité du programme d'activité, la bonne préparation des outils et instruments, ... La préparation suit un processus dont toutes les étapes doivent être respectées et réalisées correctement (Voir la description des étapes à suivre, ci-dessous Module 8)

17. Qualité de la réalisation - le plan prévu a été réalisé, sans surprise ou accident. (le rapport final rendra compte de ce déroulement) - qualité des mesures réalisées, - qualité des argumentaires et des conclusions

18. Comment se faire une opinion Les critères utilisés doivent être connus et visibles. Convenir au départ, avec les parties prenantes, des critères/éléments qui seront utilisés pour évaluer. Utiliser ensuite en toute transparence ces mêmes critères pour construire les jugements d'évaluation Normes: Rechercher des indicateurs de bonnes performances (autres organisations dans le domaine) et s’en servir comme point de référence Panel d’experts: Présenter les données à des experts reconnus et utiliser les appréciations qu'ils en retirent à partir de leur expérience

19. Chercher la sur-déterminationou des confirmations multiples ("Triangulation") Exemple d'une conclusion d'évaluation Données des questionnaires Le prix de l'eau à la pompe est trop élevé en milieu rural et limite l'usage des ouvrages Données des groupes de discussion Données des entretiens La moindre divergence doit attirer l'attention des évaluateurs sur un risque d'erreur

20. L'argumentaire doit être construit avec soin Exercice en groupe : réflexion sur un argumentaire simple conduisant à une conclusion Faire apparaître les différents concepts en jeu (faits, opinions, inférences, conclusions, ...) Montrer l'importance, pour la qualité de l'évaluation, d'un traitement différencié de ces différents concepts

21. Dans l'argumentaire, il est essentiel de bien séparer : Observés, incontestables, font généralement l'objet d'un consensus Résultat intermédiaire de l'évaluateur qui déduit ou "infère". Les infèrences doivent être éprouvés Jugement personnel, à présenter clairement comme tel. A banir si pas justifiées A banir totalement Résultent de tout un argumentaire. Doivent être clairement reliées à cet argumentaire et présentées comme telles A isoler très nettement des conclusions. Tendances fortes à sauter sur les recommandations avant même d'avoir clairement tirées les conclusions Se rapport à un principe qui peut avoir des applications plus générales Faits Déductions Opinions Sentiments Conclusions Recommandations Enseignements

22. Qualité des confrontations C'est la discipline de base de l'évaluateur Préparer les débriefing avec soin. Chacun d'eux doit améliorer la compréhension mutuelle et permettre de gagner de l'adhésion Ne pas supprimer la confrontation finale avec toutes les parties prenantes. Souvent difficile à réaliser. Doit être prévue dans le programme de l'évaluation.

23. Le rapport final Un exercice particulièrement difficile car : Pour faire partager les conclusions il faut tout expliquer Pour être lu il faut être court Pour être compris par des publics très différents, il faut des présentations différentes.

24. Plusieurs rapports Le personnel du programme pourra avoir besoin d’un rapport verbal et d’une note interne avec les points principaux Les bailleurs de fonds et les intervenants externes pourront avoir besoin d’un rapport complet. Les décideurs pourront avoir besoin d’un résumé Le public pourra avoir besoin d’un sommaire des résultats

25. Qualité du rapport final Répond aux questions et problèmes identifiés dans les termes de référence Clair et bien organisé, utiliser graphiques, matrices, ... Certains éléments peuvent être préparés avec les parties prenantes Fourni à temps Écrit dans la langue des utilisateurs Présente une position détachée et désintéressée. Est objectif.

26. Le contenu du rapport final d'une évaluation rétrospective Un résumé analytique de 1 à 3 pages Une description de la politique évaluée Un rappel du contexte de l'évaluation, du commanditaire, de ses objectifs (les questions auxquelles l'évaluation devait répondre) Un exposé méthodologique rappelant les choix opérés, les techniques utilisées et les étapes du travail d'évaluation  Un bref compte rendu des études réalisées Des développements informatifs à partir des données recueillies et des observations effectuées Des conclusions correspondant aux critères retenues pour l'évaluation Des recommandations qui doivent apparaître clairement comme telles Des annexes

27. Grille d'estimation de la qualité d'une évaluation (pour le commanditaire) Inacceptable Acceptable Excellent Bon 1- Niveau de réponse à la demande (par référence aux questions posées à l'origine dans les termes de référence) 2- Pertinence du champ couvert 3- Indépendance/pluralisme de l'équipe d'évaluation 4- Adéquation méthodologique 5- Fiabilité des données utilisées 6- Solidité des analyses 7- Crédibilité des conclusions 8- Clarté du rapport (ou de la présentation) Attention : la note générale n'est pas la moyenne des notes mais correspond à la plus mauvaise note obtenue pour l'un quelconque des 8 points ci-dessus.

28. Les standards à respecter American National Standards Institute Utilité : L'évaluation doit répondre aux besoins des utilisateurs prévus Faisabilité : L'évaluation doit être réaliste et praticable, prudente et diplomatique Respectueuse : L'évaluation doit être conduite dans le respect du bien-être de ceux qui sont associés à sa réalisation et pourraient être affectés par ses résultats Appropriée : L'évaluation doit produire et utiliser les informations techniquement adéquates pour déterminer la valeur ou les mérites du programme évalué