MICHELE TARSILLA Spécialiste en évaluation Rencontre annuelle de l’Afcop (24 Mai, 2011 )

1. Évaluation de la Communauté Africaine de Pratiques sur la Gestion axée sur les Résultats de Développement (AfCoP-GRD) MICHELE TARSILLA Spécialiste en évaluation Rencontreannuelle de l’Afcop (24 Mai, 2011)

2. VUE D'ENSEMBLE • Introduction • Théorie du changement et Hypothèses clés • Questions d'évaluation • Méthodologie • Conclusions principales • Discussion

3. 1. INTRODUCTION

4. 1.1. Objectifs Clés de l’AfCoP (2007-2011) • Fournir une plateforme interactive en ligne pour les praticiens de la GRD, les preneurs de décisions et les chercheurs en Afrique; • Renforcer les compétences individuelles en GRD; • Etablir une communauté pour renforcer le promotion de la GRD à travers l'Afrique; • Echanger et diffuser les connaissances et les bonnes pratiques en GRD au sein et au-delà de l’Afrique EVOLUTION de l’AFCOP

5. 1.2. Objectifs Clés (depuis 2011) • Créer onze nouvelles Communautés Nationales des Pratiques (CNP-GRD); • Créer un partenariat avec d'autres institutions régionales; • Réaliser des nouvelles activités pour apporter une nouvelle dynamique dans l’échange des connaissances en matière de GRD AFCOP EVOLUTION

6. 2. Théorie du changement et 3 Hypothèses clés

7. 2.1 Hypothèse Clé 1 • AfCoP contribue à l'amélioration de l’apprentissage et de la pratique en matière de GRD parmi ses membres -Grâce à des échanges en ligne se produisant parmi une variété de gens de formations, expériences et compétences différentes les uns des autres, la qualité du contenu des discussions virtuelles est améliorée, l'apprentissage chez les participants augmente et la mise en pratique des connaissances nouvellement acquises devient plus fréquente (Wenger, McDermott, & Snyder, 2002; Hinds et Kiesler, 2002; Medley, 1999) (Galegher, Sproull, & Kiesler, 1998).

8. 2.2 Hypothèse Clé 2 L’AfCoPcontribue au renforcement d’un apprentissage communautaire en matière de GRD ainsi qu’au développement d’une communauté à la fois en ligne et hors ligne -Les discussions en ligne et les blogues au fil du temps contribuent à renforcer les liens entre les utilisateurs individuels de la plate-forme (Scott et Thomson, 2005), conduisant ainsi à au développement d'une communauté de praticiens (Martin & Bearden, 1998; Jensen, Danziger, & Venkatesh, 2007).

9. 2.3Hypothèse Clé 3 L’AfCoPcontribue au renforcement institutionnel et à l’établissement de partenariats régionaux - Les échanges en ligne rendent les opportunités d'apprentissage en GRD accessibles à un plus grand nombre de personnes que tout autre programme de formation ou conférences thématiques traditionnel (face-à-face) (Scott et Johnson, 2005; Johnson, 2001; Jamieson, 2000).

10. 2.4 AfCoP Theory of Change

11. 3. Questions d’evaluation

12. 3. 1 Questions clés de l'évaluation (I) • Dans quelle mesure est-ce que l’AfCoPacontribuéà accroître la connaissance de bonnes pratiques en GRD parmi ses membres? • Dans quelle mesure est-ce que l’AfCoP a contribué à l'adoption de bonnes pratiques en GRD par ses membres? • Dans quelle mesure est-ce que l’AfCoP a contribué à la création d’un sentiment de communauté parmi ses membres?

13. 3.2. Questions clés de l'évaluation (II) • Dans quelle mesure est-ce que l’AfCoP a contribué au renforcement des processus nationaux en matière de GRD? • Dans quelle mesure est-ce que l’AfCoP a contribué à accroitre l’appropriation de la GRD parmi ses pays membres? • Dans quelle mesure est-ce que l’AfCoP a contribué à renforcer la coopération Sud-Sud parmi ses membres, ainsi que la connexion de ses pays membres aux processus d'autres pays?

14. 4. Méthodologie

15. 4.1 Methodologie L’évaluation est rétrospective et non comparative et elle est fondée sur de multiples lignes de preuve. • L'évaluation s’est basée sur l'utilisation des méthodes de collecte de données à la fois quantitatives et qualitatives (méthode mixte) • Outils de collecte des données qualitatives comprennent: • Revue de la littérature; • Revue des Documents; • Analyse thématique des ressources en ligne et des questions ouvertes inclues dans le Sondage auprès des membres; • Discussions en ligne structurées; • Entrevues avec le personnel du Secrétariat AfCoP (passé et présent) • Etudes de cas • Outils de collecte des données quantitativescomprennent: • Sondage auprès de membres de l’AfCoP (via Survey Monkey); • Sondage auprès de membres du CMT • Analyse de tendances et de modalités de navigation du site de l’AfCoP

16. 5.1 Question d’evaluation 1 Dans quelle mesure est-ce que l’AfCoPa contribué à accroître la connaissance de bonnes pratiques en GRD parmi ses membres?

17. Augmentation des connaissances en GRD En moyenne, tous les répondants au sondage affirment qu'ils ont amélioré leur compréhension de 5 piliers de la GRD à la suite de leur participation à l’AfCoP

18. Notions clés en GRD appris à travers l’AfCoP • Les notions clés en GRD apprises par le site de l’AfCoP incluent les suivantes: • Comment utiliser le S&E pour la prise de décision (n=142); • Comment renforcer les capacités nationales en GRD (n=113); • Comment réaliser la budgétisation axée sur les résultats (n=66); • Comment mettre en œuvre des initiatives de développement axées sur les résultats (n=59); • Comment formuler des plans d'action axés sur les résultats (n=57); • Comment améliorer l'efficacité du développement (n=54)

19. Evaluation de la qualité des ressources en ligne • La plupart des répondants (n=159) trouvent le site Web de l’AfCoPsoit très facilement accessibles(n=46) ou facilement accessible (n=113); • Quatre-vingt-cinq pour cent des répondants (n =208) trouvent la qualité des ressources en ligne, soit très bonne (n=62) ou bonne(n=146), tandis qu'un groupe plus restreint (n=38) estime qu’elle est moyenne; • Quant à la clarté du contenu du site de l’AfCoP, 84% des répondants(n=200) la trouvent soit très bonne (n = 38) ou bonne (n = 162). Un plu petit nombre de répondant s(n=38) l’estime moyenne. • Soixante-deux pour cent des répondants (n=172) affirment que les ressources en ligne AfCoPrencontrent leurs besoins. Le restant 28% des répondants (n=68) soulignent que les ressources en ligne mises à disposition par le site de l’AfCoPne satisfont toujours leurs atteintes à cause de plusieurs facteurs, y compris: • Le manque d'exemples pratiques ou pertinentes de GRD • Variété limitée de sujetsde GRD présentés et/ou discutés en ligne

20. 5.2 Question d’evaluation 2 Dans quelle mesure est-ce que l’AfCoP a contribué à l'adoption de bonnes pratiques en GRD parmi ses membres?

21. Tauxd’adoption de la GRD • Cinquante-deux pour cent des répondants (n=242) affirment qu'ils ont adopté des concepts et des outils de la GRD appris sur le site Web de l’AfCoP, notamment dans six domaines principaux: • Le renforcement des capacités en GRD; • L’utilisation systématique de cadres logiques; • L’adoption de pratiques innovantes; • Contribution à la formulation et la mise en œuvre du DSRP; • amélioration de la performance des entreprises; • L’alignement du budget avec les plans de travail

22. A quelniveau et dansquelsecteurest-ceque la GRD estadoptée? Quatre-vingt-quatre pour cent des répondants (n=268) travaillent dans les domaines de la planification ou de la gestion, principalement dans 4 secteurs clés: l'aide au développement, la finance, l'agriculture et l'éducation

23. Facteurs environnementaux qui entravent l'application de la GRD • Selon le sondage, les facteurs environnementaux qui entravent l'application de la GRD par les membres de l’AfCoP incluent les suivants: • La faible prise de conscience de la GRD au travail (par exemple parmi les collègues) (n=117); • L'absence d'un système adéquat de gestion de l'information (n=88); • Le manque de soutien du directeur (n =68); • Le manque d'incitations ou de récompenses pour l'adoption de la GRD (n =82); • Le manque de champions dans son propre secteur professionnel (n=69); • Le manque de communication entre les planificateurs et les gestionnaires (n=37); • Rotation du personnel intéressé à la GRD(n=19)

24. 5.3 Question d’evaluation 3 Dans quelle mesure est-ce que l’AfCoPa contribué à la création d’un sentiment de communauté parmi ses membres?

25. Contacts développés au sein de l’AfCoP (I) Soixante pour cent des répondants (n=146) déclarent qu’ils ont développé des contacts avec des autres membres au sein de l’AfCoP au fil du temps. Le restant 40% (n=97) affirme qu’ils n’adéveloppéaucun contact. La majorité de ceux qui ont développé des contacts (n=57) indiquent qu’ils ont lié avec 1-2 autres membres, tandis qu’un groupe plus restreint (n = 54) signalent qu’ils ont développé 3-7 contacts. En outre, 19 membres ont indiqué avoir mis au point 8-15 contacts tandis que 16 membres ont affirmé avoir lié avec plus de 15 membres. Parmi les répondants qui ont développé des contacts avec d'autres membres de l'AfCoP, un grand nombre d'entre eux (n = 92) discutent les uns avec les autres hors ligne (par exemple, via e-mail personnelle, msn, Skye ou des réunions en face-à-face). Au contraire, les restants 126 membres ne discutent pas hors-ligne.

26. Contacts développés au sein de l’ AfCoP (II) Cinquante-trois pour cent des répondants (n=96) ont établi des contacts avec d'autres membres de la même capacité professionnelle tandis que les 47% restant (n=84) ont développé des contacts avec des membres possédant un titre professionnel diffèrent du leur; En outre, 60% des répondants (n=110) ont développé des contacts avec des membres travaillant dans un autre secteur que le leur alors que les 40% restant (n=70) ont développé une liaison avec d'autres membres de l'AfCoP travaillant dans le même domaine

27. 5.4 Question d’evaluation 4 Dans quelle mesure est-ce que l’AfCoP a contribué au renforcement des processus nationaux en matière de GRD?

28. Ameliorations dans les processusnationaux de GRD • Cinquante-trois pour cent des répondants (n=125) affirment qu’ils ont vu quelques améliorations dans le processus de planification de leur pays au cours des trois dernières années tandis que les 47% restants (n=111) affirme qu’ils n’a vu aucun. • Interrogés sur le type d'améliorations qui ont eu lieu dans leur processus de planification nationale au cours des trois dernières années, les répondants ont identifié 4 types principaux: • Institutionnalisation de la GRD (n=39) • Amélioration de l'imputabilité (n=19) • Introduction de la budgétisation axée sur les résultats (n=16) • Amélioration de la performance du secteur public (n=13)

29. Contribution de l’AfCoP aux améliorations en matière de GRD (I) • Parmi ceux qui affirment que certaines améliorations ont eu lieu, 47% de répondants (n = 75) soulignent que la contribution de l’AfCoP dans ce domaine a été importante: à leur avis, l’AfCoPacontribué à l'amélioration de la GRD nationale d’une manière soit significative (n=21) ou très significative (n = 54). Le restant 53% (n=86) adéclaré que la contribution de l’AfCoPa été plus modeste et il a indiqué que l’AfCoPa influencé le processus national de planification stratégique d’une manière soit limitée (n =31) ou très limitée (n= 14).Les contributions clés de lAfCoP incluent les suivantes: • Mise en envergure des résultats à tous les niveaux (n=25); • Renforcement des programmes nationaux de formation en GRD (n=15); • Redevabilité accrue et caractère plus participatif des processus nationaux de planification (n=12); • Augmentation du nombre des communautés de pratique nationales en GRD (n=12); • Introduction de bonne pratiques en GRD dans les principaux secteurs nationaux (n= 9); • Utilisation accrue des outils et des méthodologies de la GRD (n=6); • Renforcement des échanges entre les principaux acteurs nationaux dans le domaine de la GRD (n = 5); • Plus d'accent sur les résultats pendant les processus de formulation du DSRP (n=4); • Utilisation accrue de la budgétisation axée sur les résultats (n=4)

30. Contribution de l’AfCoP aux améliorations en matière de GRD (II) • Plus précisément, 38% des répondants (n=91) ont indiqué qu'ils ont contribué au processus national en GRD dans leur pays à travers les modalités suivantes: • En participant à la formulation de politiques nationales ou régionales en matière de GRD (n=27); • En organisant des programmes de formation et renforcement des capacités en GRD (n=16); • En améliorant l'efficacité de programmes publics (n=12); • En participant à l’articulation du DRSR de leur pays (n=11); • En Promouvant la création de CoPnationales (n=7); • En Promouvant l'utilisation de la budgétisation axée sur les résultats (n=6); • En alignant le financement des donateurs avec les stratégies nationales de développement (n=3)

31. Question d’évaluation 5 Dans quelle mesure est-ce que l’AfCoP a contribué à accroitre l’appropriation de la GRD parmi ses pays membres?

32. Reconnaissance nationale de la GRD Quand on leur demande à quel stade du développement des capacités en GRD se situe leurs pays, la majorité des répondants (n=74) indiquent le stade d'expérimentation suivi, dans l’ordre, de ceux de la transition (n=55), sensibilisation (n=48), et la mise en œuvre durable (n=20); Lorsqu'on leur a demandé si leur pays reconnaissent la GRD, 89% des répondants (n=191) ont répondu oui alors que le restant 11% (n=23) a répondu que non. En outre, 76% des répondants (n =146) ont ajouté que les gouvernements de leur pays sont généralement au courant des activités de de l’AfCoP

33. Incitations et EvenementsNationauxsur la GRD En ce qui concerne la mise à disposition d’incitations pour favoriser l’adoption des pratiques en matière de GRD, 78% des répondants (n=133) ont reconnu qu’il n’y en a pas; Cinquante-trois pour cent des répondants (n=116) ont également indiqué que, à leur connaissance, leur gouvernement n'avait parrainé aucun événement lié à la GRD au cours des 12 derniers mois. Les restant 37% (n = 80) a déclaré que certains événements ont été organisés et un autre 10% (n = 22) n’avaient pas d’informations sur le sujet;   Quand on leur demande quel ministère a été le plus actif dans la promotion d’événements centrés sur la GRD dans leur pays, les répondants ont mentionné un très grand nombre d'entités gouvernementales (voir le tableau dans la diapo page suivante)

34. EntitésNationalesPromouvant le MfDR

35. Le lien entre la GRD et les OMD En outre, lorsqu'on leur demande si les pratiques de la GRD sont utilisés pour atteindre les OMD dans leur pays, 43% des répondants (n=102) ont dit que cela se fait souvent, tandis que les restant 57% (n=135) a répondu que cela se fait soit toujours(n=19), très souvent (n=49), rarement (n=46), ou bien jamais (n =10).

36. 5.6 Question d’évaluation 6 Dans quelle mesure est-ce que l’AfCoP a contribué à renforcer la coopération Sud-Sud parmi ses membres, ainsi que la connexion de ses pays membres aux processus de GRD d'autres pays? Des interviews avec des informateurscléssont en train d’être conduites en ce moment et une revue de document estaussi en cours

37. 6. Discussion