Introduction à l’intégration des méthodes qualitatives et de l’évaluation de l’impact

1. Ryan Sheely Kennedy School of Government Université de Harvard Atelier DIME, Dubaï 1er juin 2010 Introduction à l’intégration des méthodes qualitatives et de l’évaluation de l’impact

2. Présentation générale • Conception de la recherche et Evaluation de programmes • Quelles sont les méthodes qualitatives ? • Pourquoi inclure les méthodes qualitatives dans l’évaluation de l’impact ? • Exemples d’articulations possibles des méthodes qualitatives avec l’évaluation de l’impact • Obstacles à l’utilisation efficace des méthodes qualitatives dans l’évaluation de l’impact

3. Conception de la recherche et Evaluation de programmes :Objectifs et Obstacles • Produire des données pour que les projets s’améliorent en temps réel • Aider à repérer plus soigneusement les conditions permettant à des interventions données de “fonctionner” • Poser les questions pertinentes et majeures sur les programmes, puis combiner les méthodes au mieux en réponse aux questions • Ne vous posez pas la question, “A quelles questions cette donnée me permet-elle de répondre?” • Ne dites pas, “Je ne dispose pas d’un modèle aléatoire et ne peux ainsi rien dire de défendable” • Chacune des méthodes n’est pas en soi “rigoureuse” ; elle le devient dans la mesure où elle est adaptée aux problèmes auxquelles elle fait face, aux contraintes qu’elle surmonte

4. Conception de la recherche et formes de validité • Validité des concepts • Avec quel degré de pertinence mon instrument évalue les concepts sous-jacents (“pauvreté”, “participation”, “conflit”, “autonomisation”)? • Validité interne • Dans quelle mesure ai-je su traiter les divers facteurs de distorsions (surtout les effets de sélection) influençant la relation entre l’EI et l’ED ? • c.-à-d., quelle est ma stratégie d’identification ? • Validité externe • Dans quelle mesure puis-je extrapoler mes conclusions ? Si mon projet fonctionne “ici”, fonctionnera-t-il également “là”? Fonctionnera-t-il mieux à plus grande échelle ?

5. Quelles sont les méthodes qualitatives ? • Un cadre d’outils de recherche scientifique sociale offrant des moyens d’action pour : • Décrire et classer les contextes sociaux • Interpréter la signification du comportement social, des agissements et des réalisations • Localiser les processus et mécanismes spécifiques permettant aux programmes de produire des effets

6. Diversité des méthodesqualitatives • Recherche participative et fondéesurl’action • Observation socialesystématique • Rôles de théâtre, Jeux, Jeux de rôle • Cartes, Modèles et Diagrammes • Classement et attribution de notes • Entretien et Discussion • Entretiensapprofondis, semi-structurés • Réunions de groupeshomogènesouhétérogènes • Histoires des individus et communautéstirées des entretiens • Analyse du contenu des documents et archives • Archives et dossiers administratifs • Journaux et rapports de la sociétécivile • Correspondanceprivée

7. Pourquoiinclure des méthodesqualitativesdansl’évaluation de l’impact ? • Présenter systématiquement le contexte (ni l’éluder ni le mentionner ponctuellement) • Les hypothèses, programmes, et évaluations peuvent s’appuyer sur la réalité individuelle ou collective des populations pauvres • Vérifier par recoupement et interpréter les conclusions • Comprendre les mécanismes causaux reliant les programmes, le contexte et les résultats • Comprendre la nature et les sources de toute erreur de mesure

8. Exemple 1 : Intégrer le contexte local dans la conception des programmes • L’étude : Evaluation d’un programme de gestion des déchetsdans la régionnord et centre du Kenya (Sheely 2010) • Outilsqualitatifsspécifiquesutilisés : observation de long terme, histoireslivréeslors des entretiens, recherche documentaire • Outilsquantitatifsspécifiquesutilisés : affectation aléatoire des villages à différents ensembles d’institutionschargées de faire appliquer la loi • Implication pour les évaluations de l’impact : uneanalyse attentive du contexte local peutélargir les possibilités de randomisation et d’idées en matière de conception de programmes

9. Exemple 2 : utiliser les connaissances locales pour évaluer la validité des mesures • L’étude : évaluation de l’effet du cadre culturelsur le comportementlors des jeux de confiance au sein des populations masai (Cronk 2007) • Outilsqualitatifsspécifiquesutilisés : entretiensapprofondis • Outilsquantitatifsspécifiquesutilisés : Jeux de comportementéconomiquesur le terrain • Implication pour les évaluations de l’impact : Procéder à unemesureexacte des résultatscomme la cohésionsocialepeutexiger un examenattentif des pratiquespropres aux cultures locales

10. Méthodes qualitatives :Problèmes potentiels de méthodologie • Possibilité de contamination et de débordement • Échantillons non représentatifs – Choix des personnes enquêtées qui peut favoriser les élites locales • Point de vue personnel du chercheur /facilitateur • Absence de normes de comparaison des résultats qualitatifs et quantitatifs

11. Méthodesqualitatives :Problèmespratiquespotentiels • Durée et Coût de la Recherche qualitative • Comprendre et exposer le contexteexige du temps et uneconfiancemutuelle entre les chercheurs et les populations • Accroître les effectifs et la formation en raison d’un éventail plus diversifié de compétences • Problèmes de coordination et de gestionposés par de grandeséquipes • L’attentionaccordée au contextedans la conception des programmes ne règle pas automatiquement les questions d’efficacitépotentielleliées au passage à uneéchelle plus grande

12. REFERENCES ET SUGGESTIONS D’AUTRES LECTURES Bamberger, Michael, VijayendraRao et Michael Woolcock (2010) “Using Mixed Methods in Monitoring and Evaluation: Experiences from International Development”, in Abbas Tashakkori et Charles Teddlie (dir. pub.) Handbook of Mixed Methods (2eéditionrévisée) Thousand Oaks, CA, Sage Publications Barron, Patrick, Rachael Diprose et Michael Woolcock (2010) Contesting Development: Participatory Projects and Local Conflict Dynamics in Indonesia New Haven, Yale University Press (in press) Chambers, Robert. 1997. Whose Reality Counts: Putting the First Last, ITDG Publishing. Cronk, Lee. 2007. “The influence of cultural framing on play in the trust game: a Maasai example” Evolution and Human Behavior. Kanbur, Ravi, ed . 2001. Q-Squared? Qualitative and Quantitative Methods of Poverty Appraisal Malan, N. 2000. “On the Relationship between participatory research and participatory development.” Africanus 2, pp. 64-75. Ravallion, Martin. 2001. “How Can Qualitative Methods Help in Measuring Poverty,”Qual-Quant: Qualitative and Quantitative Poverty Appraisal- Complementarities, Tensions and the Way Forward, Permanent Black Publishers, 2002. Rodrik, Dani. 2008. “The New Development Economics: We Shall Experiment, but How Shall we Learn?” Document préparé en vue de la Brookings Development Conference, 29-30 mai 2008. Sheely, Ryan. 2010. “Community Governance, Collective Action, and the Maintenance of Local Public Goods: Qualitative and Experimental Evidence from Rural Kenya.” Better Governance for Better Health Conference, Stanford University. 26-27 avril, 2010. Van derRiet, Mary. 2008. “Participatory Research ant he Philosophy of Social Science.” Qualitative Inquiry 14 (4), pp. 546-565. White, Howard. 2002. “Combining Quantitative and Qualitative Approaches in Poverty Analysis,” World Development. Woolcock, Michael (2009) ‘Toward a Plurality of Methods in Project Evaluation: A Contextualized Approach to Understanding Impact Trajectories and Efficacy’ Journal of Development Effectiveness 1(1), pp. 1-14