1 / 28

Guide pratique d'échantillonnage pour les évaluations d'impact

Matthias Rieger Graduate Institute, Geneva World Bank. Guide pratique d'échantillonnage pour les évaluations d'impact. Introduction. Comment construire un échantillon permettant de détecter de manière crédible un effet significatif ?

carney
Download Presentation

Guide pratique d'échantillonnage pour les évaluations d'impact

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Matthias Rieger Graduate Institute, Geneva World Bank Guide pratique d'échantillonnagepour les évaluationsd'impact

  2. Introduction • Comment construire un échantillon permettant de détecter de manière crédible un effet significatif ? • Quels groupes ou quelle population nous intéressent et où les trouver ? • Combien de communes, villages, ménages et personnesfaut-il interviewer/observer dans cette population ? • Quelles en sont les conséquences sur le budget de l'évaluation ? • Attention ! • Cette présentation n'a pas la prétention de faire de vous un expert en échantillonnage • Elle ne cherche pas non plus à vouscompliquer la vie! • Il s'agitplutôt de répondre à la question générale : Comment les composantes de l'échantillonnage affectent-elles cequ’une évaluation d'impactpeut nous apprendre?

  3. Plan de présentation • Cadre d'échantillonnage • Quels groupes ou quelles populations nous intéressent ? • Comment les trouve-t-on ? • Taille de l'échantillon • Pourquoi est-ce si important : crédibilité des résultats • Déterminants de la tailleadéquate d’un échantillon • Autres questions • Exemples • Budgets

  4. Cadre d'échantillonnage • Qui nous intéresse ? • Communes/quartiers (fonctionnaires des communes) • Villages (chefs des villages) • Ménages (chefs des ménages) • Individus • Enfants, femmes • Garder à l'esprit la validité externe • Les conclusions tirées d'une population peuvent-elles être utiles pour préparer des mesures à portée nationale ? • Il faut aussi garder à l'esprit la faisabilité et ce que vous voulez apprendre • Il peut ne pas être possible ou souhaitable de piloter un programme ou une politique dont le champ d’applicationest extrêmement large

  5. Cadre d'échantillonnage : Déterminerquellessont les unités qui nous intéressent • Fonction de la taille et du type d'expérience • Sélection aléatoire parmi les candidats • Exemple : Programme de dévelopmentcommunautaire (CDD) dans 100 communes rurales d’un pays. Choixaléatoire de 50 communes qui recevront le traitement • Possibilité d'utiliser des unités de traitement et de comparaison à partir du pool de communes • Villages/ménages: Il fautprendre un échantillon pour mesurer l'impact • Changement de politique • Exemple : un changement du montant de la taxe de marchédans un échantillonaléatoire de communes rurales • Pour mesurerl'impactsur les marchands, on ne peut pas échantillonnertous les marchands du marchédans les communes de traitement et dans les communes de comparaison • Il faudraprendre un échantillon de marchands au sein des communes • Informations nécessaires avant de prendre un échantillon • Une liste exhaustive de toutes les unités d'observation disponibles pour l'échantillonnage dans chaque zone ou chaquegroupe (liste des communes, villages et ménages)

  6. Plan de présentation • Cadre d'échantillonnage • Quels groupes ou quelles populations nous intéressent ? • Comment les trouve-t-on ? • Taille de l'échantillon • Pourquoi est-ce si important : crédibilité des résultats • Déterminants de la tailleadéquate d’un échantillon • Autres questions • Exemples • Budgets

  7. Taille de l'échantillon et crédibilité des résultats • Commencer par une question plus simple que l'impact du programme • Si par exemple nous voulons savoir quel est la moyenne de revenuagricole des ménages pour évaluer un programmed’engraismodernes… • Option 1 : Nous interrogeonscinq ménages et nous utilisons la moyenne de leursréponses • Option 2 : Nous interrogeons 1000 ménages et nous utilisons la moyenne de leursréponses • Quelle sera la moyenne la plus proche de la vraie moyenne ?

  8. 1 000 Ménages Taille de l'échantillon et crédibilité des résultats • Cinq Ménages

  9. Taille de l'échantillon et crédibilité des résultats • De manière similaire, quand on détermine l'impact du programme… • Il faut de nombreuses observations pour pouvoir dire avec certitude que le résultat moyen du groupe de traitement est plus/moins élevé que celui du groupe de comparaison • Qu’entend-on par certitude? • Réduire au minimum l'erreur statistique

  10. Taille de l'échantillon et certitude • Erreur de Type 1 : Trouver un impact du programme quand il n'y en a pas • L'erreur peut être minimisée après la collecte des données, au cours de l'analyse statistique • Besoin d'ajuster les niveaux de significativité des estimations d'impact (par ex. intervalles de confiance à 99 % ou 95 %) • Erreur de Type 2 : Ne pas pouvoir détecter un effet alors qu’il y en a un • En jargon statistique: la puissance du test est faible • Il faut minimiser l'erreur avant la collecte des données • Meilleur moyen d'y parvenir : s'assurer que vous disposez d'un échantillon suffisamment important • Tout l'intérêt d'une évaluation d'impact est d'en apprendre quelque chose • Ex ante (a priori) : Nous ne savons pas quelle est l'importance de l'impact de ce programme • Faible puissance ex-post (a posteriori) : Ce programme pourrait avoir fait progresser les revenus agricoles des ménages de 50%, mais nous ne pouvons pas distinguer avec certitude une augmentation de 50% d'une augmentation nulle

  11. Calcul de la taille de l'échantillon • En fait, il existe une formule… • L'essentiel de ce qu'il faut avoir à l'esprit : • Taille de l'effet détectable • Probabilité d'erreurs de type 1 et 2 • Variance du/des résultat(s) • Unités (communes/villages/ménages) par zone traitée

  12. Calcul de la taille de l'échantillon • Taille de l'effet détectable • L'effet minimal recherché pour faire la distinction par rapport à zéro • Une augmentation des revenus agricoles de 20 %, une amélioration de la santé des enfants (poids et taille-âge) de 10 % • Échantillons plus larges  des effets moindres sont plus faciles à détecter

  13. Calcul de la taille de l'échantillon • Comment choisir la taille de l'effet détectable • L'effet minimal incitant la réponsed’une intervention publique • L'effet minimal qui vous permettra de dire qu'un programme n'a pas été un échec • Ce programme a fait progresser de manièresignificative le poids/âge des enfants de 10 % • Génial - voyons comment nous pouvons répliquer ceci à plus grandeéchelle • Ce programme a fait progresser de manièresignificative le poids/âge de 2 % • Génial...euh... voyons-voir : on a dépensé tout ça pour ne faire progresser les ventesque de sipeu?

  14. Calcul de la taille de l'échantillon • Erreurs de Type 1 et Type 2 • Type 1 • Niveau de significativité des estimations fixé généralement à 1 % ou 5 % • Probabilité de 1 % ou 5 % qu'il n'y ait pas d'effet, mais nous en trouvons un • Type 2 • Puissance généralement fixée à 80 % ou 90 % • Probabilité de 20 % ou 10 % qu'il y ait un effet mais nous ne pouvons pas le détecter • Échantillons plus larges  puissance plus grande

  15. Calcul de la taille de l'échantillon • Variance des résultats • Moins de variabilité sous-jacente  différences plus faciles à détecter  possibilité d’avoir un plus petit échantillon

  16. Calcul de la taille de l'échantillon • Variance des résultats • Comment la connaître avant de décider de la taille de l'échantillon et avant de collecternos données ? • Idéalement, donnéespréexistantes • Souvent...inexistantes • Possibilité d'utiliser des données préexistantes provenant d'une population similaire • Exemples : Enquêtes des ménages/communes/villages • Relève plus de l’expérienceque des sciences exactes

  17. Autres questions • Groupes de traitement multiples • Résultats désagrégés par groupe • Participation • Qualité des données

  18. Autres questions • Groupes de traitement multiples • Simplicité de la comparaison de chaque traitement séparément au groupe de comparaison • Il faut de très grands échantillons pour comparer les groupes de traitement • Notamment si les traitements sont très similaires, les différences entre les groupes de traitement seront moindres • En fait, c'est comme si l'onfixait une taille d'effet détectable très petite • Résultats désagrégés par groupe • Les effets diffèrent-ils entre hommes et femmes ? Pour les différentssecteursd’emploi du ménage ? • Si les genres/secteurs ont tendance à réagir de manière similaire, il faudra aussi des échantillons très larges pour estimer les différences d'impact du traitement

  19. Autres questions • Résultats désagrégés par groupe • Pour assurer un équilibre entre les groupes de traitement et les groupes de comparaison, il est recommandé de diviser l'échantillon en strates avant l'assignation du traitement • Strates • Sous-populations • Stratescourantes: espacesgéographiques, sexe, secteurs, valeurs initiales de la variable de résultat • L'assignation au traitement (ou l'échantillonnage) se déroule au sein de ces groupes

  20. Pourquoi faut-il des strates ? • Un exemple géographique • Quel est l'impact dans une région particulière ? • Parfois difficile à déterminer avec certitude • = T • = C

  21. Pourquoi faut-il des strates ? • Assignation aléatoire à un traitement au sein d' unités géographiques • Dans chaque unité, une moitié sera du groupe de traitement, l’autre du groupe de comparaison. • Même logique pour sexe, métier, taille de communes, etc.

  22. Autres questions • Participation • Une faible participation augmente la taille de l'effet détectable • Un effet ne se détecte que s'il est vraiment important • Réduit efficacement la taille de l'échantillon • Exemple : Offred’engraismodernes aux ménages agricoles • Offre à 5 000 ménages • 50 utilisent les engraismodernes • C’estseulementdans les casoùces ménages auraient des énormes augmentations de revenus après l’interventionquel’onpourra dire avec certitude qu'il y a un effet sur les revenusagricoles

  23. Autres questions • Qualité des données • Des données de qualité médiocre augmentent sensiblement la taille requise de l'échantillon • Observations manquantes • Bruit accru • Peut être en parti résolu avec le coordonnateur de terrain dans le suivi de la collecte des données sur le terrain

  24. Un exemplefictif •  Les calculs peuvent être faits à l'aide de nombreux logiciels de statistiques - par exemple STATA, OD ou R-Cran • Exemplefictif: Programme de DévelopmentAgricolevisant à accroître les revenusagricoles des ménages avec des engraismodernes • Revenuagricole par mois d’un ménage, valeur de référence • 50$ par mois • Données sur les revenusgénéralement bruitées, donc un coefficient de variation > 1 estfréquent • Exemple de code STATA pour détecter une augmentation de 10% des revenus 50$ -> 55$ : • sampsi 50 55, p(0,8) pre(1) post(1) r1(0,5) sd1(50) sd2(50) • Disponibilité de données de référence et de suivi aide à réduire la taillenécessaire pour l’échantillon (pré et post) • Résultats • Augmentation de 10% (de 50 à 55) : 1 178 ménages de chaque groupe • Augmentation de 20% (de 50 à 60) : 295 ménages de chaquegroupe • Augmentation de 50% (de 50 à 75) : 48 ménages de chaque groupe (mais cette taille d'effet n'est pas réaliste)

  25. En bref • Cadre d'échantillonnage • Quels groupes ou quelles populations nous intéressent ? • Comment les trouve-t-on ? • Taille de l'échantillon • Pourquoi est-ce si important : crédibilité des résultats • Déterminants de la tailleadéquate d’un échantillon • Autres questions • Exemples • Budgets

  26. Budgets • Que faut-il prévoir ? • Formation des enquêteurs • Pré-test/Pilotage • Collecte des données • Société de sondages • Saisie des données • Coordonnateur de terrain pour assurer que le traitementsuive le protocole de randomisation et pour surveiller la collecte des données • Analyse des données

  27. Budgets • Combien tout ceci va-t-il coûter ? • Un éventail de coûts très large. Souvent fonction de… • La durée de l'enquête • La distribution spatiale des personnes à interroger • Les problèmes de sécurité • Matériel, prix de location des voitures, prix de l‘essence • Capital humain requis par l'énumérateur • Etc. • Données d'enquête sur les ménages: 40$+/ménage • Coordonnateur de terrain: 800$-4000$/mois • Varie en fonction des possibilités de recrutement sur place

  28. Synthèse • La taille de l'échantillon de votre évaluation d'impact déterminera la quantitéd'information que vous pourrez tirer de votre expérience • Les calculs supposent une dose de jugement et de supposition mais il est important d'y consacrer du temps • Si la taille de l'échantillon est trop faible : perte de temps et d'argent car vous ne pourrez pas détecter un impact non nul avec certitude • Si la conception de l'échantillon et la collecte des donnéessont réalisées avec peu d'efforts : voir ci-dessus • Questions ?

More Related