EVALUATION DES PROGRAMMES DE SANTE METHODES D’ANALYSE QUANTITATIVE

1. EVALUATION DES PROGRAMMES DE SANTEMETHODES D’ANALYSE QUANTITATIVE Dr. Ibrahima MANE Médecin Epidémiologiste Coordonnateur PNL Ministère de la Santé et de la Prévention SENEGAL

2. INTRODUCTION Les méthodes quantitatives et qualitatives d’évaluation ne sont pas opposées, chacune ayant ses avantages et ses limites propres.

3. INTRODUCTION En approche quantitative, nous utiliserons des méthodes statistiques, nous utiliserons des données chiffrées et nos enquêtes seront plus structurées avec des questions plutôt fermées. On procédera à des mesures avec un échantillon plus vaste que dans le cas de recherches qualitatives.

4. INTRODUCTION A chaque étape du processus (récolte des données, analyse, réajustement) correspondent des outils méthodologiques.

5. Objectifs de la session 1. Objectif général : Renforcer les capacités des participants en matière d’évaluation de projets / programmes par la pratique des méthodes d’analyse quantitative des données sanitaires ;

6. Objectifs de la session (suite 1) 2. Objectifs spécifiques : • Définir l’évaluation quantitative ; • Déterminer la place de l’évaluation quantitative dans le cycle de projet ; • Expliquer les principes de base d’une évaluation quantitative ;

7. Objectifs de la session (suite 2) 2. Objectifs spécifiques (suite) • Identifier les différents types d’évaluation quantitative ; • Décrire les méthodes et règles d’analyse dans une évaluation quantitative.

8. Méthodes pédagogiques • Exposé introductif ; • Discussions ; • Exercice d’application.

9. Plan de l’exposé • Définition de l’évaluation quantitative ; • Finalité et fonctions de l’évaluation quantitative ;

10. Plan de l’exposé (suite) • Fondements de l’évaluation quantitative ; • Typologie et Méthodes d’analyse des données dans une évaluation quantitative.

11. Définition de l’évaluation quantitative Type d’évaluation comportant l’utilisation d’une mesure numérique et d’une analyse des données fondée sur des méthodes statistiques

12. Définition de l’évaluation quantitative (suite) • Statistique : • Techniques d’interprétationmathématique et logique appliquées à des ensembles permettant des généralisations à partir des données partielles, tenant compte des formes de distribution et des associations de facteurs

13. Finalité et fonctions de l’évaluation quantitative Contexte: • ETUDE DE LA SITUATION INITIALE • CHOIX DES PRIORITES • STRATEGIES ET VARIANTES • PLANIFICATION EVALUATION • MISE EN ŒUVRE

14. Finalité et fonctions de l’évaluation quantitative (suite 1) • Chronologie (quand l’évaluation a-t-elle lieu?) - Évaluation intermédiaire - Évaluation finale - Évaluation rétrospective Contexte:

15. Finalité et fonctions de l’évaluation quantitative (suite 2) Contexte: • Responsabilité (qui évalue?) • Autoévaluation • Évaluation indépendante - Interne - Externe

16. Finalité et fonctions de l’évaluation quantitative (suite 3) • Procédés • Examen sur documents • Mission sur le terrain Contexte:

17. Finalité et fonctions de l’évaluation quantitative (suite 4) • Utilité: Information sur l’état de santé de la population (épidémiologie descriptive) • Surveillance épidémiologique • Aide à la planification • Aide à la recherche (formulation d’hypothèse de recherche)

18. Finalité et fonctions de l’évaluation quantitative (suite 6) Utilité: Évaluation des interventions (prévention et soins) • Multiplication des interventions • Augmentation des dépenses de santé • Choix entre différents types d’intervention • Raffinement dans l’analyse

19. Finalité et fonctions de l’évaluation quantitative (suite 7) Utilité: Évaluation des interventions (prévention et soins) • Évaluation de l’efficacité • Évaluation de l’impact • Évaluation de l’efficience

20. Finalité et fonctions de l’évaluation quantitative (suite 8)

21. Fondements de l’évaluation quantitative • Information recherchée quantifiable • Validité des données • Conclusion juste et pertinente

22. Fondements de l’évaluation quantitative (suite 1) 1. Information recherchée quantifiable: • Mesures de paramètres: Taux, ratios, proportions, moyennes et autres indices (indicateurs)

23. Fondements de l’évaluation quantitative (suite2) 2. Validité des mesures: • Estimation des paramètres • Etude exhaustive • Echantillonnage - Échantillonnage représentatif - Nombre de sujets nécessaire • Précision des résultats • Prévention des biais

24. Fondements de l’évaluation quantitative (suite 3) 2. Validité des mesures: • Estimation des paramètres • Echantillonnage Base de l’échantillonnage  REPRESENTATIVITE Éviter les échantillons non représentatifs  ALEATOIRE Même chance d’être inclus dans l’échantillon pour chaque membre de la population concernée

25. Fondements de l’évaluation quantitative (suite 4) 2. Validité des mesures: • Estimation des paramètres • Echantillonnage • Méthodes d’échantillonnage Différents types de sondage - Sondage aléatoire simple - Sondage systématique - Sondage stratifié - Sondage à plusieurs degrés - Sondage en grappe

26. Fondements de l’évaluation quantitative (suite 5) 2. Validité des mesures: • Estimation des mesures • Echantillonnage - Méthodes d’échantillonnage • Critères de choix • Existence d’une base de sondage • Facilité des opérations sur le terrain • Précision acceptable des estimations • Subdivisions de la population pour lesquelles des estimations distinctes sont nécessaires

27. Fondements de l’évaluation quantitative (suite 6) 2. Validité des mesures: • Prévention des biais • Définition Le biais est une erreur systématique qui entraîne une conclusion erronée

28. Fondements de l’évaluation quantitative (suite 7) 2. Validité des mesures: • Prévention des biais • Principaux types de biais Les biais peuvent être regroupés en - Biais de sélection - Biais d’information - Biais d’extrapolation - Biais de confusion

29. Fondements de l’évaluation quantitative (suite 8) 3. Conclusion juste et pertinente: • Traitement des données • Analyse et interprétation des observations • Hypothèses ? • Choix des paramètres ? • Lois des phénomènes et fonctions de répartition ?

30. Fondements de l’évaluation quantitative (suite 9) 3. Conclusion juste et pertinente: • Inférence statistique (induction) • Etude d’une liaison statistiquement significative • Tests statistiques : • Chi2 • Risque relatif • Coefficient de corrélation

31. Fondements de l’évaluation quantitative (suite 10) 3. Conclusion juste et pertinente: • Postulats de causalité : • Force de l’association • Gradient dose/réponse • Séquence temporelle • Spécificité de la liaison • Reproductibilité • Cohérence • Plausibilité biologique

32. Typologie des études évaluatives Les études évaluatives en épidémiologie peuvent être classées en 3 grands groupes selon la finalité : • Études descriptives • Recherche étiologique • Évaluation des interventions

33. Typologie des études évaluatives(suite 1) 1. Études descriptives • Objectifs: • Évaluer l’importance des maladies par le calcul des taux d’incidence, de prévalence, de mortalité, de handicap Ces taux sont analysés en fonction du temps, du lieu et des populations

34. Typologie des études évaluatives (suite 2) 1. Études descriptives • Outils méthodologiques : • La surveillance épidémiologique sur données déclarées couplées à la collecte de données démographiques • La réalisation d’enquêtes, en règle à passage unique

35. Typologie des études évaluatives (suite 3)

36. Typologie des études évaluatives (suite 4) 2. Recherche étiologique : • Objectifs : • Identifier des facteurs de risque • Identifier des populations à (haut) risque

37. Typologie des études évaluatives (5) 2. Recherche étiologique : • Outils méthodologiques: • Études rétrospectives: Elles comparent a posteriori la fréquence de l’exposition à un facteur de risque chez des malades et des témoins sains (Études cas-témoins)

38. Typologie des études évaluatives(6) 2. Recherche étiologique : • Outils méthodologiques: • Études prospectives: • Elles comparent le risque de maladie (incidence, mortalité spécifique) chez des sujets exposés ou non à un facteur de risque (Études de cohorte)

39. Typologie des études évaluatives (7) 3. Évaluation des interventions: • Objectifs: L’évaluation des interventions permet d’apprécier dans quelles mesure celles-ci ont atteint les objectifs qui leur étaient assignés

40. Typologie des études évaluatives(8) • 3. Évaluation des interventions: • Objectifs: Le processus d’évaluation peut concerner plusieurs aspects • Évaluation de l’efficacité • Évaluation de l’efficience • Évaluation de l’impact

41. Typologie des études évaluatives(9) • 3. Évaluation des interventions: • Outils méthodologiques : • Les études expérimentales en santé communautaire se proposent de mesurer l’impact d’une mesure de santé publique sur la communauté • Les interventions sont plutôt conduites dans un contexte réel et l’évaluation plutôt fondée sur l’observation

42. Typologie des études évaluatives(9) 3. Evaluation des interventions: L’effet protecteur d’une mesure de santé est le rapport de la différence des taux de morbidité ou de mortalité chez les sujets non protégés et chez les sujets protégés sur le taux chez les non protégés.

43. Typologie des études évaluatives(9) 3. Evaluation des interventions: Cet effet protecteur doit évidemment être comparé au coût de la mesure pour en apprécier la rentabilité

44. CONCLUSION : Représentation schématique des relations entre les trois grands axes de l’épidémiologie Surveillance INFORMATION SUR L’ ETAT DE SANTE DE LA POPULATION Planification Hypothèse de recherche Recherche explicative RECHERCHE ETIOLOGIQUE Recherche pragmatique EVALUATION DE LA PREVENTION ET DES SOINS Dans un contexte optimal Dans un contexte réel

45. BIBLIOGRAPHIE / WEBOGRAPHIE • Guéneau M.C., Beaudoux E. (IRAM) : L’évaluation, un outil au service de l’action, F3E, Paris, 1996Disponible sur le site F3E en français : http://www.f3e.asso.fr/methodo/guides.htm • Guide de l’UNICEF pour le suivi et l’évaluation, Bureau de l’évaluation de l’UNICEF, UNICEF, New-York, 1993Disponible en français, anglais et espagnol auprès de l’UNICEF : hverpoorten@unicef.be • Jeniceck M. et Cléroux R.: Epidémiologie, Principes, Techniques, Applications, Edisem-Maloine, Paris, • Ancelle T. : Statistique, Epidémiologie, Maloine, Paris, 2002