Deux définitions

1. Deux définitions • Evaluer une politique, c’est « apprécier son efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre » (décret du 18/11/1998) • « L'évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le but de permettre aux citoyens d'en apprécier la valeur et d'aider les décideurs à en améliorer la pertinence, l'efficacité, l'efficience, la cohérence et les impacts » (Charte de la SFE)

2. Caractéristiques de l’évaluation • Activité d’étude et d’analyse portant sur la mise en œuvre et les résultats d’une action publique • Menée dans un cadre méthodologique et institutionnel (plus ou moins) formalisé • Dans le but de rendre des comptes et/ou d’améliorer cette action

4. Différents types d'actions • Politiques • Programmes • Projets • Normes, réglementation (lois, décrets) • Procédures • Dispositifs • Fonctions • Pratiques

5. Caractéristiques de l'audit : Critères préfixés Indépendance Vérifie la régularité et la responsabilité au regard de résultats attendus Priorité à l'utilisation des ressources et aux problèmes organisationnels Priorité à l'obligation de rendre des comptes Vise à fournir une assurance au commanditaire Exigence de rapidité Porte principalement sur les structures (organismes, services, établissements, fonctions). Evaluation et audit (1)

6. Caractéristiques de l'évaluation : Critères complexes et soumis à débat S'intéresse principalement aux effets externes (sur la société) de l'action publique Prend en compte la pluralité des acteurs et des porteurs d'enjeux Prend en compte la diversité des besoins Cherche à comprendre autant qu'à mesurer Recherche le consensus Concerne les actions plus que les structures Evaluation et audit (2)

7. Finalités de l’évaluation • Rendre des comptes sur le « bon usage des fonds publics » (accountability) • Décider sur une base plus rationnelle • stratégie (lien avec la prospective) • optimisation de l’usage des ressources • Apprendre, se mobiliser, donner du sens à l’action, renforcer la “capacité d'agir” (empowerment) • Partager des informations, faire converger des représentations

8. Les défis de l’action publique • Nouvelles demandes sociales/ complexité • Resserrement de la contrainte budgétaire • Crise des idéologies et de l’autorité (déficit de légitimité de l’action publique • Nouvelles formes de gouvernance et de régulation (globalisation, Europe, décentralisation, partenariat, passer du faire au « faire faire ») • Crise du management public, demande de « sens » dans le travail

9. Des usages potentiels aux usages réels • Une faible contribution au débat public • Des usages budgétaires plutôt rares, du moins en France • La place de l’évaluation dans la gouvernance mondiale (UE, Banque mondiale…) • Une aide réelle au pilotage des politiques • L’importance de la dimension « formative » • L’apport à l’élaboration de visions partagées • Des effets le plus souvent différés et indirects

10. Les origines américaines • Des interventions fédérales contestées • Des programmes sociaux peu légitimes • Democratie = Accountability • L’orientation empiriste des sciences sociales • La visée d’une “politique fondée sur des preuves” (Evidence-based policies)

11. Points forts de l’évaluation dans le monde anglophone • Une réelle intégration de l’évaluation au processus budgétaire • Le caractère programmatique de l ’action publique • Le rôle actif du parlement et de la Cour des comptes • l’orientation empiriste des sciences sociales • La professionnalisation des évaluateurs

12. Étapes d’une évaluation • Lettre de mandat • Élaboration d’un projet d’évaluation • Constitution d’une instance d’évaluation, qui valide le projet • Lancement d’un programme d’étude • Suivi et validation des études • Rédaction et validation du rapport • Suivi et valorisation des conclusions

13. Une pluralité d'acteurs dans le domaine sanitaire et social • Services ministériels (DARES, DREES) • Établissements à caractère scientifique (centre d'étude de l'emploi...) • Conseil national de l'évaluation sociale et médico-sociale (loi du 2 janvier 2002) • Agence nationale de l'évaluation et de la qualité des établissements et services sociaux et médico-sociaux (décret du 8 mars 2007) • Haute autorité de santé (HAS) • Haut Conseil de la santé publique • Observatoires

14. LE PROJET D'EVALUATION • Contexte, enjeux • Délimitation des actions à évaluer, critères d’évaluation (référentiel – termes de référence) • diagnostic et hypothèses • Questionnement (agenda analytique) • Bilan informationnel • Programme d’étude (enquêtes, recherches) • Choix des opérateurs

15. Rôle de l’instance d ’évaluation • Elaborer une grille de questionnement sur la base du mandat • Choisir une (des) méthode(s) • Rassembler des informations et documents pertinents • Procéder à des auditions • Organiser et piloter les enquêtes • Synthétiser et interpréter leurs résultats • Rédiger le rapport d’évaluation • Communiquer, expliquer, diffuser

16. Limites et difficultés de l’expérimentation • Usage limité à certains types de programmes (effets spécifiques et ciblés et spécifiques, existence d’un « contrefactuel ») • Obstacles éthiques/ pratiques • Coûts, délais • Les résultats sont-ils généralisables ?

17. La Charte de la SFE • Principes de : • Pluralité • Distanciation • Compétence • Respect des personnes • Transparence • Opportunité • Responsabilité

18. Un exemple : la Loi de santé publique (2004) • Un ensemble de dispositions institutionnelles (veille sanitaire, situations d'urgence, réorganisation des structures et organismes en charge de la santé publique : HCSP, HAS, INVES, INPES...) • 5 plans de santé publique (PNSE, cancer, maladies rares, maladies chroniques, violence) • Une annexe consacrée aux objectifs de la politique de santé

19. Les objectifs de la santé publique (2004) • 100 objectifs élémentaires, • 8  « Principes de la politique de santé publique » (quasi objectifs : efficacité économique, réduction des inégalités, concertation, évaluation...), • Un méta objectif , l' « état de santé de la population », objectivé à travers plusieurs « indicateurs synthétiques » (espérance de vie, mortalité prématurée, AVAI...).

20. Les 100 objectifs • Modification des comportements (alcool, tabac, nutrition, exercice physique) • Environnement (air, eau, exposition aux substances chimiques nocives, santé au travail) • Dépistage • Objectifs par pathologie • Cancer, • maladies cardio-vasculaires, • Affections neuropsychiatriques, etc • Autres entrées • Iatrogénie, douleur • Précarité, jeunes, personnes âgées

21. Le mandat du HCSP en matière d'évaluation Évaluer la loi de santé publique : • Contribuer au suivi de la mise en oeuvre • Évaluer la réalisation des 100 objectifs • Évaluer les programmes de santé publique • Évaluation d'ensemble (cohérence, pertinence)

22. Les enjeux de l'évaluation • Rendre compte au Parlement et à l'opinion • Préparer le renouvellement de la loi : • Proposer de nouveaux objectifs à la lumière de l'évaluation des objectifs de la loi actuelle • Se prononcer sur la pertinence des instruments politico-administratifs (plans et programmes, liste d'objectifs prioritaires...) • Faire des propositions en vue d'améliorer la cohérence des politiques de santé (y compris l'organisation du système de soin et le financement de la consommation médicale) • Contribuer à la connaissance des problèmes de santé et à l'amélioration des systèmes d'information

23. Évaluation de la réalisation des objectifs • Évaluation légère exhaustive (fiches de synthèse) • Évaluation approfondie par groupe d'objectifs ou pour certains objectifs : • Comment expliquer les évolutions constatées ? • Quelles sont les actions susceptibles d'améliorer la situation constatée • Faut-il maintenir cet objectif parmi les objectifs prioritaires ?

24. Contenu des fiches de synthèse • Éléments quantitatifs d'ensemble (indicateurs commentés, jugement sur l'atteinte de l'objectif) • Données sur les inégalités territoriales et sociales • Données internationales disponibles et position relative de la France • Plans et actions correspondants + autres facteurs connus influençant l'objectif • Conclusions et préconisations  

25. Démarche d'évaluation des plans de santé • Un groupe projet restreint présidé par une personnalité extérieure à l'administration • Comprenant essentiellement des experts, dont au moins un expert proche du milieu associatif concerné • L'administration participe, mais ne contrôle pas le processus • Deux ou trois réunions en formation élargie (membres du HCSP, associations...) à des moments clefs de l'évaluation (examen du cahier des charges, discussion du projet de rapport).

26. Évaluation de la loi • Un rapport de suivi est élaboré chaque année par le ministère, • Le HCSP est chargé de procéder à une évaluer d'ensemble de la loi • En s'appuyant sur l'évaluation des objectifs et sur l'évaluation des plans et programmes • Et sur une évaluation sommaire des dispositions institutionnelles contenues dans la loi

27. Un évaluation en terme de cohérence et de pertinence • Cohérence d'ensemble des dispositions institutionnelles (faisabilité, cohérence avec les autres politiques publiques) • Pertinence des objectifs (choix et hiérarchisation des objectifs au regard des indicateurs transversaux de santé : mortalité, morbidité, AVAI ) • Cohérence avec les neuf « principes de la politique de santé publique » (connaissance, réduction des inégalités, parité, protection de la jeunesse, précocité, efficacité économique, intersectorialité, concertation, évaluation