1 / 22

Les enjeux de l’évaluation des politiques publiques

Les enjeux de l’évaluation des politiques publiques. B. Van Haeperen FSE, le 2 décembre 2009. Plan de l’exposé. Présentation de l’IWEPS Emergence de l’évaluation Une pratique spécifique Les enjeux de l’évaluation Quelques difficultés de l’évaluation Choix des critères d’évaluation

nolen
Download Presentation

Les enjeux de l’évaluation des politiques publiques

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Les enjeux de l’évaluation des politiques publiques B. Van Haeperen FSE, le 2 décembre 2009

  2. Plan de l’exposé • Présentation de l’IWEPS • Emergence de l’évaluation • Une pratique spécifique • Les enjeux de l’évaluation • Quelques difficultés de l’évaluation • Choix des critères d’évaluation • Outils et méthodes : exemple tiré de l’évaluation du Plan Marshall

  3. Présentation de l’IWEPS (1) Création • Décret du Gouvernement wallon du 4 décembre 2003 • L’IWEPS est un OIP de type A • Au départ du Service des Etudes et de la Statistique (SES), créé en février 1991, attaché à l’époque au secrétariat général du Ministère de la Région wallonne Missions • Mission générale d’aide à la décision, exercée à la fois par • une mission scientifique transversale • une mission de conseil stratégique

  4. Présentation de l’IWEPS (2) Mission scientifique transversale • la centralisation, la publication et le traitement des statistiques régionales • l’élaboration de plans pluriannuels de développement de statistiques régionales, et la formulation de propositions en la matière • la réalisation de recherches fondamentales et appliquées, principalement dans les champs couverts par les sciences économiques, sociales, politiques et de l’environnement Mission de conseil stratégique • la réalisation d’exercices d’évaluation, confiés par le Gouvernement dans les matières qui relèvent de sa compétence • la réalisation d’études prospectives.

  5. Cadre déontologique de l’IWEPS (1) Le statut et les missions de l’IWEPS imposent le respect de critères propres aux • organismes d’intérêt public • organismes scientifiques • organismes d’évaluation

  6. Cadre déontologique de l’IWEPS (2) • Primauté de l’intérêt public: rendre compte au Gouvernement et au Parlement, CWEPS • Efficience: utilisation optimale des ressources publiques • Ouverture à tous: service à tous les utilisateurs, du Gouvernement au citoyen • Rigueur scientifique: justification du choix des méthodes, résultats vérifiables, respect de la confidentialité des données • Pertinence: amélioration des connaissances • Intégrité: méthodes objectives et transparentes • Indépendance dans sa mission de conseil stratégique : garantie par la mise en place d’instances d’accompagnement • Utilité : les évaluations visent à améliorer l’exécution des politique, à aboutir à des conclusions opérationnelles.

  7. Emergence de l’évaluation (1) • Pratique systématique dans les pays anglo-saxon depuis 1960-1970 (USA, Canada, UK, Australie) • Tradition positiviste - souci de légitimer les politiques publiques à partir de leurs résultats (évaluation scientifique) • Volonté des Directions du budget de se doter d’outils performants d’allocation des moyens

  8. Emergence de l’évaluation (2) Développement plus récent en France, Belgique (1980 -) • France: institutionnalisation progressive de l’évaluation • en 1989, mise en place d’un Conseil scientifique de l’évaluation • vote en 2001 de la LOLF (Loi Organique relative aux Lois de Finances) – administration par programmes (projets appellent évaluation: justification des actions par les effets qu’elles produisent sur la société, les citoyens, l’économie)

  9. Emergence de l’évaluation (3) • Belgique, 2000 : nombre d’acteurs publics et scientifiques regrettent « l’absence d’une évaluation un tant soit peu systématique, méthodique et rigoureuse des politiques menées »(éditorial du N° de printemps de la revue Pyramides) • Wallonie, 2000 : volonté de développer et d’institutionnaliser les pratiques évaluatives • L’évaluation devient un des principes de l’action gouvernementale : inscrite dans le Contrat d’avenir (1999), le Plan Marshall (2005) et le Marshall 2.vert (2009) • Constitution de la SWEP (2000) • Création de l’IWEPS (Décembre 2003) • Wallonie:

  10. L’évaluation: une pratique spécifique (1) • La démarche d’évaluation est une mesure et une explication • la question qui se pose est celle du changement produit par la politique (ou les mesures évaluées) : quels facteurs ont produit quels effets? • l’évaluation d’une politique publique consiste à mesurer les effets propres de cette politique et, en fonction de critères bien définis, à porter un jugement de valeur sur ces effets, qu’ils soient voulus ou non, directs ou indirects, induits à court ou à long terme (F. Varone). • L’évaluation s’appuie sur un référentiel théorique de l’action publique • vise à mettre en évidence une relation causale entre les mesures mises en œuvre et les changements observés dans le comportement des bénéficiaires

  11. L’évaluation: une pratique spécifique (2) La démarche d’évaluation se distingue : • du contrôle de gestion – régularité des procédures mises en œuvre • Ministère des finances – veille sur les budgets • Cour des comptes: contrôle a posteriori du bon usage des deniers publics et des principes d’économie, d’efficacité et d’efficience (loi du 10 mars 1998) • Parlement : contrôle et conseil pour la conduite des politiques • du suivi des politiques • rend compte, étape par étape, du processus administratif de mise en œuvre de la politique • rend compte de l’effectivité des mesures - suivi des réalisations.

  12. Les enjeux de l’évaluation (1) • L’évaluation est un élément d’une meilleure gouvernance des politiques publiques • Principales utilisations: • accroître les connaissances • nourrir le débat politique • résoudre des problèmes • décider

  13. Les enjeux de l’évaluation (2) 1. Accroître les connaissances • accroître les informations disponibles sur une action/une politique • construire une représentation globale et aussi indépendante que possible de l’action publique • démarche empruntant sa méthode aux sciences sociales 2. Nourrir le débat politique • L’expertise externe apporte des arguments raisonnés dans les débats démocratiques • permet de qualifier positivement ou négativement les actions publiques • la communication des résultats des évaluations permet • de rendre compte aux citoyens • et éventuellement de les faire participer à un débat social ouvert et transparent sur les choix de politiques publiques

  14. Les enjeux de l’évaluation (3) 3. Résoudre des problèmes et décider  • l’évaluation a une dimension pratique: • outil au service d’une plus grande performance : amélioration de la mise en œuvre et de l’efficacité des politiques • contribution à un besoin d’éclairage de la décision publique  : Faut-il poursuivre l’action ? L’interrompre ? La réorienter ? L’étendre ? »

  15. Quelques difficultés 1. La mission • Produire des analyses • rigoureuses et approfondies • intégrées dans un processus de décision • Ceci implique • Comprendre la demande du commanditaire • clarification des objectifs de l’évaluation • traduction en démarche évaluative (plus difficile dans le cas d’un programme que d’un dispositif particulier) • choix consensuel des critères d’évaluation • Ajuster le calendrier de l’évaluation sur le calendrier politique • Identifier les parties prenantes et les intégrer au bon moment dans le processus

  16. Quelques difficultés 2. Les mesures • Evaluation d’un programme • Les mesures ont un caractère hétérogène et se situent à des niveaux d’objectifs différents (viser la mise en place d’une politique ou l’exécution d’une mesure opérationnelle) • Certaines mesures sont une amplification de mesures existantes, d’autres sont nouvelles • Les publics-cibles sont diversifiés : entreprises, individus ou indirectement les entreprises à travers les individus (comme pour les formations) • Les mesures ont une temporalité propre

  17. Quelques difficultés 3. Les objectifs du programme • Absence de hiérarchisation des objectifs • Absence de quantification ou de clarté des objectifs. • Evolution des objectifs au cours du temps (en fonction de la prise en compte notamment d’informations sur les réalisations des mesures) • Horizon temporel des objectifs fixés est variable

  18. Quelques difficultés4. Les informations • Systèmes d’information peu adaptés pour une démarche d’évaluation • Données administratives utiles pour le suivi des dossiers administratifs, le suivi d’une politique, le bilan périodique d’une politique • Données souvent éclatées et peu harmonisées – agrégation difficile

  19. Choix des critères d’évaluation • Les critères d’évaluation doivent être adaptés • au moment de l’évaluation : ex ante, in itinere, ex post • à l’état d’avancement des mesures (programme vs dispositif) • aux informations disponibles • aux ressources disponibles dans le temps imparti 

  20. Méthode et outilsexemple: évaluation du Plan Marshall • Reconstitution de la logique d’intervention • Evaluation des résultats de l’évaluation sur les bénéficiaire directs et indirects : comment ceux-ci ont-ils modifié leur comportement? Quels changements peut-on observer? • Complémentarité des sources d’informations: • Sources documentaires • Bases de données administratives • Enquêtes et entretiens • Complémentarité des types d’information: • Informations qualitatives : entretiens semi directifs en face à face • Informations quantitatives – enquêtes téléphoniques, données administratives • Au total, près de 1000 enquêtes téléphoniques (entreprises et individus) et 300 entretiens en face à face (opérateurs du plan, personnes ressources)

  21. Résultatsexemple: évaluation du Plan Marshall • Question • Les formations qualifiantes améliorent-elles les chances d’insertion professionnelle? • Méthode • Comparaison groupe de bénéficiaires et groupe témoin (échantillon aléatoire de 219 bénéficiaires et 155 non bénéficiaires). • Entretiens téléphoniques • Questions portant sur les parcours, la motivation …

  22. Résultatsexemple: évaluation du Plan Marshall • Résultats • Par rapport au groupe témoin, augmentation du taux d’insertion des bénéficiaires de formation (64% contre 41 % pour le groupe témoin) • L’effet net est variable selon la catégorie de bénéficiaires • MAIS • Bénéficiaires de formation sont plus diplômes en moyenne que les non bénéficiaires • Emplois trouvés après formation sont emplois temporaires (66% des cas) • Pas de différence entre groupe témoin et bénéficiaires pour le statut au moment de l’enquête • Peu de correspondance entre formation et métier obtenu (correspondance forte dans 53% des cas)

More Related