1 / 96

Evaluation des Politiques Publiques

Evaluation des Politiques Publiques. Il n’y a pas de qualité sans mesure. Formateur : Vincent BOGAERS Mise à jour : 3/03/2014. Présentation Vincent BOGAERS. Etudes : Master RH à l'IGS Paris et European MBA à l'ESG (En Anglais) Parcours : 14 ans d’expérience dans la formation

leanna
Download Presentation

Evaluation des Politiques Publiques

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Evaluation des Politiques Publiques Il n’y a pas de qualité sans mesure Formateur : Vincent BOGAERS Mise à jour : 3/03/2014

  2. PrésentationVincent BOGAERS • Etudes : • Master RH à l'IGS Pariset European MBA à l'ESG (En Anglais) • Parcours : • 14 ans d’expérience dans la formation • Privé (RH) : Informatique, industrie pharmaceutique • Public (Formation & recrutement…) : 7 ans en commune • Fondateur de SOI Conseil et Formation, Spécialiste de la FPT • Créateur du SOI TC, Système d’Orientation et d’Identification par la Typologie Croisée • Traducteur du IJTI Process en néerlandais Skype : soi.conseil vbogaers@soi-conseil.com Ingénierie de Formation

  3. Pourquoi Vincent BOGAERS ? Double formation (Histoire) Master RH Master Management Maitrise démarches Qualité Marianne, Qualiville, Iso Expertise EvPol F° TdB, F° et Conseil Evpol Blog « Qualité territoriale » Connaissance FPT Ex Attaché Territorial L’homme au cœur d’un système Rationalisation et communication Identifier, mesurer et analyser les impacts Sens du Service Public

  4. Objectif • Mettre en évidence les spécificités de l’évaluation et du questionnement évaluatif • Situer l’évaluation dans le cycle des politiques publiques et dans les projets des participants • Présenter à l’aide d’un exemple les enjeux et les différentes étapes de l’évaluation: de l’appel d’offre à la valorisation des résultats • Discuter des avantages et limites de l’institutionnalisation de l’évaluation • Permettre à chaque apprenant d’entrer dans la logique du questionnement évaluatif à l’aide de travaux de groupe

  5. Evaluation des Politiques Publiques INTRODUCTION

  6. Les originesaméricaines • Des interventions fédéralescontestées • Des programmes sociauxpeulégitimes • Démocratie = Accountability • L’orientationempiriste des sciences sociales • La viséed’une “politiquefondéesur des preuves” (Evidence-based policies)

  7. Points forts de l’évaluationdans le monde anglophone • Uneréelleintégration de l’évaluation au processusbudgétaire • Le caractèreprogrammatique de l ’action publique • Le rôleactif du parlement et de la Cour des comptes • La professionnalisation des évaluateurs

  8. Les organisations publiquesen France Q QOU Q C P

  9. Définition Une organisation publique a • une activité de service • Une taille importante • Un environnement complexe et contraignant

  10. Finalité des organisations publiques • Satisfaction de l’intérêt général • Ensemble des besoins sociaux que l’initiative privée ne peut satisfaire.

  11. Missions • Support de l’administration • assurer le fonctionnement des organisations publiques  Répondre à la demande des citoyens  : • Missions de sécurité ou souveraineté : défense, police, justice… • Missions économiques : travaux publics, transports, communications, urbanisme, aménagement du territoire… • Missions sociales : éducation, santé, culture, sports, aide sociale…

  12. Le financement du service public • Les services publics sont financés • par l’impôt, • par la contribution de l’usager • Les impôts constituent • 87 % des recettes de l’État • 83 % des recettes des collectivités

  13. Les organisations publiquesen France QUOI Q O Q C P

  14. QUOI

  15. QUOI : Politiquepublique • Ensemble de moyens et de dispositifsd’actionmis en œuvre suite aux décisionsd’uneouplusieursautoritéspubliques, en vued’atteindre un objectifou de poursuivreunefinalité en lien avec l’intérêtgénéral.

  16. Élémentsconstitutifsd’unepolitique • Misesur agenda • Orientation normative, fixation d’objectifs • Décision • Cibles • Théoried’action / mécanismesd’action(carottes, bâtons et sermons) • Mise en oeuvre • Résultats/ Effets (outputs/ outcomes) Effetsperversoucollatéraux (effets de système) • Contrôle/ audit/ évaluation.

  17. Les organisations publiquesen France Q Q O Q COMMENT P

  18. COMMENT : Unepluralité de mécanismes de rétroaction • Contrôlehiérarchique • Inspection/ audit interne • Contrôle de gestion • Contrôleexterne (Cour des comptes) • Indicateurs de performance/ benchmarks • Évaluation des politiques et programmes publics • « Évaluationpolitique » (sondagesd’opinion, élections)

  19. Distinguer différents niveaux de résultats • Outputs (« extrantsopérationnels ») : • résultat direct de l’activité des services, biens et services produitsdans le cadre d’un programme • Outcomes (Impact, effets) : • effetséconomiques et sociaux du programme, à court, moyenou long terme

  20. Evaluation et « approche cognitive » des politiquespubliques • « Les politiquespubliquessont le fruit d’interactionssociales qui donnent lieu à la production d’idées, de représentations et de valeurs communes » (Yves Surel) • Danscette perspective, l’évaluationapparaîtcomme un effort d’amplification et de systématisation des processusd’interaction et de connaissance qui « produisent » les politiquespubliques.

  21. Trouver les informations

  22. Les organisations publiquesen France Q QUIO Q C P

  23. Rôle de l’instance d ’évaluation • Elaborer une grille de questionnement sur la base du mandat • Choisir une (des) méthode(s) • Rassembler des informations et documents pertinents • Procéder à des auditions • Organiser et piloter les enquêtes • Synthétiser et interpréter leurs résultats • Rédiger le rapport d’évaluation • Communiquer, expliquer, diffuser

  24. Les organisations publiquesen France Q QOQUAND C P

  25. Étapesd’uneévaluation

  26. Les organisations publiquesen France SYNTHESE Q QOQ C P

  27. Evaluation: vers une définition • Une évaluation est un jugement porté sur une donnée par référence à une valeur (F.RANGEON) • La recherche évaluative est l'application systématique des procédures de recherche sociale (P.H.ROSSI, H.E.FREEMAN) • L'évaluation permet de collecter et d'analyser de façon systématique de l'information pour les utilisateurs spécifiques afin de réduire l'incertitude, d'améliorer l'efficacité, l'efficience et l'aide à la décision (M.Q.PATTON)

  28. Le modèle de l’expérimentationsociale Actions • Un « traitement » social est appliqué à un échantillonaléatoire de bénéficiaires • Un échantillonstatistiquementéquivalent de non bénéficiairesestconstitué • La situation des individus au regard des objectifsestobservéeavant, pendant et après la mise en œuvre du programme • Des tests statistiquespermettentd’établirdansquellemesure le traitement « fait la différence » Norme Outcomes Processus de comparaison

  29. La démarche d’évaluation d’une politique publique - FPT Elus – Mandat (6 ans) • A partir d’une orientation politique, • précisée par un objectif stratégique, mesurable, • identifier les résultats produits par les actions • et mesurer les effets de celles ci • par des d’indicateurs d’impacts • d’un dispositif spécifique • concourant à une mission de service publique • mise en œuvre ou garantie par une organisation publique • ceci dans un territoire déterminé et un temps particulier Direction Générale (3 ans) Gestionnaires (1 an) Administrés

  30. Evaluation des Politiques Publiques PARTIE I. CONTEXTE ET ENJEUX

  31. L’analyse est indispensable à l’évaluation • Pour juger, il faut établir des liens de causalité • Pour établir des liens de causalité, il faut comprendre les dimensions des politiques publiques • L’évaluation se base sur l’analyse stratégique, logique, de la mise en œuvre, de la productivité, de l’efficience et des effets

  32. Les défis de l’actionpublique

  33. Des usages potentiels aux usages réels • Unefaible contribution au débat public • Des usages budgétairesplutôtrares, du moins en France • La place de l’évaluationdans la gouvernancemondiale (UE, Banquemondiale…) • Une aide réelle au pilotage des politiques • L’importance de la dimension « formative » • L’apport à l’élaboration de visions partagées • Des effets le plus souventdifférés et indirects

  34. Les missions au sein des organisations publiques • Une organisation publique peut être en charge de différentes missions et une mission peut être confiée à diverses organisations. • La détermination des missions des organisations publiques résulte d’objectifs fixés et hiérarchisés par les élus en fonction de considérations politiques, économiques et sociales.

  35. Pilotage au "rétroviseur" • Au moment de la publication, l'activité a déjà produit ses résultats. Il est alors bien trop tard pour corriger. On parle de conduite "rétroviseur". • Le pilote ne dispose que d'une vue de la route déjà parcourue. Ce n'est pas d'une grande aide pour négocier le prochain virage ! • Dans notre monde d'incertitude et de changement permanent, il n'est plus possible de se reposer sur ce principe dépassé. Il faut réformer cette conception et définir un véritable instrument d'aide au pilotage !

  36. Références pour l’évaluation état idéal - état réel objectif normatif - état réel modèle exemplaire - cas réel Adapté de Owen, J.M. (1999), p. 173

  37. L’évaluation dans le cycle des politiques publiques politique publique et approche d’évaluation Exemples d’objets d’évaluation • nature et distribution des besoins nécessitant une nouvelle intervention • identification de la population cible et de la population concernée • ressources nécessaires et existantes • faisabilité, pertinence et acceptabilité d’une intervention • adéquation objectif poursuivi – problème à résoudre Reconnaissance du problème et mise à l’agenda (évaluation du besoin) • adéquation hypothèse de causalité - problème à résoudre • adéquation ressources - problème à résoudre • adéquation programme d’intervention - problème à résoudre • adéquation référentiel de la politique publique et représentations des différents acteurs • cohérence du programme d’intervention Programmation (évaluation du concept et des inputs) Ajustement Processus de mise en œuvre (évaluation du processus, évaluation de l’output ou des prestations, évaluation du rapport inputs/outputs) • adéquation actions de mise en œuvre - problème à résoudre • adéquation prestations - programme d’intervention • relation objectif opérationnels - prestations • relation ressources allouées - ressources utilisées • atteinte de la population cible • modification du comportement de la population-cible • adéquation résolution du problème - objectifs politiques • relation résolution du problème - ressources engagées • effets pervers/ effets non voulus positifs/ effets indirects Effets de la mise en œuvre (évaluation de l’impact et de l’outcome)

  38. Des surprises en évaluation • Une politique sans output • Des outputs sans impacts • Des impacts sans outcome • Des outcomes sans impact • Des liens de causalité difficiles à établir

  39. Evaluation des Politiques Publiques PARTIE II. SAVOIR CE QUE L’ON VEUT EVALUER

  40. Différents temps de l’évaluation • En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : • l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; • l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; • l'évaluation in itinere ou chemin faisant. Clôture et préparation d’une nouvelle politique publique Définition d’une politique publique Mise en œuvre d’une politique publique Ex-ante In-itinere Ex-post

  41. « Observer ou suivre » un territoire? Observatoire de territoire Lieu où on essaie de mesurer l’atteinte d’objectifs Lieu de fourniture de données, d’informations Lieu où on essaie de répondre à des questions Indicateurs quanti et quali Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs d’impact

  42. Action 3 Action 2 Action 1 Indicateurs de résultats Territoire Tableau de bord / Observatoire Evaluation à différents niveaux à différents temps PLAN D’ACTION Contenu de l’action EVALUATION PAR ACTION Indicateurs spécifiques EVALUATION GLOBALE Indicateurs globaux Indicateurs d’impacts ► Enquêtes D’après RCT A21 St Etienne Métropole

  43. L’outil d’analyse • Le questionnement • Mots clés, Questions, Mots clés et questions • Questionnement simple sans être « simpliste » Un nombre de critères suffisant mais limité Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)

  44. L’outil d’analyse • QQOQCP • Pareto : 80/20

  45. Les chiffres à retenir • Maximum 3 objectifs à suivre • 3 indicateurs par objectifs soit 12 • 1 pilote

  46. Evaluation des Politiques Publiques PARTIE II. MESURER

  47. Construire Les indicateurs

  48. Qu’estcequ’unindicateur ? • Un chiffre qui « renseigne » sur un phénomène ou son évolution • Un « dispositif d’agrégation optimale de l’information » • Sa fonction est d’attirer l’attention sur un fait ou une tendance importante • En général, il ne suffit pas pour porter un jugement sur la réussite d’une action

  49. Indicateur : Définition • Un indicateur est une formule de calcul • basée sur des données brutes • permettant de quantifier, de mesurer • Une évolution • Une proportion, un rapport • au regard d’une norme (interne / externe). • Il peut être simple, et mesurer un flux, selon un objectif opérationnel • Il peut être composite, et mesurer des résultats et des effets, en fonction d’un objectif stratégique

  50. Place des indicateursdansl’évaluation • Toute évaluation repose sur des chiffres • Les indicateurs occupent un place très variable comme point d’appui des conclusions : • Ils répondent parfois par eux-mêmes aux questions de l’évaluation • En règle générale, ils demandent à être interprétés et complétés par des informations qualitatives

More Related