slide1 l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin PowerPoint Presentation
Download Presentation
Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin

Loading in 2 Seconds...

play fullscreen
1 / 28

Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin - PowerPoint PPT Presentation


  • 90 Views
  • Uploaded on

Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin 2007. Présentation. Le problème de l’évaluation Pourquoi évaluer ? Comment mesurer l’efficacité ? Quelques critères d’évaluation Les limites Instruments d’évaluation

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin' - rosemarie


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
ÉvaluationDr Simon JossCentre for the Study of DemocracyUniversity of WestminsterAtelier CIPAST, Procida17-21 juin 2007
pr sentation
Présentation
  • Le problème de l’évaluation
  • Pourquoi évaluer ?
  • Comment mesurer l’efficacité ?
  • Quelques critères d’évaluation
  • Les limites
  • Instruments d’évaluation
  • Évaluation interne et/ou externe
  • Évaluation interne de Meeting of Minds
  • Réflexion interne de l’atelier CIPAST
le probl me de l valuation
Le problème de l’évaluation
  • Le concept de participation est complexe et chargé de valeurs.
  • Les tentatives visant à spécifier des critères ont leur limites, et ont donc eu peu d’effets
    • centrées sur un critère unique/spécifique
    • critères procéduraux plutôt que substantiels, c’est-à-dire liés à ce qui rend un processus efficace, non à la manière dont on peut mesurer des résultats efficaces (par ex. qualité des décisions finales)
  • Absence de références appropriées pour comparer et mesurer la qualité des exercices de participation
  • Il n’existe pas de méthode d’évaluation reconnue
  • On dispose de peu d’outils de mesure fiables
  • Grande nombre de variables « d’évaluation »
    • procédural, contextuel, environnemental, implémentation, absence d’instrument de mesure standardisé (questionnaires)
  • Nécessité d’avoir des ensembles de critères plus complets pour déterminer si une approche ou méthode innovante est performante
pourquoi valuer
Pourquoi évaluer ?
  • Plus large reconnaissance de la nécessité et de la valeur des initiatives participatives
  • Les méthodes de participation sont souvent employées car « il faut bien » impliquer le public d’unefaçon ou d’une autre, en considérant l’implication comme une fin en soi, au lieu d’un moyen de parvenir à une fin
  • Le nombre et la complexité croissante des initiatives disponibles
comment mesurer l efficacit
Comment mesurer l’efficacité ?
  • Qu’est-ce qui constitue « l’efficacité » ?
  • L’efficacité n’est pas une qualité évidente, monodimensionnelle et objective, que l’on pourrait facilement identifier, décrire et mesurer
  • Est-il possible de parler d’une définition de l’efficacité de la participation publique d’une manière générale ?
    • Une formulation plus générale de ce qu’on entend par efficacité est-elle nécessaire ?
  • Efficace d’après qui ?
    • Chercher à faire accepter une définition du terme « efficace » par les parties concernées
  • Pour définir l’efficacité, il existe une dichotomie entre le résultat d’un exercice et le processus associé à cet exercice (Rowe & Frewer 2000)
    • Un exercice bénéficiant d’une bonne acceptation, mais d’un mauvais processus, a peu de chances d’être implémenté par des financeurs ou des décideurs
    • Un exercice qui a un bon processus, mais une mauvaise acceptation, sera sans doute accueilli avec scepticisme par le public/les acteurs, risque de boycott
crit res d valuation
Critères d’évaluation
  • Critères d’acceptation (également démocratique (Fiorino), honnêteté (Webler))
    • Liés à l’acceptation publique potentielle d’une procédure
  • Critères du processus (compétence (Webler))
    • Liés à la construction et l’implémentation efficaces d’une procédure
  • Les critères d’évaluation proposés par Rowe et Frewer ne doivent pas être pris comme définitifs, mais plutôt comme objets de débat et pour encourager de nouvelles expérimentations
crit res d acceptation
Critères d’acceptation
  • Représentativité
  • Indépendance
  • Implication précoce ?
  • Influence sur la politique
  • Transparence
repr sentativit
Représentativité
  • Les participants doivent couvrir un échantillon largement représentatif de la population concernée
  • Utilisation d’échantillons/questionnaires stratifiés aléatoirement pour déterminer la variété des attitudes
  • Obstacles générés par les publics vastes, limitations logistiques/financières
ind pendance
Indépendance
  • Processus conduit d’une manière indépendante et impartiale
  • Équipe de direction variée et impartiale
  • Recours à un animateur respecté et impartial
  • Représentants du public indépendants des financeurs
  • Équilibre entre la participation des acteurs, la direction, les financeurs et les porte-parole
implication pr coce
Implication précoce ?
  • Public impliqué dès que des jugements de valeur apparaissent
  • Le débat public doit être autorisé sur les hypothèses sous-jacentes et sur l’agenda, pas seulement sur des problèmes étroits et prédéfinis
  • Stade auquel le public doit être impliqué dans les questions politiques – dès que cela paraît raisonnable
influence sur la politique
Influence sur la politique
  • Les résultats doivent avoir un véritable impact sur les politiques, et cet aspect doit être visible
  • Les méthodes de participation sont souvent considérées comme intellectuelles, utilisées pour légitimer des décisions ou pour donner l’apparence d’une consultation sans aucune intention d’agir à partir des recommandations (par ex. façon dont a été perçu GM Nation?)
  • Acceptation claire, dès le départ, de la façon dont le résultat sera utilisé et comment il pourra orienter les politiques
  • Importance des médias pour informer le large public des influences que le résultat a eues sur les politiques
transparence
Transparence
  • Le processus doit être transparent, pour que le public puisse voir ce qui se passe et comment les décisions sont prises
  • La transparence peut passer par la diffusion d’informations sur des aspects de la procédure, de la sélection des participants à la façon dont une décision est prise, ou à la publication de comptes-rendus de réunions
crit res de processus
Critères de processus
  • Accessibilité des ressources
  • Définition des tâches
  • Prise de décision structurée
  • Rentabilité
accessibilit des ressources
Accessibilité des ressources
  • Les participants doivent avoir accès aux ressources appropriées qui leur permettent de compléter correctement leur dossier
  • Accès aux informations appropriées et intéressantes pour une prise de décision efficace
  • Les ressources nécessaires comprennent : informations (résumés de faits pertinents) ; ressources humaines (accès à des scientifiques, des témoins, des analystes décisionnaires, etc.) ; des matériels (rétroprojecteur, tableau papier) et du temps (temps suffisant pour prendre des décisions) ; finances (fonds suffisants fournis par les financeurs)
  • Toute limitation de ces ressources risque de nuire à la qualité du processus de participation.
d finition des t ches
Définition des tâches
  • La nature et l’étendue de la participation doit être définie clairement
  • Pour éviter toute confusion concernant le cadre, son résultat escompté et les mécanismes de la procédure, tous les aspects doivent être clairement identifiés au départ
  • Sinon, l’efficacité et la crédibilité de la procédure sont mises en doute par tout litige provoqué par des malentendus
  • Cependant, des règles et définitions trop prescriptifs peuvent réduire la flexibilité face à de nouvelles informations ou de nouveaux débats
prise de d cision structur e
Prise de décision structurée
  • Comprend l’utilisation/la mise en place de mécanismes appropriés pour structurer et présenter le processus décisionnel
  • Permet l’examen des raisons sous-jacentes à une décision
  • Documenter le processus décisionnel augmente la transparence
  • Divers outils d’aide à la décision peuvent être incorporés (par ex. arbres de décision, Delphi) pour assurer qu’un poids égal est accordé aux considérations sociales et scientifiques
  • Recours à un animateur pour diriger les discussions et encourager une participation égale
rentabilit
Rentabilité
  • Le rapport qualité/prix est une motivation importante, par ex. une grande audition publique sera inadaptée à une décision politique mineure
  • Tenir compte des coûts potentiels des méthodes alternatives, tant en temps qu’en argent, avant de se lancer dans un exercice de participation
examen par des crit res d valuation les limites
Examen par des critères d’évaluation: les limites
  • En conséquence des diverses manières dont une méthode donnée peut être appliquée
  • + atténuer les effets des facteurs sociaux et environnementaux
  • - la précision dans la définition et la mesure des critères,
  • = il n’est pas possible d’affirmer définitivement si une méthode donnée réussit ou échoue
instruments d valuation
Instruments d’évaluation
  • Questionnaires (structurés, semi-structurés)
  • Entretiens (face-à-face, au téléphone)
  • Journaux des participants
  • Observations (structurées, semi-structurées)
  • Analyse de contenu/ documents
  • Analyse des médias
valuation interne et ou externe
Évaluation interne et/ou externe
  • L’évaluation interne nécessite une réflexion qui alimente directement la préparation et la conduite d’un exercice de participation pour permettre des ajustements progressifs
  • L’évaluation externe nécessite un processus indépendant pour assurer une évaluation complète de la préparation méthodologique et conceptuelle de l’exercice de participation, de ses résultats, issues et impacts
  • Utiliser à la fois l’évaluation interne et l’évaluation externe fournit d’une part une « image globale » - connaissance informée des participants d’une part et examen objectif d’un exercice de participation dans sa globalité d’autre part.
valuation interne de meeting of minds
Évaluation interne de Meeting of Minds
  • Logique : La valeur d’une évaluation interne est particulièrement importante pour cette initiative. La nature unique de cette initiative – conduite d’une nouvelle méthode d’évaluation participative des technologies à portée et gouvernance transeuropéennes dans les sciences et les technologies, coordonnée par un groupement ad hoc d’organisations – nécessite une évaluation interne approfondie. Les considérables ressources humaines, financières et de gestion doivent être justifiées par les résultats obtenus si des initiatives participatives complexes similaires doivent être viables dans le contexte européen.
objectifs
Objectifs
  • Alimenter directement le processus de préparation et de conduite de l’initiative Meeting of Minds en permettant des ajustements méthodologiques, organisationnels et procéduraux progressifs
  • Renforcer et enrichir les « nouvelles » connaissances, visions et expériences (apprentissage) de ses participants
instruments mom
Instruments MoM
  • Brefs questionnaires (composés de questions le plus souvent fermées) visant à déterminer l’adéquation de la logistique, des supports d’information, des processus de délibération et d’évaluation
  • Réactions formelles et informelles des animateurs, coordinateurs nationaux et/ou chefs de projet, experts et autres participants pendant toute la durée de l’initiative
  • Les réactions obtenues via les questionnaires et les observations enregistrées ont permis au comité de pilotage de réfléchir régulièrement aux processus de l’initiative et d’apporter les ajustements nécessaires
enseignements tir s
Enseignements tirés
  • Équilibre entre les dimensions national/européen
    • Difficultés à conduire une initiative transeuropéenne
    • Difficultés à conduire une évaluation (interne) transeuropéenne
difficult s conduire une initiative transeurop enne
Difficultés à conduire une initiative transeuropéenne
  • Logistique
  • Communication
  • Interprétariat/ traduction
  • Animation
  • Enregistrer les paroles des « citoyens »
  • Identité nationale/européenne
  • Méthodologie
difficult s conduire une valuation interne transeurop enne
Difficultés à conduire une évaluation (interne) transeuropéenne
  • Questionnaires
    • Taux de réponse
  • Observations