Audit à Visée Participative

1. Audit à Visée Participative Angeline AUBERT-LOTARSKI & Formateurs académiques associés angeline.aubert@fpms.ac.be

2. Les 7 étapes d’un « AVP » Restitution sous forme orale et écrite Recommandations en termes d ’actions à mettre en œuvre à courte et moyenne échéance Diagnostic : détermination des origines et causes des dysfonctionnements ; mise en évidence des points forts et des risques Analyse : mise en relation des données recueillies avec le référentiel, description de « l’état du système » selon la focale choisie Recueil d’informations : observations, entretiens, questionnaires, études de documents Référentiel: identification des objectifs visés, des exigences à respecter et des indicateurs concrets orientant le recueil de données Demande, négociation et commande formalisées dans une lettre de mission

3. RAPPEL : La finalité de l’AVP • n’est pas la description d’une situation ou la mesure de résultats • n’est pas le contrôle de conformité d’un EPLE ou de ses acteurs • est la compréhensiondes résultats/de la situation • pour identifier les actions à mettre en œuvre pour leur amélioration.

4. De la commande au référentiel

5. Le recueil et le traitement de données doivent fournir la réponse aux trois questions suivantes : Si la finalité est la recherche de solutions, alors : Comment ça fonctionne ? Pourquoi ça fonctionne comme ça ? Comment faire pour que ça fonctionne mieux ?

6. Comment ça fonctionne ? Norme ? Idéal ? Référentiel ? Est-ce un problème ? Si oui : Comment faire pour que ça fonctionne mieux ?

7. Référentiel : comment le construire ? • Qu’est ce qui permet de définir ses axes ? • Ciblage lors de la commande • Ciblage par le repérage des sources pertinentes • Qu’est ce qui permet de positionner l’objet ? • La définition d’indicateurs

8. Source externe : les exigencesBO, circulaires, etc. Source interne : les objectifsprojets, culture, etc. Source experte : les principesbonnes pratiques, etc. comparaison Référentiel REFERENT Ce que le dispositif doit/devrait faire Ce que le dispositif dit/prétend faire REFERE données : ce qui est fait par le dispositif INDICATEURS CRITERES INTERPRETATION DIAGNOSTIC

9. indicateurs indicateurs indicateurs CONTEXTE ACTION(S) R ESULTATS BENEFICIAIRES indicateurs indicateurs indicateurs L’évaluation : les indicateurs DISPOSITIF http://www.esen.education.fr/conseils/recueil-de-donnees/operations/ingenierie-du-recueil-de-donnees/indicateurs-et-variables/

10. OBJET & FOCALE(S) EXIGENCES & OBJECTIFS & PRINCIPES OUTILS de RECUEIL INDICATEURS & INDICES DONNEES dispositif doit/devrait dit/prétend FAIRE Quelle information ? Auprès de qui ? Comment ? Liste : Ce qui permet de constater (faits, chiffres)

11. Pourquoi un référentiel ? • Pour les auditeurs : • Outil pour l’évaluation : • Prépare et cible le recueil de données • Structure l’analyse • Permet d’informer / former les acteurs • Garant de son indépendance, de son objectivité et de sa neutralité : fin de l’arbitraire • Pour les acteurs : • Support de formation • donne à voir le cadre de fonctionnement et les finalités dans lesquels ils s'inscrivent. • Communique des critères d'évaluation connus, explicites et explicités. • Pour les auditeurs et les acteurs : • Objet de communication : • Discussion sur les attendus et les indicateurs • Entre auditeurs • Avec les acteurs. DIMENSION PARTICIPATIVE EVALUATION FORMATIVE

12. Recueil de données

13. Quelles données et informations recueillir sur le terrain ? • Questions directrices : • Quelle méthode ? Un questionnaire ? Des entretiens ? IPES ? Autres indicateurs ? • Qu’est-ce que nous avons besoin de savoir et pourquoi ? • Quel est le meilleur moyen de recueillir ce type d’information ? • Quand nous aurons cette information, qu’allons-nous en faire ? REFERENTIEL – PRE-DIAGNOSTIC OUTILS DE RECUEIL ANTICIPER

14. Que peuvent apporter les acteurs ? • Sources d’information sur les réalisations, les résultats, les difficultés rencontrées • Beaucoup peut être su par de l’analyse de documents et rapports. • Privilégier le recueil de leur interprétation, de leur explication du factuel. • Indispensables pour identifier des leviers d’actions et des pistes de recommandations • Que changeriez-vous si vous en aviez la possibilité ? Etc. http://www.esen.education.fr/conseils/recueil-de-donnees/operations/ingenierie-du-recueil-de-donnees/sources-et-ressources/

15. Outils de recueil • Recueil de données statistiques (IPES, statistiques académiques, etc.) • Questionnaire • Entretiens • Analyse de contenu (projets, PV, etc.) • Observations • GUIDE DE RECUEIL : REFERENTIEL • PREOCCUPATION DU TRAITEMENT POSSIBLE : • Lien avec le référentiel • Techniques de traitement http://www.esen.education.fr/conseils/recueil-de-donnees/operations/construction-des-outils-de-recueil/

16. Questionnaires • Recueillir des informations précises. • Nombre important de participants. • Données facilement quantifiables et traitables. • Privilégier les questions fermées : • Oui/non ; échelles d’opinions ; QCM etc. • Formulation adaptée à l’acteur sollicité • Peut être diffusé et traité avant votre venue. • Recueillir des éléments descriptifs. • Dégager des tendances de pratiques, d’opinions, etc.

17. Entretiens • Conversation guidée sur l'objet de l'étude. • Intervieweur se doit de rester en retrait. • Attention à ne pas recréer une situation d’inspection. • Se constituer un guide d’entretien précis. • Intervieweur et secrétaire • Recueillir des éléments explicatifs. • Comprendre le point de vue des acteurs. • Recueillir / tester des recommandations