Le développement de la culture d’évaluation : l’expertise du réseau collégial

1. Le développement de la culture d’évaluation : l’expertise du réseau collégial Colloque de l’AQPC 4 juin 2013

2. Plan de la présentation • Le développement de la culture d’évaluation des collèges • Étude comparative d’agences d’assurance qualité en enseignement supérieur • Vers une conception institutionnelle de la gestion de la qualité

3. Le développement de la culture d’évaluation des collèges • Par : Michel Lauzière, président

4. Création de la Commission en 1993 Principaux éléments de contexte (le renouveau) Un enseignement collégial mis à jour et adapté aux besoins de la société québécoise. • Accroissement de l’autonomiedes collèges. • Renforcement du dispositif d’évaluation externe. • Mission • Contribuerau développement de la qualité de l’enseignement collégial et en témoigner.

5. Juridiction Tous les collèges auxquels s’applique le Règlement sur le régime des études collégiales (rrec) : une centaine de collèges publics et privés dont près de la moitié (48) sont des cégeps. Pouvoirs de la Commission Dans l’exercice de son mandat, la Commission a : • un pouvoir de vérification; • un pouvoir de recommandation; • un pouvoir déclaratoire.

6. Champ d’application du mandat de la Commission • Les politiques d’évaluation des programmes d’études et leur application (piep); • Les politiques d’évaluation des apprentissages et leur application (piea); • La mise en œuvre des programmes d’études établis par le ministre ou par les établissements;

7. Champ d’application du mandat de la Commission (suite) • Les activités reliées à la mission éducative des collèges; • Pour les cégeps, les plans stratégiques et la gestion qu’ils en font, incluant les plans de réussite; • Pour les collèges privés subventionnés concernés, les plans de réussite et la gestion qu’ils en font.

8. Quelques statistiques • Évaluation des programmes – 8 opérations différentes : • 421 visites, 74 programmes différents – 957 recommandations; • Évaluation institutionnelle : 68 visites, 166 recommandations; • Analyse des politiques : 521 pieaet piep; • Efficacité des politiques : 167 visites d’établissements – 270 recommandations; • Plans de réussite et plans stratégiques : 190 plans évalués; • Efficacité des plans de réussite et des plans stratégiques : opérations en cours (70 collèges visés). *Données : novembre 2012

9. Développement d’une culture d’évaluation • Quel a été l’impact des opérations de la Commission sur l’amélioration de la qualité et sur le développement de la culture d’évaluation dans les collèges du réseau québécois?

10. Fondements des actions de la Commission • La réussite des actions menées par la Commission s’appuie sur le dynamisme des établissements. • Il appartient aux collèges de s’assurer de la qualité.

11. La contribution des partenaires • Participation aux travaux d’un comité consultatif formé spécifiquement pour chaque opération. • Participation en grand nombre, à titre d’experts, à tous les comités de visite.

12. L’utilité des outils, des guides et des sessions d’information Pour chacune des opérations, la Commission a : • produit un document d’orientation et, dans la plupart des cas, un guide de référence à l’intention des collèges; • rencontré systématiquement tous les collèges visés pour les informer de ses attentes et pour répondre à leurs questions; • produit un guide à l’intention des experts et assuré leur formation. • (Soucieuse de soutenir les collèges dans leur démarche d’évaluation, la Commission a d’abord produit des guides d’évaluation volontairement très détaillés et normatifs.)

13. La culture d’évaluationL’impact de la démarche proposée L’autoévaluation du collège • Devis • Rapport d’autoévaluation • Plan d’action La démarche de la Commission • L’analyse du rapport du collège • La visite • Le rapport préliminaire • Les réactions du collège • Le rapport définitif • Les suivis

14. L’impact des opérations de la Commission dans les collèges • La mise en place d’une démarche institutionnelle qui permet de s’assurer de la qualité (autoévaluation); • L’élaboration d’un plan d’action à partir des constats, des analyses et des conclusions faits lors de l’autoévaluation; • La mise en œuvre par les collèges de leur plan d’action; • La participation des membres de la communauté aux différentes rencontres lors de la visite de l’établissement; • La participation aux activités des différents comités consultatifs; • La participation aux visites à titre d’expert; • Les bilans et les synthèses des opérations élaborés par la Commission.

15. 2. Étudecomparative d’agences d’assurance qualité en • enseignement supérieur • Par : Katie Bérubé - coordonnatrice de projet ; • Corinne Côté, Evelyne Drouin, Alla Mitriashkina et • Claudia Pilote - agentes de recherche

16. Objectifs de l’étude • Documenter et comparer les pratiques des agences d’assurance qualité à l’international. • Situer les pratiques de la Commission dans le contexte de l’assurance qualité à l’international. • Alimenter la réflexion en soutien à la définition de l’opération d’évaluation des systèmes d’assurance qualité des collèges.

17. Agences étudiées AERES : Agence de l’évaluation de la recherche et de l’enseignement supérieur OAQ : Organe d’accréditation et d’assurance qualité des hautes écoles suisse QAA : Quality Assurance Agency for HigherEducation SAQCO : Service d’assurance qualité des collèges de l’Ontario

18. Méthodologie • Sources de données : • Documentation disponible sur les sites Internet des agences et autres sites. • Information recueillie lors de la mission en novembre 2011 (Europe) et en février et août 2012 (Ontario). • Éléments de recherche : • Contexte des agences; • Type d’évaluation et finalités; • Critères d’évaluation; • Processus d’évaluation.

19. AERES AERES • Contexte de sa création en mars 2007 • Processus de Bologne • Loi de programmation pour la recherche : mission • L’AERES est chargée de l’évaluation des établissements d’enseignement supérieur et de recherche, des organismes de recherche, des unités de recherche, des formations et diplômes d’enseignement supérieur ainsi que de la validation des procédures d’évaluation de leurs personnels.

20. Type d’évaluation AERES • L’AERES est organisée en trois sections : • La section des formations et des diplômes; • La section des unités de recherche; • La section des établissements. La section des établissements = Audit de qualité • Évaluation intégrée • Cycle de 5 ans lié au financement

21. Critères d’évaluation AERES • 6 grands domaines touchés par l’évaluation : • La stratégie et la gouvernance; • La recherche et la formation; • La réussite des étudiants; • La valorisation et la culture scientifique; • Les relations européennes et internationales; • Le pilotage et la gestion. • Domaines → Champs→ Références→ Éléments d’interprétation

22. Processus d’évaluation Source: Site Internet de l’AERES

23. OAQ OAQ • Contexte  • Bases légales : loi LAU, concordat CICU, convention de coopération dans le domaine des hautes études universitaires. • Actif depuis le 1eroctobre 2001. • Statut : agence autonome, à caractère national, habilitée à effectuer des accréditations institutionnelles. • Financementpublic : contribution annuelle de la Confédération + travaux non mandatés par la CUS.

24. Type d’évaluation OAQ • 4 types d’évaluation : les accréditations, les audits de qualité, les évaluations et les accréditations institutionnelles en Allemagne. • Audit de qualité des systèmes d’assurance qualité. • 12 HEU de Suisse ainsi que les universités d’Autriche. • Périodicité : selon le mandat du SER, tous les 4 ans. • Finalités : servent de base au droit aux subventions fédérales.

25. Critères d’évaluation OAQ • Les critères d’assurance qualité (standards) correspondent à ceux définis par l’ENQA : • Stratégie; • Portée; • Processus et responsabilités; • Évaluations; • Développement du personnel; • Utilisation de l’information et prise de décision; • Communication.

26. Jugements de l’audit OAQ • Chaque critère est examiné et son application par l’établissement est commentée. • Les experts se prononcent sur le niveau d’avancement du système d’assurance qualité et émettent des recommandations s’il y a lieu. • La conclusion du rapport : • L’université remplit / ne remplit pas pleinement l’ensemble des standards de qualité. • Les conditions pour l’octroi de subventions relatives à la qualité sont remplies / ne sont pas remplies.

27. Processus d’évaluation OAQ • Autoévaluation par l’établissement. • Séance préparatoire (3 heures) et visite sur place (1-3 jours) des experts internationaux. • Rédaction du rapport par le responsable du groupe d’experts. • Rétroaction de l’établissement. • Rédaction du rapport de l’OAQ (son envoi au SER et à la CUS). • Décision de financement de l’université par le SER. • Publication entendue avec la CUS.

28. QAA QAA • Agence créée en 1997 et reçue membre de l’ENQA en 2000 : • Indépendante et à but non lucratif. • Financée par les cotisations des universités et des collèges et à travers des contrats avec des organismes publics. • Établissements évalués : • 168 universités et collèges d’enseignement supérieur autonomes et privés (HEI’s). • 120 collèges de formation continue (Colleges of furthureducation).

29. Type d’évaluation QAA • Évaluation institutionnelle (InstitutionalReview) basée sur un cycle de 6 ans. • Finalités : • Pour l’agence : amélioration de la qualité et témoignage de la qualité. • Pour les établissements : impact sur leur financement par les organismes de financement de l’enseignement supérieur et sur leur pouvoir de décerner les diplômes (habilitation).

30. Critères d’évaluation QAA • Critères détaillés dans le InstitutionalReviewHandbook: • Critère 1 : standards minimaux associés aux compétences; • Critère 2 : qualité des opportunités d’apprentissage des étudiants, incluant l’enseignement et le soutien à l’apprentissage; • Critère 3 :qualité de l’information publique produite par l’établissement à propos des opportunités d’apprentissage; • Critère 4 : mécanismes institutionnels d’amélioration de l’enseignement et du soutien à l’apprentissage.

31. Critères d’évaluation QAA • Jugements : • Critère 1 : 2 niveaux de jugement → « rencontre les attentes » ou « ne rencontre pas les attentes » en fonction de standards minimaux établis par QAA. • Critères 2, 3 et 4 : 4 niveaux de jugement → « de qualité » ou « rencontre les attentes » ou « requiert des améliorations pour rencontrer les attentes » ou « ne rencontre pas les attentes » en fonction de standards minimaux établis par QAA. • Avis → recommandations de 3 niveaux : • essentielle; • conseillée; • souhaitée.

32. Processus d’évaluation QAA • Rencontre préparatoire : 4 mois avant la visite. • Dépôt du rapport d’autoévaluation : 3 mois avant la visite. • Travail préparatoire du comité de visite. • Visite préparatoire : 6 semaines avant la visite. • Visite (3 à 5 jours) • Rédaction et validation du rapport d’évaluation. • Envoi du rapport d’évaluation : 6 semaines après la visite. • Publication du rapport d’évaluation accompagné des réactions de l’établissement : 3 mois après la visite. • Dépôt du plan d’action de l’établissement : 2 mois après la publication du rapport d’évaluation. • Suivi de l’évaluation à mi-cycle : 3 ans après la visite.

33. SAQCO SAQCO • Loi de 2002 sur les collèges d’arts appliqués et de technologie de l’Ontario. • Financé par les 24 collèges publics de l’Ontario selon leur importance relative (nombre d’élèves) :propriétaires-exploitants. • Pas un organisme d’État même si création commandée par gouvernement de l’Ontario. • Membre de l’INQAAHE.

34. Type d’évaluation SAQCO • Audit des mécanismes d’assurance de la qualité des programmes (AMAQP) • Conçu pour assurer la qualité et l’amélioration continue des collèges de l’Ontario et en témoigner. • Confirmation de la conformité des processus d’assurance de la qualité aux critères. • Objectif : Assurer la qualité de l’ensemble des programmes et services du réseau pour les élèves, les diplômés, les employeurs et le public. • Processus d’examen quinquennal, établi à l’avance.

35. Critères d’évaluation SAQCO • Cohérence des résultats d’apprentissage – mission du collège – programmes – titre de compétence; • Politiques scolaires; • Conformité des programmes; • Modes de prestation et méthodes d’évaluation; • Ressources humaines, physiques, financières et de soutien; • Processus d’évaluation de la qualité des programmes. Exigences reliées aux critères en déterminent le niveau d’atteinte. Critères détaillés dans : Guide d’orientation

36. Jugements SAQCO • Jugements des critères • Critère atteint, partiellement atteint, pas atteint. • Mention spéciale : pratiques exemplaires. • Affirmation : confirmer le jugement du collège. • Recommandation : souligner des points à améliorer non spécifiés par le collège.

37. Jugements(suite) SAQCO • Jugement global sur le processus d’assurance qualité : • Effort minime – aucun processus d’assurance qualité et d’amélioration. • Effort de réaction – approche ad hoc. • Effort formel – certaines initiatives et tentatives d’amélioration. • Effort structuré – début de planification et de suivi d’initiatives. • Effort mature – processus d’assurance qualité ancré, amélioration continue.

38. Processus d’évaluation SAQCO • Étapes principales : • Dépôt du rapport d’autoévaluation du collège; • Visite de l’équipe d’audit au collège (1 à 2 jours); • Rédaction du rapport par président d’équipe approbation équipe  commentaires collège  comité de gestion; conformité et équité; • Rapport final au collège; • Sommaire site SAQCO (5-6 p); • Suivi du collège (rapport intérimaire) dans les 18 mois. • Équipe : présidence de l’équipe (externe au CAAT) + deux experts (int./ext. CAAT).

39. Synthèse comparative • Contexte : agences récentes aux statuts variés. • Type d’évaluation : audit vs évaluation • Finalités variées : regard rétrospectif vs prospectif • Critères d’évaluation : • Des critères prédéfinis. • Jugements basés sur des exigences, de références ou de seuils minimaux. • Un processus d’évaluation éprouvé.

40. Pour en savoir plus… • Autres agences examinées : Belgique (AEQES), États-Unis (WASC), Australie (TEQSA), autres provinces canadiennes. • Bibliographie du document Évaluation de l’efficacité des systèmes d’assurance qualité des collèges québécois - Orientations et cadre de référence.

41. 3. Vers une conception institutionnelle de la gestion de la qualité Par : Michel Lauzière, président

42. 20 ans plus tard… • Une culture d’évaluation bien installée dans chaque collège du réseau. • Des mécanismes institutionnels qui prennent en compte les particularités de chaque établissement. • Des missions respectives à réaliser (collèges et Commission). • La nécessité de mettre en place des démarches d’évaluation qui s’inscrivent dans les meilleures pratiques en assurance qualité en enseignement supérieur.

43. Les objectifs de la prochaine opération • Effectuer une opération qui s’appuie sur la capacité des collèges du réseau collégial à mettre en place des mécanismes qui assurent la qualité. • Effectuer une opération qui permet à la Commission de témoigner de la qualité de l’enseignement et de contribuer à son amélioration. • Effectuer une opération dont la mise en œuvre s’inscrit dans meilleures pratiques en assurance qualitéen enseignement supérieur…

44. La prochaine opération de la Commission L’évaluation de l’efficacité des systèmes d’assurance qualité des collèges québécois « Vers une conception institutionnelle de la gestion de la qualité »

45. Un audit sur l’efficacité des systèmes • La base conceptuelle de l’opération : • La qualité; • L’assurance qualité; • Le système d’assurance qualité; • Les mécanismes d’assurance qualité; • L’efficacité du système d’assurance qualité; • L’amélioration continue; • La gestion de la qualité; • Un audit, un cycle d’audit.

46. AQI et AQE : Processus complémentaires

47. Système d’assurance qualité soumis à l’audit

48. Les étapes de mise en œuvre • Recherche et développement; • Comité mixte de travail; • Détermination des 4 collèges intégrés dans la phase de validation; • Formation du comité consultatif (CC) de l’opération; • Production du document d’orientation et de référence de l’opération; • Tournée des collèges du réseau (portrait institutionnel des mécanismes d’assurance qualité);

49. Les étapes de mise en œuvre(suite) • Validation du référentiel (experts externes et CC); • Diffusion du calendrier de l’opération (2013-2017); • Formations personnalisées dans chaque établissement; • Dépôt des rapports d’autoévaluation des collèges de la phase de validation; • Visite des collèges de la phase de validation; • Début du premier cycle d’audit.

50. En conclusion Des mécanismes d’assurance qualité pour : • des programmes de qualité, répondant aux exigences de la société québécoise, des universités et du marché du travail; • des évaluations des apprentissages justes et équitables qui contribuent à la valeur des diplômes; • un environnement propice à la réussite; • un développement structuré permettant la réalisation de la mission de chaque collège. • « Pour que l’expérience éducative de chaque étudiant soit la meilleure possible »