270 likes | 363 Views
htp://www.smart.ulg.ac.be smart@ulg.ac.be +32 4 366 20 78. 8 novembre 2006. Le modèle CGQTS en action : le cas d ' un examen certificatif standardisé créé à l ' aide de la plateforme « electronic Construction & Quality Control in Standardized Testing ». Mainferme R. Crahay V.
E N D
htp://www.smart.ulg.ac.be smart@ulg.ac.be +32 4 366 20 78 8 novembre 2006 Le modèle CGQTS en action : le cas d'un examen certificatif standardisé créé à l'aide de la plateforme « electronic Construction & Quality Control in Standardized Testing » Mainferme R. Crahay V.
Cours de Psychologie Éducationnelle 229 étudiants : quelle(s) modalité(s) d’examens ?
Un exemple d’utilisation : l’examen du cours de Psychologie Éducationnelle (ULg) Travail de groupe « présentation en octuor » = 50% Cote finale Test standardisé « papier crayon » = 50% • Questionnaire à choix multiple • Avec degrés de certitude • Avec solutions générales implicites • Avec possibilité de justifications écrites
Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : Un travail collaboratif • Coordonner le travail en équipe • Assurer un suivi collectif des tâches réalisées • Centraliser le travail Besoin d’une structure de travail collectif
La plateforme e-C&QCST : Un outil en ligne pour construire et gérer les évaluations
La plateforme e-C&QCST : Un identifiant et un type d’accès pour chacun Acteur 1 Acteur 2 Acteur 3 Acteur 4 Acteur 5 Répartition des tâches
Testing standardisé dans le cadre du cours de Psychologie Éducationnelle : une volonté de qualité • Faire le point sur les objets du cours à évaluerAdoption de la démarche CGQTS • Assurer une cohérence et une vision partagée et centralisée de ces objets au niveau de l’équipe • Communiquer ces objets aux étudiants Besoin d’un outil de communication central permettant de formaliser la matière à évaluer
La plateforme e-C&QCST : Étape 1 : Création d’une table de spécification CP Priorités PE Relier les Points Enseignés et les Catégories de Performance [PE x CP] Construction du binôme [PE x CP] Validité
Étape 2 : Les Modalités des Questionnement (MQ) Définir les modalités de questionnement (MQ) Choisir les modalités de questionnement selon les objectifs de l'évaluation • Les Modalités de questionnement sont composées de : - Un Format de Questionnement [FQ] : QCM, VF, VFG, QCL - Une série d’Options de Questionnement [OQ] SGI 6, SGI 7, SGI 8, SGI 9, DC, LO
CP x MQ PE x CP x MQ
Étape 3 : La rédaction des questions • Répartir les tâches et les objets (ciblés et priorisés) à évaluer • Sept tests formatifs de 10 questions (1 par chap.) • Un test certificatif • Une nécessaire validation par le Responsable de l’Évaluation (RE) Obtenir rapidement un nombre suffisant de questions afin d’alimenter une banque à exploiter dans les évaluations formatives et sommatives
La plateforme e-C&QCST: La rédaction des questions
Étape 4 : Information/entrainement des étudiants : • Entraînement individuel - à la Matière évaluée - au dispositif d’évaluation (QCM, SGI, DC) • Permettre à l’évaluateur un suivi qualitatif des apprentissages de son groupe d’étudiants • Nécessité de préparer les étudiants à l’examen : TESTS FORMATIFS / D’ENTRAÎNEMENT
La plate-forme e-C&QCST : Les tests formatifs
Informer les étudiants : vers un « engagement docimologique »
La plate-forme e-C&QCST : Les tests formatifs
La plate-forme e-C&QCST: Un suivi des tests formatifs
Étape 5 : La construction de l’épreuve • 35 questions dont 7 proviennent des tests d’entraînement (elles ont été validées sur base de leur r.bis) • Équilibrer l’examen (SGI vs Réponses classiques) • Impression des différentes formes (4) Assurer un maximum de qualité à l’examen sommatif
L’examen • Examen « papier – crayon » (250 étudiants) • Feuilles de justification
Étape 6 : La correction • Obtenir de nouvelles informations sur la qualité des questions • Obtenir différents résultats : - graphiques, moyennes, écart-type; - résultats spécifiques en cas de suppression de question (s) ou de changement degré de sévérité
La plateforme e-C&QCST: La correction Résultats et Statistiques :
La plate-forme e-C&QCST: La correction Gestion Qualité du test :
La plateforme e-C&QCST: La correction Gestion Qualité de l’évalué :
Conclusion • Travail collaboratif • Gain de temps au niveau de la création des questions (Impression) • Temps élevé de préparation mais gain de temps gagné pour les années prochaines • Feuilles de justification
Perspectives Vers un outil AMS…