1 / 39

Activité CDS #7 Construire et gérer des examens standardisés de qualité :

Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007. Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS)

naasir
Download Presentation

Activité CDS #7 Construire et gérer des examens standardisés de qualité :

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Activité CDS #7 Construire et gérer des examens standardisés de qualité : témoignages et réflexions Mardi 30 janvier 2007 Enjeux et facteurs-clés d'une approche qualité en évaluation standardisée : focus sur le modèle de Construction et de Gestion de la Qualité des Tests Standardisés (CGQTS) Jean-Luc GILLES Université de Liège Système Méthodologique d’Aide à la Réalisation de Tests (SMART) Service de Didactique générale et intervention éducative Spin off Assess-Group S.A. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  2. « Il est frappant de constater que dans la plupart des universités, les enseignants parlent volontiers de leurs recherches, peu de leurs enseignements et quasiment jamais de leurs examens… » Jean-Louis Ricci (2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  3. Blais & al. (1997) Rege Colet et Romainville, Eds. (2006) Debry & al. (1999) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  4. Le besoin : des examens universitaires de qualité Tâches d'examen au 1er et aux 2e & 3e cycles à l'Université de Montréal (d'après BLAIS & al., 1997, pp. 48-49) 70% 66% 1er cycle = 64% 2e & 3e cycle = 88% 1er cycle = 36% 2e & 3e cycle = 12% 1er cycle (n=270) 57% 60% 2e & 3e cycle (n=76) 49% 50% 40% 36% 34% 33% 32% 30% 30% 25% 17% 20% 16% 14% 7% 7% 10% 5% 4% 3% 1% 0% VF / QCM QROC QROL QROM Fréquences des modalités de questionnement utilisées dans les examens universitaires (enquête du GRIPU à l’Univ. de Montréal) Autres QCM Vrai ou faux Démonstration Réponse courte Solution de problème Phrase ou tableau à compléter Développement court (moins d'une 1/2 page) Développement long (plus d'une 1/2 page) (Blais & al. 1997) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  5. Le besoin : des examens universitaires de qualité 25 examens avec questions à réponses fermées (42%) 32 examens avec questions à réponses ouvertes (53%) Fréquences des modalités de questionnement utilisées dans les examens universitaires Enquête à la FAPSE-ULg (DEBRY & al, 1999) : 1er cycle FAPSE-ULg (1997-1998) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  6. Le besoin : des examens universitaires de qualité Principaux avantages potentiels et inconvénients des questions fermées   - Piège des questions portant sur des détails - Conception binaire des réponses (sauf si utilisation DC) - Impuissance à mesurer certaines catégories de performances - Automatisation   questions   validité -  problèmes de concor-dances intra et inter-correcteurs   fidélité - Automatisation   praticabilité - … ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  7. Le besoin : des examens universitaires de qualité Principaux avantages potentiels et inconvénients des questions ouvertes   - Permettent l’évaluation de performances complexes - Permettent d’évaluer les objectifs d’expression - Sollicitations plus proches de celles de la vie quotidienne - En général peu de questions pour éviter d’augmenter le temps de correction - Biais  concordance intra et inter-correcteurs - Ne sont pas socialement neutres ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  8. Le besoin : des examens universitaires de qualité Taille du groupe Culture d’évaluation Règlement pédagogique Quelles contingences orientent les examinateurs vers le choix de questions fermées ou ouvertes ? La contrainte des disciplines La lutte contre une « dissonance pédagogico-docimologique » (BLAIS & al., 1997) Fréquences des modalités de questionnement utilisées dans les examens universitaires ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  9. Quatre facteurs clés pour une approche qualité en docimologie : validité  fidélité  sensibilité  diagnosticité  praticabilité  équité  communicabilité authenticité Critères de qualité Ressources en personnel et en maté-riel Modèles & procédures d’évaluation Besoins des acteursdes évalu-ations (Gilles, 2002 ; Gilles, Piette, Detroz, Tinnirello, Pirson, Dabo et Lê, 2005) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  10. Le besoin : des examens universitaires de qualité Quels avantages des examens standardisés de qualité peuvent-ils offrir ? ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  11. Le besoin : des examens universitaires de qualité ... Quels avantages des examens standardisés de qualité peuvent-ils offrir ? ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  12. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  13. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  14. Assess- Group S.A. Système Méthodologique d’Aide à la Réalisation de Tests (ULg) R&D en ingénierie docimologique : electronic Construction & Quality Control in Standardized Testing (Gilles, 2002 ; Gilles & al., 2005) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  15. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 1. Analyse préalable de l’épreuve - Lister les points à évaluer (PE) - Associer des priorités liées aux PE - Définir les catégories de performances (CP) Produit de cette 1ère étape : une table de spécifications où les PE sont croisés avec les CP : (PE x CP) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  16. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  17. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 2. Design de l’examen standardisé • Définir les modalités de questionnement (MQ) en rapport avec les cat. de performances (CP) • Créer le test et déterminer la portion de la table de spécification qu’il est sensé couvrir Produit de cette 2ème étape : une table de spécifications où les trinômes (PE x CP x MQ) du test sont identifiés ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  18. CP x MQ PE x CP x MQ ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  19. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 3. Création des questions • Alimenter la banque de question • Valider les questions qui pourraient être utilisées pour l’examen Produit de cette 3ème étape : une banque de questions caractérisées par leurs trinômes (PE x CP x MQ) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  20. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  21. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 4. Information des évalués • Expliquer les procédures d’évaluation et les conditions de l’examen • Proposer des entraînements Produit de cette 4ème étape : des informations en ligne ainsi que des tests d’entraînement ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  22. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  23. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 5. Questionnaire de l’examen • Sélectionner les questions validées qui seront proposées lors de l’épreuve • Créer le questionnaire d’examen Produit de cette 5ème étape : un questionnaire d’examen « papier crayon » ou électronique ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  24. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  25. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 6. Acquisition, correction et contrôle qualité des résultats • Importer et traiter les résultats de l’épreuve • Contrôler la qualité des questions • Etablir une version finale Produit de cette 6ème étape : une version fiable des résultats des évalués ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  26. ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  27. (Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  28. Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7 (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  29. Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions : Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité) (Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  30. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 7. Feedbacks aux étudiants • Sélectionner les caractéristiques des feedbacks aux étudiants • Autoriser la mise en ligne des feedbacks Produit de cette 7ème étape : des feedbacks individualisés, précis et diagnostiquespour chaque évalué ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  31. pics de consultations hors l'ULg pics de consultations à l'ULg ULg hors ULg (Gilles, 2004) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  32. Le cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles, 2002) 8. Macro-régulation • Sélectionner des critères de qualité et les croiser avec les produits finaux des différentes étapes • Proposer des améliorations Produit de cette 8ème étape : Une série de pistes d’amélioration de la qualité pour le prochain examen ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  33. Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000) 6 1ère candidature 1997-1998 (n=227) 2ème candidature 1997-1998 (n=163) 1ère candidature 1998-1999 (n=150) 5 1ère candidature 1999-2000 (n=250) 2ème candidature 1999-2000 (n=134) 4 Moyennes des avis 3 2 1 [3.3] Après l'examen, l'étudiant peut obtenir des explications sur la qualité de ses réponses au... [1.3] Les questions étaient claires [1.5] Le mode d'évaluation permet au prof. d'avoir une bonne représentation des... [3.1] Les réponses correctes sont communiquées aux étudiants après l'examen [1.1] Le mode d'évaluation était adéquat [1.4] Questions bien adaptées à la matière [3.2] L'analyse statistique de la qualité des questions (r.bis) est communiquée [2.4] L'horaire fixé pour l'examen est respecté [1.6] L'évaluation est équitable et impartiale [2.3] L'enseignant met l'étudiant à l'aise à l'examen oral [1.2] L'entraînement avant l'examen était suffisant [2.2] Les exigences de l'enseignant sont présentées en temps utiles [2.1] Les exigences de l'enseignant sont clairement présentées (Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  34. (Approche qualité en évaluation - Gilles, 2002) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  35. Assess- Group S.A. Système Méthodologique d’Aide à la Réalisation de Tests (ULg) Solutions matérielles : Une chaîne complète de lecture optique de marques Un système de boîtiers de votes électroniques qui permettent d’animer des séances de cours interactives et de fournir des feedbacks en directaux étudiants ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  36. electronic Network for Global Evaluation of Learners’ Satisfaction (e-NGELS) Testing Interactif Multimédias via Internet (TIMI) Assess- Group S.A. Système Méthodologique d’Aide à la Réalisation de Tests (ULg) Solutions logicielles : ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  37. « L’évaluation des examens n’est que très rarement à l’ordre du jour. D’ordinaire, tout examen et sa qualité reste exclusivement du ressort du professeur concerné… » En 2007 : réplication interuniversitaire coordonnée par le SMART et le Service de didactique générale et intervention éducative Blais & al. (1997) Consortium de recherche en ingénierie docimologique et didactique (CRIDD) Ricci (2006) ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  38. Liens utiles : Sites web : Système Méthodologique d’Aide à la Réalisation de Tests (SMART – ULg) www.smart.ulg.ac.be Spin off Assess-Group S.A. : testing standardisé et soutien logistique aux enseignants www.assess-group.be Plateforme e-C&QCST : hosting pour les enseignants http://e-cqcst.assess-group.be/ Did@campus du Service de didactique générale et intervention éducative (ULg) www.sdg-ulg.net/didacampus/ Articles en ligne : Electronic Construction and Quality Control in Standardized Testing: the e-C&QCST project (Gilles, J.-L., Piette, S.-A., Detroz, P., Tinnirello, S., Pirson, M., Dabo, M., Lê, H., 2005) http://www.jlgilles.net/articles/e-cqcst-earli-2005.pdf Utilisation du cycle SMART de gestion qualité des évaluations standardisées dans le contexte d’une Haute Ecole : regard critique en terme de validité, fidélité, sensibilité des mesures, diagnosticité, praticabilité, équité, communicabilité et authenticité (Gilles, J.-L. et Lovinfosse, V., 2004) http://www.jlgilles.net/articles/Gilles_Lovinfosse_amse_2004.pdf De la recherche à la consultance : le choix stratégique d’un transfert d’activité opéré par l’équipe du Système Métho-dologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège. (Gilles, J.-L., Detroz, P., Tinnirello, S., 2006) http://www.hec.ulg.ac.be/FR/lentic/pdf/Com_Gilles_Detroz_Tinnirello.pdf Observations sur les études universitaires à la FAPSE-ULg. (Debry, M. & al., 1999) http://www.jlgilles.net/articles/oeuf_1999.pdf ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

  39. Merci pour votre attention, N ’hésitez pas à prendre contact si vous souhaitez de plus amples informations jl.gilles@ulg.ac.be ULg – Activité CDS #7 – Enjeux et facteurs clés d’une approche qualité en testing standardisé : focus sur le modèle CGQTS – Jean-Luc Gilles – Mardi 30/01/07

More Related