CERTITUDE : Bilan et acquis

1. CERTITUDE : Bilan et acquis Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information du 28 février 2013 à la Maison des technologies de formation et d'apprentissage Roland-Giguère par Richard Guay, Directeur des études (2001-2011), Collège Jean-de-Brébeuf et Robert Gérin-Lajoie, Université de Montréal

2. Membres de l’équipeMerci! • Équipe du projet • Jean Allard et Michel PronovostProfesseurs, Collège Brébeuf • Yves Munn, ancien au Cegep@Distance • Annie Mahais, anciennement chargée de projet • Robert Gérin-Lajoie, Université de Montréal • Équipe de direction • Richard Guay, Ancien DE, Collège Brébeuf • Françoise Marceau, CEGEP@Distance • Jacques Raynauld, MATI et HEC-Montréal • Robert Gérin-Lajoie, Université de Montréal • Hébergement, soutien technique et développement • Jonathan-Marc Lapointe, profweb • CedricJoyal et Gilles-Philippe Leblanc, Université de Montréal • Komi Sodoke, Vision-elearning

3. Les objectifs de départ • Valoriser les compétences technologiques et informationnelles des étudiants de l’enseignement supérieur par le biais de tests • certificatifs • diagnostiques • formatifs • Évaluer les compétences informationnelles par champ d’études • Évaluer les compétences informationnelles in situ • Assurer une correction automatisée des tests

4. Les acquis au départ • Au plan international • Certificat informatique et internet (C2I), en France • Démarche de valorisation des compétences de bases (corecompetencies) dans les universités canadiennes et américaines. • Études et analyses d’Educause • Au niveau québécois • Enquête menée par la CRÉPUQ sur les compétences informationnelles des étudiants à l’entrée à l’université • Évaluation en compétence informationnelle à la Faculté des sciences de l’éducation de l’Université de Montréal • Enquête mené par le Collège Jean-de-Brébeuf sur les compétences technologiques de ses étudiants à l’entrée • Profil TIC produit par les répondants TIC des collèges (REPTIC) formation implantée progressivement dans les CÉGEPS • Certification Magellan du Collège Jean-de-Brébeuf (certification TIC et RI attestée par l’Université de Montréal) • Divers ateliers assurés par le service des bibliothèques de l’Université de Montréal et intégré dans les formations spécialisées.

5. Les dispositifs d’évaluation existants • En France, une directive nationale C2I oblige l’évaluation de tous les étudiants au début du cursus universitaire. • Par des quiz automatisés, de type QCM théorique et provenant d’une banque centrale nationale; • Pardes portfolios de travaux évalués par les enseignants. • Au Québec • La certificationMagellan du Collège Jean-de-Brébeuf où les étudiants doivent réussir une épreuve finale de certification propre à leur champs d’études; la correction est faite par les professeurs

6. Les réalisations • Recension des pratiques internationales et des offres de certification • Bilan des approches et des outils auteur pour l’évaluation des habiletés • Production d’un référentiel de compétences à deux niveaux, le premier étant commun à chacun des champs d’études et le second étant spécifique à chacun des champs d’études • Création d’une banque de plusieurs centaines de questions arrimées au référentiel de compétences • Production de tests de type in situ • Adaptation de deux environnements de passation aux fins de Certitude: Moodle et O-Tutor • Expérimentations de type formatif, diagnostique et certificatif

7. Correction automatisée de compétences évaluées in situ LES COMPÉTENCES ÉVALUÉES (niveau supérieur) • Rechercher l’information • Traiter l’information • Présenter l’information

8. Correction automatisée de compétences évaluées in situ LES CHAMPS D’ÉTUDES VISÉS • Sciences de la nature • Sciences humaines et administratives • Arts et lettres

9. Correction automatisée de compétences évaluées in situ Rechercher l’information • Questions de type Chasse au trésor • On demande à l’étudiant de trouver une information ou une donnée • L’étudiant utilise les outils de recherche informationnelle mis à sa disposition • L’étudiant inscrit sa réponse dansun champ texte • Questions de type QCM conventionnelles

10. Correction automatisée de compétences évaluées in situ Traiter l’information • Énoncé de tâches à réaliser dans un tableur • L’étudiant récupère un fichier qui contient une série de consignes • L’étudiant accomplit les tâches demandées par chacune des consignes • Le fichier calcule en temps réel sur une feuille distincte des jetons qui reflètent les résultats obtenus suite à l’accomplissement des tâches • L’étudiant recopie les jetons obtenus dans la zone Réponse du questionnaire • La correction est effectuée en temps réel en comparant les jetons livrés par l’étudiant à ceux équivalents aux bonnes réponses. • Questions de type QCM conventionnelles pour certaines questions (ex: identification d’un type de graphique à produire)

11. Correction automatisée de compétences évaluées in situ Présenter l’information • Énoncé de tâches à réaliser dans un texteur • L’étudiant récupère un fichier qui contient une série de consignes • L’étudiant accomplit les tâches demandées par chacune des consignes • L’étudiant sauvegarde puis dépose le fichier dans la zone appropriée • La correction est effectuée en temps réel par la recherche et l’identification de balises xml. • Questions de type QCM conventionnelles

12. Résultats en 2011 • En mai 2011, des expérimentations ont été faites avec la plate-forme Adobe Captivate • L’environnement est restreint pour recueillir les résultats des passations expérimentales. • Il s’est avéré incapable de soutenir des passations institutionnelles. • Le projet Certitude a décidé à l’été 2011 d’utiliser un environnement de passation éprouvé pour un grand volume

13. Résultats en 2012 • Adaptation technologique de O-Tutor et Moodle • Développement des questions Certitude sur les logiciels O-Tutor et Moodle • Plusieurs centaines de questions génériques, pouvant se décliner aisément en milliers de questions spécifiques • En faisant varier le document ou le contexte des habiletés • Printemps 2012 • Passations formatives et certificatives à Brébeuf sur la plate-forme O-Tutor à plusieurs centaines d’étudiants • Les collèges André-Grasset et Cégep de Jonquière ont organisé des passations expérimentales • Automne 2012: • Expérimentations avec des membres du réseau REPTIC des CÉGEPS • Cependant les enseignants ne peuvent pas poursuivre pour le moment • Cela est dû à la surcharge des nouveaux calendriers scolaires. • Idem à l’UdeM

14. Constats I • Les résultats des évaluations expérimentales montrent une très grande disparité entre les étudiants des différents programmes et Collèges et une maîtrise nettement insuffisante de ces technologiques pour bon nombre d’entre eux • Au Collège Jean-de-Brébeuf, la mise en place des instruments d’évaluation dans des activités formatives a transformé les activités d’apprentissage. • La plateforme o-tutor utilisée permet la production rapide de courts tests formatifs. • La correction en temps réel avec possibilité de reprise immédiate accroît la motivation des étudiants et les mobilisent.

15. Constats II • Réalités du milieu • Les divers intervenants privilégient une approche souple de prise de conscience, de développement et d’appropriation du profil TIC. • Une variété d’approches de formation au sein du réseau: • Sans approche identifiée institutionnellement • Par cours dédié (Magellan), • Par des activités intégrées dans les cours existants • Par projet et par un portfolio de travaux • Dans cette optique, l’utilisation des questionnaires pour des fins de diagnostic et d’évaluation formative est la piste la plus prometteuse à court terme • La certification québécoise: un défi qui reste à relever!!!

16. Les activités de rayonnement du projet Certitude • MATI, mai 2011 et février 2013 • REPTIC, 2011 et 2012 • ACPQ, 2012 • ADMEE, 2012 • Articles sur Profweb, décembre 2011, novembre 2012 • Site Web du projet • Collaboration avec les CÉGEPS – 14 répondants, sondage automne 2012 • La conférence MoodleMoot 2013 à Vancouver

17. L’intérêt à poursuivre • Les partenaires du projet • En novembre, un bon nombre deconseillers pédagogiques du réseau ont mentionné l’intérêt à poursuivre le travail fait, en s’appuyant sur la banque de questions développées et la technologie.

18. La pérennité de Certitude • Élargir la direction et l’expertise des partenaires • Coordonner le soutien des outils technologiques qui permettent l’évaluation in situ (Extensions à Moodle, O-Tutor) • Continuer à valider et à mesurer la fiabilité des instruments d’évaluation • Selon les différents contextes : • Disciplinaires • Diagnostics, formatifs, sommatifs, certificatifs • Poursuivre les échanges inter ordres • Amener les décideurs à encourager et à implanter une certification québécoise de la maîtrise des technologies de l’information chez les étudiants de l’enseignement supérieur.

19. Le potentiel d’évolution des questions de Certitude • Les intégrerau sein de ressources numériques d’apprentissage • Les associer à des capsules de formation • Faire des capsules autoportantes ou s’insérant dans des cours existants • Identifier des activités d’apprentissage actives complémentaires

20. Questions pendantes • La gestion centralisée des ressources numériques de la banque de questions et des instruments d’évaluation • Les modèles de questions et de quiz sont centralisés • Les passations sont distribuées • Les résultats de l’utilisation des questions doivent être agglomérés • La question complémentaire: la gestion collaborative • La solution actuelle est simple pour le moment • Une instance locale, avec O-Tutor, ou le plugiciel de MOODLE • Faire des copies des questions et des quiz d’un environnement à l’autre. • Cela pourra-t-il évoluer?

21. Questions?