Le plan de cours (outil de planification)

1. Évaluation des apprentissages II(la confection des questions d’examen)Denis Savard, professeurFaculté des Sciences de l’éducation (Université Laval)Louise Arsenault, conseillère en formationFaculté des Sciences et de Génie, Faculté de Médecine (Université Laval)Michel-Ange Augustin, doctorant, consultant,Faculté des Sciences de l’éducation (Université Laval)SSEIVE (Université de Moncton, campus d’Edmundston)

2. Le plan de cours(outil de planification) • Les objectifs d’apprentissage • Sous forme de liste… • Les modalités d’évaluation • Forme • Fréquence • Échéances • Pondération • Critères généraux d’évaluation • L’appréciation de la qualité de la langue

3. Faire le plan d’un examen (1) Tableau de spécification • Préciser le contenu • Préciser les habiletés (niveau taxonomique) • Établir la pondération

4. Tableau de spécification

5. Faire le plan d’un l’examen (2) Spécification de l’épreuve Pour chacune des cellules du tableau de spécification • Spécifier le nombre et le type de questions • Établir la pondération de chacune des questions

6. Tableau de spécifications cours Examen Tableau de spécifications

7. VALIDITÉ Qualité d’un instrument qui mesure bien ce qu’il est censé mesurer. FIDÉLITÉ Qualité d’un instrument à mesurer avec la même exactitude chaque fois qu’il est administré. stabilité équivalence consistance interne Principales qualité d’un instrument de mesure

8. Validité de contenu • Type de validité qui indique le degré de: • congruence de chacun des items avec l’objet mesuré; • représentativité de l’ensemble des items d’un instrument de mesure en regard de ce qu’on veut mesurer.

9. Validité de contenu (conditions)

10. Congruence • La congruence est la relation étroite qui doit exister entre une situation d’évaluation et objet mesure. • Les 3 principaux critères : • le verbe (objectif) ou le niveau taxonomique • le contenu • les conditions

11. Pertinence • Les questions posées touchent des points importants de la matière: • concept de tâche type.

12. Représentativité • Les questions posées sont représentatives de la dimension mesurée.

13. Modèle de mesureV = X ± E • V : "vrai" score de l'étudiante ou de l'étudiant • X : résultat de l'étudiante ou de l'étudiant • E : erreur de mesure (+ ou -)

14. Fidélité • Attention aux erreurs de mesure inhérentes... • à l'instrument de mesure (formulation des questions, grille de correction… ) • aux conditions de passation • à l'étudiante et l'étudiant (peu de contrôle)

15. Construire des examens de type papier-crayon

16. Rédiger une question (1) • Choisir l’objectif. • Rédiger une question qui contient toutes les limites et les conditions nécessaires à la résolution du problème. Séparer la consigne de la question. • Pour vous aider à rédiger une question: • Mise en situation • Données du problème • Tâche de l’étudiant: la question • Consigne: la façon de répondre • Espace de réponse (démarche, résultat, unités) • Modalités de correction

17. Rédiger une question (2) • Utiliser la phrase impérative ou interrogative. • Éviter de terminer l’énoncé par des points de suspension… • La congruence est ….? • Quelle est la définition du concept de congruence dans le contexte de la mesure des apprentissages? • Éviter les extraits textuels tirés des manuels. • Éviter de rédiger des questions plus difficiles que ne le prescrit l’objectif.

18. Rédiger une question (3) • Présenter sur une même page toutes les questions se rapportant à une même mise en situation. • Sinon, répéter la question sur une deuxième page. • Rédiger des questions indépendantes les unes des autres. • Sinon, vous pénalisez l’étudiant qui, pour une contre-performance, perd des points à plus d’un endroit sur la grille de correction.

19. Rédiger une question (4) • Rédiger la question pour qu’elle corresponde à l’objectif dont elle doit mesurer l’atteinte. Congruence

20. Rédiger une question (5) • À l’intérieur de la question, rédiger des consignes précises, claires et complètes. • Le nombre de bonnes réponses, l’endroit où les étudiants doivent indiquer la réponse et la façon de l’exprimer, l’endroit où l’on exécute les calculs, les pénalités imposées pour ajout d’éléments étrangers à la réponse, etc. • Éliminer les renseignements superflus dont la présence risque de compliquer inutilement la tâche de l’étudiant.

21. Rédiger une question (6) • Employer un vocabulaire adapté aux étudiants. • Indiquer le nombre de points accordés à chaque question. • Choisir un type de questions que les étudiants connaissent. • À réponse choisie: • Choix de réponse, vrai ou faux, association • À réponse construite: • Phrase à compléter, réponse courte, réponse développée

22. Question à choix de réponses (1) Variations: • trouver la bonne réponse • trouver la meilleure réponse • trouver la seule réponse qui soit fausse • trouver toutes les bonnes réponses • trouver la réponse qui ordonne une série d’énoncés • trouver des contre-exemples • trouver l’élément manquant • trouver l’élément étranger • identifier l’incident critique ou l’élément significatif • etc.

23. Question à choix de réponses (2) Quelle est la séquence de verbes d'action qui correspond à une introduction bien structurée? • a. Amener, poser, diviser * • b. Annoncer, amener, ouvrir • c. Choisir, recommander, identifier • d. Ouvrir, préciser, choisir • e. Poser, amener, diviser

24. Question à choix de réponses (3) Quelle est l'affirmation qui est fausse? a.Avant d'être discutés et analysés, les résultats doivent être présentés. b.Il n'y a pas de nouvelle argumentation dans une conclusion. * c.Les temps les plus utilisés pour rédiger un rapport technique sont le présent et l'imparfait. d.Le titre d'une figure doit être placé en dessous de la figure. e.Toutes les références doivent être citées dans le corps du rapport.

25. Question à choix de réponses (4) • Rédiger de 3 à 5 réponses (leurres) qui doivent être consistantes et appropriées à la question (~ même longueur, ~ même complexité et ayant le même attrait) • Placer les réponses en ordre: • alphabétique • ordinal • chronologique • etc.

26. Question à choix de réponses (5) • Utiliser avec prudence le choix AUCUNE DE CES RÉPONSES ou TOUTES CES RÉPONSES SONT BONNES • Autant que possible, placer les réponses en colonne plutôt que de les disposer horizontalement. • L’important, c’est d’être uniforme dans la présentation. • Trier en colonne plutôt qu’en ligne a c b d

27. Question de type vrai ou faux (1) Variations: • La forme bon/mauvais, plus petit/plus grand, fait/opinion, etc. • La forme correction

28. Questionde type vrai ou faux (2) Forme correction Indique si la proposition ci-dessous est vraie ou fausse. Si elle est fausse, transforme la partie soulignée de l’énoncé pour rendre la proposition vraie. La validité de contenu est la première qualité dont on doit se préoccuper lors de la confection d’examens. V F Correction si nécessaire: __________________

29. Questionde type vrai ou faux (3) • Présenter une seule idée importante par question. • Présenter des énoncés manifestement vrais ou faux. • Présenter des énoncés plutôt brefs que longs.

30. Questionde type vrai ou faux (4) • Utiliser avec prudence les termes TOUS, TOUJOURS, JAMAIS, qui sont associés à des énoncés faux. Les termes PARFOIS, SOUVENT, LA PLUPART, sont associés à des énoncés vrais et les termes FRÉQUENT, NOMBREUX, PLUSIEURS, PEU, sont ambigus. • Éviter les doubles négations.

31. Questionde type association (1) Variations: • L’association simple • L’association multiple: associer plusieurs éléments • La classification: classifier des éléments selon des catégories

32. CONCEPTS (l’ensemble questions) ___ 1. CONGRUENCE ___ 2. VALIDITÉ ___ 3. FIDÉLITÉ DÉFINITIONS (l’ensemble réponses) Lien étroit entre l’objectif et la question d’examen Qualité d’un instrument qui fait référence à la stabilité des résultats Qualité d’un instrument qui mesure bien ce qu’il prétend mesurer Ensemble des opérations pour modérer les résultats d’un instrument Voici, présentés à gauche, des CONCEPTS de base en mesure et évaluation et, à droite, des DÉFINITIONS. Associer, à chacun des concepts, la bonne définition. Inscrire, en regard du nombre, la lettre appropriée.

33. Questionde type association (2) • Donner le schéma de base de l’association, décrire l’ensemble questions ainsi que l’ensemble réponses et indiquer s’il y a répétition ou non des éléments de l’ensemble réponses. • Placer dans chaque ensemble des éléments homogènes. • Ne pas compter au total plus de dix éléments dans l’ensemble réponses.

34. Questionde type association (3) • Placer un plus grand nombre d’éléments dans l’ensemble réponses. • Désigner l’ensemble questions par des nombres et l’ensemble réponses par des lettres. Habituellement l’ensemble réponses est placéà gauche. • Placer les éléments de l’ensemble réponses dans l’ordre qui facilite le travail de l’étudiant.

35. Question de type phrase à compléter (1) Variations: • question à réponse unique • question à réponses multiples • phrase à compléter dont l’omission est à l’intérieur d’un choix de réponses, • ne rédiger qu’une partie révélatrice d’une tâche: le paragraphe d’introduction ou de conclusion, les phrases de transition, une suite de mots clés, les trois dernières lignes de programmation, etc.

36. Question de type phrase à compléter (2) Le lien étroit qui doit exister entre un objectif spécifique et une question d’examen se nomme ___________.

37. Question de type phrase à compléter (3) • N’enlever que les termes importants de la phrase. • Ne placer qu’une ou deux omissions par phrase à compléter. • Placer les omissions vers la fin de la phrase. • Placer un espace ou un trait constant pour toutes les omissions et ce, sans égard à la longueur des mots omis. • Si la réponse porte sur des quantités, indiquer les unités demandées.

38. Question à réponse courte (1) Variations: • question à réponse unique • question à réponses multiples • définir un mot clé • construire un schéma • donner un exemple • identifier une loi, un principe • rédiger une phrase, etc.

39. Question à réponse courte (2) • Présenter le problème en posant une question plutôt qu’en formulant une affirmation. • Prévoir un espace après chaque question pour que l’étudiant puisse inscrire sa réponse.

40. Question à réponse courte (3) Quelle est la définition du concept de congruence? La réponse attendue s’exprime en moins de 3 lignes. _________________________________ _________________________________ _________________________________

41. Question à réponse développée (1) Variations: • résoudre un problème • extrapoler • établir des rapports, des liens • expliquer, synthétiser, analyser, évaluer, réaliser une production • résumer • etc.

42. Question à réponse développée (2) • Structurer, encadrer suffisamment le problème présenté dans la question pour que la réponse soit orientée vers ce que l’on se propose de mesurer.

43. Question à réponse développée (3) En un maximum de 300 mots, expliquer l’importance des objectifs dans la construction des instruments de mesure. À l’intérieur de votre réponse, on doit retrouver trois avantages d’une telle pratique ainsi qu’un exemple. _______________________________________________ _______________________________________________ _______________________________________________ _______________________________________________ _______________________________________________ …

44. Question à réponse développée (4) • Si vous le jugez à propos, avertir l’étudiant qu’il sera pénalisé s’il introduit dans sa réponse des éléments étrangers au problème à résoudre. • Mieux vaut indiquer l’ordre de grandeur de la réponse souhaitée. • Exemples: En un maximum de deux pages… En 300 mots…À l’intérieur du tableau…

45. Question à réponse développée (5) • Prévoir l’espace nécessaire pour la réponse. • Une mise en page structurée peut aider à corriger ces réponses longues. • À titre indicateur, préciser le temps normalement alloué pour répondre à la question. • Pour concevoir le corrigé, vous pouvez rédiger une réponse-type et souligner les mots clés. • Il est plus facile, juste et équitable de corriger la première question pour tout le groupe avant de corriger la deuxième.