Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé

1. Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé L’analyse d’itemsune technique docimologiquepour valider des questions d’examen Serge Normand, M.A. Docimologue

2. Analyse d’items Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent. Ensemble d’opérations qui comporte trois volets : a) une vérification de la congruence entre les items et les objectifs, de la plausibilité des choix de réponses (QCR) et de certains aspects de la validité et de la fidélité b) un calcul d’indices (moyenne, écart-type, indice de difficulté et de discrimination, etc. ) c) une décision en vue de réviser, remplacer ou conserver les items Source : LEGENDRE, R., Dictionnaire actuel de l ’éducation, Larousse, Paris, 1988 serge.normand@umontreal.ca

3. Les indices de l’analyse d’items Analyser les résultats de chaque question : • Indice de difficulté • Indice de discrimination • Répartition des choix de réponses ( QCR ) Analyser les résultats de l’ensemble du test : • Indice de fidélité (homogénéité interne - alpha Cronbach ) • Caractéristiques de la distribution des notes serge.normand@umontreal.ca

4. Un exemple d’analyse d’items serge.normand@umontreal.ca

5. Quelques avantages de l’analyse d’items • Tirer profit des résultats d’un examen • Obtenir des indications sur la précision des résultats observés • « Valider » un examen en retirant, au besoin, les questions qui présentent des lacunes • Améliorer la formulation des questions • Calibrer les examens futurs • Créer une « banque d’items » serge.normand@umontreal.ca

6. Mode d’emploi d’AnItem • Enregistrer les réponses aux questions dans un classeur Excel en respectant le format suivant : • La première rangée contient des libellés décrivant le contenu des colonnes et identifiant ainsi les questions • La deuxième rangée contient la clé de correction pour les questions QCR; laisser vide pour les questions QROC • La troisième rangée contient, pour chaque question, la valeur accordée à la bonne réponse (QCR) ou le nombre maximum de points (QROC) • Les rangées 4 et suivantes contiennent les réponses des étudiants : un sujet par rangée, une réponse par colonne • Les colonnes contenant les réponses doivent être contigües serge.normand@umontreal.ca

7. Mode d’emploi d’AnItemFormat du classeur Excel pour la saisie des données Rangée 1Libellés Identification QCR QROC Rangée 2Clé de correction Rangée 3Pondération Colonnes contigües pour les réponses aux questions • Capacité théorique et contraintes • 255 questions • 65 532 sujets • 5 choix de réponses QCR codées en lettres ( A à E ) ou en chiffres ( 1 à 5 ) • une seule bonne réponse possible pour les QCR serge.normand@umontreal.ca

8. Mode d’emploi d’AnItem • Ouvrir le classeur AnItem.xls et fournir les informations suivantes : • Les zones « Titre et Sous Titre » contiennent les libellés qui seront répétés sur les pages de résultats • La zone « Total sur » indique sur combien de points sera exprimée la note totale • La zone « Décimale » précise le nombre de décimales souhaitées pour l ’affichage de la note totale • Dérouler le menu « Item » pour lancer la procédure désirée : Analyse d ’items ou Analyse de distribution • Choisir le classeur Excel contenant les réponses • Sélectionner la plage de cellules contenant les réponses serge.normand@umontreal.ca

9. Mode d’emploi d’AnItem Déroulez le menu AnItem Saisissezles informations serge.normand@umontreal.ca

10. Mode d’emploi d’AnItem Sélectionnez Analyse d’items serge.normand@umontreal.ca

11. Mode d’emploi d’AnItem Localisez le fichier de réponses serge.normand@umontreal.ca

12. Mode d’emploi d’AnItem Sélectionnez les colonnes contigües de questions serge.normand@umontreal.ca

13. Mode d’emploi d’AnItem Résultats de l’analyse d’items serge.normand@umontreal.ca

14. Indice de difficulté • Pourcentage de réussite à la question : nombre de candidats ayant répondu correctement divisé par le nombre total de répondants • Moyenne de la question • Exprimé avec deux décimales ( ex. 0,64 ) • Souvent représenté par le symbole ( p ) • En fait c’est un indice de « facilité » • Un indice élevé : la question est facile • Un indice faible : la question est difficile serge.normand@umontreal.ca

15. Interprétation de l’indice de difficulté • Indices inférieurs à 0,50 Pourquoi plus de la moitié des candidats échouent à cette question ? • Indices inférieurs à 0,30 Combien y a-t-il de questions avec des indices aussi faibles dans le test ? Est-ce « normal » que tant de candidats n’aient pas atteint l’objectif mesuré par cette question ? serge.normand@umontreal.ca

16. Interprétation de l’indice de difficulté • Indices supérieurs à 0,90 Est-ce que cette question correspond à un objectif important ? Faut-il conserver les questions réussies par tous les candidats ? serge.normand@umontreal.ca

17. Interprétation de l’indice de difficulté • La somme des indices de difficulté correspond à la moyenne du test • Le rendement scolaire se distribue « normalement » • Un test composé de questions de difficulté moyenne reproduira plus fidèlement la distribution « normale » des notes serge.normand@umontreal.ca

18. Répartition des choix de réponses ( question QCR ) • Distribution du nombre de candidats parmi les choix de réponses • Exprimée en fréquences brutes et en pourcentages • Les choix autres que la réponse correcte sont appelés des « leurres » • Un leurre est-il choisi plus souvent que la bonne réponse ? • Des leurres sont-ils complètement ignorés ? serge.normand@umontreal.ca

19. Indice de discrimination • Coefficient de corrélation entre les réponses à la question et le total des autres questions • Est-ce que les candidats qui réussissent cette question ont aussi un score élevé à l’ensemble des autres questions ? • Est-ce que les candidats qui échouent cette question ont aussi un score plus faible à l’ensemble des autres questions ? • Exprimé avec deux décimales ( ex. 0,23 ) • Souvent représenté par le symbole ( r ) serge.normand@umontreal.ca

20. Interprétation de l’indice de discrimination • En théorie ce coefficient de corrélation varie de -1,00 à + 1,00 • Une balise peut être fixée à 0,20 pour signaler un début de discrimination • Une valeur voisine de zéro ( 0 ) indique qu’il n’y a aucune relation entre le score à cette question et le total des autres questions • Un indice négatif signale une incohérence : les meilleurs candidats échouent la question, les plus faibles réussissent la question serge.normand@umontreal.ca

21. Interprétation de l’indice de discrimination • Les items de difficulté moyenne (0,40 à 0,60 ) maximisent généralement la discrimination • Les items très faciles ou très difficiles discriminent habituellement peu • L’indice de discrimination est tributaire du test auquel appartient la question et donc moins stable que l’indice de difficulté • Le nombre de questions et le nombre de sujets influencent le calcul du coefficient de corrélation serge.normand@umontreal.ca

22. Mode d’emploi d’AnItem Analyse de distribution serge.normand@umontreal.ca

23. Mode d’emploi d’AnItem Distribution des scores serge.normand@umontreal.ca

24. Validité Pertinence Fiabilité Discrimination Objectivité Homogénéité(Examen) Équité Difficulté Hétérogénéité(Étudiants) Efficience Spécificité Temps Longueur Les « préoccupations » docimologiques(Source : G. Cormier) Équilibre serge.normand@umontreal.ca

25. Critères pour apprécier les qualitésd’un instrument d ’évaluation • Validité Mesure-t-il ce qu ’il prétend mesurer ? • Fidélité Les résultats sont-ils constants et précis ? • Commodité - Efficience Temps requis ? Coût ? Résultats ? serge.normand@umontreal.ca

26. ValiditéQualité d’un instrument de mesurer réellement ce qu’il doit mesurer selon l’utilisation que l ’on veut en faire • Congruence - objectifs • Représentativité - items Contenu Interne • Structure - schéma théorique • Définition opérationnelle - trait Construit Concomitante • Corrélation - mesures similaires Externe Prédictive • Corrélation - variables à prédire serge.normand@umontreal.ca

27. Chaque item est-il un exemple du type de performance que le test doit mesurer ? Collectivement, les items constituent-ils un échantillon représentatif de l ’ensemble des performances qui définissent la variable à mesurer ? Préparer un tableau de spécification Échantillonner les « trois domaines » Validité de contenu serge.normand@umontreal.ca

28. Cognitif Savoir Connaissances Domaines de comportements observables(pour mesurer des objectifs d ’apprentissage) Affectif Savoir être Attitudes Psychomoteur Savoir faire Habiletés serge.normand@umontreal.ca

29. Tableau de spécification Source : jean-louis.brazier@umontreal.ca serge.normand@umontreal.ca

30. FidélitéQualité qu’a un instrument de mesurer avec la même exactitude chaque fois qu’il est administré à des sujets équivalents placés dans des conditions similaires ConstanceStabilité • deux administrations • corrélation • deux formes parallèles • corrélation Équivalence • interrelation entre les items • homogénéité interne • alpha de Cronbach Consistance interne serge.normand@umontreal.ca

31. Qualité d’un procédé ou d’un instrument de mesure qui est relativement résistant aux biais et aux erreurs de correction ou d’appréciation L’objectivité d’un instrument de mesure permet à un étudiant d’obtenir la même note indépendamment du correcteur ou de l’examinateur Standardiser « la clé de correction » Les défis de l’observation directe Objectivité et Fidélité serge.normand@umontreal.ca

32. FidélitéCoefficient d ’homogénéité interneAlpha de Cronbach a = k k - 1 S s 2j s 2 t 1 - où : k : nombre d’items s 2 j : variance des scores à l’item j s 2 t : variance des scores à l ’ensemble du test serge.normand@umontreal.ca

33. Élaboration Administration Correction Ressources Commodité - EfficienceRapport entre ce qui est réalisé et les moyens mis en oeuvre • Temps requis • Coût • Résultats serge.normand@umontreal.ca

34. Qualités des instruments serge.normand@umontreal.ca

35. Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets » Moyenne :Mx = SX N Écart type :sx = S X - Mx 2 N Variance :sx = sx2 Score standard :Zx = X - Mx sx Corrélation :rxy = SX - Mx Y - My Nsxsy serge.normand@umontreal.ca

36. Les formulesoù X = score du « sujet », N = ensemble des « sujets »et r xx = indice de fidélité Moyenne :Mx = SX N Écart type :sx = S X - Mx 2 N Erreur type (moyenne) : s x = sx N Niveau de confiance à 95% : plus ou moins 1.96 s x Erreur de mesure :se = sx 1 – r xx serge.normand@umontreal.ca

37. Distribution normale 68 % 95 % serge.normand@umontreal.ca

38. Item Test QCR QCM QROC ECOS Question Examen, épreuve « standardisé » Questions à Choix de Réponses Question à Choix Multiple Question à Réponse Ouverte Courte Examen Clinique Objectif Structuré Vocabulaire « docimologique » Instrument de mesure = Examen, test, épreuve serge.normand@umontreal.ca

39. Déroulement de l ’atelier • Expliquer les composantes de l’analyse d’items • Calculer les indices à l’aide du tableur Excel • Présenter quelques concepts « docimologiques » • Échanger sur nos pratiques en évaluation des apprentissages • Partager des ressources, des pratiques ? serge.normand@umontreal.ca

40. Analyse d’items - Bibliographie GIRARD, M. et S. NORMAND, Guide de lecture d’un rapport d’analyse d’items, Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001 GUILBERT, J.J., Guide pédagogique pour les personnels de santé, OMS, Genève, 1981 LEGENDRE, R., Dictionnaire actuel de l ’éducation, Larousse, Paris, 1988 MAGNUSSON, David, Test Theory, Addison-Wesley, London, 1967 NORMAND, S., AnItem, Logiciel pour effectuer une analyse d’items via le chiffrier Excel, Version PC et Mac, Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001 serge.normand@umontreal.ca