![Page 1: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/1.jpg)
Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé
L’analyse d’itemsune technique docimologique
pour valider des questions d’examen
Serge Normand, M.A.Docimologue
![Page 2: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/2.jpg)
Analyse d’items
Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent.
Ensemble d’opérations qui comporte trois volets :
a) une vérification de la congruence entre les items et les objectifs, de la plausibilité des choix de réponses (QCR) et de certains aspects de la validité et de la fidélité
b) un calcul d’indices (moyenne, écart-type, indice de difficulté et de discrimination, etc. )
c) une décision en vue de réviser, remplacer ou conserver les items
Source : LEGENDRE, R., Dictionnaire actuel de l ’éducation, Larousse, Paris, 1988
![Page 3: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/3.jpg)
Les indices de l’analyse d’items
Analyser les résultats de chaque question :
• Indice de difficulté• Indice de discrimination• Répartition des choix de réponses ( QCR )
Analyser les résultats de l’ensemble du test :• Indice de fidélité (homogénéité interne - alpha
Cronbach )• Caractéristiques de la distribution des notes
![Page 4: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/4.jpg)
Exemple d'analyse d'items N. items : 35 N. sujets : 152avec calcul de score standard Moyenne : 31,8 Écart-type : 3,63
Total brut : 42 Alpha de Cronbach : 0,66Analyse d'items
QCR - Fréquences en % QCR - Fréquences brutesItem Clé Poids Difficulté Discrimination Alpha Abs 1 2 3 4 5 Abs 1 2 3 4 5
( Item omis )pq1 3 1,0 0,71 0,19 0,65 1% 11% 71% 14% 3% 1 16 108 22 5pq2 3 1,0 0,84 0,01 0,67 0% 0% 84% 0% 16% 0 0 128 0 24pq3 1 1,0 0,63 0,17 0,65 63% 28% 3% 0% 6% 96 42 5 0 9pq4 4 1,0 0,75 0,04 0,67 9% 6% 2% 75% 8% 14 9 3 114 12pq5 5 1,0 0,64 0,17 0,65 31% 1% 3% 1% 64% 47 2 4 1 98pq6 1 1,0 0,89 0,14 0,66 89% 7% 1% 3% 0% 136 10 2 4 0pq7 4 1,0 0,49 0,21 0,65 10% 18% 22% 49% 2% 15 27 33 74 3pq8 5 1,0 0,99 0,19 0,66 1% 0% 0% 0% 99% 2 0 0 0 150pq9 5 1,0 0,97 0,06 0,66 0% 0% 3% 0% 97% 0 0 4 0 148pq10 2 1,0 0,92 0,27 0,65 1% 3% 92% 1% 3% 1% 1 5 140 1 4 1pq11 5 1,0 0,86 0,15 0,66 5% 1% 7% 0% 86% 8 2 11 0 131pq12 4 1,0 0,67 0,25 0,65 1% 18% 1% 67% 12% 2 28 2 102 18pq13 3 1,0 0,93 0,16 0,66 1% 1% 1% 93% 1% 3% 1 2 1 142 2 4pq14 3 1,0 0,97 0,19 0,66 0% 1% 97% 2% 0% 0 1 148 3 0
Un exemple d’analyse d’items
![Page 5: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/5.jpg)
• Tirer profit des résultats d’un examen• Obtenir des indications sur la précision des
résultats observés• « Valider » un examen en retirant, au besoin,
les questions qui présentent des lacunes• Améliorer la formulation des questions• Calibrer les examens futurs• Créer une « banque d’items »
Quelques avantages de l’analyse d’items
![Page 6: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/6.jpg)
Mode d’emploi d’AnItem
1. Enregistrer les réponses aux questions dans un classeur Excel en respectant le format suivant :
a) La première rangée contient des libellés décrivant le contenu des colonnes et identifiant ainsi les questions
b) La deuxième rangée contient la clé de correction pour les questions QCR; laisser vide pour les questions QROC
c) La troisième rangée contient, pour chaque question, la valeur accordée à la bonne réponse (QCR) ou le nombre maximum de points (QROC)
d) Les rangées 4 et suivantes contiennent les réponses des étudiants : un sujet par rangée, une réponse par colonne
e) Les colonnes contenant les réponses doivent être contigües
![Page 7: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/7.jpg)
Mode d’emploi d’AnItemFormat du classeur Excel pour la saisie des données
Identification QCR QROC
1234567
A B C D E F G H I J K LCODE NOM pq1 pq2 pq3 pq4 pq5 pq6 pq7 pq8 pq9 pq10
Réponses aux QCM - > C C A D E APondération - > 1 1 1 1 1 1 1 2 2 2
1812 Normand, Serge C C B D E A 0.5 1 1.5 1.51920 Koumaré, Karim C C B E A A 1 1.5 1 13214 Khayat, Georges B C B B A A 0.5 1 1.5 1.52345 Etc … C C A D E A 0.5 1.5 1.5 1
Colonnes contigüespour les réponses aux questions
Capacité théorique et contraintes
• 255 questions
• 65 532 sujets
• 5 choix de réponses QCR codées en lettres ( A à E ) ou en chiffres ( 1 à 5 )
• une seule bonne réponse possible pour les QCR
Rangée 1Libellés
Rangée 2Clé de correction
Rangée 3Pondération
![Page 8: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/8.jpg)
Mode d’emploi d’AnItem
2. Ouvrir le classeur AnItem.xls et fournir les informations suivantes :
a) Les zones « Titre et Sous Titre » contiennent les libellés qui seront répétés sur les pages de résultats
b) La zone « Total sur » indique sur combien de points sera exprimée la note totale
c) La zone « Décimale » précise le nombre de décimales souhaitées pour l ’affichage de la note totale
d) Dérouler le menu « Item » pour lancer la procédure désirée : Analyse d ’items ou Analyse de distribution
e) Choisir le classeur Excel contenant les réponsesf) Sélectionner la plage de cellules contenant les réponses
![Page 14: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/14.jpg)
• Pourcentage de réussite à la question : nombre de candidats ayant répondu correctement divisé par le nombre total de répondants
• Moyenne de la question• Exprimé avec deux décimales ( ex. 0,64 ) • Souvent représenté par le symbole ( p )• En fait c’est un indice de « facilité »• Un indice élevé : la question est facile• Un indice faible : la question est difficile
Indice de difficulté
![Page 15: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/15.jpg)
Interprétation de l’indice de difficulté
• Indices inférieurs à 0,50Pourquoi plus de la moitié des candidats échouent à cette question ?
• Indices inférieurs à 0,30Combien y a-t-il de questions avec des indices aussi faibles dans le test ?Est-ce « normal » que tant de candidats n’aient pas atteint l’objectif mesuré par cette question ?
![Page 16: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/16.jpg)
• Indices supérieurs à 0,90Est-ce que cette question correspond à un objectif important ?Faut-il conserver les questions réussies par tous les candidats ?
Interprétation de l’indice de difficulté
![Page 17: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/17.jpg)
• La somme des indices de difficulté correspond à la moyenne du test
• Le rendement scolaire se distribue « normalement »
• Un test composé de questions de difficulté moyenne reproduira plus fidèlement la distribution « normale » des notes
Interprétation de l’indice de difficulté
![Page 18: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/18.jpg)
Répartition des choix de réponses ( question QCR )
• Distribution du nombre de candidats parmi les choix de réponses
• Exprimée en fréquences brutes et en pourcentages
• Les choix autres que la réponse correcte sont appelés des « leurres »
• Un leurre est-il choisi plus souvent que la bonne réponse ?
• Des leurres sont-ils complètement ignorés ?
![Page 19: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/19.jpg)
Indice de discrimination
• Coefficient de corrélation entre les réponses à la question et le total des autres questions
• Est-ce que les candidats qui réussissent cette question ont aussi un score élevé à l’ensemble des autres questions ?
• Est-ce que les candidats qui échouent cette question ont aussi un score plus faible à l’ensemble des autres questions ?
• Exprimé avec deux décimales ( ex. 0,23 ) • Souvent représenté par le symbole ( r )
![Page 20: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/20.jpg)
Interprétation de l’indice de discrimination
• En théorie ce coefficient de corrélation varie de -1,00 à + 1,00
• Une balise peut être fixée à 0,20 pour signaler un début de discrimination
• Une valeur voisine de zéro ( 0 ) indique qu’il n’y a aucune relation entre le score à cette question et le total des autres questions
• Un indice négatif signale une incohérence : les meilleurs candidats échouent la question, les plus faibles réussissent la question
![Page 21: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/21.jpg)
Interprétation de l’indice de discrimination
• Les items de difficulté moyenne (0,40 à 0,60 ) maximisent généralement la discrimination
• Les items très faciles ou très difficiles discriminent habituellement peu
• L’indice de discrimination est tributaire du test auquel appartient la question et donc moins stable que l’indice de difficulté
• Le nombre de questions et le nombre de sujets influencent le calcul du coefficient de corrélation
![Page 24: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/24.jpg)
Les « préoccupations » docimologiques(Source : G. Cormier)
Équilibre
Fiabilité
Validité
Pertinence
Objectivité Discrimination
DifficultéHomogénéité
(Examen)
Hétérogénéité(Étudiants)
Efficience
Temps Longueur
Équité
Spécificité
![Page 25: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/25.jpg)
Critères pour apprécier les qualitésd’un instrument d ’évaluation
• ValiditéMesure-t-il ce qu ’il prétend mesurer ?
• FidélitéLes résultats sont-ils constants et précis ?
• Commodité - EfficienceTemps requis ? Coût ?
Résultats ?
![Page 26: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/26.jpg)
ValiditéQualité d’un instrument de mesurer réellement ce qu’il doit mesurer selon l’utilisation que l ’on veut en faire
Contenu
Construit
ConcomitantePrédictive
• Congruence - objectifs• Représentativité - items• Structure - schéma théorique• Définition opérationnelle - trait• Corrélation - mesures similaires
• Corrélation - variables à prédire
Interne
Externe
![Page 27: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/27.jpg)
Validité de contenu
• Chaque item est-il un exemple du type de performance que le test doit mesurer ?
• Collectivement, les items constituent-ils un échantillon représentatif de l ’ensemble des performances qui définissent la variable à mesurer ?
• Préparer un tableau de spécification• Échantillonner les « trois domaines »
![Page 28: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/28.jpg)
Domaines de comportements observables(pour mesurer des objectifs d ’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
![Page 29: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/29.jpg)
Tableau de spécification
Connaissance Compréhension Application Nombre de
Objectifs Mémoriser Interpréter Solutionner questions
Notions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : [email protected]
![Page 30: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/30.jpg)
FidélitéQualité qu’a un instrument de mesurer avec la même
exactitude chaque fois qu’il est administré à des sujets équivalents placés dans des conditions similaires
ConstanceStabilité
Équivalence
Consistance interne
• deux administrations• corrélation
• deux formes parallèles• corrélation
• interrelation entre les items• homogénéité interne• alpha de Cronbach
![Page 31: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/31.jpg)
Objectivité et Fidélité• Qualité d’un procédé ou d’un instrument de mesure qui
est relativement résistant aux biais et aux erreurs de correction ou d’appréciation
• L’objectivité d’un instrument de mesure permet à un étudiant d’obtenir la même note indépendamment du correcteur ou de l’examinateur
• Standardiser « la clé de correction »• Les défis de l’observation directe
![Page 32: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/32.jpg)
FidélitéCoefficient d ’homogénéité
interneAlpha de Cronbach
k
k - 1
j
t
1 -
où :
k : nombre d’items j : variance des scores à l’item jt : variance des scores à l ’ensemble du test
![Page 33: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/33.jpg)
Commodité - EfficienceRapport entre ce qui est réalisé et les moyens mis en oeuvre
• Élaboration• Administration• Correction• Ressources
• Temps requis• Coût• Résultats
![Page 34: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/34.jpg)
Qualités des instruments
CritèresExamen
OralExamenÉcrit(T)
ExamenÉcrit(O)
ExamenPratique
Validité + + + + + + +
Fidélité 0 + + + + + +
Commodité 0 0 + + 0
![Page 35: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/35.jpg)
Les formulesoù X et Y = scores du « sujet » n et N = ensemble des « sujets »
X
NMoyenne : Mx
X - Mx
2
N
Écart type : sx
X - Mx
sx
Score standard : Zx
X - Mx Y - My
Nsxsy
Corrélation : rxy
Variance : xsx
2
![Page 36: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/36.jpg)
Les formulesoù X = score du « sujet », N = ensemble des « sujets »
et r xx = indice de fidélité
X
NMoyenne : Mx
X - Mx
2
N
Écart type : sx
sx
N
Erreur type (moyenne) : s x =
Niveau de confiance à 95% : plus ou moins 1.96 s x
Erreur de mesure : se = sx 1 – r xx
![Page 37: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/37.jpg)
Distribution normale
-3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0
68 %
95 %
![Page 38: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/38.jpg)
Vocabulaire « docimologique »
• Item• Test • QCR• QCM• QROC• ECOS
Question Examen, épreuve « standardisé »Questions à Choix de RéponsesQuestion à Choix MultipleQuestion à Réponse Ouverte CourteExamen Clinique Objectif Structuré
Instrument de mesure = Examen, test, épreuve
![Page 39: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/39.jpg)
Déroulement de l ’atelier
• Expliquer les composantes de l’analyse d’items• Calculer les indices à l’aide du tableur Excel
• Présenter quelques concepts « docimologiques »• Échanger sur nos pratiques en évaluation des apprentissages• Partager des ressources, des pratiques ?
![Page 40: Faculté de médecine Bureau d’évaluation Docimologie appliquée aux sciences de la santé](https://reader035.vdocuments.fr/reader035/viewer/2022081503/568143a3550346895db025f1/html5/thumbnails/40.jpg)
GIRARD, M. et S. NORMAND, Guide de lecture d’un rapport
d’analyse d’items, Bureau d’évaluation, Faculté de médecine,
Université de Montréal, 2001
GUILBERT, J.J., Guide pédagogique pour les personnels de santé,
OMS, Genève, 1981
LEGENDRE, R., Dictionnaire actuel de l ’éducation, Larousse,
Paris, 1988
MAGNUSSON, David, Test Theory, Addison-Wesley, London, 1967
NORMAND, S., AnItem, Logiciel pour effectuer une analyse
d’items via le chiffrier Excel, Version PC et Mac, Bureau
d’évaluation, Faculté de médecine, Université de Montréal,
2001
Analyse d’items - Bibliographie