faculté de médecine bureau dévaluation consolider nos pratiques en évaluation des apprentissages...
TRANSCRIPT
Faculté de médecineBureau d’évaluation
Consolider nos pratiques
en évaluation des apprentissages
Est-ce que la docimologie
peut nous aider ?
Serge Normand, M.A.
20-24 mars 2006
Édition [email protected]
• Certifier• Aider• Motiver
Question préalable
Qu’attendez-vous de l’évaluation ?
Rien, sinon une corvée dont je
souhaiterais bien être dispensée !
Édition [email protected]
Nos activités
Première séanceÉvaluer les apprentissage: repèresRegards sur nos pratiques actuellesNormes de rédaction des épreuves écrites
Deuxième séanceGrilles d’observationAnalyse d’items
Édition [email protected]
• Pertinence• Pertinence• Pertinence• Pertinence
par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation
Quels sont les défauts de nos examens ?
Réponses des étudiants :
Édition [email protected]
Quels sont les critères pour apprécier nos examens ?
Réponses des docimologues :
Validité
Fidélité
Commodité
Objet
Mesures
RésultatsProtocole
Édition [email protected]
• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance
Améliorer nos pratique en évaluation ?
Quelques pistes de solution:
Édition [email protected]
Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
Édition [email protected]
Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)
Connaissance
Mémoriser
Compréhensi
on
Interpréter
Application
Solutionner
Édition [email protected]
Tableau de spécification
Connaissance Compréhension Application Nombre de
Objectifs Mémoriser Interpréter Solutionner questions
Notions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : [email protected]
Édition [email protected]
Édition [email protected]
Basic science matrix
Molecular / Single organ / Whole person / Community
cellular organ system family
Organization &
structure
Maintenance &
homeostasis
Defense against
disease & injury
Mechanisms of
and response to
disease & injury
Therapies &
interventions
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
Édition [email protected]
Clinical medicine matrix - Clinical approaches to health & disease
Preventive / Acute Emergency Chronic Behavioral
developmental family
Fetus / Neonates
Children
Adolescents
Adults
Elders
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
Édition [email protected]
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
Édition [email protected]
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
Édition [email protected]
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
Édition [email protected]
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.
Édition [email protected]
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
Analysons nos épreuves :
• écrites• orales• pratiques
Fait
Démontre
Sait comment
Sait
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour la rédaction de questions de type QCM et QROC
1
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour l’élaboration de grilles d’observation
2
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
L’analyse d’itemsune technique docimologiquepour valider des questions d’examen
3
Édition [email protected]
Mes références « Coup de cœur » 2005
The place of the oral examination in today’s assessment systems
Margery H. Davis & Indika Karunathilake
Medical Teacher, Vol. 27, No. 4, 2005, pp.294-297
Édition [email protected]
www.medbev.umontreal.ca/docimo/medulb.htm
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo/medulb.htm
Merci de votre attention !