[email protected] faculté de médecine bureau dévaluation consolider nos pratiques en...
TRANSCRIPT
Faculté de médecineBureau d’évaluation
Consolider nos pratiques
en évaluation des apprentissages
Est-ce que la docimologie
peut nous aider ?
Serge Normand, M.A.
Mars 2008
Évaluationdes
apprentissages
Évaluationde
l’enseignement
Évaluationdes
programmes
Domaines de l’évaluation en éducation
Agrément
Finalités d’un systèmed’évaluation des apprentissages
Faculté
Certifiercompétences
Mesurerles progrès
Responsable
Évaluationcertificativ
e
Évaluationcertificativ
e
Évaluation
formative
Évaluation
formative
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteSeuil de passage
Certification
Performanceof Tasks
Doing the right thing
Doing the thing right
The right person doing it
Dundee - Three Circle Model
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
Évaluation
Sait comment
Sait
Fait
Démontre
Évaluer les apprentissagesCe que nous
faisonsle plus !
Évaluation
Sait comment
Sait Fait
Démontre
Évaluer les apprentissages Ce que nous devrions
fairele plus !
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteSeuil de passage
Établir des normes de réussite Setting Performance Standards
C o m p é t e n c e s
Niveauacceptable
Déterminer la note de passage
Sources d’information
Données recueillies Jugement d’experts
Distributiondes
résultats
Caractéristiquesdes
questions
“Examinee centered” “Test centered”
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + +(80%)
14(70%)
4(60%)
2
+ + +(70%)
9(60%)
12(50%)
7
+ +(60%)
4(50%)
13(40%)
5
+(50%)
1(40%)
1(30%)
0
Nombre de questions : 72
SAP : 61 %
Déterminer la note de passage( selon la méthode Hofstee )
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.
• Pertinence• Pertinence• Pertinence• Pertinence
par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation
Quels sont les défauts de nos examens ?
Réponses des étudiants :
Quels sont les critères pour apprécier nos examens ?
Réponses des docimologues :
Validité
Fidélité
Commodité
Objet
Mesures
RésultatsProtocole
• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance
Améliorer nos pratique en évaluation ?
Quelques pistes de solution:
Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)
Connaissance
Mémoriser
Compréhensi
on
Interpréter
Application
Solutionner
Tableau de spécification
Connaissance Compréhension Application Nombre de
Objectifs Mémoriser Interpréter Solutionner questions
Notions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : [email protected]
Basic science matrix
Molecular / Single organ / Whole person / Community
cellular organ system family
Organization &
structure
Maintenance &
homeostasis
Defense against
disease & injury
Mechanisms of
and response to
disease & injury
Therapies &
interventions
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
Clinical medicine matrix - Clinical approaches to health & disease
Preventive / Acute Emergency Chronic Behavioral
developmental family
Fetus / Neonates
Children
Adolescents
Adults
Elders
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
Exercice 1
Préparer une ébauche de tableau de spécificationpour une épreuve écrite dans votre discipline :
1. Importance relative des « chapitres »2. Niveaux taxonomiques
• Mémoriser• Interpréter• Solutionner
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour la rédaction de questions de type QCM et QROC
1
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
L’analyse d’itemsune technique docimologiquepour valider des questions d’examen
2
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo/[email protected]
Merci de votre attention !