définition générale de la démarche évaluative 1- recueillir des informations relatives aux...
Post on 03-Apr-2015
113 Views
Preview:
TRANSCRIPT
Définition générale de la démarche évaluative
• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)
• 2 -Interpréter ces informations afin de porter un jugement
• 3- Dans le but de prendre une décision
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (1)• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)
9, 5 /20 (mesure)
mauvais (jugement)
ajourné (décision)
10, 5 /20 (mesure)
bon (jugement)
reçu (décision)
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (2)• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)
« très bon stage »
« étudiant intelligent très motivé »
« travail insuffisant »
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (3)•La mesure est confondue avec la note
Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)
La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le
rendre public- valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …
1. Recueillir des informations sur la dynamique enseignement-apprentissage
Recueil d’informations issues d’une mesure
PERSPECTIVE PSYCHOMETRIQUE OU
« DOCIMOLOGIQUE » DE L’EVALUATION
Recueil d’informations issues de sources multiples et éclectiques
PERSPECTIVE DE L’EVALUATION
« AUTHENTIQUE »
Clivage entre les situations d’apprentissage et les situations d’évaluation
Enchassement de l’évaluation dans les situations d’apprentissage
Connaissances/ Compétences Mesures à interprétation : -normative -critériée
Critères de performance déterminés ad hoc
- Qualité métrologique des instruments appliqués :
-validité (apparente, de contenu, prédictive, de construit) -fidélité (dans le temps, inter-correcteur)
Authenticité des situations d’évaluation : -validité écologique (généralisabilité, transférabilité -transparence, fiabilité
-Surtout associée aux pratiques pédagogiques issues du « paradigme d’enseignement »
Surtout associée aux pratiques pédagogiques issues du « paradigme d’apprentissage »
2.Interpréter ces informations afin de porter un jugement
Evaluation à interprétation normative
• Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme.
• Décision fondée sur la performance relative de l’étudiant par rapport à la performance du groupe.
Evaluation à interprétation critériée
• Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants.
• Décision fondée sur la performance de l’étudiant par rapport à des critères prédéterminés
2. Interpréter ces informations afin de porter un jugement
Nécessité d ’adosser le processus d ’évaluation à une (plusieurs) théorie(s)
• Théorie de l ’évaluationEx : La perspective docimologique postule :la « décomposabilité » et la « normativité » des compétences• Théorie de la formation Ex : Le paradigme d ’enseignement postule :la « fixité » et la « stabilité» des connaissances
• Théorie de l ’expertise professionnelleEx : Certaines procédures d ’évaluation standardisées peuvent « surcoter » des comportements novices par rapport à des comportements experts
3. Dans le but de prendre une décision
•Ajuster des stratégies d ’apprentissage et d ’enseignement
EVALUATION FORMATIVE
•Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure
EVALUATION SOMMATIVE
•Délivrer une autorisation d ’exercice professionnel
EVALUATION CERTIFICATIVE(Licence ou certification)
Apprentissage Enseignement
Evaluation
Etudiant
« Evaluation drives curriculum »G. Miller, 1961
« Si vous voulez savoir ce que font les professeurs, regardez le programme … »
« …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation»
G. Norman, 1991
Fondements de l’évaluation des apprentissages
1. Approche centrée sur les différences individuelles (1950-60)
(Approche endogène)
• Objet central de la démarche :-Les aptitudes, l’intelligence de l’individu
• Changement observé :-Les habiletés reliées aux aptitudes ou à l’intelligence-Traits unidimensionnels
-Interprétation normative (position de l’individu par rapport aux autres)
• Postulat : -La somme des réponses aux questions est un
indicateur suffisant de l’importance du changement
Fondements de l’évaluation des apprentissages
2. Approche entrée sur un contenu externe à l’individu (1970-90)
(Approche exogène)• Objet central de la démarche :
-Le contenu du programme d’étude• Changement observé :
-Les objectifs pédagogiques -Traits unidimensionnels-Interprétation critériée (individu en rapport avec
la tâche)• Postulat :
-La nombre d’objectifs réussis est un indicateur suffisant de la performance (amplitude du changement)
Fondements de l’évaluation des apprentissages
3. Approche centrée sur le développement de la personne (2000-…)
(Approche écologique)
• Objet central de la démarche :-L’interaction personne/environnement
• Changement observé :-L’adaptation à l’environnement (prévisible et
imprévisible)-Traits multidimensionnels-Interprétation à partir du profil de fonctionnement
de l’individu dans un contexte donné (contrôlé ou aléatoire)
• Postulat : -Le contexte influence (positivement ou négativement) l’accomplissement d’une tâche-La démarche évaluative doit solliciter des contextes « authentiques »
Cours (Interventions)
Programmes (Curriculum)
Institutions (Politiques)
(((Fp
Evaluation
Connaissances (Ce que l’on sait)
Compétences (Ce que l’on sait
faire)
Performances (Ce que l’on fait)
Résultats, effets (patients/indicateurs)
« Outcome-based assessment »
Evaluation des enseignements
(Formations)
Evaluation des apprentissages
(Etudiants)
Performances cliniques
Connaissances
hautement organisées
Processus de contrôle
de haut niveau
Compétence clinique
Attitudes
HabiletésConnaissances
Raisonnement clinique(Résolution de
problèmes)
Pratiques médicales réelles
Modifié d ’après Newble, Norman et Van der Vleuten, 2000
Questions à choix multiple (1960)
•Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir
Points forts•Objectivité grande•Validité de contenu possiblement élevée•Fidelité•Correction automatisable
Points faibles•Validité de construit faible•Explore essentiellement des connaissances déclaratives décontextualisées•Favorise des apprentissages superficiels et peu transférables•Elaboration difficile et souvent caricaturale
Cartes conceptuelles(Concept mapping) 1990
Points forts•Permet d ’accéder à l ’organisation des connaissances•Favorise des apprentissages en profondeur•Outil puissant pour dépister les conceptions erronées•Contextualisation à un problème de santé possible•Validité de contenu vraisemblable
Points faibles•Outil d ’évaluation sommative récent•Recherche évaluative encore restreinte.•N ’évalue pas les connaissances procédurales.
•Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement.•Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques.
L ’information du malade :(annoncer une « mauvaise
nouvelle ») Obstacles
Mécanismes de défense
Situation particulière du
patient
« Mentalités » particulières
malade médecin
se heurte à des
dus à des
dus à
la dus à des
présents chez le
présents chez le
famille
culture
vécu
Paternalisme médical
Conformisme du patient
Manque de communication dans l’équipe
soignanteliés à un
liée à sa
liée
à sa liée à son
telles
que l
e
telles que le
diagnostic pronostic
investigations
traitement
a trait au
a trai
t au
a trait au
a trait aux
: signale les concepts ou « items » illustrés dans la situation d’étude
Grégoire, DCEM1 Carte conceptuelle
Extrait
L ’information du malade :(annoncer une « mauvaise nouvelle »)
Obstacles
Mécanismes de défense
Situation particulière du patient « Mentalités »
particulières
malade médecin
Déni
Déplacement
Agressivité
Sublimation
Régression
se heurte à des
dus à des
dus à
la dus à des
présents chez leprésents chez le
famille culture vécu Paternalisme médical
Conformisme du patient
Manque de communication dans
l’équipe soignante
Contraintes matérielles (temps, locaux, disponibilité)
liés à un
liés à des
liée à
sa liée à sa
liée à son telles que
le
telles que le
mensonge
évitement
rationalisation
fuite en avant
fausse réassurance
tel que
tel que
tel qu
ete
l que
tel q
ue
tel quetel quetel quetel que
tel que
diagnostic
pronostic
investigations
traitement
a trait au
a trai
t au
a trait au
a trait aux
Respect de L’autonomie
du patient
une relation médecin-malade fondée sur laConfiance
est essentielle pour le est e
ssenti
elle po
ur
Stratégies
Environnement adapté
Plan de discussion
contrôle de la vitesse de fourniture de
l’information par le patient
durée
intégrant laprévoyant un
utilisant un
respectant le
Dispositions réglementaires
exige la mise
en œuvre
de
espérancepréservant l’
doit prendre en compte
des
Code de déontologie
Charte du malade hospitalisé
telles
quetelles
que
Code pénal
telles
que
claire
loyale
appropriée
qui p
resc
rit un
e in
forma
tion
famille
qui prévoit
l’information de
secret professionn
elqui prescrit le
qui est opposable à la
: signale les concepts ou « items » illustrés dans la situation d’étude
Grilles d’évaluation comportementales 1980
•Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale.•Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9).
Points forts•Instrument facile à utiliser•Peu consommateur de temps•Plusieurs dimensions appréciées sur un même période de temps•Des grilles peuvent être adaptées à l ’évaluation par des pairs ou par des patients
Points faibles•Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9)•Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres•Critères parfois peu standardisés voire non directement observés.
Patients standardisés et ECOS 1975•Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d ’un patient.•Les activités d ’interrogatoire, d ’examen physique, d ’éducation et de conseil de l ’étudiant sont appréciées à l ’aide de « checklists », d ’échelles de cotation élémentaires ou globales.•Des tâches procédurales complémentaires exploitant divers matériels (Mannequins, RX, Labo, ECG,…) sont prescrites et côtées .•L ’ensemble fait l ’objet de « stations » d ’évaluation (isolées ou complémentaires) codifiées.
Points forts•Evaluation de l’interrogatoire, de l’examen physique et des habiletés de communication.•Fidélité et validité (de contenu+, de construit +/-) sous certaines conditions•Observation directe•Standardisation et planification possibles•Environnement « contrôlé ».
Points faibles•Compétences logistiques difficile à homogénéiser•Caractère non complètement authentique•Pénalisation des étudiants « experts »•Fidélité médiocre pour les tâches de haut niveau (raisonnement clinique, jugement et décision)•Exigences docimologiques contraignantes•Vécu parfois « stressé » des étudiants•Coût
Grilles d’évaluation longitudinale 1980
•Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale.•Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9).Points forts•Instrument facile à utiliser•Peu consommateur de temps•Plusieurs dimensions appréciées sur un même période de temps•Des formulaires peuvent être adaptées à l ’évaluation par des pairs ou par des patients
Points faibles•Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9)•Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres•Critères parfois peu standardisés voire non directement observés.
Clinical Evaluation Exercise (CEX) ou mini CEX 1990
•L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion.•Rétro-action + Echelle d ’évaluation à 9 points
Points forts•Observation directe•Objectivité•Coût minime•Vrais patients•Interaction directe « enseignant-étudiant »•Satisfaction élevée des étudiants
Points faibles•Fidélité inter-correcteur médiocre•Discrimination faible entre étudiants faibles et forts•Validité externe (généralisabilité) faible•Nécessité de répétition ( 10 à 14 séances)•Consommation de temps
Test de concordance de script 1998
Points forts•Evaluation objective du processus et non pas seulement du résultat du raisonnement clinique•Authenticité de la situation cherchée(problèmes mal structurés)•Validité de construit et validité prédictive documentées•Facilité raisonnable de mise en œuvre•Coût acceptable
Points faibles•Conception un peu normative du raisonnement clinique•Se réfère à une décomposabilité du processus de raisonnement clinique
•. Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse.
Analyse de « cas cliniques »Patient Management Problem (PMP) 1967
Sequential Management Problem (SMP) 1974Modified Essay Question (MEQ) 1975
Points forts•Objectivité dans l ’appréciation d ’un « raisonnement ».
Points faibles•Hétérogénéité des formats•Effet « indice »•Nature « comptable » des scores•Pénalisation des étudiants « experts »•Validité externe (généralisabilité) très médiocre (spécificité de contenu).
•Dossier clinique (sous forme « papier » ou « numérique ») dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l ’étudiant, après chacune de ses réponses (ouvertes ou fermées) •Comparaison de la démarche employée par l ’étudiant à celle d ’un groupe de référence ou d ’un expert.•Formulation de l ’appréciation à l ’aide de scores +/- combinés.
Objective Structured Long Examination Record (OSLER) 1987
Points forts•Observation directe•Authenticité de la situation•Objectivité•Validité de contenu et de construit satisfaisante•Jugement des examinateurs fortement sollicité•Facilité de mise en œuvre•Coût faible
Points faibles•Validité externe (généralisabilité) faible•Consommation de temps•Peu de recherche évaluative
•L’étudiant est observé par 2 examinateurs pendant qu ’il interroge et examine un patient puis il argumente sa prise en charge.•Les examinateurs fondent leur jugement en appréciant 10 items (dont 4 concernent l’interrogatoire, 3 l ’examen physique, 1 la démarche d ’investigation, 1 la gestion et le jugement clinique. Chaque item fait l ’objet d ’une cotation (en 3 grades) et d’une note ( en 9 paliers de 35 à 80), étayée par des descripteurs critériés.•Les problèmes sont classés en trois niveaux de difficultés. •Au total 138 possibilités théoriques de cotation sont disponibles.
Audits de dossiers médicaux 1985
•Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants•Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées.•Une rétro-action est éventuellement développée à l ’égard de l ’étudiant.
Points forts•Disponibilité immédiate du matériel•Information directement pertinente par rapport à la prise en charge du patient•Evaluation des pratiques de prévention, de l ’examen physique, de l ’utilisation stratégique des examens complémentaires•Haut degré de fidélité si critères explicites
Points faibles•Qualité variable de la documentation disponible (problème de validité)•Eléments souvent négligés : diagnostic, éducation du patient, procédures•Non observation directe de l ’interaction « étudiant-patient »•Fidélité aléatoire (inter-correcteurs)
Portfolio 1995
Points forts•Authenticité•Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente)•Favorise des apprentissages en profondeur•Coût faible
Points faibles•Processus d ’implantation long •Exigences pédagogiques contraignantes (supervision/tutorat)•Convient parfois mal au style d ’apprentissage de certains étudiants•Nécessite une acceptation et une maîtrise du paradigme « qualitatif »
• Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. •Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,....-une analyse réflexive développée à partir de cette banque documentaire.
Evaluation/certification des compétences
cliniques
Théorie de la compétence
Théorie de l ’évaluation
Théorie de la formation
Théorie de la santé
Théorie de la santé
• Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants?
•Maladies/soins aigus
•Soins secondaires/tertiaires
•Santé des individus
•Soins intermittents/
traitement des épisodes
•Soins en institution
•Modèle bio-clinique
•Prévention/maintien de la santé
•Soins primaires
•Santé des populations
•Continuité des soins
•Soins communautaires
•Modèle bio-psycho-social
Théorie de la formation
• Comment conçoit-on l’articulation de la formation par les stages et de la formation par les enseignements formels?
• Comment conçoit-on la supervision clinique pendant le stage?
•Stages = contextes d’application de connaissances et de compétences développées ailleurs?
•Maître de stage = démonstrateur, vérificateur?
•Stages = contextes d’apprentissage, d’enseignement etd’évaluation?
•Maître de stage = modèle de rôle professionnel explicite, médiateur, motivateur?
Théorie de la compétence
• Favorise t-on pendant les stages des pratiques cohérentes avec les modèles de compétence que l’on veut développer?
•Concernant le processus de raisonnement clinique?
•Concernant le processus de décision médicale?
•… ?
Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)
•Concernant la conception des modalités d’évaluation
-La production est destinée à un jury-Il n’y a aucune contrainte de temps fixée arbitrairement-La tâche et ses exigences sont connues avant la situation d’évaluation-L’évaluation peut exiger une certaine forme de collaboration avec les pairs-Les tâches d’évaluation sont récurrentes
•Concernant l’orientation cognitive des tâches
•-L’évaluation n’inclut que des tâches contextualisées
•-L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques
•-L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants
•-L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant
Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989)
•Concernant les critères de correction
-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences-Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée-L’auto-évaluation fait partie de l’évaluation-Les critères de réussite sont démystifiés pour l’étudiant
•Concernant l’éthique et la déontologie
-L’évaluation doit déterminer les forces des étudiants-Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés-L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants-Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés-L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage
Caractéristiques d'une tâche d'évaluation exemplaire (ME Huba et JE Freed, 2000)
Valide Concerne des connaissances pertinentes par rapport aux apprentissages visés.
Cohérente Prescrit des activités qui sollicitent effectivement les compétences visées
Requiert la maîtrise autant de connaissances d'action que de connaissances déclaratives
Authentique Propose des problèmes mal structurés qui reproduisent les défis réels du contexte professionnel
Evalue les apprentissages au moment où ceux-ci sont développés Motivante Provoque l'engagement et la persévérance dans les tâches
d'apprentissage Défiante Ne requiert pas que des tâches routinières
Suscite des stratégies d'apprentissage de haut niveau taxonomique
Respectueuse
Reconnaît la singularité de chaque apprenant Accepte différents styles d'apprentissage et différentes approches
de résolution de problèmes Ne favorise pas un groupe particulier d'étudiants
Réactive Comporte une rétroaction Sollicite l'auto-évaluation
Caractéristiques d'objectifs d'apprentissage
formulés de façon efficiente
Sont centrés sur l'étudiant et non sur l'enseignant,
Sont centrés sur les apprentissages résultant d'une activité plutôt que sur l'activité elle-même,
Reflètent les missions de l'institution et les valeurs qu'elle souhaite promouvoir,
Mettent l'accent sur des aspects non triviaux de l'apprentissage, crédibles pour les étudiants,
Mettent l'accent sur des habiletés et des compétences centrales pour la discipline, basées sur des standards professionnels d'excellence,
Sont assez généraux pour induire des
apprentissages importants mais assez spécifiques pour être opérationnels
Théorie de la
formation
Théorie de l ’évaluatio
n
Théorie de la
compétenceLogique
d ’enseignement
Perspective docimologiq
ue
Approche didactique
•Corollaires
•Les tâches professionnelles réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les
compétences qu ’ils maîtrisent. Standardisation
•Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment
où elle se produit. Externalisation
•La rigueur du processus d ’évaluation doit pouvoir être
démontrée « expérimentalement ». Mesure
•Perspective traditionnelle
Performances cliniques
Connaissances
hautement organisées
Processus de contrôle
de haut niveau
Compétence clinique
Attitudes
HabiletésConnaissances
Raisonnement clinique(Résolution de
problèmes)
QCM ECOS
Echelles
« Cas cliniques »
Pratiques médicales réelles
Cex
Modifié d ’après Newble, Norman et Van der Vleuten, 2000
Théorie de la formation
Théorie de l ’évaluation
Théorie de la compétence
Logique d ’apprentissage
Perspective de l’évaluation authentique
Approche systémique
Corollaires •Les tâches professionnelles réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent.
Contextualisation
•Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se
produit. Récurrence et interaction
•Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer)
Eclectisme
•Perspective alternative
Connaissances6
hautement organisées
Processus de contrôle
de haut niveau7
Performances cliniques
Compétence clinique
Attitudes3
Habiletés2Connaissances1
Raisonnement clinique4
(Résolution de problèmes)
Audits de dossier Pratiques médicales
réellesModifié d ’après Newble, Norman et Van der Vleuten, 2000
Portfolio1,6.Schémas conceptuels2,3,4.Enregistrements audio/video2,3,4.Témoignages écrits5,6,7.Développements réflexifs….
Osler
L ’introuvable « étalon or » (1)Le problème des outils pour évaluer la
compétence• Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident.
–Holmboe ES, Hawkins RE. 1998
• Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique.
–Newble D, Norman G, Van der Vleuten. 2000
• Il n ’y a aucune méthode idéale pour évaluer la compétence médicale
-Donabedian A. 2000
L ’introuvable « étalon or » (2)Le problème de la définition des « standards »
• Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quel devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas.
–Kane MT, Crooks TJ et Cohen AS., 1999
• La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité.
–Friedman BenDavid M. 2000
Recommandations à visée didactique
• Développer les tâches d ’évaluation autour de scénarios authentiques, possédant un réel niveau de complexité.
• Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.
• Lorsque des méthodes d ’observation directe sont employées, faire verbaliser les étudiants sur le processus développé.
• Utiliser des systèmes de cotation simples.
•Exposer les étudiants à un nombre suffisant de situations
Recommandations à visée « écologique » et déontologique
• Développer des procédures d ’évaluation/certification cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…)
• Développer des procédures d ’évaluation/certification cohérentes avec les options pédagogiques conceptuelles du programme compte tenu des conséquences attendues chez les étudiants.
Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,…
Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation
Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques
Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur
Le professeur est conçu avant tout comme un facilitateur des apprentissages
L'enseignement, l'apprentissage et l'évaluation sont séparés
L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage
L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages
L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages
L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages
Les apprentissages sont mesurés indirectement grâce à des tests standardisés
Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios
Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble
Dispositifs de formation fondés sur une logique d’enseignement
Dispositifs de formation fondés sur une logique d’apprentissage
Modèle indicatifde plan d’évaluation1. But de l’évaluation
Pourquoi l’évaluationType de décision à prendre Diagnostic forces faiblesse étudiants
Décision administrativeImpact de la formation
2. Compétences à évaluerAspects du contenu à évaluer
Type de compétence à évaluer processusproduitprocessus+produitDécrire:
Nature des tâches problèmes simplesproblèmes complexes bien structurésproblèmes complexes mal structurésDécrire:
Composantes des tâches connaissances (déclaratives/action)stratégies cognitivesstratégies métacognitivesstratégies psycho-affectivesDécrire:
3. Activités soumises à l’étudiantMode de présentation Problème écrit
Questionnement audio/videoMatériel concretMise en situationDécrire:
Contexte d’exécution RessourcesTemps allouéType d’interaction attenduDécrire:
4. Critères d’évaluationLes rubriquesMode de correction Analytique
GlobaleCombinéeDécrire:
5. Evaluateur L’enseignantL’étudiantGroupe d’expertAutreDécrire:
6. Nombre d’interventions évaluativesUne foisPlusieurs foisDécrire:
Revues générales
•Holmboe ES, Hawkins RE. Methods for evaluating clinical competence of residents in internal medicine : a review. Ann Intern Med 1998 ; 129 : 42-48.
•Newble D, Norman G, Van der Vleuten. Assessing clinical reasoning. In: Clinical reasoning in the Health Professions. J Higgs and M Jones (Eds), Butterworth Heineman, Oxford : 2000.
•LaDuca A. Validation of professional licensure examinations. Professions Theory, Test design and construct validity. Eval Health Professions 1994 ; 17 : 178-197.
•Tamblyn R. Is the public being protected? Prevention of suboptimal medical practice through training programs and credentialing examinations. Eval Health Professions 1994 ; 17 : 198-221.
•Kane MT, Crooks TJ, Cohen AS. Designing and evaluating standard-setting procedures for licensure and certification tests. Adv Health Sc Ed 1999 ; 4 : 195-207.
Guides et recommandations
•Newble D, Dauphinee D, MacDonald M, Mulholland H, Dawson B, Page G, Swanson D, Thomson A, Van der Vleuten C. Guidelines for assessing clinical competence. Teach Learn Med 1994 ; 6 : 213-220.
•Challis M. Portfolio-based learning and assessment in medical education. Med Teacher 1999 ; 21 : 370-386.
•Friedman Ben-David M. Standard setting in student assessment. Med Teacher 2000 ; 22 : 120-130.
•Collins JP, Harden RM. Real patients, simulated patients and simulators in clinical examinations. Med Teacher 1998 ; 20 : 508-521.
•Harden RM, Gleeson FA. Assessment of medical competence using an Objective Structured Clinical Examination. Med Educ 1979 ; 13 : 39-54.
•Gleeson F. Assessment of clinical comptence using the Objective Structured Long Examination Record. Med Teacher 1997 ; 19 : 7-14.
Articles de recherche évaluative
•Skinner BD, Newton WP, Curtis P. The educational value of an OSCE in a family pratice residency. Acad Med 1997 ; 72 : 722-724.
•Norcini JJ, Blank L, Arnold GK, Kimball HR. The Mini Clinical Evaluation Exercise (CEX) : a preliminary investigation. Ann Intern Med 1995 ; 123 : 795-799.
•Brailovsky CA, Grand ’Maison P, Lescop J. Construct validity of the Quebec Licensing Examination SP-based OSCE. Teach Learn Med 1997 ; 9 : 44-50.
•West DC, Pomeroy JR, Park JK, Gerstenberger EA, Sandoval J. Critical Thinking in Graduate Medical Education. A Role for Concept Mapping Assessment? JAMA. 2000;284:1105-1110
Articles « d ’opinion »
•Dauphinee WD. Assessing clinical performance. Where do we stand and what might we expect? JAMA 1995 ; 274 : 741-742.
•McGuire CH. Reflections of a Maverick measurement maven. JAMA 1995 ; 274 : 735-740.
•Haladyna TM. A Research agenda for licensing and certification teting validation studies. Eval Health Professions 1994 ; 17 : 242-256.
•Snadden D. Portfolios-attempting to measure the
unmeasurable? Med Educ.1999;33:478-489.
•Mavis BE, Henry RC, Ogle KS, Hoppe RB. The Emperor ‘ New Clothes : The OSCE reassessed. Acad Med 1996 ; 71 : 447-453.
•Engel JD. Narratives of construct validation. Eval Health Professions 1994 ; 17 : 222-235.
top related