définition générale de la démarche évaluative 1- recueillir des informations relatives aux...

Définition générale de la démarche évaluative

• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)

• 2 -Interpréter ces informations afin de porter un jugement

• 3- Dans le but de prendre une décision

Quelques conceptions et/ou pratiques erronées en matière

d’évaluation (1)• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)

9, 5 /20 (mesure)

mauvais (jugement)

ajourné (décision)

10, 5 /20 (mesure)

bon (jugement)

reçu (décision)


d’évaluation (2)• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)

« très bon stage »

« étudiant intelligent très motivé »

« travail insuffisant »


d’évaluation (3)•La mesure est confondue avec la note

Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)

La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le

rendre public- valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …

1. Recueillir des informations sur la dynamique enseignement-apprentissage

Recueil d’informations issues d’une mesure

PERSPECTIVE PSYCHOMETRIQUE OU

« DOCIMOLOGIQUE » DE L’EVALUATION

Recueil d’informations issues de sources multiples et éclectiques

PERSPECTIVE DE L’EVALUATION

« AUTHENTIQUE »

Clivage entre les situations d’apprentissage et les situations d’évaluation

Enchassement de l’évaluation dans les situations d’apprentissage

Connaissances/ Compétences Mesures à interprétation : -normative -critériée

Critères de performance déterminés ad hoc

- Qualité métrologique des instruments appliqués :

-validité (apparente, de contenu, prédictive, de construit) -fidélité (dans le temps, inter-correcteur)

Authenticité des situations d’évaluation : -validité écologique (généralisabilité, transférabilité -transparence, fiabilité

-Surtout associée aux pratiques pédagogiques issues du « paradigme d’enseignement »

Surtout associée aux pratiques pédagogiques issues du « paradigme d’apprentissage »

2.Interpréter ces informations afin de porter un jugement

Evaluation à interprétation normative

• Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme.

• Décision fondée sur la performance relative de l’étudiant par rapport à la performance du groupe.

Evaluation à interprétation critériée

• Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants.

• Décision fondée sur la performance de l’étudiant par rapport à des critères prédéterminés

2. Interpréter ces informations afin de porter un jugement

Nécessité d ’adosser le processus d ’évaluation à une (plusieurs) théorie(s)

• Théorie de l ’évaluationEx : La perspective docimologique postule :la « décomposabilité » et la « normativité » des compétences• Théorie de la formation Ex : Le paradigme d ’enseignement postule :la « fixité » et la « stabilité» des connaissances

• Théorie de l ’expertise professionnelleEx : Certaines procédures d ’évaluation standardisées peuvent « surcoter » des comportements novices par rapport à des comportements experts

3. Dans le but de prendre une décision

•Ajuster des stratégies d ’apprentissage et d ’enseignement

EVALUATION FORMATIVE

•Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure

EVALUATION SOMMATIVE

•Délivrer une autorisation d ’exercice professionnel

EVALUATION CERTIFICATIVE(Licence ou certification)

Apprentissage Enseignement

Evaluation

Etudiant

« Evaluation drives curriculum »G. Miller, 1961

« Si vous voulez savoir ce que font les professeurs, regardez le programme … »

« …Si vous voulez savoir ce que font les étudiants, regardez le système d’évaluation»

G. Norman, 1991

Fondements de l’évaluation des apprentissages

1. Approche centrée sur les différences individuelles (1950-60)

(Approche endogène)

• Objet central de la démarche :-Les aptitudes, l’intelligence de l’individu

• Changement observé :-Les habiletés reliées aux aptitudes ou à l’intelligence-Traits unidimensionnels

-Interprétation normative (position de l’individu par rapport aux autres)

• Postulat : -La somme des réponses aux questions est un

indicateur suffisant de l’importance du changement


2. Approche entrée sur un contenu externe à l’individu (1970-90)

(Approche exogène)• Objet central de la démarche :

-Le contenu du programme d’étude• Changement observé :

-Les objectifs pédagogiques -Traits unidimensionnels-Interprétation critériée (individu en rapport avec

la tâche)• Postulat :

-La nombre d’objectifs réussis est un indicateur suffisant de la performance (amplitude du changement)


3. Approche centrée sur le développement de la personne (2000-…)

(Approche écologique)

• Objet central de la démarche :-L’interaction personne/environnement

• Changement observé :-L’adaptation à l’environnement (prévisible et

imprévisible)-Traits multidimensionnels-Interprétation à partir du profil de fonctionnement

de l’individu dans un contexte donné (contrôlé ou aléatoire)

• Postulat : -Le contexte influence (positivement ou négativement) l’accomplissement d’une tâche-La démarche évaluative doit solliciter des contextes « authentiques »

Cours (Interventions)

Programmes (Curriculum)

Institutions (Politiques)

(((Fp

Evaluation

Connaissances (Ce que l’on sait)

Compétences (Ce que l’on sait

faire)

Performances (Ce que l’on fait)

Résultats, effets (patients/indicateurs)

« Outcome-based assessment »

Evaluation des enseignements

(Formations)

Evaluation des apprentissages

(Etudiants)

Performances cliniques

Connaissances

hautement organisées

Processus de contrôle

de haut niveau

Compétence clinique

Attitudes

HabiletésConnaissances

Raisonnement clinique(Résolution de

problèmes)

Pratiques médicales réelles

Modifié d ’après Newble, Norman et Van der Vleuten, 2000

Questions à choix multiple (1960)

•Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir

Points forts•Objectivité grande•Validité de contenu possiblement élevée•Fidelité•Correction automatisable

Points faibles•Validité de construit faible•Explore essentiellement des connaissances déclaratives décontextualisées•Favorise des apprentissages superficiels et peu transférables•Elaboration difficile et souvent caricaturale

Cartes conceptuelles(Concept mapping) 1990

Points forts•Permet d ’accéder à l ’organisation des connaissances•Favorise des apprentissages en profondeur•Outil puissant pour dépister les conceptions erronées•Contextualisation à un problème de santé possible•Validité de contenu vraisemblable

Points faibles•Outil d ’évaluation sommative récent•Recherche évaluative encore restreinte.•N ’évalue pas les connaissances procédurales.

•Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement.•Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques.

L ’information du malade :(annoncer une « mauvaise

nouvelle ») Obstacles

Mécanismes de défense

Situation particulière du

patient

« Mentalités » particulières

malade médecin

se heurte à des

dus à des

dus à

la dus à des

présents chez le

présents chez le

famille

culture

vécu

Paternalisme médical

Conformisme du patient

Manque de communication dans l’équipe

soignanteliés à un

liée à sa

liée

à sa liée à son

telles

que l

e

telles que le

diagnostic pronostic

investigations

traitement

a trait au

a trai

t au

a trait au

a trait aux

: signale les concepts ou « items » illustrés dans la situation d’étude

Grégoire, DCEM1 Carte conceptuelle

Extrait

L ’information du malade :(annoncer une « mauvaise nouvelle »)

Obstacles

Mécanismes de défense

Situation particulière du patient « Mentalités »

particulières

malade médecin

Déni

Déplacement

Agressivité

Sublimation

Régression

se heurte à des

dus à des

dus à

la dus à des

présents chez leprésents chez le

famille culture vécu Paternalisme médical

Conformisme du patient

Manque de communication dans

l’équipe soignante

Contraintes matérielles (temps, locaux, disponibilité)

liés à un

liés à des

liée à

sa liée à sa

liée à son telles que

le

telles que le

mensonge

évitement

rationalisation

fuite en avant

fausse réassurance

tel que

tel que

tel qu

ete

l que

tel q

ue

tel quetel quetel quetel que

tel que

diagnostic

pronostic

investigations

traitement

a trait au

a trai

t au

a trait au

a trait aux

Respect de L’autonomie

du patient

une relation médecin-malade fondée sur laConfiance

est essentielle pour le est e

ssenti

elle po

ur

Stratégies

Environnement adapté

Plan de discussion

contrôle de la vitesse de fourniture de

l’information par le patient

durée

intégrant laprévoyant un

utilisant un

respectant le

Dispositions réglementaires

exige la mise

en œuvre

de

espérancepréservant l’

doit prendre en compte

des

Code de déontologie

Charte du malade hospitalisé

telles

quetelles

que

Code pénal

telles

que

claire

loyale

appropriée

qui p

resc

rit un

e in

forma

tion

famille

qui prévoit

l’information de

secret professionn

elqui prescrit le

qui est opposable à la

: signale les concepts ou « items » illustrés dans la situation d’étude

Grilles d’évaluation comportementales 1980

•Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale.•Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9).

Points forts•Instrument facile à utiliser•Peu consommateur de temps•Plusieurs dimensions appréciées sur un même période de temps•Des grilles peuvent être adaptées à l ’évaluation par des pairs ou par des patients

Points faibles•Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9)•Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres•Critères parfois peu standardisés voire non directement observés.

Patients standardisés et ECOS 1975•Une personne (bien portant, patient stabilisé, comédien) est entraînée à jouer de manière reproductible le rôle standardisé d ’un patient.•Les activités d ’interrogatoire, d ’examen physique, d ’éducation et de conseil de l ’étudiant sont appréciées à l ’aide de « checklists », d ’échelles de cotation élémentaires ou globales.•Des tâches procédurales complémentaires exploitant divers matériels (Mannequins, RX, Labo, ECG,…) sont prescrites et côtées .•L ’ensemble fait l ’objet de « stations » d ’évaluation (isolées ou complémentaires) codifiées.

Points forts•Evaluation de l’interrogatoire, de l’examen physique et des habiletés de communication.•Fidélité et validité (de contenu+, de construit +/-) sous certaines conditions•Observation directe•Standardisation et planification possibles•Environnement « contrôlé ».

Points faibles•Compétences logistiques difficile à homogénéiser•Caractère non complètement authentique•Pénalisation des étudiants « experts »•Fidélité médiocre pour les tâches de haut niveau (raisonnement clinique, jugement et décision)•Exigences docimologiques contraignantes•Vécu parfois « stressé » des étudiants•Coût

Grilles d’évaluation longitudinale 1980

•Des échelles de notation (de 1 à 9) sont développées pour mesurer 10 dimensions : le jugement clinique, les connaissances médicales, l ’interrogatoire, l ’examen physique, les habiletés procédurales, les habiletés interpersonnelles, les soins médicaux, l ’humanisme, le professionnalisme, la compétence générale.•Des descripteurs comportementaux sont établis pour chaque seuil : performances non satisfaisantes (1-3),satisfaisantes (4-6),supérieures (7-9).Points forts•Instrument facile à utiliser•Peu consommateur de temps•Plusieurs dimensions appréciées sur un même période de temps•Des formulaires peuvent être adaptées à l ’évaluation par des pairs ou par des patients

Points faibles•Discrimination faible entre étudiants forts et faibles (96% des notes entre 6 et 9)•Effet halo : l ’appréciation de certaines dimensions contamine celle de toutes les autres•Critères parfois peu standardisés voire non directement observés.

Clinical Evaluation Exercise (CEX) ou mini CEX 1990

•L’étudiant est observé pendant qu’il interroge et examine un patient puis il présente le cas et en discute la gestion.•Rétro-action + Echelle d ’évaluation à 9 points

Points forts•Observation directe•Objectivité•Coût minime•Vrais patients•Interaction directe « enseignant-étudiant »•Satisfaction élevée des étudiants

Points faibles•Fidélité inter-correcteur médiocre•Discrimination faible entre étudiants faibles et forts•Validité externe (généralisabilité) faible•Nécessité de répétition ( 10 à 14 séances)•Consommation de temps

Test de concordance de script 1998

Points forts•Evaluation objective du processus et non pas seulement du résultat du raisonnement clinique•Authenticité de la situation cherchée(problèmes mal structurés)•Validité de construit et validité prédictive documentées•Facilité raisonnable de mise en œuvre•Coût acceptable

Points faibles•Conception un peu normative du raisonnement clinique•Se réfère à une décomposabilité du processus de raisonnement clinique

•. Un problème clinique est soumis à l’étudiant qui doit interpréter des données et prendre des décisions. Des hypothèses d’interprétation ou de décisions lui sont fournies en même temps que des informations nouvelles lui sont communiquées. L’étudiant doit indiquer à l’aide d’une échelle l’importance du crédit ou du discrédit que l’information nouvelle apporte à l’hypothèse.

Analyse de « cas cliniques »Patient Management Problem (PMP) 1967

Sequential Management Problem (SMP) 1974Modified Essay Question (MEQ) 1975

Points forts•Objectivité dans l ’appréciation d ’un « raisonnement ».

Points faibles•Hétérogénéité des formats•Effet « indice »•Nature « comptable » des scores•Pénalisation des étudiants « experts »•Validité externe (généralisabilité) très médiocre (spécificité de contenu).

•Dossier clinique (sous forme « papier » ou « numérique ») dont les informations sont fournies de manière séquentielle, linéaire ou bien algorithmique, à la demande de l ’étudiant, après chacune de ses réponses (ouvertes ou fermées) •Comparaison de la démarche employée par l ’étudiant à celle d ’un groupe de référence ou d ’un expert.•Formulation de l ’appréciation à l ’aide de scores +/- combinés.

Objective Structured Long Examination Record (OSLER) 1987

Points forts•Observation directe•Authenticité de la situation•Objectivité•Validité de contenu et de construit satisfaisante•Jugement des examinateurs fortement sollicité•Facilité de mise en œuvre•Coût faible

Points faibles•Validité externe (généralisabilité) faible•Consommation de temps•Peu de recherche évaluative

•L’étudiant est observé par 2 examinateurs pendant qu ’il interroge et examine un patient puis il argumente sa prise en charge.•Les examinateurs fondent leur jugement en appréciant 10 items (dont 4 concernent l’interrogatoire, 3 l ’examen physique, 1 la démarche d ’investigation, 1 la gestion et le jugement clinique. Chaque item fait l ’objet d ’une cotation (en 3 grades) et d’une note ( en 9 paliers de 35 à 80), étayée par des descripteurs critériés.•Les problèmes sont classés en trois niveaux de difficultés. •Au total 138 possibilités théoriques de cotation sont disponibles.

Audits de dossiers médicaux 1985

•Des « biopsies » sont effectuées parmi les dossiers des patients pris en charge par les étudiants•Les informations « objectives » du dossier (observations, pancartes, courrier, prescriptions, feuilles de surveillance…) sont analysées et appréciées.•Une rétro-action est éventuellement développée à l ’égard de l ’étudiant.

Points forts•Disponibilité immédiate du matériel•Information directement pertinente par rapport à la prise en charge du patient•Evaluation des pratiques de prévention, de l ’examen physique, de l ’utilisation stratégique des examens complémentaires•Haut degré de fidélité si critères explicites

Points faibles•Qualité variable de la documentation disponible (problème de validité)•Eléments souvent négligés : diagnostic, éducation du patient, procédures•Non observation directe de l ’interaction « étudiant-patient »•Fidélité aléatoire (inter-correcteurs)

Portfolio 1995

Points forts•Authenticité•Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente)•Favorise des apprentissages en profondeur•Coût faible

Points faibles•Processus d ’implantation long •Exigences pédagogiques contraignantes (supervision/tutorat)•Convient parfois mal au style d ’apprentissage de certains étudiants•Nécessite une acceptation et une maîtrise du paradigme « qualitatif »

• Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. •Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,....-une analyse réflexive développée à partir de cette banque documentaire.

Evaluation/certification des compétences

cliniques

Théorie de la compétence

Théorie de l ’évaluation

Théorie de la formation

Théorie de la santé

Théorie de la santé

• Les problèmes de santé rencontrés en stage sont-ils représentatifs des futures pratiques professionnelles des étudiants?

•Maladies/soins aigus

•Soins secondaires/tertiaires

•Santé des individus

•Soins intermittents/

traitement des épisodes

•Soins en institution

•Modèle bio-clinique

•Prévention/maintien de la santé

•Soins primaires

•Santé des populations

•Continuité des soins

•Soins communautaires

•Modèle bio-psycho-social


• Comment conçoit-on l’articulation de la formation par les stages et de la formation par les enseignements formels?

• Comment conçoit-on la supervision clinique pendant le stage?

•Stages = contextes d’application de connaissances et de compétences développées ailleurs?

•Maître de stage = démonstrateur, vérificateur?

•Stages = contextes d’apprentissage, d’enseignement etd’évaluation?

•Maître de stage = modèle de rôle professionnel explicite, médiateur, motivateur?


• Favorise t-on pendant les stages des pratiques cohérentes avec les modèles de compétence que l’on veut développer?

•Concernant le processus de raisonnement clinique?

•Concernant le processus de décision médicale?

•… ?

Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)

•Concernant la conception des modalités d’évaluation

-La production est destinée à un jury-Il n’y a aucune contrainte de temps fixée arbitrairement-La tâche et ses exigences sont connues avant la situation d’évaluation-L’évaluation peut exiger une certaine forme de collaboration avec les pairs-Les tâches d’évaluation sont récurrentes

•Concernant l’orientation cognitive des tâches

•-L’évaluation n’inclut que des tâches contextualisées

•-L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques

•-L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants

•-L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant

Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989)

•Concernant les critères de correction

-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences-Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée-L’auto-évaluation fait partie de l’évaluation-Les critères de réussite sont démystifiés pour l’étudiant

•Concernant l’éthique et la déontologie

-L’évaluation doit déterminer les forces des étudiants-Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés-L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants-Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés-L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage

Caractéristiques d'une tâche d'évaluation exemplaire (ME Huba et JE Freed, 2000)

Valide Concerne des connaissances pertinentes par rapport aux apprentissages visés.

Cohérente Prescrit des activités qui sollicitent effectivement les compétences visées

Requiert la maîtrise autant de connaissances d'action que de connaissances déclaratives

Authentique Propose des problèmes mal structurés qui reproduisent les défis réels du contexte professionnel

Evalue les apprentissages au moment où ceux-ci sont développés Motivante Provoque l'engagement et la persévérance dans les tâches

d'apprentissage Défiante Ne requiert pas que des tâches routinières

Suscite des stratégies d'apprentissage de haut niveau taxonomique

Respectueuse

Reconnaît la singularité de chaque apprenant Accepte différents styles d'apprentissage et différentes approches

de résolution de problèmes Ne favorise pas un groupe particulier d'étudiants

Réactive Comporte une rétroaction Sollicite l'auto-évaluation

Caractéristiques d'objectifs d'apprentissage

formulés de façon efficiente

Sont centrés sur l'étudiant et non sur l'enseignant,

Sont centrés sur les apprentissages résultant d'une activité plutôt que sur l'activité elle-même,

Reflètent les missions de l'institution et les valeurs qu'elle souhaite promouvoir,

Mettent l'accent sur des aspects non triviaux de l'apprentissage, crédibles pour les étudiants,

Mettent l'accent sur des habiletés et des compétences centrales pour la discipline, basées sur des standards professionnels d'excellence,

Sont assez généraux pour induire des

apprentissages importants mais assez spécifiques pour être opérationnels

Théorie de la

formation

Théorie de l ’évaluatio

n

Théorie de la

compétenceLogique

d ’enseignement

Perspective docimologiq

ue

Approche didactique

•Corollaires

•Les tâches professionnelles réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les

compétences qu ’ils maîtrisent. Standardisation

•Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment

où elle se produit. Externalisation

•La rigueur du processus d ’évaluation doit pouvoir être

démontrée « expérimentalement ». Mesure

•Perspective traditionnelle


Connaissances



de haut niveau


Attitudes

HabiletésConnaissances

Raisonnement clinique(Résolution de

problèmes)

QCM ECOS

Echelles

« Cas cliniques »

Pratiques médicales réelles

Cex

Modifié d ’après Newble, Norman et Van der Vleuten, 2000


Théorie de l ’évaluation


Logique d ’apprentissage

Perspective de l’évaluation authentique

Approche systémique

Corollaires •Les tâches professionnelles réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent.

Contextualisation

•Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se

produit. Récurrence et interaction

•Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer)

Eclectisme

•Perspective alternative

Connaissances6



de haut niveau7



Attitudes3

Habiletés2Connaissances1

Raisonnement clinique4

(Résolution de problèmes)

Audits de dossier Pratiques médicales

réellesModifié d ’après Newble, Norman et Van der Vleuten, 2000

Portfolio1,6.Schémas conceptuels2,3,4.Enregistrements audio/video2,3,4.Témoignages écrits5,6,7.Développements réflexifs….

Osler

L ’introuvable « étalon or » (1)Le problème des outils pour évaluer la

compétence• Aucun outil d ’évaluation utilisé isolément n’est capable d ’évaluer adéquatement les connaissances, habiletés et attitudes d ’un résident.

–Holmboe ES, Hawkins RE. 1998

• Il est peu encourageant mais probablement véridique de dire que nous n ’avons aucune méthode raisonnablement fiable pour évaluer la compétence clinique.

–Newble D, Norman G, Van der Vleuten. 2000

• Il n ’y a aucune méthode idéale pour évaluer la compétence médicale

-Donabedian A. 2000

L ’introuvable « étalon or » (2)Le problème de la définition des « standards »

• Malheureusement, nous ne disposons pas de critère de référence objectif pour déterminer quel devraient être les standards ; de ce fait, nous n ’avons aucune méthode probante pour décider si un standard est trop haut ou trop bas.

–Kane MT, Crooks TJ et Cohen AS., 1999

• La plupart des procédures d ’établissement des standards pour l ’évaluation des compétences sont discutables en raison de leur caractère arbitraire et de leur non-fidélité.

–Friedman BenDavid M. 2000

Recommandations à visée didactique

• Développer les tâches d ’évaluation autour de scénarios authentiques, possédant un réel niveau de complexité.

• Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.

• Lorsque des méthodes d ’observation directe sont employées, faire verbaliser les étudiants sur le processus développé.

• Utiliser des systèmes de cotation simples.

•Exposer les étudiants à un nombre suffisant de situations

Recommandations à visée « écologique » et déontologique

• Développer des procédures d ’évaluation/certification cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…)

• Développer des procédures d ’évaluation/certification cohérentes avec les options pédagogiques conceptuelles du programme compte tenu des conséquences attendues chez les étudiants.

Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,…

Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation

Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques

Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur

Le professeur est conçu avant tout comme un facilitateur des apprentissages

L'enseignement, l'apprentissage et l'évaluation sont séparés

L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage

L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages

L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages

L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages

Les apprentissages sont mesurés indirectement grâce à des tests standardisés

Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios

Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble

Dispositifs de formation fondés sur une logique d’enseignement

Dispositifs de formation fondés sur une logique d’apprentissage

Modèle indicatifde plan d’évaluation1. But de l’évaluation

Pourquoi l’évaluationType de décision à prendre Diagnostic forces faiblesse étudiants

Décision administrativeImpact de la formation

2. Compétences à évaluerAspects du contenu à évaluer

Type de compétence à évaluer processusproduitprocessus+produitDécrire:

Nature des tâches problèmes simplesproblèmes complexes bien structurésproblèmes complexes mal structurésDécrire:

Composantes des tâches connaissances (déclaratives/action)stratégies cognitivesstratégies métacognitivesstratégies psycho-affectivesDécrire:

3. Activités soumises à l’étudiantMode de présentation Problème écrit

Questionnement audio/videoMatériel concretMise en situationDécrire:

Contexte d’exécution RessourcesTemps allouéType d’interaction attenduDécrire:

4. Critères d’évaluationLes rubriquesMode de correction Analytique

GlobaleCombinéeDécrire:

5. Evaluateur L’enseignantL’étudiantGroupe d’expertAutreDécrire:

6. Nombre d’interventions évaluativesUne foisPlusieurs foisDécrire:

Revues générales

•Holmboe ES, Hawkins RE. Methods for evaluating clinical competence of residents in internal medicine : a review. Ann Intern Med 1998 ; 129 : 42-48.

•Newble D, Norman G, Van der Vleuten. Assessing clinical reasoning. In: Clinical reasoning in the Health Professions. J Higgs and M Jones (Eds), Butterworth Heineman, Oxford : 2000.

•LaDuca A. Validation of professional licensure examinations. Professions Theory, Test design and construct validity. Eval Health Professions 1994 ; 17 : 178-197.

•Tamblyn R. Is the public being protected? Prevention of suboptimal medical practice through training programs and credentialing examinations. Eval Health Professions 1994 ; 17 : 198-221.

•Kane MT, Crooks TJ, Cohen AS. Designing and evaluating standard-setting procedures for licensure and certification tests. Adv Health Sc Ed 1999 ; 4 : 195-207.

Guides et recommandations

•Newble D, Dauphinee D, MacDonald M, Mulholland H, Dawson B, Page G, Swanson D, Thomson A, Van der Vleuten C. Guidelines for assessing clinical competence. Teach Learn Med 1994 ; 6 : 213-220.

•Challis M. Portfolio-based learning and assessment in medical education. Med Teacher 1999 ; 21 : 370-386.

•Friedman Ben-David M. Standard setting in student assessment. Med Teacher 2000 ; 22 : 120-130.

•Collins JP, Harden RM. Real patients, simulated patients and simulators in clinical examinations. Med Teacher 1998 ; 20 : 508-521.

•Harden RM, Gleeson FA. Assessment of medical competence using an Objective Structured Clinical Examination. Med Educ 1979 ; 13 : 39-54.

•Gleeson F. Assessment of clinical comptence using the Objective Structured Long Examination Record. Med Teacher 1997 ; 19 : 7-14.

Articles de recherche évaluative

•Skinner BD, Newton WP, Curtis P. The educational value of an OSCE in a family pratice residency. Acad Med 1997 ; 72 : 722-724.

•Norcini JJ, Blank L, Arnold GK, Kimball HR. The Mini Clinical Evaluation Exercise (CEX) : a preliminary investigation. Ann Intern Med 1995 ; 123 : 795-799.

•Brailovsky CA, Grand ’Maison P, Lescop J. Construct validity of the Quebec Licensing Examination SP-based OSCE. Teach Learn Med 1997 ; 9 : 44-50.

•West DC, Pomeroy JR, Park JK, Gerstenberger EA, Sandoval J. Critical Thinking in Graduate Medical Education. A Role for Concept Mapping Assessment? JAMA. 2000;284:1105-1110

Articles « d ’opinion »

•Dauphinee WD. Assessing clinical performance. Where do we stand and what might we expect? JAMA 1995 ; 274 : 741-742.

•McGuire CH. Reflections of a Maverick measurement maven. JAMA 1995 ; 274 : 735-740.

•Haladyna TM. A Research agenda for licensing and certification teting validation studies. Eval Health Professions 1994 ; 17 : 242-256.

•Snadden D. Portfolios-attempting to measure the

unmeasurable? Med Educ.1999;33:478-489.

•Mavis BE, Henry RC, Ogle KS, Hoppe RB. The Emperor ‘ New Clothes : The OSCE reassessed. Acad Med 1996 ; 71 : 447-453.

•Engel JD. Narratives of construct validation. Eval Health Professions 1994 ; 17 : 222-235.

définition générale de la démarche évaluative 1- recueillir des informations relatives aux...

Documents