lévaluation des apprentissages : partage dexpériences, repères conceptuels, et exemples...
Post on 03-Apr-2015
106 Views
Preview:
TRANSCRIPT
L’évaluation des apprentissages :
partage d’expériences, repères conceptuels, et exemples d'application
(Personne ressource :
Jean Jouquan
Faculté de médecine, Université de Bretagne Occidentale, Brest)
Evaluation
Institutions
(Politiques)
Programmes
(Curriculum)
Cours et/ou stages
(Interventions)
Connaissances(Ce que l’on sait)
Compétences(Ce que l’on sait
faire)
Performances(Ce que l’on fait)
Evaluation de l’enseignement (formations)
Evaluation des apprentissages (étudiants)
L ’ÉTUDIANT
Évaluation des apprentissages
Objectifs éducationnels
Besoins de formation
Activités d’apprentissage
Activités d’ enseignement
« Evaluation drives curriculum »G. Miller, 1961
« Si vous voulez savoir ce que font les professeurs, regardez le programme … »
« …Si vous voulez savoir ce que font les étudiants, regardez les examens»
G. Norman, 1991
Plusieurs études concordantes en pédagogie universitaire montrent que, durant leurs études, un nombre significatif d’étudiants ont des difficultés à :
•Lire d’une façon active
•Sélectionner les idées importantes
•Faire des liens avec ce qu’ils savent déjà
•Dépasser la mémorisation pure (« par cœur »)
•Evaluer leur compréhension des nouvelles informations
•Réviser autrement qu’en tout relisant
•Ajuster leurs stratégies d’apprentissage au type d’examen à passer
Pressley M et al. G. Some of the reasons why preparing for exams is so hard: What can be done to make it easier? Educ Psycho Rev 1997 ; 9 : 1-38.
Stratégies d’apprentissage utilisées par 487étudiants candidats aux études de médecine à l’Université d’Helsinki.
( étudiants considérés comme plutôt brillants :75% avaient obtenus de très bonne notes pendant leurs études secondaires)
- simple lecture : 12%- soulignement de phrases ou mots dans le
texte : 27%- résumés reprenant le strict verbatim des
textes : 34%- résumés des textes utilisant leur propre
vocabulaire : 20%- réalisation d’un schéma de synthèse : 7%
Lahtinen V et al. Spontaneous study strategies and the quality of knowledge construction. Br J Educ Psychol 1997 ; 67 : 13-24.
Répétition Reformulation des informations dans les mêmes termes
Répétition silencieuse des informations Soulignement des mots-clés et des idées importantes Transcription et prise de notes
Elaboration Reformulation des informations dans des termes différents (en ajoutant de l’information personnelle aux nouvelles
connaissances)
Résumés utilisant son propre vocabulaire, établissant des liens avec ce que l’on savait déjà du sujet
Elaboration de questions Formulation d’analogies, d'exemples, de contre-exemples
Organisation Hiérarchisation, catégorisation et transformation des informations
Identification des idées principales Catégorisation des informations Construction de documents de synthèse (tableaux,
graphiques, schémas)
Résolution de problèmes
Sélection et manipulation d'informations en fonction d'un but (comprendre et résoudre un problème)
Sélection d'informations Choix de méthodes Application de ces informations à la compréhension et à la
résolution de problèmes Etablissement de séquences
Apprentissage Enseignement
Evaluation
Etudiant
L’évaluation est une pratique pédagogique
L’évaluation est une pratique sociale
Définition générale de la démarche évaluative
• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)
• 2 -Interpréter ces informations afin de porter un jugement
• 3- Dans le but de prendre une décision
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (1)• L’évaluation se limite au recueil des informations (souvent à l’aide d’une mesure)
9, 5 /20 (mesure)
mauvais (jugement)
ajourné (décision)
10, 5 /20 (mesure)
bon (jugement)
reçu (décision)
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (2)• L’évaluation se limite au jugement (les informations qui l’étayent ne sont pas connues ou ne sont pas explicites)
« très bon stage »
« étudiant intelligent très motivé »
« travail insuffisant »
Quelques conceptions et/ou pratiques erronées en matière
d’évaluation (3)•La mesure (recueil d’informations) est confondue avec la note (formalisation codifiée de la décision)
Le résultat d’une mesure est un score(résultat ou somme des résultats à des tests)
La note est une manière codifiée de communiquer le résultat d’une évaluation (décision) et de le
rendre public- valeur numérique [8/20, 80/100] - ou cote litérale : A, B, …
Définition générale de la démarche évaluative
• 1- Recueillir des informations relatives aux apprentissages effectués (compétences développées)
• 2 -Interpréter ces informations afin de porter un jugement (de valeur)
• 3- Dans le but de prendre une décision
3. Dans le but de prendre une décision
•Ajuster des stratégies d ’apprentissage et d ’enseignement
EVALUATION FORMATIVE
•Valider une séquence d ’enseignement ou de stage et/ou autoriser le passage en année supérieure
EVALUATION SOMMATIVE
•Délivrer une autorisation d ’exercice professionnel
EVALUATION CERTIFICATIVE(Licence et/ou certification)
• Les informations relatives aux apprentissages doivent résulter d’une mesure
• La qualité métrologique des instruments de mesure est le garant de la rigueur de l’évaluation
•Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés
• Clivage entre les situations d ’apprentissage et les situations d ’évaluation
La perspective DOCIMOLOGIQUE de l ’évaluation
La perspective de l ’évaluation
« AUTHENTIQUE »• Les informations relatives aux apprentissages résultent de procédures éclectiques
• Les critères de rigueur sont ceux de l’approche qualitative en sciences humaines et sociales
•Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants•Enchâssement de l’évaluation dans les situations d’apprentissage
1.Recueillir des informations
2. Interpréter ces informations afin de porter un jugement
Nécessité d ’adosser le processus d ’évaluation à un cadre conceptuel
Evaluation à interprétation normative :
•Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats se fait en fonction de la position relative d’une étudiante par rapport à un groupe-norme.
Evaluation à interprétation critériée :
•Evaluation faite à partir de mesures construites de telle sorte que l’interprétation des résultats porte uniquement sur la performance de l’étudiant par rapport à la tâche, sans référence aux autres étudiants
Problème à résoudreProblème simple
(well structured problem)
•tous les indices sont disponibles d ’emblée
•la solution requiert des tâches familières
•peuvent être résolus avec un haut degré de certitude
•les experts s’accordent sur la nature de la solution correcte
Problème complexe(ill structured problem)
•les indices nécessaires à la solution ne sont pas (tous) disponibles d ’emblée
•le problème évolue au cours de son investigation
•la solution n ’est pas standardisée mais unique
•ne peuvent pas être résolus avec un haut degré de certitude
•Les experts sont souvent en désaccord quant à la meilleure solution à mettre en œuvre, même quand le problème peut être considéré comme ayant été résolu
•But visé : appliquer la « bonne » solution
•But visé : élaborer et argumenter l’une des solutions raisonnables possibles
Tâches académiques
• Questions à réponse ouverte et courte (QROC)
• Questions à choix multiples (QCM)
• Cartes conceptuelles (Concept mapping)
Questions à choix multiple (1960)
•Question dont la partie initiale (le tronc) peut prendre la forme d ’une question directe ou d ’un énoncé incomplet et qui comprend un certain nombre de réponses suggérées parmi lesquelles l ’étudiant doit choisir
Points forts•Objectivité grande•Validité de contenu possiblement élevée•Fidelité•Correction automatisable
Points faibles•Validité de construit faible•Explore essentiellement des connaissances déclaratives décontextualisées•Favorise des apprentissages superficiels et peu transférables•Elaboration difficile et souvent caricaturale
Cartes conceptuelles(Concept mapping) 1990
Points forts•Permet d ’accéder à l ’organisation des connaissances•Favorise des apprentissages en profondeur•Outil puissant pour dépister les conceptions erronées•Contextualisation à un problème de santé possible•Validité de contenu vraisemblable
Points faibles•Outil d ’évaluation sommative récent•Recherche évaluative encore restreinte.•N ’évalue pas les connaissances procédurales.
•Représentations visuelles et propositionnelles de concepts thématisés, liés entre eux par une relation explicitement nommée (causalité, conditionnalité, identité,…), organisés hiérarchiquement.•Appréciation qualitative et/ou semi-quantitative des concepts, des liens, des niveaux hiérarchiques.
L ’information du malade :(annoncer une « mauvaise
nouvelle ») Obstacles
Mécanismes de défense
Situation particulière du
patient
« Mentalités » particulières
malade médecin
se heurte à des
dus à des
dus à
la dus à des
présents chez le
présents chez le
famille
culture
vécu
Paternalisme médical
Conformisme du patient
Manque de communication dans l’équipe soignanteliés à
un
liée à sa
liée
à sa liée à son
telles
que l
e
telles que le
diagnostic pronostic
investigations
traitement
a trait au
a trai
t au
a trait au
a trait aux
: signale les concepts ou « items » illustrés dans la situation d’étude
Grégoire, DCEM1 Carte conceptuelle
Extrait
L ’information du malade :(annoncer une « mauvaise nouvelle »)
Obstacles
Mécanismes de défense
Situation particulière du patient « Mentalités »
particulières
malade médecin
Déni
Déplacement
Agressivité
Sublimation
Régression
se heurte à des
dus à des
dus à
la dus à des
présents chez leprésents chez le
famille culture vécu Paternalisme médical
Conformisme du patient
Manque de communication dans
l’équipe soignante
Contraintes matérielles (temps, locaux, disponibilité)
liés à un
liés à des
liée à
sa liée à sa
liée à son telles que
le
telles que le
mensonge
évitement
rationalisation
fuite en avant
fausse réassurance
tel que
tel que
tel qu
ete
l que
tel q
ue
tel quetel quetel quetel que
tel que
diagnostic
pronostic
investigations
traitement
a trait au
a trai
t au
a trait au
a trait aux
Respect de L’autonomie
du patient
une relation médecin-malade fondée sur laConfiance
est essentielle pour le est e
ssenti
elle po
ur
Stratégies
Environnement adapté
Plan de discussion
contrôle de la vitesse de fourniture de
l’information par le patient
durée
intégrant laprévoyant un
utilisant un
respectant le
Dispositions réglementaires
exige la mise
en œuvre
de
espérancepréservant l’
doit prendre en compte
des
Code de déontologie
Charte du malade hospitalisé
telles
que
telles que
Code pénal
telles
que
claire
loyale
appropriée
qui p
resc
rit un
e in
forma
tion
famille
qui prévoit
l’information de
secret professionn
elqui prescrit le
qui est opposable à la
: signale les concepts ou « items » illustrés dans la situation d’étude
Portfolio 1995
Points forts•Authenticité•Rigueur de la démarche possible (interprétaton critériée, crédible, transférable, fiable, transparente)•Favorise des apprentissages en profondeur•Coût faible
Points faibles•Processus d ’implantation long •Exigences pédagogiques contraignantes (supervision/tutorat)•Convient parfois mal au style d ’apprentissage de certains étudiants•Nécessite une acceptation et une maîtrise du paradigme « qualitatif »
• Collections organisées de matériel permettant d'obtenir des informations sur les apprentissages effectués et sur les compétences développées par un étudiant au cours d'une période plus ou moins longue d'apprentissage. •Contenu : - compilation de scripts de problèmes complets ou de certains évènements (échecs, incidents,...), notes d'analyse bibliographique critique, résumés d'entretiens avec des personnes ressources ou de discussions collégiales, descriptions de projets en cours, "journaux de bord" d'activités professionnelles, videoclips d'entretiens avec des patients ou de tâches procédurales,....-une analyse réflexive développée à partir de cette banque documentaire.
Théorie de la
formation
Théorie de l ’évaluatio
n
Théorie de la
compétenceLogique
d ’enseignement
Perspective docimologiq
ue
Approche didactique
•Corollaires
•Les tâches d’apprentissage réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les
compétences qu ’ils maîtrisent. Standardisation•Les enseignants ne sont pas des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment
où elle se produit. Externalisation•La rigueur du processus d ’évaluation doit pouvoir être
démontrée « expérimentalement ». Mesure
•Perspective traditionnelle
Théorie de la formation
Théorie de l ’évaluation
Théorie de la compétence
Logique d ’apprentissage
Perspective de l’évaluation authentique
Approche systémique
Corollaires •Les tâches d’apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ’ils maîtrisent.
Contextualisation•Les enseignants sont des professionnels susceptibles d ’évaluer judicieusement l ’évolution des étudiants au moment où elle se
produit. Récurrence et interaction•Il est important d ’avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles évaluer (mesurer)
Eclectisme
•Perspective alternative
8 recommandations pragmatiques1. Utiliser plusieurs outils d’évaluation des
apprentissages • Tâches standardisées et tâches authentiques
• Tâches explorant à la fois le processus et le résultat
2. Utiliser chaque outil plusieurs fois au cours d’une séquence d’enseignement
• Echantillon varié et représentatif de « situations contextualisées »
3. Recueillir des informations visant à documenter le niveau réel de compétence attendu des étudiants.
• Cotation selon jugement global vs cotation avec check-list
8 recommandations pragmatiques4. Utiliser des procédures d ’évaluation cohérentes
avec les options pédagogiques conceptuelles du programme, compte tenu des conséquences attendues chez les étudiants.
• Problèmes complexes vs problèmes simples
5. Lorsque des interactions avec des personnes sont exploitées pour l’évaluation des apprentissages en stage
• Observer directement l’étudiant pendant son interaction
• Faire verbaliser à haute voix l’étudiant sur le processus qu’il a développé
8 recommandations pragmatiques
8. Développer des procédures d ’évaluation cohérentes avec les ressources du programmes (évaluateurs, budget, temps, logistique de soutien,…) et avec les valeurs culturelles et sociales
6. Si l’auto-évaluation des étudiants est sollicitée dans le cadre de la démarche évaluative, l’accompagner systématiquement d’un dispositif de rétro-action (supervisions cliniques récurrentes, tutorat, …)
7. Rendre explicite aux étudiants, dès le début de la séquence de formation, la nature des tâches d’évaluation et les critères qui seront pris en compte pour la correction et/ou pour la détermination de la réussite.
Les étudiants reçoivent passivement l'information Les étudiants traitent activement l'information à l'occasion d'activités de recherche, d'analyse critique, de résolution de problèmes,…
Les connaissances sont acquises sans lien avec leur contexte prévisible de réutilisation
Les connaissances sont construites prioritairement à partir des contextes (professionnels) authentiques
Le professeur est conçu avant tout comme un dispensateur de savoirs et comme un examinateur
Le professeur est conçu avant tout comme un facilitateur des apprentissages
L'enseignement, l'apprentissage et l'évaluation sont séparés
L'évaluation est enchâssée dans les activités d'enseignement et d'apprentissage
L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages
L'évaluation est utilisée pour promouvoir et diagnostiquer les apprentissages
L'évaluation privilégie l'obtention de la bonne réponse L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages
Les apprentissages sont mesurés indirectement grâce à des tests standardisés
Les apprentissages sont appréciés directement à partir de performances, de projets réalisés, de travaux personnels, de port-folios
Seul l’étudiant apprend L’étudiant et les professeurs apprennent ensemble
Dispositifs de formation fondés sur une logique d’enseignement
Dispositifs de formation fondés sur une logique d’apprentissage
Pour optimiser la « validité/crédibilité » du jugement :•Multiplier les sources d’informations sur les apprentissages•Privilégier la récurrence des moments d’évaluation
Les « tendances lourdes » actuelles en matière d’évaluation des apprentissages
Pour optimiser la « fidélité/fiabilité» du jugement :•Envisager l’enseignement, l’apprentissage et l’évaluation des différentes dimensions de la compétence d’emblée de façon intégrée•Privilégier d’emblée l’authenticité des contextes d’enseignement, d’apprentissage et d’évaluation des apprentissages
Pour optimiser globalement la pertinence du jugement :•Logique de validation de processus
plutôt que :•Logique de démonstration expérimentale
Caractéristiques des évaluations « authentiques » (1) (Adapté d’après Wiggins , 1989)
•Concernant la conception des modalités d’évaluation
-La production est destinée à un jury-Il n’y a aucune contrainte de temps fixée arbitrairement-La tâche et ses exigences sont connues avant la situation d’évaluation-L’évaluation peut exiger une certaine forme de collaboration avec les pairs-Les tâches d’évaluation sont récurrentes
•Concernant l’orientation cognitive des tâches
•-L’évaluation n’inclut que des tâches contextualisées
•-L’évaluation exige l’utilisation fonctionnelle de connaissances spécifiques
•-L’évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants
•-L’évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l’étudiant
Caractéristiques des évaluations « authentiques » (2)(Adapté d’après Wiggins, 1989)
•Concernant les critères de correction
-La correction ne tient compte que des erreurs importantes dans l’optique de la construction des compétences-Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée-L’auto-évaluation fait partie de l’évaluation-Les critères de réussite sont démystifiés pour l’étudiant
•Concernant l’éthique et la déontologie
-L’évaluation doit déterminer les forces des étudiants-Les informations obtenues doivent établir un équilibre entre les aptitudes de l’étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés-L’évaluation doit minimiser les comparaisons inutiles, injustes et démoralisantes entre les étudiants-Les mêmes démarches d’évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés-L’évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l’apprentissage
Définition de la compétence
• d’une variété de ressources internes et externes …
• Un « savoir-agir » complexe …
• prenant appui sur la mobilisation et la combinaisson efficaces …
• à l’intérieur d’une famille de situations
Tardif J. L’évaluation des compétences. Documenter le parcours de développement
Montréal: Chenelière Education, 2006
Savoir faire vs. Savoir agir
Savoir-faire Savoir-agir
•Automatisable •Difficilement automatisable
•Exerçable en dehors de tout contexte
•Impossible à mettre en œuvre hors contexte
•Caractère algorithmique •Caractère heuristique
•Parfois compliqué •Par nature complexe
Tardif J. L’évaluation des compétences. Documenter le parcours de développement
Montréal: Chenelière Education, 2006
Modèle de développement
Étape de développement 1
Étape de développement 2
Étape de développement 3
Tâches intégratives
Ressources internes et externes
Familles de situations
Contextes professionnels
Critères
Indicateurs
Rubriques
•Apprentissages critiques
•Saut s de réorganisation qualitative
•Obstacles au développement
•Trajectoire de développement•Cohérence , authenticité et puissance des tâches•Exigence de pluri –inter voire trans- disciplinarité•Possibilité de rétro-action
•Référence à des dimensions jugées essentielles•Descripteurs multidimensionnels et mutiréférentiels
D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement
Montréal: Chenelière Education, 2006
Modèle de développement
Étape de développement 1
Étape de développement 2
Étape de développement 3
Tâches intégratives
Ressources internes et externes
Familles de situations
Contextes professionnels
Critères
Indicateurs
Rubriques
DERIVES•Etapes définies en référence à la détermination de fréquences ou de variations de quantité
•Trajectoire de développement indifférenciées selon les étudiantsDERIVES
•Évaluation d es ressources en elles-mêmes •Evaluation décontextualisée
DERIVES•Référence à des checklists de comportements•Développement défini de manière linéaire en référence à des scores
D’’aprèsTardif J. L’évaluation des compétences. Documenter le parcours de développement
Montréal: Chenelière Education, 2006
top related