Download - CONSTRUCTION ET ÉVALUATION DES COMPÉTENCES
CONSTRUCTION ET ÉVALUATION
DES COMPÉTENCES
Jean-Claude COULETCRPCC - Université Rennes 2
L’évaluation en sciences
Le Mans 30 Mai 2007
PRÉSENTATION DE L’INTERVENTION
Positionnement personnel Activités de recherche et centres d’intérêts
• Discipline : psychologie du développement cognitif Activités de résolution de problèmes Développement des compétences scolaires et
professionnelles
• Expériences marquantes d’enseignement École élémentaire : maître formateur Université : responsable d’un master professionnel
Positionnement de l’intervention• Éclairage de la recherche en « psychologie cognitive » :
pour tenter de comprendre des constats empiriques (ex : formatage des apprentissages par les modalités d’évaluation)
comme aide à la conception de pratiques alternatives
Postulats concernant l’évaluation En formation, l’évaluation n’a de sens que par rapport :
• à l’enseignement délivré : en amont de l’évaluation :
explicitement (notions, méthodes, techniques, …) implicitement (régularités diverses)
en aval de l’évaluation : grâce aux changements (explicites ou implicites)
induits par cette évaluation (cf. remédiation)
• aux apprentissages visés : en termes de construction de :
connaissances compétences
mesurables (souvent / efficacité, efficience processus)
Organisation de l’intervention1. Analyse des formes classiques d’évaluation
• Évaluation des connaissances caractéristiques générales, pré-supposés et
conséquences sur les apprentissages
• Évaluation des compétences notion de compétence et épreuves de type RdP exemple de mise en œuvre : les évaluations de la DEPP
2. Que faire pour mieux évaluer les compétences ?• Des pistes possibles / à des travaux de recherche
/ à un modèle de la compétence
3. Réflexion sur les pratiques d’enseignement• Modélisation de l’activité et données de recherche
4. Conclusion
L’ÉVALUATION DES CONNAISSANCES
Caractéristiques générales Pré-supposés :
• les connaissances existent sous une forme « déclarative »
• le sujet peut exprimer ces connaissances• l’enseignant peut évaluer ce qui est exprimé illustration
Principes de mise en œuvre :• une tâche, censée permettre l’expression des connaissances
• un instrument de cotation du contenu et/ou de la forme de l’expression
• un résultat de cette évaluation (souvent : note) utilisable : par le prof : rangement des élèves, repérages forces et faiblesses
des apprentissages réalisés, remise en cause de ses pratiques, etc.
par les élèves : feed-back / apprentissages, ajustement projets (formation, professionnel), reconnaissance parentale, etc.
par l’institution : % de réussite, délivrance diplômes, etc.
Conséquences Importance donnée à :
• la mémorisation (cf. activités de révision institutionnalisées)
• l’organisation rationnelle des connaissances (Bastien, 1997) : logique du contenu ( utilisation dans l’activité) exemple : sélection des chauffeurs de sous-marins nucléaires
… pour des apprentissages :• massés autour de l’évaluation (optimisation performance)
• produisant des connaissances : peu disponibles à moyen et long terme non fonctionnellement organisées / activités réelles
… mais toutefois avec un bon niveau de satisfaction :• chez les acteurs (enseignants, élèves, etc.) : contrat
respecté
• pour l’institution : pas de remise en cause des dispositifs
L’ÉVALUATION DES COMPÉTENCES
La notion de compétence Diversité des définitions
• On peut convenir d’appeler compétence un ensemble de connaissances, de capacités d’action et de comportements, structuré en fonction d’un but dans un type de situations données. (GILBERT & PARLIER)
• Mise en oeuvre, en situation professionnelle, de capacités qui permettent d'exercer convenablement une fonction ou une activité. (AFNOR)
Un relatif consensus (Carré & Caspar, 1999) :• les compétences sont :
liées à l’action et à des situations de RdP dans un contexte donné finalisées opératoires et fonctionnelles (Leplat, 1991)
Évaluer via la résolution de problèmes Pré-supposés :
• la RdP sollicite les compétences : activités finalisées, opératoires et fonctionnelles
• le sujet exprime ses compétences dans sa solution• l’enseignant peut évaluer la solution produite illustration
Principes de mise en œuvre :• une tâche, censée mettre en oeuvre les compétences du sujet
• un instrument de cotation de la solution
• un résultat de cette évaluation (souvent : note) utilisable : par le prof par les élèves par l’institution
Idem évaluation des connaissances
Conséquences positives Importance donnée à :
• l’organisation fonctionnelle des connaissances (Bastien, 1997) : fondée une logique de l’activité ( logique du contenu) exemple : conduite automobile (code, autres acteurs, radars, etc.)
• l’automatisation (cf. activités d’entraînement à la RdP / pb. types)
• la conceptualisation (nécessaire à l’élaboration de la solution)
… pour des apprentissages :• élaborés sur des temps longs (trop longs ? / temps didactique)
• produisant des connaissances : disponibles à court, moyen et long terme fonctionnellement organisées / activités situées
… avec un bon niveau de satisfaction :• la note (évaluation de la performance) rassure tous les acteurs
Une mise en œuvre moins positive Les modalités de cotation généralement utilisées :
• hégémonie des codes : 1, 9, 0 (cf. évaluations MEN-DEPP)
peu de prise en compte de la nature des erreurs si prise en compte, pas de référence aux processus exemple : codage de positions sur un quadrillage
• focalisation sur la bonne réponse (cf. évaluation des connaissances)
• une curieuse conception de la remédiation : exemple : « si le maître juge qu’une remédiation est nécessaire sur
les aspects de repérage et de déplacement sur un quadrillage, celle-ci pourra s’effectuer à partir d’exercices papier / crayon, par des activités sur support informatique ou encore dans le cadre de l’EPS »
… favorisant des apprentissages par conditionnement :• stimuli variés réponses feed-back
Analyse critique des formes classiques d’évaluation
La RdP permet le passage :• de l’évaluation des connaissances
• à l’évaluation des compétences
… toutefois la performance peut :• être correcte mais masquer des conceptualisations erronées
exemple : les problèmes additifs
• être erronée mais masquer des conceptualisations correctes exemple : la lecture de l’heure
… d’où la nécessité de « traquer » les processus :• en construisant des tâches adaptées
• en s’appuyant sur un modèle explicite de la compétence
QUELQUES PISTES POUR MIEUX ÉVALUER LES COMPÉTENCES
Exemple 1 : lecture de tableaux (Coulet, 1998)
Le nombre 7 indique qu’il y a 7 _________________________
Le nombre 12 indique qu’il y a 12 _________________________
Le nombre 35 indique qu’il y a 35 _________________________Le nombre 13 indique qu’il y a 13 _________________________Le nombre 66 indique qu’il y a 66 _________________________
ETC.
Les procédures et stratégies Procédures = ordres d’écriture des 4 propriétés
• Tableau 1 : 7 triangles grands bleus épais 7 grands triangles bleus épais 2 procédures différentes
2 procédures identiques à celles du tableau 1
• Tableau 2 : 12 minces rouges grands ronds 12 grands ronds rouges minces
Stratégies = régularités dans les choix de procédures• stratégie 1 : spatiale
Parcours de type :
• stratégie 2 : conceptuelle Ordre de type : taille - forme - couleur - épaisseur
T1
T2
L’évolution des conduites Des évolutions stratégiques :
Niveaux Effectifs Moyenneécart type
Moyenneécart type
CE1 39 16,87 7,73 6,36 3,95
CE2 77 10,09 6,88 9,91 7,22
6ème 21 8,38 6,30 14,24 8,37
Scores moyensConcepts (/24)
Scores moyensParcours (/24)
Des formes de conceptualisation privilégiées …• spatiales ou conceptuelles, en fonction du niveau des élèves
… organisatrices de l’activité et devenues repérables
Exemple 2 : profils de réponsesprofil
1profil
2profil
3profil
4autreprofil
1Paul a 5 billes. J'ai 3 billes de plus que lui. Combien ai-je de billes ?
R R R E
2J'ai 3 billes de plus que Paul. Paul a 8 billes. Combien ai-je de billes ?
R R R E
3Paul a 5 billes. J'ai 3 billes de moins que lui. Combien ai-je de billes ?
R R R E
4J'ai 3 billes de moins que Paul. Paul a 8 billes. Combien ai-je de billes ?
R R E E
5J'ai 3 billes de moins que Paul. J'ai 5 billes. Combien Paul a-t-il de billes ?
R E E E
6J'ai 3 billes de plus que Paul. J'ai 5 billes. Combien Paul a-t-il de billes ?
R E E E
Série de problèmes convenablement choisis
« plus » => addition des 2 nombres« moins » => soustraction grand – petit
« plus » => addition 1er – 2ème « moins » => soustraction 1er – 2ème
Principe général : s’appuyer sur un modèle de la compétence
La compétence peut être modélisée comme :• une activité productive (obtenir un résultat) via :
des formes de conceptualisation des ajustements à la situation des règles d’actions des anticipations des résultats
Acquisition d’expérience
Production de performances
• une activité constructive via la modification : de ses façons de faire de ses façons de concevoir
Modèle de la compétence
Invariants opératoires
Inférences
Règles d’action
Anticipations
RÉSULTATS
(feed-back)
Boucle courte
Boucle longue
Changement de schème
Mobilisation du schème
(activité productive)
Formes de régulation
(activité constructive)
Analyser les organisateurs de l’activité
Exemple : principes relatifs aux invariants opératoires :• traquer les formes de conceptualisation erronées …
ce que l’élève tient pour vrai, à tort : exemple : « il faut traiter les données numériques du
problème selon leur ordre d’apparition dans l’énoncé »
solution possible : évaluer sur des problèmes isomorphes dont on modifie l’ordre de présentation des données numériques
ce que l’élève tient pour pertinent, à tort : exemple : « seuls les nombres écrits en chiffres sont
pertinents à considérer pour élaborer la solution »
solution possible : certains nombres sont écrits en lettres
• … en essayant d’interpréter (avec beaucoup d’imagination !) les erreurs récurrentes
D’une façon plus générale Nécessité de définir des compétences visées :
• Exemple : compétences visées en ingénierie psychologique Diagnostiquer la situation problématique (demande)
dans son contexte Concevoir un modèle pour l’action en référence,
notamment, à la littérature psychologique Intervenir sur la situation, en référence au modèle
d’action élaboré et en utilisant des méthodes appropriées Formaliser des préconisations à destination des acteurs
… et de concevoir des épreuves d’évaluation adaptées :• Exemple : le DCT du master IPC
Schématisation d’éléments importants du contexte Explicitation des facteurs psychologiques en jeu Élaboration de préconisations spécifiques
D’une façon plus générale encore Spécifier les compétences générales liées à l’activité :
• construire des modèles théoriques et des concepts permettant une représentation non triviale des situations et des tâches visées
• adapter ces modèles et concepts ainsi que les modalités d’action en fonction de la maîtrise de la connaissance de la variabilité de ces situations et tâches
• disposer de différentes formes d’action adaptées aux classes de situations et de tâches visées ainsi que leur mise en œuvre, avec ou sans outils spécifiques
• anticiper les résultats susceptibles d’être obtenus grâce à ces formes d’action
• réguler son activité en fonction des résultats produits pour accroître : l’efficience de l’action entreprise la pertinence des modèles et concepts mobilisés la pertinence du choix de l’action entreprise
LES PRATIQUES D’ENSEIGNEMENT : MÉDIATION ET REMÉDIATION
Les activités d’enseignement Modélisation des interactions prof-élèves
• Au cours des interactions prof-élèves, les propos du prof concernent globalement : la définition (re-définition) de tâches l’activité des élèves confrontés à ces tâches la production de feed-back relatifs à cette activité les formes de régulation de cette activité,
éventuellement mises en œuvre par les élèves
• L’activité des élèves peut être conçue comme une activité, à la fois, productive et constructive : mobilisation de schèmes (invariants opératoires,
inférences, règles d’action, anticipations) mise en œuvre de régulations (boucles courtes, boucles
longues, changement de schème)
prof
élève tâcheIO I RA A
situations
Modélisation des formes d’intervention
feed-back
Exemple de profils de guidage55
,1%
18,9
%
6,5%
5,7%
1,0%
10,1
%
2,0%
0,7%
0,0%
64,9
%
19,1
%
11,1
%
0,7%
0,0% 3,
3%
0,6%
0,3%
0,0%
0%
10%
20%
30%
40%
50%
60%
70%
définitionde latâche
productionde feed-
back
gestiondes RA
gestiondes A
gestiondes I
gestiondes IO
gestiondes rég.
BC
gestiondes rég.
BL
gestiondes rég.
chgtschème
Enseignant 1 Enseignant 2
Interprétation des profils de guidage
Les profils de guidage impliqueraient :• pour les élèves :
la sollicitation de leur activité via la définition de tâches diverses et nombreuses
la présence de feed-back, positifs ou négatifs, fournis par l’enseignant (cf. tradition béhavioriste)
une priorité donnée, par le prof, au guidage de leurs règles d’action (/ autres composantes de l’activité)
• pour les enseignants : une activité focalisée sur les réponses des élèves plutôt
que sur leurs formes de conceptualisation une priorité donnée au « réussir » (/ « comprendre »),
via l’importance donnée à la réponse attendue
CONCLUSION
• importance de ne pas en rester à l’évaluation des connaissances qui favorise : l’organisation rationnelle des connaissances au détriment d’une organisation fonctionnelle
• importance de s’orienter vers l’évaluation des compétences sans s’en tenir aux seules performances (trompeuses) en focalisant plutôt sur les processus qui les produisent
L’appui sur un modèle explicite de la compétence est :• un cadre utile pour comprendre les fonctionnements des
élèves
• un outil pertinent pour concevoir : des épreuves d’évaluation alternatives des modalités de médiation et de remédiation plus
pertinentes
Les modalités d’évaluation formatent les apprentissages :
RÉFÉRENCES BIBLIOGRAPHIQUES
Bastien, C. (1997). Les connaissances de l’enfant à l’adulte. Paris : Armand Colin.
Bastien, C. & Bastien, M. (2004). Apprendre à l’école. Paris : Armand Colin.
Carré, P. & Caspar, P. (1999). Traité des sciences et des techniques de la formation. Paris : Dunod.
Coulet, J.C. (1998). Une approche fonctionnelle de la classification multiple chez des enfants de 7 à 11 ans. L’Année Psychologique, 98, 9-35.
Leplat, J. (1991). Compétence et ergonomie. In : R. Amalberti, M. de Montmollin & J. Theureau (Eds) Modèles en analyse du travail. Liège : Mardaga.
L’évaluation des connaissances :des objets à transférer (transvaser)
Connaissances déclaratives stockées,
inaccessibles au prof
Connaissances expriméespar l’étudiant,
devenues mesurables
Processus de transcription(opaques)
L’évaluation des compétences :des solutions à produire
Connaissances fonctionnelles,
inaccessibles au prof
Solution mesurable, produite par
l’étudiant
Processus de résolution(considérés, a priori,
comme opaques)
Problème
Les problèmes additifs Des conceptualisations erronées (bien connues) mais
qui donnent lieu à certaines performances correctes :• les conceptualisations erronées :
« plus » ou « de plus » dans l’énoncé => addition des nombres de l’énoncé
« moins » ou « de moins » dans l’énoncé => soustraction : le grand nombre – le petit nombre
• exemples de problèmes réussis :Paul a 5 billes. J’ai 3 billes de plus que lui. Combien ai-je de billes ? Paul a 5 billes. J’ai 3 billes de moins que lui. Combien ai-je de billes ?
• exemple de problème échoué :J’ai 5 billes. J’ai 3 billes de plus que Paul. Combien Paul a-t-il de billes ?
La lecture de l’heure Des conceptualisations correctes mais qui donnent lieu à
80% de performances erronées (Bastien & Bastien-Toniazzo, 2004) :• le problème :
Paul part à l’école à _______
Paul arrive à l’école à _______
Paul revient de l’école à _______
Paul part à l’école
Paul arrive à l’école
Paul rentre à la maison
Le code de la position de départ de la personne X est : (2,c)En te servant du quadrillage, écris le code de la position de la personne Y :____________________________________________________________
Codage du point Y :
Codage correct : (9,d) ou (d,9) ………...code 1
Le chiffre ou la lettre est correct(e) …………code 4
Autres cas ……………code 9
Absence de réponse ….code 0