évaluation doctorants juin 2014

129
L’évaluation (des élèves, des étudiants...) Représentations , pratiques, définitions, limites Formation des doctorants (Ph.Watrelot) Juin 2014

Upload: philippe-watrelot

Post on 29-Jul-2015

8.802 views

Category:

Education


0 download

TRANSCRIPT

Page 1: Évaluation doctorants juin 2014

L’évaluation (des élèves, des

étudiants...)Représentations , pratiques, définitions, limites…

Formation des doctorants(Ph.Watrelot) Juin 2014

Page 2: Évaluation doctorants juin 2014
Page 3: Évaluation doctorants juin 2014

Philippe Watrelot• 55 ans

• Professeur de Sciences économiques et sociales au lycée Corot de Savigny sur orge (Essonne, Ac. de Versailles)

• Professeur à l'ESPÉ de Paris en temps partagé

• Président du CRAP-Cahiers Pédagogiques

Page 4: Évaluation doctorants juin 2014

Le CRAP-Cahiers Pédagogiques

http://www.cahiers-pedagogiques.com

Page 5: Évaluation doctorants juin 2014

Chronique éducationDepuis mai 2003...

Page 6: Évaluation doctorants juin 2014

http://fr.slideshare.net/PhilippeWatrelot/presentations

Page 7: Évaluation doctorants juin 2014

•réfléchir sur les différentes dimensions de l'évaluation

•donner des éléments sur les limites de la note(docimologie)

Page 8: Évaluation doctorants juin 2014

L’évaluation(sommaire)

• Introduction : un sujet toujours d’actualité

• L’évaluation vue par les parents, les élèves, les enseignants...

• …et à l’université ?

• Définitions et typologie de l’évaluation

• Un peu d'histoire (et de géographie) de l’évaluation...

• La notation et ses limites (docimologie)

Page 9: Évaluation doctorants juin 2014

Des débats actuels(et récurrents)

•Faut-il supprimer les notes ?

•Pour ou contre les compétences…

•les “usines à cases”

•l’“évaluationnite”, la “fièvre de l’évaluation”

•quelle est la valeur du bac ?

•Les notes sont elles fiables ?

Page 10: Évaluation doctorants juin 2014
Page 11: Évaluation doctorants juin 2014
Page 12: Évaluation doctorants juin 2014
Page 13: Évaluation doctorants juin 2014

Représentations

•Paroles de parents...

•Paroles d’élèves...

•ce que disent et font les profs...

Page 14: Évaluation doctorants juin 2014
Page 15: Évaluation doctorants juin 2014

Paroles de Parents

Un dossier de la Croix du 2 juin 2004 se faisait l’écho d’un sondage auprès de parents d’élèves

Page 16: Évaluation doctorants juin 2014

Paroles de ParentsPlus d'un tiers des parents (35%) reconnaît prononcer la phrase rituelle «Quelles notes as-tu eues ?»tous les jours

Page 17: Évaluation doctorants juin 2014

Paroles de Parents

Page 18: Évaluation doctorants juin 2014
Page 19: Évaluation doctorants juin 2014

L'Afev (Ass. Française des Étudiants pour la Ville) a fait réaliser en mars 2011 une étude par l'institut Audirep, par téléphone auprès d'un échantillon national de 1000 individus représentatifs de la population française âgés de 15 ans et plus.

Page 20: Évaluation doctorants juin 2014
Page 21: Évaluation doctorants juin 2014

Paroles d’élèves

Dans un livre paru en 2005 « L’élève humilié », Pierre Merle, sociologue, a demandé à de jeunes adultes de se remémorer un « exemple tiré de leur scolarité d’un droit non respecté » et où ils se sont sentis humiliés. Il est significatif de noter que ce qui arrive en tête ce sont les situations d’évaluation.

Page 22: Évaluation doctorants juin 2014

Pierre MerleL’élève Humilié,L’école un espace de non-droit ?PUF 2004

Page 23: Évaluation doctorants juin 2014

Phosphore

Avril 2006

pp. 10-19.

Page 24: Évaluation doctorants juin 2014

Paroles d'élèvesCamille 2nde : « C'est bizarre, pour un même devoir de maths réalisé avec une copine, on a eu des notes différentes...»

Grégoire, 1ere L : « La notation, c’est une échelle qui permet de se situer par rapport au reste de la classe. C’est un bon système. ».Charles, Tle S : « Pour entrer en prépa, ce sont les notes qui comptent alors qu’elles ne sont pas représentatives.»

Bertille et Mélissa, 1ere L : « Les profs nous cataloguent et ensuite, ils nous mettent toujours les mêmes notes ».François, 1ere S : « Certains profs distribuent les notes à la tête du client. »Karim, 1ere S : «Une note, c’est toujours un peu lié à la personnalité de l’élève. »

Jeanne, 1ere L : « Une note ne dit pas tout et surtout pas les progrès qu’on a faits ».

Phosphore Avril 2006 pp. 10-19.

Page 25: Évaluation doctorants juin 2014

« Très souvent, [j'ai eu des notes qui m'ont paru injustes]. Surtout en français, parce que les notes dans cette matière, c"est vraiment flou. Notre prof ne nous expliquait pas le barème et elle ne nous expliquait jamais notre note... donc, soit on avait le don d'écrire, soit non! Donc c"était un peu arbitraire les notes en français» (Claire, 16 ans, CPA maroquinerie)

Page 26: Évaluation doctorants juin 2014

« [Des notes injustes, j'en ai eues] plein! J'en ai eues beaucoup en SVT et en maths aussi. Une fois, j'avais mis toutes les réponses par cœur ... on savait sur quoi on allait être interrogé et j'avais appris les leçons du livre et j'ai eu 11. Alors qu'une autre élève, elle avait tout juste aussi et elle a eu 14 ! Juste parce que le prof l'aimait mieux, elle...» (Simon, 18 ans, Bac scientifique)

Page 27: Évaluation doctorants juin 2014

L’évaluation est une pratique professionnelle qui demande beaucoup de temps (chronophage ?) et qui engage les valeurs et l’identité professionnelle de l’enseignant. Elle dépend aussi de la “culture” de chaque établissement

Ce que disent et font les profs...

Page 28: Évaluation doctorants juin 2014

Ce que disent et font les profs...

Témoignages extraits de

Le monde de l’éducation Février 2006

“Que valent les notes”

Page 29: Évaluation doctorants juin 2014

“Je sais que je note un peu sec. Je vois bien en conseil de classe. Et pourtant j’ai l’impression de surnoter. Je mets des 13 et des 14 à des devoirs qui ne le valent pas, parce que je suis bien conscient que le jour du bac, si les élèves produisaient un devoir de ce niveau, ils auraient effectivement un 13 ou un 14. Et puis, je surnote aussi pour encourager les élèves qui travaillent. Tout en conservant une certain degré d’exigence en me refusant de tomber dans la complaisance. Mais je reste convaincu qu’au fond ces copies valent moins. En fait, je surnote parce que le système incite à cela.”Jacques Vassevière, professeur de lettres Le monde de l’éducation Février 2006

Ce que disent et font les profs...

Page 30: Évaluation doctorants juin 2014

“En EPS, l’évaluation sert principalement à faire comprendre aux élèves où ils en sont dans leurs apprentissages. Il ne s’agit pas forcément de noter un niveau. Par exemple, je peux leur demander de réussir cinq fois des tirs en course au basket sans les noter. L’évaluation est dictée par ce que je veux qu’ils acquièrent. S’il s’agit de l’esprit d’équipe dans un sport collectif, je mets plus l’accent sur les relations entre joueurs que sur les résultats techniques. Parfois, je les évalue différemment. par exemple, j’appends d’abord à ceux qui ne savent pas nager à être à l’aise dans l’eau. Ils sont alors notés sur 13 au lieu de 20”Samuel Wagner, professeur d’EPS

Le monde de l’éducation Février 2006

Ce que disent et font les profs...

Page 31: Évaluation doctorants juin 2014

Ce que disent et font les profs...

“Cette année avec mes élèves de 2nde et 1ère S, j’ai décidé de tester la méthode d’évaluation dite du “contrat de confiance”. Trois jours avant un contrôle, je leur fournis une liste de 8 à 10 exercices à réviser, représentatifs des notions à acquérir pour cette échéance. Le jour de l’évaluation, il sont sûrs de tomber sur l’un ou l’autre de ces problèmes. Ce système les oblige à s’investir dans leurs révisions. Il permet aussi de relancer les élèves en perte de confiance...”Olivier Trappes, professeur de mathématiques

Le monde de l’éducation Février 2006

Page 32: Évaluation doctorants juin 2014

On dispose de quelques enquêtes sur les pratiques d’évaluation des enseignants. On peut citer une enquête de la DEP « Les pratiques d’évaluation des enseignants au collège » et paru en 2004 qui offre l’avantage de s’appuyer sur un travail important d’enquête statistique auprès de 3561 enseignants dans 597 collèges. Des entretiens qualitatifs ont complété cette étude.

Ce que disent et font les profs...

Page 33: Évaluation doctorants juin 2014

Les fonctions de l'évaluation

Page 34: Évaluation doctorants juin 2014

Evaluation et apprentissage

Le souci des enseignants, massivement partagé dans toutes les disciplines est ...... de veiller à la qualité des consignes qui accompagnent les évaluations (95 % d'entre eux), ...de diversifier leurs pratiques évaluatives en faisant varier les exercices (89 %) et en proposant des tâches de difficulté variable (82 %)

Page 35: Évaluation doctorants juin 2014

Le temps...La moitié des enseignants considère que le temps pris par l'évaluation est d'une façon générale acceptable. Le temps moyen estimé pour la préparation et la correction d'une évaluation - effectuée dans la semaine précédant la réponse au questionnaire - s'élèverait à 2h45 environ. 1/3 des enseignants y passent 2 heures au plus, 1/3 entre 2 heures et 3 heures et 1/3 plus de 3 heures.

Une activité chronophage : pour quelle efficacité?

Page 36: Évaluation doctorants juin 2014

Tout seul...

Les trois quarts des enseignants indiquent fixer eux-mêmes le calendrier des évaluations au rythme de leur progression

90 % des enseignants interrogés déclarent élaborer seuls leurs évaluations

Un travail solitaire

Page 37: Évaluation doctorants juin 2014

Vie et mort de l'interro surprise...

Dans presque toutes les disciplines (à l'exception des arts plastiques et de l'éducation musicale), la majorité des professeurs (entre 90 et 95 % d'entre eux) déclare annoncer à l'avance (toujours et souvent) les évaluations à leurs élèves

Plus de 80 % d'entre eux, déclarent faire connaître aux élèves leurs attentes en termes de connaissances à mobiliser et de compétences à mettre en oeuvre et à communiquer, dans les mêmes proportions, le barème de notation.

Page 38: Évaluation doctorants juin 2014

Les Dossiers Evaluations et Statistiques (MEN) d'octobre 2009 sont consacrés au thème : Enseigner en collège et lycée en 2008. On y trouvera les résultats d'une enquête réalisée en 2008 auprès de 1200 enseignants. 

Ce que disent et font les profs...

Page 39: Évaluation doctorants juin 2014

Une activité un peu moins solitaire

Page 40: Évaluation doctorants juin 2014
Page 41: Évaluation doctorants juin 2014

Une activité chronophage

Page 42: Évaluation doctorants juin 2014

Une activité chronophage

Page 43: Évaluation doctorants juin 2014
Page 44: Évaluation doctorants juin 2014

Et à l’université ?

Page 45: Évaluation doctorants juin 2014

Avis du HCéé avril 2003

Page 46: Évaluation doctorants juin 2014
Page 47: Évaluation doctorants juin 2014
Page 48: Évaluation doctorants juin 2014
Page 49: Évaluation doctorants juin 2014

“La pratique enseignante en mutation à l'université”Nicole Rege ColetMarc Romainville(sous la direction de)De Boeck 2006

Chapitre 1"Quand la coutume tient lieu de compétences : les pratiques d'évaluation des acquis à l'université" Marc Romainville

(disponible sur GoogleBooks)

Page 50: Évaluation doctorants juin 2014

Pratiques d'évaluation à l'université

•composante de plus en plus lourde du métier d'enseignant-chercheur =>effets négatifs sur la qualité de l'évaluation

•grande hétérogénéité (entre filières, au sein d'une même filière,...)

•absence de standardisation des objectifs, des contenus et des méthodes.

•longue tradition de “liberté académique”

Page 51: Évaluation doctorants juin 2014

•Une évaluation normative qui ne se fonde pas sur des objectifs explicites de formation

•Une absence de reconnaissance du caractère “professionnel” de l'acte d'évaluation.

•Une évaluation à fonction sélective et non d'inventaire

•manque de validité, de fidélité et de fiabilité

Pratiques d'évaluation à l'université

Page 52: Évaluation doctorants juin 2014

Une évaluation qui “pilote” les étudiants

•l'évaluation par la restitution appelle l'étude en surface

•l'évaluation par la restitution est peu compatible avec les plus hautes finalités de l'enseignement universitaire

Page 53: Évaluation doctorants juin 2014

Variations autour de l'évaluation

(définitions)

Page 54: Évaluation doctorants juin 2014

juger

valider

examiner

mesurer

expertiser

interpréter

estimer apprécier noter

constater

chiffrer

discerner

comparer

évaluer

etc.…

contrôler

Synonymes ?

Page 55: Évaluation doctorants juin 2014

Évaluer...(dans le dictionnaire)

Mesure à l'aide de critères déterminés des acquis d'un élève, de la valeur d'un enseignement, etc.

Le Petit Larousse illustré 1999

29

Page 56: Évaluation doctorants juin 2014

Définition de J-M. DE KETELE

•Évaluer signifie...

•recueillir un ensemble d’informations suffisamment pertinentes, valides et fiables

•et examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères adéquats aux objectifs fixés au départ ou ajustés en cours de route,

•en vue de prendre une décision.

Page 57: Évaluation doctorants juin 2014

Évaluer...ÉVALUER: aider à prendre des décisions processus (1) par lequel on définit (2), obtient (3)  et fournit (4)  des informations (5)  utiles (6)  permettant de juger les décisions possibles (7)(1) processus = activité continue

(2) on définit = identifier les informations pertinentes

(3) on obtient = collecte, analyse, mesure des données

(4) on fournit = communiquer ces données

(5) des informations = faits à interpréter

(6) informations utiles = qui satisfont aux critères de pertinence

(7) décisions possibles = actions d'enseignement, d'orientation etc....

Page 58: Évaluation doctorants juin 2014

Évaluation ≠ notation

Mesurer les progrès, repérer les difficultés d’apprentissage, l’acquisition de compétences,… peut se traduire autrement que par une note (chiffrée).

30

La note sur dix à l’école et sur vingt au lycée, qui nous est si familière, est en fait une spécialité bien française...

Page 59: Évaluation doctorants juin 2014

Évaluation ≠ contrôle

Contrôle : Référent stable, procédure finie

Évaluation : ajustement, processus continu

Le contrôle final n'est qu'un des aspects de l'évaluation.

Page 60: Évaluation doctorants juin 2014

Évaluation / jugement

L'évaluation comporte une dimension importante de jugement (référence à une norme et à des critères)

Mais on ne peut réduire l'évaluation à cette seule dimension. Évaluer est aussi une régulation.

Page 61: Évaluation doctorants juin 2014

Dominique OdryPour comprendre l'évaluationSceren-CRDP Amiens 2008

30 mots pour mieux définir l'évaluation sous ses différents aspects

Page 62: Évaluation doctorants juin 2014

3 formes d'évaluation

Evaluation formative(ou formatrice)

Evaluation Sommative(quelquefois certificative)

(B.Bloom 1971)

Evaluation diagnostique(ou pronostique)

Page 63: Évaluation doctorants juin 2014

L’évaluation diagnostique

L’évaluation diagnostique (ou pronostique) : Envisagée en début d'apprentissage ou de formation, intervient lorsqu'on se pose la question de savoir si un sujet possède les capacités nécessaires pour entreprendre une formation ou pour suivre un apprentissage. Elle permet donc, en principe, le repérage des difficultés. On peut l'utiliser aussi pour repérer les représentations.

Page 64: Évaluation doctorants juin 2014

L’évaluation formative

l'évaluation formative intervient dans le cours d'un apprentissage et permet de situer la progression de l'élève par rapport à un objectif donné.

 

• sur l'élève pour lui indiquer les étapes qu'il a franchies et les difficultés qu'il rencontre• sur le maître pour lui indiquer comment se déroule son programme pédagogique et quels sont les obstacles auxquels il se heurte.

double rétroaction/régulation des apprentissages

Page 65: Évaluation doctorants juin 2014

L’évaluation sommative

L’évaluation sommative intervient lors des bilans, au terme d'un processus d'apprentissage ou de formation.Elle peut donner lieu aussi à une attestation sociale des acquis (évaluation certificative)

Page 66: Évaluation doctorants juin 2014

Quand évaluer ?Avant la formation

Évaluation diagnostique

orienter l’action

Pendant la formation

Évaluation formative

réguler les apprentissages

Après la formation

Evaluation sommative

Vérifiercertifier

Page 67: Évaluation doctorants juin 2014

Finalités de l'évaluation

Évaluation “normative”(Référence aux autres)

Évaluation “critériée”(Référence à des critères

de performance)

Page 68: Évaluation doctorants juin 2014

Petite histoire de l'évaluation et de

la notation

Page 69: Évaluation doctorants juin 2014

Questions pour un...

De quand date la création du baccalauréat ?

De quand date la note chiffrée ?

1808

1890

Page 70: Évaluation doctorants juin 2014

le Bac...décret du 17 mars 1808 21 bacheliers en 1808 (1ère femme en 1861)Pas de système de notation

Des boules rouges blanches et noires pour exprimer l'avis des professeurs

Page 71: Évaluation doctorants juin 2014

De quand datent les notes?

Pendant la 1ère moitié du XIXe siècle, il n'y a donc pas de note au Baccalauréat...Bac = entretien oral (reçu ou non reçu...)basé sur le principe jésuite de l'émulation (individuelle et collective)

2ème moitié du XIXe : C'est la nécessité d'un classement liée au développement des concours qui aboutit au développement de la notation sur 20.

En 1890, il était établi par un arrêté du 5 juin que « dans les compositions, chaque copie aura sa note chiffrée de 0 à 20 »

Page 72: Évaluation doctorants juin 2014

Petite histoire de l'évaluation

•Le classement précède la note

•le système d'évaluation français est construit pour sélectionner et pour créer de l'émulation

•"La France est un pays de concours" (Claude Lelièvre)

Page 73: Évaluation doctorants juin 2014

Au XXe siècleLe colloque d'Amiens en mars 1968 (donc avant mai !) propose de supprimer les notes chiffrées pour “lutter contre un système élitiste”. Cette réforme est appuyée par Alain Peyrefitte.

En 1969, la circulaire du 6 janvier évoque la relativité de la note et l'illusion de sa précision« les études docimologiques dont l'origine est antérieure à 1930 et qui se sont multipliés dans les 20 dernières années ne laissent aucun doute sur le caractère illusoire d'un tel raffinement dans la précision de la note et du classement obtenu »

Page 74: Évaluation doctorants juin 2014

Le ministre de l'Éducation nationale de l'époque Edgar Faure décrète dans cette circulaire que « la notation chiffrée peut être abandonnée sans regrets ».

Les années 70

"Une échelle convenue d'appréciation, libérée d'une minutie excessive, sera moins prétentieuse. En indiquant la zone dans laquelle l'élève se situe, on cerne déjà la réalité d'assez près, on évite de multiplier systématiquement des différences qui ne seraient pas confirmées par d'autres correcteurs, ni par le même correcteur à une autre époque."

Page 75: Évaluation doctorants juin 2014

C'est le 9 juillet 1971 (circulaire 71-228) que  les notes sur 20 sont à nouveau prônées dans les classes qui comportent un examen (3ème, terminale).  

Passage à une notation par lettres (A, B, C, D, E,...).C'est  en juillet 1971 dans un arrêté que  les notes sur 20 sont à nouveau prônées dans les classes qui comportent un examen (3ème, terminale).  

Mais disparition du classement...

Depuis...

Page 76: Évaluation doctorants juin 2014

Chez nos voisins...Suède : la notation définit quatre niveaux (insuffisant, passable, bien, très bien) = 4 points

Grande Bretagne : huit niveaux du meilleur au pire (A*, A, B, C D, E,F et G)

Italie : la notation va de 0 à 10, les résultats négatifs allant de 0 à 5 et les résultats positifs de 6 à 10

Allemagne : l’échelle est construite sur six niveaux (6 points) très bien, satisfaisant, moyen ou passable, insuffisant, très insuffisant

31

Claude Guillon “Les évaluations scolaires” CRDP Franche-Comté, Hachette, 2004

Page 77: Évaluation doctorants juin 2014

En Finlande

Jusqu’à 9 ans les élèves ne sont absolument pas notés. Ce n’est qu’à cet âge qu’ils sont évalués pour la première fois, de façon non chiffrée. Puis plus rien de nouveau jusqu’à 11 ans.Toutefois, des bulletins sont envoyés deux fois (à Noël et en mai). Les notes chiffrées n’apparaissent que la 6ème année quand les enfants atteignent l’âge de 13 ans. Les notes vont de 4 à 10

Page 78: Évaluation doctorants juin 2014

En FinlandeAu lycée la même échelle de 4 à 9 est conservée. Rythme des évaluations est beaucoup plus soutenu: chaque session de 6 semaines se conclut par une semaine pendant laquelle les élèves subissent des tests chaque jour de 9h à 12h. Les élèves doivent valider les deux tiers des cours dans chaque discipline suivie. Ils sont néanmoins encouragés à redoubler un cours non validé. Autre alternative : passer un examen de repêchage (« resist exam ») le deuxième mercredi suivant la fin d’une période

Source : Paul Robert La Finlande un modèle éducatif pour la France ? ESF 2008

Page 79: Évaluation doctorants juin 2014

Belgique, Suisse, Québec

Belgique : rédéfinition des programmes par compétences à partir de 1997. Socles de compétences avec des référentiels à 14 ans et à 18 ans.

Suisse : travail par cycles et par compétences mais en 2006 une “votation” a rétabli les notes dans le canton de Genève

Québec : travail par cycles et par compétences mais rétablissement des notes en 2006 pour le secondaire.

Page 80: Évaluation doctorants juin 2014
Page 81: Évaluation doctorants juin 2014
Page 82: Évaluation doctorants juin 2014
Page 83: Évaluation doctorants juin 2014

La note est-elle fiable ?

(éléments de docimologie)

Page 84: Évaluation doctorants juin 2014

Docimologie : Késaco ?

Le terme docimologie combine deux mots grecs : “ dokimé ” signifie épreuve et “logos” (science)Ce terme fut proposé par Henri Piéron pour “ l’étude systématique des examens (modes de notations, variabilité interindividuelle et intra-individuelle des examinateurs, facteurs subjectifs, etc...). ”

La docimologie est donc la science des examens et de la notation et plus précisément l’étude statistique des notes attribuées lors de la correction de copies.

Page 85: Évaluation doctorants juin 2014

La note est-elle fiable ?

De nombreux travaux par la suite ont permis de mettre en évidence un ensemble d’effets contribuant à biaiser la volonté d’”objectivité” de la notation professorale...

Apparition de la docimologie en 1922 avec PIERON et LAUGIER Ces chercheurs comparent les résultats obtenus par un même groupe d’élèves aux tests et les résultats obtenus au C.E.P. du mois de juin 1922. Ils constatent que le degré de correspondance entre les deux types de résultats est très, très faible.

Page 86: Évaluation doctorants juin 2014

La note est-elle fiable ?

Premiers travaux internationaux de docimologie en 1936.

La commission française de l’enquête Carnegie (Laugier & Weinberg) dans une expérience de multicorrection pointe l’extrême difficulté d’une correction “objective” 

On y relève des écarts très importants dans la notation quelle que soit la discipline.

55

Page 87: Évaluation doctorants juin 2014

Les résultats montrèrent une forte dispersion des notes attribuées à chaque copie par les correcteurs. Aucune copie ne reçut deux fois la même note. L'écart maximum des notes dépassa les prévisions.

Une copie de français fut notée entre 3 et 16 ; En philosophie et en latin l'écart maximum était de 12 points.Les mathématiques et la physique, réputées pour des sciences exactes, ne furent pas épargnées : l'écart maximum était respectivement de 9 et 8 points.

Enquête Laugier-Weinberg 1936

Page 88: Évaluation doctorants juin 2014

Laugier et Weinberg (1934)• 6 matières (français, latin, anglais, maths,

philosophie, physique)

• 100 vraies copies tirées au sort pour chaque

matière (même académie ; même session)

• Corrigées 6 fois (Bac + 5 correcteurs)

Page 89: Évaluation doctorants juin 2014

• Sévérité

• Discrimination

• Classement

Différences interindividuelles

Page 90: Évaluation doctorants juin 2014

• « Pour prédire la note d’un candidat à un examen, il vaut mieux connaître son examinateur que le candidat lui-même »

Henri Piéron (1963)

Page 91: Évaluation doctorants juin 2014

La “note vraie”

Pour obtenir la “note vraie” (c’est-à-dire la moyenne des notes ne variant plus même avec des notes supplémentaires), il aurait fallu...

La multi-correction est-elle la solution ?

128 correcteurs en philosophie, 78 en Français, 16 en physique, 13 en mathématiques, etc.

Page 92: Évaluation doctorants juin 2014

La “Note vraie”…

J.-J. Bonniol en 1976 a repris l’expérience et montré qu’il faudrait 78 correcteurs en mathématiques et 762 en philosophie pour neutraliser les erreurs de calcul en augmentant le nombre de correcteurs pour améliorer l’objectivité de la notation.

Page 93: Évaluation doctorants juin 2014

D’autres expériences…•On est allé plus loin en faisant corriger la

même copie à la même personne mais avec un intervalle de temps plus ou moins important

•Par exemple : un professeur de physiologie de la Faculté des Sciences accepta 37 copies -dactylographiées et anonymes - qu'il avait corrigées trois ans et demi auparavant. Dans 7 cas seulement, il remit la même note au même devoir. Dans les 30 autres cas, il y eut des divergences comprises entre 1 et 10 points

Page 94: Évaluation doctorants juin 2014

L’avis de Paulette"On demanda à une bachelière, Paulette, intelligente mais ignorant tout de la question traitée, de noter à son tour ces compositions de physiologie, après les avoir lues une fois pour se faire une idée du sujet. Ses notes eurent une corrélation de 0,51 avec celles attribuées par les professeurs compétents. La bachelière ne se trouvait pas plus en désaccord avec les spécialistes que ceux-ci entre eux". (in Science et Vie, 1968, n° 610).

Page 95: Évaluation doctorants juin 2014

Les évaluateurs sont influencés par plusieurs

facteursEffet de l'ordre de correction : Devant un nouveau travail ou un nouveau candidat à évaluer, on se laisser influencer par la qualité du candidat précédent. Un travail moyen paraîtra bon s'il suit un travail médiocre. 

Effet de fatigue ou d'ennui : peut engendrer laxisme ou sur-sévérité

58

Page 96: Évaluation doctorants juin 2014

Effets de contrasteBonniol (1965)26 copies de niveau homogène (versions anglaises de niveau terminale) 2 groupes de 9 correcteursVariable = ordre de correctionOrdre direct (12–>6) Ordre inverse (26–>1)

Page 97: Évaluation doctorants juin 2014

• Interprétés en termes d’instabilité de l’échelle de correction

• Copies corrigées en comparaison à un « modèle interne »

• Evaluation normative plutôt que criteriée

Effets de contraste

Page 98: Évaluation doctorants juin 2014

Les évaluateurs sont influencés

par plusieurs facteurs...

Effet de stéréotypie : Le professeur maintient un jugement immuable sur la performance d'un élève, quelles que soient ses variations effectives.

Page 99: Évaluation doctorants juin 2014

Les évaluateurs sont influencés

par plusieurs facteurs...Effet de contaminationLes notes attribuées successivement aux différents aspects d'un même travail s'influencent mutuellement.

Effet de tendance centralePar crainte de surévaluer ou de sous-évaluer un élève, le professeur groupe ses appréciations vers le centre de l'échelle.

Page 100: Évaluation doctorants juin 2014

Les évaluateurs sont influencés par plusieurs

facteurs...Effet de halo : Le professeur, influencé par des...

- caractéristiques de présentation (soin, écriture, orthographe) ou des

- caractéristiques liées à l'élève (origine sociale, sexe)...

...surestime ou sous-estime la note. 

56

Page 101: Évaluation doctorants juin 2014

• Dans 18 classes d'une école primaire américaine, 20 % des élèves choisis rigoureusement au hasard, furent signalés à leurs professeurs comme ayant eu des résultats particulièrement brillants à un test non verbal d'intelligence générale, permettant prétendument de prédire leur épanouissement intellectuel. Les enfants ne savaient rien, seuls les professeurs étaient au courant. Au bout d'une année, ces enfants avaient réellement un gain de quotient intellectuel franchement supérieur, en moyenne, à ceux du groupe de contrôle".

• (in Atome n° 242 article de H. Pequinot,).

Effet de halo

Page 102: Évaluation doctorants juin 2014

Noizet (1975)

• 12 copies d’anglais de niveau contrasté• 12 correcteurs• 2 mois plus tard, on demande aux mêmes

correcteurs de corriger 6 nouvelles copies (de niveau réel moyen), sur lesquelles on fait figurer une note fictive (11,86 vs. 9,84)

Les copies présentées avec une note basse obtiennent en moyenne 2 points de moins que les copies présentées avec une note élevée

Effets d’attente ou de halo

Page 103: Évaluation doctorants juin 2014

• Lien étroit avec l’effet Pygmalion (Rosenthal et Jacobson 1968)

• Attentes fondées sur une foule de facteurs: performances antérieures, patronyme, âge, genre, CSP des parents, attractivité physique…

• Interprétés dans le cadre de la théorie de la dissonance cognitive de Festinger (1957)

Effets d’attente ou de halo

Page 104: Évaluation doctorants juin 2014

Un dernier biais...le plus important ?

Page 105: Évaluation doctorants juin 2014

La loi de Posthumus (1947)

Un enseignant tend à ajuster le niveau de son enseignement et ses appréciations des performances des élèves de façon à conserver d'année en année, approximativement la même distribution (gaussienne) de notes.

Ce concept a été repris dernièrement par André Antibi sous le nom de “constante macabre”.

62

Page 106: Évaluation doctorants juin 2014

5 correcteurs => 100 copies

4 autres correcteurs => redistribution de 15 copies « bonnes »

Un effet qui se reproduit...

Page 107: Évaluation doctorants juin 2014

La constante macabre

André ANTIBI“La constante macabre ou comment a t-on découragé des générations d’élèves ?”Editions Maths’adore2003

Page 108: Évaluation doctorants juin 2014

Sociologie de l’évaluation scolaire

Sous ce titre, Pierre Merle, professeur de sociologie à l’IUFM de Bretagne a produit en 1998 un “Que sais-je” (n°3278)C’est une lecture utile pour tous...

60

Page 109: Évaluation doctorants juin 2014

Dominique OdryPour comprendre l'évaluation

Sceren-CRDP Amiens 2008

30 mots pour mieux définir

l'évaluation sous ses différents

aspects

Page 110: Évaluation doctorants juin 2014

Pierre MerleLes Notes, Secret de fabricationPUF 2007

Une réécriture de deux livres plus anciens et de travaux sur les bulletins scolaires et les conseils de classe.

Page 111: Évaluation doctorants juin 2014

L'évaluation, une menace ?Fabrizio Butera, Céline Buchs, Céline DarnonPUF 2011

Page 112: Évaluation doctorants juin 2014

Gérard ScallonL'évaluation des apprentissages dans une approche par compétencesDe Boeck 2ème édition 2007

Page 113: Évaluation doctorants juin 2014

F.-M. Gerard Evaluer des compétences

Guide pratiqueDe Boeck 2008

Page 114: Évaluation doctorants juin 2014

"Évaluer à l'heure des compétences"

Cahiers Pédagogiquesn°491 Octobre 2011

Page 115: Évaluation doctorants juin 2014

“Évaluer l'évaluation”

Actes du colloque organisé par l'Iréa

Sous la coordination de Jean-Claude Emin et Jean-Luc Villeneuve

Le Manuscrit

Page 116: Évaluation doctorants juin 2014

“La pratique enseignante en mutation à l'université”Nicole Rege ColetMarc Romainville(sous la direction de)De Boeck 2006

Chapitre 1"Quand la coutume tient lieu de compétences : les pratiques d'évaluation des acquis à l'université" Marc Romainville

(disponible sur GoogleBooks)

Page 117: Évaluation doctorants juin 2014

En conclusion...(et en résumé)

Page 118: Évaluation doctorants juin 2014

Les dimensions de la note...

•Un moyen de communication...

•Une manifestation de l’autorité (du pouvoir ?)...

•L’expression d’un système de valeurs personnel

•un “arrangement”

•Une norme sociale propre à un groupe

Page 119: Évaluation doctorants juin 2014

Fonctions de la note• La note ayant été créée pour détecter des élites, il n’est

pas étonnant de constater qu’elle entretient (crée?) les inégalités

• Elle remplit toujours les objectifs sociaux, mais barre parfois la route des objectifs pédagogiques

• A niveau de performance identique, les élèves vont être évalués différemment par leurs enseignants : les élèves issus de milieux sociaux défavorisés ou de groupes sociaux stigmatisés, les élèves au passé scolaire difficile, sont ceux qui sont les plus pénalisés.

• Ces conséquences sont d’autant plus regrettables qu’elles découlent d’une mesure chiffrée imprécise de la performance scolaire.

Page 120: Évaluation doctorants juin 2014

L'évaluation a plusieurs sens et

plusieurs dimensions...

Page 121: Évaluation doctorants juin 2014

Évaluation

Logique du classement

(Sélection, certification)(question de l'objectivité de la mesure)

Logique de la régulation

ouvrir "la boîte noire"(comprendre le processus d'apprentissage pour mieux aider à apprendre)

Page 122: Évaluation doctorants juin 2014

L’évaluation est une pratique sociale et donc soumise à des normes (culture d'établissement, de la discipline, de la génération,...) et sous-tendue par des valeurs.

L’évaluation renvoie donc chacun à sa propre conception de la justice et à ses représentations du travail, du niveau, des apprentissages, du pouvoir, …

C’est aussi ce qui la rend si difficile à faire évoluer car elle s’appuie sur notre propre échelle de valeurs...

Page 123: Évaluation doctorants juin 2014

Une pratique chronophage et qui peut être vidée de son sens.

Évaluationnite ou taylorisme pédagogique

Le contrôle occupe une large part du temps d’enseignement : il en reste d’autant moins pour penser au changement. Les élèves travaillent pour la note, la moyenne ou la promotion, ce qui développe un "rapport utilitariste au savoir"

Pour quelle efficacité ?

Page 124: Évaluation doctorants juin 2014

Noter pour se dispenser d'évaluer

les acquis ?« Mais il est bon de rappeler que l’évaluation, qui est une évaluation de la partie, ne doit pas faire oublier le tout, le long chemin de culture où l’école a la responsabilité de conduire chaque personne à un moment de sa vie ; que l’évaluation, qui produit des signes sociaux nécessaires tels que les notes ou les diplômes, doit être au service des acquis, pour aider à les mesurer, pour leur donner visibilité, et pas le contraire. »r

Rapport de l’IGEN « Les acquis des élèves, pierre de touche de la valeur de l’école » (juillet 2005)

Page 125: Évaluation doctorants juin 2014
Page 126: Évaluation doctorants juin 2014

•Donner plus de sens à l'évaluation pour l'élève et l'enseignant pour mieux évaluer

•Aller vers une pédagogie plus explicite

•Aller vers une pédagogie plus cohérente et lisible en travaillant d'avantage avec ses collègues

•Mieux évaluer c'est mieux communiquer et adapter sa communication aux différents destinataires

Mieux évaluer...

Page 127: Évaluation doctorants juin 2014

Faire de l'évaluation un réel

outil pour l'apprentissage

Page 128: Évaluation doctorants juin 2014
Page 129: Évaluation doctorants juin 2014

http://fr.slideshare.net/PhilippeWatrelot/presentations