quelle valeur pour les moocs. une synthèse de la validité des outils d'évaluation

Quelle valeur pour les MOOCs?Une synthese de la validité des outils d'évaluation

Stéphane Villeneuve, Ph.D.Université du Québec à MontréalProfesseurChercheur associé au CRIFPE

Twitter: @Prof_UQAM_TIC

ADMEE, Liège (Belgique), 27 au 30 janvier 2015

Ce document est sous Licence Creative Commons

Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND)

Détails de la licence:http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr

MOOC

MOOC: Massive Open Online Course

CLOM: Cours en ligne offert aux masses

CLOM: Cours en ligne ouvert et massif

CLOT: Cours en ligne ouverts à tous

FLOT: Formation en ligne ouverte à tous

Existent depuis 2008, mais forte présence en

2012 (Sandeen, 2013)

Le XMOOC

et cMOOC

Bref, un MOOC c’est…

• Formation en ligne

• Gratuite

• Et…

…sans limite de

participants

En présentiel

Évaluations:

professeurs

auxiliaires d’enseignement (correcteur)

MOOC

Exigerait de grandes ressources humaines et

financieres pour les évaluations

Les grandes universités américaines peuvent en

accueillir + 150 000 (Gee, 2012)

Utiliser des types d’évaluations appropriées

RECENSION DES ÉCRITSMéthodologie

Bases de données bibliographiques

Australian Education Index

ERIC

Repere

SCOPUS

Google Scholar

MÉTHODOLOGIE

Mots-clés utilisés

1.MOOC

2.Assessment

3.Evaluation method

4.Validity

Et opérateurs booléens appropriés

MÉTHODOLOGIE

Autres critères

Aucune restriction de date

Documentation francophone et

anglophone

Recherche manuelle des principaux

articles dans la bibliographie

QUELS TYPES D’ÉVALUATION POUR LES MOOCs ?

3 types d’évaluation

• Automatisée par logiciel (Balfour, 2013;

Beg, 2014; Widom, 2012)

• Par les pairs (Kulkarni et al., 2013)

• Auto-évaluation (Wilkowski, Russel et

Deutsch, 2014)

• Validation

• « Proctoring » (Briggs, 2013)

ÉVALUATION AUTOMATISÉE PAR LOGICIEL

ÉVALUATION AUTOMATISÉE PAR LOGICIEL

2 formes

• Quiz

• AET (Évaluation automatisée de

textes ou Automated Essay

Scoring)

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

Quiz (choix multiples, réponses courtes)

• Facile à créer et à corriger

• Bon portrait du niveau de connaissance

d’un sujet, mais pas au niveau des

compétences de haut niveau.

• Bien pour maintenir le rythme de l’étudiant

• Pour s’assurer de la compréhension du

sujet

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

Quiz sont moins pertinents lorsque

l’on veut évaluer des…

• compétences de second niveau

(logique, résolution de problemes)

• textes longs (profondeur d’une

réflexion personnelle)

• travaux pratiques (créativité, qualité)

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET (Évaluation automatisée de textes ou

Automated Essay Scoring AES)

•Historique

•But: prédire l’évaluation qui serait donnée par un

humain

•Donne une rétroaction sur la mécanique de

l’écriture

•Bien pour un cours de langue, mais discutable pour

d’autres disciplines.

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET (Évaluation automatisée de textes)

• 3 marques commerciales dominent le

marché

• E-rater (Educational Testing Service)

• Intellimetric (Vantage Learning)

• Intelligent Essay Assessor (Pearson

Knowledge Technologies)

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET (Évaluation automatisée de textes)

• Variables utilisées ?

• longueur et nombre des mots

• longueur des éléments du discours

• proportion des erreurs grammaticales

• vocabulaire, mots moins communs

• organisation et style

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET (Évaluation automatisée de textes)

• Les évaluations automatisées

sont plus corrélées à celle des

humains qu’entre les humains =

plus constantes (Shermis et al., 2010)

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET

• Ne permet pas d’évaluer

• les nouvelles métaphores

complexes

• l’humour

• les patois, le langage régional(Graesser et McNamera, 2012)

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET

• Le National Council of Teachers of English se

positionne (NCTE, 2013) contre les AET:

• restriction quant au type de texte qui

peuvent y avoir recours

• la plupart des rétroactions sont trop

vagues

• possibilité de “trafiquer le systeme” au lieu

de travailler son style et le contenu

ÉVALUATION AUTOMATISÉEPAR LOGICIEL

AET

• Des études suggerent que

l’évaluation par les pairs dans les

MOOC est plus utile pour les

étudiants selon le type de travail

demandé que les AET (Heise, Palmer-Judson

et Su, 2002; Likkel, 2012)

ÉVALUATION PAR LES PAIRS

ÉVALUATION PAR LES PAIRSBasée sur l’évaluation d’autres travaux

exposant les étudiants à d’autres

solutions et stratégies que celles vues

dans en cours (Chinn, 2005; Tinapple et

al., 2013)

ÉVALUATION PAR LES PAIRSFONCTIONNEMENT GÉNÉRAL DES EPP

•Protocole d’évaluation en double-aveugle (les

identités ne sont pas révélées)

•Pénalité pour les évaluations tardives

•Attribution aléatoire

•1 évaluation balisée (faux travail) + 4 de pairs

•Note = moyenne des résultats

ÉVALUATION PAR LES PAIRS

AVANTAGES

• Allege la tâche des professeurs,

essentielle dans un MOOC

• Permet de consolider les

apprentissages

ÉVALUATION PAR LES PAIRS

Appréciée par certains étudiants

• Notes avec 7% de + (Kulkarni et al.,

2013)

ÉVALUATION PAR LES PAIRSDétestée par d’autres:

• « I hated the peer assessments as in

some cases, their anonymity gave

the peers an excuse to say mean-

spirited things. » (Suen, 2014, p. 319)

ÉVALUATION PAR LES PAIRS

Les MOOCs avec

évaluation par les pairs

ont un plus faible niveau

de complétion (Jordan,

2013)

Étude de KulkarniContexte de la recherche

Sujet•Cours sur l’interaction homme-machine (HCI)

Contenu•Présence d’exposés magistraux (vidéo) (n = 4 / sem.)

Évaluations:•Courts quiz•Devoir hebdomadaire

Nombre de participants•~35 000

ÉVALUATION PAR LES PAIRS

20% des étudiants ont effectué

plus d’évaluations que requis

(5) (Kulkarni et al., 2013)

ÉVALUATION PAR LES PAIRSComment améliorer les évaluateurs?

En donnant une rétroaction sur

l’évaluation balisée pour indiquer si

elle était plus haute ou plus basse

que l’évaluation d’un expert.

ÉVALUATION PAR LES PAIRS

Améliore la justesse des évaluations subséquentes

ÉVALUATION PAR LES PAIRSMême si les noms étaient cachés, les

participants ont donné en moyenne 3,6%

de plus à leurs compatriotes (Kulkarni et

al., 2013)

Codes culturels

Contexte géographique des exemples

Différences d’attentes et standards

COMMENT

AMÉLIORER LES

ÉVALUATIONS?

ÉVALUATION PAR LES PAIRS

Utiliser l’EPP à plusieurs reprises

dans un même MOOC pour

augmenter la justesse des

évaluations

Les étudiants deviennent de meilleurs

évaluateurs avec le temps

ÉVALUATION PAR LES PAIRS

Augmenter le nombre

d’évaluateurs diminue la

variabilité et augmente la

validité entre les évaluateurs

ÉVALUATION PAR LES PAIRS• Problemes liés à l’EPP

• Crédibilité: évaluation de novices faite par

des novices (Suen, 2014)

• Même les étudiants ne font pas confiance

aux résultats (Furman et Robinson, 2003)

• Erreurs d’évaluation: que faire si tous les

évaluateurs d’un examen sont mauvais?

ÉVALUATION PAR LES PAIRS• 6 types d’écarts (Suen, 2014)

a) Entre l’évaluation d’un pair et d’un expert

b) Fluctuations situationnelles de l’évaluation par un pair d’un même travail sous des conditions différentes

c) Incohérence de résultats entre des travaux similaires

d) Entre des pairs sur le même travail

e) Écarts systématiques entre des pairs à cause de différences de compétence ou de rigueur

f) Fluctuations situationnelles de l’évaluation d’un expert d’un même travail sous des conditions différentes

Autoévaluation

AUTO-ÉVALUATION

• Basée sur l’importance du

développement d’habiletés

métacognitives (Veenman, Van Hout-

Wolters et Affleerbach, 2006)

• Plus d’apprentissage comparé à

l’évaluation de pairs (Sadler et Good,

2006)

(Wilkowski, Russel et Deutsch, 2014)

AUTO-ÉVALUATION

Aussi efficace que l’évaluation

d’experts

• 71,6% moins de 2 points/27 de

différence avec les experts

AUTO-ÉVALUATION

13% se sont donnés tous les

points, mais ont plagié ou

soumis un travail bidon

Repérage nécessaire

AUTO-ÉVALUATION

• Importance de bien former les étudiants à

s’auto-évaluer

• Les laisser s’auto-évaluer seulement quand

ils ont réussi à donner la même note qu’un

expert sur un exercice

• Importance d’une grille claire et simple afin

d’être bien comprise par les étudiants

VALIDATIONComment assure-t-on la crédibilité des évaluations?

VALIDATION

3 formes de tricherie (Meyer et Zhu, 2013)

• Donner, prendre ou recevoir de

l’information

• Communiquer par cellulaire avec un ami pour de

l’aide

• Faire le test en équipe avec un autre étudiant

VALIDATION

• Utiliser du matériel interdit

• Chercher les réponses sur Internet

avec son appareil intelligent pendant

un examen sur ordinateur

• Obtenir l’examen/les réponses à

l’avance

VALIDATION

• « Jouer le systeme »

Faire faire le test par quelqu’un

d’autre

Faire le test plus d’une fois

VALIDATION

• Besoin de mesures pour réduire les

possibilités de tricher en ligne

• Le “proctoring” – évaluation

surveillée

• Méthode physique

• Méthodes électroniques

Méthode physiqueFaire les évaluations dans un local sous supervision (Pearson Vue)

VALIDATION

Méthodes électroniques

• Diminuer les risques de tricherie en:

• Filmant l’étudiant pendant qu’il effectue le

test

• Balayant la salle pour repérer s’il y a des

personnes ou des outils pour tricher

• Captant le pattern du doigté sur le clavier

durant l’écriture

• Vérifiant la structure des phrases et le

vocabulaire utilisé d’un travail à l’autre

VALIDATION

Méthodes électroniques

• S’assurer l’identité de l’étudiant à l’aide:

• Piece d’identité officielle avec photo

• Empreinte occulaire/digitale

• Reconnaissance vocale

EN BREF…

3 types d’évaluations

Automatisée

par logiciel

Par les pairs

Auto-

évaluation

Une question d’équilibre?

Automatisée par logiciel

Automatisée par logiciel Par les pairsPar les pairs

Auto-évaluation

Auto-évaluation

Sources des images• Free Digital Photos