quelle valeur pour les moocs. une synthèse de la validité des outils d'évaluation
TRANSCRIPT
Quelle valeur pour les MOOCs?Une synthese de la validité des outils d'évaluation
Stéphane Villeneuve, Ph.D.Université du Québec à MontréalProfesseurChercheur associé au CRIFPE
Twitter: @Prof_UQAM_TIC
ADMEE, Liège (Belgique), 27 au 30 janvier 2015
Ce document est sous Licence Creative Commons
Cette œuvre de Stéphane Villeneuve ([email protected]) est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND)
Détails de la licence:http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr
MOOC
MOOC: Massive Open Online Course
CLOM: Cours en ligne offert aux masses
CLOM: Cours en ligne ouvert et massif
CLOT: Cours en ligne ouverts à tous
FLOT: Formation en ligne ouverte à tous
Existent depuis 2008, mais forte présence en
2012 (Sandeen, 2013)
Le XMOOC
et cMOOC
Bref, un MOOC c’est…
• Formation en ligne
• Gratuite
• Et…
…sans limite de
participants
En présentiel
Évaluations:
professeurs
auxiliaires d’enseignement (correcteur)
MOOC
Exigerait de grandes ressources humaines et
financieres pour les évaluations
Les grandes universités américaines peuvent en
accueillir + 150 000 (Gee, 2012)
Utiliser des types d’évaluations appropriées
RECENSION DES ÉCRITSMéthodologie
Bases de données bibliographiques
Australian Education Index
ERIC
Repere
SCOPUS
Google Scholar
MÉTHODOLOGIE
Mots-clés utilisés
1.MOOC
2.Assessment
3.Evaluation method
4.Validity
Et opérateurs booléens appropriés
MÉTHODOLOGIE
Autres critères
Aucune restriction de date
Documentation francophone et
anglophone
Recherche manuelle des principaux
articles dans la bibliographie
QUELS TYPES D’ÉVALUATION POUR LES MOOCs ?
3 types d’évaluation
• Automatisée par logiciel (Balfour, 2013;
Beg, 2014; Widom, 2012)
• Par les pairs (Kulkarni et al., 2013)
• Auto-évaluation (Wilkowski, Russel et
Deutsch, 2014)
• Validation
• « Proctoring » (Briggs, 2013)
ÉVALUATION AUTOMATISÉE PAR LOGICIEL
ÉVALUATION AUTOMATISÉE PAR LOGICIEL
2 formes
• Quiz
• AET (Évaluation automatisée de
textes ou Automated Essay
Scoring)
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
Quiz (choix multiples, réponses courtes)
• Facile à créer et à corriger
• Bon portrait du niveau de connaissance
d’un sujet, mais pas au niveau des
compétences de haut niveau.
• Bien pour maintenir le rythme de l’étudiant
• Pour s’assurer de la compréhension du
sujet
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
Quiz sont moins pertinents lorsque
l’on veut évaluer des…
• compétences de second niveau
(logique, résolution de problemes)
• textes longs (profondeur d’une
réflexion personnelle)
• travaux pratiques (créativité, qualité)
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET (Évaluation automatisée de textes ou
Automated Essay Scoring AES)
•Historique
•But: prédire l’évaluation qui serait donnée par un
humain
•Donne une rétroaction sur la mécanique de
l’écriture
•Bien pour un cours de langue, mais discutable pour
d’autres disciplines.
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET (Évaluation automatisée de textes)
• 3 marques commerciales dominent le
marché
• E-rater (Educational Testing Service)
• Intellimetric (Vantage Learning)
• Intelligent Essay Assessor (Pearson
Knowledge Technologies)
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET (Évaluation automatisée de textes)
• Variables utilisées ?
• longueur et nombre des mots
• longueur des éléments du discours
• proportion des erreurs grammaticales
• vocabulaire, mots moins communs
• organisation et style
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET (Évaluation automatisée de textes)
• Les évaluations automatisées
sont plus corrélées à celle des
humains qu’entre les humains =
plus constantes (Shermis et al., 2010)
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET
• Ne permet pas d’évaluer
• les nouvelles métaphores
complexes
• l’humour
• les patois, le langage régional(Graesser et McNamera, 2012)
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET
• Le National Council of Teachers of English se
positionne (NCTE, 2013) contre les AET:
• restriction quant au type de texte qui
peuvent y avoir recours
• la plupart des rétroactions sont trop
vagues
• possibilité de “trafiquer le systeme” au lieu
de travailler son style et le contenu
ÉVALUATION AUTOMATISÉEPAR LOGICIEL
AET
• Des études suggerent que
l’évaluation par les pairs dans les
MOOC est plus utile pour les
étudiants selon le type de travail
demandé que les AET (Heise, Palmer-Judson
et Su, 2002; Likkel, 2012)
ÉVALUATION PAR LES PAIRS
ÉVALUATION PAR LES PAIRSBasée sur l’évaluation d’autres travaux
exposant les étudiants à d’autres
solutions et stratégies que celles vues
dans en cours (Chinn, 2005; Tinapple et
al., 2013)
ÉVALUATION PAR LES PAIRSFONCTIONNEMENT GÉNÉRAL DES EPP
•Protocole d’évaluation en double-aveugle (les
identités ne sont pas révélées)
•Pénalité pour les évaluations tardives
•Attribution aléatoire
•1 évaluation balisée (faux travail) + 4 de pairs
•Note = moyenne des résultats
ÉVALUATION PAR LES PAIRS
AVANTAGES
• Allege la tâche des professeurs,
essentielle dans un MOOC
• Permet de consolider les
apprentissages
ÉVALUATION PAR LES PAIRS
Appréciée par certains étudiants
• Notes avec 7% de + (Kulkarni et al.,
2013)
ÉVALUATION PAR LES PAIRSDétestée par d’autres:
• « I hated the peer assessments as in
some cases, their anonymity gave
the peers an excuse to say mean-
spirited things. » (Suen, 2014, p. 319)
ÉVALUATION PAR LES PAIRS
Les MOOCs avec
évaluation par les pairs
ont un plus faible niveau
de complétion (Jordan,
2013)
Étude de KulkarniContexte de la recherche
Sujet•Cours sur l’interaction homme-machine (HCI)
Contenu•Présence d’exposés magistraux (vidéo) (n = 4 / sem.)
Évaluations:•Courts quiz•Devoir hebdomadaire
Nombre de participants•~35 000
ÉVALUATION PAR LES PAIRS
20% des étudiants ont effectué
plus d’évaluations que requis
(5) (Kulkarni et al., 2013)
ÉVALUATION PAR LES PAIRSComment améliorer les évaluateurs?
En donnant une rétroaction sur
l’évaluation balisée pour indiquer si
elle était plus haute ou plus basse
que l’évaluation d’un expert.
ÉVALUATION PAR LES PAIRS
Améliore la justesse des évaluations subséquentes
ÉVALUATION PAR LES PAIRSMême si les noms étaient cachés, les
participants ont donné en moyenne 3,6%
de plus à leurs compatriotes (Kulkarni et
al., 2013)
Codes culturels
Contexte géographique des exemples
Différences d’attentes et standards
COMMENT
AMÉLIORER LES
ÉVALUATIONS?
ÉVALUATION PAR LES PAIRS
Utiliser l’EPP à plusieurs reprises
dans un même MOOC pour
augmenter la justesse des
évaluations
Les étudiants deviennent de meilleurs
évaluateurs avec le temps
ÉVALUATION PAR LES PAIRS
Augmenter le nombre
d’évaluateurs diminue la
variabilité et augmente la
validité entre les évaluateurs
ÉVALUATION PAR LES PAIRS• Problemes liés à l’EPP
• Crédibilité: évaluation de novices faite par
des novices (Suen, 2014)
• Même les étudiants ne font pas confiance
aux résultats (Furman et Robinson, 2003)
• Erreurs d’évaluation: que faire si tous les
évaluateurs d’un examen sont mauvais?
ÉVALUATION PAR LES PAIRS• 6 types d’écarts (Suen, 2014)
a) Entre l’évaluation d’un pair et d’un expert
b) Fluctuations situationnelles de l’évaluation par un pair d’un même travail sous des conditions différentes
c) Incohérence de résultats entre des travaux similaires
d) Entre des pairs sur le même travail
e) Écarts systématiques entre des pairs à cause de différences de compétence ou de rigueur
f) Fluctuations situationnelles de l’évaluation d’un expert d’un même travail sous des conditions différentes
Autoévaluation
AUTO-ÉVALUATION
• Basée sur l’importance du
développement d’habiletés
métacognitives (Veenman, Van Hout-
Wolters et Affleerbach, 2006)
• Plus d’apprentissage comparé à
l’évaluation de pairs (Sadler et Good,
2006)
(Wilkowski, Russel et Deutsch, 2014)
AUTO-ÉVALUATION
Aussi efficace que l’évaluation
d’experts
• 71,6% moins de 2 points/27 de
différence avec les experts
AUTO-ÉVALUATION
13% se sont donnés tous les
points, mais ont plagié ou
soumis un travail bidon
Repérage nécessaire
AUTO-ÉVALUATION
• Importance de bien former les étudiants à
s’auto-évaluer
• Les laisser s’auto-évaluer seulement quand
ils ont réussi à donner la même note qu’un
expert sur un exercice
• Importance d’une grille claire et simple afin
d’être bien comprise par les étudiants
VALIDATIONComment assure-t-on la crédibilité des évaluations?
VALIDATION
3 formes de tricherie (Meyer et Zhu, 2013)
• Donner, prendre ou recevoir de
l’information
• Communiquer par cellulaire avec un ami pour de
l’aide
• Faire le test en équipe avec un autre étudiant
VALIDATION
• Utiliser du matériel interdit
• Chercher les réponses sur Internet
avec son appareil intelligent pendant
un examen sur ordinateur
• Obtenir l’examen/les réponses à
l’avance
VALIDATION
• « Jouer le systeme »
Faire faire le test par quelqu’un
d’autre
Faire le test plus d’une fois
VALIDATION
• Besoin de mesures pour réduire les
possibilités de tricher en ligne
• Le “proctoring” – évaluation
surveillée
• Méthode physique
• Méthodes électroniques
Méthode physiqueFaire les évaluations dans un local sous supervision (Pearson Vue)
VALIDATION
Méthodes électroniques
• Diminuer les risques de tricherie en:
• Filmant l’étudiant pendant qu’il effectue le
test
• Balayant la salle pour repérer s’il y a des
personnes ou des outils pour tricher
• Captant le pattern du doigté sur le clavier
durant l’écriture
• Vérifiant la structure des phrases et le
vocabulaire utilisé d’un travail à l’autre
VALIDATION
Méthodes électroniques
• S’assurer l’identité de l’étudiant à l’aide:
• Piece d’identité officielle avec photo
• Empreinte occulaire/digitale
• Reconnaissance vocale
EN BREF…
3 types d’évaluations
Automatisée
par logiciel
Par les pairs
Auto-
évaluation
Une question d’équilibre?
Automatisée par logiciel
Automatisée par logiciel Par les pairsPar les pairs
Auto-évaluation
Auto-évaluation
Sources des images• Free Digital Photos