atelier sur l'évaluation des compétences informationnelles et les technologies de ...
DESCRIPTION
Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information. Jean Allard et Michel Pronovost, collège Jean-de-Brébeuf. Évaluation automatisée d’habiletés TIC en traitement de texte , tableur , environnement et recherche informationnelle. - PowerPoint PPT PresentationTRANSCRIPT
ÉVALUATION AUTOMATISÉE D’HABILETÉS TIC EN TRAITEMENT DE TEXTE, TABLEUR, ENVIRONNEMENT ET RECHERCHE INFORMATIONNELLE
Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information
Jean Allard et Michel Pronovost, collège Jean-de-Brébeuf
Problématique
• Les compétences TIC font partie des programmes collégiaux (MELS, 2012)
• Peu de collèges ont développé des moyens de certifier ces compétences
• Il y a peu d’outils d’évaluation des compétences au Québec
• Hétérogénéité des compétences TIC des étudiants arrivant à l’Université
• Besoin d’une correction automatisée
DÉFIS
o Évaluer les compétences en situation réelle (in situ) Éviter le plus possible des évaluations trop théoriques qui tendent à mesurer des connaissances plutôt que des compétences.
o Évaluer les compétences TIC associées aux champs d’études de l’étudiantReconnaître que les compétences requises diffèrent souvent d’un champ d’études à un autre et surtout associer l’évaluation au champ d’études de l’étudiant.
o Assurer une correction automatiséeLe défi des défis: assurer une correction automatisée tout en relevant les deux autres défis.
Types de questions disponibles
• Questions à choix multiples– Évaluation de la compréhension (Bravard,
2005 ; Leclercq, 2006)– Types (Morissette, 1996)
• Appariement• QCM et vrai ou faux• QCM - quête• Questions à trou
• Simulations• In situ
ÉTAPES
o Définir des référentiels de compétences Un référentiel commun à partir duquel sont déclinés
• un référentiel pour les sciences de la nature• un référentiel pour les sciences humaines et administratives• un référentiel pour les arts et lettres
o Développer une plateforme de production et de passation Une plateforme pour
• définir les référentiels• produire les questions et les associer aux éléments de compétences• composer des tests et des évaluations (diagnostiques, formatifs ou certificatifs)• assurer la passation et la correction des tests
o Produire une banque de questions et de tests Questions diversifiées, nombreuses et principalement in situ
o Valider la banque de questions Par des tests statistiques reconnus
RÉFÉRENTIELS
Référentiel REPTIC
Référentiel MAGELLAN
Référentiels et questions
CERTITUDE
Sciences de la nature
Catégories technologiques
Référentiel de compétences (commun et spécifique)
Questions
Sciences humaines et administratives
Catégoriestechnologiques
Référentiel de compétences (commun et spécifique)
Questions
Arts, lettres et communications
Catégories technologiques
Référentiel de compétences (commun et spécifique)
Questions
Commun à tous les champs d’études
Catégories technologiques
Référentiel de compétences commun
Questions
Référentiel CERTITUDE (o-tutor)
Référentiel CERTITUDE (Moodle)
QUALITÉS DE LA PLATEFORME IDÉALE
Fonctionnalités recherchées
• DÉFINITION DES RÉFÉRENTIELS DE COMPÉTENCES– Un référentiel commun– Un référentiel pour chaque champ d’études qui comprend le référentiel
commun et les éléments spécifiques au champs d’études– Toute mise à jour du référentiel commun est répercutée sur les
référentiels spécifiques aux champs d’études• PRODUCTION DE QUESTIONS
– Type de questions à produire• QCM à choix unique• QCM à choix multiples• Vrai ou faux• Appariement• Questions à réponse courte• Questions in situ Excel• Questions in situ Word • Questions avec simulation• Questions à intervalle
Fonctionnalités recherchées
• PRODUCTION DE QUESTIONS– Fonctionnalités associées à la production de questions
• Afficher l’état de la banque (nombre de questions) par champs d’études et éléments de référentiels
• Associer une question à un champ d’études• Associer une question à une catégorie technologique• Associer une question à un élément d’un référentiel de
compétences (commun ou spécifique à un champ d’études)• Idéalement, associations multiples• Identifier l’auteur de la question• Faire passer une question (par défaut dans l’espace du
concepteur) à l’espace public commun (banque) à tous les concepteurs et au coordonnateur
• Produire une question par duplication d’une question existante• Recevoir des commentaires par question
Fonctionnalités recherchées
• PRODUCTION ET COMPILATION D’ÉVALUATIONS– Fonctionnalités associées à la production d’évaluations
• Sélectionner des questions par champ d'études • Sélectionner des questions par éléments de référentiel • Sélectionner des questions par catégories technologiques • Afficher les questions sélectionnées par ligne avec icones • Afficher les questions sélectionnées par question avec boutons
de navigations • Fournir les options d’évaluation suivantes
– avec feedback instantané et explication possible (formatif)– avec remise de résultats à la fin (sommatif ou certificatif)
• Exportation des résultats par groupe, par étudiant et par question
• Regrouper des tests en une seule et même évaluation
Fonctionnalités recherchées
• PASSATION D’ÉVALUATIONS– Fonctionnalités associées à la passation d’évaluations
• Afficher les questions sélectionnées par ligne avec icones par type
• Afficher les questions sélectionnées par question avec boutons de navigation
• Fournir un filtre sur les questions non répondues • Afficher le temps restant • Afficher la réponse à la question et une explication (fin formative)• Afficher une ressource externe • Afficher la note globale sans afficher le détail des questions (fin
sommative)
Fonctionnalités recherchées
• GESTION– Fonctionnalités associées à la gestion de la banque
• Créer des comptes professeurs• Créer un ou plusieurs groupes-cours par un professeur• Inscrire des étudiants dans un groupe par lot ou à l’unité• Permettre l’approbation ou le retrait de l’approbation d’une
question
– Professeur• Créer des comptes étudiants• Créer un ou plusieurs groupes-cours• Inscrire des étudiants dans un groupe par lot ou à l’unité• Récupérer les résultats par groupe ou étudiant
Exigences minimales
• Différents modes de gestion– Concepteur de questions– Commentateurs de questions– Professeurs producteurs de questions– Étudiants inscrits– Membres du comité de gouvernance
• Exportation des questions en format XML pour l’arrimage avec d’autres plateformes
Évolution des plateformes
CaptivateMoodle
O-Tutor
2010 2011 2012 2013
140
360
Passations
BANQUE DE QUESTIONS
État de la banque de questions
• Compétences technologiques visées:– Recherche informationnelle– Texteur (production de documents)– Tableur (traitement de données)– Environnement– Présentation et traitement de l’image
• 1268 questions dont :– 325 communes à tous les champs d’études– 943 spécifiques à l’un ou l’autre champ d’études– 140 type QCM+ – 1128 in situ avec texteur ou tableur
Types de questions
QCM+ Simulation In situ Chasse au trésor
Environnement x x
Tableur x x
Traitement de texte x x x
Recherche informationnelle x x X
Présentation et traitement de l’image x
EXEMPLES DE QUESTIONS
PLATEFORME ADOBE CAPTIVATE
Printemps 2011
Question associative avec images
Question de type « chasse au trésor »
Question de simulation
Mise en situation avec le tableur
Mise en situation avec le tableur
Le tableur :: Exemples de questions
• Formater des cellules• Faire la conversion 0C en 0F • Ajouter des lignes• Ajouter des colonnes• Faire un tri• Faire des calculs simples : sommes, moyennes• Utiliser des fonctions plus évoluées : dénombrements
(simples et complexes) ou des dénombrements conditionnels • Calculer des fréquences• Produire un graphique, vérifier des hypothèses, etc.
Plusieurs compétences peuvent être vérifiées à partir d’une mise en situation simple
PLATEFORME O-TUTORPrintemps 2012
o-tutor.com/instances/certitude
Liste des tests à effectuer
Test :: traitement de texte
Résultats instantanés
Traitement de texte :: balises
• Nombre de saut de page, saut de section, saut de ligne, etc.
• Gras, italique, exposant, couleur, etc.• Alignement horizontal et vertical• Interligne, retraits, justification, tabulation,
etc.• Marges, orientation, bordure de page, etc.• Présence de tableau, table des matières,
image, note de bas de page, trame, etc.• « Entrez le texte… »
Test :: tableur
Résultats instantanés
Autres tests
Choix multiples (quête)
Réponse ouverte (quête)
Réponse ouverte avec fichier
Associations
Résultats instantanés
RÉCUPÉRATION DES RÉSULTATS
Récupération des résultats
Résultats compilés
Exportation dans Excel
Mode d’utilisation de la banque
Collège Diagnostic Formatif Sommatif CertificatifVictoriaville Marie-Victorin André Grasset
Jonquière Brébeuf
Considérations pédagogiques
• Pour l’étudiant– Correction immédiate (très important pour des
étudiants qui vivent dans l’instantanéité)– Rétroaction lors de formatif– Possibilité d’ajouter des liens vers des
ressources externes– Possibilité de remise tant que le travail n’est pas
complètement réussi. Deux modes possibles :• Avec information sur la note globale seulement• Avec un tableau de réussite des réponses (sans
afficher de rétroaction)
Considérations pédagogiques
• Pour le professeur– Correction automatisée– Correction instantanée– Statistiques sur les réponses
• Permet de revoir les libellés• Permet de revoir des concepts en classe
– Formatif avec rétroaction permet de valider la banque de question
– Satisfaction des étudiants et amélioration des taux de réussite
Considérations pédagogiques
• Pour le gestionnaire– Possibilité d’exporter la banque de
question pour l’introduire dans une autre plateforme
– Statistiques sur les réponses, la durée, la date et l’heure, etc.
• Par test• Par groupe• Par question
Pour tester la banque
• O-tutor– o-tutor.com/instances/certitude– Usager : democertitude– Mot de passe : democertitude
• Moodle– https://certitude.cegepadistance.ca– Usager: ecertitude1– Mot de passe: Certitude2013!
DES QUESTIONS?
Références
• Bertrand, R. et J.-G. Blais (2004) Modèles de mesure. Sainte-Foy : PUQ 375 pages.• Bravard, S (2005). Usage pédagogique des QCM, un guide pour la mise en place d’un
questionnaire à choix multiple. Mémoire de maîtrise inédit, Université de Poitiers, France. Educativa, 86 pages
• Conférence des recteurs et des principaux des universités du Québec (CREPUQ) (2003). Étude sur les connaissances en recherche documentaire des étudiants entrant au 1er cycle dans les universités québécoises. Bibliothèque nationale du Québec.
• Hepp, P., E. Hinostroza, E. Laval et L. Rehbein (2004) Technology in Schools: Education, ICT and the Knowledge Society. Temuco, Chili : Instituto de Informática
• Laurier, M. D., Tousignant, R., & Morissette, D. (2005). Les principes de la mesure et de lʹévaluation des apprentissages (3rd ed.). Montréal: Gaëtan Morin
• Laveault D & Grégoire, J. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation. Bruxelles : De Boeck Université, Bruxelles, 2002.
• Leclercq, D. (2006). L’évolution des QCM. In G. Figari et L. Mottier-Lopez. Recherches sur l’évaluation en Education. Paris : L’Harmattan, 139-146.
• Legendre, R. (2005). Dictionnaire actuel de lʹéducation (3rd ed.). Montréal: Guérin.• MELS (2012). Liste des programmes collégiaux. http://www.mels.gouv.qc.ca/ens-sup/ens-
coll/Cahiers/treparti.asp• Morissette, D. (1996). Guide pratique de l'évaluation sommative (Gestion des épreuves et
des examens). Montréal: Éd. Du Renouveau Pédagogique, coll. Pratiques Pédagogiques, 130 pages.