chambéry le 24 octobre 20061 la scénarisation de l'évaluation des activités pédagogiques...

Chambéry le 24 octobre 2006 1

La scénarisation de l'évaluation des activités pédagogiques utilisant les Environnements

Informatiques d'Apprentissage Humain

Guillaume DurandUniversité de Savoie, laboratoire SysCom, équipe Scénario

Odile Jacob Education


Introduction

• Thèse Cifre entre Université de Savoie (SysCom) et Odile Jacob Education (OJE).

Problème: Les enseignants ne tiennent pas compte des résultats d’évaluation [Dinet &al 02].


Le laboratoire

Thèmes de recherche du laboratoire SysCom (équipe scénario) :

- Les Espaces Numériques de Travail (ENT) (Cartable électronique),

- La Scénarisation des Activités Coopératives dans le domaine de l’éducation (Modèle de Participation),

- Les Langages de Modélisation Pédagogique (LMP), (Learning Design Language - LDL).

1ère partie

Contexte

L’évaluation scolaire

L’évaluation dans les EIAH

Les ENT

Les LMP

Synthèse


L’évaluation scolaireUn objet d’étude

• Fait l’objet de nombreux travaux dans des domaines de recherche divers (sciences de l’éducation, docimologie, …).

• Pas une, mais plusieurs définitions de l’évaluation.

• Selon Hadji [Hadji 90], évaluer, c’est « mettre en relation des éléments issus d’un observable appelés référé et un référent pour produire de l’information éclairante sur le référé »

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


L’évaluation scolairePas une évaluation mais des évaluations

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Salle de Classe

Evaluation pronostique

Evaluation Diagnostique

Evaluation Formative

Evaluation Formatrice

Evaluation Sommative

Contrôler l’accès à une formation

Evaluer un niveau de compétence

Réguler son apprentissage

Certifier un apprentissage Réguler

l’apprentissage


L’évaluation dans les EIAHLa même diversité

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Salle de Classe

Evaluation pronostique

Evaluation Diagnostique

Evaluation Formative

Evaluation Formatrice

Evaluation Sommative

CAT (GRE)

Pépite, TDmaths

CAT (TOEFL)TDmaths

GenEval, OASYS, APOM

GISMO, SPLACH



Les limites (I)

Un seul type d’évaluation

Exemple: OASYS [Ward &al 04]

• Evaluation formatrice• Co-évaluation

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


Pas de paramétrage possible

Exemple : TDmaths [OJE 03]

• Comment modérer une évaluation sommative en fonction des compétences de l’apprenant ?

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

L’évaluation dans les EIAH Les limites (II)


Des résultats difficiles à interpréter

Exemple : Pépite [Delozanne &al 04]

Leur signification ?Comment ont-ils été obtenus ?

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

L’évaluation dans les EIAH Les limites (III)


L’évaluation dans les EIAH Les freins à l’utilisation

• Unicité du modèle d’évaluation vs choix des modèles

• Fixité de la méthode d’évaluation vs paramétrage

• Résultat incompréhensible vs résultat explicable.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


L’évaluation dans les EIAH Un autre frein, plus trivial

Difficulté pour les enseignants d’utiliser les

résultats de l’EIAH dans les évaluations obligatoires qu’ils ont à fournir.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Service de scolaritéRésultats de L’EIAH

?


Les ENT La réponse de l’institution

• Interopérabilité des services,• Urbanisation des systèmes d’information,• Agrégation de services métiers (scolarité),• Fédération des acteurs : administratifs, parents, élèves,

enseignants.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Service Administratif

Service de Communication

Service Pédagogique

ENT


Les ENTInteropérabilité avec les EIAH

Très rares sont les EIAH répondant à ces caractéristiques

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

EIAH

Service de scolarité

Service d’authentification

Service d’administration

Interopérabilité

Protocoles de communication

Formats d’échangesstandardisés


Dans la perspective des ENT Deux problèmes peuvent être résolus

• Compréhension des résultats

• Capitalisation des résultats (Interopérabilité des EIAH avec les services)

?

1ère partie

Contexte


L’évaluation et les EIAH

Les ENT

Les LMP

Synthèse

EIAH Services de l’ENT

Interopérabilité


L’évaluation dans les ENTUn premier objectif de recherche

Proposer un format de résultats commun aux EIAH.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

EIAH 1

Services de l’ENTEIAH 2

Format de résultatsCommun


L’évaluation dans les ENT Le besoin d’une évaluation dynamique

« Intégrer l’évaluation aussi souplement que possible dans les activités

pédagogiques en conservant les moyens de l’adapter »

Quels sont les moyens de modéliser les activités pédagogiques ?

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


Les LMP

• Les LMP (IMS-LD, LDL) permettent de scénariser les activités pédagogiques.

• Un scénario pédagogique est la « description du déroulement d’une situation d’apprentissage en terme de rôles, d’activités et l’environnement nécessaire à sa mise en oeuvre, mais aussi en termes de connaissances manipulées » [Pernin 03]

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


Les LMPLe cycle de vie du scénario

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Opérationnalisation ExécutionConception

LMP :

IMS-LD,LDL,LAMS-LD,Etc.

Infrastructures :

CopperCore,LDI,LAMS,Etc.

ENT cible:

Moodle,Portail Univ. de Savoie,Etc.

Cycle de vie

Outils


Les LMPLDL

Learning Design Language (LDL) [Martel &al 06] comprend un petit nombre d'éléments.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Enceinte

PositionRègle

Rôle

Scenario

Structure

0..1

*

*

Scenario

Structure

0..1

*

Interaction*Se déroule

dans

Est jouée par

Régule Régule

Porte sur

De

Sur


Les LMPLDL, des scénarios réels

• La chasse au trésor (école d’été EIAH 2005)

• L’apprentissage de l’électricité au collège (Kaleidoscope, SVL 2006)

• Le jeu des planètes (Workshop ICALT 2006)

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


Les LMPPeuvent-ils aider à s’affranchir de :

• L’unicité du modèle d’évaluation.

• La fixité de la méthode d’évaluation.

EIAH

Autre modèled’évaluation

?

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

EIAH


Les LMPUn second objectif de recherche

Utiliser les langages de modélisation pour scénariser l’évaluation.

1ère partie

Contexte



Les ENT

Les LMP

Synthèse

Scénariser l’évaluation


Synthèse

Pb initial :Les résultats ne sont pas utilisés par les enseignants

dans TDmaths.

Les hypothèses :• Unicité du modèle d’évaluation,• Fixité de la méthode d’évaluation,• Résultat incompréhensible,• Interopérabilité des EIAH avec les services.

Les objectifs : 1. Proposer un format de résultats2. Utiliser les LMP pour décrire des évaluations

1ère partie

Contexte



Les ENT

Les LMP

Synthèse


Modèle de résultatsMéthodologie

• Formats existants (IMS-QTI, IMS-LIP, SCORM, etc.)

• EIAH (TDmaths, Pépite, etc.)

• ENT (Portail de l’Univ. Savoie, Moodle, Sakaï, etc.)

• Les projets spécialisés (TenCompetence, Kaleidoscope)

• Formats de traces (Musette, MTSA, UTL, etc.)

• Enseignants (Auteurs OJE)

2nde Partie

Modèle et Format de résultats


Synthèse

Perspectives

Modèle de résultats

Format de résultats

Itératif


Modèle de résultatsObtention des résultats

• Exemples :

EIAH Produit Evaluation Résultat

CAT Questionnaires Sommative Pourcentage

SPLACH Discussion Formative Profil social

Pépite Questionnaires Diagnostique Pourcentages de maîtrise de compétences

GenEval Questionnaires Formatrice note

Produit Evaluation Résultat

Produit de l’activité de l’apprenant

Evaluation du produit

Résultat de

l’évaluation

2nde Partie



Synthèse

Perspectives


Modèle de résultatsEvaluer quoi et comment ?

Méthode

Critères

Résultat

Caractéristique

ProduitCaractéristique

Caractéristique

Caractéristique

Caractéristique

Référent

Référé

Produit de l'activité de

l'apprenant avec ses

caractéristiques

Evaluation de certaines

caractéristiques du produit selon

des critères d'évaluation et en utilisant une

méthode

Résultat de l'évaluation

2nde Partie



Synthèse

Perspectives


Modèle de résultatsExemple

• Un système de CAT:

Comparaison

Bonne Réponse

Score

....

Question....

Réponse

....

....

Produit de l'activité de

l'apprenant avec ses

caractéristiques

Evaluation de certaines

caractéristiques du produit selon

des critères d'évaluation et en utilisant une

méthode

Résultat de l'évaluation

2nde Partie



Synthèse

Perspectives


Modèle de résultatsPlace des acteurs

• Des acteurs différents dans l’obtention d’un résultat d’évaluation.

Evaluation Evalué Evaluateur

Formative Apprenant Enseignant

Formatrice

(auto-évaluation)

Apprenant Apprenant

2nde Partie



Synthèse

Perspectives


Modèle de résultatsNotion de compétence

• Des résultats qui sont en relation avec des compétences et des échelles de compétences :

EIAH Type de compétences

Pépite Compétences disciplinaires

TDmaths Compétences transversales

2nde Partie



Synthèse

Perspectives


Modèle de résultats Modèle de Résultat Commun (MRC)

2nde Partie



Synthèse

Perspectives


Modèle de résultats MRC avec TDmaths

MRC TDmaths

Acteur Apprenant/TDmaths

EIAH TDmaths

Produit Question

Caractéristique Réponse

Evaluation Comparaison

Critère Bonne réponse

Résultat Note

Compétence Compétences transversales

2nde Partie



Synthèse

Perspectives


Modèle de résultats MRC avec Pépite

MRC Pépite

Acteur Apprenant/Pépite

EIAH Pépite

Produit Question

Caractéristique Réponse

Evaluation Comparaison

Critère Bonne réponse

Résultat Pourcentage

Compétence Compétence disciplinaire

2nde Partie



Synthèse

Perspectives


Format de résultatsTransformation de MRC en XML.

Exemple: Evaluation d’une dictée

<Resultat>

....

<Evaluation typeEvaluation="Sommative">

<methode>Recherche de fautes d'orthographe</methode>

<evalue>

<laCaracteristique>Orthographe_dictée</laCaracteristique>

</evalue>

<realiseePar>

<Acteur id="gdura">

<role>enseignant</role>

<nom>Guillaume Durand</nom>

</Acteur>

</realiseePar>

Transformation

MRC Format

2nde Partie



Synthèse

Perspectives


Format de résultats

<reposeSur>

<Critere id="1123">

<description>retrait d'un point par faute d'orthographe</description>

<bareme typeValeur="integer" max="20" min="0">-1</bareme>

</Critere>

</reposeSur>

</Evaluation>

....

<valeurResultat>

<valeur typeValeur="integer" max="20" min="0" pas="1">1>18</valeur>

<seJustifiePar>

<Erreur caractref="11" critereref="1123">

<description>chaîne au lieu de chêne</description>

</Erreur>

<Erreur caractref="11" critereref="1123">

<description>Attention plages et au pluriel!</description>

</Erreur>

</seJustifiePar>

<commentaire>En progrès seulement deux fautes !</commentaire>

</valeurResultat>

....

</Resultat>

2nde Partie



Synthèse

Perspectives


Format de résultatsExpression des compétences

• S ’appuie sur IMS-RDCEO.• Formalisme d’expression de compétences.

Base de compétencesIMS-RDCEO

EIAH 1EIAH 2

Définitions standardisées

des compétences

2nde Partie



Synthèse

Perspectives


Format de résultatsLien avec IMS-RDCEO

<Resultat>

....

<competences>

<competence rdceoid="http://ld.pentila.com/rdceo_cat1.xml#cpa_eg">

</competences>

….</Resultat>

2nde Partie



Synthèse

Perspectives


Format de résultatsSynthèse

Le format de résultat :• Permet d ’exprimer les résultats produits

par les EIAH,• Donne une signification aux résultats.

Premier objectif :

1. Interopérabilité des résultats,

2. Compréhension des résultats.

Ma Première contribution.

?

EIAH Services de l’ENT

Interopérabilité

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationMéthodologie

1.Prouver conceptuellement qu’un LMP peut exprimer une activité comportant une évaluation,

2. Implémenter et jouer ces scénarios,

3.Lever les verrous et adapter le LMP et/ou son infrastructure.

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationPreuve conceptuelle

Une activité différente pour chaque type d’évaluation.

Exemple:

• Evaluation diagnostique qui vise à construire des groupes de compétence.

• L’enseignant propose un questionnaire aux apprenants et les inscrit dans un groupe suivant leurs scores.

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationModélisation de l’exemple

2nde Partie



Synthèse

Perspectives

Scénarisation d ’une activité comportant une évaluation diagnostique

Eléments de LDL Composants du scénario

Rôles Candidat et examinateur

Enceintes Questionnaire,visualisation du score,attribution du groupe.

Interactions Répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.

Structures Structure principale (séquentielle)répondre au questionnaire,consulter le score de l’apprenant,attribuer un groupe.

Positions score, groupe final.

Règles Règles de démarrage et d’arrêt de la structure et des interactions.

Preuve Conceptuelle


2nde Partie



Synthèse

Perspectives

Scénariser l’évaluationExécution de l’exemple









Non Exécutable


Scénariser l’évaluationLes verrous de l’exemple

2nde Partie



Synthèse

Perspectives









Premier verrou


Scénariser l’évaluationPremier verrou

Le problème de l’association des positions aux produits et résultats de l’apprenant.


<scenario>

….

<Position id= score>

….

<Position>

….

</scenario>

Lien ?

2nde Partie



Synthèse

Perspectives

Base de résultats

TDmaths

Résultat


Scénariser l’évaluationLes positions dont la valeur est obtenue par l’observation


<scenario><Position id= score><valeur> <observer> resultatTDmaths <observer></valeur>….<Position></scenario>

2nde Partie



Synthèse

Perspectives

Base de résultats

TDmaths

Résultat

LDI

NotificationMécanisme Observateur/Observable


Scénariser l’évaluationSecond verrou

2nde Partie



Synthèse

Perspectives









Second verrou


Scénariser l’évaluationLes enceintes de type méthode


<Enceinte kindOfEnceinte="method"> <title>Voir la réponse de l'élève</title> <source> <URL> http://ld.pentila.com/result_view&{reponse} </URL> </source></Enceinte>

2nde Partie



Synthèse

Perspectives

Service

URL

Traduit l’URL et configure le service pour

réaliser le traitement demandé

Agent de paramétrage

LDI

http://ld.pentila.com/result_view&%7Breponse%7D


Scénariser l’évaluationSynthèse intermédiaire

Utiliser les LMP pour décrire des évaluations :• Permet de choisir un modèle d’évaluation,• Permet d’adapter la méthode d’évaluation.

Deuxième objectif :• Choix du modèle d’évaluation,• Paramétrage de la méthode d’évaluation.

Notre seconde contribution.

2nde Partie



Synthèse

Perspectives

EIAH

Autre modèled’évaluation

?

EIAH


Scénariser l’évaluationLimites de cette première approche

Un seul scénario pour décrire les phases d’évaluation et d’apprentissage :

• Scénarios très complexes,

• Non réutilisables,

• Evaluation non modifiable en cours d’activité.

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationUn nouvel Objectif

Hypothèse: L’évaluation est une activité.

Nouvel Objectif :

Scénariser l’évaluation dans un scénario autonome.

Intérêts:• Réutilisabilité des scénarios,• Adapter l’évaluation durant l’activité (et non lors de la

conception),• Simplifier l’écriture des scénarios.

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationMéthodologie

1.Prouver conceptuellement qu’un LMP peut exprimer un scénario d’évaluation,

2. Implémenter et jouer ces scénarios,

3.Lever les verrous et adapter le LMP et/ou son infrastructure.

2nde Partie



Synthèse

Perspectives


Scénariser l’évaluationLa situation choisie : le jeu des planètes• proposée à ICALT 2006

2nde Partie



Synthèse

Perspectives

Activité d’évaluationsommative

Activité d’apprentissage

éq. B


éq.A

Activité d’organisation

Activitéd’observation

Apprenant Enseignant


Scénariser l’évaluationModélisation de l’évaluation sommative

2nde Partie



Synthèse

Perspectives

Scénarisation de l’activité d’évaluation sommative


Rôles Enseignant et élèves

Enceintes Questionnaire,Proclamation du vainqueur.

Interactions Répondre au questionnaire,Voir le vainqueur.

Structures Structure principale (séquentielle)répondre au questionnaire,voir le vainqueur.

Positions Position de démarrage de la structure principale et une autre pour la terminée.


Preuve Conceptuelle


Scénariser l’évaluationModélisation de l’évaluation sommative

2nde Partie



Synthèse

Perspectives

Scénarisation de l’activité d’évaluation sommative


Rôles Enseignant et élèves

Enceintes Questionnaire,Proclamation du vainqueur.

Interactions Répondre au questionnaire,Voir le vainqueur.

Structures Structure principale (séquentielle)répondre au questionnaire,voir le vainqueur.

Positions Position de démarrage de la structure principale et une autre pour la terminée.


Non Exécutable


Scénariser l’évaluationVerrou : partage d’informations

2nde Partie



Synthèse

Perspectives

Activité d’évaluationsommative


éq. B


éq.A

Activité équipe A terminée

Activité équipe B terminée

Activité d’évaluation peut démarrer

Apprenant Enseignant Position


Scénariser l’évaluationLes positions partagées


<Scen. Apprentissage><Position id=‘FinAct’> <valeur> </valeur> <sur>les_consignes</sur> <de>eleve</de> <portee>infrastructure</portee></Position>

2nde Partie



Synthèse

Perspectives

<Scen. Evaluation><Condition id="condStartTest"> <laPosition>FinACT</laPosition> <comp>equalTo</comp> <val>1</val> </Condition>

LDI

Activité d’apprentissage Activité d’évaluation

Objetposition partagée


Scénariser l’évaluationSynthèse sur les scénarios d’évaluation

Utiliser les LMP pour décrire des évaluations :• Permet de choisir, changer, ajouter, un modèle

d’évaluation, en cours d’activité,• Permet d’adapter la méthode d’évaluation durant l’activité

d’apprentissage.

Troisième Objectif :• Réutilisabilité des scénarios,• Adapter l’évaluation durant l’activité (et non lors de la

conception),• Simplifier l’écriture des scénarios.

Notre troisième contribution.

2nde Partie



Synthèse

Perspectives


SynthèseLes objectifs atteints

Premier objectif:• Un format de résultat.

Deuxième objectif:• Utiliser les LMP pour décrire des scénarios

d’activités comportant des évaluations.

Troisième objectif:• Utiliser les LMP pour décrire des scénarios

d’évaluation.

2nde Partie



Synthèse

Perspectives


SynthèseLes contributions• Un modèle et un format de résultats,

• L’adaptation d’un LMP (LDL) aux spécificités de l’évaluation,

• L’introduction du concept de scénario d’évaluation et sa preuve,

• Des propositions d’architecture logicielle de mise en œuvre,

• L’implémentation partielle des propositions dans un

démonstrateur.

2nde Partie



Synthèse

Perspectives


Perspectives expérimentalesVérifier nos hypothèses

• Besoin d’un éditeur de scénarios,

• Editeur basé sur des « patterns » de scénarios d’évaluation;

• Nécessité de terminer l’implémentation des propositions dans le prototype (base de résultats).

2nde Partie



Synthèse

Perspectives


Perspectives en ingénierieDiscuter nos contributions

• Standardiser un format de résultats.

• Définir des méthodes de conception de scénarios pédagogiques.

– Elaboration d’un scénario même avec un éditeur est complexe.

– La scénarisation d’activités de « grains fins » augmente cette complexité.

2nde Partie



Synthèse

Perspectives


Perspectives industriellesRépondre au problème initial

• Implémentation du format de résultats.

• Utilisation d’un LMP et de son infrastructure dans un produit en cours de développement.

2nde Partie



Synthèse

Perspectives


Perspectives de rechercheVers de nouveaux problèmes

• Nos propositions s’inscrivent dans une vision prescriptive des activités.

• Comment optimiser un scénario en vue d’un objectif pédagogique précis ?

• Comment optimiser la formation ?

• Problème de recherche pluridisciplinaire majeur.

2nde Partie



Synthèse

Perspectives


Merci !


Questions ?

chambéry le 24 octobre 20061 la scénarisation de l'évaluation des activités pédagogiques...

Documents