TRACER POUR INTERPRETER

Application à l’apprentissage avec les TICEChristophe Courtin(SysCom Chambéry)Alain Mille(LIRIS, Villeurbanne)

2

Plan de l’exposé Traces ? Traces et TICE ? Théorisation

Architecture de collecteModélisation de l’utilisation / approche Musette

IllustrationsStation d’observation Projets d’intégrations de l’Expérience pour

l’Enseignement à DistanceDémonstration d’un atelier Musette

Perspectives de recherche

3

Traces ?

Séquences d’observésSynchronisation temporelle des observésAu-delà des observés, le processus

Exemples de traces « brutes »Fichiers logsEnregistrements vidéoEnregistrements audioRelevés d’observation temporellement situées

4

Tracer les situations d’apprentissage avec les TICE Environnement TICE

Acteurs TICE (inter-agissant avec les TICE) Apprenants Enseignants (avec différents rôles) Gestionnaires des dispositifs d’apprentissage

Environnement informatique (support des inter-actions TICE)

Environnement matériel Ressources accessibles / Environnement matériel

(+ l’environnement non-TICE ?)

5

Traces interprétées par qui ?

L’apprenant comme acteur et observateur et interprétateur des traces d’utilisation de l’environnement qu’il « agit » = usage réflexif direct

L’enseignant/le gestionnaire (avec différents rôles) comme observateur et interprétateur des traces d’utilisation du dispositif dont il est le « concepteur » = usage réflexif indirect

Le chercheur comme observateur et interprétateur de traces d’inter-actions en situation d’apprentissage = usage « objectif » / comprendre, expliquer.

6

Boucle de retour d’expérience (immédiate)

Facilitateurs d’appropriation / apprentissage

7

Boucle de retour d’expérience(court terme)

Facilitateurs de conception TICE

8

Boucle de retour d’expérience(moyen terme)

Facilitateurs de gestion TICE

9

Boucle de retour d’expérience(long terme)

Facilitateurs de compréhension TICE

10

Théoriser sur le traçage

Problématiques de collecte

Modèles de traces Musette

11

Pourquoi collecter ?

Déboguage Rétro-conception Amélioration de scénarios pédagogiques Renforcement du contrôle social Compréhension de l’activité de groupe Exécution de scénarios Aide à l’utilisateur ... collecter pour observer

12

Qu’est-ce qui est observé ?

Collecte au sein des outils :plus ou moins bien réalisée ;souvent incomplète ;difficilement extensible ; incompatible avec ce qui est fait dans les

autres outils.

13

Que souhaite-t-on observer ?

Ca dépend où on se place : l’apprenant souhaitera observer sa propre activité d’apprentissage

(feedback) et celle du groupe (awareness) l’apprenant souhaitera observer ses progrès et sa propre méthode

de travail (pour apprendre à apprendre) ; un enseignant souhaitera observer l’avancement de sa classe, et

notamment les difficultés rencontrées pour agir en conséquence (régulation) ;

un enseignant-auteur souhaitera savoir si le scénario pédagogique est adapté à la SACI ;

un concepteur souhaitera mesurer l’utilisabilité d’un outil ; un chercheur souhaitera expliciter les problématiques

associées.

14

Quels sont les observés ?

Selon le niveau d’abstraction : des réactions de l’interface ou de l’analyseur, la liste des

apprenants, leur localisation, etc. ; des résultats, des messages interprétant une situation ; la validation d’un exercice et son degré de réussite ; les progrès occasionnés par la SACI par rapport à un

apprentissage traditionnel ; le taux d’utilisation d’un outil ; l’expressivité d’un modèle et son implantation in vivo.

traces brutes traces évoluées

15

Qu’est-ce qu’une trace brute ?

C’est la représentation d’une (ré)action au sein d’un système informatique : source outil date description évènement utilisateur ...

16

Modèle de trace

Signal

source : chaîne de carac

date : date

source : outil : chaîne de carac

description : chaîne de c évènement : chaîne de c

Paramètre

valeur : chaîne de paramètres

1 *

*

* Séquence

date de début : date date de fin : date

* *

source : chaîne de carac

description : chaîne de c

17

Modèle d’observation

18

Quelles sont les problématiques ?

interprétation (analyse) visualisation (aide à la compréhension) structuration (normalisation) granularité (intra/inter outils)

19

Théoriser sur le traçage

Problématiques de collecte

Modèles de traces Musette

20

MUSETTE : les grandes étapes

AgentObservateur

AgentObservateur

Modèle d’UtilisationModèle d’Utilisation

Observation

Générationde Trace

Utilisateur

Interaction

SystèmeObservéSystèmeObservé

AgentsAssistants

Réutilisation d’épisodes

Modèle d’ObservationModèle d’Observation

AgentsFacilitateurs

AgentsFacilitateurs

Réutilisation d’épisodes

Extraction d’épisodes

Analyseur Générique de TraceAnalyseur Générique de Trace

Signature de Tâche 1

Signature de Tâche 1

Signature de Tâche 2

Signature de Tâche 2

ÉpisodesÉpisodes ÉpisodesÉpisodes

Trace PrimitiveTrace Primitive

AgentObservateur

AgentObservateur

Observation

Générationde Trace

Modèle d’ObservationModèle d’Observation

Modèle d’UtilisationModèle d’Utilisation

Trace PrimitiveTrace Primitive

Extraction d’épisodesSignature de

Tâche 1

Signature de Tâche 1

Signature de Tâche 2

Signature de Tâche 2

ÉpisodesÉpisodes ÉpisodesÉpisodes

Analyseur Générique de TraceAnalyseur Générique de Trace

21

MUSETTE-Base

« top level ontology » = ensemble de classes à spécialiser en un modèle d’utilisation

Observable

Objet d’intérêtObservation

TransitionÉtat

Relation1

Événement Entité Contraintes

Ordre séquence état/transition Etat contient entités Transition contient Evénements Relations entre objets d’intérêt

Relation2

22

Modèle d’utilisation

Ensemble de types d’entités, de types d’événements et de types de relations

Dans la mesure où le langage d’expression le permet contraintes sur les types (spécialisation, exclusion

mutuelle...) contraintes sur les relations (domaine et co-domaine,

transitivité, relations inverses, ...) contraintes sur la disposition des objets d’intérêt dans

les observations

23

Modèle d’utilisationexemple Web

trait

pagelien

image

click

lang

bm

sauv

contraintes

click

Observable

Objet d’intérêt

Événement Entité

bm lang

sauv

trait

image

lienpage

24

Traces : séquence états-transitions

état 5 transition 5 état 6 état 7transition 6

page 1

fr

lien1

lien2

click1page 2

fr

bm1page 3

enlang1persistance

Observable

Observation

TransitionÉtat

25

Signatures de tâches expliquéeset épisodes

Le modèle d’utilisation permet d’inscrire l’utilisation dans une trace primitive

La trace contient potentiellement des épisodes d’utilisation re-traçant une expérience utilisable pour l’assistance en contexte

Les épisodes sont repérés dans la trace grâce à des signatures de tâches « expliquées »

26

Signature de tâches expliquées

Composition motif d’objets d’intérêt (OI)

dans la trace contraintes sur la position

relative des OI dans l’épisode

contraintes sur les attributs des OI

Annotations

Explained task signature (EXTASI)

Observable

Objet d’intérêt

Événement Entité

bm lang

sauv

trait

imagelien page

click

27

Signatures : exemple

Signature de tâche : Changer la langue

Page Page

Trait Traitlang

Cette page est préférée dans cette langue

Signature de tâche : Relever un site intéressant

Page lien Click Page bm

Page intérieur

e

Page de garde

Même site

Permet d’atteindre la page intérieure

28

Episodes : illustration 1

page 1

fr

lien1

lien2

click1

page 2

fr

bm1page 3

enlang1

page 1 lien1 click1

page 2

bm1

page intérieure

page de garde

même sitePermet d’atteindre la page intérieure

Permet d’atteindre la page intérieure

Relever un siteintéressant :

persistance

trait

pagelien

image

click

lang

bm

sauv

contraintes

29

page 1

fr

lien1

lien2

click1page 2

fr

bm1page 3

enlang1

Changer la langue :

Cette page estpréférée dans cette langue

page 2

fr

page 3

enlang1

Cette page est préférée dans cette langue

persistance

trait

pagelien

image

click

lang

bm

sauv

contraintes

Episodes : illustration 2

30

Illustrations

Collecte.. Utilisation réflexive (PIXED) Atelier Musette (Démonstration)

31

Notre modèle d’observation

traces brutes

séquences Modèle d’utilisationintra/inter outils

en accord avec

environnement numérique de travail

appareillage

collecteur

sources du collecteur

32

Expérimentation avec une SACI

Appareillage de deux outils (coffee-room et wiki) :1. discussion par binôme (x1,y1) et (x2,y2) sur deux

sujets ;2. écriture sur chaque sujet par un seul membre (x1) et

(y1) ;3. au même moment, discussion sur chaque sujet

successivement un par un (x2) et (y2) ;4. synthèse de chaque sujet par les binômes initiaux

(x1,y1) et (x2,y2) ;5. intervertion des rédacteurs au sein de chaque

binôme, donc (x2) et (y2) finissent la rédaction.

33

Architecture de la station d’observation

Base de données

pour les traces

Visualiseur “scout”

filtres Modèle d’utilisation

Analyseur

collecteur

Coffee-room (Java)

appareillage appareillage

Wiki (Zope Python)

Coffee-room (Java)

appareillage appareillage

Wiki (Zope Python )

34

Logs vs. appareillage

Coffee-room use

Communication tool

Wiki use

Production tool

Laure (x1) Antony (x2)

Catherine (y1)

Pierre (y2)

time

Wiki use

Production tool

a

b

c

d

e e e

e e e

e e

e e

h

i

i

l

l

l

n

n

n

n

c

d

e

e

e

h

time Laure (x1)

Antony (x2)

Catherine (y1)

Pierre (y2) c

d

d e

e

e

e

e

e

e

c

e

e

e

e

e

e

Coffee-room use

Communication tool

Wiki use

Production tool

Wiki use

Production tool

35

Structuration de la trace (intra)

signal = [source, outil, date, description, event, param...]

[wiki, wiki, ?t0, description, edit-page, ?x1, ?page1][wiki, wiki, ?t1, description, save-page, ?x1, ?page1]et[wiki, wiki, ?t2, description, edit-page, ?y1, ?page1][wiki, wiki, ?t3, description, save-page, ?y1, ?page1]

[coffee-room, coffee-room, ?t0+t, description, send-msg, ?x1, ?table1][coffee-room, coffee-room, ?t0+t’, description, send-msg, ?y1, ?

table1]

36

Structuration de la trace (inter)

sequence = [source, begin_date, end_date, description, sequence(s)/signal(s)]

[analyser, ?t0, ?t3, description,[wiki, wiki, ?t0, description, edit-page, ?x1, ?page1][wiki, wiki, ?t1, description, save-page, ?x1, ?page1][wiki, wiki, ?t2, description, edit-page, ?y1, ?page1][wiki, wiki, ?t3, description, save-page, ?y1, ?page1][coffee-room, coffee-room, ?t0+t, description, send-msg, ?x1, ?table1][coffee-room, coffee-room, ?t0+t’, description, send-msg, ?y1, ?table1]]

37

Visualisation

source tool date Event param_1 param_2 param_3

Wiki wiki 12005-06-15 15:07:12

load-page Laure page-subject1

 

Coffee-Room

coffee-room 12005-06-15 15:07:25

join-table Pierre subject1  

Wiki wiki 12005-06-15 15:07:35

load-page Catherine page-subject2

 

Coffee-Room

coffee-room 12005-06-15 15:07:56

send-mesg Antony subject1 Aren't you supposed to work with Cathy ?

Coffee-Room

coffee-room 12005-06-15 15:08:20

send-mesg Pierre subject1 Hi Antony, join us for 5' at the other table…

Wiki wiki 12005-06-15 15:08:36

edit-page Catherine page-subject2

 

Wiki wiki 12005-06-15 15:08:41

edit-page Laure page-subject1

 

Coffee-Room

coffee-room 12005-06-15 15:10:33

send-mesg Antony subject1 OK, give me just 1'

Coffee-Room

coffee-room 12005-06-15 15:11:02

send-mesg Pierre subject1 OK, I'm going back

38

Action en cours...

Généralisation de l’appareillage (API). Interopérabilité avec diverses sources

(logs, keyloggers, agents, appareillage, etc.).

39

Illustrations

Collecte.. Utilisation réflexive (PIXED) Atelier Musette (Démonstration)

42

Amorçage de la base d’épisodes

43

idpreobjqcmMod. Appr.Mod. Dom. Chemin not.n.c.a.e.annot.qcm.obj.qcm.Mod. Appr.

Contexte général Essai(s) Résultat id : identifiant pré : liste d’Activités d’Apprentissages précédant la navigation obj : l’objectif d’apprentissage qcm : questionnaire à choix multiples mod. appr. : modèle d’apprentissage de l’apprenant (réseau notionnel acquis) mod. dom. : connaissances du domaine (réseau notionnel décrit dans le domaine) chemin not. : chemin notionnel proposé n.c. : notion cible a.a. : activité apprentissage annot. : annotation

Traçage des activités…

44

Cycle de réutilisation de l’expérience tracée

Distance entre notionsDistance simple entre essaisPotentiel d’un essaiDistance entre tracesPotentiel de traceDistance entre épisodesPotentiel d’un épisodePotentiel d’une activité éducative

45

goa mcq L. ANN D. ANN cn1 ea annot. mcq cn2 ea1 annot mcqid pre

help cn2 ea2 annot mcqcn2 ea annot mcqL. ANN D. ANN cngoapre

help

Similarité

id goa mcq L. ANN D. ANNpre

eax

annot

mcq

cnx : current notion is x

: educational activity x played

: current notion is x

: annotation

: mcq successful / mcq failed

46

48

DEMONSTRATION ATELIER MUSETTE