traces numeriques explicites

Traces / numériques / explicites  Yannick PriéUniversité Lyon 1LIRIS UMR5205

Objectifs

Donner des éléments de caractérisation des traces et de leur utilisation

Proposer quelques définitions

Présenter quelques travaux autour de l’approche des Systèmes à Base de Traces Modélisées

Plan

Traces

Traces numériques

Traces numériques explicites pour utilisateurs conscients

Traces comme indices / signes

Définir une trace en tant que telle est impossible

« Génitif intrinsèque » (Serres)

Interprétation, signification

AbstractionIndice d’événements

Questions de causalité / indices

Trace de processusSuite d’événements

Composition d’indices

(indice plutôt isolé vs trace plutôt composée)

Interprétation de traces

et activitéL’interprétation est impliquée dans une activité

Articulation consciente de la trace à l’activité

ExpérimentationEnquêteRéflexivité

Articulation inconscienteSignification immédiateRéflexion en action (Schön)

Traces et constitution d’un rapport au temps

Construction du passéJuste passé

Passé personnel

Passé commun

Construction du futurprise de conscience et transformation de l’activité et de soi-même

Narration et récit

Bilan intermédiaire

Définition généraleLa trace est une inscription-signe utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation

Focalisation : trace = signe du passéLa trace est inscription-signe d’un événement ou d’un processus passé utilisée au cours d’une activité dans laquelle cette signification est mobilisée, ce qui implique une interprétation

Plan

Traces

Traces numériques

Traces numériques explicites pour utilisateurs conscients

Traces et numérique

Le numérique est fondé sur la notion de trace, tout processus numérique utilise des traces et produit des traces

Dans le numérique, tout est donc signe, au moins du ou des processus qui en sont à l’origine

Un monde d’indices à interpréter

PropositionsPenser l’interprétation instrumentée comme structuration spatio-temporelle d’indices

Considérer une double interprétation

Structuration spatio-temporelle d’indices

numériquesInterprétation de traces numériques

Processus d’organisation, de transformation d’éléments numériques quelconques

spatial : structuration

temporel : temporalisation

Résultatnouveaux éléments numériques signifiants

Double interprétation 1- Interprétation liée aux processus

numériquesInterpréter d’abord les indices comme traces de processus informatiques, de calcul

Interprétation automatisée d’indicesdéfinition de processus à partir des relations séquentielles ou chronologiques

reconstruction de processus quelconque

interprétation informée par la connaissance de caractéristiques d’un processus / programme, expert

Fabrication de nouveaux indices signes de causes extérieures au numérique

interprétation « à la limite » numérique

interprétation cohérente avec la formalité numérique

Double interprétation 2- Interprétation liée aux processus ayant

mis en jeu les processus numériques

Interpréter ensuite ces indices comme traces de processus qui ont pu se dérouler

en dehors du monde numériqueprocessus physiques, biologiques, humains, sociaux, etc.

avec le monde numériqueactivité médiée

Interprétation arbitraire par rapport au numérique

Interprétation de processus calculatoires

Interprétation de processus mondains

Interprétation humaine de traces numériquesObligatoirement instrumentée

Directe à partir de la présentation d’indice(s) plus ou moins calculée

Interactiveorganisation/transformation manuelle interactive en nouveaux indices

assisté par des processus automatiquesrequêtes, transformations, visualisation

assistance possible par des modèles sur les processus visés

Structuration automatique machiniqueStructuration interactive humaine

Structuration interactive comme tissage d’indices

Mise en texte au sens large : tableau, groupement, texte écrit

Objectification éphémère ou durable de la trace

Narration, séquentialisation, temporalisation

Bilan

Deux types d’objets de l’activité d’interprétation

Deux types d’outils pour l’interprétation considérée comme structuration

Interprétation de processus calculatoires

Interprétation de processus mondains

Structuration automatique Structuration interactive

Exemple 1 : données météo

Tracesdonnées de température dans une base de données

Structuration automatiquelissage + présentation sur une carte

Interprétation processus mondainil fait chaud à Toulouse

Exemple 2 : données d’exécution

Traceslogs d’un système

Structuration automatiquedétection d’un problème

Interprétation processus calculatoireerreur dans le code

Exemple 3 : vidéo

Tracesinformations audio-visuelles

Structuration automatiqueprésentation de la vidéo comme objet

détection de visages

Structuration interactiveexpérience de la vidéo en train de se jouer, arrêt sur image, déplacement

validation des visages proposés

construction d’une structure d’annotation

Interprétation de processus mondaintelle personne a fait telle action

la séance s’est bien passée

Exemple 4 : traces de conduite

Tracesvitesse, angle volant, position, vidéo

fixations regards (issus d’une interprétation préalable)

Structuration automatiqueaccélération, tour volant, etc.

présentation dans une timeline

Structuration interactivemarquage d’un « dépassement » de t1 à t2

requêtage et affichagee.g. « tour volant > 30 ET regard rétro gauche »

Interprétation de processus mondainmodèles de conduite

Le cas de l’activité médiée

Processus visé = activité qui prend appui sur des inscriptions numériques et des outils numériques

L’outil numérique supporte l’activitéLes indices-inscriptions sont (plus) directement interprétables dans les termes de l’activité

Instrumentation possible d’une interprétation automatique de processus calculatoire

Préparation d’un environnement d’inscription de traces

Conséquences possibles sur l’activitéRéflexivité : indicateurs, historique, contextualisation

Assistance

Exemple 5 : indicateurs

Tracesmessages sur un chat

Structuration automatiqueconstruction d’un pourcentage de participation

Interprétation de processus mondainEtienne ne participe pas assez

Je n’étais pas très impliqué

Exemple 6 : historique

Traceslogs serveur web

Structuration automatiqueconstruction d’indices de navigation, e.g. Recherche d’information, Achat en ligne, Traitement courrier

présentation en timeline

Interprétation de processus mondainEtienne traite son courrier en général le matin

Qu’est-ce que j’ai bien pu faire lundi ?

Exemple 7 : annotation de l’activité avec des

marqueursStructuration automatique

Gestion du marquage temporel

Présentation temporalisée de marqueurs

Structuration interactivePose de marqueurs, modification

Interprétation de processus mondainJe commence telle tâche

Il faudra envoyer un mail à Marie plus tard

Interprétation de processus calculatoires

Structuration automatique Structuration interactive

Interprétation de processus mondains

Structuration automatique Structuration interactive

(Interprétation formalisée de processus calculatoires)

Bilan : deux cas principaux

Bouger les curseurs

Par principe, tout élément informatique est atteignable, manipulable, structurable

peut participer à une sémioseen tant que signe de processus numérique réel ou reconstruit

en tant que signe « à la limite » de processus mondains

peut participer à un activité de structuration

Evolution d’un système tracéévolution de la séparation automatique / interactif

par automatisation de schémas de structuration interactive

par abandon de modes de structuration automatique

changement des processus numériques eux-mêmes pour prendre en compte / optimiser l’évolution de la structuration automatique

Bilan intermédiaire

Trace numériqueInscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’un événement ou d’un processus numérique ou mondain au cours d’une activité instrumentée dans laquelle cette signification est mobilisée

Trace numérique d’activité médiéeInscription numérique composée d’un ou de plusieurs éléments numériques, interprétée comme signe d’une activité médiée au cours d’une activité instrumentée dans laquelle cette signification est mobilisée en analyse ou en réflexivité

Plan

Traces

Traces numériques

Traces numériques explicites pour utilisateurs conscients

Trace numérique explicite d’activité médiée

Trace qui se présente explicitement comme une trace d’un processus, qui s’appréhende comme une trace

temporalisation explicite d’éléments signifiants interprétables en lien avec l’activité

Pas forcément facile à interpréter !

Utilisateur conscienttrace des autres (analyse)

ou de soi-même (réflexivité)

Utilisations des traces explicites

Analyse de traces passées

Construction d’interprétation scientifique

Contextualisation de ressources partagées

Partage et redocumentation d’activité

Analyse instantanée Monitoring

Prévision

Rétrospection : historiques

Recherche d’information

Développement : appropriation, métacognition

Partage et redocumentation

Contextualisation de ressource

Réflexivité instantanée : indices

Traces instantanées, awareness, undo, marqueurs

Mémoire prospective

An

aly

seR

éflexiv

ité

Problématiques applicatives

Technologie intellectuelle visant à permettre l’interprétation d’une trace numérique d’activité

Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite d’une activité instrumentée

Intégration dans une activité d’analyse

interprétation/ partage

Technologie intellectuelle visant à permettre l’interprétation d’une trace numérique de sa propre activité

Dispositif interactif de présentation, de navigation et d’interprétation d’une trace explicite de son activité instrumentée

Intégration pour une expérience complète

activité + réflexivité

Appropriabilité de la traceconstruction de son expérience passée

An

aly

seR

éflexiv

ité

Challenges Représentation des traces numériques modèles de traces

Opérationnalisation de la structuration automatique transformations et modèles de transformation

Visualisation et interaction pour l’interprétation (structuration interactive) timelines ou autres

Conception de systèmes méthodologie

Ethique principes

Ethique et confidentialité

Principe : un utilisateurest propriétaire de ses traces

peut contrôler la collecte (débrayage complet, débrayage partiel)

contrôle la diffusion et le partage de ses traces

Moyennotification du traçage

retour instantané (léger) sur ce qui est tracé

outil(s) d’interprétation de trace

Traces modélisées• Une trace contient des

obsels (observed element)

temporellement situést : obsel instantané

t1, t2 : obsel duratif

avec un contenuattributs / valeurs

Deux obsels peuvent être mis en relation

Un obsel a un type

Traces modélisées (2)Modèle de trace :

ensemble de types d’obsels

types de relation

Trace modélisée : association d’un ensemble d’obsels et de relations et d’un modèle de trace

Traces et transformations (1)

Passage d’une trace modélisée à une autre trace modélisée

Abstraction

Traces et transformations (2)

Transformation de tracessélection, réécriture, fusion

Trace premièretrace non transformée

Transformations automatiques

Modèles de transformation = descriptions formelles de transformations

Transformations manuelles

Graphe des transformations

traçabilité des transformations

Systèmes à base de traces

Collecte des traces

Conservation des traces base de traces

Transformation de traces assurer l’interprétabilité

Outils d’exploitation des traces – notamment visualisation interactive

assurer la visibilité et l’appropriabilité

(Settouti, 2011)

Systèmes à Base de Traces

Exemple global : Visu

Projet ANR ITHACA (Lyon 1, Lyon 2, TECFA)Interactive Traces for Humain Awareness and Collaborative Annotation

Application Visu : tutorat en ligneActeurs

responsable de formation

tuteurs

apprenants

Fonctionnement séances de tutorat synchrone

retour sur l’activité asynchrone

Visu : salon synchrone

Salon synchrone Visioconférence + chat + plan de séance + documents de séance + zone de marquage + timeline de présentation des traces

Traces d’activitéTrace des interactions

Trace de marquage

Traces audio-vidéo

Visu : salon de rétrospection

Salon de rétrospectionPlayer audiovidéo

Timeline synchroniséeTraces personnelles

Traces partagées

CommentairesAnnotation de l’activité a posteriori

Transformation manuelle des traces

Trace d’activitéTrace de l’utilisation (pour l’analyse)

Visu : gestion de bilans

Module de documentarisation de tracesConstruction de fragments documentaires

Module de visualisation de bilansTexte + vidéo

Autres travaux

Partage de traces, traces collectives

Reprise d’activité lointaine ou proche à base de traces

Documentarisation textuelle semi-automatique

Construction interactive de transformations

Timelines et présentation de traces

Raisonnement à Partir de l’Expérience Tracée Transformation = inférence

Fouille interactive de tracesTransformations

Modèles d’activité

…

Méthodologie

(Laflaquière, 2009)

Méthodologie

Conclusion

Indice / trace

Interprétation comme structuration spatio-temporelle d’indices

automatique et interactive

Interprétation de processus calculatoires puis mondains

Traces explicites et utilisateurs conscientsanalyse / réflexivité

Systèmes à base de traces modélisées

Traces explicites pour la réflexivité

Remerciements

Equipe SILEX