Transcription de données multimodales dans Second Life sur le logiciel ELAN

Programme

1) Cadre global 2) La multimodalité dans Second Life3) Que transcrit-on?4) Comment transcrit-on?5) Exercice

Formation au Laboratoire de Recherche sur le Langage

5 septembre 2011, 14h00 - 16h00 (modif 6 décembre 2012)

http://mulce.org

© (Inès SADDOUR, Ciara WIGHAM & Thierry CHANIER, 2011)

Cadre global

• Projet global Mulce http://mulce.org• Archi21: corpus d’apprentissage• Standardisation, mise en forme et en ligne, partage de corpus d’apprentissage• Manuel de transcription « Manuel de transcription de données multimodales dans

Second Life »: en continuité avec d’autres manuels élaborés dans le cadre du projet Mulce => Ciekanski, M., Chanier, T. & A. Vetter (2008). Rapport d’activité Tâche Tmult1 : Multimodal, modèles, transcription, Annexe technique : Multimodal, conventions de transcription et outils de transcription.

La multimodalité dans Second Life

Transcription de données multimodales dans Second Life

Communication non-verbale

geste

expressions faciales

apparenceartefactsle regard

« ...all of the ways in which communication is effected between persons when in each other’s presence, by means other than words » (Kendon, 1981)

proxémique

geste

Mode verbal dans Second Life (SL)mode verbal

audio clavardage

transmission proxémique

transmission radio

public privé

Mode non-verbal dans SLmode non-verbal

proxémique

orientation

kinésique

postureregard morphologie gestes(McNeill, 2000)

habits

extra-communicatifs(Cosnier, 1982)

iconiques déictiquesemblèmes (Kita, 2002)

pantomimes

méta-discursifsmots-emblèmesperformatifs

apparence

movement

entréesortie deplacement

Communication non-verbale avec des objets

un acteur fait afficher quelque chose sur un autre objet lors de la séance

-actuer-objet affiché-support-durée

les objets statiques pendant la durée de la séance

les objets que les étudiants utilisent lors d’un acte kinésique

Que transcrit-on?

TOUT

+

Que transcrit-on?

• Le clavardage privé (chercheurs / chercheurs) (tpc_pri)

• Le clavardage public (apprenants / chercheurs, apprenants / apprenants) (tpc)

• Apparition et disparition des avatars (es)

• Les gestes effectués par les différentes parties du corps des avatars (kin)

• Le mouvement et l’orientation des avatars (mov)

• La production des avatars (prod)

• Tours de parole audio (tpa)• Silences (sil)

+ Description des données=> Métadonnées

• Type de données• Contenu• Qui? acteurs + rôles { chercheurs, informateurs, tuteurs de langue, tuteurs

d’architecture, techniciens, collecteurs des données, éditeurs, déposants, annotateurs / transcripteurs…)

• Où?• Quand?• Comment?• Description des acteurs et de l’environnement• …etc.

Comment transcrit-on?ELAN

• EUDICO Linguistic Annotator

• Créé par Max Planck Institute for Psycholinguistics, Nijmègue, Pays-Bas (annotation et l’exploitation de corpus multimodaux)

• Spécifiquement élaboré pour l’analyse du langage, des langues des signes et de la gestuelle.

• Permet: Création Edition Visualisation Recherche

d’annotations de données sur support vidéo et audio

Comment transcrit-on?ELAN

Projet ELANFichier(s) « média »

-> vidéo (mpg, mov, avi..) Fichier d’annotations

• Un nombre illimité d'annotations • Une annotation: une phrase, un mot ou une glose, un commentaire, une traduction ou une

description de n'importe quelle caractéristique observée. • Les annotations peuvent être créées sur les couches multiples: tiers. • Une annotation peut être alignée temporellement à la source audio ou vidéo ou peut référer à

d'autres annotations existantes.

• Le contenu écrit: Unicode • Transcription: conservée dans un format XML (eaf.)

ELAN fournit• différentes vues des annotations, et chaque vue est reliée et synchronisée à la source concernée.

Comment transcrit-on?ELAN

Informations pratiques

Installation: http://www.lat-mpi.eu/tools/elan/

Manuel d’utilisation: HTML: http://www.lat-mpi.eu/tools/elan/manuel/PDF: http://www.mpi.nl/corpus/manuals/manual-elan.pdf

L’interface ELANExemple d’une fenêtre

1 2

3

45

Démonstration

MétadonnéesInfo dépassée : Télécharger: IMDI Metadata Editor (ISLE Meta Data Initiative)

http://www.lat-lat-mpi.eu/tools/imdi/editorNote du 6/12/2012 : il faut maintenant travailler avec Arbil, voir sur même site

MétadonnéesCompléter avec les informations suivantes:

Le nom, le titre, la date et le lieu de la session. Le titre et le code du projet global (archi21) Le nom, l’adresse postale, l’adresse électronique et l’affiliation de la personne

responsable à contacter au sujet du corpus. La liste des acteurs : Plusieurs types d’acteurs sont présents. Les informations

fournies dans les métadonnées dépendent du type. La description des acteurs et du cadre global : cette description porte aussi sur le

positionnement général des avatars. Les différentes ressources : Il faut attacher les fichiers vidéo et texte du clavardage.

Pour les vidéos il faut indiquer leur durée.

Plus d’informations: Manuel de transcription de données multimodales dans Second Life

Exercice

Tous les documents associés à cette mini-formation dont le TP sont sur

• http://lrl-diffusion.univ-bpclermont.fr/

mulce/metadata/FormationMulce/