un exemple de transcription et annotation vidéo .un exemple de transcription et annotation vidéo

Download Un exemple de transcription et annotation vidéo .Un exemple de transcription et annotation vidéo

Post on 02-Feb-2019

212 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Un exemple de transcription et annotation vido

Pourquoi utiliser la vido?

Quelles possibilits offre le codage vido?

Comment peut-on raliser ces codages?

Quels outils existent et pour quels usages?

Liens avec les autres outils?

Pourquoi utiliser la vido?

L'usage du son seul ne permet pas toujours de savoir ce qui se passe ou ce qui est dit

Il est possible d'utiliser plusieurs images vido simultanes

Il est possible de suivre ou dcrire des phnomnes non langagiers

Il est possible de coder le geste de manire trs prcise (toute image d'action se droulant dans le temps)

Le son ne permet pas toujours de savoir ce qui se passe ou ce qui est dit

Le son nest pas ais dcoder Les productions d'un enfant Les productions en milieu bruit

Le sens de la parole nest pas ais saisir Les sous-entendus Lorsque le non-verbal est inclus dans une conversation

(pointage, anaphore portant sur les lments de lenvironnement, prise en compte des ractions faciales et corporelles)

Exemple de son sans vido

Lonard (1;08)

Madeleine (1;09)

Son avec vido

Son avec vido

La vido nest pas la rponse tout

Lannotation du contexte reste utile

Filmer

Comment filmer ? La camra nest pas trs prcise

champ assez rduit (grand angle souvent ncessaire) statique ou mobile visible ou cache (aspect intrusif, rptition)

Un seul angle de vue Une seule chelle

camras multiples

Comme pour la prise de son, les dcisions, choix techniques sont lourds de consquence prendre avec soi

Manires de filmer

Non intrusif confier camra et pied des parents non spcialistes

rsultats variables pour la qualit de limage

Semi-intrusif participation dune personne de confiance qui vient filmer

choix du projet COLAJE mais nest pas toujours possible ni facile

Intrusif ou organis camras multiples dans une pice (ou toutes les pices) camras caches

plus lourd organiser

Exemple non-intrusif

Remarquable corpus de Naima suivi de lge de mais de temps en temps des images peu utilisables

exemple Naima 60 2 ans 8 mois 20 jours

Exemple trs intrusif

The Human Speechome Project ()

10 heures par jour

de la naissance trois ans

100 000 heures (plusieurs pistes)

problme de la transcription dun aussi grand corpus

recherche spcifique dans cette direction

y compris extraction de formes

Le projet COLAJE

reconstituer lmergence et le dveloppement de la communication langagire chez le jeune enfant, avec une approche pluridisciplinaire et multimodale

analyse simultane de la phonologie, la prosodie, la morpho-syntaxe, le dialogue et le mimo-gestuel offrir une perspective enrichie du dveloppement

linguistique de lenfant

Utiliser un codage enrichi

Transcription orthographique (enfant si possible, adulte)

Transcription phonologique enfant

Commentaires

Actions

Situations

Pointages

Exemple : Madeleine 1 an 11 mois 13 jours

*CHI: me@fs liv(r)es . %pho: me liv *MOT: (.) tu veux montrer lesquels Madeleine ? %sit: CHI, suivie de MOT et OBS a mont les escaliers jusqu'au premier. *CHI: [//] est belle yy ma chambre ! %pho: bl e ma bl e ma b %int: e=est/3/ %act: CHI traverse en courant la salle de jeux pour aller dans sa chambre, entre dans sa chambre, en sort en courant; s'arrte sur le seuil pour montrer sa belle chambre OBS. *CHI: ma chambre yy belle . %pho: ma b m bl %xpnt: show, avec l'index, en direction de sa chambre. *OBS: elle est belle ta chambre ah a c'est vrai .

Rparition des champs utiliss (corpus de Madeleine)

sur 46 550 lignes principales, 34 000 lignes secondaires

(14 896 %pho sur 17 438 lignes ENFANT)

Champ % %act: 32% %add: 2% %com: 6% %exp: 0% %gpx: 0% %int: 2% %pho: 44% %sit: 8% %ximi: 0% %xpnt: 7% Champ %

Usages

Code Usage

%act Coder les actions des interlocuteurs

%add On peut notamment prciser qui le locuteur sadresse, en cas dambigut

%com Commentaires divers - voix du transcripteur , pour faire un commentaire mtalinguistique. %exp Experiencer %gpx Coder les gestes %int Exprimer un doute sur ce qui est transcrit en ligne principale %pho Coder la phontique

%sit Dcrire la situation ou des actions non impliques dans la conversation (plus gnral que

%ximi On peut coder %ximi pour une rptition dun nonc par lenfant mais galement par ladulte.

%xpnt Coder les pointages de tous les interlocuteurs (mme si on la indiqu sous %act, a permet de les compter).

Codage de verbe

*OBS: allez montre moi le loto! %sit: CHI pose le loto sur la table basse *CHI: ouvrir ? %pho: ouvi %xfil: ouvrir uvRiR V bi v ouvi s bi v e- %act: essaie d'ouvrir la bote du jeu %xpol: VERB/ouvrir/ /touch/singular/concrete/animate/mobile(action)/specific/ /-/-/-/-/ /directive/-/1st/1arg *MOT: +< d'ailleurs je crois j'ai mme pas

xxx. *OBS: tu veux l'ouvrir? %act: approche sa main pour aider CHI ouvrir la bote

Codage de nom

*MOT: oh tu sais maman elle a mal au dos maman. %act: passe de la position genoux la position assise *CHI: au@fs dos? %pho: o do %xfil: dos do N uni c odo s bi v e+ o g imi e+R o %xpol: NOUN/dos/ /touch/singular/concrete/inanimate/-/specific/ /-/-/part/non-manipulable/ /-/-/-/-

Utilisation de limage pour le geste

Diffrents logiciels pour visualiser la vido et les annotations

Deux modes courants de prsentation Mode textuel

la dimension temporelle va de haut en bas sans quivalence dchelle taille cran dure

les annotations sont prsentes les unes aprs les autres dans un format textuel (de haut en bas)

Mode partition la dimension temporelle va de gauche droite

avec (ou sans) quivalence temporelle taille cran dure

les annotations sont prsentes de gauche droite ce format est plus propice lorganisation visuelle des structures imbriques

en niveau

S1: tu crois que je + S2: non non pas du tout

S1: tu crois que je + S2: non non pas du tout

Mode textuel

Prototype: CLAN Logiciel ancien

mais prsente encore certaines fonctionnalits uniques rcupration danciennes transcriptions commandes intgres de calcul (frquence, vocabulaire,

longueur dnonc et de formatages

peut plus facilement tre dtourn pour dautres usages prsentation transparente du contenu prsentation textuelle compacte

Mode partition

Prototype ELAN logiciel rcent

interface largement contrle (souris) formatage prcis multiples fonctions de manipulation (y compris une

prsentation partielle au format textuel)

possibilit de vidos multiples indications trs prcises du codage temporelle

actions, gestes recouvrement dnoncs codage avec prcision beaucoup plus visuel pour les interactions

large gamme de vidos (+ sons) compatibles large capacit dimports exports et interfaces

Autres choix

PHON mode de travail par nonc unique

mais visualisation mode texte et modules programmables

ANVIL formation partition

formatage des imbrications de champs trs prcise meilleure visualisation de ces imbrications outils supplmentaires

Transcriber-AG

autres logiciels dune faon gnrale, attention:

leur capacit jouer diffrents types de vido la communication des codages entre logiciels

Recommended

View more >