hiérarchisation des variations pour la génération de gestes expressifs de communication alexis...

Hiérarchisation des VariationsHiérarchisation des Variations

Pour la Génération de Gestes Expressifs de Communication

Alexis Heloir Loïc Kervajan

Atelier TALS, Conférence TALN - Toulouse 2007

ValoriaUniversité de Bretagne-Sud

DelicUniversité de Provence

Contexte, MotivationContexte, Motivation

• Génération de séquences gestuelles en LSF Au delà de la concaténation lexicale Démarche d’analyse-synthèse Prise en compte de la visée iconique

• Des problématiques qui se rejoignent Modèles linguistiques Modèles de génération de mouvements

Variations dans le mouvementVariations dans le mouvement

• Lié à la notion de “Style” Animation Agents Conversationnels

• Une définition (approche signal) Le style est l’ensemble des perturbations appliqées à

un mouvement de base qui permettent de rendre une animation plus réaliste en prenant en compte les caractéristiques de l’avatar réalisant le mouvement

Du point de vue de l’animation par ordinateur

Niveaux linguistiquesNiveaux linguistiques

• Structurels Propres à la construction du signe sématiquement autonome

• Contextuels Contraintes syntaxiques

Flexion morphologiques Accords phonologiques

• Relatifs au locuteur (propre ou transfert) Transferts et phénomènes associés Emotion du moment Traits de caratère

Niveaux linguistiquesNiveaux linguistiques

• Structurels Propres à la construction du signe sématiquement autonome

• Contextuels Contraintes syntaxiques

Flexion morphologiques Accords phonologiques

• Relatifs au locuteur (propre ou transfert) Transferts et phénomènes associés Emotion du moment Traits de caratère

Niveaux linguistiquesNiveaux linguistiques

Structurels• Creation lexicale

CONTENT vs MAL_AU_CŒUR

Niveaux linguistiquesNiveaux linguistiques

CONTENT MAL-AU-CŒUR

Niveaux linguistiquesNiveaux linguistiques

Structurels• Creation lexicale

CONTENT vs MAL_AU_COEUR

• Agglutination modale LOUP vs LOUP_AFFREUX

Niveaux linguistiquesNiveaux linguistiques

LOUP LOUP-AFREUX

Niveaux linguistiquesNiveaux linguistiques

• Structurels Propres à la construction du signe sématiquement autonome

• Contextuels Contraintes syntaxiques

Flexion morphologiques Accords phonologiques

• Relatifs au locuteur (propre ou transfert) Transferts et phénomènes associés Emotion du moment Traits de caratère

Niveaux linguistiquesNiveaux linguistiques

Contextuels• Flexion morphologique

VOITURE AVANCER[mph] MOTO AVANCER[mpv] HOMME AVANCER[d]

Avancer[ ] {d, mph, mpv, ...}

voiture {mph, c, 1, ...}

Moto {mpv, 1, ...}

Homme {d, n, v, i, ...}

Niveaux linguistiquesNiveaux linguistiques

Contextuels• Accord phonologique

AVOCAT PTR[a] JUGE PTR[b] [b]TELEPHONER[a]• AVOCAT[a] JUGE[b] [b]TELEPHONER[a]

MARSEILLE PTR [a] TOULOUSE PTR [b] [a]AVION[b]• MARSEILLE[a] TOULOUSE[b] [a]AVION[b]

PLANTE PTR [a] [a]ARROSER[a]• PLANTE[a] [a]ARROSER[a]

Niveaux linguistiquesNiveaux linguistiques

• Structurelspropres à la construction du signe sématiquement autonome

• Contextuels Contraintes syntaxiques

Flexion morphologiques Accords phonologiques

• Relatifs au locuteur (propre ou transfert) Transferts et phénomènes associés Emotion du moment Traits de caratère

Niveaux linguistiquesNiveaux linguistiques

Relatifs au locuteurTransferts et phénomènes associés

« Contagion » modale(ex du loup)

Transferts personnels (prise de rôle = prise de traits de

caractère)

Emotion du momentSerein, en colère...

Traits de caractère Personnalité dynamique, apatique...

Niveaux linguistiquesNiveaux linguistiques

« contagion modale » Transfert personnel

Une organisation en stratesUne organisation en strates

En strates

Selon leur portée• lexème, • groupe syntaxique, • phrase gestuelle, • réplique, • énoncé,• permanente

D’ordre linguistique ou non linguistique

• Organisation des modificateurs

Quelques exemplesQuelques exemples

Cause Exemple Modificateur Effet

Attributs permanents

Culture introvertie

Amplitude des gestes

Regard

Moindre

Moins investi

Tempérament expansif

Amplitude des gestes

Rythme

Etendue

Plus marqué

Attributs

temporaires

Enthousiasme Amplitude des gestes Moindre

FatigueAmplitude des gestes

Vitesse d’execution

Moindre

Ralentie

Quelques exemplesQuelques exemples

Cause Exemple Modificateur Effet

Morpho-Syntaxe

ModifieursAmplitude des gestes

Expressions faciales

Cf examples

Afflico

PlurielAmplitude des gestes

Répétition

Selon Racine

(signe standard)

Prosodie

QuestionSourcils

Rythme

Relevésgeste suspendu

Fin de phrase RythmeProlongation de fin de phrase

En contexte d’enonciationEn contexte d’enonciation

• Notion de contexte Possède des attributs relatifs

au contexte d’enonciation• Cadre de l’enonciation• But de l’enonciation• Environnement

Les attributs du contexte ont une influence sur l’enonciation

• Cadre formel ou informel• Situation d’urgence

Un contexte est référencé par un référent locatif ou temporel.

En contexte d’enonciationEn contexte d’enonciation

• Notion d’entité Agrège un ou x signes standards

• Qui agrègent des modifieurs et flexions Caractérisée par des descripteurs Caractérisée par des proformes

En contexte d’enonciationEn contexte d’enonciation

• Les locuteurs sont des référents Ils composent des attributs

• Temporaires (Cf. tableau)• Permanent (Cf. Tableau)

Exemple : • le Loup a un attribut permanent : il est

“affreux”

Un exemple en synthèse :Un exemple en synthèse :

• Création d’un outil de génération de séquences gestuelles

• Gui interactive

• Création hors ligne

• Multicanaux (Sauf visage, :o( )

• Validation de certains modificateurs et de leur portée Création manuelle Validation perceptives

En résuméEn résumé

• Un travail issu d’une collaboration interdisciplinaire Considérations issues de la linguistiques Considérations issues de l’animation et des ECAs

• Modèle hybrides d’organisation des modificateurs Hiérarchisation des modificateurs Selon leur portée temporelle

• Modèle informatique de gestion du contexte d’ennonciation Centré entité/référent (locuteurs compris) Reprise des modificateurs dans l’organisation du modèle

Merci de votre attentionMerci de votre attention

• Questions/Réponses