ning tan, jean-claude martin limsi / ami / aca co-encadrement de thèse : yacine bellik projets fp7...

1

Ning TAN, Jean-Claude MARTIN

LIMSI / AMI / ACA

Co-encadrement de thèse : Yacine BELLIK

Agent Animé Ambiant & Adaptatif

Projets FP7 ATRACO: intelligence ambianteANR OTIM: corpus multimodaux

2

Spécifier, implémenter et évaluer un agent animé capable d’adapter son comportement non-verbaldans des scénarios d’interaction ambiante

Objectif général

3

Méthodologie Spécification

corpus multimodauxValidations

tests perceptifsévaluations dans la pièce intelligente (iRoom)

4

1) Etude de l’existant2) Spécification préliminaire de l’agent3) Méthodologie4) Perspectives

Plan

5

Etude l’existant

6

Intelligence ambianteLes challgences (Weiser 91’; Van

Loenen 03’) « Invisibilité » « Intelligence » « Ubiquité » « Interaction naturelle »

Environnements Intelligents Habitables  (Hagras 07’)Quels sont les facteurs issus des EIH

pouvant impacter sur notre comportement non verbal? Objet Evénement Individu

-Etude l’existant-

Intelligence Ambiante

7

peu utilisés dans l’ambiant Bruits environnementaux [Haya et al. 04’; Baldassarri

et al. 08’) Intensité des mouvements de l’utilisateur (Miyawaki

& Sano 08’) Expressions faciales de l’utilisateur (Hupont et al.

09’)peu explorés en termes de considérations des

facteurs d’adaptation à la fois statiques et dynamiquesStatique: Personnalité (Ibister et Nass 00’) les

utilisateurs se sont amusés plus avec les agents dont les comportements non-verbaux correspondent à leur personnalité différente

-Etude l’existant-

Agents animés adaptatifs

8

Terrains d’applicationConception IHM: spécification des agents

animésRecherches en Linguistiques, Psychologie

(émotion, communication) Méthodologies

ActéOrienté tâcheCorpus écologique

-Etude l’existant- Corpus Multimodaux

9

Schémas de codage Fonctions sémantiquesFormes et dynamique de mouvements

Requêtes sur les relations multimodalesOutils d’annotation

Anvil http://www.anvil-software.de/Elan

-Etude l’existant- Corpus Multimodaux

10

Spécification préliminaire des dimensions

d’adaptation de l’agent

11

-Spécification- Spécification préliminaire des dimensions d’adaptation de l’agent

Expressions non verbales

de la personnalité

localisation de

l’utilisateur

agent animé ambiant adaptatif

posturespostures

gestes gestes

distance spatiale

distance interpersonne

lle

Comportements non verbaux pouvant faire l’objet d’adaptation

Critère d’adaptation statique

actes communicatif

s

disponibilité audio

Critères d’adaptation dynamiques

Personnalité préférée

12

Facteur statiquePersonnalité (Buisine & Martin 08’; Clavel &

Martin 09’)Facteurs dynamiques

Actes communicatifs que doit véhiculer l’agentTaxonomie DIT++ (Bunt 03’, 09’)

Disponibilité audio de l’utilisateur(ex. si l’utilisateur est au téléphone, l’agent ne doit pas utiliser la parole)

Localisation de l’utilisateur (et distance par rapport à l’agent)

-Spécification-

critère d’adaptation

13

Méthodologie

14

Conversation dyadique4 parties (Bull 87’; Kipp 07’)

Bras & mains Jambes & piedsÉpauleTronc

Critères d’annotationsAnnoter les positions maintenant au moins 1 sec.Ne pas annoter s’il n’y a pas de nouvelles postures

établiesNe pas annoter les membres si le corps reste en

mouvement15 minutes annotées

-Méthodologie-

Schéma de codage des postures

15

Pas de génération multimodale dynamique: librairie d’animation PoserSpécification et conception manuelle

d’animations à partir du corpusSélection en fonction de paramètres

contextuels

-Méthodologie-

Technologie d’agent animé

16

Spécification des variations non verbalesGestes Postures

Validation perceptiveAnimations poser extraversion / introversion

Evaluation pièce intelligente (iRoom)Dimensions d’évaluation de l’adaptabilité

Utilisabilité, satisfaction, influences socialesCombinaison dynamique d’animations : MARC

(Courgeon et al. 09’)

Perspectives