lémotion dans les systèmes interactifs domaines dexpérimentation : la danse & la réalité...
TRANSCRIPT
L’émotion dans les systèmes interactifs
Domaines d’expérimentation :
la danse & la réalité augmentée.
Conférence - Démonstrationdansée
Gaël Domenger, Centre Chorégraphique National - Thierry Malandain, Ballet Biarritz
Alexis Clay, ESTIA, LaBRI, Université de Bordeaux.
Elric Delord, ESTIA
Nadine Couture, ESTIA, LaBRI
Laurence Nigay, Université Joseph Fourier, LIG
etc…
Managm
ent mental
Sport de haut niveau
Stress des pilotes pôle aérospace valley
Ballet A
ugmenté
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 4
L’émotion est assez peu étudiée en IHM
C’est pourtant, peut être, la part la plus
Humaine de l’IHM !
L’émotion devrait être un élément clé de
notre discipine qui étudie les Humains
Interagissant avec les Machines.
Capture
Analysis
Interpretation
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 5
Différentes manières de l’aborder … notre approche :
Le geste et la position du corps traduit un état affectif …
Comment faire réagir le système
informatique selon l’état affectif capturé ?
Point de vue génie logiciel
centré utilisateur !
Capture
Analysis
Interpretation
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 6
CARE is a French research project funded by the French research agency (ANR). The project brings together 7 partners, whose goal is to integrate, adapt and develop tools to enhance interactive systems devoted to cultural experiences. These enhancements
are based on augmented reality and emotions.
ESTIAFrench Research Agency
GIPSAImmersion
IRITLIG
LIMSIMetapages
UTT
+Capture
Analysis
Interpretation
Démonstration de l’application
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 8
CAPTURE
ANALYSE
INTERPRETATION
Dispositifs
Caractéristiques
Emotion
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 9
Architecture à composants
Composant: boîte noire. Définie par ses entrées, sorties (paramètres)
Communication par flux de signaux entre composants
Avantage: réutilisabilité des composants, modifiabilité du système
Flux entrants
Flux sortants
paramètre
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 10
Capture Analyse Interprétation
Unités de CaptureExtracteurs de caractéristiques Interpréteurs
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 11
Composant Capture Composant Analyse Composant interprétation
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 12
La reconnaissance d'émotion en tant qu'interaction
Modalité := (d, sr) | (modalité, sr) Ex de SR: Coordonnées de mains: 2 * 6 degrés de
libertés; coordonnées du corps complet, 23 segments <X, Y, Z, q1, q2, q3, q4>
Système représentationnel: permet d’identifier les flux qu’il est possible de fusionner
Composition des modalités: propriétés CARE
Architecture de l’application
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 14
Représentation graphique
IG NF
CD
IG NF
Niveau Capture
Niveau Analyse
Niveau Interprétation
Unités de capture
Extracteurs de caractéristiques
Interpréteurs
PAC-Amodeus, A Software Architecture Model for Multimodal Systems, L. Nigay, 1993.
Fonctionnement à l’exécution
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 16
21
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
Interp
S.R.
2x coord
S.R.
4 caracs
emotion
The contribution of general features of body movement to the attribution of emotions, deMeijer, 1989
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 17
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
S.R.
Corps
S.R.
5 caracs
21
Interp
emotion
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 18
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
21
Interp
emotion
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 19
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
Changement:
Calcul sagittal
21
Interp
emotion
Réutilisabilité
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 21
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
Interp2
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 22
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
Interp2
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 23
Pol
Moven
S+F
Composant Capture Composant Analyse Composant interprétation
Arm
Speed
Trunk
Vert
SagX
SagN
Interp2
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 24
Discussion: réutilisabilité des éléments
• Unités de capture: pleinement réutilisable
• Extracteurs de caractéristiques: condition des données en entrées Adaptateurs
• Interpréteurs: caractéristiques en entrée et format
•La synchronisation et la redistribution des flux de données n’est pas générique dans la version actuelle mais peut être rendue générique
•La fusion est par nature un système ad hoc.
Alexis Clay, Nadine Couture, Elric Delord, ESTIA Recherche. Gaël Domenger, Ballet Biarritz. 25
Questions?