+ stéphanie buisine yun wang jean-claude martin synchronisation temporelle entre parole et...
TRANSCRIPT
+
Stéphanie BUISINE Yun WANGJean-Claude MARTIN
Synchronisation temporelle entre parole et expression faciale des ACAs
++ 2
✦ LIMSI, MerLIn, Centre Emotion UMR 7593 (J. Nadel, O. Grynszpan), etc.
✦ Animations ACAs pour apprendre aux personnes autistes à percevoir les émotions pour comprendre des situations quotidiennes.
Contexte et origine de la problématiqueProjet Autisme
++3Contexte et origine de la problématique
Conception des animations Méthodes
Spécification de l’expression faciale
Générer le fichier audio
Générer le lipsync
«Unmasking the faces» Ekman [97]
«MindReading»
Scénario Spécification Intégration Rendu Évaluation
+ 4
Spécification de l’expression faciale
Générer le fichier audio
Générer le lipsync
+ Goldwave
Scénario Spécification Intégration Rendu Évaluation
+Contexte et origine de la problématique
Conception des animations Méthodes
+ 5
Spécification de l’expression faciale
Générer le fichier audio
Générer le lipsync
Scénario Spécification Intégration Rendu Évaluation
+Contexte et origine de la problématique
Conception des animations Méthodes
+ 6
Scénario Spécification Intégration Rendu Évaluation
+Contexte et origine de la problématique
Conception des animations Méthodes
++
7Contexte et origine de la problématiqueConception des animations
Problématique et protocole
Comment doit-on synchroniser les expressions faciales avec la parole ?
✦ Cinq variantes de combinaison temporelle : ✧ expression avant parole
✧ expression en début de parole
✧ expression pendant parole
✧ expression en fin de parole
✧ expression après parole
paroleexpression
paroleexpression
paroleexpression
paroleexpression
parole expression
✦ Trois dimensions à évaluer:
L’efficacité: exactitude de décodage de l’expression faciale (performance)Le réalisme: ressemblance avec l’expression humaineLa préférence: critères subjectifs
+ 8
✦ 30 animations en ordre aléatoire ✧ question ouverte de décodage ✧ cotation de l’intensité (1 à 7)
✦ 23 participants non autistes
✦ 6 scenarios émotionnels:JOIE/ « Je suis ensuite allé regarder mon émission préférée. »DEGOUT/ « On nous sert des épinards. »SURPRISE/ « Mon train a 20 minutes de retard. »TRISTESSE/ « Je vais travailler tout le week-end. »PEUR/ « J’ai perdu le téléphone portable que j’avais emprunté à mon père. »COLERE/ « Charles m’a fait une blague en cachant mon livre. »
+Contexte et origine de la problématiqueConception des animations
Problématique et protocole
✦ 6 groupes de cinq animations ✧ cotation du réalisme (1 à 7) ✧ un choix de préférence
+ 9
+
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
Résultats Reconnaissance
✦ Effet du mode de synchronisation sur la performance dereconnaissance F(4/420)=5.92 ; p<0.001.
Avant Début Pendant Fin Après0
20
40
60
80
100
Re
con
na
issa
nce
(%
)Significativement meilleure (p=0.05)
La moins bonne (p=0.025)
+ 10
+
✦ Interaction synchronisation * émotion F(4/420)=2.41 ; p<0.001.
Avant Début Pendant Fin Après0
20
40
60
80
100
Joie
Dégoût
Surprise
Tristesse
Peur
Colère
Re
con
na
issa
nce
(%
)
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
Résultats Reconnaissance
+ 11
+ La plus intense (p=0.011)
Avant Début Pendant Fin Après0
1
2
3
4
5
6In
ten
sité
pe
rçu
e (
/7)
✦ Effet du mode de synchronisation sur la perception del’intensité des émotions F(4/420)=2.89 ; p=0.001.
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
RésultatsIntensité
+ 12
+ La plus réaliste (p<0.001)
✦ Effet du mode de synchronisation sur le réalismeF(4/420)=24.19 ; p<0.001.
Avant Début Pendant Fin Après0
1
2
3
4
5
6
Ré
alis
me
(/7
)
La moins réaliste (p=0.008)
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
RésultatsRéalisme
+ 13
+
✦ Effet du mode de synchronisation sur la préférenceF(4/420)=25.87 ; p<0.001 et interaction avec l’émotion F(20/420)=1.87= ; p=0.013.
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
RésultatsPréférences
Avant Début Pendant Fin Après0
10
20
30
40
50
60
70
80
Joie
Dégoût
Surprise
Tristesse
Peur
Colère
Pré
fére
nce
(%
)
+ 14
✦ La performance de reconnaissance n’est liée ni au réalisme de l’animation ni à la préférence de l’utilisateur.
Temps -Intensité 0 -Réalisme 0 - ++
Préférence 0 0 ++ ++++Reconnaissan
ceTemps Intensité Réalisme
+
Contexte et origine de la problématiqueConception des animationsProblématique et protocole
RésultatsCorrélations
+ 15
+
Contexte et origine de la problématiqueConception des animationsProblématique et protocoleRésultats
Conclusion
Emotion Recommandation A éviter
Joie Expression pendant la parole, accentuée à la fin
Expression avant la parole
Dégoût Expression pendant la parole, accentuée à la fin
Expression en début de parole
Surprise Expression avant ou plutôt en début de parole
Expression après la parole
Tristesse Expression pendant la parole Expression en fin de parole
Peur Expression pendant la parole, accentuée à la fin
Expression avant la parole
Colère Expression pendant la parole,Accentuée au début
Expression après la parole
✦ Stratégies différentes selon que l’on privilégie performance ou réalisme.
✦ Guide d’animation synthétique conciliant le maximum de résultats :
++Bibliographie associée16
✦ Modèle « expression pendant parole » généralement adopté.
✧ Au niveau des unités porteuses de sens (mots ou pauses).[Cassell et al. (1994), Pelachaud et al. (1996), King & Parent
(2003)] ✧ Au niveau des tours de parole. [De Rosis et al., 2003]
✦ Le maintien de l’expression dans le temps est un des facteurs modulant l’expressivité faciale. [Pelachaud (2005)] résultats concordants
✦ La dynamique de l’expression dépend du type d’émotion (ex: évaluation de la surprise arrive tôt). [Ekman (2003), Scherer (2000)]
✦ Dissociation entre réalisme et évaluation subjective. [Mori (2005) « Uncanny Valley », Groom et al., 2009] résultats discordants
✦ Autres ???
paroleexpression
+
MERCI !
17