emotions dans les interactionssma.lip6.fr/seminaires/exposes/ochs08.pdfemotions dans les...
Post on 11-Aug-2020
2 Views
Preview:
TRANSCRIPT
Emotions dans les Interactions
Magalie Ochs Lip6 - SMA
Plan de la présentation
1. Introduction à l'informatique affective
2. Travaux de thèse Un agent rationnel dialoguant émotionnel empathique
pour améliorer l'interaction humain-machine
3. Recherche actuelle Modélisation de l'influence des émotions sur
les relations sociales et sur le dialogue des PNJ dans les jeux vidéo
4. Perspectives de recherche
Introduction à l'informatique affective
Le concept d'émotion
"Processus de réaction d'un organisme face à un évènement significatif"
émotion
(Scherer, 2000)
évaluation cognitive de l'évènement
sentiment
réactions physiologiques
expressions
tendance à l'action
Introduction à l'informatique affective
L'intelligence émotionnelle
" the question is not whether intelligent machines can have emotions, but whether machines can be
intelligent without any emotions"(Minsky, 1986)
• Adaptation d'un individu à son environnement• Fonctionnement des processus cognitifs• Régulation des interactions sociales
Emotions =
mécanismes utiles
Intelligence émotionnelle : capacité de percevoir, comprendre et gérer ses propres émotions et celles d'autrui
(Goleman, 1997; Isen, 2000; Salovey et al, 2000; Scherer, 2000)
Utiliser les fonctionnalités des émotions pour améliorer les performances d'un système
Introduction à l'informatique affective
L'informatique affective
Conception de systèmes de reconnaissance d'émotions
Modélisation de processus émotionels pour doter les agents virtuels d'émotions
approche orientée agent approche orientée utilisateur
émotions : heuristiques émotions : crédibilité
adaptabilité, autonomie et performances de l'agent
engagement, satisfaction et performances de l'utilisateur
Introduction à l'informatique affectiveAgents émotionnels
Woggles, Em Model (Reilly, 1996) FantasyA (Paiva et al., 2001)
Steve, Affective Reasoner (Elliot,Rickel et Lester, 1992)
Cyberella (André et al., 2001) EMA (Gratch et al., 2004)
Kismet (Breazel, 2003)
SCREAM (Predinger et al., 2002)
Plan de la présentation
1. Introduction à l'informatique affective
2. Travaux de thèse Un agent rationnel dialoguant émotionnel empathique
pour améliorer l'interaction humain-machine
3. Recherche actuelle Modélisation de l'influence des émotions sur
les relations sociales et sur le dialogue des PNJ dans les jeux vidéo
4. Perspectives de recherche
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant
émotionnel empathique
Thèse de doctorat
Université Paris 8 – Orange Labs
réalisée sous la direction de Catherine Pelachaud et David Sadek
Attitudes MentalesCroyance Biφ
Incertitude UiφChoix Ciφ
Intention Iiφ
Les agents rationnels dialoguants
Agents cognitifs
état mentalBip ∧ Uiq ∧ Iir
Théorie de l'interaction rationnelle (Sadek, 1991)
(McCarthy, 1979; Newell, 1980)
Théories de l'intention (Cohen et Levesque, 1990; Rao et Georgeff, 1991)
Contexte de recherche
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
émotions
utilisateurs agents rationnels dialoguants
(Ekman , 1993)
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
émotions
Objectif de recherche : intégrer des émotions dans les agents rationnels dialoguants
Les agents émotionnels Evaluations des agents
émotionnels
(Brave et al., 2005; Klein et al., 1999, Mori et al., 2003; Partala et al., 2004; Picard et al., 2007; Prendinger et al., 2005)
Expressions d'émotions empathiques d'un agent virtuel
Amélioration de l'interaction humain-machine
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
Agent émotionnel empathique
Déterminer l'émotion potentiellement ressentie par l'utilisateur
Modèle des conditions de déclenchement
des émotions
Système de reconnaissance des expressionsdes émotions
Expression de l'émotion d'empathie
Nos hypothèses
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
(Poggi, 2004)
Méthodologie
Théories de l'évaluation cognitive des émotions(Scherer,88; Ortony et al.,88;
Roseman, 01)1. Déterminer les
conditions de déclenchement des émotions d'empathie
Théorie de l'interaction rationnelle
(Sadek, 1991)
Agents JSA(Louis et Martinez, 07)
Théorie des actes de langage
(Austin,62; Searle,69)
Dialogues émotionnels réels humain-machine
3. Implémenter un agent rationnel dialoguant
émotionnel empathique
4. Évaluer un agent rationnel dialoguant
émotionnel empathique
Utilisateurs
2. Formaliser les conditions de déclenchement
des émotions d'empathie
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
Analyse empirique : situations dialogiques génératrices
d'émotions négatives
Descriptions théoriques des émotions
Satisfaction <= satisfaction d'une intention ∧ attentes consistantes
Frustration <= échec d'intention ∧ attentes inconsistantes
Irritation <= échec d'intention ∧ potentiel de réaction
Tristesse <= échec d'intention ∧ non(potentiel de réaction)
(Scherer, 2000; Roseman, 2001; Ortony et al., 1988)
Colère <= échec d'intention ∧ conflit de croyance
Déterminer les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant
Emotions empathiques de l'agent rationnel dialoguant
Représentation formelle des émotions
Conditions de déclenchement d'une émotion d'empathie :l'agent pense que l'utilisateur a une émotion
Emotion_empi, u(type, c, j, e, Φ) ≡def BiEmotionu(type, c', j, e, Φ)
type de l'émotion empathique=
type de l'émotion de l'utilisateur
Formaliser les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant
Emotionu(frustr, c, u, e, φ) ≡def echec_intentionu(e, φ)
avec c= f_intensité_négative(u, e, φ)
Représentation des émotions par leurs conditions de déclenchement
Intensité de l'émotion empathique : niveau d'empathie de l'agent intensité supposée de l'émotion de l'utilisateur
echec _intentionu(evt, φ ) =def
Bu (Fait(evt, Iu φ ∧ (UuFaisable(evt, φ ) ∨ BuFaisable(evt, φ ))) ∧ φ )┐
Axiomes propres : un agent bien intentionné
Ii Emotion(négative, c, u, e, Φ) ┐Ii ( Emotion(satisf, c, u, e, Φ)) ┐ ┐
Théorèmes
" ne pas se réjouir du malheur d'autrui"
Emotioni(satisf, c, i, e, Emotion(négative, c, u, e, Φ)) ┐
Capacité d'introspection
Emotion_empi, u(type, c, j, e, Φ) ⇔ Bi(Emotion_empi, u(type, c, j, e, Φ))
Formaliser les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant
Agent rationnel dialoguant empathique
Croyances de l'agent sur l'état mental de l'utilisateur(croyances, intentions)
Croyances de l'agent sur l'émotion potentiellement ressentie par l'utilisateur
Croyances de l'agent sur les règles de déclenchement des
émotions
Emotion empathique
Réalisation d'un acte communicatif
Formaliser les conditions de déclenchement des émotions empathiques d'un agent rationnel dialoguant
Calcul dynamique des émotions Calcul et mise à jour de l'intensité des émotions Interface graphique des émotions Flexibilité
Implémentation du modèle formel des émotions
Module de gestion des émotions
Agent JSA Jade Semantic Agent(Louis et Martinez, 2007)
Plug-in
Implémenter un agent rationnel dialoguant émotionnel empathique
ARDEM
Agent JSA Module de
gestion des émotions
Requête de l'utilisateur
Emotion empathique – Réponse de l'agent
Utilisateur
ARDEM : Agent Rationnel Dialoguant Empathique de Messagerie
Implémenter un agent rationnel dialoguant émotionnel empathique
Évaluer un agent rationnel dialoguant émotionnel empathique
Evaluation de l'impact de l'ARDEM sur la perception que l'utilisateur a de l'agent
Perception des expressions d'émotions
congruence expression/situation
Émotion d'empathie
Perception plus positive
Contributions
MéthodeAnalyse empirique
Analyse théorique
Schéma de codage
Modèle formel d'émotions
Module de gestion des émotions
Impact d'un agent émotionnel empathique sur la perception que l'utilisateur a de l'agent
Modélisation, formalisation et mise en oeuvre d'un agent rationnel dialoguant émotionnel empathique
1 revue nat., 9 conférences et workshops intl., 4 conférences et workshops nat.
Plan de la présentation
1. Introduction à l'informatique affective
2. Travaux de thèse Un agent rationnel dialoguant émotionnel empathique
pour améliorer l'interaction humain-machine
3. Recherche actuelle Modélisation de l'influence des émotions sur
les relations sociales et sur le dialogue des PNJ dans les jeux vidéo
4. Perspectives de recherche
Projet DEEP (RIAM) Dialogue (PNJ/PJ et PNJ/PNJ) intégrant les Emotions des PNJ, l'Experience du PJ et la Personnalité des PNJ
LIP6 (V. Corruble, N. Sabouret) CEDRIC-CNAM (S. Natkin) Spir.Ops & Quantic Dream
Générer des dialogues PNJ/PJ ou PNJ/PNJ riches en fonction : ● Personnalité et émotions des PNJ (LIP6)● Besoins et expérience du joueur (CNAM)
Sept 2006 – Sept 2008
Architecture générale
Moteur de dialogue(Spirops)
énoncé1
énoncé2
énoncén
...
Modèle de narration(Cnam)
Calcul du potentiel émotionnel de l'énoncé reçu
(Lip6 réalisé)
Etat émotionnel
Personnalité
Calcul de l'impact du potentiel émotionnel sur l'état émotionnel
(Lip6 réalisé)Rôle social
Modèle de la dynamique des relations sociales
(Lip6 en cours)
Calcul de l'influence des émotions et des relations
sociales sur le choix de l'énoncé (Lip6 en cours)
Moteur du jeu(Quantic Dream)
PNJ
Modèle dynamique des relations sociales
(Walker et al., 1997;Rousseau et al., 1998; Gratch, 2000)
● Proposition : Modèle dynamique des relations sociales➔ les rôles sociaux (pour l'initialisation)➔ les émotions (pour la mise à jour)
● Agents sociaux affectifs existants :– Impact du contexte social et des émotions de l'agent sur son
comportement– Modèle du contexte social principalement statique
Relations socialesRôles sociaux Emotions
● Relation sociale : ensemble de variables ➔ appréciation, dominance, solidarité et familiarité
● Relation sociale unidirectionnelle et non nécessairement réciproque
Représentation des relations sociales
(Brown et al.., 1987; Rousseau et al., 1998 Bickmore et al., 2001; Isbister, 2006)
appreciationi,j(t)
dominancei,j(t)
solidaritei,j(t)
familaritei,j(t)
social_relationi,j(t) =
Relation sociale d'un agent i avec un agent j, du point de vue de i, au temps t
∈[-1, 1]
∈[0, 1]
∃ i, j social_relationi,j(t) ≠ social_relation
j,i(t)
● Relation sociale initiale dépend du rôle social d'un individu par rapport à celui de son interlocuteur
➔ Rôles sociaux : paires de rôles complémentaires (employé/manager, patient/médecin...)
Initialisation des relations sociales
(Brown et al.., 1987)
role_appreciationrx/ry
role_dominancerx/ry
role_solidariterx/ry
role_familariterx/ry
role_socialrx/ry
=
Rôle social rx par rapport à un rôle social r
y
∈[-1, 1]
∈[0, 1]
∃ rx, r
y role_appreciation
rx/ry ≠ role_appreciation
ry/rx
∀ rx, r
y role_domiance
rx/ry = − role_domiance
ry/rx
∀ rx, r
y role_solidarite
rx/ry = role_solidarite
ry/rx
∃ rx, r
y role_familiarite
rx/ry ≠ role_familarite
ry/rx
● Rôle social d'un PNJ/PJ : valeurs d'appréciation et dominance(Isbister., 2007)
● PNJ et PJ incarnent générallement plusieurs rôles sociaux simultanément (ex: femme-gangster/homme-flic)
Initialisation des relations sociales
role_sociali/j=
Rôle social d'un agent i par rapport à un agent j
∑1m r
i ∈ roles(i)
rj ∈ roles(j)
role_socialri/rj
m = | {(ri, r
j), t.q r
i ∈ roles(i), r
j ∈ roles(j) et role_social
ri/rj ≠ 0} |
rôles complémentaires
● Initialisation d'une relation sociale suivant :– les rôles sociaux de l'agent et son interlocuteur– le degré de solidarité de l'agent avec les autres agents de l'univers social local
Initialisation des relations sociales
social_relationi,j(0)=
Relation sociale d'un agent i avec un agent j, du point de vue de i, avant toute interaction (t=0)
max_s=max k∈ P(i), k ≠ i
{ role_solidaritei/k
}avec P(i) l'ensemble des agents de l'univers social local de i
(Brown et al., 1987)
role_appreciationi/j
role_dominancei/j
(role_solidaritei/j)/max_srole_familaritei/j
● Emotions modifient les relations sociales :– émotions causées par l'interlocuteur– émotions exprimées par l'interlocuteur
Représentation des émotions
emotioni← j
(evt)=
Emotions d'un agent i suite à un événement evt causé par un agent j
(Ortony., 1991; de Rivera et al., 1986; Keltner et al., 2001; Shiota et al., 2004; Knutson, 1996)
joiei← j
(evt)espoir
i← j(evt)
fiertei← j
(evt)admiration
i← j(evt)
expr_emotioni(t)=
Emotions exprimées par un agent i à un instant t
expr_joiei(t)
expr_espoiri(t)
expr_fiertei(t)
expr_admirationi(t)
(DuyBui, 2004; Sehaba et al., 2007; Prendinger et al., 200; Ortony et al., 1988)
Appréciation de i envers j
Dynamique des relations sociales
(Ortony, 1991)
Degré d'appréciation de i envers j au temps t suite à l'événement evt f(x) = x/k
joieespoir
admirationfierté
tristessepeur
reprochehonte
Appréciationi,j
+
-
émotions de i causées par j
δ = joiei← j
(evt) + espoiri← j
(evt) + fiertei← j
(evt)+ admiration
i← j(evt)
appreciationi,j(t) = g( appreciation
i,j(t-1) + f ( δ/4 ) )
Sensibilité des relations
sociales aux émotions
Dominance de i sur j
Dynamique des relations sociales
(Knutson, 1996;Ortony et al., 1988; Shiota et al., 2004; Keltner et al., 2001)
fiertéreproche
tristessepeur
admiration
peur tristesse
Dominancei,j
+
-
émotions de i causées par j
émotions exprimées par j
+
∆d = 0
si joiei← j
(evt) < 0 alors ∆d + = joie
i← j(evt)
si espoiri← j
(evt) < 0 alors ∆d + = espoir
i← j(evt)
si expr_joie j(t) < 0 alors ∆
d - = expr_joie
j(t)
si expr_espoir j(t) < 0 alors ∆
d - = expr_espoir
j(t)
∆d + = joie
i← j(evt) + fierte
i← j(evt)
domiancei,j(t) = g( dominance
i,j(t-1) + f ( ∆
d /6 ) )
Degré de domiance de i sur j au temps t suite à l'évènement evt
Solidarité de i envers jDynamique des relations sociales
(de Rivera et al., 1986; Keltner et al., 2001)
joie + joie / espoir + espoirtristesse + tristesse / peur + peur
joie+ tristesse /espoir + peur
tristesse, peurhonte, reproche
Solidaritéi,j
+
-
Congruence des émotions de i et j
Degré de solidarité de i avec j au temps t suite à l'évènement evt
Incongruence des émotions de i et j
émotions de i causées par j -
∆s= 0
si joiei← j
(evt) < 0 alors ∆s+ = joie
i← j(evt)
si expr_joie j(t) < 0 alors
∆s+ = 1/(|joie
i← j(evt) - expr_joie
j(t)|)
...(même chose pour espoir)si fierte
i← j(evt) < 0 alors ∆
s+ = fierte
i← j(evt)
si admiration j(t) < 0 alors ∆
s += admiration
i← j(evt)
solidaritei,j(t) = g'( solidarite
i,j(t-1) + f ( ∆
s/6 ) )
Interrelations et Personnalité
Solidaritéi,j
● Interrelations des variables d'une relation sociale : – Appréciation → familiarité : une personne se confie plus lorsqu'elle apprécie
quelqu'un– Solidarité → appréciation : une personne apprécie plus un individu similaire
Appréciationi,j
Dominancei,j
Familiaritéi,j
● Effets indirects de la personnalité sur la relation sociale : – extravertie→ appréciation, dominance : tendance à ressentir plus d'émotions
positives (de joie et fierté)– agréable → solidarité : tendance à ressentir plus d'émotions d'empathie– névrotique → appréciation, solidarité : tendance à ressentir plus d'émotions
négatives
Extravertiei
Névrotiquei
Agréablei
+-
+
+
-+
+
(Smith et al., 2007; Sehaba et al., 2007; Collins et al., 1994)
Effets d'une relation sociale sur le transfert d'information
Pr( info utile)i->j
Pr( info gentille)
i->j
Pr( infovalorisante)
i->j
Pr( infoencourageante)
i->j
joiej←i espoir
j←ifierte
j←i
Appréciationi,j
Pr(info confidentielle)
i->j
Familiaritéi,j
Solidaritéi,j
Dominancei,j
+ + + +
+++
+
-
● Marqueurs d'une information : – degré d'utilité / degré de confidentialité – degré de gentillesse : potentiel à déclencher une émotion de joie ou tristesse– degré d'encouragement : potentiel à déclencher une émotion d'espoir ou peur– degré de valorisation : potentiel à déclencher une émotion de fierté ou honte
Conclusion
émotions déclenchées
personnalité
relations sociales
rôle social
énoncéi-> j
PNJ i
énoncéj->i émotions
exprimées par j
état émotionnel
PNJ j
Relation non modéliséeProjet de stage
➔ Travaux en cours ● Implémentation du modèle dynamique des relations sociales● Evaluation objective ...et subjective
Plan de la présentation
1. Introduction à l'informatique affective
2. Travaux de thèse Un agent rationnel dialoguant émotionnel empathique
pour améliorer l'interaction humain-machine
3. Recherche actuelle Modélisation de l'influence des émotions sur
les relations sociales et sur le dialogue des PNJ dans les jeux vidéo
4. Perspectives de recherche
Perspectives de recherche
Intégration d'une dimension émotionnelle dans les systèmes multi-agents
Améliorer la simulation des comportements humains
dans les SMA
Améliorer l'interaction humain-machine dans les SMA mixtes pour une intelligence ambiante
Simulation de comportements humains dans les systèmes multi-agents
Contexte socio-émotionnel
Déclenchement des émotions
Comportements émotionnels
- Rôle social, relations sociales, buts dans l'interaction...- Emotions dans l'interaction (type, origine, intensité)
● Objectif : Modéliser l'interrelation entre le contexte socio-émotionnel, le déclenchement de l'émotion et le comportement émotionnel d'un agent pour enrichir la simulation de comportements humains
● Proposition : utilisation d'un modèle logique de type BDI - Contexte socio-émotionnel : croyances sur l'environnement- Conditions de déclenchement d'émotions : états mentaux particuliers- Impact des émotions sur le contexte socio-émotionnel et interrelation avec le comportement émotionnel : règles d'inférence
Comportements d'agents artificiels adaptés aux émotions des utilisateurs pour l'intelligence ambiante
1. Identification des émotions de l'utilisateur durant l'interaction Outils de reconnaissance
d'émotionsAlgorithme
d'apprentissage par renforcement
Modèle des conditions de déclenchement des
émotions
+ +
2. Comportement à adopter pour optimiser l'interaction
Modèle des conditions de déclenchement des
émotions
Modèle de l'impact des émotions sur les capacités cognitives/la réalisation des tâches
+
● Tâches appropriées aux émotions de l'utilisateur ● Actions à réaliser par l'agent pour influencer les émotions de l'utilisateur
Merci
top related