master ingénierie des systèmes industriels et des...
TRANSCRIPT
MASTER Ingénierie des Systèmes Industriels et des Projets
SPECIALITE : SYSTEMES DYNAMIQUES ET SIGNAUX
Année 2013/2014
Rapport Intermédiaire de Master SDS
Présentée et soutenue par :
Mickaël MENARD
Le 27 Février 2014
Au sein de l'Institut des Sciences et Techniques de l'Ingénieurs d'Angers
TITRE
ÉVALUATION DES EMOTIONS A TRAVERS LES MOUVEMENTS ET LES BIO-SIGNAUX
JURY
Président : L. Hardouin Professeur Université d'Angers Examinateurs : J.L. Boimond Professeur Université d'Angers E. Belin MCF Université d'Angers F. Chapeau Blondeau Professeur Université d'Angers A. Charki MCF Université d'Angers F. Guerin Professeur Université d'Angers S. Lagrange MCF Université d'Angers M. Lhommeau MCF Université d'Angers P. Richard MCF Université d'Angers Encadrant : Paul Richard
LABORATOIRE D’INGÉNIERIE DES SYSTÈMES AUTOMATISÉS
EA 4094 - Université d’Angers
1
Table des matières
Introduction ....................................................................................................................................................... 2
I - Plateforme d’Analyse Comportementale et Emotionnelle : PACE ................................................................ 3
A - Une plateforme multimodale ....................................................................................................................... 3
B - Une plateforme d’analyse émotionnelle .................................................................................................. 3
C - Les capteurs utilisés .................................................................................................................................. 4
D - Les signaux physiologiques récupérés ...................................................................................................... 5
E - Traitement selon les modèles ................................................................................................................... 5
F - Fusions coefficientées sur 3 niveaux ......................................................................................................... 6
G - Paramétrage de la plateforme ................................................................................................................. 6
II - Les systèmes de reconnaissance d’émotions ............................................................................................... 7
A - Les plateformes multimodales ................................................................................................................. 7
1 - ABE : Agent Based software for a multimodal Emotion recognition framework ................................. 7
2 - AUBADE ................................................................................................................................................. 7
3 - EYESWEB ............................................................................................................................................... 8
4 - MAUI : Multimodal Affective User Interface ........................................................................................ 8
5 - MARC : Multimodal Affective Reactive Characters .............................................................................. 8
6 - M-PACE : Mesure et analyse des comportements humains, Perception Action Cognition Emotion ... 8
7 - MULTISENSE .......................................................................................................................................... 9
8 - SAMMI : Semantic Affect-enhanced Multimedia Indexing................................................................... 9
9 - SSI : Smart Sensor Integration ............................................................................................................ 10
B - Les technologies développées par les organismes sociaux et de marketing ......................................... 11
1 - TNS Sofres ........................................................................................................................................... 11
2 - IFOP ..................................................................................................................................................... 11
3 - CSA ...................................................................................................................................................... 11
4 - GFK ...................................................................................................................................................... 12
5 - BVA ...................................................................................................................................................... 12
6 - Emoscale ............................................................................................................................................. 12
Conclusion ........................................................................................................................................................ 13
Références ....................................................................................................................................................... 14
2
Introduction
Depuis quelques années, la prise en compte des émotions humaines dans les systèmes
complexes est une problématique récurrente. Il est nécessaire de savoir comment se comporte l’être
humain pour adapter au mieux les modèles et les interfaces dans lesquels on souhaite le faire évoluer.
La mesure et l’évaluation des émotions nous permettent de réaliser des simulateurs plus réalistes et
conformes à notre vision.
Ce sujet de recherche, qui s’inscrit dans le projet EMOTIBOX [1], est une continuité de ce qui a
été produit précédemment par Mr Hamza HAMDI dans le cadre de sa thèse : le projet PISE (Plate-forme
Immersive de Simulation d’Entretiens d’embauche) [2], développé au sein de l’ISTIA (école d’ingénieur
de l’université d’Angers) a pour but de confronter un candidat à un recruteur virtuel afin d’améliorer sa
gestion du stress.
PISE repose sur une plateforme d’évaluation des émotions en temps réel, qui se base sur les bio-
signaux et les expressions faciales de l’utilisateur collectés par différents capteurs. Les signaux sont
ensuite fusionnés à différents niveaux afin de générer un “vecteur émotionnel” qui nous indique l’état
émotionnel de notre utilisateur à l’instant “t”. Ce vecteur est alors réinjecter dans le simulateur : le
recruteur virtuel réagit alors en fonction et l’analyse des résultats est corrélée avec les données
émotionnelles.
Le projet EMOTIBOX [1], lancé en septembre 2013 vise à conforter la plateforme en y intégrant
de nouveaux capteurs, à développer de nouvelles interfaces (paramétrages et lecture de résultats) et à
coupler cette dernière avec des systèmes industriels complexes, provenant d’entreprises qui ont été
identifiées par une étude marketing [7]. Ce projet étant confidentiel, il m’est ici impossible de détailler
les algorithmes et de commenter le code source.
3
I - Plateforme d’Analyse Comportementale et Emotionnelle : PACE
A - Une plateforme multimodale
Le système qui a été développé à l’ISTIA est une plateforme multimodale [2]. La multimodalité [3]
désigne la contribution de différentes modalités pour interagir de manière complémentaire avec un
système : on parle alors de modalités d’entrées et de modalités de sorties. Celles-ci agissent sur les cinq
sens humains pour permettre l’utilisation d’un système :
- Toucher : clavier, souris, wiimote, …
- Vue : écran, oculus rift, IR track, …
- Ouïe : haut-parleur, micro, retour-vocal, …
- Goût : capteur sur la langue
- Odorat : à ce jour, il n’existe pas de système olfactif permettant l'interaction avec une machine.
Dans le cas de l’utilisation d’un ordinateur, on utilise classiquement la souris et le clavier en entrée, et
l’écran en sortie.
La plateforme PACE [2] est équipée de différents capteurs (modalités d’entrée) permettant de collecter
des signaux (Fig. 1). La transmission du vecteur émotionnel généré par la plateforme vers le module de
traitement peut être assimilée à une modalité de sortie.
B - Une plateforme d’analyse émotionnelle
La notion « d’émotion » [4] est scientifiquement difficile à définir. Les émotions humaines reposent en
effet sur des composantes physiques, physiologiques, mentales et comportementales. De nombreux
auteurs ont tentés de donner une définition précise et d’identifier les émotions basiques sur lesquels
l’ensemble des êtres humains s’accordent. Dans le cas de la plateforme PACE, c’est le concept décrit par
Ekman [5] en 1972 qui a été retenu. Celui-ci a travaillé en particulier sur l’expression des émotions : en
demandant à un ensemble de personnes, venant de peuples isolés du monde, de regarder des photos
expressives, il a pu déterminer qu’il existe une expression prototypique pour les six émotions dîtes
universelles.
Elles sont les suivantes : la tristesse, la joie, la colère, la peur, le dégoût et la surprise.
La plateforme travaille donc à reconnaitre chacune de ces 6 émotions pour caractériser l’état
émotionnel de l’utilisateur.
FIGURE 1 – Illustration du simulateur d’entretien
4
C - Les capteurs utilisés
A l’heure actuelle, deux capteurs différents ainsi qu’une webcam sont utilisables avec la plateforme.
Le premier est le casque Epoc (Fig. 2), de la société Emotiv1, mesurant les ondes-cérébrales Le casque
vient réaliser un électroencéphalogramme (EEG) à partir de 14 points stratégiques. Les signaux
récupérés permettent alors de reconnaître les expressions faciales de l’utilisateur et de surveiller son
état émotionnel. Cependant, la plateforme PISE [2] traite elle-même les données collectées par ce
capteur afin de faire sa propre analyse.
Le second capteur est le WristOx2 (Fig. 3), de la société Nonin2, qui mesure le taux de dioxygène dans le
sang et le rythme cardiaque. Celui-ci est très précis car il a été développé dans un premier temps pour
des applications médicales.
Une webcam a été ajoutée à la plateforme afin de reconnaitre les expressions faciales. Les signaux ne
sont pas retraités car on peut directement définir les émotions de la personne grâce à des techniques de
traitement de l’image.
Deux capteurs supplémentaires vont être déployés prochainement. Il s’agit d’une ceinture de
respiration et d’un capteur de conductivité dermique, tous deux fabriqué par la société TEA3. Ces
capteurs vont permettre de récupérer d’avantages de signaux afin de construire des modèles plus précis.
1 Emotiv EPOC - Brain Computer Interface Technology. http://www.emotiv.com/
2 Nonin medical WristOx2. http://www.nonin.com/
3 TEA. http://www.teaergo.com/
FIGURE 2 – Casque Epoc FIGURE 3 – WristOx2
5
D - Les signaux physiologiques récupérés
Il existe de nombreux canaux de communication (Fig. 4) qui peuvent nous fournir des informations sur
les émotions. Les signaux traités par la plateforme [2] sont les suivants :
- Activité électro-encéphalographique (EEG)
- Activité électro-cardiaque (ECG)
- Taux d’oxygène dans le sang
- Expressions faciales
Les signaux qui seront traités dans le futur sont :
- Conductivité de la peau
- Fréquence respiratoire
E - Traitement selon les modèles
Afin de traiter les signaux recueillis et d’en dégager des émotions, il a fallu y associer des modèles
mathématiques.
Ce sont les images, faisant partis du système Image International Affective (IAPS) [6], qui ont été utilisé
pour identifier les modèles. Les valeurs des 6 émotions retenues sont disponibles pour chacune de ces
images sous forme de coefficient. Ainsi, il a y a des images caractéristiques du sentiment de la peur, du
dégoût, de la joie, etc., ou bien même de plusieurs émotions.
Le protocole expérimental mis en place est donc assez simple [2] : deux images correspondantes à
chacune des émotions ont été choisies. Ces images ont été présentées à tour de rôle à des sujets
équipés de capteurs. Cela a donc permis d’obtenir des signaux représentatifs de chaque émotion.
Les données ont ensuite été traitées afin d’associer un modèle à chaque signal pour chacune des
émotions. En comparant le modèle avec le signal mesuré sur le sujet, il est possible de déterminer
précisément son état émotionnel sous la forme d’un vecteur émotionnel. Celui-ci est un vecteur à 6
dimensions comprenant une valeur entre 0 et 1 pour chacune de nos émotions.
FIGURE 4 – Canaux de communication émotionnelle et capteurs associés
6
F - Fusions coefficientées sur 3 niveaux
Une fois les signaux collectés, un vecteur émotionnel leur est associé [2]. Ce dernier étant dépendant
des modèles, il est possible que certaines contradictions soient apparentes. Il est donc nécessaire de
faire une fusion entre les signaux pour obtenir un vecteur pondéré inter-signaux. La pondération a été
établie en amont avec les modèles ; on sait que certains signaux sont plus représentatifs de certaines
émotions que d’autres.
La première étape de fusion correspond à la fusion des signaux d’un même capteur. Une moyenne
pondérée est effectuée entre les vecteurs des signaux du même capteur.
La deuxième étape de fusion est une moyenne pondérée inter-capteurs. La pondération a été établie en
amont avec les modèles ; on sait que certains capteurs sont plus représentatifs de certaines émotions
que d’autres.
Ayant obtenu un vecteur émotionnel unique (pour l’instant “t”), il ne reste plus qu’à effectuer une
dernière fusion avec le vecteur de l’instant “t-1” afin de lisser la courbe et éviter de trouver des pics
émotionnels.
G - Paramétrage de la plateforme
Le paramétrage se fait entièrement à l’aide de fichiers XML pour permettre une plus grande souplesse
[2]. Chaque modèle (une émotion correspondant à un signal) est associé à un fichier XML. Les capteurs
sont également référencés, afin de connaître leurs différents signaux et leurs pondérations associées.
Enfin, des fichiers XML correspondent aux profils utilisateurs afin de retrouver les paramétrages
correspondant à chaque individu.
7
II - Les systèmes de reconnaissance d’émotions
De nombreuses technologies de traitement des signaux physiologiques ont été développées ces
dernières années. Les applications directes sont pour l’instant principalement centrées sur le marketing
et le médical. Nous allons, dans cette partie, traiter des différents systèmes existants.
A - Les plateformes multimodales
A l’heure actuelle, l’offre de plateformes multimodales est assez large. Celles-ci sont, pour la plupart,
proposés par des Universités. Les systèmes provenant du secteur privé sont essentiellement destinés à
la recherche.
1 - ABE : Agent Based software for a multimodal Emotion recognition framework
Cette plateforme multimodale [8] a été proposée par l’Arizona State University (USA) en 2011.
Les buts principaux étaient de créer un outil permettant d’étudier l’impact immersif de jeux vidéo
(corrélation entre l’investissement du joueur et l’ennui selon la difficulté) et de créer un système
intelligent d’apprentissage en ligne (pour réduire la frustration de l’élève et éviter qu’il abandonne le
cours).
Les signaux physiologiques traités par cette plateforme sont nombreux :
- L’activité électro-encéphalographique (EEG) à l’aide du casque Epoc.
- Les mouvements oculaires à l’aide du système « d’eye tracking » Tobii4.
- Les expressions faciales à l’aide d’une caméra.
- La conductivité de la peau.
- La posture.
- La pression exercée par les doigts.
2 - AUBADE
L’Université de Ioannina (Grèce) a proposé cette plateforme multimodale [9] en 2006. Les applications
en sont strictement médicales : la surveillance psychologique et neurologique de patients et la
surveillance de sujets opérants en environnement hautement stressant (ex : pilotes de course).
Les signaux physiologiques traités par cette plateforme sont aux nombres de quatre :
- L’activité électro-myographique (EMG) faciale
- La conductivité de la peau.
- La fréquence cardiaque.
- La fréquence respiratoire.
4 Tobii Technology. http://www.tobii.com/
8
3 - EYESWEB
Ce logiciel [10] a été développé par l’Université de Gênes (Italie) en 2000. Il constitue un environnement
de programmation modulaire spécialisé dans l’analyse de mouvement à partir de vidéos et l’analyse de
signaux audio. Eyesweb propose une large collection de blocs permettant d’extraire des gestes
expressifs, et est extensible à d’autres canaux de communication émotionnels.
Cette plateforme est limitée à seulement deux canaux de communication :
- La voix.
- Les gestes.
4 - MAUI : Multimodal Affective User Interface
Cette plateforme [11] a été proposée par l’Université de Floride (USA) en 2002. Elle est utilisée dans le
cadre de recherche en informatique bio-affective-sociale. Les signaux récupérés sont analysés et traités
avec des algorithmes différents pour extraire l’état émotionnel. Un système de fusion sur trois niveaux
(signal, caractéristiques et décisionnel) permet de reconnaître différents états émotionnels en temps
réel.
Les signaux physiologiques collectés sont les suivants :
- Les expressions faciales.
- La voix.
- La température de la peau.
- La fréquence cardiaque.
- La conductivité de la peau.
5 - MARC : Multimodal Affective Reactive Characters
Cette plateforme multimodale [12] a été développée au laboratoire LIMSI-CNRS d’Orsay (France). Le but
suivi était le développement d’agents virtuels réalistes (en 3D) pour une interaction affective en temps
réel. Les applications principales sont l’amélioration des systèmes interactifs dédiés aux expériences
culturelles et les outils éducatifs pour les enfants autistes.
L’interaction avec l’agent virtuel (Fig. 5) se fait au travers des expressions faciales et des gestes de
l’utilisateur.
FIGURE 5 – Plateforme MARC
9
6 - M-PACE : Mesure et analyse des comportements humains, Perception Action Cognition
Emotion
Cette plateforme multimodale [13] a été proposée par le laboratoire URECA de l’Université de Lille
(France) en 2008. De nombreuses applications d’analyse d’émotions ont été mises en place, telle que
l’analyse de la communication émotionnelle en situation de travail en groupe, l’amélioration de la
communication verbale et non-verbale dans le cas d’annonces de diagnostics, ou encore la mise au
point d’outils thérapeutiques pour la rééducation des troubles de la régulation des émotions
(dépendance, conduite alimentaire, etc.).
Pour ce faire, la plateforme traite les signaux venant des mouvements oculaires (système d’eye tracking),
des gestes et de la conductivité de la peau.
7 - MULTISENSE
Multisense [14] est une plateforme développée par l’University of South California ICT (USA) en 2013. La
plateforme analyse les images d'interview et les réponses vocales d’un patient parlant avec un agent
virtuel (Fig. 6). Elle récupère en temps réel les émotions et la manière de réagir de l'interviewé. Pour ce
faire, Multisense suit les expressions faciales, les positions du corps, les sons produits, les schémas de
langues (expressions utilisées), et d’autres descripteurs comportementaux de hauts niveaux (attention,
mouvements des mains).
8 - SAMMI : Semantic Affect-enhanced Multimedia Indexing
Cette plateforme [15], créée par l’Institut EURECOM (France) en 2007, vise à l’indexation automatique
des films et d’autres éléments multimédia via les émotions contenues dans les médias. Le système
multimodal, utilisant la voix (vitesse, hauteur, intensité) et les expressions faciales, permet de dégager
les différentes émotions ressenties par l’utilisateur lors du visionnage d’un contenu multimédia. Les
caractéristiques obtenues alimentent le système de classification.
FIGURE 6 – Plateforme Multisense : interview avec SimSensei
10
9 - SSI : Smart Sensor Integration
SSI [16] a été développé à l’Université de Augsburg (Allemagne) en 2009. Cette plateforme permet
d’enregistrer, d’analyser et de reconnaître le comportement humain en temps réel. Par défaut, SSI gère
un certain nombre de dispositifs de détection, tels que le microphone, la caméra et des capteurs
physiologiques. L’intérêt de cette plateforme est de pouvoir intégrer de nouveaux capteurs. L’interface
visuelle (Fig. 7) permet de définir des modèles d’analyse de signaux et de paramétrer la fusion des
données. Les applications de ce système sont majoritairement médicales.
FIGURE 7 – Plateforme SSI
11
B - Les technologies développées par les organismes sociaux et de marketing
Depuis quelques années déjà, des organismes d’études utilisent la mesure des émotions pour améliorer
la portée de campagnes de publicités ou les résultats d’études.
1 - TNS Sofres
TNS Sofres5 est une entreprise française qui réalise des études marketing et d’opinion. Ils ont développé
une méthode marketing, nommée « AdEffect », permettant d’évaluer l’efficacité des campagnes
publicitaire et d’en comprendre les mécanismes. Le principe est assez simple : Un échantillon
représentatif de la cible marketing est interrogé à l'issue de l’action de communication. On définit le
nombre de fois que chaque individu a été en contact avec la campagne publicitaire (sous toutes ces
formes) et on demande ce qu’ils pensent de la marque et qu’est-ce qu’ils ont retenus de la
communication. La corrélation de ces données permet de mesurer l’impact de la campagne publicitaire.
2 - IFOP
IFOP6 est une entreprise française agissant sur le secteur de la stratégie d’entreprises. Ils ont développé
une méthode interne, nommée « Emotional Advert », de mesure verbale des émotions pour pré et post-
tester les communications à forte valeur émotionnelle.
3 - CSA
Le CSA est le Conseil Supérieur de l’Audiovisuel, organisme de l’état Français. Ils ont créé un indice,
nommé « Mood Index7 », destiné aux études sociales. Cet indice est un indicateur global du bien-être,
destiné à mesurer la sensibilité émotionnelle d’une cible (vécu, réceptivité, schéma émotionnel
dominant). Cet indicateur est utilisé comme variable dans les études quantitatives et il permet de
dresser le profil et la sensibilité des cibles visées afin de mettre en évidence les leviers émotionnels.
5 TNS Sofres : http://www.tns-sofres.com/notre-offre/nos-solutions/solutions-detudes-normees/adeffect-post-
test-publicitaire 6 IFOP : http://www.ifop.com/?option=com_offer&id=6
7 CSA - Mood Index : http://www.offremedia.com/voir-article/csa-lance-un-indicateur-du-bien-
etre/newsletter_id=106895/
12
4 - GFK
GFK est une entreprise allemande réalisant des études de marché et de l’audit marketing. Ils ont
développé deux outils nommés « EMO Scan8 » et « EMO Sensor9 ». Le premier sert à analyser les
expressions faciales, tandis que le deuxième analyse la voix. Ces deux outils permettent de dégager des
émotions caractéristiques. Ce qui les intéresse est de trouver les émotions positives poussant à la
consommation.
5 - BVA
BVA est un institut français qui réalise des études de marché et d’opinion. Ils ont développé une
méthode10 leur permettant de dégager des émotions à partir de signaux physiologiques (conductivité de
la peau et électromyographie faciale). Le but est d’appréhender au mieux le comportement du
consommateur pour enrichir les études marketing (tests de concept, de marques) avec une dimension
émotionnelle.
6 - Emoscale
Emoscale est une start-up française agissant dans le domaine du neuro-marketing. Ils ont développé un
logiciel11 éponyme, se basant sur l’utilisation de l’Emotiv Epoc. Celui-ci va venir lire et enregistrer
l’humeur, l’état d’esprit et le degré d’engagement de l’utilisateur. Cela permet de mesurer l’impact des
produits, des services et des expériences observés. Ce logiciel est utilisé pour réaliser des études de
marché, des tests de communication et des tests de produits.
8 GFK - EMO Scan : http://www.gfk.com/emoscan/Pages/default.aspx
9 GFK - EMO Sensor :
http://www.gfk.com/imperia/md/content/gfkv2/productinserts/emo_sensor_overview_sheet__2-15-11_.pdf 10
BVA : http://www.bva.fr/fr/actualites/divers/prendre_en_compte_les_emotions_dans_les_etudes.html 11
Emoscale : http://www.emoscale.com/emoscale/
13
Conclusion
Nous avons décrit ici la plate-forme [2] développée au sein de l’ISTIA au travers de ses caractéristiques
techniques et de son principe de fonctionnement. Nous avons aussi pu voir qu’il existe de nombreux
systèmes et technologies permettant le traitement des signaux physiologiques. Ces systèmes ont pour la
plupart des applications en marketing ou dans la recherche.
Cet état de l’art laisse voir la nécessité, de plus en plus présente, de l’informatique affective et plus
précisément, de la mesure des émotions. Les méthodes subjectives laissent petit à petit place à des
méthodes d’analyse des signaux physiologiques, plus lourdes à mettre en place mais plus précises et
constantes.
La plateforme PISE a besoin d’amélioration avant de pouvoir avoir une portée applicative sur des projets
extérieurs. Pendant mon stage, je vais travailler sur l’intégration d’un nouveau capteur (conductivité de
la peau), et sur le couplage de la plateforme avec un système complexe (tel qu’un jeu vidéo). Ainsi,
j’analyserai la performance de la plateforme et ce qu’on peut tirer de son utilisation.
14
Références
[1] Angers Technopole. MPIA EMOTIBOX 2013. Dossier de soumission de projet, Angers, 2013.
[2] H. Hamdi. Plate-forme multimodale pour la reconnaissance d’émotions via l’analyse de signaux physiologiques :
Application à la simulation d’entretiens d’embauche. Thèse de doctorat, Université d’Angers, France, 2012.
[3] P. Fuchs. Le traité de la réalité virtuelle, volume 2 : L’interfacage, l’immersion et l’interaction en environnement virtuel.
Presses de l'Ecole des Mines, Paris, 2006.
[4] Myers, David G. (2004) "Theories of Emotion." Psychology: Seventh Edition, New York, NY: Worth Publishers, p. 500.
[5] P. Ekman, W.V. Friesen, and P. Ellsworth. Emotion in the human face : guidelines for research and an integration of findings.
Pergamon Press, New York, 1972.
[6] M. Bradley and P.J. Lang. The International Affective Picture System (IAPS) in the Study of Emotion and Attention. 2007.
[7] Erdyn. Emotibox - Etude de positionnement marketing. Rapport, 2013.
[8] J. Gonzalez-Sanchez, ME. Chavez-Echeagaray, R. Atkinson, W. Burleson. ABE: An Agent-based software Architecture for A
Multimodal Emotion Recognition Framework. Software Architecture (WICSA), 2011 9th Working IEEE/IFIP Conference. p187-
193 (2011).
[9] C. Katsis, G. Ganiatsas, D. Fotiadis. An integrated telemedicine platform for the assessment of affective physiological
states. Diagnostic Pathology. 1 (2011).
[10] A. Camurri, S. Hashimoto, M. Ricchetti, A. Ricci, K. Suzuki, R. Trocca, G. Volpe. Eyesweb: Towards gesture and affect
recognition in interactive dance and music system. Computer Music Journal. 24(1): p57-69 (2000).
[11] C.L. Lisetti, F. Nasoz. MAUI: Multimodal affective user interface. The ACM Multimedia International Conference. p161-170
(2002).
[12] Courgeon, M., Martin, J.-C., Jacquemin, C. 2008 MARC : Un Personnage Virtuel Réactif Expressif. 3ème Workshop sur les
Agents Conversationnels Animés (WACA'2008). Ed. Martin, J.-C., Sansonnet, J.-P. Paris. pp 1-8.
[13] Laboratoire URECA. Plaquette de présentation M-PACE.
[Disponible à l’URL : http://ureca.recherche.univ-lille3.fr/m-pace/images/plaquette_mpace.pdf]
[14] S. Scherer, L.P. Morency, A. Rizzo. Multisense and SimSensei — A Multimodal Research Platform for Real-time
Assessment of Distress Indicators. October 19, 2012 Conference, Arlington, VA.
[15] M. Peleari, B. Huet, B. Duffy. Sammi: Semantic Affect-enhanced Multimedia Indexing. Proceedings of the semantic and
digital media technologies 2nd international conference on Semantic Multimedia; p300-303 (2007).
[16] J. Wagner, E. Andre, F. Jung. Smart Sensor Integration : A Framework for multimodal emotion recognition in real-time.
Affective Computing and Intelligent Interaction (2009).
Titre : Évaluation des émotions à travers les mouvements et les bio-signaux
Mots clés : plateforme multimodale, informatique affective, émotions, signaux physiologiques Résumé : Ce travail traite des plateformes multimodales développées dans le cadre de recherche en informatique affective. Ces plateformes sont spécialisées dans l'évaluation des émotions à travers les bio-signaux et les expressions faciales de l'utilisateur. Le système proposé à l'ISTIA a été créé dans le cadre de simulation d'entretiens d'embauche. Les capteurs embarqués permettent de collecter de nombreux signaux physiologiques tels que l’EEG ou l’ECG. L’état de l’art rassemble l’ensemble des plateformes et des technologies appliquées sur des problématiques venant des secteurs de la recherche et du marketing.
Title: Behavioral and Affective Performance Assessment through Dynamic Gestures and Bio-signals Keywords: multimodal platform, affective computing, emotions, physiological signals Abstract: This report gives an overview of multimodal platforms designed for affective computing research. Created for behavioral and affective performance assessment, these platforms use bio-signals and facial gestures. The platform produced at ISTIA was designed in order to simulate job interviews. The sensors collect several physiological signals such as EEG and ECG. This state of the art gathers all platforms and technologies used in the domains of research and marketing.
LABORATOIRE D’INGÉNIERIE DES SYSTÈMES AUTOMATISÉS
EA 4094 - Université d’Angers