Reconnaissance multimodale d’émotions par méthodes hors

contact : extraction de signaux physiologiques via une webcam

Résultats et Conclusion

• Les signaux physiologiques peuvent être utilisés pour reconnaître des émotions. La pose des capteurs est un frein dans certains domaines d’application (jeux vidéo, serious games) si un spécialiste n’est pas disponible ou si la personne ressent une gène (confort, intrusivité).

• Une solution consiste à utiliser des technologies hors contact. Poh et al. [1] ont montré que le rythme cardiaque et la respiration peuvent être extraits d’une webcam. L’objectif de ce travail est d’augmenter la robustesse et la qualité de la détection en analysant le signal avec un transformée en ondelettes continues.

Contexte et objectif

Méthodologie

Série de trames (RGB)

• Un filtrage colorimétrique permet d’isoler l’information utile. • L’analyse en ondelettes continues permet d’observer les variations

fréquentielles dans le temps.

Détection des pixels de couleur « peau » dans

l’espace YCbCr

Moyenne spatiale sur la composante U des pixels de couleur peau

Détection du visage par classifieurs boostés [2]

[2] P. Viola, M. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518 (2001)

[1] M. Poh, D.J. McDuff, R. Picard, Advancements in Noncontact, Multiparameter Physiological Measurements Using a Webcam. IEEE Transactions on Biomedical Engineering, Vol, 58, NO. 1, January 2011.

Changement d’espace de

couleur (RGB -> CIE LUV)

Transformée en ondelettes

continues du signal précédent

0 5 10 15 20 25-4

-2

0

2

4

50 100 150 200 250

10

20

30

40

50

60

Extraction et étiquetage des

zones ellipsoïdales

50 100 150 200 250

10

20

30

40

50

6050 100 150 200 250

10

20

30

40

50

60

Recherche des maxima de

chaque zone

Obtention de la variabilité

cardiaque (1)

0 0.5 1 1.5 2 2.50

1

2

3

X: 0.2513Y: 3.944

FFT du signal pour obtenir la

fréquence respiratoire (2)

Comparaison des résultats

avec un capteur BVP

0 5 10 15 20 250.75

0.8

0.85

0.9

0.95

0 5 10 15 20 250.75

0.8

0.85

0.9

0.95

• (1) Par transformation des échelles en fréquences sur tous les maxima.• (2) La respiration est déduite du rythme cardiaque par arythmie sinusale

respiratoire.

• L’algorithme est capable d’extraire en temps réel et de manière fiable le rythme et la variabilité cardiaque ainsi que la fréquence respiratoire.

• Le filtrage colorimétrique permet de sélectionner uniquement les pixels qui contiennent l’information. Les mouvements et rotations de la tête qui réduisaient la qualité du signal sont dorénavant moins influents.

• La composante U de l’espace colorimétrique CIE LUV a été choisie pour réduire les influences des variations de luminosité perçues par la caméra.

0 5 10 15 20 250.75

0.8

0.85

0.9

0.95

Frédéric Bousefsaf, Choubeila Maaoui, Alain Pruski