reconnaissance faciale des émotions

Reconnaissance faciale Reconnaissance faciale des émotionsdes émotions

David Frenay

Promoteur : Benoît Macq

Lecteurs : Xavier Marichal (Alterface) Christian Van Brussel

La technologie La technologie se rapproche du réelse rapproche du réel

La voix : reconnaissance et production

La technologie La technologie se rapproche du réelse rapproche du réel

Reconnaissance faciale

La technologie La technologie se rapproche du réelse rapproche du réel

3D : cinéma et

avatars virtuels

Avenir :Avenir :la reconnaissance d’émotionsla reconnaissance d’émotions

Large panel d’applications

Objectifs de cette Objectifs de cette présentationprésentation

ContraintesContraintesde mon logicielde mon logiciel

Expressions faciales et émotions

Classification des émotions

Actions Units (AU)Actions Units (AU)

Six émotions universellesSix émotions universelles

Méthodes et algorithmes

Algorithme généralAlgorithme général

Algorithme généralAlgorithme général

Algorithme généralAlgorithme général

Algorithme généralAlgorithme général

Algorithme généralAlgorithme général

Correction des ombresCorrection des ombres

Correction de l’orientationCorrection de l’orientation

Détection des yeux : solution inefficace

LocallyLocally binarybinary patterns patterns(LBP)(LBP)

34 27 20

15 18 19

3 12 18

10100110 10101101 10101111

00100101 11110001 10101111

11010101 10001000 11111100

LocallyLocally binarybinary patterns patterns(LBP)(LBP)

34 27 20

15 18 19

3 12 18

1 1 1

0 1

0 0 1

11110001

34 27 20

15 18 19

3 12 18

Rayon : 1Points : 8

LBP et textureLBP et texture

Coin Arrête Zone pleine

11111001 00001110 11100001 11111111

LBP : nombres uniformesLBP : nombres uniformes

valeursn2 valeursn2~

Nombre Uniforme

1010000 Non

1001011 Non

1110000 Oui

1110011 Oui

1111111 Oui

3 blocs de chiffres ou moins = nombre uniforme

Image

LBP : histogrammesLBP : histogrammes

Matrice binaire

Sous-matrice binaire

LBP : histogrammesLBP : histogrammes

Sous-matrice binaire

Nombre binaire

Combien de répétitions

000000 10

000001 3

000010 0

… ..

111111 5

Non-uniformes : 142

LBPLBP

)_( PixelsNb 2100~ n

Réduction du nombre de données :

Image

…

LBP dynamiques : LBP-TOPLBP dynamiques : LBP-TOP

Image 5

XY

YT

XT

LBP dynamiques : LBP-TOPLBP dynamiques : LBP-TOP

texture + dynamique

ApprentissageApprentissageet bases de donnéeset bases de données

ApprentissageApprentissageet bases de donnéeset bases de données

ApprentissageApprentissageet bases de donnéeset bases de données

Résultats

Résultats théoriques Résultats théoriques de mon logicielde mon logiciel

Neutre Joie Tristesse Surprise Colère Peur Dégoût

Neutre 93 1.6 1 1.7 0.3 0.7 1.6

Joie 6.2 93.6 0 0.1 0 0.1 0

Tristesse 11 1.6 82.8 1.2 0 0.5 3

Surprise 9.5 1.1 0.2 88.1 0.9 0 0.1

Colère 3.8 0 0 0 93.9 0 2.4

Peur 15 0.3 2.3 0.2 0 82.2 0

Dégoût 9.8 0 3.3 1.6 0.29 0.14 84.8

Résultats pratiques :Résultats pratiques :Expérience de la webcamExpérience de la webcam

Joie Tristesse Surprise Colère Peur Dégoût

Taux : 100% 100% 70% 30% 70% 0%

Résultats pratiques :Résultats pratiques :Expérience de la webcamExpérience de la webcam

Résultats pratiques :Résultats pratiques :Expérience de la webcamExpérience de la webcam

Résultats pratiques :Résultats pratiques :Expérience de la webcamExpérience de la webcam

Conclusions et perspectivesConclusions et perspectives

Efficace

Réaliste

Applicable facilement

Multimodalité

Eventail plus large d’émotions

Orientations variables