durée de vie d\'un geste: génération, reconnaissance et consommation

1

2

FITG11, 22/10/2011

Durée de vie d'un gesteGénération, Reconnaissance 

&Consommation

Mohamed­Ikbel BoulabiarTelecom Bretagne – ubuntu

boulabiar@gmail.com

3

Introduction

Reconnaissance de gestes ?

Poursuite de l'interaction « Naturelle »

4

Introduction

Interaction à faible coût

PS3 Eye (<40 )€

5

Détection des mains

● Transformation de l'espace de couleurs

BGR YCrCb

6

Détection des mains

● Extraction des couleurs de la main

Y[Cr][Cb]

7

Détection des mains

● Marquage des blobsLinear­time component­labeling algorithm

[Chang et al. 2004]

● Suivie des blobsAppearance models for occlusion handling

[Senior et al. 2006]Implementation dans « cvblob »

[CarneroLiñán 09]

8

Détection des mains

Blob

(id, centre, contour)

9

Sortie depuis le prétraitement

Fingertips Mouvement

(id, centre, contour)

10

Reconnaissance de postures

● Reconnaissance ?● Réseaux de neuronnes ?● HMM ?● SVM

● Algorithmes géométriques● [Rubine 1991]● 1$ Gesture [Wobbrock 2007]● Protractor [Li 2010]

11

Reconnaissance de tracés

● [Rubine 1991]● 1$ Gesture [Wobbrock 2007]● Protractor [Li 2010]

12

1$ Gesture

13

Vidéo

(or it didn't happen)

14

Postures + Gestures

15

Reconnaissance

16

Travail principal

ReconnaissanceGénération Routage

17

Génération du geste

18

Projet Rev­TV

● Contrôle et animation d'un Avatar

● Réalité augmentée pour Talk­Show

19

Étude ExploratoireÉtude des Talk­Shows

● Extraction des gestes

● Classification en familles

● Évaluation des difficultés

20

Étude Exploratoire

21

Étude BibliographiqueBasé sur Gesture&Thought [McNeill 05]

● Emblèmes● Gestes involontaires● Gestes co­verbaux● Pantomimes

22

Étude BibliographiqueBasée sur Gesture&Thought [McNeill 05]

● Emblèmes (Commande)● Gestes involontaires (Animation)● Gestes co­verbaux● Pantomimes

23

PropositionProposition l'utilisation de « ishara » pour la 

représentation graphiqueCC­BY, https://github.com/boulabiar/ishara

24

Routage

25

Routage des événements

26

Routage des événements

27

Routage des événements

28

Routage des événements

« Ginn »

29

Résumé

 algorithme géométrique

« ishara »

classification

« Ginn »

Contrôle système

30

Conclusion