durée de vie d\'un geste: génération, reconnaissance et consommation
DESCRIPTION
Forum de l\'Interaction Gestuelle et Tactile, Lille 2011TRANSCRIPT
1
2
FITG11, 22/10/2011
Durée de vie d'un gesteGénération, Reconnaissance
&Consommation
MohamedIkbel BoulabiarTelecom Bretagne – ubuntu
3
Introduction
Reconnaissance de gestes ?
Poursuite de l'interaction « Naturelle »
4
Introduction
Interaction à faible coût
PS3 Eye (<40 )€
5
Détection des mains
● Transformation de l'espace de couleurs
BGR YCrCb
6
Détection des mains
● Extraction des couleurs de la main
Y[Cr][Cb]
7
Détection des mains
● Marquage des blobsLineartime componentlabeling algorithm
[Chang et al. 2004]
● Suivie des blobsAppearance models for occlusion handling
[Senior et al. 2006]Implementation dans « cvblob »
[CarneroLiñán 09]
8
Détection des mains
Blob
(id, centre, contour)
9
Sortie depuis le prétraitement
Fingertips Mouvement
(id, centre, contour)
10
Reconnaissance de postures
● Reconnaissance ?● Réseaux de neuronnes ?● HMM ?● SVM
● Algorithmes géométriques● [Rubine 1991]● 1$ Gesture [Wobbrock 2007]● Protractor [Li 2010]
11
Reconnaissance de tracés
● [Rubine 1991]● 1$ Gesture [Wobbrock 2007]● Protractor [Li 2010]
12
1$ Gesture
13
Vidéo
(or it didn't happen)
14
Postures + Gestures
15
Reconnaissance
16
Travail principal
ReconnaissanceGénération Routage
17
Génération du geste
18
Projet RevTV
● Contrôle et animation d'un Avatar
● Réalité augmentée pour TalkShow
19
Étude ExploratoireÉtude des TalkShows
● Extraction des gestes
● Classification en familles
● Évaluation des difficultés
20
Étude Exploratoire
21
Étude BibliographiqueBasé sur Gesture&Thought [McNeill 05]
● Emblèmes● Gestes involontaires● Gestes coverbaux● Pantomimes
22
Étude BibliographiqueBasée sur Gesture&Thought [McNeill 05]
● Emblèmes (Commande)● Gestes involontaires (Animation)● Gestes coverbaux● Pantomimes
23
PropositionProposition l'utilisation de « ishara » pour la
représentation graphiqueCCBY, https://github.com/boulabiar/ishara
24
Routage
25
Routage des événements
26
Routage des événements
27
Routage des événements
28
Routage des événements
« Ginn »
29
Résumé
algorithme géométrique
« ishara »
classification
« Ginn »
Contrôle système
30
Conclusion