apprentissage automatique de modèles de … · robotique « sociale »! ... pour la reconnaissance...
TRANSCRIPT
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 1!!
Apprentissage automatique de modèles de comportements
interactifs pour des robots sociaux!Thèse financée par une allocation doctorale de recherche
de la région Rhône Alpes!
Alaeddine Mihoub Gerard Bailly Christian Wolf!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 2!!
- Processus complexe et bidirectionnel!- En continue : perception, interprétation et génération de
messages et signaux verbaux et non-verbaux!- Pose du corps!- Gestes des bras / mains!- Mouvements de la tête!- Expressions faciales!- Direction du regard!- Mouvement du nez, des lèvres etc.!
Interaction face à face!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 3!!
Robotique « sociale »!
- Robots intelligents, capables de reconnaitre les intentions de leurs partenaires humains !
- Demande de capacités cognitives importantes (Social embodiment)!
- Le robot s’adapte aux capacités physiques et psychologiques des partenaires humains!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 4!!
Boucles perception-action!
Analyse de l’interaction! Génération de comportement!
Perception-Action!
Méthodologies : machine learning (intelligence artificielle)!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 5!!
Travaux annexe : IHM!
Projet « Interabot » avec Awabot!
Problème différent : interfaces homme-robot, commande d’un robot par gestes!
Natalia Neverova, Christian Wolf, Giulio Paci, Giacomo Sommavilla, Graham W. Taylor, Florian Nebout. A multi-scale approach to gesture detection and recognition. In ICCV Workshop on Understanding Human Activities: Context and Interactions, 2013. !
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 6!!
Objectif : modèle d’attention mutuelle!
Gestion de l’attention et de la communication verbale et co-verbale dans des tâches collaboratives. !Rendre un robot capable de maintenir une attention mutuelle et une communication verbale et gestuelle fluide avec son partenaire humain dans une tâche spécifique.!!Problématiques: Engagement, coordination et synchronisation, actions réactifs & délibératifs… !
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 7!!
- Lecture d’une phrase peu compréhensible et l’autre répète.!- 7 états cognitifs (lire, se préparer, parler, attendre, écouter, réfléchir,
autre)!- Activité vocale de chacun : (activité, absence d’activité)!- Regard de chacun : 5 régions d’intérêt (visage, œil droit, œil gauche,
bouche, autre)!- Objectif : estimer l’état cognitif de l’autre et puis génération de notre
regard !
Dispositif expérimental!
Interaction face à face : étude, exemple!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 8!!
Modélisation par « HMM »!Chaque interaction : séquence d’états cognitifs!!Chaque état cognitif : séquence d’états sensori-moteurs!!Chaque état sensori – moteur est lié à un vecteur d’observations!!Modèle probabiliste Hidden Markov Model (HMM)!- Transitions entre états!- Emissions d’observations!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 9!!
Modèle de reconnaissance
• Observations de perception!
Modèle généra0f
• Observations d’action!
Perception ... et action!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 10!!
Apprentissage automatique!(hors ligne)!
Modèle de reconnaiss
ance!
Modèle génératif!
Données d’apprentissage!
Apprentissage automatique!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 11!!
Test/interaction (en-ligne) !
Modèle de reconnaiss
ance!
Modèle génératif!
Nouvelles données :!perception!
(L’autre/partenaire)!v1,g2,v2!
Reconnaissance!
Synthèse :!action !
g1!
Synthèse!
Etat cognitif conjoint!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 12!!
tions of ROI). The II models result in better performances comparing with ID models, which explains that the mean behavior outperforms the individual ones.
A multidimensional scaling analysis based on Kruskal’s normalised STRESS1 cri-terion was performed on ID cognitive state recognition and gaze prediction errors (see bottom of Fig. 3). This analysis of proximity of behaviors nicely mirrors the a priori social relationships between HL and her interlocutors. Gaze is a very social signal and no doubt that social determinants of interaction such as personalities and dominance relations are mirrored in gaze behaviors: such by-product of modeling deserves fur-ther research.
Fig. 4. Recognition path (for a specific interlocutor "Marion") using the incremental model
(top) vs. ground truth (bottom).
Fig. 5. Recognition and generation results using the incremental model
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 13!!
IDHMM!- Incremental Discrete Hidden Markov Models"- Le décodage correct peut nécessiter toutes la séquence (aussi des
observations de l’avenir)!- On regarde aussi quelques observations de l’avenir (introduction
d’une latence)!- compromis entre latence et taux de reconnaissance!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 14!!
Comparaison avec des modèles classiques!
Deux types de classifieur : !- SVM!- Abre de décision!!Deux classifieurs sont entrainés :!- un premier classifieur
pour estimer l’état cognitif!
- un deuxième pour générer le regard !
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 15!!
Le meilleur décalage T enregistré est égal à 55 Frames(~ 2 secondes)!On injecte cette mémoire aussi pour le IDHMM et on compare les trois modèles et les deux configurations!(Taux calculés sans alignement)!
Ajout des mêmes attributs, mais pour un instant précédant (attributs de mémoire):!
IDHMMs, SVMs, Arbres de décision : !étude comparative!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 16!!
Résultats avec et sans mémoire pour les IDHMMs!
Pour les classifieurs traditionnels, on obtient une nette amélioration (p<0.05) pour la reconnaissance et aussi pour la génération.!!Pour le IDHMM, pas de différence significative pour la reconnaissance; !Meilleure génération.!
Résultats avec et sans mémoire pour les SVMs!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 17!!
Nouvelle expérimentation : interactions verbales et co-verbales entre deux personnes en train de travailler sur une tâche collaborative (co-manipulation).!
23 Alaeddine Mihoub – LIRIS 2014
Travaux en cours!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 18!!
Reconnaissance automatique des signaux venant du manipulateur.!Vision egocentrique : la caméra est montée sur la tête de l’instructeur.!Le regard doit être dirigé pour guider la perception (« vision active).!
23 Alaeddine Mihoub – LIRIS 2014
Aspects « vision par ordinateur »!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 19!!
Conclusions!Nous avons proposé un modèle de reconnaissance et de génération de comportement multimodal conjoint qui vise à donner les robots/agents sociaux des compétences de perception-action.!
Modèle divisé en reconnaissance et génération.!
Inclusion de mémoire augmente la performance du modèle!
La modélisation séquentielle par HMM est plus robuste que la classification par SVM ou arbres de décision.!
Alaeddine Mihoub, Gerard Bailly and Christian Wolf. Social behavior modeling based on Incremental Discrete Hidden Markov Models. Dans International Workshop on Human Behavior Understanding (HBU), 2013. !!Alaeddine Mihoub, Gérard Bailly, Christian Wolf. Modeling Perception-Action loops: Comparing sequential models with frame-based classifiers. Soumis à International Conference on Image Processing, 2014.!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 20!!
Perspectives (1)!
Robot humanoïde « ICUBE 2 « !
Nouvelle expérimentation : !- nouvelle modélisation!- Capture+estimation des observations (par vision)!- algorithmes d’apprentissage!- validation!
Implémentation sur le robot iCub « Nina » au Gipsalab!
Introduction/Motivation Modélisation Résultats expérimentaux Travaux en cours 21!!
Perspectives (2)!
- Beaming : l’utilisateur interagit avec un robot piloté par un humain!
- Objectif : étudier le comportement des humains face à un robot!