2 e Rencontres du Pôle Grenoble Cognition, le 31 mai 2011

MOUVEMENT NATUREL ET ARTIFICIEL, GESTE ET COGNITIONMouvements du corps et corps en mouvement, geste contrôlé, perçu, simulé, instrumenté ou médiatisé, mouvements biologiques et robotique bio-inspirée, langage des gestes ou gestes accompagnant le langage, traitement du mouvement et interaction gestuelle...

8 h 30 CAFÉ D'ACCUEIL

8 h 45Jean-Luc SCHWARTZ, co-responsable du Pôle

9 h 00 - 10 h 30 LA COGNITION, ICI ET AILLEURS : ENJEUX ET POINTS DE VUE

10 h 30 - 11 h 00 PAUSE MOTRICITÉ ET CONTRÔLE, DU NORMAL AU PERTURBÉMouvements de la chaîne tympano-ossiculaire et illusions proprioceptives : illusions de sons ? - AGNÈS JOB (collaboration IRBA/GIN)

Jean LORENCEAU (ICM & RISC, Paris) - Organiser et observer : les enjeux d’un Institut Nationaldes Sciences de la Cognition (et le point de vue du spécialiste de la perception visuelle)Frédéric ALEXANDRE (INRIA Lorraine) - Animer et modéliser : les sciences cognitives dans le Pôle Est (et le point de vue du spécialiste de modélisation neuronale)

11 h 00 - 13 h 00

RÉSUMÉ : Les plus petits mouvements, la plus petite articulation de notre corps : une chaîne de trois petits osselets suspendus par des ligaments et les deux plus petits muscles de l’organisme dans une cavité creuse, délimitant l’oreille moyenne. La chaîne tympano-ossiculaire est mise en mouvement de manière inconsciente et passive par des vibrations sur sa membrane, des ondes de pression qui oscillant dans une certaine gamme de fréquence activent les récepteurs sensoriels de l’organe de l’audition. La chaîne tympano-ossiculaire n’a pas encore livré tous ses secrets. Quel est exactement le rôle des deux petits muscles de l’articulation qui semblent avoir les mêmes propriétés que ceux d’une articulation des membres ?. Quelle est sa localisation et sa représentation fonction-nelle au niveau cortical ?. Les illusions proprioceptives sont connues aux niveaux des membres et génèrent des illusions de gestes. Ici la finalité du mouvement étant la transmission de sons au cortex, un dérèglement proprioceptif, est-il susceptible de générer une illusion de sons, tels le sont les acouphènes? Deux études IRMf ont été menées et apportent des arguments à la plausibilité de cette hypothèse.Influence des informations graviceptives multisensorielles lors d’accélérations linéaires CORINNE CIAN (collaboration IRBA/McGill University/Brandeis University)RÉSUMÉ : Les déplacements à bord de véhicules de locomotion induisent souvent des stimula-tions sensorielles à l’origine d’illusions perceptives. Ces perceptions erronées de la position et des mouvements du corps ont été décrites dans la littérature sous le terme de désorientation spatiale. Parmi les incidences comportementales les plus connues figurent les illusions d’élévation et oculo-gravique, occasionnées en aéronautique par des accélérations linéaires en l’absence de repères visuels extérieurs. Le poids des informations graviceptives otolithiques vs. somesthésiques dans la perception de l’orientation est au cœur d’un vaste débat. Parce qu’il est communément considéré comme un capteur gravito-inertiel complet, du fait notamment « du fil à plomb » utriculaire, les recherches sur les modèles internes qui rendent compte de la résolution de l’ambiguïté inclinaison/translation, se sont surtout tournées vers l’étude du système otolithique. Cette communi-cation se propose d’aborder l’influence des gravicepteurs extra-vestibulaires et les différences interindividuelles dans la perception d’orientation.

POINT SUR LE PÔLE GRENOBLE COGNITION

1

Motricité de la main et plasticité cérébrale après chirurgie CHANTAL DELON-MARTIN & OLIVIER MARTIN (collaboration GIN/GIPSA-lab/CHU)

RÉSUMÉ : Chez l'homme, l'organisation fonctionnelle précise du cortex moteur (M1) est largement mal connue. Une connaissance approfondie des relations entre l'anatomie et la fonction chez des sujets sains, au-delà des connaissances neurophysiologiques nouvelles apportées, permettrait de mieux comprendre notamment la plasticité cérébrale au cours de la ré-éducation manuelle après une chirurgie de la main. L'ima-gerie RMN, structurale et fonctionnelle, est un outil non invasif de choix pour une telle investigation. Cepen-dant la résolution spatiale standard (3mm3) ainsi que la grande variabilité anatomique du sillon central (amer de M1) limitent son applicabilité. En couplant des images fonctionnelles de haute résolution (1.5 mm3) avec des méthodes de recalage non-linéaires, nous avons pu dépasser ces limitations et mettre en évidence la double représentation corticale du pouce. La multiplication des représentations est également présente pour l'ensemble des doigts et des poignets. La mise en place d'une paramétrisation individualisée du sillon moteur ouvre la porte à une investigation fine des relations structure-fonction. Le suivi-longitudinal d'un patient après transfert tendineux (1, 3, 6 et 12 mois), sur base de l'imagerie RMN et de mesures mécaniques des perfor-mances de flexion-extension, nous a permis de mettre clairement en évidence l'étonnante plasticité céré-brale qui se met en place pour gérer l'inversion de la fonction musculaire périphérique induite par la chirurgie.Ce travail collaboratif entre équipes du pôle cognition et du service de chirurgie de la main, s'appuie sur un PHRC régional, le cluster HVN et une bourse doctorale de l'EDISCE. Certains développements méthodologi-ques sont réalisés en collaboration avec le LSIS de Marseille.

Étude de l’effet d’une nouvelle pièce de prothèse sur la posture, l’initiation de la marche et la locomotion chez 3 patients désarticulés de hanche - VINCENT NOUGIER (TIMC) RÉSUMÉ : Cette étude vise à évaluer l’effet d’une pièce de hanche récemment développée pour l'appareillage de patients désarticulés de hanche (Hélix3D, Otto Bock®) sur la posture, l’initiation de la marche et la locomotion.

Marche et cognition dans la maladie de Parkinson - BETTINA DEBÛ (GIN)

RÉSUMÉ : Les troubles de la marche sont un symptôme majeur de la maladie de Parkinson (MP), touchant la majorité des patients aux stades avancés. Environ un tiers des patients présente en outre un freezing de la marche, c'est-à-dire un temporaire survenant à l’initiation ou en cours de mouvement. Les mécanismes physiopathologiques de ce symptôme sont mal connus, et deux hypothèses ont été émises : celle d’un dysfonctionnement frontal et celle d’un dysfonctionnement de la région mésencéphalique locomo-trice. Dans notre cohorte de patients stimulés dans le noyau subthalamique, l’analyse des liens entre fonctionnement cognitif et freezing de la marche suggère que les deux mécanismes pourraient être en cause.

RÉSUMÉ : L’objectif général de ces recherches est d’étudier chez l’enfant l’implication de la manipulation d’objets sur leur catégorisation ultérieure. Dans le cadre de la cognition incarnée (Barsalou, 2008), traiter des concepts d’objet suscite des activations sensorielles et motrices générées préalablement par les actions et les perceptions de ces objets. Plusieurs études appuient cette hypothèse chez l’adulte (i.e., Tucker & Ellis, 2004 ; Marques, 2006) ainsi que nos propres résultats chez l’enfant de 7 ans (Ambrosi et al., 2011). Nos travaux chez les enfants de 5, 7 et 9 ans testent l’influence directe de la manipulation des objets sur leur catégorisation. Pour cela, nous avons comparé l’influence de deux manipulations (saisir vs faire rouler des objets sphériques) sur la catégorisation ultérieure de nouveaux stimuli (images d’objets). Certains stimuli sont compatibles (C) avec le geste réalisé (saisir ou faire rouler) et d’autres sont incompatibles (NC). Les résultats montrent que les enfants catégorisent les stimuli différemment en fonction de la manipulation : faire un geste induit les enfants à choisir des objets C plutôt que NC (Ambrosi et al. 2011). Ces résultats laissent cependant des questions en suspens : la manipulation influence la catégorisation des objets réels familiers à 5 ans uniquement et celle des objets nouveaux non familiers à 9 ans.

Manipuler des objets influence la perception visuelle des stimuli - FRANÇOISE BONTHOUX (LPNC)

2

RÉSUMÉ : Nous présenterons dans cet exposé les différentes expériences réalisées dans notre équipe autour de la relation geste/parole dans la production de la deixis langagière : lorsque l’on désigne à un inter-locuteur un référent, par la main ou par la voix.Nos travaux s’organisent en particulier autour des questions principales suivantes : existe-t-il une coordina-tion spatiale et temporelle entre ces deux modalités de la désignation, parole et geste manuel, voire une réelle complémentarité ? Cette coordination est-elle due à des contraintes physiologiques motrices et/ou à des contraintes communicationnelles ? L’interaction entre ces deux modalités a t elle des effets sur la forme sonore du langage lui-même ?

RÉSUMÉ : La parole est le signal multimodal audible et visible qui résulte de la coordination précise desmouvements des articulateurs orofaciaux et permet la communication humaine. Depuis de nombreuses années, nous étudions et caractérisons les articulateurs de la parole plus ou moins visibles : mâchoire, lèvres, langue, voile du palais, larynx, etc. Nous développons des modèles articulatoires qui représentent les formes et dimensions volumiques de ces divers articulateurs, à partir de données issues de l’imagerie médi-cale acquises sur des locuteurs, en mettant en évidence les degrés de liberté des mouvements observés sur des corpus d’articulations soigneusement conçus. Cette approche statique de bonne résolution spatiale permet de construire des clones orofaciaux ou encore têtes parlantes des locuteurs. Cette approche est complétée par une caractérisation de la cinématique de ces articulateurs lors de la production de parole, grâce à des techniques générales comme la stéréovision par vidéo ou l’imagerie ultrasonore, et des métho-des spécifiques à la parole comme l’articulographie électromagnétique. Ces données cinématiques permet-tent ensuite d’animer et donc de donner à voir les mouvements des articulateurs lors de la production de la parole. Nous présenterons ces techniques, ces données et ces modèles.

Intégration des facteurs psycho-sociaux dans la perception spatialeRICHARD PALLUEL-GERMAIN (collaboration LPNC/LIP)Dépistage précoce en milieu scolaire des TAC (Troubles de l'Acquisition de la Coordination) DR CHRISTINE LEQUETTE (collaboration LSE/Centre de référence des troubles d'apprentissage du CHU)

13 h 00 - 14 h 15 BUFFET - "TANGISENSE" : découverte ludique du Pôle, ses acteurs et ses projets14 h 15 - 15 h 10 PAROLE ET GESTUALITÉ

Relations geste/parole dans la communication humaine : le cas de la désignationMARION DOHEN (GIPSA-Lab)

Voir et percevoir la parole en mouvement – Avancées et applicationsPIERRE BADIN (collaboration GIPSA-Lab/IFR 1)

Electrophysiological mapping of the mesencephalic locomotor region in a non human primate during bipedal locomotion - OLIVIER DAVID (collaboration GIN/CHU)

RÉSUMÉ : Although pathophysiological mechanisms underlying Freezing Of Gait (FOG) in Parkinson's Disease remain unknown, experimental studies established that the Pedunculopontine Nucleus (PPN) and the Mesencephalic Locomotor Region (MLR) could play a crucial role in FOG leading this area as a new target for DBS. Nevertheless, preliminary outcomes are very heterogeneous and precise target remains under debate. Accordingly, the aim of this study was to perform an electrophysiological mapping of the MLR in primate during bipedal Locomotion (Loc) using Micro Electrode Recording (MER) and Stimulation (MES).

3

RÉSUMÉ : Notre contribution vise une application de l’hypothèse cognitive du langage proposée par Kita (2000) pour expliquer les mouvements naturels de la bimodalité, de la vocalité et de la gestualité, observés dans le développement langagier d’enfants sourds de 5 à 12ans. L’explication cognitive des mouvements naturels de la bimodalité enfantine sourde permet de proposer un schéma développemental que nous présenterons sous la forme d’un double continuum aux extrêmes duquel on trouve, d’un côté, les ressources langagières gestuelles et vocales sous-tendues par la pensée spatio-motrice, et de l’autre, les ressources linguistiques sous-tendues par la pensée analytique : le français et la LSF. Tout au long de ce double continuum s’inscrivent les ressources intermédiaires entre langage et langue dans chacune des modalités que nous concevons comme formant un pôle de compétences transitionnelles qui se comprennent comme toutes les formes de symbolisations en progression vers la pensée analytique.

RÉSUMÉ : Les dispositifs d'interaction Homme-machine, tels que les souris, sont caractérisés par leur résolution. Cependant, peu d'efforts ont été consacrés à l'étude de la limite de résolution contrôlable par une main humaine. Quelle est l'utilité d'une souris offrant une résolution de 5700 points par pouce si le contrôle de la main ne permet pas d'exécuter des actions de pointage à cette précision ?Cette présentation introduit le concept de la Résolution Humaine d'un Dispositif d'interaction (RHD). La RHD correspond à la plus petite taille de cible qu'une personne peut acquérir, avec un effort raisonnable, pour un dispositif particulier. Nous présentons l'expérimentation conduite pour mesurer la RHD pour 3 dispositifs particuliers: une souris haute résolution (5700 dpi), un stylet à 6 degrés de liberté solidaire d'un bras articulé (Phantom), et le pointage libre dans l'espace. Les résultats confirment l'existence d'une RHD et montrent qu'elle varie de façon importante entre les 3 dispositifs étudiés.

RÉSUMÉ : Stroke patients very often suffer from hemi-lateral motor deficits. Neurorehabilitation training paradigms aim at aiding these patients re-learning skills impaired by the stroke episode. Because of the flexibility, realism and high level of experimental control it provides, Virtual Reality (VR) potentially constitutes an extraordinary tool to facilitate neurorehabilitation. Specifically, virtual environments can be used to present adaptive and motivating scenarii that can be tailored to the specific needs of the patient. In line with this, and in order to optimize the potential benefits of VR, it is important to determine which conditions best facilitate sensorimotor learning. Here we present two experiments in which we used a state-of-the-art VR set-up with body-motion recording and real-time avatar to test how sensorimotor learning is affected by i. the richness/realism of the visual scene and ii. the viewpoint.For both experiments, sensorimotor learning was measured using visuo-vestibular adaptation paradigm.Participants seating on a motorized wheelchair had to maintain their stretched arm fixed in space despite whole-body rotations. After a test session in which body rotations occurred without visual information, partici-pants were exposed to a visuo-vestibular adaptation, and then tested again in a test session identical to the first one. In the adaptation phase, biased visual information about motion amplitude was provided during body rotations via a head-mounted display, so that participants learned a biased visuo-vestibular mapping.

Mouvements naturels de la bimodalité chez les enfants sourds - ISABELLE ESTÈVE (LIDILEM)

Modélisation Bayésienne de l'interaction entre perception et action : simuler la production de gestes pour mieux percevoir, simuler la reconnaissance de gestes pour mieux produire JULIEN DIARD (collaboration LPNC/GIPSA-Lab/LIG)

15 h 10 - 15 h 50 MOUVEMENT RÉEL, MOUVEMENT ARTIFICIEL ET APPLICATIONS SANTÉLimite de la précision du contrôle moteur humain: résolution humaine des dispositifs d'interaction -FRANÇOIS BÉRARD (LIG)

The richness of the visual scene and the viewpoint affect sensorimotor learning in Virtual RealityJEAN-PIERRE BRESCIANI (collaboration LPNC/Max Planck Institute for Biological Cybernetics)

4

RÉSUMÉ : For many generations we have been fascinated by the idea of being able to predict future events through modelling and simulation. In many biological and physical systems we have developed sophisticated tools that can predict future events to a reasonable degree of accuracy. However, when such systems incorporate a human element our progress has been much slower. The complexity and richness of human behaviour makes modelling humans an intriguing and challenging problem. If we consider energy management in the home, current simulators try to predict energy usage by incorporating complex physical models concerning the building materials used, type of construction, size of dwelling etc. The human element is often captured using sensor equipment that detects human presence or absence, or by having the user program detailed heating and lighting schedules. Drawing upon different problems, such as energy manage-ment, and crisis and emergency management, this presentation will examine why it is essential to model more fine-grained human behaviours in socio-technical systems and how, and to what degree, this can be done.

La prise en compte des connaissances perceptivo-gestuelles dans un système de diagnostic pour l'apprentissage de la chirurgie orthopédique (présentée en démonstration lors de la pause déjeuner) VANDA LUENGO (collaboration LIG/LIP)

15 h 50 - 16 h 20 PAUSE

16 h 20 - 17 h 30 ANALYSE DU MOUVEMENT ET RÉALITÉS VIRTUELLESModélisation et simulation physique de mouvements pour la création artistique musicale et visuelleANNIE LUCIANI (ICA)

Human behavioural modelling and simulation - JULIE DUGDALE (LIG)

Élaboration d’un générateur d’événements pour interface Homme-Machine à partir de signaux électromyographiques (EMG) - FRANCK QUAINE (GIPSA-Lab)

RÉSUMÉ : Les avancées dans la perception des efforts musculaires (biomécanique) et des technologies du traitement du signal ouvrent la voie vers un nouveau type d’interaction homme-machine, récemment dénommé interaction muscle machine (muCIs-muscle-computer-interfaces) [Saponas]. Les applications sont ouvertes à de nombreux domaines, avec un très fort impact sociétal, de l’aide aux personnes handica-pées à l’utilisation d’interfaces sans capteur (écran tactile) en passant par la commande de neuro-prothèses ou de systèmes mécatroniques externes (main robotisée ou virtuelle). Cependant, la classification des signa-tures EMG pour différents gestes est rendue délicate car il n’y a pas une association simple entre participa-tion musculaire et mouvement : un même mouvement requière la participation de plusieurs muscles qui peuvent être sollicités pour d’autres mouvements : le système musculo-squelettique est sous déterminé, ce qui en rend son étude et sa modélisation très délicate. De plus, il y a généralement davantage de sources (muscles) que d’observations (signal EMG) réalisées. Notre objectif est de proposer une percée méthodolo-gique qui consiste à associer les techniques de séparation aveugle de sources à partir d’EMG de surface avec les techniques avancées de la modélisation biomécanique du geste. L’objectif est l’identification d’un nombre élevé de mouvements discrets des doigts [Lefrançois]. Cette démarche permet d’améliorer les recherches sur les signaux physiologiques du mouvement humain (EMG) et renforce les techniques de modélisation biomécanique du geste (estimation des forces internes). Ce travail s’inscrit dans le cadre des actions de recherche développées localement (GIN, CHU, INRIA) et nationalement (P prime, UPMC). Elle permet d’ouvrir la possibilité d’initier une réflexion sur la suppléance de déficiences motrices par prothèse « automatisée » pilotée par l’action musculaire volontaire. Elle s’inscrit naturellement dans le cadre du projet Robotex.

5

RÉSUMÉ : Dans le cadre du projet ANR CARE (Cultural experience : Augmented Reality and Emotion), nous cherchons à reconnaître les émotions véhiculées par un danseur en vision par ordinateur. Les émotions considérées sont la joie, la peur, le dégoût, la tristesse, la surprise (positive/négative) et la colère (chaude/froide). Nous utilisons un système temps-réel d'analyse et d'interprétation du mouvement humain. Après l'acquisition vidéo, ce système commence par extraire la région d'intérêt (le danseur) de la scène grâce à une méthode basée sur la soustraction de fond (segmentation). Ensuite, les masques de segmentation obtenus sont mis en correspondance grâce à une méthode de suivi basée sur une intersection de boîtes englobantes (suivi temporel). Un certain nombre de paramètres et de caractéristiques du mouve-ment sont alors calculés (analyse du mouvement); par exemple, les SMI (Silhouette Motion Images) et la quantité de mouvement (QoM : Quantity of Motion) permettent de découper l'émotion dansée en phases de pause et de mouvement. Lors d'une phase de mouvement, nous accumulons certaines de ces caractéristi-ques de façon statistique (moyenne, écart-type) afin de la caractériser. Les résultats des différentes phases de mouvement sont alors combinés grâce à une analyse en composantes principales de façon pondérée et interprétées par rapport à un mélange de gaussiennes issu d'une étude menée sur des séquences d'appren-tissage (interprétation du mouvement). Il est ainsi possible de reconnaître une émotion dansée par une analyse et une interprétation du mouvement réalisées en vision par ordinateur.

RÉSUMÉ : Despite our great expressive skills, we humans lack an easy way of conveying the 3D shapes we imagine, even more so for dynamic shapes that change over time. Over centuries we relied on drawing and sculpture to convey shapes. However, these tools require significant expertise and time investment, especially when one aims to describe complex or dynamic shapes. With the advent of virtual environments one would expect digital modeling to replace these traditional tools. Unfortunately, conventional techniques in the area have failed, since even trained computer artists still create with traditional media and only use the computer to reproduce already designed content. Could digital media be turned into a tool, even more expressive and simpler to use than a pen, to convey and refine both static and dynamic 3D shapes? This would make shape design directly possible in virtual form, from early drafting to progressive refinement and finalization of an idea.To this end, models for shape and motion need to be redefined from a user-centered perspective. This talk will present our recent work towards “responsive shapes”, namely high level models that take form, refine, move and deform based on user intent, expressed through intuitive interaction gestures.

RÉSUMÉ : Narrative analysis of a movie scene involves identifying its characters (protagonists) and the sequence of actions that each character is involved in (narrative chains). Recent work by Chambers and Juravsky casts the problem of narrative analysis from natural language text as a machine learning problem. I will speculate how this generic technique could be applied to the special case of movie scripts by choosing a dedicated vocabulary of "cinematically meaningful" actions and roles and by explicitly detecting changes in spatial and temporal continuity typical of film structure (scene changes, flashbacks, flashforwards, temporal ellipses, etc.). When used in conjunction with video analysis, such techniques may be useful for determining `who's doing what', i.e. associate actor names and action verbs from the script with the video, and for gene-rating 3D animated movies that imitate the input scene.

Expressive: Exploring Responsive Shapes for Seamless Design of Virtual Environments - MARIE-PAULE CANI (LJK)

Narrative analysis and Imitation of movie scenes - RÉMI RONFARD (LJK)

Reconnaissance d'émotions dansées en vision par ordinateur dans le cadre d'un ballet en réalité augmentée (Projet ANR CARE) - VINCENT GIRONDEL (GIPSA-Lab)

FIN

17 h 30 - 17 h 45 POINT SUR LE COMITÉ D'ÉTHIQUE

6

Édouard GENTAZ, co-responsable du Pôle