Domaines d’intérêtDomaines d’intérêt• Traitement du signal et des images•Fusion des informations sensori-motrices au niveau du SNC• Muscles artificiels• Systèmes de Contrôle inspirés de la biologie•Contrôle sensori-moteur des mvms de la main (biologique et artificielle)
Bureau + Lab: INSERM U.742 -ANIM, 7 quai St. Bernard, Bâtiment A, 2ème étage, Pièce A203, Jussieu, 75005, Paris
E-mail: [email protected]: http://www.aass.oru.se/~ser/Tél.: 01 44 27 23 79
UE NEO234 Les aspects computationnelles du contrôle moteur
Les modèles du contrôle moteur volontaire
T. Selim Eskiizmirliler (Ph.D ENST, MCF Paris 7)
Séance 1 :• Rappel des aspects neurobiologiques du Contrôle Moteur.• Les aspects computationnels du contrôle moteur• Les modèles des circuits neuronaux, Ex: Modèle du cervelet Séance 2 : • Modélisation de la fusion des Informations Sensori-Motrices• Application du modèle proposé à la prédiction des cinétoses dans les trains pendulaires à grande vitesse (TGV pendulaire).• Application du modèle au contrôle d’un actionneur à 1 ddl mû par des muscles pneumatiques de McKibben. •Séance 3:•Une architecture multi réseaux d’apprentissage multimodale pour contrôle moteur des mvm d’atteindre et de saisir inspirée de la connectivité cortico cortical.•Application du modèle sur un bras « anthropomorphique » à 7 ddl équipé d’une main à 3 doigts. •Projet Européens PALOMA, NEUROBOTICS.• Projets actuels de l’équipe 2 de l’INSERM U742• Qu’est-ce qui se passe ailleurs?
UE NEO234 Les aspects computationnelles du contrôle moteur
UE NEO234 / Un peu d’histoire/ Un peu d’histoire
Anatomical drawing by Leonard de Vinci. The Santa Maria Nuova hospital, Florence (1504-1507).
May be not since Aristotle (384-322 BCE),
who believed that the brain is composed of soil and water ,
but, since Herophilus (330-260BC) ,
who took the decisive step by identifying the nerves of movement and sentiment, and hereby, located the intelligence in the brain,
it is known that the sensory and motor regions of the Central Nervous System (CNS) exchange information via anatomical connections and so they provide the PERCEPTION and THE CONTROL OF BODY MOVEMENTS.
La science est où le plaisir et la curiosité se rencontrent.St. Augustin
UE NEO234 / Un peu d’histoire/ Un peu d’histoire
Cardiocentristes
Aristotle (384-322 BCE.) "Le cœur est le centre de la pensée et des émotions.
Galen (129-210 AD) Un réseau admirable "rete mirable" entre le coeur et la tête par où
l'énergie vitale est transmis du cœur à la tête .
Cephalocentristes
Democrite (469-399 BC) : "Le cerveau est la citadelle du corps. Il est le guardian de l'intelligence
et de la pensée".
Hippocrates (460?-377?BC): "Si le cerveau est irrité, l'intelligence sera perturbée."
Herophilus (330-260 BC) "L'intelligence est situé dans le cerveau". Distinction des nerfs de
"sentiment" et de "mouvement".
Le choix semble ne pas encore être fait :
Shakespeare (1564-1616) (AD)"Dis moi où l'amour est situé, dans le cœur ou dans la tête? "
UE NEO234 Les aspects neurobiologiques du mouvement volontaire
Architecture et fonctions
Apprentissage, contrôle,Coordination des mouvements
Le boucle sensori-moteur et la position des modèles internes du contrôle sensori-moteur dans le boucle
Wolpert & Ghahramani, Nature 2000
UE NEO234 Les aspects neurobiologiques du mouvement volontaire
L’activité des neurones du cortex moteur est liée à la force musculaire. Le neurone corticospinal spécifique du flexion du poignet ne code que la force mais pas le déplacement.
UE NEO234 Les aspects neurobiologiques du mouvement volontaire
Evarts (1968)
Propriétés neuronales
UE NEO234 Les aspects neurobiologiques du mouvement volontaire
L’activité des neurones du cortexmoteur dépend de la tâche.
Cheney et Fetz (1980)
Muir et Lemon (1983)
Propriétés neuronales
Propriétés neuronalesL’activité des neurones du cortex moteur dépend de la direction du mouvement.
Georgopoulos et al. (1982)Lawrence et Kuypers (1968)
La voie corticospinale directe est nécessaire pour le contrôle fin des doigts.
UE NEO234 Les aspects neurobiologiques du mouvement volontaire
UE NEO234 Les aspects computationnels du contrôle moteur
• Où est la tasse? Où est mon bras?– Intégration des informations sensorielles– Référentiels, systèmes de coordonnées• Comment atteindre la tasse?– Choix et formation d’une trajectoire– Equivalence motrice, redondance cinématique• Comment calculer la commande motrice?– Choix des muscles et des activations musculaires– Redondance dynamique• La commande est-elle correcte?– Corrections en ligne : rétroaction sensorielle– Boucle ouverte ou boucle fermée?• Comment faire mieux la prochaine fois?– Adaptation, apprentissage moteur
Où est la tasse? Où est mon bras?
UE NEO234 Les aspects computationnels du contrôle moteur
• Modalités : vision, audition, proprioception, …– Fusion multimodale• Référentiels– Position de la cible : définie dans un repère fixe (terre) mais perçuedans un repère en mouvement (corps)– Position du bras : définie dans le repère du corps– Dans quel espace le mouvement est-il représenté?
Perenin et Vighetto (1988)
UE NEO234 Les aspects computationnels du contrôle moteur
Comment atteindre la tasse?
• Choix d’une trajectoire– Chemin dans l’espace (de la tâche)– Parcours temporel sur de la trajectoire• Formation d’une trajectoire– Effecteur (DEGRÉS DE LIBERTÉ, ÉQUIVALENCE MOTRICE)– Trajectoire articulaire (REDONDANCE)
• Mathématiquement : cinématique inverse– Transformation de coordonnées– Problème « mal posé » (ill-posed problem)
UE NEO234 Les aspects computationnels du contrôle moteur
Comment calculer la commande motrice?
• Calcul des couples articulaires– Pour réaliser la trajectoire articulaire désirée• Distribution des forces– Redondance dynamique• Mathématiquement : dynamique inverse
UE NEO234 Les aspects computationnels du contrôle moteur
• Sources d’erreur– Localisation de la cible (cible/oeil, oeil/tête, tête/corps)– Localisation de la main et posture du bras (visible ou non)– Estimation des grandeurs physiques (longueur, masse, inertie)– Approximation des transformations– Perturbations (e.g. la cible a bougé)– Bruit• Solution : correction en ligne– Utilisation de la vision et de la proprioception– Délais dans les retours sensoriels• Points-clé– Débat non résolu : boucle ouverte ou boucle fermée?– Programme moteur vs élaboration en ligne– Réflexe vs volontaire
La commande est-elle correcte?
UE NEO234 Les aspects computationnels du contrôle moteur
Comment faire mieux la prochaine fois?
• Adaptation, apprentissage moteur– Interface biomécanique : outils, télémanipulateur– Transformations visiomotrices (gains, rotations, …)– Transformations dynamiques (inertie, viscosité, raideur)• Nature des apprentissages– Temporaire / permanent– Interférences– Apprentissage vs développement• Construction– Signaux d’erreur– Etapes d’apprentissage
Etat interne. Ex: objet ponctuel soumis à une force. Pourdéfinir le mouvement de l’objet, il faut connaître sa masse,l’histoire des forces appliquées et les conditions initiales(position, vitesse).– La position et la vitesse représentent l’état interne du système.– Intérêt de la notion d’état : le corps humain possède 600 muscles quisont en première approximation soit contractés soit relachés. Ilexiste donc 2^600 activations motrices (plus que le nombred’atomes dans l’univers).– L’état interne est une représentation simplifiée, compacte extraite deces activations.
UE NEO234 Les modèles computationnels du contrôle moteur
Systèmes dynamiques
• Contrôle. Trouver l’entrée (contrôle) de façon que la sortie(observation) se comporte d’une certaine façon.– Rester près d’une valeur de référence : Régulateur; rester proched’une trajectoire désirée : problème de suivi.• Estimation. La valeur de l’entrée peut être calculée enfonction de l’état si celui-ci est disponible.– De façon générale, seule une estimation de l’état est disponible.L’estimation a pour but construire une représentation de l’étatcourant à partir de l’histoire des sorties (observations).• Rétroaction. Un signal de contrôle a un effet attendu quipeut ne pas se réaliser en raison de perturbations oud’inexactitudes dans la connaissance du système.– Une rétroaction est nécessaire pour comparer la performancecourante et la performance désirée et décider d’un effetcompensatoire sur les entrées. La rétroaction doit être appropriée(instabilité, performances pauvres).
Systèmes dynamiques
UE NEO234 Les modèles computationnels du contrôle moteur
UE NEO234 Les modèles computationnels du contrôle moteur
Contrôle en boucle fermée
Erreur bien définie, limite sur le gain, delai dans la boucle,pas de prédiction. Utilisation : mouvements lents, posture.
Types de contrôleProportionnel
Dérivatif : amortissement pour éviter les oscillations
Intégral : pour éviter les erreurs d’équilibre (le terme intégralaugmente le couple de plus en plus jusqu’à annuler l’erreur)
UE NEO234 Les modèles computationnels du contrôle moteur
Contrôle en boucle fermée
Contrôle en boucle ouverte
UE NEO234 Les modèles computationnels du contrôle moteur
• Modèle direct : modèle de la relation causale entre lesactions et leurs conséquences. Permet de prédire lecomportement d’un système (corps, monde extérieur, ...).– Un modèle direct de la dynamique d’un bras prend en entrée l’étatcourant du bras (positions et vitesses) et les commandes généréespar un contrôleur pour produire une estimation du nouvel état.• Modèle inverse : modèle de la relation entre les conséquencedésirées et les actions.– Un modèle inverse de la dynamique d’un bras prend en entrée latrajectoire désirée pour produire les commandes appropriées à laréalisation de cette trajectoire.
Modèles internes
UE NEO234 Les modèles computationnels du contrôle moteur
Modèles internes
UE NEO234 Les modèles computationnels du contrôle moteur
modèles directs
UE NEO234 Les modèles computationnels du contrôle moteur
Pour empêcher un objet de glisser dans la main, une force de prise (normale, gripforce) doit être exercée pour compenser la force de charge (tangentielle, load force).
UE NEO234 Les modèles computationnels du contrôle moteur
modèles directsUn sujet évoque une stimulation tactile sur la peau d’une main à travers une interface robotique manipulée par l’autre main. Lorsque le mouvement d’une main est transmis directement à l’autremain, le sujet soustrait l’effet sensoriel prédit de l’effetsensoriel réel de la stimulationtactile. Le sujet ne perçoit pasde « chatouillement » . Aucontraire, lorsqu’un délai estintroduit entre l’action d’unemain et la stimulation tactile, lesujet perçoit une erreur deprédiction qui se traduit par une sensation de chatouillement.
Les sujets estiment la position de leur main à lafin d’un mouvement exécuté dans le noir. Danscertains cas, une force externe est appliquée à lamain. Les erreurs varient en fonction de la duréedu mouvement et sont décrites par la propagationtemporelle du biais et de la variance. Utilisationcombinée d’un modèle interne direct (prédictiondu déplacement à partir des commandes motrices)et d’informations sensorielles afférentes. Lesdonnées ne peuvent être expliquées par l’un desdeux composants seul.
UE NEO234 Les modèles computationnels du contrôle moteur
modèles directs
• Un système peut utiliser un modèle direct plutôt qu’une rétroaction externe pour déterminer l’effet d’unecommande et l’erreur associée.L’utilisation de l’effet prédit permet d’éviter l’instabilité inhérente aux délais de rétroaction →
Prédictionsur le comportement du corps etdu monde.• Estimation de l’état du corps.Observateur, filtre de Kalman.
UE NEO234 Les modèles computationnels du contrôle moteur
Rôle des modèles directs
modèles inverses
UE NEO234 Les modèles computationnels du contrôle moteur
Une activité EMG est observéedans des muscles qui agissent àdes articulations stationnairespendant des mouvements ducoude ou de l’épaule. Cetteactivité ressemble aux activitésagoniste-antagoniste observéespendant le mouvement. De pluselle démarre avant lemouvement et son amplitudevarie avec la vitesse dumouvement de l’articulation nonstationnaire (c-à-d avec lecouple d’interaction produit parle segment en mouvement).
Apprentissage d’un modèle direct
UE NEO234 Les modèles computationnels du contrôle moteur
Un modèle direct utilise unecopie de la commande pourprédire les conséquences d’uneaction. Cette prédiction peut êtrecomparée à la conséquenceréelle pour générer un signald’erreur de prédiction, qui peutêtre utilisé pour mettre à jour lemodèle.Wolpert et Flanagan (2001)
Apprentissage direct inverse
UE NEO234 Les modèles computationnels du contrôle moteur
Une transformation est apprise en échantillonnant la transformation inverse. Ex:apprentissage de la relation comportement désiré →
Apprentissage distal supervisé
UE NEO234 Les modèles computationnels du contrôle moteur
Les actions sont des variablesproximales (i.e. que l’étudiantcontrôle directement). Lesconséquences des actions sont des variables distales.L’étudiant forme un modèleinterne prédictif (modèledirect/forward) en explorantles résultats associés avec lechoix de certaines actions. Cemodèle interne est utilisé pourapprendre la relation entreintentions et actions.
Apprentissage distal supervisé
L’apprentissage du modèle inverse utilise l’erreur de performance(différence entre résultat attendu et résultat actuel). Le modèle directtraduit cette erreur dans l’espace distal en une erreur dans l’espaceproximal qui permet de superviser l’apprentissage du modèle inverse.L’apprentissage est correct même si le modèle est imprécis.
UE NEO234 Les modèles computationnels du contrôle moteur
UE NEO234 Les modèles computationnels du contrôle moteur
Feedback-error learning
Un contrôleur feedback est utilisé pour corriger l’erreur entre l’état courant et l’état désiré. Il en résulte une commande feedback qui s’ajoute à la commande feedforward générée par le modèle inverse.La commande feedback devient nulle quand l’erreur est nulle. Elle peut être utilisée comme un signal d’erreur pour entraîner le modèle inverse.
Synthèse
UE NEO234 Les modèles computationnels du contrôle moteur
Les modèles du cortex cérebral:Marr 1971Banquet et coll. (1998)Cohen et Eichenhaum (1993)Zipser (1991) et Zipser et coll (1993)Grossberg (1973-1997)Bullock & Grossberg (1998)
UE NEO234 Les modèles des circuits neuronaux du contrôle moteur
Les modèles des ganglions de la base: Bullock & Grossberg (1988)Monchi & Taylor (1995)Gullapali et coll. (1995)Dominet et coll. (1992-1995)
Les modèles du cervelet:Marr (1969)Albus (1971) Fujita (1982)Pellionisz (1986)Gluck et coll. (1990) Chauvet (1991)Bullock et coll. (1994)Fiala et coll. (1996) Schweighofer, Arbib, Dominey (1996)
CEREBELLUMENTREES SORTIES
Mossy FibersSignaux de commandesCortex Cérébral (sensory-motor activity)Signaux de rétroactionSystème vestibulaire (balance)Formation Réticulaire (alerting)Position of jointsTension in tendonsVelocity of contraction of musclesPressure on skin
Purkinje cellEyesMouthArmsHands, FingersLegsFoots, Toes
UE NEO234 Le modèle du cervelet
Cross section of Cerebellar cortex.
The principal cells and fiber systems of the cerebellar cortex.
Schematic representation of the main connections between primary cerebellar cortex cells.
UE NEO234 Le modèle du cervelet
oùS = input vectorM = set of mossy fiber used to encode SA = set of granule cells contacted by Mp = output (Purkinje cell)
pAMS )(Shp
CMAC est défini par une série de cartographes (mappings)
et
UE NEO234 Le modèle du cervelet, CMAC, Albus (1971, 1990)
Modèle théorique du cervelet La représentation schématique de CMAC Marr (1969), Albus (1975, 1990)
FeedbacksCommandsF
Ni
C
i SSSSSSFCS ,.....,,,....,,, 1321
oùC=Symbolic motor commands + desired velocity, force etc.F= Actual joint position, the tension on tendon etc.
XWVTSC
RQPNMC
KJHGFC
EDCBAC
,,,,
,,,,
,,,,
,,,,
41
31
21
11
xwvtsC
rqpnmC
kjhgfC
edcbaC
,,,,
,,,,
,,,,
,,,,
42
32
22
12
*
*22
*11
.
.
.
Nn ms
ms
ms
MS
UE NEO234 Le modèle du cervelet, CMAC
INFORMATION FLOW IN CMACMS The Mapping
Encoding
Quantizing functions for K=4, N=2
Two variable, N=2, CMAC with K=4 quantizing functions on each variable and 25 granule cells for each permutation of corresponding quantizing functions.
vqjcmVPHBmthenss ,,,,,,107 *2
*121
vqjc VPHBA ,,,*
UE NEO234 Le modèle du cervelet, CMAC
AM The Mapping
mappingAM
118
74
2
1
s
and
s
for
mappingAM )10,7(),( 21 ss
),( 21 ss )10,8(
for
Bc will drop out to be replaced by Cc
if moves to
• Each granule cell receives input from several different mossy fibers, and no two granule cells receive input from the same combination of mossy fibers.
• Example:Then the active granule cells can be computed as
UE NEO234 Le modèle du cervelet, CMAC
T h e pA M A P P I N G
G r a n u l e c e l l s g i v e r i s e t o p a r a l l e l f i b e r s w h i c h a c t t h r o u g h w e i g h t e d c o n n e c t i o n so n t h e P u r k i n j e o u t p u t c e l l , v a r y i n g i t s f i r i n g r a t e .
T h e P u r k i n j e o u t p u t c e l l s u m s o n l y t h e w e i g h t s s e l e c t e d o r a d d r e s s e d b y A * . T h i ss u m i s t h e C M A C o u t p u t s c a l a r v a r i a b l e p .
E x a m p l e : ),(S 107 m a p s i n t o vqjc* V,P,H,BA w h i c h s e l e c t s t h e w e i g h t s
.W;.W;.W;.W VvPqHjBc 0010201 T h u s 04 .p
A s t h e i n p u t v e c t o r S m o v e s o v e r t h e i n p u t s p a c e ,a v a l u e p i s t h e o u t p u t a t e a c h p o i n t .T h e r e f o r e C M A C c o m p u t e s t h e f u n c t i o n p = h ( S ) .
T h e d i f f e r e n c e i n a d j a c e n t w e i g h t si s t h e p a r t i a l d e r i v a t i v e o r p a r t i a l d i f f e r e n c e ,o f t h e f u n c t i o n a t t h a t p o i n t .
Le flux d’information pour un robot à 7 ddlcontrôlé par 7 CMACs.
Deux trajectoires similaires TPa et TPb pour un mouvement élémentaire <SLAP> qui ont été apprises par les 7 CMACs.
UE NEO234 Le modèle du cervelet, CMAC
L’effet de l'interférence d’apprentissage. Si l’apprentissage on Tpaest interrompu par une trajectoire similaire TPb, on observe une dégradation de la performance sur Tpa. Des itérations répétitives surmontent cette interférence d’apprentissage ou l’inhibition rétroactive.
La performance d’apprentissage et de généralisation de CMAC pour le mouvement <SLAP> Tpa.
UE NEO234 Le modèle du cervelet, CMAC