cours 4

Julien Diard — LPNC-CNRSCours EDISCE/EDMSTII - M2R Sciences Cognitives, « Cognition bayésienne » — 2012 1

Cours 4

Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS

UE Cognition bayésienne16/01/2012 (& 19/01/2012)

http://diard.wordpress.com Julien.Diard@upmf-grenoble.fr

Plan des cours1. Introduction à la Programmation Bayésienne :

incomplétude, incertitude2. Programmation bayésienne : exemple détaillé3. Classes de modèles probabilistes, distributions

usuelles, Programmation bayésienne des robots4. Modélisation bayésienne de la perception et de

l’action5. Comparaison bayésienne de modèles6. Compléments : inférence, apprentissage,

principe d’entropie

Plan• Résumé + questions !• Modélisation bayésienne de la perception

– Introduction à la perception multi-– Perception visuo-haptique : (Ernst & Banks, 02) détaillé– Causal Inference– Questions ouvertes

• Modélisation bayésienne de l’action– Introduction au contrôle moteur, Modèle de minimum variance

• Modélisation de la perception et de l’action– Exemple : modèles sensoriels et moteurs de la perception et de la

production de la parole

Bayesian Program = Description + Question

Inference

SpecificationSpecification

IdentificationIdentification

• Variables

• Parametrical Forms or Recursive Question

• Decomposition

Preliminary Knowledge

Experimental Data

Learning Reactive Behaviors

Khepera Robot

• Avoiding Obstacle• Contour Following• Piano mover• Phototaxy• etc.

Lebeltel, O., Bessière, P., Diard, J. & Mazer, E. (2004) Bayesian Robot Programming; Autonomous Robots, Vol. 16, p. 49-79Lebeltel, O. (1999) Programmation bayésienne des robots; Thèse INPG

• Joystick Remote Control Experimental Data

• Variables

Reactive behavioursrot

dir =+10

dir =0

dir =-10

Preliminary Knowledge

• Decomposition

P Dir∧Prox∧Vrot |δ1∧π( )

P Vrot | Dir = d[ ]∧ Prox = p[ ]∧δ1∧π( )

• Parametrical Forms

P Dir∧Prox |δ∧π( ) ← UniformP Vrot |Dir∧Prox∧δ∧π( ) ← Gaussians€

P Dir∧Prox∧Vrot |δ∧π( )= P Dir |δ∧π( ) × P Prox |δ∧π( ) × P Vrot |Dir∧Prox∧δ∧π( )€

Dir∧Prox∧Vrot

Utilization

1 pushing obstacles2 contour following3 obstacle avoidance

Sensor Fusion Model

– No free parameters

Utilization

– Variables

– Decomposition (Conditional Independance Hypothesis)

P ThetaL∧DistL∧Lm0∧...∧Lm7 |π Fusion( )

= P ThetaL∧DistL |π Fusion( ) × P Lmi |ThetaL∧DistL∧π Fusion( )i= 0

P ThetaL | lm0∧...∧lm7∧π Fusion( ),P Lm3 | lm2∧lm4∧ThetaL∧π Fusion( )

– Parametrical Forms

P ThetaL∧DistL |π Fusion( ) ← Uniform

P Lmi |ThetaL∧DistL∧π Fusion( ) ← P Lmi |ThetaL∧DistL∧δ i∧π Sensor( )

ThetaL, DistL, Lm0, …, Lm7

L m 2 = 3 9 1 ( c a p t e u r l u m - 1 0 ° )

P ( T h e t a L | L m 2 C p _ l 2 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 3 = 3 7 9 ( c a p t e u r l u m 1 0 ° )

P ( T h e t a L | L m 3 C p _ l 3 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 1 = 4 8 0 ( c a p t e u r l u m - 5 0 ° )

P ( T h e t a L | L m 1 C p _ l 1 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 4 = 4 3 0 ( c a p t e u r l u m 5 0 ° )

P ( T h e t a L | L m 4 C p _ l 4 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 0 = 5 0 9 ( c a p t e u r l u m - 9 0 ° )

P ( T h e t a L | L m 0 C p _ l 0 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 5 = 5 0 3 ( c a p t e u r l u m 9 0 ° )

P ( T h e t a L | L m 5 C p _ l 5 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 7 = 5 1 1 ( c a p t e u r l u m - 1 7 0 ° )

P ( T h e t a L | L m 7 C p _ l 7 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

L m 6 = 5 1 1 ( c a p t e u r l u m 1 7 0 ° )

P ( T h e t a L | L m 6 C p _ l 6 )

0 . 0 0

0 . 1 2

0 . 2 5

0 . 3 7

0 . 5 0

- 1 8 0 - 9 0 - 4 5 0 4 5 9 0 1 7 0

T e t h a = 1 0 , D i s t = 2 0

P ( T h e t a L | L m 0 . . L m 7 C p _ S o u r c e L )

0 . 0 0

0 . 2 5

0 . 5 0

0 . 7 5

1 . 0 0

- 1 8 0 - 9 0 - 5 0 - 1 01 0 5 0 9 0 1 7 0

P ThetaL Lm0...Lm7 Cp_SL( ) = 1Z

P Lmi ThetaL DistL Cp_li( )i= 0

∏DistL∑ .

Object Recognition (Model)

• Identification of the Laplace succession laws and GaussiansUtilization

• Variables

• Decomposition (Conditional Independance Hypothesis)

• Parametrical Forms

Nlt, Nrt, Per, Llsl, O = {0, 1, 2, …}

P O |δ∧C( ) = Uniform

P O | nlt∧nrt∧per∧llsl∧δ⊗π( )

Bayesian BotSpecificationPr

Utilization

Identification

• Variables

• Decomposition

• Parametric Forms

• Playing: P(St+1 |St L W FW N FN PW PL)

• Perception: L Life, W Weapon, FW Foe Weapon, N Noise, FN Foe Number, PW Proximity Weapon, PL Proximity Life• State: St, St+1 {Attack, Weapon Search, Life Search, Exploration, Escape, Danger Detection}

Tables

P Vrot Vtrans px0..px7 lm0..lm7 veille feu obj? eng tach_t -1 td_t -1 tempo tour dir prox dirG proxG vtrans_c dnv mnv mld per

πWatchman

⎝ ⎜ ⎜

⎠ ⎟ ⎟

P Td Tach td_t - 1 tempo tour

πMoove⎛ ⎝ ⎜

⎞ ⎠ ⎟

P Tach Base veille feu obj? eng tach_t - 1

πTask

⎝ ⎜ ⎜ ⎜

⎠ ⎟ ⎟ ⎟

P Base px0...px7 lm0...lm7 πBase

⎛ ⎝ ⎜

⎞ ⎠ ⎟

⎜ ⎜ ⎜ ⎜ ⎜ ⎜

⎟ ⎟ ⎟ ⎟ ⎟ ⎟

Base∑

⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜

⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟

Tach∑

P ThetaL DistL lm0..lm7 πFusion( )DistL∑

P H prox πHoming( )

P Vrot Vtrans H Td ThetaL dir prox dirG proxG vtrans_c

πWatchman⎛ ⎝ ⎜

⎞ ⎠ ⎟

⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜

⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟

TdThetaL H

• Inférence exacte – sommation, propagation

des incertitudes• Inférence approximée

– décisions intermédiaires (tirage de points), propagation d’une partie des incertitudes

Pour aller plus loin…• Reviews, introductions, …

– Numéro spécial Trends in Cognitive Sciences 2006, 10(7)– l’édito : N. Chater, J. B. Tenenbaum, and A. Yuille. Probabilistic models of cognition: Conceptual

foundations. Trends in Cognitive Sciences, 10(7):287–291, 2006.

– F. Colas, J. Diard, and P. Bessière. Common bayesian models for common cognitive issues. Acta Biotheoretica, 58(2-3):191–216, 2010.

• ambiguities, fusion, multimodality, conflicts, modularity, hierarchies and loops– N. Chater, M. Oaksford, U. Hahn, and E. Heit. Bayesian models of cognition. WIREs Cognitive

Science, 1(6), 2010.• plus « cognitif » : categorization, learning and causality, language processing, inductive and deductive

reasoning, argumentation– R.A. Jacobs and J.K. Kruschke. Bayesian learning theory applied to human cognition. WIREs

Cognitive Science, 2010.

– M. Jones and B. Love. Bayesian fundamentalism or enlightenment? on the explanatory status and theoretical contributions of bayesian models of cognition. Behavioral and Brain Sciences, 34:169–231, 2011.

• Article cible BBS, suivi de commentaires

Pour aller plus loin…• Modèles sensori-moteurs en robotique

– O. Lebeltel, P. Bessière, J. Diard, and E. Mazer. Bayesian robot programming. Autonomous Robots, 16(1):49–79, 2004.

• Modèles sensoriels et moteurs en sciences du vivant– D. Kersten, P. Mamassian, and A. Yuille. Object perception as bayesian

inference. annu Rev Psychol, 55:271–304, 2004.– D. M. Wolpert. Probabilistic models in human sensorimotor control. Human

Movement Science, 26:511–524, 2007.

• Statistiques bayésiennes– J. K. Kruschke. Bayesian data analysis. WIREs Cognitive Science, 1:658–676,

2010.– J. K. Kruschke. What to believe: Bayesian methods for data analysis. Trends

in Cognitive Science, 14:293–300, 2010.

Modélisation de la perception multi-

• Multi-?– Intramodale : multi-indice– Multimodale : multi-sensorielle

• Modèle de pondération linéaire

(Lambrey, 2005)

Modèle de pondération sensorielle

Modélisation de la

perception• Perception

– Un problème inverse (Poggio, 1984)• Modèle bayésien

– Inversion + hypothèse d’indépendance conditionnelle

S1S2Sn

stimulus

sensations

perception

P S1S2...SnV |C( )= P V |C( )P S1 |VC( )P S2 |VC( )...P Sn |VC( )

• Vision– Perception des plans : préférence pour des

plans rigides, stationnaires (Colas, 06)– Perception des formes (Kersten et al., 04) :

• préférence pour les objets convexes• préférence pour des lumières venant du haut,

stationnaires• préférence pour un point de vue situé au dessus

de la scène

Ambigüités• P(V | S)

– inversion de P(S | V)

– Distribution à plusieurs pics : ambigüité

• Cas classique– image rétinienne 2

D objet réel en 3D

Cube de Necker

Forme tirée du mouvement

MPI-BC

Forme tirée du mouvement

MPI-BC

Forme tirée des ombres

• Proprioception (Laurens, 07)

P S1S2K SnV |C( )= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )

• Fusion multi-indices– Haptique : géométrie et force (Drewing &

Ernst, 06)– Vision (Kersten et al., 04)

• Fusion multi-sensorielle– Visuo-acoustique

• Localisation de sources (Alais and Burr, 04, Battaglia et al., 03; Körding et al., 07, Sato et al., 07)

• Reconnaissance de voyelles (Gilet, 06)– Visuo-haptique (Ernst & Banks, 02)

Fusion visuo-acoustique :effet McGurk

Effet McGurk• Audio : ba

– Lèvres fermées• Vidéo : /ga/

– Lèvres ouvertes• Situation de conflit : perception

Fusion trimodale• Stimuli audio, visuels et tactiles• Tâche : compter dans chaque

modalité

(Wozny, Beierholm and Shams, 2008)

Fusion trimodale

Nature, 429–433, 2002

Humans integrate visual and haptic information in a

statistically optimal fashion

• Mécanisme d’integration visuo-haptique par fusion de gaussiennes

• Utilisé par les humains

Plan• Protocole expérimental• Modèle bayésien de fusion

capteurs• Comparaison du modèle au

données

Matériel expérimental

Stimuli visuels

Stimuli et tâche• 4 niveaux de bruit visuel

: 0% 67% 133% 200%• 1 niveau haptique

• 1 s de présentation

• Tâche de choix forcé– laquelle de ces deux

barres est la plus grande ?

Cas mono-modal• 2 barres en séquence

– L’une à 55 mm (standard stimulus)– L’autre de taille variable, entre 47 et

63 mm (comparison stimulus)

Cas mono-modal

Cas multi-modal• 2 barres en séquence

– L’une composée d’une taille visuelle SV et d’une taille haptique SH

• | SH - SV | = = 0, 3 ou 6 mm• (SH + SV) / 2 = 55 mm

standard stimulus– L’autre de taille variable

entre 47 et 63 mm comparison stimulus

Integration visuo-haptique

0%67%133%

0%67%133%200%

données

Modèle bayésien de fusion « naïve »

• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien

• « Statistiquement optimal »– Moindre variance :

données

Quelles gaussiennes ?• Choix d’une

gaussienne parmi 2– L’inversion est une

sigmoïde…• Point d’égalité

subjective– PSE : moyenne

• Seuil de discrimination–

T = 0.085 x 55 mm

0.04 x 55 mm

Integration visuo-haptique• Comparison

stimulus – visual and haptic

heights equal– vary in 47-63 mm

• Standard stimulus– visual and haptic

heights differ– Δ = {±6 mm, ±3

mm, 0}– mean is 55 mm

0%67%133%200%

Comparaison modèle - données

Moyennes prédites - observées

Variances prédites - observées

Questions, critiques ?

Perception audio-visuelle• Effet ventriloque

(Alais and Burr, 2004)

Causal inference (Körding et al., 07; Sato et al., 07)

• Y a-t-il une source unique, ou deux sources distinctes ?

Données expérimentales

Modèle ségrégation totaleC=2

Modèle intégration totaleC=1

Modèle « causal inference »C variable inconnue sommation sur CModèle « causal inference »sans propagation tirage sur C / max sur C

Sommation / tirage• P(A B C) = P(A) P(B | A) P(C | B)• Inférence de P(C | A)

CInférence exacte : sommation

Inférence approximée: tirageTirer b selon P(B | [A=a])Tirer c selon P(C | [B=b])

Propagation des incertitudesSommation « dictée » par le formalisme, pas par le modèle !

Pour chaque sujet– Calcul des

paramètres sur la moitié des données : R2 = 0.98

– Validation croisée sur l’autre moitié : R2 = 0.96

Question ouverte• De nombreux

exemples d’application du modèle probabiliste de fusion

Cerveau bayésien ?

• Comment montrer que le traitement est « bayésien » ?

• Les modèles bayésien sont sous-contraints !– Extension de la logique, on peut

donc tout exprimer– Valeur d’un modèle qui

s’applique partout ?• L’inférence bayésienne est

contrainte !– Si on suppose des

gaussiennes, leur fusion est…

– L’inférence implique des marginalisations

Modélisation du contrôle• Mouvements de pointage,

volontaire, chez l’humain• Etude des régularités

– Lois du mouvement• Isochronie, loi de Fitts, loi de la puissance

2/3• Hypothèses sur les mécanismes

– Modèles (neuro)cognitifs

Modèles de planification de mouvements

Planification de mouvement =Sélection d’une trajectoire selon un coût

Espaces de contrôle

• Planification intrinsèque– Espace articulaire

• Planification extrinsèque– Espace cartésien

Observations• Trajectoires de la main

– invariantes et quasiment rectilignes dans l’espace cartésien

– quelles que soit les positions initiales et terminales du mouvement

– profil de vitesse en cloche • Dans l’espace articulaire

– grande variabilité

Trajectoire observée Changement angulaire des articulations

D’après Hollerbach & Atkeson (1986)

Modèle d’interpolation linéaire dans l’espace

articulaire

Modèle d’interpolation linéaire dans l’espace

articulaireβα

Quelle grandeur manipulée par le système

de contrôle ?

+ free energy principle(Friston 10)+ inactivation principle(Berret 08)+ …

Espace de travail• Minimisation des dérivées de

l’endpoint

– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap

Minimum jerk• Prédit des segments droits• Pas observés pour des

mouvements de grande amplitude

Lacquaniti et al. (1986)

Espace des couples moteurs

• Minimisation des couples zi générés à chaque articulation

Minimum variance• Bruit dépendant du signal (signal

dependent noise SDN)

Bayesian Decision Theory• Modèle probabiliste + modèle de

coût (reward, cost, loss function)

PriorPosterior

LikelihoodCost

function

Bayes theorem Bayesian

decision theory

outputobservation i

• Modélisation bayésienne de la perception et de la production de la parole

• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture

Merci de votre attention !

Questions ?

cours 4

Documents

cours n°4 infrastructure - archive.org

4 mossaidat almanaa cours

4 cours hieroglyphes

cours adm - 111 cours 4 la planification stratégique

formation c# - cours 4

cycle 4 cours - cpge paradise

cours prati que 4

cours 4 hazop

cours 4 edm 2030

cours réseaux - partie 4 -...

management tic cours 4

cours excel 4

cours 4 rdp -vérification

uic i génétique - cours 4 uic i génétique - cours 4...

cours df 4 energie’mécanique’

cours uml partie 4

v.4 - cours pi

1 organisation organisation organisation cours cours 4 ou 5...

cours 4 : ergonomie et mobilite

cours d’informatique 4