r é seaux de neurones temporels : dynamique et apprentissage
DESCRIPTION
R é seaux de neurones temporels : dynamique et apprentissage. H élène Paugam-Moisy Professeur à l’Université Lyon 2 Institut des Sciences Cognitives. [email protected]. Les r é seaux de neurones naturels. Cerveau, neurones et intelligence. Chez les animaux, la place occup é e par le - PowerPoint PPT PresentationTRANSCRIPT
Réseaux de neurones temporels :
dynamique et apprentissage
Hélène Paugam-MoisyProfesseur à l’Université Lyon 2Institut des Sciences Cognitives
Les réseaux de neurones naturels
Cerveau, neurones et intelligence
Le cerveau humain est constitué d’environ1011 neurones ;
en moyenne, chaque neurone a de l’ordre de104 connexions.
Chez les animaux, laplace occupée par lecortex semble êtreproportionnelle au
développement desfacultés intelligentes.
Neurones biologiques / naturelsLes neurones forment des réseaux de communication complexes, chaqueneurone établissant de très nombreuses connexions avec d'autres.
vibrisses du rat : neurones sensitifs => thalamus(White et Peters ) neurones thalamiques => cortex
Neurones biologiques / naturels
gallerie de photos...
Neurones biologiques / naturels
Première schématisationdu neurone (Dieters, 1865)
Enregistrement d’un neuronevivant : micro-électrode de verre
Neuropuce (Infineon) : 16 384 capteurs au mm2
pour enregistrer tout signal électrique émis parun neurone vivant, ici celui d’une “limace de boue”[Lymnaea stagnalis]
Neurones biologiques / naturels
Schématiquement, un neurone biologique est constituéd’un arbre dendritique, d’un soma et d’un axone.
somaaxone
dend
rites
Un neurone peut émettre des impulsions sur son axone.Elles se propagent vers les dendrites des neurones auxquels
il est connecté, qui les transmettent au corps cellulaire(ou soma), via des connexions pondérées par des synapses.
connexionsynaptique
autredendrite
Connexions synaptiques
Connexions synaptiques
Plasticité synaptique
Loi de renforcement de Hebb (1949) :
=> c’est le principal fondement des règlesd’apprentissage, dans les réseaux de neurones artificiels.
En résumé : si deux neurones sont souventexcités simultanément, alors ils augmententla force (le poids) de leur interconnexion .
Postulat physiologique :
“quand un axone de la cellule A est assez proche pour exciter une cellule Bet quand, de façon repétée et persistante, il participe à son activation, uncertan processus de croissance ou un changement métabolique s’installe,dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualitéde cellule qui active B, est augmentée”.
Les réseaux de neurones artificiels
Neurones artificiels
Le premier modèle mathématique de neurone est le neurone formel de McCulloch et Pitts (1943).
y = 1 si Σwixi>θ= 0 sinon
Loi du “ tout ou rien ” : le neurone émet ou non uneimpulsion sur son axone, selon que la somme pondéréede ses entrées dendritiques dépasse ou non son seuil θ.
x1
xi
xn
...
...
Σ
w1
wi
wn
sommation, seuillage
θ
Réseaux de neurones artificiels
Un réseau de neurones artificiels est un ensemble deneurones formels, connectés entre eux selon une
certaine architecture / topologie.
Les activités se propagent de neurone en neurone selonune certaine dynamique.
Les poids des connexions sont modifiés / adaptés parune règle d’apprentissage, à partir d’exemples.
Réseaux de neurones artificiels
φ
RNA
X Y
vecteur d’entrée vecteur de sortie
On peut aussi voir un réseau de neurones artificielscomme un outil de modélisation de type “ boîte noire ” :
Le RNA réalise une association d’un espace d’entrée X versun espace de sortie Y. La “ fonction ” φ est définie par les
poids du réseau. Ceux-ci sont ajustés au problème par unerègle d’apprentissage, à partir d’une base d’exemples (xk,tk )
[ apprentissage supervisé, si tk est connu ]
Connexions synaptiques
Les poids synaptiques (artificiels) sont des nombres réels.
On associe habituellement les poids positifs à des connexionsexcitatrices et les poids négatifs à des connexions inhibitrices
mais...
les règles d’apprentissage des modèles connexionnistesclassiques peuvent modifier le signe d’un poids synaptiquedonné, ce qui n’est guère réaliste, sur le plan biologique.
Motivation initiale
La motivation initiale n’était pas non plus très biologique :
l’idée sous-jacente à la définition du neurone formel étaitde chercher à montrer que la pensée intelligente résultait
du fonctionnement des neurones du cerveau...
mais, à l’époque, on pensait que :
intelligence raisonnement
raisonnement logique
logique neurones
Synthèse des fonctions booléennes
Ainsi, les premiers travaux de McCulloch et Pitts ont été deréaliser la synthèse des fonctions booléennes élémentaires
à partir de réseaux de neurones formels.
Parallèlement, les mathématiciens tentaient de démontrerque tout raisonnement pouvait se formaliser par des
combinaisons complexes de règles logiques.
donc, dans l’esprit des travaux de Turing :
grand reséaude neurones
raisonnement complexe,intelligent
émergence
Modèles connexionnistes “classiques”1940
1950
1960
1970
1980
1990
2000
20...
Neurone formel de McCulloch & Pitts
Adaline de WidrowPerceptron de Rosenblatt
Réseau de Hopfield
Réseaux RBF Moody & Darken
Cartes auto-organisatrices de KohonenRéseaux MLP Rumelhart et al.
Support Vector Machines Vapnik
Loi de renforcement de Hebb } notions fondatrices
Exemple : un réseau MLP
X Y
entrées sortiesdésirées
sortiescalculées
tmk
t1k
ym
y1
xn
x1
Généralisation, calcul du réseau :• présenter les xi aux neurones d’entrée• calculer les activités, de couche en couche, jusqu’aux sorties yj
Apprentissage, par rétro-propagation [ backprop ] :
xnk
x1k
y1k
ymk
erreur
neurone sigmoïde Nj :yj = σ ( Σwijxi - θj )
• initialiser les poids wij aléatoirement, sur chaque couche• présenter les xi
k aux neurones d’entrée• calculer les activités, de couche en couche, jusqu’aux sorties yj
k • mesurer l’erreur entre sorties calculées yj
k et sorties désirées tjk
• en sens inverse, calculer les gradients et modifier les poids wij
A
k
Modèles connexionnistes “classiques”Les réseaux de neurones artificiels sont devenus des outils
de modélisation et de calcul destinés aux ingénieurs :
• Reconnaissance des formes, classification, clustering• Prédiction, prévision de séries temporelles• Contrôle, identification de systèmes• Compression de données• Bioinformatique• Robotique
Des exemples :
repérer l’approche d’une tempêteidentifier de multiples espèces de fleurs
reconnaître une voix dans un téléphone mobiledistinguer les raisins utilisés pour faire un bon vin
diagnostiquer les conditions d’une conduite dangereusereconnaître le visage de quelqu’un qu’on n’a pas vu
récemment
Modèles connexionnistes “classiques”
Ces RNA sont, d’ailleurs, des outils très performants :
• Calculabilité : plus puissants qu’une machine de Turing
• Complexité : NP-complétude du “ loading problem ”
• Capacité : MLP et RBF sont approximateurs universels
• Théorie statistique de l’apprentissage, PAC-learning
mais...les méthodes mises en oeuvre pour les améliorer sontde plus en plus souvent des méthodes déjà connues...
et surtout...
on s’est beaucoup éloigné de l’inspiration biologique !
Les neurones impulsionnelsou
“ spiking neurons ”
Les neurones “classiques”
neurone à seuil(fx de Heaviside)
neurone linéaire(fx identité)
neurone sigmoïde(exp ; argth)
y = f ( Σ wixi - θ )i=1
n calculs basés surle produit scalaire
calculs basés sur la distancey = g (|| x - w ||2)Dans certains modèles (cartes de Kohonen, réseaux RBF) :
f = H f = σf = I
Que représente “ xi ” ?
Les algorithmes des réseaux de neurones classiques sontitératifs. A chaque pas de temps, chaque neurone reçoit nvaleurs d’entrée xi et les traîte selon sa propre formule decalcul et en fonction des valeurs de ses poids synaptiques.
xi représente le taux moyen de décharge
provenant du neurone présynaptique Ni
Cette moyenne (fréquence) résulte de plusieurs émissionsd’impulsions pendant un intervalle de temps donné, maison ne connaît pas ces impulsions de manière précise.
cependant...
Neurone impulsionnelLes neurobiologistes ont montré que les neurones encodentl’information dans les instants d’émission des impulsions.
impulsion = potentiel d’action = spike
spiking neuron
Pour une modélisation plus réaliste, il faut prendre encompte les aspects temporels et utiliser de nouveaux
modèles de neurones : des “ neurones impulsionnels ”.
Dynamique neuronale
neuronespré-synaptiques
neuronepost-synaptique
Nj
N2
N1
uj (t)t1(1) t1
(2)
t2(1) t2
(2)
tj (f)
t [ms]t1(1) t2
(1) t1(2) t2
(2)
u [
mV
]
V
tj (f)
chaque spike pré-synaptiqueengendre un EPSP (en rouge) ;ceux-ci s’ajoutent (en bleu) ;quand uj (t) atteint le seuil Vle neurone post-synaptique Nj
émet à son tour un spike.
EPSP = potentiel post-synaptique excitateur
urepos
Le modèle de Hodgkin-Huxley
Le modèle de neurone de Hodgkin-Huxley (1952) tientcompte avec précision des canaux ioniques et du processusélectro-chimique, au niveau des connexions synaptiques :
I (t)
C NaKR
courant d’entrée
u potentiel de membrane
Σ Ik = gNam3h(u-ENa) + gKn4(u-EK) + (u-EL)1R_
k
dudt__C = - Σ Ik (t) + I (t)
k
... où les variables m, n et h sont elles-mêmes régies pardes équations différentielles, en fonction du temps.
sodiumpotassium
Le modèle de Hodgkin-Huxley
le modèle de Hodgkin-Huxley est beaucoup trop complexepour modéliser des réseaux de neurones temporels !
mais...
Ce modèle est capable de rendre compte de la dynamiqued’émission d’un spike et de se comporter en neurone à seuil
réponse du neuroneà une impulsion, i.e.un courant d’entrée
de courte duréeI(t) envoyé à t < 0t [ms]
Δu(t
) [m
V]
0 5 10 2015
Le modèle LIF : “Leaky Integrate and Fire”
Le modèle “Leaky Integrate and Fire” est unesimplification du modèle de Hodgkin-Huxley :
CR
I (t) courant d’entrée
u potentiel de membrane
1R_du
dt__C = - u (t) + I (t)
V
Un spike est émis à chaque fois que le potentiel demembrane croît jusqu’à dépasser le seuil V du neurone.instant d’émission du spike :
t(f) tel que u(t(f)) = V avec u’(t(f)) > 0
Le modèle SRM : “Spike Response Model”
Le “Spike Response Model” SRM de Gerstner (1995) est unegénéralisation du LIF, qui intègre le passé du neurone Nj
instant d’émission du prochain spike :
somme des PSPseuil, émission
EPSP = PSP excitateur poids wij positif
IPSP = PSP inhibiteur poids wij négatif
courant extérieur
t(f) tel que u(t(f)) = seuil avec u’(t(f)) > 0
uj (t) = Σ ηj (t-tj(f)) + Σ Σ wijεij (t-ti
(f)) + ∫κ(t-tj,s)I(t-s)dsspikesde Ni
Ni pré-synaptiques
^∞
0spikesde Nj
Le modèle SRM : “Spike Response Model”
Exemple de formule mathématique pour le seuil :
ηj (s) = - V exp (- ) H (s-δabs) – K H (s) H (s-δabs)s-δabs
τ_____
Exemple de formule pour les réponses aux PSP :
εij (s) = [exp(- ) – exp(- )] H (s-Δij)s-Δij
τs
____s-Δij
τm
____
variations autour du seuil V et modélisation d’unepériode réfractaire δabs
où Δij est le délai de propagation le long de l’axonequi va du neurone Ni vers le neurone Nj
Le modèle SRM0
On peut simplifier le modèle SRM,tout en conservant l’essentiel de ses propriétés
=> on obtient le modèle phénoménologique SRM0
uj (t) = Σ wijε(t-ti-Δij)Ni pré-synaptiques
^
cette formule dérive d’une intégration de la précédente,sur un court intervalle de temps (1ms), en ne mémorisant
que l’instant du dernier spike émis par Nj et en faisantl’hypothèse que chaque neurone présynaptique Ni émetau plus une fois à l’instant ti dans l’intervalle de temps.
^
Le modèle SRM0
Exemple de formule pour les réponses aux PSP :
ε(s) = exp ( ) 1 - s τ____s
τ__
où τ est une constante de temps caractéristique dupotentiel de membrane (augmentation puis décroissance)
instant d’émission d’un spike, par le neurone Nj :
tj(f) t tel que uj(t) = θ(t-ti) avec u’j(t) > 0^
ce qui donne une fonction non-linéaire de la variable d’état (potentiel de membrane) uj(t) du neurone Nj
EPSP
IPSP
Les réseaux de neurones temporels
dynamique, puissance de calcul
Les réseaux de neurones temporels
Comme pour les neurones classiques, on peut connecterentre eux des neurones temporels selon diverses topologies,simuler leur fonctionnement en réponse à des entrées venant
d’un environnement extérieur et récupérer des sorties.
SNN = Spiking Neuron Networks
cependant :vecteur numérique spikes
traduction
Une solution, le codage temporel :dans un intervalle de temps fixé, plus le spike est
précoce, plus il correspond à une valeur numérique élevée
Dynamique des RNA “classiques”
topologie en couches => dynamique feedforward
ym
y1
xn
x1
topologie bouclée => dynamique récurrente
yny1
x1 xn
La dynamique dépend directement de la topologie...
Dynamique des RN temporels
La topologie est sous-jacente à la dynamique,mais...
toutes les connexions ne sont pas actives à chaque instant
des patterns d’activité émergent ;ils se modifient au cours du temps
=> un moyen plus riche de coder l’information
Assemblée de neurones :
ensemble de neurones qui se synchronisent,en réponse à un stimulus extérieur
Assemblées de neurones
Certains neurones accroissent leur activité,d’autres cessent momentanément d’émettre.
un stimulusest appliquéen entrée,entre 1000et 2000 ms [ Meunier ]
Implémentation des RN temporels
Toutes les connexions ne sont pas actives à chaque instant
il devient maladroit de programmer uneboucle de calcul systématique des étatsde tous les neurones et de toutes lessynapses à chaque itération.
L’échelle de temps est très différente (~ temps-réel )
il convient d’implémenter ces réseauxpar programmation événementielle
EDS = Event-Driven Simulation
Nouvelle motivation
On a beaucoup progressé sur la compréhension dufonctionnement du cerveau, et l’idée que l’on se fait del’intelligence a beaucoup évolué en quelques décennies.
maintenant, on pense plutôt que :
intelligence mémorisation
mémorisation associations
associations neurones
La synchronisation des assemblées de neuronesest une piste extrémement prometteuse...
Puissance de calcul
Des résultats théoriques* (Maass, 1997) ont montré que les spiking neurons sont plus puissants que les
neurones classiques, même avec des modèles simples
fonctions de réponse aux PSP
modélisation du seuil
t
εij(t-s)
s+Δijs
u
t
εij(t-s)
s+Δijs
u
type A
type B
tt ’
∞
θj(t-t’)
1 spiking neuron de type BO(n) neurones sigmoïdesO(n log n) neurones à seuil
*
Puissance de calcul
Réseaux de neurones de 3ème génération :
Réseaux de neurones de 2ème génération :
Réseaux de neurones de 1ère génération :
spiking neurons
intégration d’informations en continu
neurones sigmoïdes, neurones distance
entrées et sorties réelles
neurones à seuil, à saturation
entrées et sorties booléennes
1995
1985
1945
Apprentissage et plasticité
Apprentissage dans les SNN
Les réseaux de neurones temporels, ou SNN (réseaux despiking neurons) modélisent beaucoup mieux que leursancêtres la dynamique des interactions entre neurones.
mais :
comment réalise-t-on l’apprentissage des poidsdans les réseaux de neurones temporels ?
devrait-on aussi apprendre les délais ?
de nombreux problèmes ouverts
Apprentissage dans les SNN
Plusieurs chercheurs ont démontré [ Maass, 1997 ; Bohte, 2002 ; Ruf & Schmitt, 2000 ]
que l’on pouvait émuler les principaux modèles classiques(réseau de Hopfield, réseau MLP, cartes de Kohonen)
avec des réseaux de neurones impulsionnels
mais :
la simple reproduction des modèles de 2nde générationne permet pas d’exploiter la pleine puissance de ces
modèles de 3ème génération que sont les SNN.
on pourrait aussi chercher une inspiration biologique ?
Plasticité synaptique
pré
post
wij
pré
post
wij
Les neurobiologistes ont observé des
potentiations synaptiques quand un neurone pré-synaptiqueémet juste avant un neurone post-synaptique
et des
dépressions synaptiques quand un neurone pré-synaptiqueémet juste après un neurone post-synaptique
Ce phénomène de plasticité synaptique est connu sous le nom de STDP = Spike-Time-Dependent Plasticity
Mécanismes STDP
poids excitateurs, w > 0
poidsinhibiteurs,w < 0
modification des poidsen fonction deΔt = tpost - tpré
Difficultés, avec la STDP
Les poids synaptiques sont constamment modifiés=> inconvénients de l’apprentissage “on-line” :
manque de stabilité
oubli du passé lointain
On retrouve le classique dilemme plasticité / stabilitémis en évidence par Grossberg [ fin des années 80 ]
il faudrait combiner la STDP avecune autre méthode d’apprentissage
Algorithmes évolutionnistesUne autre piste consiste à utiliser des
algorithmes génétiques pour optimiser les valeurs despoids synaptiques en adaptant le réseau à son milieu.
génération 1
génération N
génération 2
et ainsi de suite ...sélectioncroisementmutation
Les individus sont desréseaux de neurones temporels
Algorithmes évolutionnistes et STDP
SNN plongé dans un zoo virtuel
les poidsne cessent
d’evoluer
Conclusion
Les réseaux de neurones temporels sont :
• des modèles proches du biologique• des outils de calcul très puissants
mais...
on maîtrise encore mal leur fonctionnement,en particulier au niveau de l’apprentissage