Introduction

Réseau de neurones artificiel• Abstraction du système nerveux central humain

– Traitement parallèle de l’information• Par opposition à un automate sériel comme un

ordinateur

– Capacité d’apprentissage et d’adaptation• Principe de traitement très simples et identiques

pour tous les éléments• Mais comportement de groupe complexe!• Applications

– Résolution de problèmes difficiles – Modélisation biologique

Réseau de neurones biologique

• Quand un pigeon devient expert en art! (Watanabe et al. 1995)

– Experience :• Pigeon dans une boîte de Skinner• Exposition aux tableaux de deux artistes

(Chagall / Van Gogh)• Récompense pour bec à la vue d’un tableau de

l’un des artistes (e.g. Van Gogh)

• Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement

• Précision de 85% pour les tableaux non vus auparavant!

• Mémoire oui, mais avec… – Identification de traits essentiels et/ou

généralisation– Absence apparente d’un processus réfléchi

• Force majeure des réseaux de neurones! (artificiels et biologiques)

Niveaux de traitement dans le système nerveux central humain

Molécules0.1mm

Synapses1mm

Neurones100mm

Réseaux locaux1mm

Régions1cm

Sous-Systèmes10cm

SNC1m

Circuits locaux dans le cortex visuel

LGN inputs Cell types

Neurone biologique

Sortie impulsive :1 – Le neurone répond0 – Le neurone ne répond pas (Sans nécessairement être inactif)

Synapse biologiqueAgent principal du comportement neuronal Connexion typique le long d’un arbre dendritiqueForce de connexion variable + ou -Plasticité à court termeUtilisation de mécanismes électrochimiquesOrigine corrélationnelle?

Types de synapses

Électrique (rare)

• 3.5 nm pré-post distance

• Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels)

• Courant ionique• Propagation instantanée• Transmission bidirectionnelle

Chimique

• 20-40 nm pré-post distance

• Discontinuité cytoplasmique• Vésicules présynoptiques et

récepteurs postsynaptiques

• Transmetteur chimique• Délai synaptique .3 ms• Transmission

unidirectionnelle

Synapse dendritique

Transmitter Channel-typ Ion-current ActionTransmitter Channel-typ Ion-current Action

Acetylecholin nicotin. Receptor Na+ and K+ excitateur

Glutamate AMPA / Kainate Na+ and K+ excitateur

GABA GABAA-Receptor Cl- inhibiteur

Glycine Cl- inhibiteur

Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release

Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension

bloqué au potentiel de repos

Neurotransmetteurs

• Plusieurs types– Amino Acides : Glutamate, GABA– Amines biogéniques : Dopamine, Histamine– Neuropeptides … LHRH, Proctolin– Endorphines, acetylcholine, etc.

• NMDA, GABAA sonr frèquents au niveau des récepteurs

• Certains sont excitateurs et d`autres inhibiteurs

Neurotransmetteurs

De l’entité biologique au modèle

Neurone -> Nœud Synapse -> Arc pondéré

Modélisation simplifiée

Entrée

Poids synaptiques

Sommateurlinéaire

Fonction d’activationÉtat

internev

Sortiey

x1

x2

xm

w2

wm

w1

)(

w0x0 = +1

Biais

bw

xwv j

m

j

j

0

0

Hypothèses :• Synapses synchrones• Pas de pertes• Sortie non impulsive

16

Fonctions d’activation communes

• L’information de phase est perdue

• Plusieurs fonctions existent

• L’efficacité dépend de l’application

• Simplifications des séquences d’impulsions• La fréquence des impulsions remplace l’information

individuelle

Fréquence des impulsions biologiques

• La valeur moyenne dépend de plusieurs facteurs– Pertes (leakage), saturation, sources de bruit

• Généralement modelé avec une fonction sigmoïde

Topologies de base

• En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie

Unités de Sortie

Unités d’entrée

Unitéscachées

Unités d’entrée

i

xj= Ajiyi

j

Aiji

yj=f(xj)

Unités de sortie

Unités cachées

Unités d’entrée

Réseau multicouche Réseau récurrent

Unités cachées

Unités d’entrée/sortie

Taxonomie

+BSB, BAM, etc.

• Réside dans la présence et force de connexions inter-neuronales (synapses)

• Mais :– Différents types de neurones– Différents types de topologies de réseaux

Comment trouver les bons poids?

Savoir du RNA

Plasticité synaptique

Spike-timing Dependent Synaptic Plasticity (STDP)

From Bi and Poo J. Neurosci. 18, 10464 (1998)

• La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique.

• Plus conforme à la règle de Hebb (ajout de la causalité temporelle)

• Popularité croissante dans les modèles artificiels

Pourquoi aller aussi loin ?

• Un modèle simple de mémoire associative :1. On considère/forme un ensemble orthogonal de N

vecteurs à mémoriser2. On définit l’ensemble des N vecteur-réponses

désirés 3. On calcule la matrice

4. La fonction de rappel d’un stimulus quelconque est alors

• Ça fonctionne, non? Mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?

ix

iy

ti

N

ii xyA

1

xAy

x