introduction. réseau de neurones artificiel abstraction du système nerveux central humain –...
Post on 04-Apr-2015
102 Views
Preview:
TRANSCRIPT
Introduction
Réseau de neurones artificiel• Abstraction du système nerveux central humain
– Traitement parallèle de l’information• Par opposition à un automate sériel comme un
ordinateur
– Capacité d’apprentissage et d’adaptation• Principe de traitement très simples et identiques
pour tous les éléments• Mais comportement de groupe complexe!• Applications
– Résolution de problèmes difficiles – Modélisation biologique
Réseau de neurones biologique
• Quand un pigeon devient expert en art! (Watanabe et al. 1995)
– Experience :• Pigeon dans une boîte de Skinner• Exposition aux tableaux de deux artistes
(Chagall / Van Gogh)• Récompense pour bec à la vue d’un tableau de
l’un des artistes (e.g. Van Gogh)
• Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement
• Précision de 85% pour les tableaux non vus auparavant!
• Mémoire oui, mais avec… – Identification de traits essentiels et/ou
généralisation– Absence apparente d’un processus réfléchi
• Force majeure des réseaux de neurones! (artificiels et biologiques)
Niveaux de traitement dans le système nerveux central humain
Molécules0.1mm
Synapses1mm
Neurones100mm
Réseaux locaux1mm
Régions1cm
Sous-Systèmes10cm
SNC1m
Circuits locaux dans le cortex visuel
LGN inputs Cell types
Neurone biologique
Sortie impulsive :1 – Le neurone répond0 – Le neurone ne répond pas (Sans nécessairement être inactif)
Synapse biologiqueAgent principal du comportement neuronal Connexion typique le long d’un arbre dendritiqueForce de connexion variable + ou -Plasticité à court termeUtilisation de mécanismes électrochimiquesOrigine corrélationnelle?
Types de synapses
Électrique (rare)
• 3.5 nm pré-post distance
• Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels)
• Courant ionique• Propagation instantanée• Transmission bidirectionnelle
Chimique
• 20-40 nm pré-post distance
• Discontinuité cytoplasmique• Vésicules présynoptiques et
récepteurs postsynaptiques
• Transmetteur chimique• Délai synaptique .3 ms• Transmission
unidirectionnelle
Synapse dendritique
Transmitter Channel-typ Ion-current ActionTransmitter Channel-typ Ion-current Action
Acetylecholin nicotin. Receptor Na+ and K+ excitateur
Glutamate AMPA / Kainate Na+ and K+ excitateur
GABA GABAA-Receptor Cl- inhibiteur
Glycine Cl- inhibiteur
Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release
Glutamate NMDA Na+, K+, Ca2+ Dépend de la tension
bloqué au potentiel de repos
Neurotransmetteurs
• Plusieurs types– Amino Acides : Glutamate, GABA– Amines biogéniques : Dopamine, Histamine– Neuropeptides … LHRH, Proctolin– Endorphines, acetylcholine, etc.
• NMDA, GABAA sonr frèquents au niveau des récepteurs
• Certains sont excitateurs et d`autres inhibiteurs
Neurotransmetteurs
De l’entité biologique au modèle
Neurone -> Nœud Synapse -> Arc pondéré
Modélisation simplifiée
Entrée
Poids synaptiques
Sommateurlinéaire
Fonction d’activationÉtat
internev
Sortiey
x1
x2
xm
w2
wm
w1
)(
w0x0 = +1
Biais
bw
xwv j
m
j
j
0
0
Hypothèses :• Synapses synchrones• Pas de pertes• Sortie non impulsive
16
Fonctions d’activation communes
• L’information de phase est perdue
• Plusieurs fonctions existent
• L’efficacité dépend de l’application
• Simplifications des séquences d’impulsions• La fréquence des impulsions remplace l’information
individuelle
Fréquence des impulsions biologiques
• La valeur moyenne dépend de plusieurs facteurs– Pertes (leakage), saturation, sources de bruit
• Généralement modelé avec une fonction sigmoïde
Topologies de base
• En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie
Unités de Sortie
Unités d’entrée
Unitéscachées
Unités d’entrée
i
xj= Ajiyi
j
Aiji
yj=f(xj)
Unités de sortie
Unités cachées
Unités d’entrée
Réseau multicouche Réseau récurrent
Unités cachées
Unités d’entrée/sortie
Taxonomie
+BSB, BAM, etc.
• Réside dans la présence et force de connexions inter-neuronales (synapses)
• Mais :– Différents types de neurones– Différents types de topologies de réseaux
Comment trouver les bons poids?
Savoir du RNA
Plasticité synaptique
Spike-timing Dependent Synaptic Plasticity (STDP)
From Bi and Poo J. Neurosci. 18, 10464 (1998)
• La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique.
• Plus conforme à la règle de Hebb (ajout de la causalité temporelle)
• Popularité croissante dans les modèles artificiels
Pourquoi aller aussi loin ?
• Un modèle simple de mémoire associative :1. On considère/forme un ensemble orthogonal de N
vecteurs à mémoriser2. On définit l’ensemble des N vecteur-réponses
désirés 3. On calcule la matrice
4. La fonction de rappel d’un stimulus quelconque est alors
• Ça fonctionne, non? Mais que se passe-t-il lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?
ix
iy
ti
N
ii xyA
1
xAy
x
top related