Download - Introduction
![Page 1: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/1.jpg)
Introduction
![Page 2: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/2.jpg)
Réseau de neurones artificiel?• Abstraction du système nerveux humain
– Traitement parallèle de l’information• Par opposition à un automate sériel comme un
ordinateur– Capacité d’apprentissage et d’adaptation
• Principe de traitement très simples et identiques pour tous les éléments
• Mais comportement de groupe complexe!• Applications
– Résolution de problèmes difficiles – Modélisation biologique
![Page 3: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/3.jpg)
Réseau de neurones biologique
• Quand un pigeon devient expert en art! (Watanabe et al. 1995)
– Experience :• Pigeon dans une boîte de Skinner• Exposition aux tableaux de deux artistes
(Chagall / Van Gogh)• Récompense pour bec à la vue d’un tableau de
l’un des artistes (e.g. Van Gogh)
![Page 4: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/4.jpg)
![Page 5: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/5.jpg)
• Les pigeons utilisés ont pu distinguer Van Gogh de Chagall avec 95% de précision pour les tableaux d’entraînement
• Précision de 85% pour les tableaux non vus auparavant!
• Mémoire oui, mais aussi – Identification de traits essentiels et/ou
généralisation– Pas d’usage apparent d’un processus réfléchi– Force majeure des réseaux de neurones!
(artificiels et biologiques)
![Page 6: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/6.jpg)
Les réseaux de neurones artificiels
• Opèrent par apprentissage et non programmation
• Une fois présentés avec des stéréotypes de comportement à apprendre, peuvent généraliser.– Ex: Reconnaître des images partielles après
avoir appris des images complètes.• Troquent le traitement séquentiel familier pour
un traitement parallèle de l’information
![Page 7: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/7.jpg)
Quelques domaines d’application
• Reconnaissance de formes– (ex. : détection de cellules cancéreuses)
• Régulation de processus industriels– (ex. : dosage d’ingrédients)
• Pilotage automatique de véhicules automobiles• Reconnaissance de la voix et de l’écriture manuscrite• Interprétation de la parole et du texte écrit• Prédiction boursière/environnementale• Amélioration des moyens de trucider le voisin!
![Page 8: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/8.jpg)
Catégorisation des domaines
• Classification• Regroupement/Catégorisation• Approximation de fonctions• Prévision/prédiction• Optimisation (plus court chemin, routage, etc.)• Mémoires adressables par contenu• Automatique
![Page 9: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/9.jpg)
Niveaux de traitement dans le système nerveux central humain
Molécules0.1mm
Synapses1mm
Neurones100mm
Réseaux locaux1mm
Régions1cm
Sous-Systèmes10cm
SNC1m
![Page 10: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/10.jpg)
RNA 101
• Un réseau de neurones artificiels (RNA) incorpore Les deux composants fondamentaux d’un rèseau de neurones biologique:
1. Neurones (noeuds)
2. Synapses (poids)
![Page 11: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/11.jpg)
Circuits locaux dans le cortex visuel
LGN inputs Cell types
![Page 12: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/12.jpg)
Neurone biologique
Sortie impulsive :1 – Le neurone répond0 – Le neurone ne répond pas (Sans nécessairement être inactif)
![Page 13: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/13.jpg)
Synapse biologiqueAgent principal du comportement neuronal Connexion typique le long d’un arbre dendritiqueForce de connexion variable + ou -Plasticité à court termeUtilisation de mécanismes électrochimiquesOrigine corrélationnelle?
![Page 14: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/14.jpg)
Types de synapses
Électrique (rare)
• 3.5 nm pré-post distance
• Continuité cytoplasmique (e.g. muscle cardiaque, capteurs sensoriels)
• Courant ionique• Propagation instantanée• Transmission bidirectionnelle
Chimique
• 20-40 nm pré-post distance
• Discontinuité cytoplasmique• Vésicules présynoptiques et
récepteurs postsynaptiques
• Transmetteur chimique• Délai synaptique .3 ms• Transmission
unidirectionnelle
![Page 15: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/15.jpg)
Synapse dendritique
![Page 16: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/16.jpg)
Synapse dendritique
![Page 17: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/17.jpg)
Transmitter Channel-typ Ion-current ActionTransmitter Channel-typ Ion-current Action
Acetylecholin nicotin. Receptor Na+ and K+ excitateur
Glutamate AMPA / Kainate Na+ and K+ excitateur
GABA GABAA-Receptor Cl- inhibiteur
Glycine Cl- inhibiteur
Acetylecholin muscarin. Rec. - metabotropic, Ca2+ Release
Glutamate NMDA Na+, K+, Ca2+ Dépend de la tensionbloqué au potentiel de repos
Neurotransmetteurs
![Page 18: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/18.jpg)
Synaptic Plasticity
![Page 19: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/19.jpg)
• Plusieurs types– Amino Acides : Glutamate, GABA– Amines biogéniques : Dopamine, Histamine– Neuropeptides … LHRH, Proctolin– Endorphines, acetylcholine, etc.
• NMDA, GABAA sonr frèquents au niveau des récepteurs
• Certains sont excitateurs et d`autres inhibiteurs
Neurotransmetteurs
![Page 20: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/20.jpg)
Synapse excitatrice vs. inhibitrice
![Page 21: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/21.jpg)
0 10
0
-40
-60
-20
20V [mV]
20 t [m s]0 10
0
-40
-60
-20
20V [mV]
20 t [m s]
0 50 150 t [ms]100
0
-40
-60
-20
V [mV]
0 5 0 1 5 0 t [ m s ]1 0 0
0
- 4 0
- 6 0
- 2 0
V [ m V ]
0 10
0
-40
-60
-20
20V [m V]
20 t [ms]
0 10
0
-40
-60
-20
20V [m V]
20 t [m s]
Exemples de sommations dendritiques
0 20 80 t [ms]40 60
0
-40
-60
-20
V [m V]
0 20 80 t [ms]40 60
0
-40
-60
-20
V [mV]
![Page 22: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/22.jpg)
De l’entité biologique au modèle
Neurone -> Nœud Synapse -> Arc pondéré
![Page 23: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/23.jpg)
Modélisation simplifiée
Entrée
Poids synaptiques
Sommateurlinéaire
Fonction d’activationÉtat
internev Sortie
y
x1
x2
xm
w2
wm
w1
)(
w0x0 = +1
Biais
bw
xwv j
m
j
j
0
0
Hypothèses :• Synapses synchrones• Pas de pertes• Sortie non impulsive
![Page 24: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/24.jpg)
24
Fonctions d’activation communes
• L’information de phase est perdue
• Plusieurs fonctions existent
• L’efficacité dépend de l’application
• Simplifications des séquences d’impulsions• La fréquence des impulsions remplace l’information
individuelle
![Page 25: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/25.jpg)
Fréquence des impulsions biologiques
• La valeur moyenne dépend de plusieurs facteurs– Pertes (leakage), saturation, sources de bruit
• Généralement modelé avec une fonction sigmoïde
![Page 26: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/26.jpg)
• Réside dans la présence et la force des connexions inter-neuronales (synapses), mais :– Différents types de neurones– Différents types de topologies de réseaux
Comment trouver les bons poids?
savoir du réseau
![Page 27: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/27.jpg)
Plasticité synaptique
![Page 28: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/28.jpg)
Les facteurs clès sont l‘activitè prèsynaptique, la depolarisation post synaptique et l‘entree de calcium à travers des récepteurs specialisés
Plasticité synaptique
![Page 29: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/29.jpg)
Plasticité synaptique
![Page 30: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/30.jpg)
Potentiation et dépression à long term (LTP et LTD)
Stimulation de 1 s à haute fréquence (100Hz) (montre aussi l.effect de l’endroit de stimulation sur l’arbre dendritique)
Stimulation de 15 min à basse fréquence (1 Hz)
• Modèle simplifié à un produit de sorties dans les RNA
• Cependant, ne rend pas compte de la causalité temporelle des événements pré et post synaptiques.
pre postw x x
![Page 31: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/31.jpg)
Spike-timing Dependent Synaptic Plasticity (STDP)
From Bi and Poo J. Neurosci. 18, 10464 (1998)
• La précédence des impulsions pré et post synaptiques influe sur la plasticité synaptique.
• Plus conforme à la règle de Hebb (ajout de la causalité temporelle)
• Popularité ascendante dans les modèles artificiels
![Page 32: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/32.jpg)
Topologies de base
• En général, les réseaux récurrents utilisent des règles d’apprentissage d’inspiration biologique et les réseaux multicouches des règles tirées de l’ingénierie
Unités de Sortie
Unités d’entrée
Unitéscachées
Unités d’entrée
i
xj= Ajiyi
jAij
i
yj=f(xj)
![Page 33: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/33.jpg)
Taxonomie
+BSB, BAM, etc.
![Page 34: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/34.jpg)
Capacité de classification d’un PMC
![Page 35: Introduction](https://reader035.vdocuments.fr/reader035/viewer/2022062502/56816674550346895dda0ca6/html5/thumbnails/35.jpg)
Pourquoi aller aussi loin ?
• Un modèle simple de mémoire associative :1. On part de/forme un ensemble orthogonal de vecteurs
{xi} à mémoriser2. On définit l’ensemble des vecteur-réponses désirés {yi} 3. On calcule la matrice 4. La fonction de rappel d’un stimulus quelconque x est
alors:• Ça fonctionne, non? Oui, mais que se passe-t-il
lorsque les entrées sont corrélées, bruitées ou non linéairement séparables ?
xy=A tii
i
x A=y