11

LES RESEAUX DE LES RESEAUX DE NEURONESNEURONES

Rachid Ladjadj IR 3e année

22

SOMMAIRESOMMAIRE IntroductionIntroduction

Pourquoi les réseaux de neurones?Pourquoi les réseaux de neurones?HistoriqueHistorique

Le neurone biologiqueLe neurone biologique

Le neurone formelLe neurone formelLe modèle Mc Culloch et PittsLe modèle Mc Culloch et Pitts

Architecture des réseaux de neuronesArchitecture des réseaux de neuronesRéseaux bouclés et réseaux non Réseaux bouclés et réseaux non

bouclésbouclés

Notion d’apprentissageNotion d’apprentissageApprentissage supervisé et non Apprentissage supervisé et non

supervisésupervisé

Quelques modèles de réseaux de neuronesQuelques modèles de réseaux de neuronesLe perceptron multicoucheLe perceptron multicoucheLe modèle de HopefieldLe modèle de HopefieldLes cartes de KohonenLes cartes de Kohonen

Exemples d’applicationsExemples d’applications

ConclusionConclusion

33

IntroductionIntroduction

44

Pourquoi les réseaux de Pourquoi les réseaux de neurones?neurones?

Caractéristiques de l’architecture du cerveau Caractéristiques de l’architecture du cerveau humain:humain: une architecture massivement parallèleune architecture massivement parallèle un mode de calcul et une mémoire distribuésun mode de calcul et une mémoire distribués une capacité d'apprentissageune capacité d'apprentissage une capacité de généralisationune capacité de généralisation une capacité d'adaptationune capacité d'adaptation une résistance aux pannesune résistance aux pannes une faible consommation énergétiqueune faible consommation énergétique

IntroductionIntroduction Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

55

IntroductionIntroduction Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Utilisation des réseaux de neurones:Utilisation des réseaux de neurones: ClassificationClassification CatégorisationCatégorisation Approximation de fonctionsApproximation de fonctions Prédiction - prévisionPrédiction - prévision OptimisationOptimisation Mémoire adressable par le contenuMémoire adressable par le contenu

66

IntroductionIntroduction Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

HistoriqueHistorique

1943 :1943 : Modèle de McCulloch et PittsModèle de McCulloch et Pitts

1960 :1960 : Rosenblatt : perceptron et théorème de convergenceRosenblatt : perceptron et théorème de convergence Minsky et Papert : limites du perceptron mono-Minsky et Papert : limites du perceptron mono-

couchecouche 1980 :1980 :

Modèle de HopefieldModèle de Hopefield Werbos : rétropropagation dans le cadre des Werbos : rétropropagation dans le cadre des

perceptrons multi-couches (popularisé en 1986 par perceptrons multi-couches (popularisé en 1986 par Rumelhart)Rumelhart)

77

Le neurone biologiqueLe neurone biologique

88

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Le neurone biologiqueLe neurone biologique

Dendrites : Signaux d’entréeDendrites : Signaux d’entrée Axone : Signal de sortieAxone : Signal de sortie

99

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

SynapseSynapse

Transmission entre un axone et une dendriteTransmission entre un axone et une dendrite Synapses excitatrices / synapses inhibitricesSynapses excitatrices / synapses inhibitrices

1010

Le neurone formelLe neurone formel

1111

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Neurone formel: le modèle Mc Culloch et Neurone formel: le modèle Mc Culloch et PittsPitts

1212

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Interprétation mathématiqueInterprétation mathématique

1313

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Fonctions de transfert (ou fonctions Fonctions de transfert (ou fonctions d’activation)d’activation)

(a) :(a) : seuil (fonction de Heavyside)seuil (fonction de Heavyside) (b) : linéaire par morceaux(b) : linéaire par morceaux (c) : sigmoïde g(x) = (1 + e (c) : sigmoïde g(x) = (1 + e – – ββxx) ) - 1- 1

(d) : gaussienne(d) : gaussienne

1414

Architecture des réseaux Architecture des réseaux de neuronesde neurones

1515

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Réseaux bouclésRéseaux bouclés

Les neurones ne peuvent pas être ordonnés de sorte qu’il Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrièren’y ai pas de connexion vers l’arrière

Exemple -> réseau entièrement connecté :Exemple -> réseau entièrement connecté :

1616

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Réseaux « non bouclés » ou réseaux à Réseaux « non bouclés » ou réseaux à couchescouches

Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrièreLes neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière

Exemple -> réseau à une couche intermédiaire :Exemple -> réseau à une couche intermédiaire :

1717

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Si Y est le vecteur des sorties et X le vecteur des entrées:Si Y est le vecteur des sorties et X le vecteur des entrées:

Y = FY = FWW(X)(X) FFW : W : fonction d’activation du réseau fonction d’activation du réseau W : vecteur des « poids » des liaisons synaptiquesW : vecteur des « poids » des liaisons synaptiques

Apprentissage = détermination des poids permettant Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Yd’obtenir une sortie proche d’une sortie Y00 voulue à partir voulue à partir d’une entrée Xd’une entrée X

1818

Notion d’apprentissageNotion d’apprentissage

1919

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Mise à jour des poids de connexion, en général à partir d’un ensemble Mise à jour des poids de connexion, en général à partir d’un ensemble de données d’entraînementde données d’entraînement

Modification itérative des poidsModification itérative des poids

Paradigme d’apprentissage : modélisation de l’environnement dans Paradigme d’apprentissage : modélisation de l’environnement dans lequel le réseau opèrera.lequel le réseau opèrera.

3 paradigmes d’apprentissage:3 paradigmes d’apprentissage: Supervisé : on veut qu’à une entrée corresponde une sortie Supervisé : on veut qu’à une entrée corresponde une sortie

préalablement définiepréalablement définie Non supervisé : on veut construire un réseau dont on ne connaît Non supervisé : on veut construire un réseau dont on ne connaît

pas a priori la sortie correspondant à des entrées donnéespas a priori la sortie correspondant à des entrées données HybrideHybride

Règles d’apprentissage : gouvernent la mise à jour des poids du Règles d’apprentissage : gouvernent la mise à jour des poids du réseauréseau

Algorithme d’apprentissage : procédure dans laquelle les règles Algorithme d’apprentissage : procédure dans laquelle les règles d’apprentissage sont utilisées en vue de l’ajustement des poidsd’apprentissage sont utilisées en vue de l’ajustement des poids

2020

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

4 types de règles d’apprentissage:4 types de règles d’apprentissage:

Correction d’erreurCorrection d’erreur Apprentissage de BoltzmannApprentissage de Boltzmann Règle de HebbRègle de Hebb Apprentissage par compétitionApprentissage par compétition

2121

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Correction d’erreurCorrection d’erreur

Si d est la sortie désirée et y la sortie obtenue, la modification des poids se Si d est la sortie désirée et y la sortie obtenue, la modification des poids se fait en fonction de (d-y)fait en fonction de (d-y)

Algorithme de retro-propagationAlgorithme de retro-propagation

Algorithme d’apprentissage du perceptron:Algorithme d’apprentissage du perceptron: Initialisation des poids et du seuil à de petites valeurs aléatoriesInitialisation des poids et du seuil à de petites valeurs aléatories Présenter un vecteur d’entrées xPrésenter un vecteur d’entrées x((μμ) ) et calculer sa sortieet calculer sa sortie Mettre à jour les poids en utilisant :Mettre à jour les poids en utilisant :

wwjj(t+1) = w(t+1) = wjj(t) + (t) + ηη (d- y) x (d- y) xj j

avec d la sortie désirée, w vecteur des poidsavec d la sortie désirée, w vecteur des poids

2222

Quelques modèles de Quelques modèles de réseaux de neuronesréseaux de neurones

2323

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Le Perceptron multicouchesLe Perceptron multicouches

Modèle du perceptron simple:Modèle du perceptron simple: pas de seuilpas de seuil fonction d’activation = fonction signefonction d’activation = fonction signe Séparation de deux classes d’entiers A et B -> Séparation de deux classes d’entiers A et B ->

apprentissage superviséapprentissage supervisé Inconvénient : A et B doivent être linéairement Inconvénient : A et B doivent être linéairement

séparablesséparables

2424

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

2525

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Le modèle de HopefieldLe modèle de Hopefield

Mémorisation de formes et de motifsMémorisation de formes et de motifs Mémoire distribuéeMémoire distribuée Mémoire associativeMémoire associative

2626

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

N neurones binaires (1 ou -1) : 2N neurones binaires (1 ou -1) : 2NN états possibles pour le états possibles pour le réseauréseau

Réseau entièrement connecté, connexion de poids CRéseau entièrement connecté, connexion de poids C ij ij = C= Cji ji État du neurone i à l’instant t:État du neurone i à l’instant t:

L’état du neurone i dépend de l’état du réseau en général L’état du neurone i dépend de l’état du réseau en général -> mémoire distribuée -> mémoire distribuée

But : trouver les CBut : trouver les Cjiji qui vont permettre de mémoriser un état qui vont permettre de mémoriser un état particulier du réseauparticulier du réseau

Soient S1, S2… Sp p configuration du réseau à mémoriser : Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir d’une configuration proche de Sm, converger on veut, a partir d’une configuration proche de Sm, converger vers Sm -> mémoire associativevers Sm -> mémoire associative

Principe de Hebb :Principe de Hebb :

2727

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Les cartes de KohonenLes cartes de Kohonen

On veut un réseau ayant deux caractéristiques particulières :On veut un réseau ayant deux caractéristiques particulières : Apprentissage non superviséApprentissage non supervisé Les réponses associées à des entrées voisines sont Les réponses associées à des entrées voisines sont

voisines : auto organisationvoisines : auto organisation

Notion de voisinage entre les classes d’observationNotion de voisinage entre les classes d’observation

Algorithme :Algorithme : Initialisation : à chaque classe on associe un vecteur Initialisation : à chaque classe on associe un vecteur

code dans l’espace d’observationcode dans l’espace d’observation Etape : on tire un point au hasard dans l’espace des Etape : on tire un point au hasard dans l’espace des

observations (données). On déplace ensuite la classe la observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, plus proche, ainsi que tous ses voisins les plus proches, vers ce point.vers ce point.

2828

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

2929

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

3030

Exemples d’applicationsExemples d’applications

3131

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

OCROCR

3232

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Applications industrielles:Applications industrielles:

Reconnaissance de codes postaux (AT&T, la Poste)Reconnaissance de codes postaux (AT&T, la Poste) Contrôle de paramètres de processus de production Contrôle de paramètres de processus de production

industrielle de pâte à papier (Siemens)industrielle de pâte à papier (Siemens) Prévision de consommation d’eau (Générale des eaux)Prévision de consommation d’eau (Générale des eaux) Logiciels d’aide à la décisionLogiciels d’aide à la décision Prévisions météorologiquesPrévisions météorologiques

3333

ConclusionConclusion

3434

Introduction et Introduction et historiquehistorique

Le neurone Le neurone biologiquebiologique

Le neurone Le neurone formelformel

Architecture Architecture des réseaux des réseaux de neuronesde neurones

Notion Notion d’apprentissagd’apprentissag

ee

Quelques Quelques modèles de modèles de réseaux de réseaux de neuronesneurones

Exemples Exemples d’applicationsd’applications

ConclusionConclusion

Essor important ces 30 dernières annéesEssor important ces 30 dernières années Approximateurs universelsApproximateurs universels Aujourd’hui utilisés dans la vie quotidienne Aujourd’hui utilisés dans la vie quotidienne

(systèmes de tarifications basés sur la (systèmes de tarifications basés sur la classification des types de consommation)classification des types de consommation)