réseaux neurons

Plan !

201/12/2015Réseaux des Neurones

• IntroductionPourquoi les réseaux de neurones?Historique

• Analogie neurone formel et neurone biologiqueLe neurone biologiqueLe neurone formel :

- Le modèle Mc Culloch et Pitts

• Architecture des réseaux de neuronesRéseaux bouclés et réseaux non bouclés

• Notion d’apprentissageApprentissage supervisé et non supervisé

• Quelques modèles de réseaux de neuronesLe perceptron multicoucheLe modèle de HopefieldLes cartes de Kohonen

• Exemples d’applications

• Conclusion

Introduction

Esprit-réseaux de neurones

Pourquoi les réseaux de neurones?

Caractéristiques de l’architecture du cerveau humain:

une architecture massivement parallèle

un mode de calcul et une mémoire distribués

une capacité d'apprentissage

une capacité de généralisation

une capacité d'adaptation

une résistance aux pannes

une faible consommation énergétique


Définition

o C’est une approche qui a été privilégiée par l'Intelligence Artificielle.

o Les réseaux de neurones artificiels sont des réseaux

fortement connectés de processeurs élémentaires fonctionnant en parallèle. Chaque processeur élémentaire calcule une sortie unique sur la base des informations qu'il reçoit. Toute structure hiérarchique de réseaux est évidemment un réseau.

501/12/2015Esprit-réseaux de neurones

HistoriqueQuelques repères

• 1943 :o Modèle de McCulloch et Pitts

• 1948: D. Hebb

propose une règle d'apprentissage pour des réseaux de neurones .

• 1960 :o Rosenblatt : perceptron et théorème de convergence

o Minsky et Papert : limites du perceptron mono-couche

• 1980 :o Modèle de Hopefield

o Werbos : rétropropagation dans le cadre des perceptrons multi-couches(popularisé en 1986 par Rumelhart)

01/12/2015 6Esprit-réseaux de neurones

Intérêt

01/12/2015 7

Les RNA sont efficaces pour effectuer à grande vitesse des calculs et, d’une manière générale des tâches mécaniques

La limitation des

ordinateurs existants . La structure des

réseaux de neurones étant elle-même parallèle, leur fonctionnement présente de nombreux avantages :

une vitesse de calcul accrue, la résistance aux pannes locales, et enfin la régularité de la structure

Ils s’inscrivent

dans les mutations

tech.


801/12/2015

Analogie neurone formel et neurone biologique


Cellules nerveuses


01/12/2015 10

Le neurone biologique


01/12/2015 11

Le neurone biologique

Dendrites : Signaux d’entrée Axone : Signal de sortie


Description schématique des éléments d’une

synapse

1201/12/2015

Transmission entre un axone et une dendrite Synapses excitatrices / synapses


Structure d’un neurone artificiel

01/12/2015 13

Mise en correspondance neurone biologique / neurone artificiel


01/12/2015 14

Le neurone formel


Neurone formel: le modèle Mc Culloch

et Pitts


Le Neurone Formel

01/12/2015 16

Le neurone formel, l’unité élémentaire d’un RNA, se compose de deux parties :évaluation de la stimulation reçue (fonction E)évaluation de son activation (fonction f)

Il est caractérisé par :son état X (binaire, discret, continu)le niveau d’activation reçu en entrée U (continu)le poids des connections en entrée


Le Neurone Formel

1701/12/2015

La fonction d’entrée :somme pondérée des signaux d’entrée

Le biais d’entrée (biais input):unité fictive dont le poids permet de régler le seuil de déclenchement du

neurone


Les fonctions de

transfert (d’activation)


01/12/2015Esprit-réseaux de neurones 19

ComparaisonBiological Neuron Artificial Neuron

corps cellulaire neurone

Dendrites inputs

Axone output

Synaps poids

01/12/2015 20

Architecture des réseaux de neurones


01/12/2015 21

Réseaux bouclés

Les neurones ne peuvent pas être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière

Exemple -> réseau entièrement connecté :


01/12/2015 22

Réseaux « non bouclés » ou réseaux à couches

Les neurones peuvent être ordonnés de sorte qu’il n’y ai pas de connexion vers l’arrière

Exemple -> réseau à une couche intermédiaire :


01/12/2015 23

Si Y est le vecteur des sorties et X le vecteur des entrées:

Y = FW(X)FW : fonction d’activation du réseau W : vecteur des « poids » des liaisons synaptiques

Apprentissage = détermination des poids permettant d’obtenir une sortie proche d’une sortie Y0 voulue à partir d’une entrée X

Nouveau Schéma


01/12/2015 24

Notion d’apprentissage


01/12/2015 25

Mise à jour des poids de connexion, en général à partir d’un ensemble de données d’entraînement

Modification itérative des poids

Paradigme d’apprentissage : modélisation de l’environnement dans lequel le réseau opèrera.

3 paradigmes d’apprentissage:Supervisé : on veut qu’à une entrée corresponde une sortie préalablement définieNon supervisé : on veut construire un réseau dont on ne connaît pas a priori la sortie correspondant à des entrées donnéesHybride

Règles d’apprentissage : gouvernent la mise à jour des poids du réseau

Algorithme d’apprentissage : procédure dans laquelle les règles d’apprentissage sont utilisées en vue de l’ajustement des poids


Règles d’apprentissage

01/12/2015 26

4 règles principales

Par compétition

Règle de HebbPar correction

d’erreur

Apprentissage de Boltzmann


Autres règles

• Apprentissage par descente de gradient :il s'agit de calculer une erreur et d'essayer de minimiser cette erreur.

• Apprentissage par la règle de Widrow-Hoff (ou

Adaline) :au lieu de calculer les variations des poids en sommant sur tous les exemples

de S, l'idée est de modifier les poids à chaque présentation d'exemple.


Correction d’erreur

• Si d est la sortie désirée et y la sortie obtenue, la modification

des poids se fait en fonction de (d-y)

• Algorithme de retro-propagation

• Algorithme d’apprentissage du perceptron:

o Initialisation des poids et du seuil à de petites valeurs aléatories

o Présenter un vecteur d’entrées x(μ) et calculer sa sortie

o Mettre à jour les poids en utilisant :wj(t+1) = wj(t) + η (d- y) xj

avec d la sortie désirée, w vecteur des poids


01/12/2015 29

Quelques modèles de réseaux de neurones


Le Perceptron multicouches

3001/12/2015

• Modèle du perceptron simple:

o pas de seuil

o fonction d’activation = fonction signe

o Séparation de deux classes d’entiers A et B -> apprentissage supervisé

o Inconvénient : A et B doivent être linéairement séparables


01/12/2015 31

• Mémorisation de formes et de motifs

• Mémoire distribuée

• Mémoire associative

Le modèle de Hopefield


01/12/2015 32

• N neurones binaires (1 ou -1) : 2N états possibles pour le réseau

• Réseau entièrement connecté, connexion de poids Cij = Cji

• État du neurone i à l’instant t:

• L’état du neurone i dépend de l’état du réseau en général -> mémoire distribuée

• But : trouver les Cji qui vont permettre de mémoriser un état particulier du réseau

• Soient S1, S2… Sp p configuration du réseau à mémoriser : on veut, a partir d’une configuration proche de Sm, converger vers Sm -> mémoire associative

• Principe de Hebb :


01/12/2015 33

Les cartes de Kohonen

On veut un réseau ayant deux caractéristiques particulières :Apprentissage non superviséLes réponses associées à des entrées voisines sont voisines : auto organisation

Notion de voisinage entre les classes d’observation

Algorithme :Initialisation : à chaque classe on associe un vecteur code dans l’espace d’observationEtape : on tire un point au hasard dans l’espace des observations (données). On déplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point.


01/12/2015 34

Exemples d’applications


3601/12/2015

Conclusion


Conclusion

• les réseaux de neurones reposent à Présent sur des

bases mathématiques solides qui permettent

d’envisager des applications dans presque tout les

domaines y compris industriel et à grande échelle,

notamment dans le domaine de la classification.


Perspectives

Les réseaux de neurones ont une histoire relativement

jeune (environ 50 ans) et les applications intéressantes

des réseaux de neurones n’ont vu le jour que depuis

une vingtaine d’année (développement de

l’informatique), et ils ont un futur très prometteur, on

entend parler (par exemple) du WEB sémantique,

RFID, … etc.


01/12/2015Esprit-réseaux de neurones 39

réseaux neurons

Technology