les réseaux de neurones et leurs applications

8/2/2019 Les rseaux de neurones et leurs applications

1/40

1

Rseaux neuronaux et applications

Richard LepageM.Sc.A ingnierie

Dpartement dinformatique, de

mathmatiques et de gnie.

Universit du Qubec Rimouski

@2007


2/40

2

Les Sujets de discussion

Historique et concepts .

Types de rseau (MLP, RBF, Kohonen).

Les champs dapplications.

Avenir des rseaux de neurones artificielles

Conclusion.


3/40

3

HISTORIQUE ET CONCEPT DES RSEAUX NEURONAUX

Naissance du modle thorique (mathmatique et informatique) duneurone biologique labor par 2 neuro-biologistes (McCulloch etPitts, 1943).

Schmatisation dunneurone biologique.

Schmatisationdun neurone

formel servant demodle biologique


4/40

4

Neurone formel (automate seuil avec entres et sorties binaires).

A B S

0 0 0

0 1 1

1 0 1

1 1 1

OU logique

S=0

S=1

A B S

0 0 0

0 1 0

1 0 0

1 1 1

ET logique

S=0

S=1

ni ii xwxwxwxwY 0 221100)sgn(S

1

1Y

0Y

bmxyw

wx

w

wy

ou

2

0

2

1

Le neurone formelSapparente la mthodedu discriminant linaire.

La mise jour des poidsseffectue manuellement.


Le Biais permetde jouer sur

lordonne de ladroite desparation

35.01 w

35.02 w

1x

2x

Y)sgn(S

n

i

iixw1

10 x

3.0 w

35.01 w

35.02

w

1x

2x

Y)sgn(S

n

i

iixw

1

10x

5.0 w

Biais

0),(02211

wxwxwcbyaxyxd

Poids


5/40

5

Rgles du Perceptron

En 1949, dcouverte de la rgle dapprentissage de Hebb pour la mise jour

des poids dun rseau de neurones. Dveloppement de lalgorithme du perceptron qui permet la mise jour des

poids selon la sortie dsire d(i) durant le processus dapprentissage.

tape 1Choisir des valeurs alatoires pour les poids et le biais

tape 2Appliquer le vecteur dentre x(i)

tape 3 -Calculer la valeur de S ()

tape 4 Si S= d(i) on retourne ltape 2 sinon on continue

ltape 5

tape 5 -

tape 6 - Retourner ltape 2.

nwww .., 21 0w

02211 ... wxwxwS

)()(dw),( i0 idixiddw nidwww ..1pourdwww, iii000



6/40

6

Mise jour des poids dela couche linaire par la

rgle de Hebb

1.01 w

22 w

1x

2x

Y

)sgn(S

10 x3.0 w

)(id

-err

)(id

1.01

nw

2nw

1nx

nx

Y

)sgn(S

10 x3.0 w

-

err

Rosenblatt entraina unecouche linaire de neuronesformels soumis la rgledapprentissage de Hebb

Entres

Entres

Sortie dsire

Sortie dsire

Modification des

biais et des

poids du rseau

selon lerreur

entre la sortie

dsire et la

sortie du rseau

Le perceptron de Rosenblatt (1958).


Le but premier duperceptron est lamodlisation de laperception visuelle.


7/40

7

Problme non linairementsparable

En 1970, Minsky et Papert valurent lesfaiblesses du Perceptron.

impossibilit pour le Perceptron dersoudre un problme qui nest paslinairement sparable.

Minsky et Papert prconisrent dajouter

des couches de neurones entre lentre etla sortie mais il restait trouver uneprocdure qui ntait pas connu pour mettre jour les poids et les biais du rseau.

A B S

0 0 0

0 1 1

1 0 1

1 1 0

XOR logique

S=1

S=1

S=0

S=0

La droite dediscrimination linairene peut sparer les

deux classes peutimporte les valeursdes poids et du biais

1.01 w

22 w

1x

2x

Y

)sgn(S

10 x3.0 w

)(id

-err



8/40

8

volution du rseau multi-couche

En 1980, rvolution du Perceptron couches multiples (MLP) avec la rgle dertropropagation du gradient de lerreur (back-propagation).

xy

Couche de sortieCouche cacheCouche d'entre

x1

x2

x3

x4

wji

wkj

y1

y2

y3

z1

z2

zk

Fonctions dactivations jkkj y)('z-ty kkkj netfw

Couche cache vers la couche de sortie

Couche dentre vers la couche cache

i

c

1k

i x)('x jkkjjji netfww

Cette dcouverte revient deux quipes indpendantes:

Gnralisation de lalgorithme de

Widrow et Hoff ou rgle delta en

minimisant la somme des erreursquadratiques.

Rumelhart et all et Le Cun et all xy

xey 1

1



9/40

9

Rsolution dun problme non linairement sparable avec le rseau MLP

A B S

0 0 0

0 1 1

1 0 1

1 1 0

XOR logique

D1

S=1

S=1S=0

S=0

D2

y2

o

x1

x2

y111,1w

2

1,1w

2

2,1w

1

1,2w

1

1,2w

Le rseau MLP permet de

sparer les deux classes

du problme XOR. Noeuds dentre

Noeuds cachs

Noeuds de sortie

Branchements

Couche 0

Couche 1

CoucheN

CoucheN-1

Rseau N-couches



10/40

10

Configuration optimale du rseau de neurone (MLP)


Un des gros problmes qui apparait dans lutilisation desrseaux de neurones est la difficult du choix dans le nombrede couche et le nombre de neurone par couche.

Le pas dapprentissage La vitesse dapprentissage La capacit de gnralisation du rseau Les fonctions dactivations des couches caches

Paramtres prendre en considration

Comment y remdier?

Mthode essai et erreur La mthode des plans dexpriences (taguchi) Optimisation conjointe des paramtres et de la topologie du

rseau par algorithme gntique hirarchiques.

Utilisation de lensemble de Pareto optimal (Vilfredo Pareto )


11/40

11

Avantages:

Le rseau atteint une prcision trs leve au niveau de la reconnaissanceet la base dexemplena pas besoin dtre trs grande.

Dsavantage:

On perd en gnralit car les formes sont reconnues dune manire tropexacte. Si une forme proche est prsente au rseau, celle-ci ne sera peut-tre pas reconnue. On peut ajouter un bruit blanc au donnes pour permettreune meilleure gnralisation.

Techniques dapprentissage ou de dtermination des poids

Apprentissage supervis (Approche dterministe)

On enseigne au rseau ce quil doit prsenter comme information la sortieselon les donnes prsentes lentre. Cela force les poids prendre desvaleurs distinctes selon les formes prsentes au rseau de neurones.



12/40

12

Le rseau regroupe les donnes selon des algorithmes de calcul de distancepar la mthode des moindres carres. chaque groupe correspond uneclasse. Aprs lidentification de toutes les classes, une valeur de sortie,dicte par lusager, est associe chacune des classes. Peut-tre associ une infrence baysienne pour produire des probabilits conditionnelles pour

chaque variable alatoire tant donn les autres.

Avantages:

Le rseau atteint une prcision trs leve au niveau de la reconnaissance

et la gnralisation est trs bonne.

Dsavantage:

La base dexemples se doit dtre trs volumineuse et le tempsdapprentissage est trs long si un nouvel exemple est prsent au rseau

pour un nouvel apprentissage.

Techniques dapprentissage ou de dtermination des poids

Apprentissage non supervis (approche statistique)



13/40

13

Mthode de minimisation pour le calcul des poids.

)(

)(

2

1

,

2

,

n

j

n

jn

j

n

j

n

i

n

j

n

jn

ij

n

ij

hf

xhfw

w

Mthode de descente du Gradient

Mise jour des poids et des biais

n

j

n

j

n

j

n

ij

n

ij

n

ij

oldnew

woldwneww

)()(

)()( ,,,



14/40

14


jkkj y)('z-ty kkkj netfw

Mthode de descente du Gradient avec terme dinertie

)()(2

oldww

neww

0


15/40

15


Mthode de Newton

HwwwEwwwEwE2

0000 )(2

1)()()()(

Par lutilisation de la srie de Taylor

ji

ijww

EH

2

o H= matrice Hessienne E = fonction derreur (2)

De la srie de Taylor, nous obtenons

)()()( 00 wwHwEwE

o)( 0

1

0 wEHww

(Mthode de Newton)

N

i

iijjjjxwYdYwE

1

o2

1)(




16/40

16

Avantages:

w Convergence rapide (forme quadratique)

Dsavantages:

wCalcul intensif (ncessit de calculer la matrice inverse

chaque pas ditration.

wLa matrice Hessienne est difficile calculer selon lacomplexit de la fonction dactivation. Nous devons choisir

une fonction dactivation qui est continuement drivable.


Mise jour des poids par la mthode de Newton




17/40

17

Avantages:

wConvergence trs rapide et gnralisation trs bonne.

wMthode la plus utilise jusqu maintenant.

Dsavantages:

Il ne faut pas que le nombre de poids constituant le rseau soit plus

grand que 200 car cette mthode devient infficace en terme de

rapidit de calcul.


Mthode Levenberg-Marquardt Backpropagation

1)(

)(

)()(

JEIJJw

EwJJE

wJwJJJ

o J= Matrice Jacobienne

E= Toutes les erreurs

I= Matrice identit

= Taux dapprentissage



18/40

18

TYPES DE RSEAU (MLP, RBF, KOHONEN).

MLP Multilayer perceptron (perceptron multi-couches)Rseau vu prcdemment.

RBFRadial Basis Function (Fonction dactivation gaussienne)Approximation de fonctions plusieurs variables.

Rseau de Kohonen (Rseau auto-organisateur)Conservation topologique de la forme

Compression de donnes

Rseau de Hopfield (Rseau pleine connection) non prsent dans cetteprsentation

Nouvelles tendances:

Combinaison de plusieurs types de rseaux pour des problmes spcifiques

Rseau de Kohonen Rseau MLPEntre Sortie


19/40

19

Le rseau RBF (Radial Basis Function)


Broomhead et Lowe (1988) employrent pour la premire fois le rseau RBF.

Sert actuellement pour les applications dapproximation de fonction mais

sexplique mieux dans le contexte de la classification.

Structure du rseau RBF

x2

x1

La couche cache est constituede fonction-noyau de type gaussienne.

Paramtrisation ncessaire

de la fonction noyau.

sortie linaire

Entres

Le rseau RBF est un

rseau trois couches(Couche dentre, coucheRBF, couche de sortielinaire).

La rgle Delta est utilise commetechnique dapprentissage. Il fautchoisir le bon nombre de neuronepour la couche RBF.

TYPES DE RSEAU (MLP RBF KOHONEN)


20/40

20

Le rseau RBF (Radial Basis Function)


Pour dterminer le nombre et la position des neurones-noyau, on utilise

lalgorithme dcrit par Mustawi et all (1992).

1. On associe un neurone par donne du corpus dapprentissagereprsentant un nuage distinct, le but tant de regrouper des nuages dedonnes.

2. Choisir alatoirement un nuage (un neurone i)3. Trouver un second nuage de la mme classe (un neurone j).4. Regroupement des deux nuages en un nouveau nuage k et calculer

barycentre Ck.5. Calculer la distance rk entre Ck et la donne de k la plus loigne.6. Calculer la distance dk entre Ck et le barycentre du nuage le plus

proche.7. Si dk > Delta*rk, alors regroupement accept et nouveau nuage k

remplace nuage i et j, sinon rpt depuis ltape 3 jusqu ce que leregroupement soit accept.

8. Rpter lopration partir de 2, en examinant tous les nuages jusquce quaucun regroupement ne soit plus possible.



21/40

21

Le rseau RBF (Radial Basis Function) dans lapproximation dune fonction


Vecteurs dapprentissage

Fonction gaussienne

Somme pondre des entres

Rsultat aprs apprentissage

On prsente 20 vecteursque le rseau doit

apprendre (x,y). Une foislapprentissage termin,nimporte laquelle desvaleurs prsentes lentre donnera unevaleur de sortie qui seraprsente sur la courbe.



22/40

22

Le rseau SOM de Kohonen (rseau comptitif)


Kohonen (1990) dveloppa la carte topologique (Self-Organizing Map).

Le rseau apprentissagecomptitif de Kohonen(spcialisation du neurone )sapproche le plus du typede structure observ dans lecerveau.

Le rseau SOM est constitu dune couche dentre et dune couche de comptition ensortie.

1,1w

1e

1,2w

2,1w

2,2w2

e

1i

2i

Couchedentre

Couche decomptition

Poidsdu

rseau

I1 I2

W1 0.6 0.4

W2 0.4 0.6

Patron 1 1.0 0.0

Patron 2 0.8 0.2

Patron 3 0.0 1.0Patron 4 0.2 0.8

La rgle dapprentissage

modifie les poids duneurone 1 de faon lerapprocher du patronprsent.

Le rseau SOM est parfaitement adapt dans lanalyse des donnes (regroupement

sous forme de nuage de donnes).



23/40

23

Le rseau SOM de Kohonen (rseau comptitif)


100 points de donnes crs surun cercle unitaire

1,1w 1e

1,2w

2,1w

2,2w

2e

x

y9

e

10e

2 entre et 10 neurones dans lacouche comptitive Les vecteurs poids suivent la courbede donnes aprs apprentissage.

Le graphique reprsentant les poids de chaque neurone suivent lacourbe de donnes en positionnant les poids de chacun desneurones au barycentre des nuages de donnes qui ont t cr.

APPLICATIONS DES RSEAUX NEURONAUX


24/40

24


Classification de donnes vectorielles Reconnaissance de formes Approximation de fonctions

Dtection de patrons dans un signal Prdiction future selon des donnes passs Contrle robotique (PID) Compression de donnes

rgression linaire et non-linaire



25/40

25

Classification par rseau MLP.

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

Class 1Class 0

x = randn([2 200]);

o = (x(1,:).^2+x(2,:).^2)


26/40

26

PR = [min(x(1,:)) max(x(1,:));

min(x(2,:)) max(x(2,:))];

S1 = 10;

S2 = 1;

TF1 = 'logsig';

TF2 = 'logsig';

BTF = 'traingd';

BLF = 'learngd';

PF = 'mse';

net = newff(PR,[S1 S2],{TF1

TF2},BTF,BLF,PF);

Commande Matlab : Cration dun rseau deux couches

Bornes de chacune des entres

Nbr. de noeuds dans la couche 1 et 2

Fonction dactivation de la couche 1 et 2

Fonction dentrainement

Fonction dapprentissage

Fonction cot (mean square error ou MSE)

Commande de cration du rseau





27/40

27

net.trainParam.epochs = 2000;

net.trainParam.goal = 0.002;

net = train(net,x,o);

y = sim(net,x);

netout = y>0.5;

Nbr. dpoque de calcul

Erreur maximale dsire

Commande dapprentissage

Calcul en continue des sortie du rseau

Conversion en sortie binaire

Structure du rseau

x2

x1

Couche cache

(sigmoide)

Noeud de sortie (Sigmoide)

Noeuds dentre

Unit de seuil

(pour sortie binaire)





28/40

28

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

Class 1Class 0

Les poids sont choisis alatoirement avant

le dbut du calcul. Affichage des droites de

sparation avant apprentissage.



Lorsque le processus dapprentissage est

termin, tout vecteur se prsentant en

entre du rseau sera reconnu comme

faisant partie de la classe o ou x.

On essaye de voir jusqu quel point lesdroites de sparation peuvent encercler les

vecteurs x pour former une classe distinctes

des vecteurs o.

Trois types dalgorithme de gestion

des poids seront utiliss dans cet

exemple pour dmontrer la rapidit

de chacun deux lors du processus

dapprentissage.



29/40

29

Algorithme dapprentissage:Descente de gradient avec terme dinertie

0 0.5 1 1.5 2

x 104

10-3

10-2

10-1

100 Performance is 0.151679, Goal is 0.002

20000 Epochs

Training-Blue

Goal-Black

MSE vspoques dapprentissage

Erreur de classification : 40/200

-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

Class 1Class 0

MSE vspoques dapprentissage(convergence atteinte en 10 poques)

Algorithme dapprentissage:Levenberg-Marquardt Backpropagation

0 2 4 6 8 1010

-3

10-2

10-1


10 Epochs

Training-Blue

Goal-Black


-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

Class 1Class 0

la fin de lapprentissage, 6 noeuds seulement sont ncessaires pour classer les vecteurs x.



MSE vs poques dapprentissage

Algorithme dapprentissage:Mthode de descente par le gradient

0 0.5 1 1.5 2

x 104

10-3

10-2

10-1


20000 Epochs

Training-Blue

Goal-Black


-3 -2 -1 0 1 2 3-3

-2

-1

0

1

2

Class 1Class 0



30/40

30


Reconnaissance de forme avec rseau MLP

Schmas synoptiques dun systme de reconnaissance de formes

Acquisition de limage

Prtraitement de limage

Extraction descaractristiques

dinvariance Cration dune base de donnes des caractristiquesinvariantes (Identifier chaque image avec une classe

dappartenance)

Processus dapprentissage du rseau de neurones

(stabilisation des poids du rseau selon la base dedonnes des caractristiques).

Prsentation au rseau de

neurones pour findidentification (le processus

dapprentissage est ralis

au pralable).

Prsentation du rsultatde la classification.

Choisir alatoirement selon une courbe normale(moyenne nulle et variance unitaire) des chantillons

qui serviront lapprentissage du rseau)

On se sert des trois premier modules pour former labase de donnes des caractristiques dimages.



31/40

31


Prtraitement des donnes images

Image originale encouleurs Niveau de gris Filtre Sobel

Rehaussement decontraste

Remplissage desvides

Linarisation delobjet

Segmentation delimage

1 2 3

4 56




32/40

32



M10 et M01 dfinissent lecentre de gravit de la

surface et M00 dfinit lasurface de lobjet

Moments centrs dordre p,q

Extraction des caractristiques de la forme

Moments lmentaires dordre p,q

On recherche linvariance en translation, en rotation et en homothtie en

groupant des moments centrs dordre p,q, par exemple M20+M02

Axes principaux dinertie

Allongement et orientationde la forme



33/40

33



Normalisation des donnes et prsentation au

rseau MLP

La normalisation est le processus par lequel les donnes dentre et les

donnes en sortie ont des valeurs voluant entre -1 et +1.

On utilise habituellement deux couches

caches dune dizaine de neurones pourviter le sur-apprentissage et on fait apprendre

au rseau les formes qui sont prsentes lentre selon les paramtres caractristiques.

On peut ajouter un bruit blanc aux formes qui sont prsentes lors delapprentissage du rseau pour amliorer la gnralisation. On utilise un

algorithme dapprentissage de type Levenberg-Marquard qui est le plusadquat pour le rseau MLP.



34/40

34


Reconnaissance des signaux par rseau MLP

Signal analyser Patrons de signaux

Le signal que nous voulons analyser provient dune machine usiner. Pourviter dendommager la pice, un rseau de neurone dtecte les bris desoutils usiner (mches, fraiseuses) en reconnaissant les signauxprcurseurs.

Signal analyseren temps rel

Passage dunefentre de 10

chantillons parintervalle dun

chantillon.

Prsentation des10 chantillons au

rseau MLP

Dcision sur lacommande de

lappareil



35/40

35


On utilise un rseau dune couche cache de 5 neurones avec fonction

dactivation logsig et un neurone en sortie avec fonction dactivation purelin.

Reconnaissance des signaux par rseau MLP

y1

y10

La mise jour des poids sefait par lalgorithme de

Levenberg-Marquard durantltapedapprentissage.

Contrle de lamachine usiner

AVENIR DES RSEAUX NEURONAUX


36/40

36

S S U U O U

Caractristiques gnrales

Technology:0,35 CMOSChip size:35 mm2Supply voltage:3,3 VClock frequency:33 MHzPower consumption:0,5 WPackage type:CQFP 208Dimensions:30,6 mm x 30,6 mm x 4,1 mmProcessing speed at 33MHz:45MCUPS1

Implantation sous forme de circuits intgrs dun rseau de neurone

lectronique controle universel.

Rseau de neurones circuit intgr

Le DANA23 (Digital Adaptive Neuro ASIC) contient un rseau

complet avec modification et sauvegarde des poids et biais avec un

algorithme dapprentissage intgr de type backpropagation modifi.



37/40

37

Rseau de neurones circuit intgr



38/40

38

Rseau de neurones biologiques sur substrat de silicium (neurochips)

Un groupe de chercheur du Caltech (institut de technologie de

Californie) ont russi la greffe dun neurone sur un substrat de siliciumen 1991.

La vision et les capacits de la mmoire neurologique excutent massivement desoprations parallles impossibles reproduire mme sur les plus grands

superordinateurs du monde.

Conception prochaine de circuits quiexcutent des calculs analogiques

massivement parallles

La surface lisse du silicium est unenvironnement idal pour lacroissance des cellulescrbrales.

CONCLUSIONS


39/40

39

Les rseaux de neurones sont en constante volution et la nouvelle vogueest de combiner diffrents rseaux pour accomplir des tche spcifiques.

Loptimisation de la configuration des rseaux de neurones est actuellement

un problme ouvert. Il existe diverses techniques mais celle qui optimisevraiment la configuration na pas vu le jour.

Des recherches intensives sont en cours pour appliquer les rseaux SOM(auto-organisateur) dans le secteur de lindustrie. La comprhension desrseaux SOM permet dapprocher le comportement du cerveau humain en

liaison avec la logique floue.

Nous sommes encore loin de lpoque o un cerveau humain sera remplac

par une machine car les fonctions humaines mme les plus simple sont unnorme dfis pour la technologie.


40/40

40

Vous avez des questions???

les réseaux de neurones et leurs applications

Documents