et305_rna_ 2015_imp

Universit des Sciences et de la Technologie Houari Boumediene

Facult dElectronique & Informatique

MASTER ELECTROTECHNIQUE INDUSTRIELLE

Techniques didentification et de contrle

MET305

COMMANDE PAR

RESEAUX DE NEURONES ARTIFICIELS (RNA)

A NAIT SEGHIR

2015-2016

ET305-M2EI Techniques dIdentification et de Commande

A.NAIT SEGHIR | Commande par rseaux de neurones page 1

RESEAUX DE NEURONES ARTIFICIELS (RNA)

INTRODUCTION

Les rseaux de neurones artificiels (RNA) sont des systmes de traitement de linformation dont la

structure sinspire de celle du systme nerveux. Ils sont destins effectuer des tches auxquelles les

approximateurs traditionnels semblent moins bien adapts. Ainsi, les applications des RNA la

reconnaissance de formes, la modlisation, la commande et la classification ont pris une place

importante au sein des ralisations industrielles. Dans le domaine du traitement du signal et de

lautomatique, les annes 90 ont t marques par des avances significatives tant du point de vue

fondamental que du point de vue des applications industrielles [PER03].

L'utilisation de RNA pour la ralisation de systmes de commande a connu un essor important au

cours des dernires annes [CIR02].

Le neurone biologique

Llment de base du systme nerveux est le neurone. Le cerveau humain contient environ 1011

neurones, avec 103 104 dendrites par neurone. Le neurone est une cellule compose du soma (corps

cellulaire) qui contient le noyau, les dendrites

autour du soma et laxone qui est un prolongement

de grande taille au bout duquel se trouve une

arborisation qui entre en contact avec les dendrites

des autres neurones via les synapses (Figure V.1).

Les dendrites sont si nombreuses que lon parle de

chevelure ou darborisation dendritique. Cest par

les dendrites que linformation est achemine de

lextrieur vers le soma (corps du neurone). Elle est

traite alors par le corps cellulaire. Si le potentiel

Figure V.1: Neurone biologique

daction dpasse un certain seuil, le corps cellulaire rpond par un stimulus. Le signal transmis par le

neurone chemine ensuite le long de laxone (unique) pour tre transmis aux autres neurones [REN95].

La communication entre laxone du neurone affrent et les dendrites du neurone effrent nest pas

directe et seffectue par des synapses. Une synapse reliant deux neurones peut tre de nature

excitatrice ou inhibitrice. Dans le premier cas, le neurone metteur aura tendance activer le neurone

rcepteur, et dans lautre cas le neurone metteur aura tendance inhiber lactivit du neurone

rcepteur. Chaque synapse est en outre caractrise par lefficacit avec laquelle elle assure la

connexion [PER03].

Le Neurone Formel

C'est partir de l'hypothse que le comportement intelligent merge de la structure et du

comportement des lments de base du cerveau, que les rseaux de neurones artificiels se sont

dvelopps. La structure d'un neurone artificiel est montre dans la figure V.2. Chaque neurone

artificiel est une unit fonctionnelle. Il reoit un nombre variable d'entres en provenance de

neurones amont. A chacune de ces entres est associ un poids , reprsentatif de la force de la connexion. Chaque unit fonctionnelle est dote d'une sortie unique, qui se ramifie ensuite pour

alimenter un nombre variable de neurones aval [DAV90].

Dendrites

Axone

Soma



Le neurone formel est une fonction algbrique non linaire et borne, dont la valeur dpend des

paramtres poids . Les variables de cette fonction sont les entres du neurone, et la valeur de la

fonction est la sortie. Un neurone est donc un oprateur mathmatique, dont la valeur numrique est

calcule par des oprations mathmatiques.

Modle mathmatique non-linaire

Par analogie avec le neurone biologique, le comportement du neurone artificiel est modlis par deux

phases :

Un oprateur de sommation, qui labore le potentiel a. Cet oprateur effectue la somme

pondre des entres. On soustrait parfois cette somme la valeur du seuil dactivation i.

un oprateur non linaire qui calcule la valeur de lactivation. Cet oprateur sappelle la

fonction de transfert.

La nouvelle version du modle non-linaire de McCulloch & Pitts est reprsente par la figure V.2.

Figure V.2: Modle Non-Linaire du Neurone formel

j : entre du neurone i (sortie du neurone amont j).

ij : la valeur du poids synaptique de la connexion dirige du neurone j vers le neurone i,

un poids positif indique un effet excitateur du neurone metteur (j) vers le neurone rcepteur (i).

un poids ngatif reprsente un effet inhibiteur.

i : est le seuil du neurone i qui reprsente la limite partir de laquelle le neurone sactivera.

La fonction combinaison renvoie le produit scalaire entre le vecteur des entres et le vecteur des

poids synaptiques. Autrement dit, elle calcule la somme pondre des entres selon

lexpression suivante:

jnj ijia .

,1 (V.1)

A partir de cette valeur, une fonction de transfert (ou fonction dactivation, ou encore fonction de

seuillage) calcule la valeur de l'tat du neurone. Cette valeur sera transmise aux neurones aval.

)( iii ay (V.2)

Poids Valeurs dentre

Fonction dActivation

Somme pondre

1

2

n i

i1

i2

in

Sortie yi

Seuil

ai

Fonction de combinaison



Les neurones les plus frquemment utiliss sont ceux pour lesquels la fonction est une fonction non

linaire (gnralement une tangente hyperbolique) d'une combinaison linaire des entres.

Modle mathmatique tendu

Le modle peut tre modifi en introduisant une valeur de biais i la place de la valeur de seuil:

0= +1 et i0 = i.

Lquation mathmatique qui dcrit ce modle est donne par:

)( ii ay (V.3)

avec: jnj ijia .

,0 (V.4) Ce qui donne alors le modle non-linaire tendu de la figure V.3.

Figure V.3 : Modle Etendu du Neurone formel

Les fonctions de transfert

La fonction de transfert ou d'activation dfinit la valeur de sortie d'un neurone en termes des niveaux

d'activit de ses entres. Ces fonctions prsentent gnralement trois intervalles :

1. en dessous du seuil, le neurone est non-actif (sa sortie vaut 0 ou -1) ;

2. aux alentours du seuil, une phase de transition ;

3. au-dessus du seuil, le neurone est actif (sa sortie vaut 1).

La fonction de transfert peut prendre diffrentes formes possibles tel que: fonction linaire seuil,

fonction seuil, fonction gaussienne, etc (figure V.4).

Fonction seuil : Comme son nom l'indique, cette fonction applique un seuil sur son entre.

La sortie effective du neurone est calcule en comparant la valeur du potentiel un seuil

[HAR98]. Cette fonction dlivre des valeurs binaires [+1 0] ou [+1 -1] (figure V.4).

ii

ii

iia

aay

:0

:1)( (V.5)

Poids

entres

Fonction dActivation

Somme pondre

1

2

n

i1

i2

in

Sortie yi

ai

Fonction de combinaison

Entre fixe

0= +1 i0 i0 = i (Seuil)



Fonction linaire par partie : La fonction linaire est une fonction simple. La sortie effective

du neurone est directement lie son entre selon la relation y = (a). Cette fonction peut

aussi tre borne.

sinon:)(

si:1

si:1

)(

i

ii

ii

ii

a

a

a

ay

(V.6)

Fonction sigmode : Cette fonction n'est pas polynomiale et est indfiniment continment

drivable. Cest une proprit simple qui permet d'acclrer le calcul de la drive, ce qui

rduit le temps calcul ncessaire l'apprentissage d'un rseau de neurones. Elle est dfinie

par la relation mathmatique suivante :

aey

1

1 (V.7)

Fonction gaussienne : Cette fonction dactivation nest pas monotone croissante, elle est dun

caractre local qui la rend trs puissante en approximation de fonction et en classification.

Figure V.4: Les formes usuelles de la fonction dactivation

Le perceptron

Le perceptron est gnralement constitu dune seule couche, de plusieurs neurones dont les

fonctions dactivations sont toutes des fonctions de seuil. Ce type de rseau est utilis seulement dans

les problmes linairement sparables. On distingue aussi dautres types de rseaux de neurones qui

lui sont similaires, mais dont lutilit est diffrente [DRE98]:

- Ladaline (Adaptative Linear Neuron Networks).

- Le madaline (Many Adaptative Linear Neuron Networks).

(f): Fonction tangente

hyperbolique

a

-1

(e): Fonction sigmode

a

y = (a) y = (a)

(c): Fonction seuil

a

y = (a)

+1

+1 +1

y = (a)

(b): Fonction linaire borne

a

-1

y = (a)

+1

(a): Fonction identit

a

(d): Fonction gaussienne

a

y = (a)

+1



Neurone base radiale

Ces dernires annes, plusieurs types de neurones et fonctions d'activation ont t introduits pour

rsoudre diffrentes sortes de problmes pratiques. En particulier, les neurones base radiale qui ont

montr leur utilit dans les applications de l'identification et de la commande des systmes [CIR02].

Un neurone fonction de base radiale (Radial Basis Functions) est construit partir d'une fonction du

mme nom. Un rseau de neurones fonction de base radiale est un rseau une seule couche cache

avec des fonctions d'activation base radiale, le plus souvent des gaussiennes. Les entres sont

directement connectes aux neurones de la couche cache. La couche de sortie est un neurone avec

une fonction d'activation identit.

Les rseaux de neurones formels ou Rseau multicouche

Un rseau de neurone (RN) est form dun ensemble de neurones interconnects. Les connexions

entre les neurones qui composent le rseau dcrivent la topologie du modle. Celle-ci peut tre

quelconque, mais le plus souvent il est possible de distinguer une certaine rgularit. Gnralement, la

structure des RN est constitue dune couche dentre, des couches caches et une couche de sortie.

Un rseau de neurone est donc compos d'une succession de couches dont chacune prend ses entres

sur les sorties de la prcdente. Chaque couche (i) est compose de ni neurones, prenant leurs entres

sur les ni-1 neurones de la couche prcdente. chaque synapse est associ un poids synaptique, de

sorte que les ni-1 sorties prcdentes sont multiplis par ces poids, puis additionns par les neurones

de niveau i. la fonction de sortie introduit une non linarit. Il est trs important de faire un choix

judicieux d'une bonne fonction de sortie: un rseau de neurones dont les sorties seraient linaires

n'aurait aucun intrt.

Deux grands types d'architectures de rseaux de neurones sont distingus: les rseaux de neurones

non boucls et les rseaux de neurones boucls.

Les rseaux de neurones non boucls

Un rseau de neurones non boucl ralise une (ou plusieurs) fonctions algbriques de ses entres, par

composition des fonctions ralises par chacun de ses neurones lmentaires. Ce rseau est

reprsent par un ensemble de neurones connects entre eux, de telle sorte que linformation se

propage des entres vers les sorties sans retour en arrire. Ce rseau est de type feedforward .

La Figure V.5 reprsente un rseau de neurones non boucl qui a une structure trs frquemment

utilise. Il comprend des entres, une couche de neurones cachs et des neurones de sortie. Les

neurones de la couche cache ne sont pas connects entre eux.

Figure V.5: Structure dun rseau multicouche (feedforward)

Couche

de sortie

Couche cache

Couche

dentre



Cette structure est appele Perceptron multicouche (PMC). Ces rseaux sont des systmes statiques. Si

les entres sont indpendantes du temps, les sorties le sont aussi. Ils sont utiliss principalement pour

les approximations de fonction non linaire, la classification ou la modlisation de processus statiques

non linaires.

Le Rseau multicouche connexions locales est un cas de la structure multicouche, mais qui conserve

une certaine topologie. Chaque neurone entretien des relations avec un nombre rduit et localis de

neurones de la couche avale (figure V.6). Les connexions sont donc moins nombreuses que dans le cas

d'un rseau multicouche classique [REN95].

Les rseaux de neurones boucls

Contrairement aux rseaux de neurones non boucls dont le graphe de connexions est acyclique, les

rseaux de neurones boucls peuvent avoir une topologie de connexions quelconque, comprenant

notamment des boucles qui ramnent aux entres la valeur d'une ou plusieurs sorties. Ces rseaux

sont de type feedback . Pour qu'un tel systme soit causal, il faut associer toute boucle un retard.

Un rseau de neurones boucl est donc un systme dynamique.

Les rseaux de neurones boucls sont utiliss pour effectuer des tches de modlisation de systmes

dynamiques, de commande de processus. Parmi les rseaux boucls, nous citons quelques

configurations :

Figue V.6 : Rseau multicouche connexions

locales

Figure V.7 : Rseau connexions rcurrentes

(ou feedback)

Rseau connexions rcurrentes : Les connexions rcurrentes ramnent l'information en

arrire par rapport au sens de propagation dfini dans un

rseau multicouche. Ces connexions sont le plus souvent

locales (figure V.7) [PER03].

Rseau connexions complexe : Cest la structure

d'interconnexion la plus gnrale ou chaque neurone est

connect tous les neurones du rseau (figure V.8).

Figure V.8 : Rseau connexion complexe

Le choix du nombre dunits caches

Le nombre dunits caches joue un rle crucial dans le contrle de la capacit du rseau de neurones.

Si ce nombre est trop petit, alors le rseau possde trop peu de paramtres et ne peut capter toutes les

dpendances qui servent modliser et prdire les valeurs du processus observ. Il faut comprendre

que les rseaux de neurones peuvent modliser nimporte quelle fonction si le nombre dunits

caches est suffisant [MIL92].



La structure des rseaux gnralement utiliss pour la commande est celle qui est mise sous la forme

canonique. Elle donne par la figure V.9.

Figure V.9: Forme canonique d'un rseau de neurones boucl

Apprentissage des Rseaux de neurones

Lune des proprits des plus importantes des rseaux de neurones artificiels est leur facult

d'apprentissage. Cest une phase du dveloppement du rseau de neurones durant laquelle son

comportement est modifi jusqu' l'obtention du comportement dsir. Celui-ci peut s'effectuer par

prsentation rpte d'une srie de patrons ou modles et peut tre supervis ou non. Dans le

cas des rseaux multicouches les approches les plus utilises sont celles inspires de la mthode de

rtro-propagation du gradient mais dautres mthodes peuvent galement tre mises en uvre.

Lalgorithme d'apprentissage est souvent associ la description du modle des rseaux de neurones

artificiels. Dans la majorit des algorithmes, les variables modifies pendant l'apprentissage sont les

poids des connexions. Il est souvent impossible de dcider priori des valeurs des poids des

connexions d'un rseau pour une application donne. A l'issu de la phase d'apprentissage, les poids

sont fixs : Cest alors la phase de validation.

Le nombre de cycles dapprentissage peut tre dfini par lutilisateur. Plus les cycles seront nombreux,

plus lerreur sur lensemble dentranement deviendra petite. Lerreur diminuera aussi sur lensemble

de tests jusqu un certain nombre de cycles. Pass ce nombre, lerreur sur lensemble de tests

commencera augmenter nouveau. Ceci est d au fait que plus lapprentissage est long, plus le

rseau apprend les spcificits propres lensemble dentranement, et ainsi perd son pouvoir de

gnralisation.

Les algorithmes d'apprentissage sont diviss en deux grandes classes, selon que l'apprentissage est dit

supervis ou non supervis. Cette distinction repose sur la forme des exemples d'apprentissage.

Lapprentissage non supervis

Le calcul des coefficients dans ce cas se fait sur la base de la suite des vecteurs dentres seulement. Le

rseau a donc la charge dextraire des rgularits de la suite des vecteurs dentre. Lapprentissage

non supervis a pour modle de rfrence les cartes dites autoorganisatrices (Self Organizing

Maps) de Kohonen (1982).

Entres

linstant k Etats

linstant k

Sorties

linstant k Etats

linstant k+1

Rseau de neurones statique



Lapprentissage supervis

Ces algorithmes utilisent une base de donnes compose dun ensemble de paires entre-sortie.

Lapprentissage dans ce cas, consiste calculer les coefficients de telle manire que les sorties du

rseau de neurones soient, pour les exemples utiliss lors de l'apprentissage, aussi proches que

possibles des sorties "dsires", qui peuvent tre la valeur de la fonction approche ou de la sortie du

processus modliser, ou encore la sortie souhaite du processus commander.

L'apprentissage des rseaux de neurones boucls (pour raliser des modles dynamiques) est

semblable celui des rseaux non boucls.

Rgles et mthodes dapprentissage

Le principe de lapprentissage consiste soumettre le rseau un vecteur entr dont la rponse

souhaite est connue, autant de fois quil lui est ncessaire la modification des poids des connexions

en minimisant une fonction cot (erreur quadratique), jusqu obtention de la bonne rponse. Il existe

plusieurs rgles de modification des poids dont les principales sont :

La rgle de Hebb

La rgle de Widrow-Hoff

Lalgorithme de rtropropagation du gradient de lerreur

La rgle de Hebb

La rgle de Hebb est inspire de la biologie. Le principe est de renforcer les connections entre deux

neurones lorsque ceux-ci sont actifs simultanment. Elle peut tre classe comme apprentissage non

supervis, ou supervis car on sait calculer directement les poids correspondant l'apprentissage

d'un certains nombres d'exemples.

Cette rgle dapprentissage a t le point de dpart des travaux de Rosenblatt qui a dvelopp la

premire version dun modle neuronal trs connu de nos jours, savoir le perceptron. La

modification des poids est inspire de la rgle de Hebb. Son principe est de rajouter, dans le cas o la

sortie obtenue yi du rseau est diffrente de la sortie dsire yi*, une quantit wij aux poids de chaque

connexion. Dans le cas contraire, les connexions demeurent inchanges [DAU00]. Ce principe peut

tre exprim par:

jijijij

wtwtw 1 (V.8)

wij est la quantit ajoute au poids wij, do :

jiiij yyw (V.9) Le paramtre est appel taux dapprentissage, il dtermine la dynamique suivant laquelle les

modifications vont avoir lieu et j reprsente lentre.

La rgle de Widrow-Hoff

En 1960 Widrow et Hoff ont propos, contrairement au modle de Rosenblatt o les neurones ont des

fonctions dactivation seuils, un modle de perceptron avec neurones linaires (fonction dactivation

linaire). L'avantage dutiliser des units linaires est que ces dernires permettent de calculer une

fonction qui value lerreur que commet le rseau. Cette erreur peut tre calcule en fonction des



rponses dsires et des rponses obtenues par le rseau. Elle est donc fonction des poids du rseau

[PER03]:

i j

jiji

i

ii wyyyE *2

2

1

2

1 (V.10)

Lobjectif de lapprentissage est de modifier les valeurs des poids du rseau de faon minimiser cette

erreur et effectuer une descente du gradient. Lalgorithme de descente du gradient consiste

changer chaque poids wij dune quantit wij proportionnelle au gradient de lerreur:

ji

ii

ij

ij yyw

Ew

(V.11)

Lexpression (V.11) est la mme que celle trouve lors de l'apprentissage par la rgle de Hebb base

de la fonction seuil (V.9).

Mthode de la rtropropagation du gradient (backpropagation)

Un des dsavantages du perceptron est quil minimise une erreur en tout ou rien cause de sa

fonction dactivation seuil. De ce fait, lalgorithme est trs peu robuste. La rgle dapprentissage de

Widrow-Hoff ne fonctionne plus en tout ou rien mais minimise une fonction derreur quadratique,

donc plus robuste. Malheureusement, cette rgle ne peut sappliquer que sur des rseaux une seule

couche de poids adaptatifs. Cest donc en tendant la rgle de Widrow-Hoff que lalgorithme

dapprentissage de rtropropagation du gradient de lerreur a t dvelopp [DAV90].

Lalgorithme dapprentissage de la rtropropagation du gradient derreur est gnralis ensuite par

lquipe de Rummelhart en 1986. Cet algorithme fournit une faon de modifier les poids des

connexions de toutes les couches dun Perceptron Multi Couches.

La figure V.10, reprsente un rseau deux couches, dans lequel:

Figure V.10 : Perceptron Multi Couches

j : sont les units dentres

yi : sont les units de sorties

vk : sont les units caches

wkj : sont les poids des connexions entre les units dentres et les units caches

wik : sont les poids des connexions entre les units caches et les units de sorties

Les tapes du dveloppement de cet algorithme sont:

Calcul de la valeur de sortie de lunit cache k

1

2

j wkj wik

yi

y2

y1 v1

vk



j

jkjkk wfafv )( (V.12)

calcul de la valeur de sortie de lunit de sortie i

k

kikii vwfafy (V.13)

calcul des erreurs partielles et globales

22

1

i

iip yyE (V.14)

Et p

pEE (V.15)

Minimisation de la fonction derreur globale par la descente du gradient. La valeur de chaque

connexion est modifie selon la rgle :

p

p

w

E

w

Ew (V.16)

Selon la position des poids de connexions, deux cas se prsentent :

1. Cas des connexions de la couche de sortie (wik): Pour le cas des neurones de sortie, la relation

(V.16) est fonction du paramtre wik qui influe uniquement sur la sortie du neurone dindice i.

La drive peut tre dcompose de cette relation par :

kiiiik

i

i

i

i

p

ik

pvafyy

w

a

a

y

y

E

w

E*

(V.20)

La relation (V.16) devient :

kp

iiiik vyyafw * (V.21)

2. Cas des connexions de la couche cache (wkj) : Si le neurone appartient la couche cache, la

relation (V.16) est en fonction du paramtre wkj qui influe non seulement sur la sortie du

neurone k de la couche cache, mais aussi sur tous les neurones i de la couche de sortie (en

aval) qui lui sont connects. Nous obtenons alors lquation suivante :

jkk

p

kj

k

k

k

k

p

kj

paf

v

E

w

a

a

v

v

E

w

E

(V.17)

Le premier terme de cette expression devient alors :

ikik k

ii

k

i

i

i

i

P

k

i

k i

p

k

pwafyy

v

a

a

y

y

E

v

y

y

E

v

E

*

(V.18)

La modification des poids devient :



p i

ikiiijkkj wafyyafw* (V.19)

Figure V.11: Mthode de la rtropropagation du gradient

Lalgorithme de rtropropagation du gradient de lerreur a permis de dpasser les limites du

perceptron simple. Il est capable de rsoudre un grand nombre de problmes de classification et de

reconnaissance des formes. Cet algorithme souffre nanmoins de nombreux dfauts, parmi lesquels

[DAV90] :

une limitation du temps de calcul (lapprentissage est trs long),

une grande sensibilit aux conditions initiales, c'est--dire la manire dont sont initialiss

les poids des connexions,

de nombreux problmes dus la gomtrie de la fonction derreur (minimums locaux).

le problme de dimensionnement du rseau dont la structure est fix a priori. La structure

est dfinie par le nombre de couches caches, le nombre de neurones par couches et la

topologie des connexions. Un mauvais choix de structure peut dgrader considrablement les

performances du rseau.

Mthode de backpropagation avec momentum

Depuis lapparition de lalgorithme de backpropagation, quelques variantes, visant amliorer les

performances de cet algorithme, ont t mises en uvre. Parmi ces variantes, celle qui introduit un

terme momentum dans la rgle dapprentissage pour amliorer la vitesse de convergence. Il sagit en

fait dutiliser le gradient prcdent pour donner une inertie lalgorithme. Cette technique est utilise

aussi pour viter que la descente de gradient ne se bloque dans un minimum local (Figure V.11)

[FRE92].

La rgle dapprentissage devient:

)1(

twt

w

Etw (V.22)

avec: 0.5 < 1 et 0 < 0.5.

Le second terme de lquation est appel momentum.

Minimum global

Minimum

Local



Mthode du gradient conjugu

Cette mthode permet de changer rapidement la direction de recherche, pour obtenir loptimum

dsir. A chaque itration le coefficient dapprentissage et le momentum sont modifis. Cette mthode

a une vitesse de convergence suprieure celle des algorithmes de backpropagation classiques,

nanmoins elle ncessite plus de calculs.

Lquation de rajustement des poids est :

tdtwtw 1 (V.23) Avec :

11

tdt

tw

tEtd (V.24)

d : est la direction de la descente.

Algorithmes doptimisation

Les algorithmes doptimisation sont choisis de manire permettre destimer le vecteur paramtres w

pour lequel la fonction cot (J) choisie est minimale (plus la valeur de J est petite, plus le modle

produit fidlement les observations utilises pour lapprentissage). Cette fonction cot est une

fonction scalaire qui dpend du vecteur de paramtre w du modle. Elle mesure lcart entre les

sorties du rseau de neurones et les sorties mesures prsentes dans lensemble dapprentissage.

Mthode de Newton

Lide de la mthode de Newton est dutiliser la courbure (drive seconde) de la fonction cot pour

atteindre le minimum plus rapidement.

tJtHtwtw 11 (V.25) La direction de la descente est :

tJtHtd 1 (V.26) H : matrice drive seconde de J par rapport w (Hessien)

J : drive premire de J par rapport w (gradient de J(w))

Cette mthode est trs efficace au voisinage dun minimum. Cependant pour que la mthode converge

vers un minimum, le Hessien doit tre dfini positif. Dans le cas gnral dun modle non linaire,

cette hypothse de convergence nest pas toujours respecte et la mthode peut ne pas converger. En

pratique elle est peu employe car elle ncessite, de plus, le calcul de la matrice H chaque itration.

Mthode de Levenberg-Marquardt

Cette mthode est particulirement intressante car elle sadapte elle-mme la forme de la fonction

de cot. Elle choisit automatiquement un compromis entre la direction du gradient et la direction

donne par la mthode de Newton. En effet, si (t) est grand, on retrouve la mthode du gradient et sil

est petit, la modification des paramtres correspond celle de la mthode de Newton.

Lquation de la modification des poids est :



tJIttHtwtw 11 (V.27) avec : I : matrice identit

: coefficient positif

LES ETAPES DE LA CONCEPTION DUN RESEAU

Pour construire un rseau de neurones, la premire chose faire n'est pas de choisir le type de rseau

mais de bien choisir ses donnes d'apprentissage et ceux du test de validation. Ce n'est qu'ensuite que

le choix du type de rseau interviendra. La construction dun rseau de neurones passe par quatre

tapes importantes [HAR98] :

Choix des chantillons

Le choix des chantillons reprsente la premire phase dlaboration d'un rseau de neurones. Cette

tape est dterminante pour dterminer le type de rseau appropri au problme rsoudre. La

prsentation de l'chantillon conditionne le type de rseau, le nombre de cellules d'entre, le nombre

de cellules de sortie et la manire dont il faudra mener l'apprentissage et la validation.

Normalisation des donnes

Afin damliorer la performance des rseaux neuronaux multicouches, il est important de normaliser

les donnes dentre et de sortie de telle sorte quelles se trouvent dans lintervalle [-1 1].

Elaboration de la structure du rseau

La structure du rseau dpend de prs du type des chantillons utiliss. Il faut d'abord choisir le type

de rseau. Dans le cas du rseau multicouche, il faudra choisir le nombre de neurones dans la couche

cache. Une des mthodes utilise est de prendre une moyenne du nombre de neurones d'entre et de

sortie, mais il est plus judicieux de tester les diffrentes possibilits et choisir celle qui offre les

meilleurs rsultats.

Apprentissage

Cette phase consiste calculer les pondrations optimales des diffrentes liaisons rseau de neurones,

en utilisant un chantillon. Un algorithme dentranement est utilis. Il consiste prsenter des

valeurs lentre et en fonction de l'erreur obtenue la sortie, les poids accords aux pondrations

sont corrigs. C'est un cycle qui est rpt jusqu' ce que l'erreur du rseau soit minime. Il faut

prendre garde de ne pas surentraner le rseau de neurones pour ne pas le spcialiser et le rendre

moins performant.

Validation

Une fois le rseau calcul, il faut procder des tests pour vrifier que le rseau ragit bien comme

souhait, c'est la phase de validation. La mthode la plus simple tant de garder une partie de

l'chantillon rserv l'apprentissage, pour la validation.

Application des RN la commande des processus

Les rseaux de neurones artificiels constituent des outils particulirement efficaces pour la

modlisation et la commande des systmes complexes ou mal dfinis. Leur utilisation pour la

commande de processus non linaires dcoule naturellement de leurs aptitudes la modlisation

[PER03].



Commander un processus, cest dterminer laction lui appliquer, pour lui assurer un comportement

donn, en dpit de perturbations. Cette action est dlivre par un organe ou une loi de commande, qui

peut tre ralis par un rseau de neurones.

Il existe plusieurs architectures diffrentes pour la commande de processus par rseau de neuronal

[REN95].

Systme de commande par simple bouclage

La majeure partie des systmes de commande neuronaux pour lasservissement de poursuite

appartient la catgorie des systmes dits par simple bouclage, dont le schma est reprsent sur la

figure V.12. Dans ces systmes, le signal de rtroaction est la sortie du processus. Les coefficients du

correcteur sont mis jour priodiquement si la commande est adaptative; dans le cas contraire, ses

coefficients sont fixes une fois l'apprentissage termin [PER03].

Figure V.12 : Systme de commande par simple bouclage

Figure V.13 : Systme de commande avec modle interne

Systme de commande avec modle interne

Dans les systmes de commande avec modle interne, le signal de rtroaction principal est lerreur

entre la sortie du modle interne et celle du processus. Cette erreur est reprsentative des dfauts de

modlisation et de leffet de perturbations. Grce cela, la conception dun systme de commande

neuronal robuste vis--vis de ces perturbations est plus facile. De plus, lutilisation de rseaux de

neurones comme modle interne peuvent aider lamlioration de ces systmes de commande dans le

cas de processus non linaires.

La structure de commande avec modle interne est reprsente sur la Figure V.13.

Elle comprend :

un modle neuronal, qui est le modle direct du processus.

un correcteur neuronal qui est le modle inverse du processus.

Correcteur Processus u

Perturbations

ns Organe de Commande

ns

Correcteur Processus

u

Perturbations

w yp

Modele

interne

e

+ -

+ - y

r

Organe de Commande

et305_rna_ 2015_imp

Documents