Identification de paramètres physiques à l’aide de réseaux de neurones à temps continu

François Benoît-Marand, Laurent Signac et Jean-Claude Trigeassou,

Laboratoire d’Automatique et d’Informatique Industrielle de Poitiers

I. PRINCIPES

II. IDENTIFICATION PAR RESEAUX DE NEURONES A TEMPS CONTINU

III APPLICATIONS ET RESULTATS

PLAN

I. PRINCIPES

•Définition du problème•Définition du procédé d’identification•Propriétés des réseaux de neurones•Approche discrète et approche continue

4 Définition du problème•Processus physique étudié :

•Notion de fonctions candidates :

•On recherche le couple qui approche le mieux

processus lerégissant linéairenon fonction :

êtatsd' vecteur :

entréesd' vecteur :

),(

f

X

U

XUfX

),( ioptifc f

iioptopt

i

fc

fcfc

Ec

deoptimaux paramètres :ou

candidates fonctions : ou

,candidates fonctions des ensemble :

5

Méthode avec réduction de modèleMéthode classique

• On a le système suivant :

• doit fournir les valeurs de • Pour toute fonction on préférera simuler et faire une identification dynamique :

Problème :

Temps de calcul (dû à la simulation)

ifc

• Pour un approximateur universel :

•Pour toute fonction :

Avantage :

On teste à la chaîne les fonctions candidates (identification statique)

processus

optimisation)(tU

gE S

S

optimisation

Définition du procédé d’identification

g

processus

optimisation)(tU

)(ˆ tX

)( ekTX

ifc )(ˆ tX

ifc

processus)(tU )( ekTX

X

ifcX

f f

f

ifc

g )(ˆ tX

)( ekTX

6

• Les réseaux de neurones MLP possèdent la propriété suivante [Hornik 89]

Les MLP sont des approximateurs universels

•Propriété sur la parcimonie d’un approximateur [Barron 93]

Les MLP sont des approximateurs universels parcimonieux

•Des méthodes computationnelles, dédiées à l ’optimisation, ont été développées pour les réseaux MLP (rétropropagation du gradient).

)()(,

: que telleneurones deréseau un par blesreprésenta

fonctions des ensemblel' àt appartenan F existe il alors ,0et de

compactun vers de compactun d' continuefonction une Soit

1

1

xFxfCx

R

R Cfm

n

Utilité des réseaux de neurones MLP

•Pour une précision donnée, en fonction du nombre de variables,le nombre de paramètres croit :

•exponentiellement pour un approximateur linéairepar rapport à ses paramètres (cas des polynômes)•linéairement pour un approximateur non linéaire (cas des MLP)

7 Approche discrète et approche continueRNTCRNTD

Réseaux deneurones

dR1z

1ˆ

kXkX

kU

Réseaux deneurones

cR )(ˆ tX

)(ˆ tX

)(tU

))1(())(),((

,

TkXkTXkTUR

Nk

d

)())(),((

,0

tXtXtUR

t

c

Si f est linéaire

ueIa

bxexuR aTaT

d )(),( buaxxufxuRc ),(),(

Si f est non linéaire

),(),( xufxuRc ?

8

Identification dynamique par RNTC

Rc

ifc

),( XUE S

S

optimisation

En résumé

Réduction de modèle

Rc

processus

optimisation)(tU

)(ˆ tX

)(kTeX

RNTC

f

II. IDENTIFICATION PAR RNTC

•Méthode ICES et Méthode ICEE

•Optimisation

•Algorithme de Levenberg-Marquardt

•Fonction Réalisée

•Rétropropagation du gradient

•Recherche du gradient

•Inconvénients de la méthode ICES

•Méthodologie

•Compléments

10 Méthodes RNTC : ICES et ICEE

Rc numérique

processus

)(tU

)(ˆ tX

)(kTeX

)(ˆ tXRc Prédicteur

processus

)(kTeU

))1((ˆ TekX

)(kTeX

)(ˆ kTeX

On utilise en fait un intégrateur numérique.

Plus cet intégrateur sera précis et plus sera proche de .

Pour améliorer la précision on peut :

•Diminuer la période de simulation indépendamment de ,

•Utiliser une méthode d’intégration plus précise ou augmenter l’ordre de la méthode.

De plus on pourra avoir une période de simulation variable à l ’inverse des réseaux RNTD.

Rcf

Te

Désavantages :

• La période de prédiction ne peut être inférieure à

• La méthode est sensible au bruit de sortie du processus (la sortie bruité est utilisée comme entrée de )

On la verra par la suite l’utilité de cette méthode

Rc

Te

ICES pour RNTC ICEE pour RNTC

11 Algorithme de Levenberg-Marquardt

)(ˆ)()(

avec )(1 1

2

x

e

eieiei

K

k

Nx

iei

N

K

T

TkXTkXTke

TkeJ

Principe de l’optimisation

Algorithme de Levenberg-Marquardt

K

k

Nx

ie

j

ie

i

ii,j

K

k

Nx

ie

iei

nn

TkX

TkX

J

TkX

TkeJ

JIJ

1 1

1 1

1

1

)(ˆ

)(ˆ

2

)(ˆ

)(2-

avec

: Période d’échantillonnage

: Nombre de données échantillonnées

: Nombre d’états à identifier

12 Fonction réalisée par un réseau MLP

sortie

11

1 saM

21

2 saM

101 ea

202 ea

1

entrée

NeN ea 0

0

m, couche la de i neuronedu activation :mia

réseaudu i entrée : ie

réseaudu i sortie :is

Schéma

Notations

Fonction réalisée

couche m-1

11ma

1mNm

a

1mia

1

couche m

mja

1

11

MnI

couche M

MNM

a

Ma1

MM aws )( 1

) )(()( avec 1 mmmm

m bawfaR )()()( alors 111 eRRRweR MMM

m, couche la de j neurone leet 1-m couche la de i neurone le entre poids :,m

jiwm, couche la de i neuronedu potentiel :m

jn

m. couche la de j neurone lepour 1-m couche la de biais de poids :mjb

, )( 1 mmmm bawn

mjn

mjb

mW

, )tanh()( mmm

m nnfa

mf

13 Rétropropagation du gradientSchéma

couche k couche k+1

1,1ki

11

,

kj

ikij n

s

1,1

kiNk

1

kil ,

kf 1,kjlw

11,k

lw

1, 1

kNl k

w

1

)(

alors vient Il

)(

: que montreon ger rétropropaPour

1

11

1

1,

1,,

1

1

1,

1

11

,

klm

N

j

kji

kjl

kil

kj

N

j

kjik

l

kj

N

jkj

ikl

i

klmk

l

ikm

kl

kl

ikil

nfw

wa

n

n

s

a

s

nfa

s

n

a

a

s

k

kk

sortie

1 Mmi ns

1s

Nxs

I

11, Mim

1 alors Nommons

où

:matrice la debesoin souvent auraOn

1,,

,

Mimk

m

ikim

j

iji

n

s

sM

sM

couche m-1

1,

,,

,

car détermineon alors

, de valeur la ,,triplet

pour toutconnu Supposons

k

lk

imkml

km

km

ik

ml

i

kim

aw

n

n

s

w

s

M

jik

m

jlw ,

1mla

mjb

1

couche m

14 Recherche du gradient (ICEE)

),( ),(

),(

)),((ˆ

1

kkretro

ekk

kke

ekkkk

XUMTXUM

XURcT

TXURcXX

)(

)( eM

eR retro

Par rétropropagation on connaît :

On développe directement la méthode de prédiction (Euler dans cet exemple) :

15 Recherche du gradient (ICES)

))(ˆ),(( ))(ˆ),(()(ˆ)(ˆ

))(ˆ),(()(ˆ

tXtURctXtUM

dt

dtX

dt

dtX

dt

d

tXtURctXdt

d

)ˆ,(ˆ

))(ˆ,( )ˆ,( )ˆ,(

)(ˆ ˆ

)ˆ,(

)ˆ,( ))(ˆ,(

1,,,

1

XUMX

XURcXUMXUM

dt

d

X

X

XURcXURcXURc

Nx

jlj

j

ili

retroli

Nx

j l

j

j

i

l

i

l

i

Quel que soit l’intégrateur on écrit :

On développe alors le terme de l’extrême droite (on change de notation par commodité) :

11

1

1,

1,

1

11 ˆ

)ˆ,( ˆ

)ˆ,( N

mmjim

j

mN

m m

i

j

i wX

n

n

XURc

X

XURc

Finalement on obtient :

Puis :

)ˆ,()ˆ,( )ˆ,( 1

,1

1,

1,,,

1

XUMwXUMXUMdt

d Nx

jli

N

mmjimli

retroli

16 Inconvénients de la méthode ICES

Valeurs de simulées

Valeurs de simulées

X

M Temps de calcul élevé

Fonction de sensibilité

(on ne connaît pas )

Temps de simulation

)0(M

M

t

Convergence de M Divergence de M

M

t

Identification Identification impossible

17 Méthodologie générale

IceeRc Prédicteur

processus)(kTeU

)(ˆ kTeX

)(kTeX

)(ˆ kTeX

Filtre PB

Réduction de modèle

Méthode ICES partant du réseau

Méthode ICEE (avec filtre PB)

numérique

processus)(tU

)(ˆ tX

)(kTeX

)(ˆ tXIcesRc

ifc

),( XUE XS

Scorrecteur

IcesRc

18

Réduction de modèle :

Nous n ’avons pour l ’instant que survolé cette partie du problème.Nous utilisons pour l ’identification la fonction lsqcurvefit de MathLab qui utilise différente méthode (Gauss-Newton par exemple ou Levenberg-Marquardt)

On donnera plus d ’information sur cette partie du problème dans la section Application.

Compléments

f

Influence de l’intégrateur :

Pour la méthode ICES, on utilise un intégrateur numérique. Plus cet intégrateur sera précis et plus la fonction identifiée sera proche de la fonction . Dans le cadre de nos travaux nous avons comparé deux types d ’intégrateurs :Euler et Runge-Kutta 4.

Pour la méthode ICEE, nous nous sommes limité à un prédicteur basé sur la méthode de Euler. Cela nous a suffit car cette méthode sert uniquement pour initialiser les paramètres du réseau avant d ’utiliser la méthode ICES.

III. EXEMPLES D’APPLICATIONS ET RESULTATS

•Cinétique Chimique

•Ordre supérieur

•Système mixte

20 Cinétique chimiqueDéfinition du processus

2

21615

22

1413121),,(XXBX

XXXBXABAXfX

Exemple d ’une réaction chimique factice :

Les deux réactifs de la réaction sont A et B

Les produits de la réaction sont C et D.

Il y a deux composés intermédiaires et .

Les réactions élémentaires sont les suivantes :

Une connaissance experte du système nous indique que :

L ’objectif est de déterminer la valeur numérique des paramètres physiques qui dépendent des constantes cinétiques des réactions élémentaires.

1X 2X

DX

XXX

CXXB

XA

121

21

1

32

i

21 Cinétique chimiqueDéfinition du processus

'

22

11

22

11

),( avec

)1(),(

BAU

XXBX

XXXBAUXfX

Données réelles Données bruitées

AB

X1X2

X1X2

22 Cinétique chimiqueRésultat de l’identification par la

méthode ICEE sur les données réelles

X1 estiméX1 réel

X2 estiméX2 réel

23 Cinétique chimiqueRésultat de l’identification par la

méthode ICEE sur les données bruitées

La fonction réalisée par le réseau est biaisé. Toutefois l’utilisation d ’un filtre PB va nous

permettre d ’atténuer ce problème.

X2 estiméX2 réel

X1 estiméX1 réel

24 Cinétique chimiqueRésultat de l’identification par la

méthode ICES sur les données bruitées

(en partant du réseau obtenu par ICEE)

X1 estiméX1 réel

X2 estiméX2 réel

25 Cinétique chimiqueRéduction de modèle

2

211

22

11)1(),(

XXBX

XXXBAUXfX

On étudie la fonction candidate suivante :

2

21514

22

13121 )1(),(

XXBX

XXXBAUXfc

Les paramètres physiques associés sont : )1,1,1,1,1(réelSi on opte pour un intégrateur de type Euler on trouve : )99.0,99.0,88.0,88.0,88.0(EulerSi on opte pour un intégrateur de type RK4 on trouve : )94.0,00.1,94.0,94.0,94.0(4 RK

Nous avons testé d ’autres fonctions candidates :–si l ’un des termes initialement présents n ’apparaît pas dans la fonction, l ’erreur de réduction de modèle est au moins 50 fois supérieure à celle obtenue dans les cas précédents–si on rajoute des termes à l ’expression précédente alors les résidus de la réduction de modèle ne diminuent que très peu (diminution de moins de 5 pour-cent de l ’erreur pour l ’ajout de 6 termes supplémentaires ou plus)

•L ’étude des résidus de la réduction de modèle va donc nous permettre de déterminer les termes nécessaires et nous permettre de discuter de l ’utilité de termes supplémentaires.

De nombreuses fonctions seront testées et l ’on comprend mieux l ’intérêt de pouvoir faire ces tests à la chaine par identification statique.

26 Ordre supérieurDéfinition du processus

XXXXUX 2.02.0

27 Ordre supérieurIdentification par RNTC d ’ordre 1 avec ICES

28 Ordre supérieurIdentification par RNTC d ’ordre 2 avec ICES

29 Ordres supérieurRéduction de modèle

On étudie la fonction candidate suivante :

Les paramètres physiques associés sont : )2.0,0,0,1,2.0,1( réel

Si on opte pour un intégrateur de type RK4 on trouve :

)197.0,10,0,988.0,198.0,990.0( 34

RK

XXXXUX 2.02.0

XXXUXUXXUX 654321

30 Système mixteDéfinition du processus

2221

2121

2

1

1.05.03.02.03.0

16.032.064.032.0),(

XUXXXU

XXUXXUUXf

X

X

31 Système mixteIdentification par RNTC avec ICES

pour des ordres différents

IV. CONCLUSION

•Modèle boite noire (DMNN)

•Modèle semi physique à temps discret

•Modèle semi physique à temps continu

33 Modèle boite noire

Principales références : Narendra et Parthasarathy (1990) et Miller,Sutton et Werbos (1990)

Inconvénients de la méthode :

•Le réseau n ’identifie pas directement la fonction .

•La méthode ne permet pas d ’utiliser une période de simulation variable.

•De plus les méthodes classiquement utilisées pour retrouver sont basées sur des méthodes peu raffinées :

Réseaux deneurones

dR1z

1ˆ

kXkX

kU

dR f

f

kkkdkk XXURT

XUf )(1

)(ˆ,,

34 Modèle semi physique à temps discretCes modèles sont obtenus par discrétisation du modèle de connaissance :

Ces méthodes permettent de palier aux problèmes du modèle boite noire :

• approche directement la fonction .

•La période de simulation peut être variable.

•La précision de l ’identification sera fonction de la précision de la méthode de discrétisation.

kxcR

T

1ˆ kx

kxcR cR cR cR

6

T

T2

T

2

T

6

2T

6

2T

TxRx kck )()f(x

:Euler de méthode lasur Basé

1k )22(6

1)f(x

: 4 Kutta-Runge de méthode lasur Basé

32101k kkkkTxk

)(

)2

1(

)2

1(

)(

23

12

01

0

kTxRk

kTxRk

kTxRck

xRck

kc

kc

k

k

Yi-Jen Wang et Chin-Teng Lin (1998)

cR f

35 Modèle semi physique à temps continu

Réseaux deneurones

cR )(ˆ tX

)(ˆ tX

)(tU

Finalement le modèle introduit (RNTC) a les avantages du modèle semi physique à temps discret.

Il possède deux atouts supplémentaires :

•L ’architecture du procédé est indépendante de la méthode d ’intégration choisie

•La méthode d ’optimisation est indépendante de la méthode d ’intégration choisie

L ’approche à temps continu apparaît plus générale que la méthode de discrétisation du modèle de connaissance.