planification séquentielle pour l'estimation de probabilités de défaillance

Post on 04-Jul-2015

338 Views

Category:

Education

0 Downloads

Preview:

Click to see full reader

DESCRIPTION

Slides for my talk at the MASCOT-NUM "rare events" workshop (May 4, 2010, Institut Henri Poincaré)

TRANSCRIPT

Planification séquentiellepour l’estimation de probabilités de défaillance

Julien Bect

En collaboration avec Ling Li et Emmanuel Vazquez

SUPELEC

4 mai 2010Atelier événements rares

GdR MASCOT-NUM

J. Bect (Supélec) Planification séquentielle 4 mai 2010 1 / 33

Le problème à résoudre. . .

Données du problème

un domaine X ⊂ Rd compact (espace des facteurs)

une fonction f : X → R coûteuse à évaluer

une loi PX sur l’espace des facteurs

un seuil T ∈ R

On veut calculer

α(f ) = PX

{x ∈ X : f (x) > T

}=

X

1f >T dPX

J. Bect (Supélec) Planification séquentielle 4 mai 2010 2 / 33

Le problème à résoudre. . .

Données du problème

un domaine X ⊂ Rd compact (espace des facteurs)

une fonction f : X → R coûteuse à évaluer

une loi PX sur l’espace des facteurs

un seuil T ∈ R

On veut calculer

α(f ) = PX

{x ∈ X : f (x) > T

}=

X

1f >T dPX

Important

Il ne s’agit pas (encore) d’un problème d’inférence statistique !

J. Bect (Supélec) Planification séquentielle 4 mai 2010 2 / 33

Événement rare ?

Fonction coûteuse à évaluer

par ex., le calcul de f (x) fait appel à un code aux éléments finisbudget limité d’évaluations« rare » 6⇒ α(f ) extrêmement petit

J. Bect (Supélec) Planification séquentielle 4 mai 2010 3 / 33

Événement rare ?

Fonction coûteuse à évaluer

par ex., le calcul de f (x) fait appel à un code aux éléments finisbudget limité d’évaluations« rare » 6⇒ α(f ) extrêmement petit

État de l’art pré-2004 (thèses : Lagnoux Renaudie, 2006 ; Piera-Martinez, 2008)

méthodes fondées sur des approximations paramétriquesex : FORM/SORM, surface de réponse polynomialeéconomique mais souvent peu précis

méthodes utilisant l’échantillonnage aléatoireMonte-Carlo, échantillonnage préférentiel, stratifié, etc.convergentes mais gourmand en évaluations

J. Bect (Supélec) Planification séquentielle 4 mai 2010 3 / 33

Événement rare ?

Fonction coûteuse à évaluer

par ex., le calcul de f (x) fait appel à un code aux éléments finisbudget limité d’évaluations« rare » 6⇒ α(f ) extrêmement petit

État de l’art pré-2004 (thèses : Lagnoux Renaudie, 2006 ; Piera-Martinez, 2008)

méthodes fondées sur des approximations paramétriquesex : FORM/SORM, surface de réponse polynomialeéconomique mais souvent peu précis

méthodes utilisant l’échantillonnage aléatoireMonte-Carlo, échantillonnage préférentiel, stratifié, etc.convergentes mais gourmand en évaluations

Idée : approche bayésienne non-paramétrique

info. a priori sur f −→ méthodes convergentes et économiques

J. Bect (Supélec) Planification séquentielle 4 mai 2010 3 / 33

Processus gaussiens / krigeage

Apparition du krigeage en fiabilité (surface de réponse non-paramétrique)Romero, Swiler et Giunta (Struct. Safety, 2004)

Kaymaz (Struct. Safety, 2005)

Shan et Wang (J. Mech. Design, 2006)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 4 / 33

Processus gaussiens / krigeage

Apparition du krigeage en fiabilité (surface de réponse non-paramétrique)Romero, Swiler et Giunta (Struct. Safety, 2004)

Kaymaz (Struct. Safety, 2005)

Shan et Wang (J. Mech. Design, 2006)

Premiers travaux en planification séquentielle, point de vue bayésienVazquez et Piera-Martinez (JdS 2007), Vazquez et Bect (SYSID’09)

Picheny, Ginsbourger, Roustant, Haftka (ENBIS’08)Picheny, Ginsbourger, Roustant, Haftka et Kim (J. Mech. Design (tbp))

Ranjan, Bingham et Michailidis (Technometrics, 2008)

Bichon, Eldred, Swiler, Mahadevan et McFarland (J. AIAA 2008)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 4 / 33

Processus gaussiens / krigeage

Apparition du krigeage en fiabilité (surface de réponse non-paramétrique)Romero, Swiler et Giunta (Struct. Safety, 2004)

Kaymaz (Struct. Safety, 2005)

Shan et Wang (J. Mech. Design, 2006)

Premiers travaux en planification séquentielle, point de vue bayésienVazquez et Piera-Martinez (JdS 2007), Vazquez et Bect (SYSID’09)

Picheny, Ginsbourger, Roustant, Haftka (ENBIS’08)Picheny, Ginsbourger, Roustant, Haftka et Kim (J. Mech. Design (tbp))

Ranjan, Bingham et Michailidis (Technometrics, 2008)

Bichon, Eldred, Swiler, Mahadevan et McFarland (J. AIAA 2008)

Dans cet exposé. . .

une introduction générale au sujet (biaisée)

les premiers résultats obtenus par Ling Li dans le cadre de sa thèse

J. Bect (Supélec) Planification séquentielle 4 mai 2010 4 / 33

1 Formalisme : théorie bayésienne de la décision

2 Processus gaussiens et modèles dérivés

3 Tour d’horizon des stratégies séquentielles existantes

4 Conclusion et perpectives

J. Bect (Supélec) Planification séquentielle 4 mai 2010 5 / 33

1 Formalisme : théorie bayésienne de la décision

2 Processus gaussiens et modèles dérivés

3 Tour d’horizon des stratégies séquentielles existantes

4 Conclusion et perpectives

J. Bect (Supélec) Planification séquentielle 4 mai 2010 6 / 33

Cadre décisionnel (1/2)

Contrainte : on dispose d’un budget limité de N évaluations.

choisir x ∈ X −→ obtenir f (x) ∈ R

Questions1 comment choisir séquentiellement les entrées x1, . . . , xN ?2 comment estimer α(f ) à partir de f (x1), . . . , f (xN) ?

J. Bect (Supélec) Planification séquentielle 4 mai 2010 7 / 33

Cadre décisionnel (1/2)

Contrainte : on dispose d’un budget limité de N évaluations.

choisir x ∈ X −→ obtenir f (x) ∈ R

Questions1 comment choisir séquentiellement les entrées x1, . . . , xN ?2 comment estimer α(f ) à partir de f (x1), . . . , f (xN) ?

Réponse dans un cadre bayésien (pré-requis)

choix d’une fonction de coût C (α, α̂) = (α − α̂)2

choix d’une loi a priori pour la fonction f inconnue⇒ f est maintenant vue comme un processus aléatoire ξ !

J. Bect (Supélec) Planification séquentielle 4 mai 2010 7 / 33

Cadre décisionnel (2/2)

Notations : X1, . . . , XN points d’évaluations

In =(X1, ξ(X1), . . . , Xn, ξ(Xn)

)info. disponible au temps n

Fn = σ(In), α = α(ξ), α̂n = α̂n(In)

Réponse dans un cadre bayésien (suite)

On cherche X1, . . . XN et α̂N

qui minimisent E{

(α − α̂N)2}

avec Xn+1 Fn-mesurable, ∀n ≥ 1

J. Bect (Supélec) Planification séquentielle 4 mai 2010 8 / 33

Cadre décisionnel (2/2)

Notations : X1, . . . , XN points d’évaluations

In =(X1, ξ(X1), . . . , Xn, ξ(Xn)

)info. disponible au temps n

Fn = σ(In), α = α(ξ), α̂n = α̂n(In)

Réponse dans un cadre bayésien (suite)

On cherche X1, . . . XN et α̂N

qui minimisent E{

(α − α̂N)2}

avec Xn+1 Fn-mesurable, ∀n ≥ 1

Généralisations possibles :

évaluations en batchs (utile pour paralléliser)

évaluations bruités (ex : code de calcul à base de MC)

décisions randomisées, autres critères d’arrêt, etc.

J. Bect (Supélec) Planification séquentielle 4 mai 2010 8 / 33

Estimateur optimal

Notations : Pn , P { · | Fn} et En , E { · | Fn}

Meilleur estimateur FN -mesurable (risque quadratique) :

α̂N = EN (α)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 9 / 33

Estimateur optimal

Notations : Pn , P { · | Fn} et En , E { · | Fn}

Meilleur estimateur FN -mesurable (risque quadratique) :

α̂N = EN (α)

En posant pn(x) = Pn {ξ(x) > T}, on a

α̂N = EN

(∫

X

1f >T dPX

)=

X

pN dPX ,

Important

On a transformé un problème de calcul d’intégrale en un autre problème decalcul d’intégrale ⇒ intéressant si la seconde est plus facile à calculer !

J. Bect (Supélec) Planification séquentielle 4 mai 2010 9 / 33

Estimateurs fondés sur une fonction de classification

On peut aussi chercher un estimateur « plugin » de la forme

α̂N =

X

gN dPX , avec gN : X → {0, 1} (1)

gN est une fonction de classification dure

ex : SVM dans la méthode SMART (thèse de F. Deheeger (LaMI))

J. Bect (Supélec) Planification séquentielle 4 mai 2010 10 / 33

Estimateurs fondés sur une fonction de classification

On peut aussi chercher un estimateur « plugin » de la forme

α̂N =

X

gN dPX , avec gN : X → {0, 1} (1)

gN est une fonction de classification dure

ex : SVM dans la méthode SMART (thèse de F. Deheeger (LaMI))

Meilleure fonction de classification à injecter dans (1) :

gN = 1pN>1/2 = 1ξ̂N>T,

avec ξ̂N(x) la médiane a posteriori de ξ(x) (au temps N).

J. Bect (Supélec) Planification séquentielle 4 mai 2010 10 / 33

Stratégie bayésienne optimale (1/2)

On fixe un estimateur α̂N (par ex : α̂N = EN (α)).

Stratégie bayésienne optimale ?

stratégie : suite X1, . . . , XN avec Xn+1 Fn-mesurable

bayésienne optimale : minimisant E{(α − α̂N)2

}

J. Bect (Supélec) Planification séquentielle 4 mai 2010 11 / 33

Stratégie bayésienne optimale (1/2)

On fixe un estimateur α̂N (par ex : α̂N = EN (α)).

Stratégie bayésienne optimale ?

stratégie : suite X1, . . . , XN avec Xn+1 Fn-mesurable

bayésienne optimale : minimisant E{(α − α̂N)2

}

Formellement, la solution s’obtient par programmation dynamique

calcul par récurrence (rétrograde) du risque bayésien

RN(IN) = EN

{(α − α̂N)2

}

Rn(In) = minXn+1

En (Rn+1(In+1)) , n = N − 1, . . . , 1

stratégie optimale : Xn+1 = argmin En (Rn+1(In+1))

J. Bect (Supélec) Planification séquentielle 4 mai 2010 11 / 33

Stratégie bayésienne optimale (2/2)

La stratégie optimale fait apparaître un critère d’échantillonnage optimal :

Jn (In, Xn+1) , En (Rn+1(In+1))

J. Bect (Supélec) Planification séquentielle 4 mai 2010 12 / 33

Stratégie bayésienne optimale (2/2)

La stratégie optimale fait apparaître un critère d’échantillonnage optimal :

Jn (In, Xn+1) , En (Rn+1(In+1))

Malheureusement. . .

espace d’état continu, dim. n

espace d’actions continu également

}⇒ calcul exact impossible !

Problème

Comment construire de bonnes solutions sous-optimales ?

J. Bect (Supélec) Planification séquentielle 4 mai 2010 12 / 33

1 Formalisme : théorie bayésienne de la décision

2 Processus gaussiens et modèles dérivés

3 Tour d’horizon des stratégies séquentielles existantes

4 Conclusion et perpectives

J. Bect (Supélec) Planification séquentielle 4 mai 2010 13 / 33

Pourquoi des processus gaussiens ?

verrou

besoin de savoir calculer (ou simuler) efficacement la loi a posteriori Pξ|Fn

clé

modèles (a priori) construit à partir de processus gaussiens (GP)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 14 / 33

Pourquoi des processus gaussiens ?

verrou

besoin de savoir calculer (ou simuler) efficacement la loi a posteriori Pξ|Fn

clé

modèles (a priori) construit à partir de processus gaussiens (GP)

Le GP comme a priori sur une fonction inconnue : un peu d’histoire . . .

les originesprédiction linéaire BLUP (Mathéron, Parzen ; années 60)processus de Wiener en optimisation (Kushner, 1964)splines & interprétation bayésienne (Kimeldorf & Wahba ; 70/71)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 14 / 33

Pourquoi des processus gaussiens ?

verrou

besoin de savoir calculer (ou simuler) efficacement la loi a posteriori Pξ|Fn

clé

modèles (a priori) construit à partir de processus gaussiens (GP)

Le GP comme a priori sur une fonction inconnue : un peu d’histoire . . .

les originesprédiction linéaire BLUP (Mathéron, Parzen ; années 60)processus de Wiener en optimisation (Kushner, 1964)splines & interprétation bayésienne (Kimeldorf & Wahba ; 70/71)

1978, année bayésienneen stats, trois articles dans JRSS (Wahba, O’Hagan, Leonard)en optimisation : critère EI (Mockus, Tiesis, Zilinskas)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 14 / 33

Pourquoi des processus gaussiens ?

verrou

besoin de savoir calculer (ou simuler) efficacement la loi a posteriori Pξ|Fn

clé

modèles (a priori) construit à partir de processus gaussiens (GP)

Le GP comme a priori sur une fonction inconnue : un peu d’histoire . . .

les originesprédiction linéaire BLUP (Mathéron, Parzen ; années 60)processus de Wiener en optimisation (Kushner, 1964)splines & interprétation bayésienne (Kimeldorf & Wahba ; 70/71)

1978, année bayésienneen stats, trois articles dans JRSS (Wahba, O’Hagan, Leonard)en optimisation : critère EI (Mockus, Tiesis, Zilinskas)

DACE (Design & Analysis of Computer Experiments)Sacks et al. (1989), Currin et al. (1991)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 14 / 33

Propriété fondamentale des GP

Propriété

Si ξ ∼ GP (m(x), k(x , x ′)), alors ξ | Fn ∼ GP

(ξ̂n(x), kn(x , x ′)

),

avec ξ̂n et kn donnés par les équations du krigeage (simple).

J. Bect (Supélec) Planification séquentielle 4 mai 2010 15 / 33

Propriété fondamentale des GP

Propriété

Si ξ ∼ GP (m(x), k(x , x ′)), alors ξ | Fn ∼ GP

(ξ̂n(x), kn(x , x ′)

),

avec ξ̂n et kn donnés par les équations du krigeage (simple).

Etat de l’art : modèles hiérarchiques construits autour du GP

« DACE » : krigeage ordinaire + approche bayésienne empirique

krigeage bayésien (ex : méthodologie BACCO par O’Hagan et collab.)

treed GP (par Gramacy & Lee)

Note : krigeage bayésien, treed GP ⇒ (RJ)MCMC

J. Bect (Supélec) Planification séquentielle 4 mai 2010 15 / 33

Modèle « DACE » (le plus répandu ?)

On considère :moyenne constante inconnue m(x) = m ∈ R

covariance stationnaire de la forme k(x , x ′) = σ2 rθ(x − x ′)

propriété (en supposant σ2 et θ connus)

Si

{ξ | m ∼ GP

(m, k(x , x ′)

)

m ∼ UR

alors ξ | Fn ∼ GP

(ξ̂n(x), kn(x , x ′)

)

avec ξ̂n et kn donnés par les équations du krigeage (ordinaire).

J. Bect (Supélec) Planification séquentielle 4 mai 2010 16 / 33

Modèle « DACE » (le plus répandu ?)

On considère :moyenne constante inconnue m(x) = m ∈ R

covariance stationnaire de la forme k(x , x ′) = σ2 rθ(x − x ′)

propriété (en supposant σ2 et θ connus)

Si

{ξ | m ∼ GP

(m, k(x , x ′)

)

m ∼ UR

alors ξ | Fn ∼ GP

(ξ̂n(x), kn(x , x ′)

)

avec ξ̂n et kn donnés par les équations du krigeage (ordinaire).

Approche bayésienne empirique : σ2 et θ sont estimés par MML(maximisation de la vraisemblance marginale)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 16 / 33

Modèle « DACE » (le plus répandu ?)

On considère :moyenne constante inconnue m(x) = m ∈ R

covariance stationnaire de la forme k(x , x ′) = σ2 rθ(x − x ′)

propriété (en supposant σ2 et θ connus)

Si

{ξ | m ∼ GP

(m, k(x , x ′)

)

m ∼ UR

alors ξ | Fn ∼ GP

(ξ̂n(x), kn(x , x ′)

)

avec ξ̂n et kn donnés par les équations du krigeage (ordinaire).

Approche bayésienne empirique : σ2 et θ sont estimés par MML(maximisation de la vraisemblance marginale)

Mise en garde

Les procédures séquentielles qui ré-estiment les paramètres à chaqueétape par MML n’ont, à l’heure actuelle, aucun fondement théorique.

J. Bect (Supélec) Planification séquentielle 4 mai 2010 16 / 33

Quelques quantités utiles pour la suite (et faciles à calculer)

Notation : σ2n(x) = kn(x , x) ; Φ la FR de la loi N (0, 1).

Probabilité de dépassement du seuil T au point x ∈ X :

pn(x) = Pn {ξ(x) > T} = 1 − Φ

(ξ̂n(x) − T

σn(x)

)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 17 / 33

Quelques quantités utiles pour la suite (et faciles à calculer)

Notation : σ2n(x) = kn(x , x) ; Φ la FR de la loi N (0, 1).

Probabilité de dépassement du seuil T au point x ∈ X :

pn(x) = Pn {ξ(x) > T} = 1 − Φ

(ξ̂n(x) − T

σn(x)

)

Probabilité de mauvaise classification au point x ∈ X :

τn(x) = Pn

{(ξ(x) − T )(ξ̂n(x) − T ) < 0

}= 1 − Φ

∣∣∣ξ̂n(x) − T∣∣∣

σn(x)

Remarque : τn = min (pn, 1 − pn).

J. Bect (Supélec) Planification séquentielle 4 mai 2010 17 / 33

Illustration

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

pn

τ n

J. Bect (Supélec) Planification séquentielle 4 mai 2010 18 / 33

Illustration

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

pn

τ n

J. Bect (Supélec) Planification séquentielle 4 mai 2010 18 / 33

1 Formalisme : théorie bayésienne de la décision

2 Processus gaussiens et modèles dérivés

3 Tour d’horizon des stratégies séquentielles existantes

4 Conclusion et perpectives

J. Bect (Supélec) Planification séquentielle 4 mai 2010 19 / 33

Stratégies fondées sur une anticipation de k évaluations

Principe général (k-step look-ahead) :

Jn(In, Xn+1) = En

(minXn+2

En+1

(. . . min

Xn+k

En+k−1

(R̃n+k (In+k)

)))

avec R̃n+k un substitut du risque bayésien Rn+k .

J. Bect (Supélec) Planification séquentielle 4 mai 2010 20 / 33

Stratégies fondées sur une anticipation de k évaluations

Principe général (k-step look-ahead) :

Jn(In, Xn+1) = En

(minXn+2

En+1

(. . . min

Xn+k

En+k−1

(R̃n+k (In+k)

)))

avec R̃n+k un substitut du risque bayésien Rn+k .

Cas particulier : k = 1 (one-step look-ahead)

Jn(In, Xn+1) = En

(R̃n+1 (In+1)

)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 20 / 33

Stratégies fondées sur une anticipation de k évaluations

Principe général (k-step look-ahead) :

Jn(In, Xn+1) = En

(minXn+2

En+1

(. . . min

Xn+k

En+k−1

(R̃n+k (In+k)

)))

avec R̃n+k un substitut du risque bayésien Rn+k .

Cas particulier : k = 1 (one-step look-ahead)

Jn(In, Xn+1) = En

(R̃n+1 (In+1)

)

Stratégies OSL proposées dans la littérature :

SUR (Piera-Martinez & Vazquez, JdS’07 ; Vazquez & Bect, SYSID’09)

targeted IMSE (Picheny et. al, ENBIS8 (2008), J. Mech. Design (tbp))

J. Bect (Supélec) Planification séquentielle 4 mai 2010 20 / 33

SUR : Stepwise Uncertainty Reduction (1/2)

Principe (cf. algorithme IAGO, thèse Villemonteix, 2008)

Chercher à réduire au plus l’incertitude résiduelle.

J. Bect (Supélec) Planification séquentielle 4 mai 2010 21 / 33

SUR : Stepwise Uncertainty Reduction (1/2)

Principe (cf. algorithme IAGO, thèse Villemonteix, 2008)

Chercher à réduire au plus l’incertitude résiduelle.

Mise en œuvre

1 Approximation gloutonne du risque :

R̃n+1 = En+1

((α − α̂n+1)

2)

⇒ Jn = En

((α − α̂n+1)

2)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 21 / 33

SUR : Stepwise Uncertainty Reduction (1/2)

Principe (cf. algorithme IAGO, thèse Villemonteix, 2008)

Chercher à réduire au plus l’incertitude résiduelle.

Mise en œuvre

1 Approximation gloutonne du risque :

R̃n+1 = En+1

((α − α̂n+1)

2)

⇒ Jn = En

((α − α̂n+1)

2)

2 Calcul d’une borne supérieure

Jn ≤ En

((∫

X

γn dPX

)2)

(2)

3 Discrétisation et minimisation de la borne (2).

J. Bect (Supélec) Planification séquentielle 4 mai 2010 21 / 33

SUR : Stepwise Uncertainty Reduction (2/2)

Expression(s) de la fonction γn :

α̂n+1 = En+1 (α) γ2n(x) = pn(x) (1 − pn(x))

variance de l’indicatrice de dépassement

α̂n+1 =∫X1ξ̂n>T

dPX γ2n(x) = min (pn(x) , 1 − pn(x)) = τn(x)

probabilité de mauvais classement

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1er cas2eme cas

pn

γn

(àune

cst

prè

s)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 22 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2.5

−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

0 0.5 1

10−1

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−2

10−1

100

101

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2.5

−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

0 0.5 1

10−1

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−0.78

10−0.75

10−0.72

10−0.69

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

0 0.5 110

−1.3

10−1.2

10−1.1

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 15

10−0.8

10−0.7

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

0 0.5 1

10−1.3

10−1.2

10−1.1

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−0.9

10−0.8

10−0.7

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

0 0.5 1

10−1.6

10−1.5

10−1.4

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

0 0.5 1

10−1.8

10−1.7

10−1.6

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

1.5

0 0.5 1

10−2

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

1.5

0 0.5 1

10−2

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

1.5

0 0.5 1

10−2.8

10−2.7

10−2.6

10−2.5

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 1

10−3.6

10−3.4

10−3.2

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 1

10−3.9

10−3.7

10−3.5

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 1

10−4

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 1

10−5

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−4

10−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 110

−6

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−4

10−3

10−2

10−1

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Illustration : X = [0; 1], PX = U[0;1], α(f ) = 2%

0 0.5 1−1.5

−1

−0.5

0

0.5

1

0 0.5 1

10−7

0 0.5 1

0

0.2

0.4

0.6

0.8

1

0 5 10 15

0.05

0.1

0.15

0.2

iter

0 5 10 1510

−5

100

iter

pn

J n α̂n

|α̂n−

α|

J. Bect (Supélec) Planification séquentielle 4 mai 2010 23 / 33

Targeted IMSE

Méthode fondée sur l’IMSE pondéré :

R̃n+1(In+1) =

X

σ2n+1(x) Wn+1(x) dPX

où g est une fenêtre ≥ 0 et Wn+1(x) = En+1

(g(ξ(x) − T )

)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 24 / 33

Targeted IMSE

Méthode fondée sur l’IMSE pondéré :

R̃n+1(In+1) =

X

σ2n+1(x) Wn+1(x) dPX

où g est une fenêtre ≥ 0 et Wn+1(x) = En+1

(g(ξ(x) − T )

)

Le critère d’échantillonnage correspondant s’écrit :

Jn (In, Xn+1) =

X

σ2n+1(x) Wn(x) dPX

Pondération recommendée par les auteurs :

g(z) = e− z

2

2 σ2ε ⇒ Wn(x) ∝

1√σ2

ε + σ2n(x)

e− 1

2

(ξ̂n(x)−T)2

σ2ε+σ2

n(x)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 24 / 33

Une comparaison des critères existants : protocole

X = [0; 1] avec PX = U[0;1]

comparaison en moyenne sur 4000 trajectoires d’un GPGP centré, covariance de Matérn (σ2 = 1, ν = 2, ρ = 0.1)les algos utilisent la vraie fonction de covarianceT de façon à ce que α = 2%.

J. Bect (Supélec) Planification séquentielle 4 mai 2010 25 / 33

Une comparaison des critères existants : protocole

X = [0; 1] avec PX = U[0;1]

comparaison en moyenne sur 4000 trajectoires d’un GPGP centré, covariance de Matérn (σ2 = 1, ν = 2, ρ = 0.1)les algos utilisent la vraie fonction de covarianceT de façon à ce que α = 2%.

version discrétisée du problème (« méta-estimation »)

Y1, . . . , Ymiid∼ PX (m = 500)

on veut estimer l’estimateur αm = 1

m

∑j 1ξ(Yj )>T

on travaille sur X̃m = {Y1, . . . , Ym} avec P̃mX

= 1

m

∑j δYj

J. Bect (Supélec) Planification séquentielle 4 mai 2010 25 / 33

Une comparaison des critères existants : protocole

X = [0; 1] avec PX = U[0;1]

comparaison en moyenne sur 4000 trajectoires d’un GPGP centré, covariance de Matérn (σ2 = 1, ν = 2, ρ = 0.1)les algos utilisent la vraie fonction de covarianceT de façon à ce que α = 2%.

version discrétisée du problème (« méta-estimation »)

Y1, . . . , Ymiid∼ PX (m = 500)

on veut estimer l’estimateur αm = 1

m

∑j 1ξ(Yj )>T

on travaille sur X̃m = {Y1, . . . , Ym} avec P̃mX

= 1

m

∑j δYj

autres critères comparés (en plus de SUR et targeted IMSE)Ranjan, Bingham et Michailidis (Technometrics 2008)Bichon, Eldred, Swiler, Mahadevan et McFarland (J. AIAA 2008)Echard, Gayton et Lemaire (Journées Nat. de Fiabilité, 2010)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 25 / 33

Une comparaison des critères existants : resultats (1/2)

5 10 15 20 25 30−40

−30

−20

−10

0

10

nb évaluations

MSE

(dB)

SURtIMSE, σε = 0tIMSE, σε = 0.1tIMSE, σε = 1.0

J. Bect (Supélec) Planification séquentielle 4 mai 2010 26 / 33

Une comparaison des critères existants : resultats (2/2)

5 10 15 20 25 30−40

−30

−20

−10

0

10

RanjanBichonEchard

nb évaluations

MSE

(dB)

SURtIMSE, σε = 0

J. Bect (Supélec) Planification séquentielle 4 mai 2010 27 / 33

Conclusions

A retenir :

Prise en compte d’information a priori sur f , dans un cadre bayésiennon-paramétrique −→ méthodes qui convergent rapidement

L’approche déplace le problème d’intégration mais ne le supprime pas−→ complément aux méthodes existantes (par ex. Monte Carlo)

Les premières études empiriques montrent le potentiel des stratégiesone-step look-ahead (SUR, targeted IMSE)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 28 / 33

Conclusions

A retenir :

Prise en compte d’information a priori sur f , dans un cadre bayésiennon-paramétrique −→ méthodes qui convergent rapidement

L’approche déplace le problème d’intégration mais ne le supprime pas−→ complément aux méthodes existantes (par ex. Monte Carlo)

Les premières études empiriques montrent le potentiel des stratégiesone-step look-ahead (SUR, targeted IMSE)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 28 / 33

Conclusions

A retenir :

Prise en compte d’information a priori sur f , dans un cadre bayésiennon-paramétrique −→ méthodes qui convergent rapidement

L’approche déplace le problème d’intégration mais ne le supprime pas−→ complément aux méthodes existantes (par ex. Monte Carlo)

Les premières études empiriques montrent le potentiel des stratégiesone-step look-ahead (SUR, targeted IMSE)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 28 / 33

Perspectives

Mieux exploiter la complémentarité bayésienne/fréquentisteméta-estimation −→ intervalles de confiance

papier en cours de réaction avec E. Vazquez (bientôt sur arXiv. . . )

combinaison GP / techniques d’échantillonnage aléatoire

cf. exposé de Pierre Barbillon à MASCOT-NUM 2010

J. Bect (Supélec) Planification séquentielle 4 mai 2010 29 / 33

Perspectives

Mieux exploiter la complémentarité bayésienne/fréquentisteméta-estimation −→ intervalles de confiance

papier en cours de réaction avec E. Vazquez (bientôt sur arXiv. . . )

combinaison GP / techniques d’échantillonnage aléatoire

cf. exposé de Pierre Barbillon à MASCOT-NUM 2010

Poursuivre l’analyse des stratégies de planificationen simulation & sur cas tests industriels

collaboration SUPELEC / B. Iooss (code Cathare)D. Ginsbourger et collab. : projet de toolbox libre (R) ?

sur le plan théorique

convergence, vitesse de convergence

J. Bect (Supélec) Planification séquentielle 4 mai 2010 29 / 33

Perspectives

Mieux exploiter la complémentarité bayésienne/fréquentisteméta-estimation −→ intervalles de confiance

papier en cours de réaction avec E. Vazquez (bientôt sur arXiv. . . )

combinaison GP / techniques d’échantillonnage aléatoire

cf. exposé de Pierre Barbillon à MASCOT-NUM 2010

Poursuivre l’analyse des stratégies de planificationen simulation & sur cas tests industriels

collaboration SUPELEC / B. Iooss (code Cathare)D. Ginsbourger et collab. : projet de toolbox libre (R) ?

sur le plan théorique

convergence, vitesse de convergence

En cours : thèse de Li Ling (financement projet CSDL)

J. Bect (Supélec) Planification séquentielle 4 mai 2010 29 / 33

Bibliographie

Références traitant de la stratégie SUR :

E. Vazquez et M. Piera-Martinez, Estimation du volume des ensembles d’excursion

d’un processus gaussien par krigeage intrinsèque, 39èmes Journées de Statistiques

(JdS 2007), CD-ROM proceedings, Angers (France), 11–15 juin 2007 [clickme]

M. Piera-Martinez, Modélisation des comportements extrêmes en ingénierie, Thèse

de l’Université Paris-Sud 11 / Supélec, 29 septembre 2008 [clickme]

E. Vazquez et J. Bect, A sequential Bayesian algorithm to estimate a probability of

failure, 15th IFAC Symposium on System Identification (SYSID 2009), Saint-Malo,

France. IFAC-PapersOnLine / Elsevier, 2009 [clickme]

J. Bect (Supélec) Planification séquentielle 4 mai 2010 30 / 33

Bibliographie

Références traitant de la stratégie targeted IMSE :

V. Picheny, D. Ginsbourger, O. Roustant et R.T. Haftka, Iterative Designs of

experiments for constraint approximation, 8th European Network for Business and

Industrial Statistics conference (ENBIS8), CD-ROM proceedings, Athènes (Grèce),

21–25 septembre 2008

V. Picheny, D. Ginsbourger, O. Roustant, R.T. Haftka et N.-H. Kim, Adaptive

designs of experiments for accurate approximation of target regions, Journal of

Mechanical Design, to be published [clickme]

V. Picheny, Improving accuracy and compensating for uncertainty in surrogate

modeling, Thèse de l’École Nationale Supérieure des Mines de Saint-Etienne, 15

décembre 2009 [clickme]

J. Bect (Supélec) Planification séquentielle 4 mai 2010 31 / 33

Bibliographie

Autres références décrivant des stratégies séquentielles :

P. Ranjan, D. Bingham et G. Michailidis, Sequential experiment design for contour

estimation from complex computer codes, Technometrics, 50(4), 527–541, 2008

[clickme]

B. J. Bichon, M. S. Eldred, L. P. Swiler, S. Mahadevan et J. M. McFarland,

Efficient global reliability analysis for nonlinear implicit performance functions,

AIAA Journal, 46(10), 2459–2468, 2008 [clickme]

B. Echart, N. Gayton et M. Lemaire, Kriging based Monte Carlo simulation to

compute the probability of failure efficiently : the AK-MCS methods, 6èmes

Journées Nationales de Fiabilité, Toulouse, France, 2010

J. Bect (Supélec) Planification séquentielle 4 mai 2010 32 / 33

Bibliographie

Apparition du krigeage en fiabilité :

V. J. Romero, L. P. Swiler et A. A. Giunta, Construction of response surfaces

based on progressive-lattice-sampling experimental designs with application to

uncertainty propagation, Structural Safety, 26(2), 201–219, 2004 [clickme]

I. Kaymaz, Application of kriging method to structural reliability problems,

Structural Safety, 27(2), 133–151, 2005 [clickme]

S. Shan et G. G. Wang, Failure surface frontier for reliability assessment on

expensive performance function, Journal of Mechanical Design, 128(6),

1227–1236, 2006 [clickme]

J. Bect (Supélec) Planification séquentielle 4 mai 2010 33 / 33

top related