Transcript
Page 1: Planification et analyse d'expériences numériques: approche bayésienne

Planification et analyse d’expériences numériques :approche bayésienne

(introduction, orientée vers la planification séquentielle)

Julien Bect

SUPELEC — GdR MASCOT-NUM — IRT SystemX

Séminaire ONERA/DSNA28 novembre 2013

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 2: Planification et analyse d'expériences numériques: approche bayésienne

1 Introduction : exploration de modèles numériques coûteux

2 Optimisation globale : des méta-modèles à l’approche bayésienne

3 Bayesian Subset Simulation : un autre exemple de planification séquentielle

4 Conclusion

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 3: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 1/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Soit ξ : X → Rp un modèle numérique

d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 4: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 1/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Soit ξ : X → Rp un modèle numérique

d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .

x : facteurs

paramètres de conception (à choisir),paramètres physiques (éventuellement mal connus),. . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 5: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 1/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Soit ξ : X → Rp un modèle numérique

d’un système à concevoir ou à étudier (fiabilité),d’un phénomène physique ou biologique,. . .

x : facteurs

paramètres de conception (à choisir),paramètres physiques (éventuellement mal connus),. . .

Qu’entendons-nous par « expérience numérique » ?

une expérience ≡ évaluer une réponse ξ(x) du codechaque expérience coûte (souvent, du temps !)budget d’expériences limité

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 6: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 2/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Point de vue du statisticien

le code est une « boîte noire »on veut obtenir des informations sur ξ

à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 7: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 2/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Point de vue du statisticien

le code est une « boîte noire »on veut obtenir des informations sur ξ

à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .

Deux aspects, comme en statistique « classique »

planifier les calculs (choisir x1, x2, . . . )analyser les résultats et quantifier les incertitudes

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 8: Planification et analyse d'expériences numériques: approche bayésienne

« Expériences numériques » (computer experiments) 2/2

x ∈ X ⊂ Rd

ξ(x) ∈ Rp

Point de vue du statisticien

le code est une « boîte noire »on veut obtenir des informations sur ξ

à partir d’un échantillon : y1 = ξ(x1), y2 = ξ(x2), . . .

Deux aspects, comme en statistique « classique »

planifier les calculs (choisir x1, x2, . . . )analyser les résultats et quantifier les incertitudes

Planification séquentielle

planifier chaque calcul en fonction des précédentscouplage planification / analyse

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 9: Planification et analyse d'expériences numériques: approche bayésienne

Exemple 1 : optimisation de forme (Renault)

Contexte : CAO

calculs de CFD 3D

thèse de J. Villemonteix (2008)encadrement : E. Vazquez,M. Sidorkiewicz et E. Walter

Objectif(s)

optimiser la forme du conduit d’admission

maximiser les performances du moteur

minimiser les émissions de polluant

Caractéristiques

≈ 1 h / calcul

6 paramètres de forme à ajuster

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 10: Planification et analyse d'expériences numériques: approche bayésienne

Exemple 2 : projet BEMUSE (CEA, IRSN, . . . )

Contexte : sûreté nucléaire

calculs thermo-hydrauliques

réalisés avec le logiciel CATHARE

benchmark international(de Crécy et al., NED, 2008)

Scenario

perte de réfrigérant due à une brèche

grandeur d’intérêt : température max.

Caractéristiques

≈ 10 minutes / calcul

53 paramètres incertains

Principaux objectifs

estimation d’un quantile de Tmax

analyse de sensibilité(B. Iooss, J. Nat. Fiabilité, 2010)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 11: Planification et analyse d'expériences numériques: approche bayésienne

Exemple 3 : étude d’un risque de crue (EDF R&D)

Contexte : sûreté des installations

calculs d’hydraulique

équ. de Saint Venant 1D ou 2D

logiciels

MASCARET (1D)OpenTELEMAC (2D)http://www.opentelemac.org

projet ANR OPUS

Scenario

étude du risque de crue

facteurs : débit, coeff. de Strickler

réponse : hauteur d’eau H

Principaux objectifs

propagation d’incertitudes

estimation d’un quantile sur H

analyse de sensibilité

(M. Couplet et al, JdS 2010 ; Arnaud et al, JdS 2010)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 12: Planification et analyse d'expériences numériques: approche bayésienne

Objectif(s) : ce que l’on veut savoir sur ξ

Construire un « méta-modèle » : approximation peu coûteuse

approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 13: Planification et analyse d'expériences numériques: approche bayésienne

Objectif(s) : ce que l’on veut savoir sur ξ

Construire un « méta-modèle » : approximation peu coûteuse

approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil

Chercher un optimum de performance ou un pire cas

chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 14: Planification et analyse d'expériences numériques: approche bayésienne

Objectif(s) : ce que l’on veut savoir sur ξ

Construire un « méta-modèle » : approximation peu coûteuse

approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil

Chercher un optimum de performance ou un pire cas

chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}

Propagation d’incertitude : X ∼ PX

estimer une proba de défaillance : PX (ξ(X) > ξcrit)estimer un quantilecaractériser la loi de Y = ξ(X)réaliser une analyse de sensibilité. . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 15: Planification et analyse d'expériences numériques: approche bayésienne

Objectif(s) : ce que l’on veut savoir sur ξ

Construire un « méta-modèle » : approximation peu coûteuse

approximation globale, sur l’ensemble du domaine X,ou locale, par ex. précise au voisinage d’un seuil

Chercher un optimum de performance ou un pire cas

chercher x∗ = argmax ξ et/ou ξ∗ = ξ(x∗)optimisation multi-objectif / sous contraintes / robuste / . . .estimer un ensemble admissible : {x ∈ X, ξ(x) > ξcrit}

Propagation d’incertitude : X ∼ PX

estimer une proba de défaillance : PX (ξ(X) > ξcrit)estimer un quantilecaractériser la loi de Y = ξ(X)réaliser une analyse de sensibilité. . .

En pratique : bien souvent, un mélange de tous ces objectifs !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 16: Planification et analyse d'expériences numériques: approche bayésienne

Diversité des codes de calculs

Cadre computer experiments traditionnel

code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 17: Planification et analyse d'expériences numériques: approche bayésienne

Diversité des codes de calculs

Cadre computer experiments traditionnel

code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !

Simulateurs stochastiques

sortie aléatoire : x → ξ(x) + bruit

Multi-fidélitéplusieurs simulateurs, plus ou moins précis

exemple : 1D / 2D / 3Dsimulateur à précision « ajustable »

exemple : pas de discrétisation, tolérance, . . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 18: Planification et analyse d'expériences numériques: approche bayésienne

Diversité des codes de calculs

Cadre computer experiments traditionnel

code de calcul déterministe, (plus ou moins) coûteuxdifférence importante avec les expériences physique :faire des répétitions n’a pas de sens !

Simulateurs stochastiques

sortie aléatoire : x → ξ(x) + bruit

Multi-fidélitéplusieurs simulateurs, plus ou moins précis

exemple : 1D / 2D / 3Dsimulateur à précision « ajustable »

exemple : pas de discrétisation, tolérance, . . .

Disponibilité du gradient ?

souvent, pas de gradient disponibleexception : code adjoint

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 19: Planification et analyse d'expériences numériques: approche bayésienne

1 Introduction : exploration de modèles numériques coûteux

2 Optimisation globale : des méta-modèles à l’approche bayésienne

3 Bayesian Subset Simulation : un autre exemple de planification séquentielle

4 Conclusion

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 20: Planification et analyse d'expériences numériques: approche bayésienne

Optimisation globale

On considère un problème d’optimisation globale

fonction ξ a priori multimodale

quelle planification (séquentielle) d’expériences utiliser ?

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 21: Planification et analyse d'expériences numériques: approche bayésienne

Compromis exploration/exploitation

Deux stratégies « extrêmes »

remplir au mieux le domaine X

ex : X = [0; 1], xi = 2i−1

2N, 1 ≤ i ≤ N

échantillonages LHS, maximin, . . . (si d ≥ 2)

essayer d’aller droit au but

choisir un bon x1 ∈ X (connaissance a priori)optimiser localement, par ex. Nelder-Mead

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

xx

yy

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 22: Planification et analyse d'expériences numériques: approche bayésienne

Compromis exploration/exploitation

Deux stratégies « extrêmes »

remplir au mieux le domaine X

ex : X = [0; 1], xi = 2i−1

2N, 1 ≤ i ≤ N

échantillonages LHS, maximin, . . . (si d ≥ 2)

essayer d’aller droit au but

choisir un bon x1 ∈ X (connaissance a priori)optimiser localement, par ex. Nelder-Mead

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

xx

yy

Principe fondamental

bien optimiser globalement ⇒chercher un compromis entreexploration et exploitation

Explorer tout le domaine, oui, mais pas uniformément !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 23: Planification et analyse d'expériences numériques: approche bayésienne

Utilisation d’un méta-modèle

Méta-modèle ?

modèle simplifié de ξ, plus rapide à évaluer

exemples : krigeage, RBF, réseau de neurones. . .

cas d’observations sans bruit −→ interpolation

Approche générale (planification séquentielle)

1 init : remplir X avec n0 < N points2 pour n = n0 + 1 : N ,

ajuster un méta-modèle aux données x1, ξ(x1), . . . , xn−1, ξ(xn−1)utiliser ce méta-modèle pour choisir xn

3 renvoyer x̂∗ = argmax ξ(xn), ξ̂∗ = ξ (x̂∗)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 24: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = n0 = 4

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 25: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = n0 = 4

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 26: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 5

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 27: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 6

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 28: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 7

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 29: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 8

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 30: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 9

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 31: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 10

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 32: Planification et analyse d'expériences numériques: approche bayésienne

Illustration : usage optimiste du méta-modèle

Exemple avec X = [0; 1], méta-modèle : krigeage.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)n = 11

Convergence vers un maximum local !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 33: Planification et analyse d'expériences numériques: approche bayésienne

Principes de l’optimisation bayésienne

Constat essentielIl n’existe pas de « bon » algorithme d’optimisationglobale dans l’absolu : on doit préciser à quel type defonctions on s’intéresse !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 34: Planification et analyse d'expériences numériques: approche bayésienne

Principes de l’optimisation bayésienne

Constat essentielIl n’existe pas de « bon » algorithme d’optimisationglobale dans l’absolu : on doit préciser à quel type defonctions on s’intéresse !

Solution bayésienne

Nécessité de quantifier l’incertitude pour faire deschoix rationnels.

La théorie bayésienne de la décision fournit uncadre cohérent → représentation probabiliste del’incertitude.

Repères biblio de base :

H. Kushner (1964) : P-algorithme

J. Mockus et al. (1978) : critère EI

D. Jones et al. (1998) : algorithme EGO

Thomas Bayes

(1702–1761)

Harold Kushner

Jonas Mockus

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 35: Planification et analyse d'expériences numériques: approche bayésienne

Loi a priori / a posteriori

Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)

régularité (dérivabilité), vitesse de variation, . . . )

« tendance » (linéaire, quadratique, . . . )

symétries, monotonie, . . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 36: Planification et analyse d'expériences numériques: approche bayésienne

Loi a priori / a posteriori

Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)

régularité (dérivabilité), vitesse de variation, . . . )

« tendance » (linéaire, quadratique, . . . )

symétries, monotonie, . . .

Mise à jour des connaissances

après n évaluations, on a appris : ξn = (ξ(x1), . . . , ξ(xn))

loi a posteriori Pn = P (ξ ∈ · | I0, ξn)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 37: Planification et analyse d'expériences numériques: approche bayésienne

Loi a priori / a posteriori

Informations a priori sur ξ −→ processus aléatoire, i.e. P0 = P (ξ ∈ · | I0)

régularité (dérivabilité), vitesse de variation, . . . )

« tendance » (linéaire, quadratique, . . . )

symétries, monotonie, . . .

Mise à jour des connaissances

après n évaluations, on a appris : ξn = (ξ(x1), . . . , ξ(xn))

loi a posteriori Pn = P (ξ ∈ · | I0, ξn)

Remarque importante

ξ̂n(x) = E (ξ(x) | I0, ξn) est un méta-modèle naturel dans ce cadre. . .

. . . mais Pn contient beaucoup plus d’information !

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 38: Planification et analyse d'expériences numériques: approche bayésienne

Illustration

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−4

−3

−2

−1

0

1

2

3

4

x

ξ(x

)

Simulations sous la loi a priori P0

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 39: Planification et analyse d'expériences numériques: approche bayésienne

Illustration

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)

Moyenne et variance a posteriori Pn0

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 40: Planification et analyse d'expériences numériques: approche bayésienne

Comment choisir xn+1 connaissant I0, ξn ?

1 En utilisant la loi a posteriori, on construit un critère d’échantillonnage

x ∈ X 7→ Jn (x; I0, ξn)

qui mesure l’intérêt d’une évaluation en x.

2 On choisit le prochain point à l’aide de ce critère

xn+1 = argmaxx∈X

Jn (x; I0, ξn)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 41: Planification et analyse d'expériences numériques: approche bayésienne

Comment choisir xn+1 connaissant I0, ξn ?

1 En utilisant la loi a posteriori, on construit un critère d’échantillonnage

x ∈ X 7→ Jn (x; I0, ξn)

qui mesure l’intérêt d’une évaluation en x.

2 On choisit le prochain point à l’aide de ce critère

xn+1 = argmaxx∈X

Jn (x; I0, ξn)

Un critère très utilisé : expected improvement (EI)

Jn (x; I0, ξn) = E ((ξ(x) − Mn)+ | I0, ξn)

avec Mn = max (ξ(x1), . . . , ξ(xn)).

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 42: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

x

ξ(x

)

n = n0 = 4

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 43: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.05

0.1

0.15

0.2

0.25

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 44: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.02

0.04

0.06

0.08

0.1

0.12

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 45: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.01

0.02

0.03

0.04

0.05

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 46: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.01

0.02

0.03

0.04

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 47: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.005

0.01

0.015

0.02

0.025

0.03

0.035

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 48: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.005

0.01

0.015

0.02

0.025

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 49: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

1

2

3

4

5

6x 10

−3

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 50: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

1

2

3

4

5

6x 10

−3

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 51: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

1.5

2x 10

−3

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 52: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.5

1

1.5x 10

−3

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 53: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1x 10

−3

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 54: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.005

0.01

0.015

0.02

0.025

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 55: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.05

0.1

0.15

0.2

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 56: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.005

0.01

0.015

0.02

0.025

0.03

EI

x

ξ(x

)

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 57: Planification et analyse d'expériences numériques: approche bayésienne

Illustration du critère EI (algorithme EGO)

Modèle : processus gaussien (covariance de Matérn, σ2 = 1, ν = 2, ρ = 0.25)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1−2

−1

0

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

1

2

3

4

5

6

7x 10

−3

EI

x

ξ(x

)

On finit (presque) toujours par explorer les zones « vides » !cf. théorème(s) de convergence, Vazquez et Bect, 2010

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 58: Planification et analyse d'expériences numériques: approche bayésienne

1 Introduction : exploration de modèles numériques coûteux

2 Optimisation globale : des méta-modèles à l’approche bayésienne

3 Bayesian Subset Simulation : un autre exemple de planification séquentielle

4 Conclusion

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 59: Planification et analyse d'expériences numériques: approche bayésienne

Bayesian Subset Simulation

Voir présentation PSAM11-ESREL 2012

http://fr.slideshare.net/JulienBect/bect-bsspsamesrel2012

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 60: Planification et analyse d'expériences numériques: approche bayésienne

1 Introduction : exploration de modèles numériques coûteux

2 Optimisation globale : des méta-modèles à l’approche bayésienne

3 Bayesian Subset Simulation : un autre exemple de planification séquentielle

4 Conclusion

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 61: Planification et analyse d'expériences numériques: approche bayésienne

Ce n’est que le début. . .

Abondante littérature sur la planification séquentielle bayésienne !

En particulier : travaux sur les critères d’échantillonnage

critères adaptés à chaque objectif particulier

approximation globale, optimisation, intégration, . . .

critères adaptés à différents contextes

calcul parallèle (évaluation par batchs)simulateurs stochastiques, multi-fidélité, . . .

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 62: Planification et analyse d'expériences numériques: approche bayésienne

Ce n’est que le début. . .

Abondante littérature sur la planification séquentielle bayésienne !

En particulier : travaux sur les critères d’échantillonnage

critères adaptés à chaque objectif particulier

approximation globale, optimisation, intégration, . . .

critères adaptés à différents contextes

calcul parallèle (évaluation par batchs)simulateurs stochastiques, multi-fidélité, . . .

Une communauté de recherche active

en France : le GdR MASCOT-NUM

Méthodes d’Analyse Stochastique pour les COdeset Traitements Numériques

http://www.gdr-mascotnum.fr

conférence annuelle : à Zurich en 2014

international : MUCM

Managing Uncertainty in Computer Models

http://www.mucm.ac.uk

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24

Page 63: Planification et analyse d'expériences numériques: approche bayésienne

Références : quelques thèses soutenues à Supélec

thèse de Romain BENASSI (2013)

optimisation bayésienneencadrement : J. Bect et E. Vazquez (Dir.)financement : bourse MESR

thèse de Ling LI (2012)

estimation de probabilités d’événements raresencadrement : J. Bect et E. Vazquezfinancement : projet CSDL (pôle Systematic)

thèse de Julien VILLEMONTEIX (2008)

optimisation bayésienneencadrement : E. Vazquez, M. Sidorkiewicz et É. Walter (Dir)financement : CIFRE Renault

thèse de Miguel PIERA-MARTINEZ (2008)

estimation de probabilités d’événements raresencadrement : E. Vazquez et É. Walter (Dir)financement : fondation EADS

Julien Bect (SUPELEC) Computer experimentsSéminaire ONERA/DSNA 28 novembre 2013

/ 24


Top Related