méthode de monte carlo. -...

117
MÉTHODE DE MONTE C ARLO. Alexandre Popier Université du Maine, Le Mans A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95

Upload: lamduong

Post on 10-Sep-2018

236 views

Category:

Documents


0 download

TRANSCRIPT

MÉTHODE DE MONTE CARLO.

Alexandre Popier

Université du Maine, Le Mans

A. Popier (Le Mans) Méthode de Monte Carlo. 1 / 95

PLAN DU COURS

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 2 / 95

BUT : CALCUL D’ESPÉRANCE.

Soient X une v.a.r. et f : R→ R une fonction.

BUT

Calculer numériquement E(f (X )).

EXEMPLES

FINANCE : prix d’une option d’achatI modèle de Cox-Ross-Rubinstein :

C =1

(1 + r)N E

(S0

N∏i=1

Ti − K

)+ .

P(Ti = 1 + u) = p = 1− P(Ti = 1 + d) où p = (u − r)/(u − d).I modèle de Black-Scholes :

C = e−rT E[(

S0e(r−σ2/2)T+σWT − K)+]

avec WT ∼ N (0,T ).

A. Popier (Le Mans) Méthode de Monte Carlo. 3 / 95

BUT : CALCUL D’ESPÉRANCE.

Soient X une v.a.r. et f : R→ R une fonction.

BUT

Calculer numériquement E(f (X )).

EXEMPLES

FINANCE : prix d’une option d’achatASSURANCE : calcul de la prime

I Prime pure : E(X ),I Prime exponentielle : 1

c ln E(ecX ),I Prime quantile : F−1

X (1− ε),

CALCUL DE PERTE ou Value At Risk en finance : P(X < seuil).etc.

A. Popier (Le Mans) Méthode de Monte Carlo. 3 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 4 / 95

LOI DES GRANDS NOMBRES.

THÉORÈME

Soit (Yi)i∈N une suite de variables aléatoires.HYPOTHÈSES

indépendancedistribution identique (comme une v.a. Y )E(|Y |) < +∞.

Alors presque sûrement :

limn→+∞

Yn = limn→+∞

1n

(Y1 + . . .+ Yn) = E(Y ).

Autrement dit, pour n assez grand

1n

n∑i=1

Yi ≈ E(Y ).

A. Popier (Le Mans) Méthode de Monte Carlo. 5 / 95

MÉTHODE DE MONTE CARLO.

MÉTHODE

Pour calculer µ = E(f (X )),simuler N v.a. (Xn)1≤n≤N i.i.d. de même loi que X,poser :

µN =1N

N∑i=1

f (Xi) =f (X1) + . . .+ f (XN)

N.

Loi des grands nombres : µN ≈ µ pour N grand.

PROBLÈME : quelle est l’erreur commise ?

A. Popier (Le Mans) Méthode de Monte Carlo. 6 / 95

LOI EXPONENTIELLE (2) (ESPÉRANCE 1/2)

A. Popier (Le Mans) Méthode de Monte Carlo. 7 / 95

LOI DE PARETO (0,5) PAS D’ESPÉRANCE

A. Popier (Le Mans) Méthode de Monte Carlo. 8 / 95

THÉORÈME CENTRAL LIMITE.

THÉORÈME

Soit (Yi)i∈N une suite de v.a.HYPOTHÈSES

indépendancedistribution identique (comme une v.a. Y )E(|Y |2) < +∞.

Alors Yn ∼= N (0,1) : pour tout a < b

limn→+∞

P

(a <√

nYn − µσ

< b

)= P(a < Z < b), Z ∼ N (0,1).

A. Popier (Le Mans) Méthode de Monte Carlo. 9 / 95

INTERVALLE DE CONFIANCE.

TCL : µ = E(Y1), Y n = 1n (Y1 + . . .+ Yn)

P(

Y n − aσ√n≤ µ ≤ Y n + a

σ√n

)= P

(−a ≤

√n

Y n − µσ

≤ a

)≈ P(|Z | ≤ a),

où σ2 = Var(f (X )).Pour un niveau de confiance α ∈ [0,1] fixé, il existe cα > 0 tel que

P(|Z | ≤ cα) = α.

Donc avec a = cα, pour n grand

P (µ ∈ Iα,n) ≈ P(|Z | ≤ cα) = α

avec

Iα,n =

[Y n − cα

σ√n,Y n + cα

σ√n

]: intervalle de confiance.

A. Popier (Le Mans) Méthode de Monte Carlo. 10 / 95

MÉTHODE DE MONTE CARLO : ERREUR.

MÉTHODE

Simuler N v.a. (Xn)1≤n≤N i.i.d. de même loi que X.Poser :

µN =1N

N∑i=1

f (Xi) =f (X1) + . . .+ f (XN)

N.

Erreur donnée par un intervalle de confiance :

P(µ ∈ Iα,N

)≈ α

avec

Iα,N =

[µN − cα

σ√N, µN + cα

σ√N

], σ2 = Var (f (x)).

Problème : on ne connaît pas en général la variance σ2.

A. Popier (Le Mans) Méthode de Monte Carlo. 11 / 95

ESTIMATION DE LA VARIANCE.

On estime σ2 grâce à l’estimateur S2n =

1n − 1

n∑i=1

(Yi − Y n)2. On peut

montrer que

ES2n = σ2 = Var(Y ) et lim

n→+∞S2

n = σ2.

MÉTHODE

Simuler N v.a. (Xn)1≤n≤N i.i.d. de même loi que X.Poser :

σN =

√√√√ 1N − 1

N∑i=1

(f (Xi)− µN)2.

A. Popier (Le Mans) Méthode de Monte Carlo. 12 / 95

MÉTHODE DE MONTE CARLO COMPLÈTE.

MÉTHODE

1 Simuler N v.a. (Xn)1≤n≤N i.i.d. de même loi que X.2 Poser :

µN =1N

N∑i=1

f (Xi) =f (X1) + . . .+ f (XN)

N,

σN =

√√√√ 1N − 1

N∑i=1

(f (Xi)− µN)2.

3 Erreur donnée par intervalle de confiance avec niveau deconfiance α

Iα,N =

[µN − cα

σN√N, µN + cα

σN√N

].

A. Popier (Le Mans) Méthode de Monte Carlo. 13 / 95

LOI EXPONENTIELLE (2) (ESPÉRANCE 1/2)

A. Popier (Le Mans) Méthode de Monte Carlo. 14 / 95

LOI EXPONENTIELLE (2) (DÉCROISSANCE EN 1/√

N )

A. Popier (Le Mans) Méthode de Monte Carlo. 15 / 95

PARETO (1,5) (ESPÉRANCE 3, PAS DE VARIANCE)

A. Popier (Le Mans) Méthode de Monte Carlo. 16 / 95

PARETO (1,5) (TAILLE INTERVALLE CONFIANCE)

A. Popier (Le Mans) Méthode de Monte Carlo. 17 / 95

MÉTHODE DE MONTE CARLO : REMARQUES.

OBLIGATOIRE

Donner µN sans intervalle de confiance n’a aucune valeur !

ERREUR

Pour diminuer la taille de IC,diminuer le niveau de confiance α,augmenter N,diminuer σ (−→ réduction de variance).

AVANT :

SIMULATION

Que signifie « Simuler N v.a. (Xn)1≤n≤N i.i.d. de même loi que X » ?

A. Popier (Le Mans) Méthode de Monte Carlo. 18 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 19 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 20 / 95

THÉORÈME FONDAMENTAL DE LA SIMULATION.

THÉORÈME

Toute variable aléatoire X à valeurs dans Rd peut être simulée sous laforme

X =en loi

f (U1,U2, . . . ,Un)

où(U1,U2, . . . ,Un) est uniformément répartie sur [0,1]n,la fonction f : Rn → Rd est borélienne et a ses points dediscontinuité dans un ensemble Lebesgue-négligeable.

Il est même possible de réaliser ceci en imposant n = 1 ou n = d ouencore n ≥ 1 donné.

REMARQUE : f est « explicite ».

A. Popier (Le Mans) Méthode de Monte Carlo. 21 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 22 / 95

SUITES ALÉATOIRES.

Considérons une suite finie x := x1, . . . , xn ∈ 0,1. Toutes les suitesfinies de ce type sont équiprobables et de probabilité 2−n.Certaines suites moins aléatoires que d’autres

1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1

1,1,0,0,1,1,0,0,1,1,0,0,1,1,0,0,1,1

1,0,0,1,0,1,1,1,0,1,0,1,1,0,0,0,1,0

Quel sens donner et comment quantifier le caractère aléatoired’une suite finie ou infinie donnée ?Comment produire des suites finies qui sont de « bonnes »approximations finies des suites infinies probables correspondantà des réalisations i.i.d. d’une loi donnée ? Comment mesurer laqualité de ces algorithmes ?

A. Popier (Le Mans) Méthode de Monte Carlo. 23 / 95

SUITES ALÉATOIRES.

D.H. Lehmer (1951) :

A random sequence is a vague notion... in which each term isunpredictable to the uninitiated and whose digits pass a certainnumber of tests traditional with statisticians...

A. Popier (Le Mans) Méthode de Monte Carlo. 23 / 95

NOMBRES PSEUDO-ALÉATOIRES.

Simuler la loi uniforme consistera à produire par un algorithme dessuites finies de nombres que nous pouvons considérer comme autantde réalisations indépendantes de variables aléatoires uniformes sur[0,1].

Mathématiquement les n sorties successives d’un tel générateurseront considérées comme la donnée de U1(ω), . . . ,Un(ω) pour unω ∈ Ω où les Ui sont des v.a.r. Ui : (Ω,F ,P)→ [0,1] de loi uniforme.

Matlab permet de simuler la loi uniforme via la fonction rand, quirenvoie un nombre « aléatoire » compris entre [0,1].

A. Popier (Le Mans) Méthode de Monte Carlo. 24 / 95

NOMBRES PSEUDO-ALÉATOIRES.

Intéressons nous au nombre

0,950129285147175.

C’est par défaut le premier nombre produit par la fonction rand deMatlab.Pour cela redémarrer Matlab, et exécuter les commandes

format long

rand Si tous les utilisateurs de Matlab trouvent toujours ce même nombre ilne peut être qualifié d’aléatoire. D’ailleurs il ne l’est pas.

A. Popier (Le Mans) Méthode de Monte Carlo. 25 / 95

NOMBRES PSEUDO-ALÉATOIRES.

À ce stade il est important de faire la distinction entre deux types deméthodes de génération de suites « aléatoires ».

Méthodes prédictibles : ce sont des méthodes déterministesbasées entièrement sur des algorithmes bien établis quinécessitent d’être initialisés. On parlera de suites ou nombrespseudo-aléatoires.Méthodes non-prédictibles : surtout utiles en cryptographie, où ilest capital que le hasard utilisé ne soit pas prédictible nireproductible. Elles peuvent être obtenues à partir des premièresen utilisant des « fonctions de hachage », difficilement inversiblesen terme de temps de calcul.

A. Popier (Le Mans) Méthode de Monte Carlo. 26 / 95

ALGORITHMES PAR CONGRUENCE (LEHMER, 1950).

utilisent trois paramètres entiers a, c et m et une valeur initiale x0,appelé seed ;créent une suite d’entiers yn+1 = ayn + c mod m compris entre 0et m ;ramènent les valeurs entre 0 et 1 : xn = yn/m.

Exemple : a = 13, c = 0, m = 31 et x0 = 1. Suite des yn :

1 13 14 27 10 6 16 22 7 29 5 3 . . .

Celle des xn :

0.0323, 0.4194, 0.4516, 0.8710, 0.3226, 0.1935, 0.5161, . . .

A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

ALGORITHMES PAR CONGRUENCE (LEHMER, 1950).

Dans les années 60, sur IBM, Scientific Subroutine Package (SSP) :a = 65539, c = 0, et m = 231.

Comme le codage se fait en 32-bits, l’arithmétique modulo 231 sefait très rapidement.a = 216 + 3 : multiplication par a = shift + addition.Problème : yk+2 = 6yk+1 − 9yk : très forte corrélation.

cf. graphique randssp

A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

ALGORITHMES PAR CONGRUENCE (LEHMER, 1950).

À partir de Matlab 4, on a choisi : a = 75 = 16807, c = 0,m = 231 − 1 = 2147483647.

Toujours disponible viaI s=rand(’seed’) : fournit le paramètre x0 de cette méthode.I rand(’seed’,s) : impose à Matlab d’utiliser cet algorithme avec

x0 = s.

Périodicité grande : m − 1.Génére toutes les valeurs k/m avec k = 1, . . . ,m, i.e.

[0,1] ≈ Dr = k/m, 1 ≤ k ≤ m⊂ [0.00000000046566,0.99999999953434].

cf. graphique randmcg

A. Popier (Le Mans) Méthode de Monte Carlo. 27 / 95

ALGORITHME PAR DÉFAUT.

À partir de la version 5 (1995),Du à G. Marsaglia.N’utilise plus les algorithmes à la Lehmer, plus de multiplication,plus de division.Génère directement des nombres décimaux.Disponible via

I s=rand(’state’) : fournit le paramètre x0 de cette méthode(vecteur de dimension 35).

I rand(’state’,s) : impose à Matlab d’utiliser cet algorithmeavec x0 = s.

Peut générer tous les nombres (flottants) entre 2−53 et 1− 2−53

(on ne connaît pas de nombre non atteint).Période proche de 21492.

A. Popier (Le Mans) Méthode de Monte Carlo. 28 / 95

ALGORITHME « MERSENNE TWISTER ».

Troisième algorithme implémenté sous Matlab (version 5 et plus).Disponible via

I s=rand(’twister’) : fournit le paramètre x0 de cette méthode(vecteur de dimension 625).

I rand(’twister’,s) : impose à Matlab d’utiliser cet algorithmeavec x0 = s.

Période de l’ordre de (219937 − 1)/2.

A. Popier (Le Mans) Méthode de Monte Carlo. 29 / 95

IMPORTANCE DE LA RACINE.

REMARQUE

Connaître la valeur de la racine avant de lancer un programme peutêtre important ! Notamment pour pouvoir :

comparer des vitesses de calcul ;générer des variables aléatoires couplées.

Pour éviter d’avoir toujours le même nombre de départ : rand ( ’ s t a t e ’ ,sum(100∗clock ) )

rand

A. Popier (Le Mans) Méthode de Monte Carlo. 30 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 31 / 95

FONCTION DE RÉPARTITION.

DÉFINITION

La fonction de répartition de X, notée FX , est définie sur R par :

∀x ∈ R, FX (x) = P(X ≤ x).

PROPOSITION

Soit FX la fonction de répartition d’une v.a.r. X . Alors :1 FX (x) ∈ [0,1].2 FX est croissante.3 lim

x→−∞FX (x) = 0 et lim

x→+∞FX (x) = 1.

4 FX est continue à droite et a une limite à gauche en tout point.

A. Popier (Le Mans) Méthode de Monte Carlo. 32 / 95

V.A. À DENSITÉ.

DÉFINITION

Une v.a. X est à densité (par rapport à la mesure de Lebesgue) s’ilexiste f t.q.

pour tout x ∈ R, f (x) ≥ 0 ;∫ +∞

−∞f (x) dx = 1 ;

et pour tout −∞ ≤ a < b ≤ +∞, P(a < X ≤ b) =∫ b

a f (t)dt .

EXEMPLE : LOI UNIFORME SUR [a, b]

X suit une loi uniforme sur [a,b] si sa densité f est

f (x) =1

b − a1[a,b](x).

A. Popier (Le Mans) Méthode de Monte Carlo. 33 / 95

V.A. À DENSITÉ.

PROPOSITION

Si X a pour densité f , alors∀x ∈ R, FX (x) = P(X ≤ x) =

∫ x−∞ f (t)dt .

FX est continue.FX est dérivable aux points de continuité de f avec fX (x) = F ′X (x).

EXEMPLE : LOI UNIFORME SUR [a, b]

Si X suit la loi uniforme sur [a,b], alorsFX (x) = 0 si x ≤ a,

FX (x) =x − ab − a

si x ∈ [a,b],

FX (x) = 1 pour x ≥ b.

A. Popier (Le Mans) Méthode de Monte Carlo. 33 / 95

V.A. DISCRÈTES.

DÉFINITION

Une v.a. X est discrète si elle ne prend qu’un nombre fini (oudénombrable) de valeurs xi ∈ R, i ∈ N avec probabilité

pi = P(X = xi) ≥ 0. De plus+∞∑i=0

P(X = xi) =+∞∑i=0

pi = 1.

REPRÉSENTATION en tableau

X x0 x1 x2 x3 . . . (valeurs prises parX)

P(X = xi) p0 p1 p2 p3 . . . (probabilité)

PROPOSITION

Si X est une v.a. discrète, FX est constante par morceaux.

A. Popier (Le Mans) Méthode de Monte Carlo. 34 / 95

EXEMPLE : DÉ À SIX FACES.

FONCTION DE RÉPARTITION d’une v.a. de loi uniforme sur 1, . . . ,6

A. Popier (Le Mans) Méthode de Monte Carlo. 35 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 36 / 95

MÉTHODE D’INVERSION.

Si X est une v.a.r. alors la fonction de répartition FX est définie par

∀x ∈ R, FX (x) = P(X ≤ x).

Comme FX est croissante, on peut définir la fonction pseudo-inverseqX de FX ainsi :

∀u ∈ (0,1), qX (u) = infx ∈ R, FX (x) > u.

THÉORÈME

Si U suit une loi uniforme sur [0,1], qX (U) suit la même loi que X .

PROPOSITION

Si F est inversible, alors q = F−1.

A. Popier (Le Mans) Méthode de Monte Carlo. 37 / 95

EXEMPLES.

Si U suit une loi uniforme sur [0,1], alors

LOI UNIFORME SUR [a, b]

X = a + (b − a)U suit la loi uniforme sur [a,b].

LOI EXPONENTIELLE

X = −1λ

ln(1− U) suit la loi exponentielle de paramètre λ.

LOI DE CAUCHY

X = c tan(π(U − 1/2)) suit la loi de Cauchy de paramètre c.

LOI DE BERNOULLI

Si U < 1− p, X = 0, sinon X = 1 : suit la loi de Bernoulli de paramètrep ∈ [0,1].

A. Popier (Le Mans) Méthode de Monte Carlo. 38 / 95

LOI DISCRÈTE À SUPPORT FINI.

function r e a l i s = r d i s t ( x , p )

n= length ( p ) ;r = rand ; a = 0 ; b = p ( 1 ) ;for i = 1 : n−1,

i f ( ( r >=a ) & ( r <b ) )r e a l i s = x ( i ) ;return ;

enda = b ; b = b + p ( i +1 ) ;endr e a l i s = x ( n ) ;

A. Popier (Le Mans) Méthode de Monte Carlo. 39 / 95

LOI UNIFORME.

function r e a l i s = randd isc r ( x , n ,m)%Renvoie des realisations iid%de loi uniforme sur x(1),...,x(length(x)).%n et m sont des entiers optionnels, valant 1 par defaut.i f ( nargin ==0)

error ( ’ Pas assez de parametres ’ ) ;e l s e i f ( nargin ==1)

n=1;m=1;e l s e i f ( nargin ==2)

m=1;e l s e i f ( nargin >3)

error ( ’ Trop de parametres ’ ) ;end ;r e a l i s = reshape ( x ( c e i l ( length ( x )∗ rand ( n ,m) ) ) , n ,m) ;return ;

A. Popier (Le Mans) Méthode de Monte Carlo. 40 / 95

INVERSION : DIMENSION QUELCONQUE.

Soit une v.a. X = (X1,X2) de loi connue PX sur R2 avec densité f > 0.Fonction de répartition de X1 :

FX1(x1) =

∫ x1

−∞

∫R

f (x , y)dxdy .

Soit q1 son inverse.Fonction de répartition F X1=x1

X2de la loi conditionnelle de X2 sachant

X1 = x1 :

F X1=x1X2

(x2) =

∫ x2−∞ f (x1, y)dy∫ +∞−∞ f (x1, y)dy

.

Inverse : q2.

MÉTHODE

Si U1 et U2 sont deux v.a. uniformes sur [0,1] indépendantes, alors

X1 = q1(U1), X2 = q2(q1(U1),U2).

A. Popier (Le Mans) Méthode de Monte Carlo. 41 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 42 / 95

LOI BINOMIALE.

DÉFINITION

Une v.a. X à valeurs entières comprises entre 1 et N suit une loibinômiale de paramètres N ∈ N∗ et p ∈ [0,1] si :

∀k = 1, . . . ,N, P(X = k) = CkNpk (1− p)N−k .

PROPOSITION

Soient Ui , i = 1, . . . ,N des v.a. uniformes sur [0,1] indépendantes.

Soit X le nombre des Ui inférieures à p ∈ [0,1], i.e. X =N∑

i=1

1Ui<p.

Alors X suit une loi binomiale de paramètres N et p.

MÉTHODE

Simuler N v.a. de Bernoulli Xi et en faire la somme.

A. Popier (Le Mans) Méthode de Monte Carlo. 43 / 95

LOI GÉOMÉTRIQUE.

DÉFINITION

Une v.a. X à valeurs entières strictement positives suit une loigéométrique de paramètre p ∈]0,1[ si :

∀n ≥ 1, P(X = n) = p(1− p)n−1.

QUELQUES RÉSULTATS :

E(X ) = 1p , Var(X ) = 1−p

p2 .

P(X ≥ k) = (1− p)k−1.

PILE OU FACE

Une loi géométrique est la loi du nombre de tirages à pile ou face(indépendants) à réaliser pour obtenir face (si face a p % de chancesde sortir).

A. Popier (Le Mans) Méthode de Monte Carlo. 44 / 95

LOI DE POISSON.

DÉFINITION

Une v.a. X à valeurs entières positives suit une loi de Poisson deparamètre λ > 0 si :

∀n ≥ 0, P(X = n) = e−λλn

n!.

MOMENTS : E(X ) = Var(X ) = λ.

PROPOSITION

Soit (En)n∈N v.a. i.i.d. exponentielles de paramètre λ. Alors

P(E1 + . . .+ En ≤ 1 < E1 + . . .+ En+1) = e−λλn

n!.

A. Popier (Le Mans) Méthode de Monte Carlo. 45 / 95

LOI DE POISSON.

DÉFINITION

Une v.a. X à valeurs entières positives suit une loi de Poisson deparamètre λ > 0 si :

∀n ≥ 0, P(X = n) = e−λλn

n!.

MOMENTS : E(X ) = Var(X ) = λ.

MÉTHODE

X = 1E1≤1<E1+E2 + 2× 1E1+E2≤1<E1+E2+E3 + . . .

+n × 1E1+...+En≤1<E1+...+En+1 + . . .

suit une loi de Poisson de paramètre λ.

A. Popier (Le Mans) Méthode de Monte Carlo. 45 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 46 / 95

QUELLES VÉRIFICATIONS ?

DEUX TYPES de vérifications :histogramme normalisé contre densité,fonctions de répartition empirique contre théorique.

Dans les deux cas, il faut d’abord simuler un grand nombre de fois laloi en question. Pour n ∈ N∗, on obtient un vecteur (x1, . . . , xn) quicontient n réalisations de la loi de X .

A. Popier (Le Mans) Méthode de Monte Carlo. 47 / 95

HISTOGRAMME VS. DENSITÉ.

HISTOGRAMME NORMALISÉ

1 regrouper les n termes dans un certain nombre m de classes(avec m < n). Dans chaque classe rm réalisations de X avec∑

m

rm = n.

2 normalisation : la somme des aires des colonnes fait 1−→ rm/(n(Cm+1 − Cm)).

3 tracé : sur l’axe des abscisses, placer les m centres des mclasses, et mettre une colonne de hauteur rm/(n(Cm+1 − Cm)).

CONVERGENCE VERS LA DENSITÉ

rm

n(Cm+1 − Cm)−→

n→+∞

1Cm+1 − Cm

P(X ∈ [Cm,Cm+1[).

A. Popier (Le Mans) Méthode de Monte Carlo. 48 / 95

HISTOGRAMME VS. DENSITÉ.

CONVERGENCE VERS LA DENSITÉ

rm

n(Cm+1 − Cm)−→

n→+∞

1Cm+1 − Cm

P(X ∈ [Cm,Cm+1[).

CONCLUSION

Si X discrète avec Ck espacés de 1, approximativement pk .Si X à densité, alors

P(X ∈ [Cm,Cm+1[)

Cm+1 − Cm=

1Cm+1 − Cm

∫ Cm+1

Cm

f (t)dt −→Cm+1−Cm→0

f (Cm).

A. Popier (Le Mans) Méthode de Monte Carlo. 48 / 95

RÉPARTITION EMPIRIQUE VS. THÉORIQUE.

FONCTION DE RÉPARTITION EMPIRIQUE

∀t ∈ R, F n(t) =1n

n∑i=1

1]−∞,t](xi).

THÉORÈME DE KOLMOGOROV-SMIRNOV

∀t ∈ R, limn→+∞

F n(t) = FX (t).

A. Popier (Le Mans) Méthode de Monte Carlo. 49 / 95

EXEMPLE SUR LA LOI EXPONENTIELLE(2).

n=100

0 1 2 3 4 5 6

0.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

Histogramme vs densite

!1 0 1 2 3 4 5!0.2

0.0

0.2

0.4

0.6

0.8

1.0

Fcts de repartition

empiriquetheorique

A. Popier (Le Mans) Méthode de Monte Carlo. 50 / 95

EXEMPLE SUR LA LOI EXPONENTIELLE(2).

n=10000

0 1 2 3 4 5 6 7 80.0

0.2

0.4

0.6

0.8

1.0

1.2

1.4

1.6

1.8

2.0

Histogramme vs densite

!1 0 1 2 3 4 5 6 7!0.2

0.0

0.2

0.4

0.6

0.8

1.0

Fcts de repartition

empiriquetheorique

A. Popier (Le Mans) Méthode de Monte Carlo. 51 / 95

EXEMPLE SUR LA LOI DE BERNOULLI(0.3).

n=100

!0.5 0.0 0.5 1.0 1.5 2.00.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Histogramme

!1.0 !0.5 0.0 0.5 1.0 1.5 2.0!0.2

0.0

0.2

0.4

0.6

0.8

1.0

Fcts de repartition

empiriquetheorique

A. Popier (Le Mans) Méthode de Monte Carlo. 52 / 95

EXEMPLE SUR LA LOI DE BERNOULLI(0.3).

n=10000

!0.5 0.0 0.5 1.0 1.5 2.00.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Histogramme

!1.0 !0.5 0.0 0.5 1.0 1.5 2.0!0.2

0.0

0.2

0.4

0.6

0.8

1.0

Fcts de repartition

empiriquetheorique

A. Popier (Le Mans) Méthode de Monte Carlo. 53 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 54 / 95

MÉTHODE DE REJET.

On veut simuler une v.a. de densité f , et il existe une densité gsimulable facilement et une constante k ≥ 1 telle que

∀x ∈ R, f (x) ≤ kg(x).

Soit α(x) =f (x)

kg(x).

PROPOSITION

Soit (Xi)i≥1 une suite de v.a. i.i.d. de densité g, et (Ui)i≥1 une suite dev.a. i.i.d. de loi uniforme sur [0,1], indépendante de la suite (Xi)i≥1.Soit

T = infi ≥ 1, Ui ≤ α(Xi).

La variable XT a pour densité f .

A. Popier (Le Mans) Méthode de Monte Carlo. 55 / 95

MÉTHODE DE REJET.

MÉTHODE

Soit (X1,U1) un couple de v.a. indépendantes telles que X1 suive la loide densité g et U1 suive une loi uniforme sur [0,1]. Si U1 ≤ α(U1), onpose X = X1.Sinon on rejette X1 et on recommence en générant une suite(Xn,Un)n≥2 de v.a. indépendantes de même loi que (X1,U1) jusqu’àl’instant p où Up ≤ α(Xp). On pose alors X = Xp.

REMARQUES

on n’a pas besoin de connaître F , ni F−1.elle s’étend à Rd , à des lois discrètes, etc.

A. Popier (Le Mans) Méthode de Monte Carlo. 56 / 95

MÉTHODE DE REJET : VITESSE.

Calcul de la probabilité d’acceptation :

p = P(U ≤ α(X )) =1k.

Donc T a pour distribution une loi géométrique de paramètre p. Enmoyenne, on doit rejeter k = 1/p fois avant d’accepter la valeur.Ainsi il faut choisir g telle que

k = max(

fg

)soit la plus petite possible.

A. Popier (Le Mans) Méthode de Monte Carlo. 57 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 58 / 95

LOI NORMALE : MÉTHODE POLAIRE.

PROPOSITION

Si Y ∼ N (µ, σ2), alors X = (Y − µ)/σ ∼ N (0,1).

Pour simuler X (et Y )simuler deux lois uniformes U et V sur [0,1] ;poser

X =√−2 ln U cos(2πV ), Y =

√−2 ln U sin(2πV ).

PROPOSITION

X et Y sont deux v.a. normales centrées réduites indépendantes.

Ou utiliser sous Matlab randn(n,m).

A. Popier (Le Mans) Méthode de Monte Carlo. 59 / 95

LOI NORMALE : MÉTHODE POLAIRE.

Pour simuler X (et Y )simuler deux lois uniformes U et V sur [0,1] ;poser

X =√−2 ln U cos(2πV ), Y =

√−2 ln U sin(2πV ).

c l f ; hold ont i t l e ( ’ S imu la t ion d ’ ’ une l o i normale ’ )ylabel ( ’ E f f e c t i f s ’ ) ; xlabel ( ’ Valeurs ’ ) ;[E ,C]= ecdf ( sqrt (−2∗ log ( rand ( 5000 ,1 ) ) )

.∗cos (2∗ pi ∗rand ( 5 0 0 0 , 1 ) ) ) ;e c d f h i s t (E,C, 4 0 ) ;hold onplot (C, ( 2∗ pi )^ (−1/2)∗exp(−C. ^ 2 / 2 ) , ’ r− ’ ) ;legend ( ’ Empir ique ’ , ’ Theorique ’ )hold o f f

A. Popier (Le Mans) Méthode de Monte Carlo. 60 / 95

LOI NORMALE : MÉTHODE POLAIRE.

A. Popier (Le Mans) Méthode de Monte Carlo. 61 / 95

LOI NORMALE : MÉTHODE POLAIRE.

A. Popier (Le Mans) Méthode de Monte Carlo. 61 / 95

LOI NORMALE : MÉTHODE POLAIRE-REJET.

PROPOSITION

(X ,Y ) = (ρ cos(θ), ρ sin(θ)) suit une loi uniforme sur le disque unité duplan, alors √

−4 ln(ρ)

ρ(X ,Y )

suit une loi normale centrée réduite bidimensionnelle.

(X ,Y ) facile à simuler par rejet à partir d’une uniforme sur le carré[−1,1]2 (rejet dans 21 % des cas puisque π/4 ≈ 0,79).θ et ρ indépendantes,ρ loi de densité u 7→ 2u1[0,1](u), −4 ln(ρ) exponentielle deparamètre 1/2,θ uniforme sur [0,2π].

A. Popier (Le Mans) Méthode de Monte Carlo. 62 / 95

LOI UNIFORME SUR LE DISQUE.

A. Popier (Le Mans) Méthode de Monte Carlo. 63 / 95

VECTEUR GAUSSIEN.

PROPOSITION

Soitm ∈ Rn,Γ ∈ S+

n (R) matrice réelle de taille n symétrique positive,Y vecteur aléatoire gaussien standard de moyenne nulle etmatrice de covariance Idn.

Alors le vecteur aléatoire X = Γ1/2Y + m est gaussien de moyenne met de matrice de covariance Γ.

Si Y est un vecteur gaussien de loi N (0, Idn), ses coordonnées sonti.i.d. de loi N (0,1). Ainsi on peut simuler une réalisation de Y ensimulant n réalisations indépendantes Y1(ω), . . . ,Yn(ω) de loi N (0,1).

A. Popier (Le Mans) Méthode de Monte Carlo. 64 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 65 / 95

DEUX EXEMPLES.

EXEMPLE THÉORIQUE. Calculer θ = E(e5Z ) = e52/2 avec Z ∼ N (0,1)

variance théorique : σ2 = e50 − e25 ≈ 7× 1010.valeur exacte : 268337.nombre tirages : N = 500000.valeur estimée : θ = 221741.Intervalle de confiance : I = [−65186,508668].

A. Popier (Le Mans) Méthode de Monte Carlo. 66 / 95

DEUX EXEMPLES.

EXEMPLE PLUS CONCRET. Call C = E((5e(Z−1/2) − 3)+) avecZ ∼ N (0,1)

valeur exacte : 2,71.nombre tirages : N = 1000.valeur estimée : 2,83.Intervalle de confiance : I = [2,42; 3,24].

Put P = E((3− 5e(Z−1/2))+) et C − P = 2.valeur exacte : 0,71.valeur estimée : 0,70.Intervalle de confiance : I = [0,64; 0,76].

Contrôle : C = 2 + P.

A. Popier (Le Mans) Méthode de Monte Carlo. 66 / 95

RÉDUCTION DE VARIANCE : MÉTHODES.

Variables antithétiques.Variables de contrôle.Échantillonnage préférentiel (ou d’importance).Échantillonnage stratifié.Méthodes adaptatives (chaînes de Markov).

A. Popier (Le Mans) Méthode de Monte Carlo. 67 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 68 / 95

VARIABLES ANTITHÉTIQUES.

BUT : calculer θ = E(Y ) = E(f (X )).

DEUX V.A. Y1 et Y2 de même loi que Y .

E(Y ) = 12(E(Y1) + E(Y2)) = E

(Y1+Y2

2

);

Var(

Y1+Y22

)= Var (Y1)+Var (Y2)+2Cov(Y1,Y2)

4 ;

si Y1 et Y2 décorrélées (ou indépendantes),Var

(Y1+Y2

2

)= Var (Y )

2 ;

si Cov(Y1,Y2) < 0, alors Var(

Y1+Y22

)< Var (Y )

2 .

QUESTION : comment obtenir Y1 et Y2 de même loi que Y avecCov(Y1,Y2) < 0 ?

A. Popier (Le Mans) Méthode de Monte Carlo. 69 / 95

VARIABLES ANTITHÉTIQUES UNIFORMES.

HYPOTHÈSE : Y = g(U) où U uniforme sur [0,1] .

ALGORITHME CLASSIQUE avec échantillon de taille 2n.

MÉTHODE

de i = 1 à 2ngénérer Uidéfinir Yi = g(Ui)fin

définir θ2n = Y 2n =1

2n

2n∑i=1

Yi et σ22n =

12n − 1

2n∑i=1

(Yi − θ2n)2

définir CI = [θ2n − cασ2n√

2n, θ2n + cα

σ2n√2n

]

A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

VARIABLES ANTITHÉTIQUES UNIFORMES.

HYPOTHÈSE : Y = g(U) avec U uniforme sur [0,1].

ALGORITHME avec échantillon de taille 2n.

MÉTHODE

de i = 1 à 2ngénérer Uidéfinir Yi = g(1− Ui)fin

définir θ2n = Y 2n =1

2n

2n∑i=1

Yi et σ22n =

12n − 1

2n∑i=1

(Yi − θ2n)2

définir CI = [θ2n − cασ2n√

2n, θ2n + cα

σ2n√2n

]

A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

VARIABLES ANTITHÉTIQUES UNIFORMES.

HYPOTHÈSE : Y = g(U) avec U uniforme sur [0,1].

ALGORITHME MÉLANGÉ avec échantillon de taille n.

MÉTHODE

de i = 1 à ngénérer Ui

définir Yi = g(Ui), Yi = g(1− Ui) et Zi =Yi + Yi

2fin

définir θn,a = Z n =1n

n∑i=1

Zi et σ2n =

1n − 1

n∑i=1

(Zi − θn)2

définir CI = [θn,a − cασn√

n, θn,a + cα

σn√n

]

A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

VARIABLES ANTITHÉTIQUES UNIFORMES.

HYPOTHÈSE : Y = g(U) avec U uniforme sur [0,1].DIFFÉRENTS RÉSULTATS :

θ2n = Y 2n = 12n∑2n

i=1 Yi ;

θn,a = Z n = 1n∑n

i=1 Zi .

COMPARAISON DES VARIANCES

Var (θ2n) = Var

(∑2ni=1 Yi

2n

)=

Var (Y )

2n

Var (θn,a) = Var (θ2n) +Cov(Y , Y )

2n.

AinsiVar (θn,a) < Var (θ2n)⇐⇒ Cov(g(U),g(1− U)) < 0.

A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

VARIABLES ANTITHÉTIQUES UNIFORMES.

HYPOTHÈSE : Y = g(U) avec U uniforme sur [0,1].

THÉORÈME

Si g est une fonction monotone, alors Cov(g(U),g(1− U)) < 0.

CONSÉQUENCE

Méthode d’inversion : g = f (F−1X ) est monotone si f l’est.

A. Popier (Le Mans) Méthode de Monte Carlo. 70 / 95

VARIABLES ANTITHÉTIQUES : GÉNÉRALISATION.

HYPOTHÈSE SUR X : il existe a t.q. X et a− X aient la même loi.

EXEMPLES

Lois normales N (µ, σ2) : a = 2µ.Lois de Laplace de paramètre λ > 0 : f (x) = λ

2 exp(−λ|x |). a = 0.

MÉTHODE

de i = 1 à ngénérer Xi

définir Yi = g(Xi), Yi = g(a− Xi) et Zi =Yi + Yi

2fin

définir θn,a = Z n =1n

n∑i=1

Zi et σ2n =

1n − 1

n∑i=1

(Zi − θn)2

définir CI = [θn,a − cασn√

n, θn,a + cα

σn√n

]

A. Popier (Le Mans) Méthode de Monte Carlo. 71 / 95

EXEMPLE : OPTION KNOCK-IN.

CONTRAT FINANCIER de payoff h(ST ) = max(0,ST − K )1ST>B.

MODÈLE BLACK-SCHOLES ST = S0 exp((r − σ2/2)T + σ√

TX ,X ∼ N (0,1).

PRIX DU CONTRAT

C = e−rT E (h(ST )) = e−rT E(max(0,ST − K )1ST>B

).

JEU DE PARAMÈTRES S0 = 2, K = 1, B = 2,5, r = 0,1, σ = 0.3,T = 10, N = 5000.

RÉSULTATS OBTENUS

sans réduction de variance : C = 1.5720 (variance 5.4236) ;avec réduction de variance : C = 1.5543 (variance 1.5827).

A. Popier (Le Mans) Méthode de Monte Carlo. 72 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 73 / 95

VARIABLES DE CONTRÔLE.

BUT : calculer θ = E(Y ) = E(f (X )).

AJOUT d’une variable Zfacilement simulable ;E(Z ) connue ou facilement calculable (variance « petite »).

DEUX CALCULS POSSIBLES DE θ :

par méthode de Monte Carlo standard,en posant Wc = Y + c(Z − E(Z )) et en calculant E(Wc) parMonte Carlo (c : paramètre constant fixé).

QUESTION : Var (Wc) < Var (Y ) ?

A. Popier (Le Mans) Méthode de Monte Carlo. 74 / 95

VARIABLES DE CONTRÔLE.

CALCUL DE LA VARIANCE :

Var (Wc) = Var (Y ) + c2 × Var (Z ) + 2c × Cov(Y ,Z ).

CHOIX OPTIMAL DE c : c∗ = −Cov(Y ,Z )

Var (Z );

Var (Wc∗) = Var (Y )− Cov(Y ,Z )2

Var (Z );

Var (Wc∗) < Var (Y )⇔ Cov(Y ,Z ) < 0 ;Z : variable de contrôle de Y .

ALGORITHME :

θN,c∗ =1N

N∑i=1

(Yi + c∗(Zi − E(Z ))) ≈ θ.

PROBLÈMES : calcul de E(Z ) ? De Cov(Y ,Z ) ?A. Popier (Le Mans) Méthode de Monte Carlo. 75 / 95

MMC AVEC VARIABLE DE CONTRÔLE.

MÉTHODE

ÉTAPE 1 : p petit→ détermine une valeur approchée de c∗.Simuler p v.a. (Yn)1≤n≤p et p v.a. (Zn)1≤n≤p.Poser :

E(Z ) =1p

p∑i=1

Zi , E(Y ) =1p

p∑i=1

Yi ,

Var (Z ) =1

p − 1

p∑j=1

(Zj − E(Z ))2,

Cov(Y ,Z ) =1

p − 1

p∑j=1

(Yi − E(Y ))(Zj − E(Z ))).

Calculer c∗ = − Cov(Y ,Z )

Var (Z ).

A. Popier (Le Mans) Méthode de Monte Carlo. 76 / 95

MMC AVEC VARIABLE DE CONTRÔLE.

MÉTHODE

ÉTAPE 1 : p petit→ détermine une valeur approchée de c∗.ÉTAPE 2 : N grand.

Simuler N v.a. (Yn)1≤n≤N et N v.a. (Zn)1≤n≤N .Poser :

θ =1N

N∑i=1

(Yi + c∗(Zi − E(Z ))) ≈ θ.

A. Popier (Le Mans) Méthode de Monte Carlo. 76 / 95

UN EXEMPLE.

ÉNONCÉ

Calculer θ = E(e(U+V )2) avec U et V de loi uniforme sur [0,1].

Y = e(U+V )2.

Variables de contrôle : Z1 = U + V , Z2 = (U + V )2 ou encoreZ3 = exp(U + V ).

A. Popier (Le Mans) Méthode de Monte Carlo. 77 / 95

LE PROGRAMME (CALCUL DE c∗).

p=500;u=rand ( p , 1 ) ; v=rand ( p , 1 ) ;y=exp ( ( u+v ) . ^ 2 ) ; z1=u+v ; z2 =(u+v ) . ^ 2 ; z3=exp ( u+v ) ;a1=cov ( [ y z1 ] ) ;a2=cov ( [ y z2 ] ) ;a3=cov ( [ y z3 ] ) ;c_est1=−a1 ( 1 , 2 ) / a1 (2 ,2 )c_est2=−a2 ( 1 , 2 ) / a2 (2 ,2 )c_est3=−a3 ( 1 , 2 ) / a3 (2 ,2 )

Valeurs obtenues :

c est1 = - 11.088954c est2 = - 5.7049857c est3 = - 3.9928724

A. Popier (Le Mans) Méthode de Monte Carlo. 78 / 95

LE PROGRAMME (MMC). n=5000;u=rand ( n , 1 ) ; v=rand ( n , 1 ) ;y=exp ( ( u+v ) . ^ 2 ) ; z1=u+v ; z2 =(u+v ) . ^ 2 ; z3=exp ( u+v ) ;

m1=mean( z1 )m2=mean( z2 )m3=mean( z3 )w1=y+c_est1 ∗ ( z1−m1) ;w2=y+c_est2 ∗ ( z2−m2) ;w3=y+c_est3 ∗ ( z3−m3) ;b0 =[mean( y ) stdev ( y ) ^ 2 ]b1 =[mean(w1) var (w1 ) ]b2 =[mean(w2) var (w2 ) ]b3 =[mean(w3) var (w3 ) ]

%Intervalle de confianceCI =[ b2(1)−1.96∗ stdev (w2 ) / sqrt ( n ) ,

b2 (1)+1.96∗ stdev (w2 ) / sqrt ( n ) ] A. Popier (Le Mans) Méthode de Monte Carlo. 79 / 95

BILAN.

Valeurs obtenues :

m1 = 1.0006399 (exacte 1) ;m2 = 1.171765 (exacte 7/6 ≈ 1.1666667) ;m3 = 2.959135 (exacte (e − 1)2 ≈ 2.9524924) ;

moyenne varianceb0 4.9317203 34.564778b1 4.9317203 13.840552b2 4.9317203 7.7461357b3 4.9317203 7.2175877

CI = [4.8545742,5.0088663].

A. Popier (Le Mans) Méthode de Monte Carlo. 80 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 81 / 95

MONTE CARLO CONDITIONNEL.

IDÉE : au lieu de calculer θ = E(Y ) = E(f (X )), pour Z v.a.poser V = E(Y |Z ) = g(Z ) v.a. ;et θ = E(V ).

CONDITIONS :

Z facilement simulable ;V facilement calculable.

CALCULS DE LA VARIANCE : Var (Y |Z ) est une v.a. positive :

Var (Y |Z ) = E[(Y − E(Y |Z ))2∣∣Z] ,

et comme Y − E(Y )− (E(Y |Z )− E(Y )) ⊥ E(Y |Z )− E(Y ),

Var (Y ) = E(Var (Y |Z )) + Var (E(Y |Z ))⇒ Var (Y ) ≥ Var (E(Y |Z )).

A. Popier (Le Mans) Méthode de Monte Carlo. 82 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 83 / 95

ÉVÉNEMENTS RARES.

Technique utilisée beaucoup pour

θ = P(X ≤ seuil ) = E(1X≤seuil ),

quand l’occurence de X ≤ seuil est très petite.

EXEMPLES.

Catastrophes climatiques, ferroviaires, aériennes, etc.Faillites de grosses entreprises, d’états, etc.Cracks boursiers importants

BUT : mesurer les risques de portefeuille, opérationnels, etc.(obligation légale pour les banques ou les assurances).

A. Popier (Le Mans) Méthode de Monte Carlo. 84 / 95

EXEMPLE.

X suit une loi normale de paramètres 0 et 1

θ = P(X ≤ −10) = E(1X≤−10).

MONTE-CARLO CLASSIQUE.

Nombre de tirages N variant de 1000 à 10000000.Valeur estimée : 0.CONCLUSION ERRONÉE : θ = 0.

VALEUR EXACTE : θ = 7.6199× 10−24.

Nombre de tirages nécessaires de l’ordre de 1025 : impossible !

A. Popier (Le Mans) Méthode de Monte Carlo. 85 / 95

ÉCHANTILLONNAGE PRÉFÉRENTIEL : PRINCIPE.

Changer la loi. Soient φ la densité de X et ψ une autre densité telleque ψ(x) 6= 0 si φ(x) 6= 0. Alors

θ = E(f (X )) =

∫f (x)φ(x)dx =

∫f (x)

φ(x)

ψ(x)ψ(x)dx

= E(h(Y )), avec h(x) = f (x)φ(x)

ψ(x)et Y ∼ ψ.

DÉFINITION : g est une fonction d’importance.

QUESTION : comment choisir g ?

A. Popier (Le Mans) Méthode de Monte Carlo. 86 / 95

RETOUR SUR L’EXEMPLE.

X ∼ N (0,1) et θ = P(X ≤ −10) : forcer les tirages de Y à être auxalentours de -10. Donc Y ∼ N (−10,1).

REMARQUE

Si Y ∼ N (µ, σ2), alors P(Y ≤ µ) = 1/2.

θ = P(X ≤ −10) =

∫R

1x≤−101√2π

exp(−x2

2

)

=

∫R

1x≤−10

1√2π

exp(−x2

2

)1√2π

exp(− (x+10)2

2

) 1√

2πexp

(−(x + 10)2

2

)dx

=

∫R

1x≤−10 exp(

10x + (−10)2/2) 1√

2πexp

(−(x + 10)2

2

)dx

= E [1Y≤−10 exp (10Y + 50)] .

A. Popier (Le Mans) Méthode de Monte Carlo. 87 / 95

RETOUR SUR L’EXEMPLE.

θ = P(X ≤ −10) = E [1Y≤−10 exp (10Y + 50)].

MONTE-CARLO AVEC Y.

Valeur exacte θ = 7.6199× 10−24.Y=randn(N,1) - 10.Nombre de tirages N variant de 1 à 10000.Valeur estimée : 8.0060× 10−24.Écart-type : 2.6893× 10−23

A. Popier (Le Mans) Méthode de Monte Carlo. 87 / 95

RETOUR SUR L’EXEMPLE.

A. Popier (Le Mans) Méthode de Monte Carlo. 87 / 95

CHOIX DE LA FONCTION D’IMPORTANCE.

DONNÉES : φ densité de X , ψ autre densité t.q. ψ(x) 6= 0 si φ(x) 6= 0.

θ = E(f (X )) = E(h(Y )) = E(

f (Y )φ(Y )

ψ(Y )

), Y ∼ ψ.

CALCULS DE LA VARIANCE :

Var (f (X )) =

∫f 2(x)φ(x)dx − θ2;

Var (h(Y )) =

∫f 2(x)

φ2(x)

ψ(x)dx − θ2.

Donc

Var (f (X ))− Var (h(Y )) =

∫f 2(x)

(1− φ(x)

ψ(x)

)φ(x)dx > 0.

A. Popier (Le Mans) Méthode de Monte Carlo. 88 / 95

CHOIX DE LA FONCTION D’IMPORTANCE.

DONNÉES : φ densité de X , ψ autre densité t.q. ψ(x) 6= 0 si φ(x) 6= 0.

θ = E(f (X )) = E(h(Y )) = E(

f (Y )φ(Y )

ψ(Y )

), Y ∼ ψ.

CALCULS DE LA VARIANCE :

Var (f (X ))− Var (h(Y )) =

∫f 2(x)

(1− φ(x)

ψ(x)

)φ(x)dx > 0.

PISTE : si ψ(x) = f (x)φ(x)/θ, Var (h(Y )) = 0 ! Prendre ψ proche defφ...

THÉORÈME (RUBINSTEIN)La densité ψ qui minimise la variance est

ψ(x) =1∫

|f (x)|φ(x)dx|f (x)|φ(x).

A. Popier (Le Mans) Méthode de Monte Carlo. 88 / 95

CHOIX DE LA FONCTION D’IMPORTANCE.

DONNÉES : φ densité de X , ψ autre densité t.q. ψ(x) 6= 0 si φ(x) 6= 0.

θ = E(f (X )) = E(h(Y )) = E(

f (Y )φ(Y )

ψ(Y )

), Y ∼ ψ.

CALCULS DE LA VARIANCE :

Var (f (X ))− Var (h(Y )) =

∫f 2(x)

(1− φ(x)

ψ(x)

)φ(x)dx > 0.

IDÉE :

prendre φ/ψ > 1 quand fφ petit ;prendre φ/ψ < 1 quand fφ grand.

A. Popier (Le Mans) Méthode de Monte Carlo. 88 / 95

PLAN

1 MÉTHODE DE MONTE CARLO

2 PROBLÈME DE SIMULATIONThéorème fondamentalSimulation de la loi uniformeFonction de répartitionMéthode d’inversionCas particuliersVérificationsMéthode de rejetLois gaussiennes

3 RÉDUCTION DE VARIANCEVariables antithétiquesVariables de contrôleMonte Carlo conditionnelÉchantillonnage d’importanceÉchantillonnage stratifié

A. Popier (Le Mans) Méthode de Monte Carlo. 89 / 95

PRINCIPE DE L’ÉCHANTILLONNAGE STRATIFIÉ.

OBJECTIF : évaluer θ = E(Y ) avec Y v.a. réelle. Soit A1, . . . ,AKsous-ensembles disjoints de R tels que P(Y ∈ ∪iAi) = 1. Alors

θ =K∑

i=1

P(Y ∈ Ai)E(Y |Y ∈ Ai) =K∑

i=1

piE(Y |Y ∈ Ai).

STRATIFICATION PROPORTIONNELLE. Soit N la taille de l’échantillon.choisir les Ai avec pi = P(Y ∈ Ai) ;poser ni = Npi (considéré comme entier) ;pour chaque i = 1, . . . ,K , simuler Yij , j = 1, . . . ,ni i.i.d. suivant laloi de Y sachant Y ∈ Ai .

θ ≈K∑

i=1

pi

1ni

ni∑j=1

Yij

=1N

K∑i=1

ni∑j=1

Yij .

A. Popier (Le Mans) Méthode de Monte Carlo. 90 / 95

GÉNÉRALISATION.

I STRATIFICATION FONCTION DE X .Ai choisis tels que P(X ∈ ∪iAi ) = 1 :

θ =K∑

i=1

P(X ∈ Ai )E(Y |Y ∈ Ai ) =K∑

i=1

piE(Y |X ∈ Ai ).

Générer (Xij ,Yij ) suivant la loi conditionnelle de (X ,Y ) sachantX ∈ Ai .

I SUPPRIMER LA PROPORTIONNALITÉ.Autoriser le nombre de tirages n1, . . . ,nk arbitraire (avec∑

i ni = N) ;Poser qi = ni/N :

θ ≈ Y =K∑

i=1

pi

1ni

ni∑j=1

Yij

=1N

K∑i=1

pi

qi

ni∑j=1

Yij .

A. Popier (Le Mans) Méthode de Monte Carlo. 91 / 95

EXEMPLES.

I STRATIFICATION DE LA LOI UNIFORME.Partition de ]0,1[ : Ai =]ai ,bi ] ;Loi de U sachant U ∈ Ai : uniforme entre ai et bi ;Échantillon : Vi = ai + (bi − ai )Ui .Exemple : Ai =](i − 1)/N, i/N], i = 1, . . . ,N.

I VIA FONCTION DE RÉPARTITION.Y de fonction de répartition F .Pour p1, . . . ,pK données, avec a0 = −∞,

a1 = F−1(p1),a2 = F−1(p1 + p2), . . . ,aK = F−1(1),

et Ai =]ai−1,ai ] pour i = 1, . . . ,K . Si ak = +∞, alorsAK =]aK−1,aK [.V = ai−1 + U(ai − ai−1) uniforme sur Ai et F−1(V ) a la loi de Ysachant Y ∈ Ai .

A. Popier (Le Mans) Méthode de Monte Carlo. 92 / 95

ANALYSE DE L’ESTIMATEUR Y .

NOTATIONS :

θi = E(Yij) = E(Y |X ∈ Ai), σ2 = Var (Yij) = Var (Y |X ∈ Ai).

ESTIMATEUR SANS BIAIS :

E(Y ) =K∑

i=1

pi

1ni

ni∑j=1

E(Yij)

=N∑

i=1

piθi = θ.

de variance :

Var (Y ) =K∑

i=1

p2i Var

1ni

ni∑j=1

E(Yij)

=N∑

i=1

p2iσ2

ini

=σ2(q)

N

avec

σ2(q) =N∑

i=1

p2i

qiσ2

i .

A. Popier (Le Mans) Méthode de Monte Carlo. 93 / 95

ANALYSE DE L’ESTIMATEUR Y .

INTERVALLE DE CONFIANCE :

1√[Nqi ]

[Nqi ]∑j=1

(Yij − θi)en loi−→ N (0, σ2

i )

d’où

√N(

Y − θ)

=√

NK∑

i=1

pi

1[Nqi ]

[Nqi ]∑j=1

(Yij − θi)

K∑i=1

pi√qi

1√[Nqi ]

[Nqi ]∑j=1

(Yij − θi)

Ainsi √

N(

Y − θ)

en loi−→ N (0, σ(q)2).

A. Popier (Le Mans) Méthode de Monte Carlo. 93 / 95

ANALYSE DE L’ESTIMATEUR Y .

INTERVALLE DE CONFIANCE : Ainsi√

N(

Y − θ)

en loi−→ N (0, σ(q)2).

σ(q)2 : estimé via

s2(q) =N∑

i=1

p2i

qis2

i , avec si déviation standard de Yi1, . . . ,Yini ;

ouI N = mk , ki = qik et ni = mki ,I Y moyenne de m estimateurs Yi qui allouent une fraction qi

d’observations pour la strate i et de taille k ,I Yi de variance σ(q)2/k et Y de variance (σ(q)2/k)/m.

A. Popier (Le Mans) Méthode de Monte Carlo. 93 / 95

RÉDUCTION DE VARIANCE ?

I CAS PROPORTIONNEL.

σ2

N=

1N

(E(Y 2)− θ2) =1N

[K∑

i=1

piE(Y 2|X ∈ Ai)− θ2

]

=1N

[K∑

i=1

pi(σ2i + θ2

i )− θ2

]

=1N

K∑i=1

piσ2i +

1N

K∑i=1

pi(θi − θ)2

Ainsi :σ2

N− Var (YProp) =

1N

K∑i=1

pi(θi − θ)2.

A. Popier (Le Mans) Méthode de Monte Carlo. 94 / 95

RÉDUCTION DE VARIANCE ?

II CAS PROPORTIONNEL. Ainsi :σ2

N− Var (YProp) =

1N

K∑i=1

pi(θi − θ)2.

I OPTIMISATION.

Trouver le minimum de σ2(q) =N∑

i=1

p2i

qiσ2

i avec qi = ni/N et

n1 + . . .+ nk = N.Optimum : q∗i =

piσiK∑

j=1

pjσj

.

Ainsi

Var (YOpt ) =1N

K∑j=1

pjσj

2

=σ2

N.

Var (YProp)− Var (YOpt ) =1N

K∑j=1

pj(σj − σ

)2.

A. Popier (Le Mans) Méthode de Monte Carlo. 94 / 95

RÉDUCTION DE VARIANCE ?

II CAS PROPORTIONNEL. Ainsi :σ2

N− Var (YProp) =

1N

K∑i=1

pi(θi − θ)2.

I OPTIMISATION.

Var (YProp)− Var (YOpt ) =1N

K∑j=1

pj(σj − σ

)2.

I CONCLUSION.

σ2

N=

σ2

N− Var (YProp) + Var (YProp)− Var (YOpt ) +

σ2

N

=1N

K∑i=1

pi(θi − θ)2 +K∑

j=1

pj(σj − σ

)2+ σ2

.

A. Popier (Le Mans) Méthode de Monte Carlo. 94 / 95

EXEMPLE NUMÉRIQUE.

OBJECTIF : calculer θ = E(Y ) = E(√

1− U2), avec variable destratification X = U.

Pour Ai =]ai ,bi ], Yi = (√

1− U2|U ∈ Ai) obtenue via (U|U ∈ Ai)uniforme sur Ai .Choix : A1 =]0, 1

K ],A2 =] 1K ,

2K ], . . . ,AK =]K−1

K ,1].pi = 1/K , ni = Npi = N/K .

RÉSULTATS :

N = 10000, K = 100.Monte-Carlo standard : θ = 0,782 avec intervalle de confiance[0,7775; 0,7864]. Variance : 0,05.Échantillonnage stratifié : θ = 0,7854 avec intervalle de confiance[0,7853; 0,7855]. Variance : 2,65× 10−5.

A. Popier (Le Mans) Méthode de Monte Carlo. 95 / 95