cours de probabilité

Master Recherche de MathmatiquesProbabilits

Jean-Yves DAUXOIS

CTUUniversit de Franche-Comt

Anne scolaire 2008-2009

3Ce polycopi est encore rcent. Veuillez mexcuser pour toutes les coquilles quil doitcontenir. Merci davance ceux qui voudront bien me les signaler.

Table des matires

Chapitre 1. Rappels ou complments de Probabilits 71. Variables gaussiennes 82. Thormes des classes monotones et thorme de Carathodory 14

Chapitre 2. Gnralits sur les Processus Stochastiques 171. Notion de processus stochastique 182. Exemples classiques et fondamentaux de processus stochastiques 233. Bibliographie 26

Chapitre 3. Processus de Poisson 271. Dfinition et proprits lmentaires 282. Caractrisation dun processus de Poisson 323. Rsultats asymptotiques 344. Bibliographie 37

Chapitre 4. Chanes de Markov 391. Dfinition et matrice de transition 402. Exemples classiques de Chanes de Markov 413. quations de Chapman-Kolmogorov 484. Quelques formules de conditionnement 505. Classification des tats 516. Priodicit 547. Temps datteinte, tats rcurrents et transients 568. Proprit de Markov forte 669. Rcurrence positive et rcurrence nulle 6710. Loi stationnaire et thormes limites 7011. Bibliographie 81

Chapitre 5. Esprances conditionnelles 831. Introduction 842. Esprance conditionnelle 85

Chapitre 6. Martingales 971. Martingales 982. Martingales bornes dans L1 1113. Ingalit de Doob et consquences 1154. Martingales bornes dans Lp, pour p > 1 117

5

CHAPITRE 1

Rappels ou complments de Probabilits

7

8 Chapitre 1. Rappels ou complments de Probabilits

1. Variables gaussiennes

1.1. Exemple fondamental.

Exercice 1.1. Considrons n variables alatoires X1, . . . , Xn indpen-dantes et de loi respectivement N(m1, 21), . . . , N(mn,

2n).

Pour i = 1, . . . , n, la variable alatoire Xi est donc de densit

fXi(x) =1

2piiexp

{1

2

(xmii

)2},

par rapport la mesure de Lebesgue sur R.1) Montrer que lon peut crire la densit du vecteur de Rn

X =

X1...Xn

de la forme :

fX(x1, . . . , xn) =1(2pi)n 1

det(X)exp

{1

2(xm)1X (xm)

},

o u est la transpose du vecteur u et o m et X sont respectivement levecteur des esprances et la matrice de covariance du vecteur alatoire X.

2) On rappelle que la fonction caractristique (f.c.) dune v.a.r. Xj deloi N(mj , 2j ) est :

Xj (j) = E(eijXj ) = exp

{ijmj 12

2j

2j

},

pour tout j de R. En dduire que celle du vecteur X = (X1, . . . , Xn) est :

X() = E(eiX) = exp

{im 1

2X

},

pour tout vecteur de Rn.3) En utilisant les f.c., montrer que toute combinaison linaire des com-

posantes de X est de loi normale sur R dont on dterminera lesprance etla variance.

Solution de lexercice.1) En raison de lindpendance des variables alatoires Xi, la densit conjointe du vecteur

X1, . . . , Xn est :

fX1,...,Xn(x1, . . . , xn) =1(2pi)n 1n

i=1 iexp

{1

2

ni=1

(xi mii

)2}.

Jean-Yves Dauxois, cFvrier 2009

1. Variables gaussiennes 9

Notons que la matrice X est diagonale en raison de lindpendance des v.a.r. (Xi)i=1,...,n.Comme toutes les variances i sont strictement positives, on obtient aisment la matrice inverse

1X =

1/21 0

. . .0 1/2n

.On peut alors rcrire la densit conjointe du vecteur X = (X1, . . . , Xn) sous la forme

fX(x1, . . . , xn) =1(2pi)n 1

det(X)exp

{1

2(xm)1X (xm)

},

puisque

(xm)1X (xm)

= (x1 m1, . . . , xn mn)

1/21 0

. . .0 1/2n

x1 m1...

xn mn

=

ni=1

(xi mi)22i

.

2) En raison de lindpendance entre les composantes du vecteur X, on a, pour tout = (1, . . . , n) de Rn :

X() = X1,...,Xn(1, . . . , n) =nj=1

Xj (j),

do on tire :

X1,..., Xn() = exp

inj=1

jmj 12nj=1

2j2j

= exp

{im 1

2X

}.

3) Une combinaison linaire des composantes du vecteur X scrit de manire gnralesous la forme :

,X = Xo = (1, . . . , n) est un vecteur de Rn. Il vient alors, pour tout u dans R :

,X(u) = E(eiu,X

)= E

(eiu,X

)= X(u) = X(u1, . . . , un)= exp

{ium 12u2X

}.

La fonction caractristique de la v.a.r. ,X est donc de la forme :,X(u) = exp

{iua 12u2b

},

avec a = m et b = X. Par caractrisation, la v.a.r. ,X est donc de loiN(m,X).3



1.2. Dfinition.

Dfinition 1.1. Un vecteur alatoire X = (X1, . . . , Xn) de Rn est dit vecteur gaussien si,pour tout = (1, . . . , n) de Rn, la v.a.r.

X =ni=1

iXi

est une v.a.r. de loi normale. Autrement dit, si toute combinaison linaire des composantesde (X1, . . . , Xn) est de loi normale.

Si son vecteur des esprances est m et sa matrice de covariance est X , on note X Nn(m,X).

Remarquons que lon peut en particulier en dduire que toutes les composantes du vecteurX sont des v.a.r. de loi normale (Exercice trivial !). En revanche, la rciproque est fausse. Unvecteur dont toutes les composantes sont de loi normale, nest pas ncessairement un vecteurgaussien. On en verra un contre-exemple sous forme dexercice la fin de cette section.

La dfinition prcdente implique galement que tout sous vecteur dun vecteur gaussienest encore un vecteur gaussien.

Proposition 1.2. Si X est un vecteur gaussien de vecteur des esprancesm = (m1, . . . ,mn)et de matrice de covariance X , alors, pour tout dans Rn, la v.a.r. X = ,X est de loiN(m,X).

Exercice 1.2. Dmontrer cette proposition.

Preuve/solution de lexercice. On utilise dabord le fait que, par dfinition dun vecteurgaussien, la v.a.r. X est de loi normale. Il ne reste plus qu calculer son esprance et savariance. On sait que lon peut crire :

E(X) = EX = met X = X.

2

On peut aussi caractriser un vecteur gaussien par sa fonction caractristique, grce laproposition suivante.

Proposition 1.3. Pour quun vecteur X de Rn soit un vecteur gaussien, il faut et il suffitquil existe un vecteur m de Rn et une matrice symtrique et positive de dimension n ntels que, pour tout vecteur de Rn, on ait :

X(1, . . . , n) = exp{im 1

2

}.

Dans ce cas, on a : EX = m et X = .

Exercice 1.3. Dmontrer cette proposition (Ind. Dans un sens onutilisera la proposition prcdente et dans lautre la dfinition prcdente dunvecteur gaussien).



Preuve/solution de lexercice. Supposons que X soit un vecteur gaussien. Toutev.a.r. de la forme X, pour dans Rn, est donc de loi N(m,X). Ainsi sa fonctioncaractristique est :

X(u) = E(eiuX) = exp

{ium 1

2u2X

}En posant u = 1 dans cette quation, on obtient :

E(eiX) = exp

{im 1

2X

},

Ce qui est bien lexpression annonce pour la fonction caractristique.Rciproquement, soit X un vecteur alatoire dans Rn ayant pour fonction caractristique

X() = exp{im 1

2X

}= E

(ei,X

),

pour tout dans Rn. Notons maintenant Y = ,X la variable alatoire relle dont lafonction caractristique est, pour tout u dans R :

Y (u) = E(eiuY

)= E

(eiu

X)

= E(eiu,X

)= exp

{ium 1

2u2X

}= exp

{iua 1

2u2b

}o a = m et b = X. Par caractrisation, la v.a.r. Y est donc de loi N(m,X).On a donc dmontr que toute combinaison linaire des composantes du vecteur X est de loinormale, et par dfinition il sagit bien dun vecteur gaussien. 2

Notons que, dans tout ce qui prcde, la matrice X nest pas suppose inversible. En re-vanche, la dfinition dun vecteur gaussien par sa densit, par rapport la mesure de Lebesguedans Rn, nest possible que si cette matrice est inversible, comme laffirme la proposition sui-vante.

Proposition 1.4. Soit X un vecteur gaussien dans Rn desprance m et de matrice descovariances X . Lorsque X est inversible, le vecteur alatoire X est dit vecteur alatoiregaussien non dgnr et sa loi est absolument continue par rapport la mesure de Lebesguedans Rn et admet pour densit

fX(x1, . . . , xn) =1

(2pi)n/21

det(X)exp

{1

2(xm)1X (xm)

}.

Un vecteur gaussien de matrice de covariance X telle que det(X) = 0 (i.e. X noninversible) est dit dgnr et nadmet pas de densit par rapport la mesure de Lebesguedans Rn.



1.3. Proprits des vecteurs alatoires gaussiens.1.3.1. Transformation linaire dun vecteur gaussien.

Proposition 1.5. La transforme dun vecteur gaussien de Rn par une application linairede Rn vers Rp est encore un vecteur gaussien.

Exercice 1.4. Dmontrer cette proposition (Ind. Calculer la fonctioncaractristique du vecteur Y = AX o A est la matrice de lapplicationlinaire considre et X est le vecteur gaussien initial).

Preuve/solution de lexercice. Soit X un vecteur gaussien de Rn, de vecteur desesprances m et de matrice de covariance X . Soit A la matrice associe une transformationlinaire quelconque de Rn vers Rp. La matrice A est donc de dimension p n. Calculons lafonction caractristique du vecteur alatoire Y = AX.

Daprs ce que lon a vu au chapitre prcdent, pour tout de Rp, on a :

Y () = AX() = E(ei,AX

)= E

(eiA

,X)

= X(A) = exp{iAm 1

2AXA

}.

Par caractrisation, le vecteur Y est donc un vecteur gaussien dans Rp de vecteur desesprances Am et de matrice de covariance AXA, i.e.

Y Np(Am,AXA). 2

1.3.2. Vecteur gaussien et indpendance.On sait que, dune manire gnrale, lindpendance entrane la non corrlation (i.e. co-

variance nulle) mais que la rciproque est fausse. Dans le cas dun vecteur gaussien il y aquivalence, comme le montre la proposition suivante.

Proposition 1.6. Soit X un vecteur gaussien dans Rn. Pour que ses composantes X1, . . . , Xnsoient indpendantes, il faut et il suffit que la matrice de covariance soit diagonale.

Exercice 1.5. Dmontrer cette proposition (Ind. Un seul sens nces-site une preuve. Pour ce faire on pourra utiliser les f.c. et la caractrisationquelles procurent pour lindpendance entre v.a.r.).

Preuve/solution de lexercice. Il suffit, bien sr, de montrer la rciproque. Supposonsdonc que X soit diagonale, i.e.

X =

21 0

. . .0 2n

.Jean-Yves Dauxois, cFvrier 2009


Comme X est un vecteur gaussien de loi Nn(m,X), chacune de ses composantes Xj , pourj = 1, . . . , n, est de loi normale N(mj , 2j ) et de fonction caractristique :

Xj (j) = exp{ijmj 12

2j

2j

},

pour tout j dans R.Par ailleurs, la fonction caractristique du vecteur X est, pour tout dans Rn :

X() = exp{im 1

2X

}

= exp

inj=1

jmj 12nj=1

2j2j

= exp

nj=1

{ijmj 12

2j

2j

}=

nj=1

exp{ijmj 12

2j

2j

}=

nj=1

Xj (j).

La caractrisation bien connue de lindpendance au moyen des f.c. permet de conclure. 2

Corollaire 1.7. Si le couple (X,Y ) est un vecteur gaussien, on a

X Y Cov(X,Y ) = 0.Preuve. Immdiate. 2

Nous attirons lattention du lecteur sur le fait que deux variables alatoires relles gaussi-ennes et non corrles ne sont pas ncessairement indpendantes. Pour sassurer quelles lesoient il faut pour cela quelles constituent un couple gaussien.

Lexercice suivant tablit un contre-exemple.

Exercice 1.6. Considrons une v.a.r. X de loi N(0, 1) et une v.a.r.discrte de loi dfinie par :

p( = 1) =12

et p( = 1) = 12

et telle que les v.a.r. et X soient indpendantes. On pose Y = X.1) Calculer la loi de Y .2) Montrer que X et Y ne sont pas corrles (i.e. sont de covariance

nulle).3) Montrer quelles ne sont cependant pas indpendantes. (Ind. on

pourra raisonner par labsurde et considrer la v.a. X + Y )



Solution de lexercice.1) On a :

FY (y) = P (X y)= P ({X y} { = 1}) + P ({X y} { = 1})= P ({X y} { = 1}) + P ({X y} { = 1})= P (X y)P ( = 1) + P (X y)P ( = 1)=

12P (X y) + 1

2P (X y) = FX(y).

Ainsi la v.a.r. Y est de loi N(0, 1).2) Puisque X et Y sont centres et que et X sont indpendantes, on a :

Cov(X,Y ) = EXY EXEY = E(X2) = EEX2 = 03) En raisonnant par labsurde, supposons quelles soient indpendantes . Daprs ce que

lon a vu au dbut de ce chapitre, le couple (X,Y ) serait gaussien et X + Y serait alors de loinormale et donc absolument continue.

Or, en notant que X + Y = (1 + )X, on a :

P (X + Y = 0) = P (1 + = 0) = P ( = 1) = 12,

ce qui contredit le fait que la v.a.r. X + Y soit absolument continue. Les v.a.r. X et Y nesont donc pas indpendantes. 3

2. Thormes des classes monotones et thorme de Carathodory

Dans cette section nous ne donnerons pas les preuves des thormes car elles sont trstechniques et longues. Limportant est surtout de savoir utiliser ces rsultats fondamentauxpour la suite de ce cours.

Dfinition 1.8. Une familleM de parties dun ensemble est appele classe monotonesi

i) M,ii) si (An) est une suite croissante dlments deM tels que An A, alors A M,iii) Si A et B sont des lments de M et si A est inclus dans B, alors B \ A est dansM.

Une tribu est bien sr une classe monotone. On peut de mme montrer facilement quuneclasse monotone ferme pour lintersection finie est alors une tribu (Exercice faire !).

Thorme 1.9. (Thorme des classes monotones, version ensembliste) Si S estune famille de parties de ferme pour lintersection finie, alors la classe monotone engendrepar S concide avec la tribu engendre par S, i.e.

m(S) = (S).Thorme 1.10. (Thorme des classes monotones, version fonctionnelle) Soit

H une espace vectoriel de fonctions bornes dfinies sur valeurs dans R contenant lesconstantes et stable par limites monotones bornes, i.e. si (fn) est une suite croissante bornede fonctions positives de H, alors f := lim fn est dans H. Soit C un sous-ensemble de H stablepar multiplication.

Alors H contient toutes les fonctions bornes (C)-mesurables.


2. Thormes des classes monotones et thorme de Carathodory 15

Le thorme des classes monotones permet en particulier de montrer lunicit dans lethorme fondamental suivant.

Thorme 1.11. (Thorme de Carathodory) Soit une mesure -additive surlalgbre de Boole A de parties de . Alors il existe une mesure sur la tribu (A) telleque (A) = (A), pour tout A de A. De plus est unique et -finie si est -finie.


CHAPITRE 2

Gnralits sur les Processus Stochastiques

17

18 Chapitre 2. Gnralits sur les Processus Stochastiques

Ce chapitre a pour but dintroduire formellement la notion de processus stochastique,den donner une dfinition relativement gnrale avant dtudier plus prcisment quelquescas particuliers dans les chapitres suivants. Il est certainement un peu abstrait et peu digeste(malgr mes efforts...) la premire lecture du polycopi. Il est dailleurs noter quil setrouve la marge du programme de cette unit. Cest pourquoi, il peut tre conseill dele sauter en premire lecture. Ensuite, pour rpondre quelques unes des questions quevous pourriez vous poser sur les processus stochastiques tudis ultrieurement (processus dePoisson, Chanes de Markov et Martingales), il trouvera peut tre son utilit, en particulierpour ceux qui dsireraient en savoir un peu plus...

1. Notion de processus stochastique

1.1. Introduction. On sintresse lvolution dun phnomne, dune variable au coursdu temps. On utilise le terme de processus quand on suppose lintervention dala ou dun tropgrand nombre de facteurs explicatifs quon ne peut prendre en compte et que lon rassembledu coup dans lala. Quatre grands types de processus se dgagent rapidement dont voici desexemples :

volution de la temprature releve tous les matins 7 heures.Nombre mensuel dimmatriculations nouvelles releves Besanon.Nombre de personnes places dans le monde du travail par lANPE par mois. Relev par seconde de la dilatation dun matriau sous leffet de la chaleur.valuation sensorielle dun produit des instants diffrents.Relev par heure de la concentration sanguine dun certain type danticorps sur unpatient. Nombre dappels reus par un standard tlphonique depuis le dbut de la journe,i.e. dans lintervalle [8h, t] pour t [8h, 17h].Relev en continu du nombre de voitures arrtes un feu rouge, nombre de clients une caisse de supermarch ou un guichet de banque. lectrocardiogramme dun patientVariation dun indice boursier.volution de la proportion dozone dans latmosphre au cours de la journe dansle centre de Paris.

Ces processus peuvent tre modliss par la donne dun espace probabilis (,A, P ), dunespace probabilisable (E, E), dun ensemble T et dune famille de v.a. (Xt)tT de (,A, P ) valeurs dans (E, E). Les quatres grands types que nous avons vu prcdemment sont dif-frencis par leur ensemble T , appel espace des temps, et leur ensemble E, appel espacedtats.

Si T est un espace dnombrable, N par exemple, on parle de processus temps discret.Cest le cas pour les deux premiers grands types introduits plus haut. Si lespace T est detype continu, par exemple R ou R+, on parle de processus temps continu. Cest le casdes deux derniers types. Notons que lon peut aussi considrer des processus espace destemps multidimensionnel, comme par exemple T Rk. Il en est ainsi pour la modlisation dumouvement de la vague sur locan. Pour un point t repr par sa latitude et sa longitude, onrelve la hauteur Xt de la vague. Il en est ainsi galement en traitement de limage o pourtout t coordonnes du pixel (dans N2) on associe un niveau de gris Xt pour des images en noiret blanc, ou un triplet de valeurs donnant les niveaux de rouge, bleu et vert. On parle alorsde processus spatiaux mais nous naborderons pas ces derniers dans ce cours.


1. Notion de processus stochastique 19

On peut galement distinguer deux types despace dtats, selon quil est discret ou continucomme respectivement dans les types 1 et 3 et les types 2 et 4. Notons que nous navonsconsidr que des espaces dtats unidimensionnels et que bien sr, sans difficult majeure,on pourra galement considrer des espaces dtats mutlidimensionnels, par exemple E Rk.Il en est ainsi par exemple si on considre le dplacement au cours du temps dune particuledans un liquide, repre par ses coordonnes dans lespace.

1.2. Dfinition-Mesurabilit. A la suite des exemples prcdents, on souhaite dfinirune manire de reprsenter lvolution dun systme au cours du temps.

Une reprsentation dterministe consiste spcifier un espace T , dit espace des temps, unespace E, dit espace des tats et une fonction

x : T Et 7 xt

Ainsi on pourra reprsenter lvolutions de systmes dterministes par des quations parexemple du type : xt = t2 ou xt = A cost, etc...

Mais, comme nous lavons vu dans les exemples de la section prcdente, il est parfoisutile ou ncessaire de faire intervenir lalatoire. Pour cela on se donne un espace probabilis(,A, P ) et une famille (Xt)tT de v.a. de (,A, P ) vers (E, E), i.e. pour tout t T lafonction Xt de (,A) vers (E, E) est mesurable, i.e.

B E : X1t (B) = {Xt B} = { : Xt() B} A.En rsum, on a donc :

t T, B E , X1t (B) A.Remarquons que lon peut aussi considrer un processus comme une fonction de T

vers E,

T E(t, ) 7 X(t, )

et galement comme une fonction de vers lensemble des fonctions de T vers E, ensemblenot ET ,

X : ET 7 (t 7 Xt())

Dans la dernire formulation, pour une ralisation du hasard on alors une fonction de ET .Chaque fonction obtenue pour un particulier est alors appele trajectoire.

Revenons sur la notion de mesurabilit. Celle-ci, dj introduite plus haut, est quivalenteaux suivantes.

n N,(t1, . . . , tn) Tn, (B1, , Bn) En, on a :{(Xt1 , . . . , Xtn) B1 Bn} A n N,(t1, . . . , tn) Tn, B Entribu produit sur En{(Xt1 , . . . , Xtn) B} A

On a vu que lon pouvait voir le processus X comme fonction de vers ET . Si lon munice dernier espace dune tribu, que lon notera ET , on pourra alors galement voir le processusX comme une fonction mesurable de (,A) vers (ET , ET ). Cette notion de mesurabilit seraalors quivalente celle introduite prcedemment.



Dfinition 2.1. Soit (Ei, Ei)iI une famille despace mesurables. On note iIEi la tribusur

iI Ei engendre par les pavs

iI Bi, o les Bi sont lments de Ei et sont tous gaux

Ei, sauf un nombre fini. Si T est un ensemble et (E, E) un espace mesurable, on notera ETla tribu engendre par les pavs sur ET .

Les notions quivalentes de la mesurabilit dun processus stochastique, introduites prcdem-ment, sont alors encore quivalentes

Le processus X est mesurable de (,A) vers (E, E)T .

Pour tout pav tT Bt de ET on a :X1(

tT

Bt) = { : Xt() Bt, pour tout t} A

1.3. Loi dun processus, Processus canoniques. La notion de loi dun processus estcalque sur celle de loi dune variable alatoire.

Dfinition 2.2. On appelle loi du processus (,A, P, (Xt)tT ) la loi image PX de Ppar X.

La loi dun processus est donc une probabilit sur lensemble des fonctions de T vers E.

Thorme 2.3. La loi dun processus (,A, P, (Xt)tT ) est caractrise par les valeurs deP ({(Xt1 , . . . , Xtn) B1 Bn})

pour tout n dans N, tout (t1, . . . , tn) dans Tn et tout B1 Bn dans En. On dit encoreque la loi PX du processus X est caractrise par lensemble des lois marges de dimensionfinie, i.e. par lensemble des lois P(X1,...,Xn) de tout sous vecteur de dimension finie.

Preuve. Il suffit de remarquer que lensemble des pavs mesurables est stable par inter-section finie. Le thorme de Carathodory nous dit alors quune probabilit sur (E, E)T estcaractrise par ses valeurs sur les pavs

tT Bt, i.e. par les PX(

tT Bt). La dfinition dun

pav implique alors clairement que la donne de ces probabilits est quivalente la donnedu systme de probabilit du thorme.2

Dfinition 2.4. Soient X et Y deux processus ayant mme ensemble des temps T etmme espace dtats (E, E). On dit que les processus X et Y sont quivalents sils ont mmeloi, i.e. si

n N, (t1, . . . , tn) Tn, (B1, . . . , Bn) En, on a :P ({(Xt1 , . . . , Xtn) B1 Bn}) = P ({(Yt1 , . . . , Ytn) B1 Bn})

Parmi tous les processus quivalents, i.e. ayant tous la mme loi, on peut en distinguer unde manire unique. Il sera alors souvent pris comme reprsentant de sa classe dquivalence.

Soit donc (,A, P, (Xt)tT ) un processus dfini sur (,A) et valeurs dans (E, E)T . Saloi est PX , image de P par la fonction mesurable X. Dfinissons lensemble (pit)tT desapplications coordonnes dindice t, i.e. pour t0 T :

pit0 : ET E

(xt)tT 7 xt0On peut, la suite de ce que lon a fait prcdemment, montrer que la tribu ET est laplus petite tribu rendant mesurable les applications coordonnes de ET vers E, i.e. ET =(pi1t0 (B) : t0 T, B E) = (pit : t T ), o si V est une famille densembles (resp.


1. Notion de processus stochastique 21

famille de fonctions), la tribu (V) est la tribu engendre par (resp. rendant mesurable tousles lments de) V. Ainsi, sur (ET , ET , PX) on peut dfinir une famille (pit)tT de v.a. de(ET , ET , PX) vers (E, E). Au sens de la premire dfinition (vue en dbut de cette section), ilsagit donc dun processus. Remarquons que ce processus est quivalent au processus (Xt)tT .En effet, pour tout n dans N, tout (t1, . . . , tn) Tn et tout (B1, . . . , Bn) En, on a :

PX({(pit1 , . . . , pitn) B1 Bn})= P (X1{(pit1 , . . . , pitn) B1 Bn})= P ({ : (Xt1(), . . . , Xtn()) B1 Bn})= P ({(Xt1 , . . . , Xtn) B1 Bn})

On a donc pratiquement tabli la proposition suivante, le reste tant ais.

Proposition 2.5. Lensemble des processus, ayant mme espace des temps et dtats, quisont quivalents entre eux forment une classe dquivalence.

Parmi les lments de cette classe dquivalence, il en existe un unique dfini sur (E, E)Tpar les applications coordonnes. Ce processus est appel processus canonique.

On remarque que travailler sur les processus canoniques revient travailler au niveau deslois des processus, i.e. au niveau des classes dquivalences. On appelle version du processusun lment quelconque de cette classe et on utilise le plus souvent la version canonique.

1.4. Processus canoniques ayant des rpartitions finies donnes. Thorme deKolmogorov. On vient de voir dans la section prcdente quun processus stochastique estentirement dtermin par ses marges de dimension finie. On peut se poser la question danslautre sens. Ayant un systme de loi de dimension finie, existe-t-il un processus (Xt)tTayant pour marges de dimension finie, ces lois ? De manire plus mathmatique, on posera laquestion sous la forme suivante. Notons pour cela lensemble des parties finies de T , i.e.

S si n N et (t1, . . . , tn) Tn tel que S = {t1, . . . , tn}.Supposons que lon ait un systme (s)s de lois de dimension finie. Existe-t-il une probabilitP sur (ET , ET ), et si oui est-elle unique, telle que P ait pour systme de marges de dimensionfinie la famille (s)s ?

On remarque assez vite quune question de cohrence apparat. Notons en effet piS laprojection de ET sur ES et piSS , pour S S, la projection de ES sur ES . On cherche doncune probabilit P telle que la probabilit piS P , image de P par piS , soit gale S et cepour tout S dans . Or, clairement, pour S S, on doit avoir piSS piS P la fois gal piS P = S et gal piSS S . Il faut donc ncessairement que le systme de marges quelon se donne (S)S soit cohrent, i.e. :

(S, S) 2, S S : piSS S = S .Lintrt du thorme suivant du Kolmogorov est de montrer que cette condition, dont onvient de souligner la ncessit, est aussi suffisante. Mais donnons en premier lieu la dfinitiondun espace polonais.

Dfinition 2.6. Un espace E est dit polonais, sil est mtrique, sparable (i.e. il existeune base dnombrable douverts) et complet (toute suite de Cauchy est convergente).

Thorme 2.7. (Kolmogorov) Soit E un espace dtats polonais muni de sa tribu borli-enne (i.e. tribu engendre par les ouverts pour la topologie) et T un espace des temps. Soit(S)S un systme de lois de dimension finie (S loi sur ES pour S partie finie de T ). Si ce



systme de lois est cohrent alors il existe une unique probabilit P sur (E, E)T telle que sesmarges de dimension finie concident avec le systme de lois (S)S.

Remarque : On peut vrifier que les espaces mesurables suivants sont polonais : (R,BR); (Rd,BRd); E est dnombrable muni de la tribu de toutes ses parties.

1.5. Modification dun processus et processus indistinguables.

Dfinition 2.8. Soit X = (,A, P, (Xt)tT ) et X = (,A, P, (X t)tT ) dfinis sur lemme espace probabilis (,A, P ), ayant mme espace des temps T et mme espace dtats E.

On dit que le processus X est une modification du processus X si pour tout t dans T ,les v.a. Xt et X t sont presque srement gales.

Ils sont dits indistinguables si lon a P -presque-srement :

Xt = X t, t T.Il est clair que deux processus modifications lun de lautre sont quivalents. Remar-

quons galement que deux processus indistinguables sont modification lun de lautre mais,en revanche, la rciproque est fausse ds que lespace des temps nest pas dnombrable.Lindistinguabilit signifie quen dehors dun ensemble ngligeable sur , toutes les trajec-toires des deux processus concident ce que nexigeait pas la notion de modification.

Exemples de processus qui sont modifications lun de lautre et qui ne sont pas indistin-guables

Soient (Xt)t[0,1] et (X t)t[0,1] deux processus dfinis sur le mme espace probabilis([0, 1],B[0,1], [0,1]), o [0,1] est la mesure de Lebesgue sur [0, 1], et dfinis par :

Xt() = 1l]t,1]()

X t() = 1l[t,1]()

On a pour tout t dans [0, 1] :

[0,1](Xt = Xt) = [0,1]({ : Xt() = X t()}) = [0,1]([0, 1] \ {t}) = 1

Les processus (Xt)t[0,1] et (X t)t[0,1] sont donc modifications lun de lautre mais nesont pas indistinguables puisque les trajectoires, pour quelconque dans sont :

t 7 Xt() = 1l[0,[(t)t 7 X t() = 1l[0,](t)

et sont donc toujours diffrentes. Soit (Xt)t[0,1] un processus dterministe, tel que :

Xt() = 1, et t [0, 1].Soit maintenant U une v.a. de loi uniforme sur [0, 1] et (Yt)t[0,1] le processus dfini,pour tout dans par :

Yt() ={

0 pour t = U()1 ailleurs.

On a alors clairement, pour tout t dans [0, 1] :

P ({Xt = Yt}) = 1 P ({U = t}) = 1.


2. Exemples classiques et fondamentaux de processus stochastiques 23

Mais en revanche :P ({t : Xt = Yt}) = 0.

Remarque : On verra ultrieurement quen revanche si deux processus sont modificationslun de lautre et sils sont tous les deux trajectoires p.s. continues alors, ncessairement, ilssont galement indistinguables.

2. Exemples classiques et fondamentaux de processus stochastiques

2.1. Suite de v.a. indpendantes. Supposons que les v.a. (Xn)nN soient toutesindpendantes, valeurs dans R mais non ncessairement identiquement distribues, de f.d.r.(Fn)nN. Les lois marginales du processus sont bien sr caractrises par les f.d.r. des vecteursextraits. Or la f.d.r. multidimensionnelle dun vecteur extrait Xn1 , . . . , Xnk , o {n1, . . . , nk}est une partie quelconque de N, est :

F (xn1 , . . . , xnk) = Fn1(xn1) Fnk(xnk).On vrifie trs facilement que ce systme est cohrent et donc daprs le thorme de Kol-mogorov, il existe un processus sur (R,BR)N ayant les marges qui concident avec ce systmede lois de dimension finie.

2.2. Processus stationnaires. Il a t vu en cours de Sries Temporelles quun processusavec pour espace des temps T et espace dtats E est dit stationnaire (au sens fort), sipour tout n dans N et tout (t1, . . . , tn) Tn, on a identit des lois des marges de dimensionfinie prises aux instants (t1, . . . , tn) et (t1 + h, . . . , tn + h), pour h > 0, i.e.

(B1, B2, . . . , Bn) En, on a :P ({(Xt1 , Xt2 , . . . , Xtn) B1 Bn}) =

P ({(Xt1+h, Xt2+h, . . . , Xtn+h) B1 Bn})On dit quil y a invariance des lois des marges de dimension finie par translation temporelle.

Si le processus est du second ordre (i.e. Xt L2(,A, P ), pour tout t), on dit quil eststationnaire au sens faible si sa moyenne est constante et la covariance entre Xt et Xt+h,pour t et t+ h dans T , ne dpend que de h.

2.3. Processus gaussiens.

Dfinition 2.9. Un processus despace des temps T et despace dtats R est dit processusgaussien rel si toutes ses marges de dimension finie sont des vecteurs gaussiens

On sait quun vecteur gaussien est entirement spcifi par la donne de son esprance etsa matrice de covariance. On va donc pouvoir entirement spcifier un processus gaussien endonnant sa fonction moyenne et sa fonction covariance.

En remarquant que tout vecteur extrait dun vecteur gaussien est encore un vecteurgaussien, la cohrence dun tel systme de loi est vrifie et on a donc la proposition suiv-ante.

Thorme 2.10. Soit m une fonction de T vers R et une fonction symtrique de T 2vers R tel que pour toute partie finie {t1, . . . , tn} de T , la matrice ((ti, tj)1i,jn) soit dfiniepositive (on dit que la fonction est de type positif).

Il existe alors un unique processus gaussien, une quivalence prs, dont les marges finies,pour n N et (t1, . . . , tn) Tn, sont un vecteur gaussien desprance (m(t1), . . . ,m(tn))T etde matrice de covariance ((ti, tj)1i,jn). Les fonctions m et caractrisent entirement laloi du processus gaussien.



2.4. Processus accroissements indpendants.

Dfinition 2.11. Soit T un espace des temps inclus dans R, E un espace polonais et Xun processus de (,A, P ) vers (E, E)T .

On dit que le processus X est accroissements indpendants (on crit souvent PAI)si pour tout t1 < t2 < < tn de T , les v.a.

Xt2 Xt1 , Xt3 Xt2 , . . . , Xtn Xtn1sont mutuellement indpendants. Si lespace des temps admet un plus petit indice t0, onsuppose que la famille prcdente enrichie de la v.a. Xt0 est encore une famille de v.a. in-dpendantes.

Le processus est dit accroissements stationnaires si la loi de Xt+h Xt dpenduniquement de h et non de t. Un processus accroissements indpendants et stationnaires estnot PAIS.

Si lespace des temps est N (ou ventuellement Z) on parle plutt de marche alatoire,appellation plus claire en considrant les v.a. (Zn) dfinies, pour n > 0 par :

Z0 = X0, Z1 = X1 X0, Z2 = X2 X1, . . . , Zn = Xn Xn1,On a en effet

Xn = Z0 + Z1 + . . .+ Zn

Le pas effectu au temps n par le processus, i.e. Zn = Xn Xn1, est bien indpendants dupass.

Exemple : La marche alatoire simple.Soit X un processus stochastique espace des temps N, espace dtats Z et dfini de la

manire suivante : X0 = 0 et Zn = XnXn1 est de loi p1 + (1 p)1 et la famille des v.a.(Zn)nN est une famille indpendante.3

Nous tudierons plus tard le mouvement brownien et le processus de Poisson qui sont desPAIS.

2.5. Martingales. Soit X un processus dfini sur (,A, P ) et valeurs sur (R,BR)T , oT est soit R+, soit N pour simplifier les notations. Dfinissons pour tout t dans T la tribuengendre par les Xs pour s t,

Ft = (Xs; s t et s T ),dite histoire du processus au temps t. Il est vident que lon a Ft Ft , pour tout t t. Lafamille de tribu (Ft) est dite filtration naturelle associe au processus X.

Dfinition 2.12. On dit quun processus (Xt)tT valeurs dans (R,BR) est une mar-tingale par rapport sa filtration naturelle si lon a :

E|Xt| < +, t TE(Xt / Fs) = Xs, pour tout s t et (s, t) T 2

Le signe E(Xt / Fs) signifie lesprance conditionnelle de Xt relativement la tribu Fs.Cette notion desprance conditionnelle sera dfinie prcisment dans un chapitre ultrieur.

On peut utiliser les martingales pour modliser des jeux quitables. En effet, si Xt Xsest le gain du joueur entre les instants s et t, on a dans un jeu quilibr : E(XtXs / Fs) = 0.


2. Exemples classiques et fondamentaux de processus stochastiques 25

Remarquons enfin, que la marche alatoire simple que nous avons considr prcdemmentest une martingale temps discret si elle est symtrique, i.e. si p = 1/2, puisque :

E|Xn| ni=1

E|Zi| < +

et E(Xn+1 Xn / Fn) = E(Zn+1 / Fn) = EZn+1 = 0Nous reviendrons sur les martingales temps discret, qui sont au programme de cette unit,dans un prochain chapitre.

2.6. Processus de Markov. Nous reprennons les mmes notations qu la sous sectionprcdente.

Dfinition 2.13. Un processus (,A, P, (Xt)tT ) valeurs dans un espace (E, E) est ditprocessus de Markov si pour tout s t, (s, t) T 2 et tout A E, on a :

P (Xt A / Fs) = P (Xt A / Xs).On dit que le futur du processus ne dpend du pass qu travers le prsent.

Ce processus est dit homogne si la loi de Xt sachant Xs ne dpend que de ts pour s < t.Terminologie : Si lespace des temps est discret, on parle de chaine de Markov, sil est

continu on parle de processus de Markov ( temps continu). Les chanes de markov sont auprogramme de cette unit et seront tudies dans un chapitre ultrieur.

2.7. Processus de renouvellement. Processus de Poisson.

Dfinition 2.14. Soient (Tn)nN une suite de v.a. sur (,A, P ), positives, indpen-dantes et identiquement distribues de f.d.r. F . Le processus (,A, P, (St)nN) valeurs dans(R+,BR+) dfini par

Sn = T1 + . . .+ Tnest dit processus de renouvellement.

On remarque quun processus de renouvellement est un PAIS. Ces processus sont parexemple utiliss en fiabilit. Supposons que lon dispose de matriels identiques (i.e. dontla loi dattente de la panne est identique) et au comportement indpendant. Plaons unepremire unit en marche linstant t = 0. Ds que celle-ci tombe en panne, on la remplaceinstantanment par une seconde et ainsi de suite. Le temps o aura lieu le nie`me renouvellementest donc Sn = T1+. . .+Tn, o (Ti)i=1,...,n sont les temps dattente de la panne pour les diffrentsmatriels.

A ce processus de renouvellement on peut associer un processus de comptage du nombrede renouvellement.

Dfinition 2.15. Soit (Sn)nN un processus de renouvellement dfini par une suite de v.a.i.i.d. (Tn)nN de f.d.r. F sur (,A, P ) et valeurs dans (R+,BR+)

On appelle processus de comptage des renouvellements le processus (Nt)tR+ dfinisur (,A, P ) et valeurs dans N par :

Nt =+n=1

1l]0,t](Sn)

= n si Sn t < Sn+1= nombre de renouvellement survenus jusquau temps (inclus) t.



Dfinition 2.16. On appelle processus de Poisson de paramtre un processus decomptage de renouvellements associ un processus de renouvellement o la loi des v.a.(Tn)nN est exponentielle de paramtre .

On reviendra sur ces processus dans un autre chapitre.

3. Bibliographie

Harald Cramer et M.R. Leadbetter. Stationary and Related Stochastic Processes.Wiley 1967. Didier Dacunha-Castelle et Marie Duflo. Probabilits et Statistiques 2 : Problmes temps mobile. Masson 1983. Claude Dellacherie et Paul-Andr Meyer. Probabilits et potentiel, chapitres I IV.Hermann 1975. I.N. Kovalenko, N.Yu. Kuznetsov et V.M. Shurenkov. Models of Random Processes.CRC Press 1996. Michel Love. Probability Theory II, 4th Edition. Springer 1978. M. Mtivier. Notions fondamentales de la thorie des probabilits. Dunod 1972.


CHAPITRE 3

Processus de Poisson

27

28 Chapitre 3. Processus de Poisson

On sintresse ici modliser un phnomne dont les instants doccurrence forment unesuite croissante de variables positives notes (Tn)n0. Il en est ainsi par exemple pour modliserles instants dappels reus par un standard tlphonique, les instants darrive des patientsaux urgences, de voitures un feu rouge, de clients une caisse de supermarch, des pannessur un systme rparable.

Mathmatiquement il sagit donc dune suite croissante de v.a. (Tn)n0 :

0 = T0 T1 T2 Tn On parle de processus ponctuels. Bien sr, en posant

X1 = T1, X2 = T2 T1, . . . , Xn = Tn Tn1,il est quivalent de dfinir les instants (Tn)n0 ou la suite (Xn)n1 de v.a.r. positives, puisquelon a :

Tn = X1 +X2 + . . .+Xn.Les v.a. (Xn)n1 sont souvent appeles temps inter-arrives.

Notons N le processus dfini sur R+ et valeurs dans N par

Nt =+n=1

1lTnt

appel processus de comptage associ au processus ponctuel (Tn)n0. Il est nouveau clairque connatre la loi de (Tn)n0 est quivalent connatre celle du processus N = (Nt)t0. Ona en effet, pour tout n dans N et tout (t1, . . . , tn) R+ R+,

P (T1 t1, T2 t2, . . . , Tn tn) = P (Nt1 1, Nt2 2, , Ntn n).En posant lhypothse que les v.a. (Xn)n1 sont i.i.d. de mme f.d.r. F , on a vu au

chapitre 2 que le processus (Tn)n0 est alors un processus de renouvellement et N = (Nt)t0le processus de comptage des renouvellements. Nous allons tudier dans ce chapitre un casparticulier que constitue les processus de Poisson.

1. Dfinition et proprits lmentaires

Il y a de trs nombreuses manires de dfinir un processus de Poisson homogne sur R+.Rappelons celle donne au chapitre 2 et qui le prsente comme un processus de renouvellementparticulier.

Dfinition 3.1. Un processus ponctuel (Tn)n0 est dit processus de Poisson homogne surR+ dintensit si les temps dinter-arrives (Xn)n1 sont i.i.d. (donc sil est un processusde renouvellement) de loi exponentielle1 E(). On dit de manire quivalente que N = (Nt)t0est un processus de Poisson.

Remarquons que lon a p.s. :

0 < T1 < T2 < < Tn < ,puisque les v.a. (Xn)n1, de lois exponentielles, sont p.s. strictement positives. De plus leprocessus N = (Nt)t0 est trajectoires croissantes, continues droite, valeurs entires etayant des sauts de taille 1.

Il y a un lien trs troit entre le processus de Poisson et la loi de Poisson comme le montrela proposition suivante.

1Rappelons quune variable alatoire relle est dite de loi exponentielle de paramtre si elle est de loiabsolument continue par rapport la mesure de Lebesgue sur R et de densit f(x) = exp (x)1lR+(x).


1. Dfinition et proprits lmentaires 29

Proposition 3.2. Soit N = (Nt)t0 un processus de Poisson dintensit . Pour toutt > 0, la v.a.r. Nt est de loi de Poisson de paramtre t, i.e.

P (Nt = n) =(t)n

n!et.

Exercice 3.1. Dmonstration de cette proposition.1) En utilisant directement la dfinition dun processus de Poisson, mon-

trer que la formule est dj vraie pour n = 0.2) Montrer que loi de la somme de n v.a. i.i.d. de loi exponentielle

E() est une loi Gamma2 (n, ). (Ind. on pourra utiliser la f.c. ou latransforme de Laplace)

3) Montrer que lon a :

P (Nt = n) = P (Tn t, Tn +Xn+1 > t).4) En calculant cette dernire probabilit, montrer que lon a bien :

P (Nt = n) =(t)n

n!et.

Preuve/solution de lexercice.1) Pour n = 0, il ny a presque rien montrer puisque

P (Nt = 0) = P (T1 > t) = P (X1 > t) = 1 P (X1 t) = 1 (1 et) = et.2) La transforme de Laplace dune loi (, ) est, pour s < :

L(,)(s) =R+esx

()x1exdx

=

()

+0

x1e(s)xdx

=

()

+0

u1

( s) eudu =

1(1 s )

.

Do comme X1, . . . , Xn sont i.i.d. de loi E() = (1, ), on a :

LPni=1Xi

(s) = E(esPni=1Xi) =

ni=1

E(esXi)

=ni=1

1(1 s )

=1

(1 s )n= L(n,)(s),

ce qui, par caractrisation de la transforme de Laplace, permet de conclure.

2Rappelons quune variable alatoire relle est dite de loi gamma de paramtres (, ) si elle est de loiabsolument continue par rapport la mesure de Lebesgue sur R et de densit

f(x) =

()x1ex1lR+(x).



3) On a :

P (Nt = n) = P (Tn t, Tn+1 > t) = P (Tn t, Tn +Xn+1 > t).4) Par indpendance entre Tn et Xn+1 on peu crire :

P (Tn t, Tn +Xn+1 > t) =ut,u+y>t

fTn,Xn+1(u, y)dudy

= t

0

n

(n)un1eu

( +tu

eydy)du

= t

0

n

(n)un1eue(tu)du

=n

(n)et

t0un1du =

n

(n)et[

un

n]t0

=ntnet

(n 1)!n =(t)n

n!et,

ce qui est bien la formule annonce. 2

Avant de prsenter dautres proprits lmentaires du processus de Poisson, introduisonsun lemme technique.

Lemme 3.3. Soient X1, . . . , Xn des v.a. sur R i.i.d. absolument continues (i.e. de loiabsolument continue par rapport la mesure de Lebesgue sur R) de densit f . Notons X(1) < < X(n) les n statistiques dordre associes. Le vecteur (X(1), . . . , X(n)) est alors absolumentcontinu de densit sur Rn

f(X(1),...,X(n))(u1, . . . , un) = n!ni=1

f(ui)1lu1

1. Dfinition et proprits lmentaires 31

ii) Pour tout n 1, la loi conditionnelle de (T1, . . . , Tn) sachant lvnement {Nt = n}est celle des statistiques dordre de n v.a.r. i.i.d. de loi uniforme sur [0, t], i.e.

fNt=n(T1,...,Tn)(t1, . . . , tn) =n!tn1lt1


3) De ce qui prcde on tire

P ((T1, . . . , Tn) B | Nt = n) = P ((T1, . . . , Tn) B,Nt = n)P (Nt = n)

=B

n!tn1lt1

2. Caractrisation dun processus de Poisson 33

3) Conclure.

Preuve/solution de lexercice.1) On a :

P (Nt1 = k1, Nt2 Nt1 = k2, . . . , Ntn Ntn1 = kn)= P (Nt1 = k1, Nt2 Nt1 = k2, . . . , Ntn Ntn1 = kn|Ntn = k)P (Ntn = k)

= P (ki=1

1l{Tit1} = k1,ki=1

1l{t1


Dfinition 3.6. Un processus de comptage N est dit stationnaire et dvnements raresde taux si pour tout t > 0 et t > 0 on a :

P (Nt+t Nt = 1) = t+ o(t)et P (Nt+t Nt > 1) = o(t).

Rappel : o() est une fonction telle que limh0 o(h)/h = 0. 3Thorme 3.7. Soit N le processus de comptage dun processus ponctuel sur R+. Cest

un processus de Poisson dintensit si, et seulement si, le processus N est un processusstationnaire dvnements rares accroissements indpendants.

Cette proprit dvnements rares du processus de Poisson donne une autre interprtationdu taux ou intensit associe un processus de Poisson.

Preuve. Nous ne prouvons ici que la condition ncessaire, mme si la condition suffisantenest pas dune grande difficult.

Daprs la proposition prcdente, on sait que N est un processus accroissements in-dpendants et que pour tout t > 0 et tout t > 0 la v.a. Nt+t Nt est de loi de PoissonP(t). Do :

P (Nt+t Nt = 1) = tet = t(1 t+ o(t)) = t+ o(t).De mme, on a :

P (Nt+t Nt > 1) = 1 et (t)et= 1 (1 t+ o(t)) (t+ o(t)) = o(t).

ce qui prouve la condition ncessaire. 2

Proposition 3.8. Un processus de Poisson est un processus de Markov.

Preuve. Nous aurions pu ici utiliser la remarque du chapitre 2 disant quun PAI est unprocessus de Markov. Nous allons cependant retrouver le rsultat directement. Soit t > 0,n N, un ensemble de n rels ordonns 0 = t0 < t1 < < tn < t et n entiers strictementpositifs k1 . . . kn. Par indpendance des accroissements dun processus de Poisson, on apour tout k kn :

P (Nt = k|Nt1 = k1, . . . , Ntn = kn)= P (Nt Ntn = k kn|Nt1 = k1, Nt2 Nt1 = k2 k1, . . . , Ntn Ntn1 = kn kn1)= P (Nt Ntn = k kn) = P (Nt Ntn = k kn|Ntn = kn)= P (Nt = k|Ntn = kn),

ce quil fallait dmontrer. 2

3. Rsultats asymptotiques

Thorme 3.9. Soit N un processus de Poisson dintensit . On a alors :

i) p.s. limt+

Ntt

=

ii)t

(Ntt

)L N(0, ), quand t +.


3. Rsultats asymptotiques 35

Exercice 3.4. Dmonstration de ce thorme.1) En utilisant lingalit de Tchebychev, montrer que lon a :

> 0 : P (|Nk2k2 | )

2k2.

2) Utiliser alors le thorme de Borel-Cantelli pour en dduire que lona p.s. :

limk+

Nk2

k2= .

3) En notant K la fonction dfinie par :

K(t) = [t],

o [] est la partie entire, montrer que lon peut crire :K2(t)

(K(t) + 1)2NK2(t)

K2(t) Nt

t (K(t) + 1)

2

K2(t)N(K(t)+1)2

(K(t) + 1)2

4) En dduire alors que lon a bien le i) du thorme.5) Pour le ii), calculer la transforme de Laplace dune loi de Poisson

P()6) En dduire que lon peut crire :

E(eut(Ntt))

= exp{u2

2+ o(1)

}.

7) En conclure le rsultat ii) du thorme.

Preuve/solution de lexercice.1) Daprs lingalit de Tchebychev, on a pour tout k N :

> 0 : P (|Nk2 ENk2 | ) V ar(Nk2)

2.

Or, on sait que, toujours pour tout k dans N, la v.a. Nk2 est de loi de Poisson P(k2). Ainsi,il vient :

> 0 : P (|Nk2 k2| k2) k2

2k4=

2k2

> 0 : P (|Nk2k2 | )

2k2.

2) Du 1) on tire :+k=0

P (|Nk2k2 | )

+k=0

2k2=

2

+k=0

1k2

< +.

Ainsi, en notant An = {|Nn2n2 | }, on a daprs le thorme de Borel-Cantelli :P (lim

nAn) = 0 ou encore P (lim

nAcn) = 1.



On a donc :

p.s. limnAcn p.s. : n kn Ack

p.s. n tel que, pour tout k n, on ait Ack p.s. n tel que, pour tout k n, on ait |Nk2

k2 | <

p.s. limk+

Nk2

k2= .

3) Notons maintenant K la fonction dfinie par :

K(t) = [t],

o [] est la partie entire. Par croissance du processus de comptage on a, puisque K2(t) t < (K(t) + 1)2 :

NK2(t) Nt N(K(t)+1)2Do :

NK2(t)

(K(t) + 1)2 Nt

t N(K(t)+1)2

K2(t)

K2(t)

(K(t) + 1)2NK2(t)

K2(t) Nt

t (K(t) + 1)

2

K2(t)N(K(t)+1)2

(K(t) + 1)2

4) Comme on a:K2(t)

(K(t) + 1)2 1, lorsque t +

etp.s. : lim

k+Nk2

k2= ,

lingalit obtenue en 3) nous assure que :

p.s. limt+

Ntt

= .

5) La transforme dune loi de Poisson de paramtre est :

L(u) = exp{(eu 1)}.6) On a :

E(eut(Ntt))

= eutE(eutNt)

= exp{ut+ t(e ut 1)}.Or, le dveloppement limit de lexponentielle nous donne :

eu/t 1 = u

t+u2

2t+ o(

1t).

Do :7) en faisant tendre t +, on obtient :

E(eut(Ntt))

= exp{u2

2+ o(1)

}t+ e

u2

2 .

On reconnat la limite la transforme de Laplace dune loi N(0, ), ce qui achve ladmonstration du thorme. 2


4. Bibliographie 37

4. Bibliographie

Pierre Brmaud. Introduction aux Probabilits : modlisation des phnomnes ala-toires. Springer 1997. Christiane Cocozza-Thivent. Processus stochastiques et fiabilit des systmes. Springer1997. Paul S. toulouse. Thmes de Probabilits et Statistique. Dunod 1999.


CHAPITRE 4

Chanes de Markov

39

40 Chapitre 4. Chanes de Markov

1. Dfinition et matrice de transition

Dans le Chapitre 2, nous avons donn la dfinition gnrale dun processus de Markov.Nous allons ici nous intresser de prs au cas o lespace des tats et le temps sont discrets.On parle alors de chanes de Markov espace des tats discret.

La dfinition vue au Chapitre 2 peut tre alors rcrite de la manire suivante.

Dfinition 4.1. Soit (,A, P ) un espace probabilis. Soit (Xn)nN une famille de v.a.de (,A, P ) et valeurs dans (E, E) o E est un espace dnombrable et E = P(E).

On dit que (Xn)nN est une chane de Markov valeurs dans lespace dtat E si, pourtout n 1 et toute suite (i0, i1, . . . , in1, i, j) dlments de E telle que P (Xn = i,Xn1 =in1, . . . , X1 = i1, X0 = i0) soit strictement positive, on ait :

P (Xn+1 = j|Xn = i,Xn1 = in1, . . . , X1 = i1, X0 = i0) = P (Xn+1 = j|Xn = i).On dit que le futur du processus ne dpend du pass qu travers le prsent.

Lespace E sera souvent Z ou N ou une partie de ceux-ci. Mais, afin de garder le maximumde gnralit, nous ne spcifierons pas, sauf ncessaire, lespace E. Notons

pn,n+1i,j = P (Xn+1 = j|Xn = i).la probabilit de passage de ltat i ltat j entre les instants n et n + 1 et Pn,n+1 =(pn,n+1i,j )(i,j)E2 la matrice finie ou dnombrable (suivant que E est fini ou dnombrable) detoutes les probabilits de transition en une tape linstant n. Cette matrice Pn,n+1 estappele matrice de transition en une tape linstant n.

Une telle notation permet de prendre en compte les situations o les probabilits de pas-sage dun tat i quelconque un tat j quelconque dpendent des instants (n et n + 1) oon les considre. Mme si de telles situations peuvent se rencontrer dans la pratique, nousnous concentrerons davantage dans la suite sur celles o ces probabilits ne dpendent pas delinstant n. On parle alors de chane de Markov homogne.

Dfinition 4.2. Une chane de Markov est dite homogne si sa matrice de transitionPn,n+1 (en une tape linstant n) ne dpend pas de n, i.e. si, pour tout n 0 et tout (i, j)dans E2, on a :

pn,n+1i,j = P (Xn+1 = j|Xn = i) = pij .La matrice des probabilits de transition en une tape est alors note P = (pi,j)(i,j)E2 et estsimplement appele matrice de passage ou de transition de la chane.

Proposition 4.3. Toute matrice de transition P = (pi,j)(i,j)E2 vrifie les propritssuivantes :

pi,j 0, (i, j) E2;jE

pi,j = 1,i E.



2. Exemples classiques de Chanes de Markov 41

Preuve/solution de lexercice. Le premier point dcoule trivialement du fait que lespij sont des probabilits et le second de lgalit

jEpi,j = P (Xn+1 E|Xn = i) = 1

pour tout i dans E. 2

Terminologie : Une matrice vrifiant les assertions de la proprit 4.3 est appele matricestochastique.

Proposition 4.4. Une chane de Markov est entirement dtermine par la donne de samatrice de transition P et sa loi initiale pi0.

Exercice 4.2. Dmontrer cette proposition. (Ind. on pourra utiliserles rsultats de la section 1.3 du Chapitre 2)

Preuve/solution de lexercice. Pour tout n 1 et tout (i0, i1, . . . , in) lment de Enon a, grce la proprit de Markov :

P (X0 = i0, X1 = i1, . . . , Xn = in)= P (Xn = in|Xn1 = in1) P (X1 = i1|X0 = i0)P (X0 = i0)= pin1,in pi0,i1pi0.

Il est ais de voir que ce rsultat permet alors de dterminer toute probabilit faisant intervenirles tats du processus Xj1 , . . . , Xjk aux instants quelconques j1 < < jk, pour tout k 1.Le thorme de Kolmogorov vu au Chapitre 2 permet de conclure. 2

Une chane de Markov est gnralement reprsente schmatiquement par un graphe deMarkov, dont les sommets sont les diffrents tats possibles de la chane. Deux sommets iet j sont alors relis par une flche, avec ltiquette pi,j , allant de i j quand la chane peutpasser de ltat i ltat j en une tape, i.e. quand pi,j > 0.

2. Exemples classiques de Chanes de Markov

Nous allons dtailler quelques exemples de chanes de Markov. Nous nous attarderons biensr pas sur la suite de v.a. indpendantes et valeurs dans E qui constitue trivialement unechane de Markov.

2.1. La chane deux tats. La chane deux tats est sans aucun doute le cas leplus simple de chane de Markov. Notons, par exemple, par 1 et 2 ses tats et sa matrice detransition est

P =(

1 p pq 1 q

)avec p et q tous deux dans [0, 1]. Le graphe, trs simple, dune telle chane est celui de laFigure 1.



Figure 1. Chane de Markov deux tats

2.2. La marche alatoire unidimensionnelle.

Exemple 2.1. La marche alatoire simple.

Rappelons quau Chapitre 2, nous avons dfini la marche alatoire simple comme unprocessus stochastique X espace des temps N, espace dtats Z et dfini de la maniresuivante : X0 = 0 et Zn = Xn Xn1 est de loi p1 + (1 p)1, o p ]0, 1[ et la familledes v.a. (Zn)nN est une famille indpendante. La proprits de Markov dun tel processusest trivialement vrifie puisque le processus est accroissements indpendants. Lespace destats dune telle chane est Z et sa matrice de transition est telle que, pour tout (i, j) Z2,on ait :

pi,j =

p si j = i+ 1;1 p si j = i 1;0 sinon.Le graphe de la marche alatoire simple est donn dans la figure 2.

Figure 2. Marche alatoire simple

Une telle chane de Markov peut, par exemple, modliser le dplacement dune puce surune chelle horizontale.

Une marche alatoire simple est dite symtrique si p = 1/2. 3

Exemple 2.2. La marche alatoire unidimensionnelle.

Une gnralisation naturelle de la marche alatoire simple est la marche alatoire unidi-mensionnelle, avec espace des tats Z, telle que si linstant n la chane est dans ltat ialors linstant n+ 1 elle ne peut tre que dans les tats i 1, i et i+ 1 avec les probabilitsqi, ri et pi respectivement, o les rels qi, ri et pi sont positifs et tels que qi + ri + pi = 1, pourtout i dans Z. On a donc :

P (Xn+1 = i 1|Xn = i) = qi;P (Xn+1 = i|Xn = i) = ri;

P (Xn+1 = i+ 1|Xn = i) = pi.



La matrice de transition est alors :

P =

...

......

......

... 0 qi ri pi 0 0 qi+1 ri+1 pi+1 0

......

......

......

Le graphe de la marche alatoire unidimensionnelle est donn dans la Figure 3 :

Figure 3. Marche alatoire unidimensionelle

Si lon reprend lexemple de la puce, cela revient lui donner un droit de repos et galementde lui permettre de changer de rgle de conduite en fonction de sa position sur lchelle.

Exemple 2.3. Fortune dun joueur (seul contre la banque)

Un cas particulier de la marche alatoire que nous venons de prsenter est donn par lamodlisation des gains dun joueur contre une banque que lon suppose de capital infini.

Exercice 4.3. Considrons la fortune dun joueur une partie dehasard. La rgle du jeu est suppose telle que, si la fortune du joueur un instant n est k alors linstant n + 1 elle est augmente de 1 avec uneprobabilit pk et diminue de 1, avec une probabilit qk = 1pk. On supposede plus quune fois le joueur ruin la partie est termine.

1) Donner lespace des tats de la chane de Markov modlisant cettepartie.

2) Quelle est sa matrice de transition ?3) Quel est son graphe ?4) Que dire de ltat 0 ?



Solution de lexercice.1) Cest une marche alatoire unidimensionnelle sur N avec de plus q0 = 0.2) La matrice de passage est :

P =

1 0 0 0q1 0 p1 0

...

0 q2 0 p2 0 ...

0 0 q3 0 p3 0 ...

......

......

......

......

...... 0 qi 0 pi 0

......

......

......

......

...

3) Le graphe dune telle marche alatoire est donn dans la Figure 4:

Figure 4. Diagramme de la chane de Markov modlisant les gains dun joueurseul contre la banque

4) Ltat 0 est alors dit absorbant, car une fois atteint cet tat, on ne peut plus lequitter. 3

Exemple 2.4. Fortune dun joueur A contre un joueur B

Exercice 4.4. Considrons maintenant la situation dune partie entredeux joueurs A et B dont la somme de leurs fortunes est gale a euros. chaque partie, le joueur A gagne un euro de son adversaire avec uneprobabilit p et donne un euro B avec une probabilit q = 1 p. Le jeusarrte alors ds que lun des deux joueurs est ruin.

On note Xn la fortune du joueur A linstant n (celle de B est bien sraXn). On considre la chane de Markov (Xn)nN.

1) Se convaincre quil sagit bien dune chane de Markov. Donnerlespace de ses tats.

2) Donner sa matrice de transition.3) Donner le graphe de cette chane.4) Que dire des tats 0 et a ?



Solution de lexercice.1) lespace des tats est E = {0, 1, . . . , a}.2) La matrice de transition est :

P =

1 0 0q 0 p 0 ...0 q 0 p 0 ......

......

......

......

...... q 0 p 0

......

......

......

......

......

... q 0 p

0...

......

... 0 1

3) Le graphe dune telle marche alatoire est donn dans la Figure 5 :

Figure 5. Diagramme de la chane de Markov modlisant les gains dun joueurA contre un joueur B

4) Les extrmits de lespace des tats E, i.e. les tats 0 et a sont appels barrires etsont dans ce cas des barrires absorbantes. 3

Exemple 2.5. Modle de diffusion dEhrenfest

On peut bien sr trouver des applications des marches alatoires dans bien dautres do-maines que celui de la thorie des jeux. Ainsi en est-il du modle de diffusion dEhrenfest,utilis pour modliser la diffusion dun gaz travers une membrane sparant deux rcipientsA et B. Ce modle est bas sur le mme principe que celui du tirage dans deux urnes A et B,contenant elles deux a boules. Nous entamons son tude dans lexercice suivant.

Exercice 4.5. On considre donc deux urnes A et B, contenant elles deux a boules. chaque instant, le numro dune des boules est choisiau hasard et celle qui porte ce numro est alors change durne. On notepar Xn le nombre de boules que contient lurne A linstant n. Le processus(Xn)nN est alors une marche alatoire espaces des tats E = {0, 1, . . . , a}.

1) Donner sa matrice de transition.2) Donner son graphe.3) Que dire des tats 0 et a ?



Solution de lexercice.1) Sa matrice de transition est :

P =

0 1 0 . . . . . . . . . . . . 0

1/a 0 (a 1)/a 0 . . . . . . . . . ...0 2/a 0 (a 2)/a 0 . . . . . . ......

......

......

......

......

......

...... (a 1)/a 0 1/a

0 1 0

2) Le graphe du modle de diffusion dErhenfest est donn dans la Figure 6 :

Figure 6. Diagramme du Modle de diffusion dEhrenfest

3) Les barrires 0 et a ne sont plus ici absorbantes mais rflchissantes, i.e. quand lachane atteint ltat 0, elle provient de ltat 1 et y retourne juste aprs. De mme quand onarrive ltat a, uniquement possible en passant juste avant par a 1, alors on retourne demanire sre ltat a1. De plus on constate aisment que, dans un tel modle, les transfertssont plus probables dans le sens du rcipient le plus plein vers celui qui lest moins. 3

2.3. La marche alatoire multidimensionnelle. La marche alatoire multidimension-nelle symtrique est une chane de Markov espace dtats E = Fn, o F est tout ou partiede Z, et telle que pour tout n-upl k = (k1, . . . , kn) et l = (l1, . . . , ln) de E, on ait

P (Xm+1 = l|Xm = k) = pk,l ={

12n si

ni=1 |li ki| = 1;

0 sinon.

Le graphe dune telle marche alatoire spatiale est alors celui de la Figure 7:

Figure 7. Diagramme de la marche alatoire simple symtrique en dimension 2



2.4. La file dattente temps discret discret. Une file dattente est utilise pourmodliser le nombre de clients en attente dun service un guichet ou une caisse de super-march, ou bien le nombre de requtes en attente pour un serveur informatique, etc...

Nous allons voir que, dans le cas o le temps est dicrtis, ou si lon raisonne par unit detemps, alors on obtient une chane de Markov. Utilisons linterprtation en termes de clientset guichet pour prsenter davantage ce modle.

On suppose qu chaque unit de temps des clients arrivent, en nombre alatoire, unguichet et que celui ne peut servir quun client la fois avec un temps de service dune unitde temps. Notons Yn le nombre de clients arrivant au nime instant. On suppose que la familledes (Yn) est indpendante et identiquement distribues de loi donne, pour tout n dans N, par

P (Yn = k) = ak 0 k N+k=0

ak = 1.

Quand aucun client nest en attente, aucun service nest effectu. On note par Xn le nombrede clients en attente chaque instant n et si celui si est gal i alors Xn+1 sera gal i1 +Ynsi i 1 et Yn si i = 0. On peut rsumer ceci de la manire suivante :

Xn+1 = (Xn 1)+ + Yn.Ainsi la matrice de transition dune telle file dattente temps discret est :

P =

a0 a1 a2 a3 a0 a1 a2 a3 0 a0 a1 a2 a3 0 0 a0 a1 a2 ...

......

......

...

Il nest bien sr pas possible de faire un graphe pour une telle chane de Markov, sauf pour

des cas particuliers trs simples. Intuitivement il apparat assez facilement que si lesprancedu nombre de clients arrivant par unit de temps est strictement suprieure 1 (i.e. EYn > 1)alors la taille de la file dattente saccrotra de manire illimite. En revanche, si cette espranceest strictement infrieure 1, alors on verra que la taille de la file dattente sapprochera dunquilibre avec le temps. La situation ou cette esprance est gale 1 est, nous le verrons,source de grande instabilit du systme.

2.5. Un modle de gestion des stocks. Dans un service de gestion des stocks, il arrive chaque unit de temps une demande dune quantit Yn du produit gr (ce peut tre parexemple le cumul de toutes les demandes coules dans lheure qui prcde). On suppose queles Yn, pour n N, sont indpendants et identiquement distribus de loi gnrale

P (Yn = k) = ak, k N,avec bien sr les ak 0 et tels que

+k=0 ak = 1. On note par Xn ltat du stock linstant n

que lon suppose toujours infrieur un entier S > 0 fix (ce peut tre par exemple la capacitmaximale de stockage). Les Xn sont alors valeurs dans SN, o une valeur ngative signifieque le service de gestion na pas pu honorer la demande et est donc en dette du montant Xn.Aprs chaque rponse une demande, est fait un inventaire dont la police, base sur le choixdun entier s < S fix, est la suivante. Si la quantit de stock est infrieure ou gale s alorsle stock est rapprovisionn de manire annuler la dette (si elle a lieu) et remettre ltat du



stock S. Si la quantit de stock est comprise entre s et S, aucun rapprovisionnement nesteffectu. On a alors le lien suivant entre les quantits demandes et ltat du stock :

Xn+1 ={Xn Yn+1 si s < Xn S;S Yn+1 si Xn s.

La matrice de transition est alors :

P = (pi,j)(i,j)SNSN

=

a0 a1 a2 a3 0 a0 a1 a2 a3 0 0 a0 a1 ...

......

......

......

...0 0 a0 a1 a2 a3 a0 a1 a2 a3 a0 a1 a2 a3 ...

......

......

......

...

2.6. Un exemple de chane de Markov en gntique. On se propose de modliser

les variations dans la reprsentation dun gne dans une population. Par souci de simplicit,on ne sintresse qu un modle haplode simple dune population de taille fixe 2N gneset que chaque gne est de type a ou de type A. La rpartition des gnes dans la populationest dtermine par la rgle suivante. Si dans la population parente, on dnombre i gnesde type a et 2N i de type A, alors chaque gne dans la population suivante est de typea avec la probabilit pi = i/2N et de type A avec la probabilit qi = 1 pi et cela demanire indpendante pour chaque gne. Si on note Xn le nombre de gnes de type a dansla nime population alors, le processus (Xn)nN est une chane de Markov espace des tatsE = {0, 1, . . . , 2N}. Les probabilits de transition sont alors de la forme :

pi,j = P (Xn+1 = j|Xn = i) = Cj2Npji q2Nji , (i, j) E2.On note que bien sr les tats 0 et 2N sont absorbants. Dautres modles ont t proposs,particulirement en proposant dautres expressions pour les probabilits pi et qi. On pourraconsulter, entre autres, le livre de Karlin et Taylor.

3. quations de Chapman-Kolmogorov

Dans la premire section nous avons uniquement parl des probabilits de transition enune tape dun tat un autre. Bien sr, on peut sintresser aux probabilits de passer endeux, trois ou plus tapes dun tat un autre. Notons ainsi Pn la matrice des probabilitsde transition en n tapes dont le terme gnral est, pour tout (i, j) E2 :

p(n)i,j = P (Xm+n = j|Xm = i) = P (Xn = j|X0 = i), m N

o la dernire galit est justifie par lhomognit de la chane.Lquation de Chapman-Kolmogorov permet dexprimer la matrice Pn en fonction de

la matrice de transition P .

Thorme 4.5. (Chapman-Kolmogorov) On a, pour tout n dans N :

Pn = Pn.


4. quations de Chapman-Kolmogorov 49

Le produit matriciel est un outil bien connu pour des matrices de taille finie. On tendsans difficult sa dfinition des matrices infinies.

Exercice 4.6. Dmontrer ce thorme. (Ind. On pourra raisonner parrcurrence)

Preuve/Solution de lexercice. La formule est triviale pour n = 0 puisque P 0 = I.Elle est galement vraie pour n = 1. Supposons maintenant quelle soit vraie jusquau rangn. Lhomognit de la chane nous permet alors dcrire, pour tout (i, j) E2 :

p(n+1)i,j = P (Xn+1 = j|X0 = i) =

kE

P (Xn+1 = j,Xn = k|X0 = i)

=kE

P (Xn+1 = j|Xn = k)P (Xn = k|X0 = i) =kE

pk,jp(n)i,k .

On a donc, en prenant lcriture matricielle et en utilisant lhypothse de rcurrence,

Pn+1 = PnP = PnP = Pn+1,

ce qui prouve bien le rsultat. 2

Corollaire 4.6. On a pour tout n et m dans N,

Pm+n = PmPn = PnPm,

cest dire que pour tout (i, j) dans E2, on a :

p(m+n)i,j =

kE

p(m)i,k p

(n)k,j =

kE

p(n)i,k p

(m)k,j .

Preuve. Cela dcoule directement de lassociativit du produit matriciel. En effet, pour(m,n) N2, on a

Pm+n = Pm+n = PmPn = PmPnet cette formule est bien videmment symtrique en m et n. 2

Proposition 4.7. Pour tout entier n positif, la matrice de transition en n tapes Pn estgalement une matrice stochastique.

Preuve. Soit n N. Les lments de la matrice Pn sont bien sr positifs puisquil sagitde probabilits et on a de plus :

jEp

(n)i,j =

jE

P (Xn = j|X0 = i) = P (Xn E|X0 = i) = 1,

ce qui prouve bien la proposition. 2

Notons que la matrice stochastique Pn est la matrice de transition (en une tape) de lachane de Markov (Xnm)mN.



4. Quelques formules de conditionnement

Notons (Fn) la filtration naturelle associe au processus (Xn) (Cf. Chapitre 2), i.e., pourtout n :

Fn = (Xk; k = 0, . . . , n).On peut montrer que tout vnement de la tribu Fn est une runion dnombrable dvnementsdisjoints de cette mme tribu et de la forme {X0 = i0, . . . , Xn = in}. Ainsi, tout vnementA de Fn est tel que lvnement A {Xn = i} reste dans la tribu Fn. Si ce dernier nest paslensemble vide alors on a forcment A {Xn = i}, ce qui revient dire que le prsent estdonc fix.

Proposition 4.8. Pour tout entier n et tout vnement A de la tribu Fn, on a :

P (Xn+1 = j|A,Xn = i) = P (Xn+1 = j|Xn = i) = pi,j ,

ds que P (A,Xn = i) > 0.

Exercice 4.7. Dmonstration de cette proposition.1) Dmontrer dabord le cas (trs facile) n = 1.2) On suppose maintenant n > 0. Dmontrer (proprement !) que lon

a :

P (Xn+1 = j,kKBk, Xn = i) = pi,jP (kKBk, Xn = i).(Ind. On pourra utiliser le rsultat rappel prcdemment savoir que

tout vnement A de la tribu Fn est une runion dnombrable, sur un en-semble dindices que lon va noter K, dvnements disjoints de la formeBk = {X0 = ik0, . . . , Xn = ikn}, pour k K)

Preuve/Solution de lexercice.1) Il ny a rien montrer pour n = 0, puisque dans ce cas, lvnement A{X0 = i} nest

pas vide que si A = {X0 = i} et le rsultat de la proposition nest que la dfinition de pi,j .2) Supposons maintenant n > 0. On a donc, pour tout A de la tribu Fn, lexistence dun

ensemble dnombrable dindices K et dune famille dvnements Bk, pour k K, tels que :

A = kKBk.

Or, pour tout k dans K, si lon a

P (Bk, Xn = i) = P (X0 = ik0, . . . , Xn = ikn, Xn = i) > 0

(ce qui implique que ikn = i !) alors lgalit de la proposition avec A = Bk nest rien dautreque la proprit de Markov.


5. Classification des tats 51

On peut alors crire, pour tout (i, j) E2 :P (Xn+1 = j,kKBk, Xn = i) =

kK

P (Xn+1 = j, Bk, Xn = i)

=kK

P (Xn+1 = j|Bk, Xn = i)P (Bk, Xn = i)

= pi,jkK

P (Bk, Xn = i)

= pi,jP (kKBk, Xn = i).La dernire probabilit tant strictement positives puisquelle lest pour chaque Bk, on a doncdmontr que :

pi,j = P (Xn+1 = j| kK Bk, Xn = i) = P (Xn+1 = j|A,Xn = i),ce qui tait le rsultat cherch. 2

Il est important de noter que le rsultat de la proposition nest vrai quen prenant desvnements du prsent de la forme Xn = i et non pour des vnements de forme gnraleXn B. On trouvera dans le livre de Foata et Fuchs, dont cette section est largement inspire,un contre-exemple (Processus Stochastiques, Dunod 2002, p. 73). On notera galement quelon pourrait par le mme genre de raisonnement montrer que ce type de rsultat reste vraipour des vnements du futur prenant en compte dautres temps que n+1. Ainsi par exemple,on a :

P (Xn+1 = jn+1, . . . , Xn+r = jn+r|A,Xn = i)= P (Xn+1 = jn+1, . . . , Xn+r = jn+r|Xn = i)

ou encoreP (Xn+r = j|A,Xn = i) = P (Xn+r = j|Xn = i) = p(r)i,j .

5. Classification des tats

Dfinition 4.9. On dit que ltat j est accessible partir de i si il existe un entier n telque p(n)i,j > 0 et lon note i j.

Exercice 4.8. On reprend lexemple de modlisation de la fortune dujoueur A contre le joueur B (Cf. Exemple 2.4). tudier laccessibilit entreles tats en prouvant vos affirmations.

Solution de lexercice. Tous les tats sont accessibles depuis {1, . . . , a 1} mais seule-ment 0 est accessible depuis 0 et seulement a est accessible depuis a. En effet, par exemple,3 1 puisque

P (X2 = 1|X0 = 3) = P (X2 = 1, X1 = 2|X0 = 3) = p2,1p3,2 = q2 > 0.En revanche, 0 9 1 car P (Xn = 1|X0 = 0) = 0, quelque soit n. 3

Proposition 4.10. Une condition ncessaire et suffisante pour que i j est que P (n :Xn = j|X0 = i) > 0




Preuve/Solution de lexercice. Comme on a, pour tout n dans N :P (m 0 : Xm = j|X0 = i) = P (mN{Xm = j}|X0 = i)

P ({Xn = j}|X0 = i),la condition est bien ncessaire.

Rciproquement, comme on a :

P (n 0 : Xn = j|X0 = i) = P (nN{Xn = j}|X0 = i) nN

p(n)i,j ,

elle est bien suffisante. 2

Proposition 4.11. La relation daccessibilit est rflexive et transitive.


Preuve/Solution de lexercice. On a bien sr i i puisque p(0)i,i = P (X0 = i|X0 =i) = 1. Par ailleurs, supposons que pour des tats i, j et k on ait : i j et j k. Alors,daprs la dfinition, il existe m et n, entiers positifs, tels que : p(m)i,j > 0 et p

(n)j,k > 0. Do, en

utilisant le corollaire 4.6, il vient :

p(m+n)i,k =

lE

p(m)i,l p

(n)l,k p(m)i,j p(n)j,k > 0,

ce qui prouve bien que lon a : i k et la relation est bien transitive. 2

Exercice 4.11. Montrer que la relation daccessibilit nest pas symtriqueen trouvant un contre-exemple par exemple dans lExemple 2.4

Solution de lexercice. On a vu que 1 0 mais que 0 9 1. 3

Dfinition 4.12. On dit que deux tats i et j dune chane de Markov communiquent,si i j et j i. On note i j.

Proposition 4.13. La relation de communication entre tats est une relation dquivalence.On a donc :

i) (Rflexive) Tout tat i de la chane communique avec lui mme, i.e. i i ;


5. Classification des tats 53

ii) (Symtrique) Si un tat i communique avec un tat j, alors la rciproque est vraie,i.e. i j j i;

iii) (Transitive) Si un tat i communique avec un tat j qui lui mme communique avecun tat k, alors ltat i communique avec ltat k, i.e. si i j et j k alorsi k.

Preuve. Les proprits de rflexivit et de transitivit sont obtenues avec les rsultatsobtenus prcdemment sur la relation daccessibilit (Cf. proposition 4.11). La symtriedcoule directement de la dfinition de la relation de communication. 2

On a vu que tout tat dune chane de Markov communique avec lui mme, puisque lona p(0)i,i = 1. En revanche, sil existe n > 0, tel p

(n)i,i > 0, alors ltat i est dit tat de retour et

tat de non retour dans le cas contraire.

On peut utiliser la relation dquivalence quest la relation de communication pour rpartirles diffrents tats dune chane de Markov en classes dquivalence. On dfinit une classedquivalence comme lensemble des tats qui communiquent entre eux. Deux tats de deuxclasses diffrentes ne peuvent alors communiquer entre eux (sinon on aurait faire la mmeclasse). En revanche, il se peut que lon puisse aller dune classe une autre, mais le retourdans la classe prcdente ne sera plus jamais possible (sinon les deux classes formeraient unemme classe).

Dfinition 4.14. Une chane de Markov est dite irrductible si elle ne contient quuneseule classe dquivalence, autrement dit si tous les tats de la chane communiquent entre eux.

Exercice 4.12. Dterminer quelles sont les chanes irrductibles parmiles exemples prcdents : la marche alatoire simple (Cf. Exemple 2.1), lafortune du joueur A contre le joueur B (Cf. Exemple 2.4), le modle de diffu-sion dEhrenfest (Cf. Exemple 2.5), la marche alatoire multidimensionnelle(Cf. Section 2.3). Si certaines chanes ne sont pas irrductibles donner leursclasses dquivalence.

Preuve/Solution de lexercice.La marche alatoire simple (Cf. Exemple 2.1), le modle de diffusion dEhrenfest (Cf.

Exemple 2.55), la marche alatoire multidimensionnelle (Cf. Section 2) sont des exemples dechanes irrductibles.

En revanche la fortune du joueur A contre le joueur B (Exemple 2.4) ne constitue pas unechane irrductible puisquelle est constitue de trois classes : {0}, {1, 2, . . . , a 1} et {a}. 3



Exercice 4.13. Considrons la chane de Markov espace dtats E ={1, 2, 3, 4, 5} de matrice de passage :

P =

1/3 2/3 0 0 02/5 2/5 1/5 0 00 0 1/2 1/4 1/40 0 1/2 0 1/20 0 0 0 1

.1) Donner son graphe de Markov.2) Donner ses classes dquivalence. Prciser laccessibilit entre classes.

Solution de lexercice.1) Son graphe de Markov est donn par la Figure 8.

Figure 8. Graphe de Markov de lExercice 4.4.13.

2) Elle comporte trois classes :C1 = {1, 2}, C2 = {3, 4} et C3 = {5}. Laccessibilit entreles classes est donne par : C1 C2 C3. 3

Dfinition 4.15. On dit quune classe dquivalence C pour une chane de Markov estferme si lon a :

(i j et i C) = j C,On dit aussi que la classe C est absorbante.

Ainsi une fois que la chane atteint un des tats de la classe ferme C, elle ne quitte pluscette classe.

6. Priodicit

Dfinition 4.16. La priode dun tat de retour i, que lon note d(i), est le P.G.C.D. detous les entiers n > 0 pour lesquels on a : p(n)i,i > 0. Si lon a d(i) = 1, alors ltat i est dit

apriodique, sinon il est dit de priode d(i). Si, pour un tat i, on a p(n)i,i = 0 pour tout n, alorson pose d(i) = +.


7. Priodicit 55

La priode dun ltat permet de savoir si le temps entre deux passage par cet tat est, ounest pas, multiple dun temps minimum. La plupart des chanes sont apriodiques. Mais ilest tout de mme ais de trouver des chanes priodiques.

Exercice 4.14. tudier la priodicit des tats des chanes suivantes(en dissociant ventuellement entre les valeurs possibles des probabilits quandcelles-ci ne sont pas spcifies).

1) Chane deux tats (Cf. Section 2.1)2) Marche alatoire simple (Cf. Exemple 2.1).3) Joueur A contre joueur B (Cf. Exemple 2.4).4) Modle de diffusion dEhrenfest (Cf. Exemple 2.5).

Solution de lexercice.1) Si 0 p, q < 1 alors d(i) = 1, pour i = 1, 2. De mme, si p = 1 et 0 < q < 1 ou si q = 1

et 0 < p < 1. Si p = 1 et q = 0 alors d(1) = + et d(2) = 1. Rciproquement, Si q = 1 etp = 0, alors d(2) = + et d(2) = 1. Enfin, si p = q = 1, alors d(i) = 2 pour i = 1, 2.

2) Tous les tats ont toujours mme priode. Cette dernire est gale 2 si 0 < p < 1. Enrevanche, si p est gal 0 ou 1, alors la priode est infinie.

3) On a toujours : d(0) = d(a) = 1. Si 0 < p < 1 alors d(i) = 2, pour i {1, . . . , a 1}.Si p(1 p) = 0 alors d(i) = +, pour i {1, . . . , a 1}.

4) d(i) = 2, pour tout i = 0, . . . , a. 3

Proposition 4.17. Si la priode dun tat est finie alors tout autre tat qui communiqueavec celui-ci est de mme priode. La priode est donc la mme pour tous les lments dunemme classe.

Preuve. Dune part si i j, alors il existe deux entiers n et m tels que : p(n)i,j > 0 etp

(m)i,j > 0. Dautre part si lon a d(i) = d < + alors il existe au moins un entier k tel quep

(k)i,i > 0. Pour nimporte lequel de ces entiers k on a alors : p

(m+n+k)j,j p(m)j,i p(k)i,i p(n)i,j > 0.

Mais ayant galement p(2k)i,i > 0, on obtient aussi p(m+n+2k)j,j > 0. Ainsi la priode d(j) de ltat

j divise la fois m + n + k et m + n + 2k et divise donc sa diffrence k. On a donc montrque tout k divisible par d(i) lest galement par d(j), donc d(j) divise d(i). Tout ceci tantparfaitement symtrique, on a aussi d(i) qui divise d(j). Ce qui prouve le rsultat voulu. 2

Donnons enfin un rsultat que nous ne dmontrerons pas. Sa dmonstration repose prin-cipalement sur un rsultat en thorie des nombres sur les pgcd.

Lemme 4.18. Un tat i dune chane de Markov est apriodique si, et seulement si, on apour tout entier n suffisamment grand

p(n)i,i > 0.



7. Temps datteinte, tats rcurrents et transients

Dfinition 4.19. Soit i dans E un tat quelconque de la chane de Markov (Xn). Onappelle temps datteinte de ltat i (ou temps de premier passage ltat i), la v.a. Ti dfiniepar

Ti = inf{n 1 : Xn = i},avec la convention inf = +.

Il est clair que cette v.a. est un temps darrt par rapport la filtration naturelle F de lachane (Xn) (Cf. Chapitre ??).

Pour deux tats i et j dans E, notons fi,j la probabilit que, partant de ltat i, la chanepasse au moins une fois par ltat j, i.e.

fi,j = P (Tj < +)|X0 = i).La probabilit fi,i est donc la probabilit que, partant de ltat i, la chane retourne ltat ien un temps fini.

Notons galement f (n)i,j la probabilit que, partant de ltat i la chane aille, pour la premirefois, ltat j au temps n, i.e.

f(n)i,j = P (Tj = n|X0 = i) = P (Xn = j,Xk 6= j,k = 1, . . . n 1|X0 = i),

avec la convention f (0)i,j = 0.

Proposition 4.20. Pour tout tats i et j et tout entier n 1, on a :

p(n)i,j =

nk=0

f(k)i,j p

(nk)j,j .

Exercice 4.15. Dmonstration de cette proposition.1) Montrer que lon peut crire :

p(n)i,j =

n1k=1

p(nk)j,j f

(k)i,j + f

(n)i,j .

2) Conclure.


7. Temps datteinte, tats rcurrents et transients 57

Preuve/Solution de lexercice.1) Pour tout (i, j) dans E2, on a :

p(n)i,j = P (Xn = j|X0 = i) = P ({Xn = j},nk=1{Tj = k}|X0 = i)

=nk=1

P ({Xn = j}, {Tj = k}|X0 = i)

=n1k=1

P ({Xn = j}, {Tj = k}|X0 = i) + f (n)i,j

=n1k=1

P ({Xn = j}|{Tj = k}, X0 = i)P ({Tj = k}|X0 = i) + f (n)i,j

=n1k=1

P ({Xn = j}|Xk = j)P ({Tj = k}|X0 = i) + f (n)i,j

=n1k=1

p(nk)j,j f

(k)i,j + f

(n)i,j ,

o lavant dernire galit est justifie par les formules vues en Section 4.2) Comme on a : p(0)j,j = 1 et f

(0)i,j = 0, on peut crire

p(n)i,j =

nk=0

f(k)i,j p

(nk)i,j ,

ce quil fallait dmontrer. 2

Dfinissons maintenant, pour tout n dans N, les fonctions gnratrices des suites de proba-bilits (p(n)i,j )nN et (f

(n)i,j )nN respectivement par :

Pi,j(s) =+n=0

p(n)i,j s

n, |s| 1;

Fi,j(s) =+n=0

f(n)i,j s

n, |s| 1.

Remarquons que ces sries sont absolument convergentes, pour |s| < 1, puisque les probabilitsp

(n)i,j et f

(n)i,j sont majores par 1.

Proposition 4.21. Pour tout couple (i, j) dans E2 et pour tout |s| < 1, on a :

Pi,i(s) =1

1 Fi,i(s) et Pi,j(s) = Fi,j(s)Pj,j(s),

ce qui peut tre rsum par la formule :

Pi,j(s) = i,j + Fi,j(s)Pj,j(s).



Preuve. En utilisant la proposition prcdente, on peut crire, pour tout i dans E et tout|s| < 1:

Pi,i(s) =+n=0

p(n)i,i s

n = 1 ++n=1

p(n)i,i s

n

= 1 ++n=1

(nk=0

f(k)i,i p

(nk)i,i

)sn = 1 +

+n=0

(nk=0

f(k)i,i p

(nk)i,i

)sn

= 1 + Pi,i(s)Fi,i(s),

o lavant dernire galit est justifie par la nullit de f (0)i,i et la dernire nest que lutilisationdune formule classique de multiplication des sries entires1.

Lautre formule se dmontre exactement de la mme manire. 2

Dfinition 4.22. On dit quun tat i dune chane de Markov est rcurrent si, partantde ltat i, la probabilit que cette chane retourne ltat i en un temps fini est gale 1, i.e.si fi,i = 1. Sinon ltat est dit transient ou transitoire (on a alors fi,i < 1).

Autrement dit un tat rcurrent est tel que P (Ti < +|X0 = i) = 1. Le temps de retour ltat i est donc p.s. fini. En revanche un tat transitoire est tel que : P (Ti < +|X0 = i) 0, ce qui revient dire quil y a une probabilit strictementpositive que la chane ne repasse jamais par ltat transient i.

Exercice 4.16. Pour les chanes de Markov suivantes, donner les tatsrcurrents et transients.

1) Fortune du joueur A contre joueur B (Cf. Exemple 2.4).2) Chane de Markov de lExercice 4.13.

Solution de lexercice.1) Pour cette chane, les tats 0 et a sont absorbants donc rcurrents puisque lon a :

1 = f0,0 = p0,0 = fa,a = pa,a.

Les autres tats sont transitoires. En effet on a, par exemple, pour ltat 1 :

P (T1 = +|X0 = 1) P (X1 = 0|X0 = 1) = q > 0,puisque ltat 0 est absorbant.

2) Ltat 5 est rcurrent car absorbant (vident), tous les autres sont transitoires. En effet,par exemple, on a pour ltat 1 :

f1,1 P (X2 = 3, X1 = 2|X0 = 1) = 23 13> 0.

Les autres se montrent de la mme manire. 31On rappelle que lon a :

+Xk=0

aksk

! +Xl=0

blsl

!=

+Xk=0

kXl=0

akbkl

!sk.



Proposition 4.23. Un tat i dune chane de Markov est rcurrent si, et seulement si, ona :

+n=1

f(n)i,i = 1.

Il est transient si, et seulement si,+n=1

f(n)i,i < 1.


Solution de lexercice. Il suffit de remarquer que lon a :

fi,j = P (Tj < +|X0 = i) = P (+n=1{Tj = n})|X0 = i)

=+n=1

P ({Tj = n})|X0 = i) =+n=1

f(n)i,j

et dappliquer cette formule i = j. 2

Afin de donner un autre critre, caractrisant la rcurrence, introduisons un lemme tech-nique.

Lemme 4.24. (Lemme dAbel)i) Si une srie de terme gnral an est convergente de somme gale a, i.e.

+n=0

an = a < +,

alors on a :

lims1

+n=0

ansn =

+n=0

an = a.

ii) Si une srie de terme gnral an, tous positifs, est telle que

lims1

+n=0

ansn = a +,

alors on a :+n=0

an = a +.

Nous ne dmontrons pas ce lemme, que lon peut trouver dans nimporte quel bon livredanalyse.

Nous sommes maintenant en mesure de donner une autre caractrisation de la rcurrence.



Thorme 4.25. Un tat i dans E lespace des tats dune chane de Markov est rcurrentsi, et seulement si, lon a :

+n=0

p(n)i,i = +.

Il est donc transient si la srie prcdente est convergente.

Exercice 4.18. Dmontrer ce Thorme. (Ind. On utilisera, autantpour la partie ncessaire que pour la partie suffisante, le lemme dAbel et laproposition prcdente)

Preuve/Solution de lexercice. Montrons en premier lieu que cette condition est nces-saire. Supposons donc que ltat i est rcurrent. Daprs la proposition 4.23, on sait que :

+n=1

f(n)i,i = 1.

En utilisant le i) du lemme dAbel, on a alors :

lims1

+n=0

f(n)i,i s

n = lims1

Fi,i(s) = 1.

Ainsi, grce au lemme 4.21, il vient :

lims1

Pi,i(s) = lims1

+n=0

p(n)i,i s

n = +.

Lutilisation du point ii) du lemme dAbel, nous permet de conclure que :+n=0

p(n)i,i = +,

ce qui tait le rsultat dsir.Pour dmontrer que cette dernire galit est suffisante, supposons que ltat i soit tran-

sient, cest dire que :+n=1

f(n)i,i < 1.

En raisonnant de manire similaire prcdemment on obtient que

lims1

Pi,i(s) = lims1

+n=0

p(n)i,i s

n < +,

ce qui, grce au ii) du lemme dAbel donne+n=0

p(n)i,i < +.

Par contrapose, on obtient bien le caractre suffisant du critre. 2



Remarquons, que daprs leurs dfinitions tout tat de non retour est transient et tout tatabsorbant est rcurrent. Ceci est facilement confirm par le fait quun tat de non retour esttel que p(0)i,i = 1 et p

(n)i,i = 0, pour tout n. La srie de la proposition 4.25 est donc trivialement

convergente. Pour un tat absorbant, cette srie est bien sr divergente puisque tous les termesde la srie sont gaux 1.

Corollaire 4.26. Si un tat j dans E est rcurrent alors on a, pour tout tat i tel quei j :

+n=0

p(n)i,j = +.

En revanche, si ltat j est transient, on a pour tout tat i de E :+n

cours de probabilité

Documents