rappels sur les probabilités, les processus aléatoires et...

Rappels sur les probabilités, les processus aléatoires etles chaînes de Markov

Amélie Lambert

Cnam

MPRO 2016-2017

Amélie Lambert (Cnam) MPRO 2016-2017 1 / 91

1 Rappels de probabilité d’une expérience aléatoireLe dénombrementLes variables aléatoires

2 Les processus aléatoiresLes processus markoviensLes processus stationnairesLes processus de poissonLes processus de naissanceLes processus de naissance et de mort

3 Les chaînes de MarkovDéfinitionMatrice associée à une chaîne de MarkovMatrice stochastiqueGraphe associé à une chaîne de MarkovDistribution limite dans une chaîne de Markov


Quelques rappelsLors d’une expérience aléatoire, c’est-à-dire soumise au hasard, on définit :

L’univers Ω qui est l’ensemble de tous les résultats possibles del’expérience aléatoire.

Un événement E qui est un ensemble de résultats possibles àl’intérieur de l’univers.

Le dénombrement d’un événement qui est le calcul du nombre decas où l’événement considéré peut se produire.

La probabilité d’un évènement P qui correspond à la fréquenced’un événement par rapport à l’ensemble des cas possibles.(nombre de cas où l’évènement considéré peut se produire sur lenombre total de cas)


Quelques exemples


Exemple 1

Soit une classe composée de 2 groupes :

Groupe 1 Groupe 2 TotalFilles 3 10 13

Garçons 25 19 44Total 28 29 57

Expérience aléatoire : Tirer au hasard 2 étudiants.

Question : Quelle est la probabilité de l’évènement E : tirages avec 1étudiant (e) de chaque genre et 1 étudiant (e) de chaque groupe ?


Exemple 1 : solution

E = H ∪ I , où H =la fille tirée est du groupe 1 et I =la fille tirée estdu groupe 2

Il y a deux ordres possibles (fille en premier ou garçon en premier) :

Ordre 1 : Le nombre d’évènements qui commencent avec la fille enpremier est 3 ∗ 19 = 357 dans H et 10 ∗ 25 = 250 dans I .

Ordre 2 : Le nombre d’évènements qui commencent avec le garçon enpremier est 19 ∗ 3 = 357 dans H et 25 ∗ 10 = 250 dans I .

cardE = cardH + cardI = 2 ∗ 357 + 2 ∗ 250 = 1214

P(E ) = nombres de cas favorablesnombres de cas possibles = 1214

56∗57 = 12143192 = 0.38


Exemple 2




Question : Quelle est la probabilité de l’évènement E = tirages avecexactement 1 fille et exactement 1 étudiant(e) du groupe 1 ?


Exemple 2 : solution (1/3)

Soient :

E = tirages avec exactement 1 fille et exactement 1 étudiant(e) dugroupe 1

H est le sous-ensemble de E formé des tirages dans lesquels la fille estdu groupe 1.

I est le sous-ensemble de E formé des tirages dans lesquels la fille estdu groupe 2.



Former un élément de H : sous-ensemble de E formé destirages dans lesquels la fille est du groupe 1.

1 Choisir d’abord la fille dans le groupe 12 Choisir un garçon dans le groupe 23 Choisir un autre garçon (distinct du premier) dans le groupe 24 Choisir l’ordre dans lequel ils vont sortir (il y en a autant que de

permutations de 3 personnes, soit 6)

Former un élément de I : sous-ensemble de E formé des tiragesdans lesquels la fille est du groupe 2.

1 Choisir d’abord la fille dans le groupe 22 Choisir un garçon dans le groupe 13 Choisir un garçon dans le groupe 24 Choisir l’ordre dans lequel ils vont sortir (il y en a autant que de

permutations de 3 personnes, soit 6)



DonccardH = 3 ∗ 19 ∗ 18 ∗ 6 = 6156

cardI = 10 ∗ 25 ∗ 19 ∗ 6 = 28500

Comme H et I sont disjoints et E = H ∪ I ,

cardE = cardH + cardI = 6156 + 28500 = 34656

D’où

P(E ) =nombres de cas favorablesnombres de cas possibles

=34656

57 ∗ 56 ∗ 55=

34656175560

= 0.197


Techniques de dénombrement


Les arbres

Exemple : On considère une urne qui contient deux boules rouges, deuxnoires et une verte. On tire deux boules sans remise.

Expérience à deux étapes où les différentes possibilités qui peuvent survenirsont représentées par un arbre horizontal :

Problème : trop complexe si trop de possibilités !


Les arrangements

Définition : Une disposition ordonnée de r objets distincts pris parmi n estappelée arrangement de r objets pris parmi n (on a obligatoirement r ≤ n).

Considérons les r positions comme fixées. Pour la première étape, on a nchoix possibles, pour la deuxième, n − 1 choix possibles, . . ., pour la r ème,n − r + 1 choix possibles.

Proposition : Un arrangement de r objets pris parmi n, noté Anr est :

Anr = n(n − 1)(n − 2) . . . (n − r + 1) =

n!

(n − r)!


Les permutations

Définition : Une permutation de n éléments est une disposition ordonnéede ces n éléments.

Proposition : Les permutations de n éléments sont au nombre de Ann = n!


Les combinaisons

Définition : Un choix de r objets distincts pris parmi n sans tenir comptede leur ordre est appelé combinaison de r objets pris parmi n.

Exemple : Si on prend l’ensemble des combinaisons de 2 lettres parmi 4lettres a, b, c , d :

La combinaison a, b qui est la même que la combinaison b, a

L’arrangement a, b est différent de l’arrangement b, a.


Les combinaisonsLe nombre total de combinaisons de r objets pris parmi n est noté Cn

r .Pour trouver l’expression de Cn

r , comparons le nombre d’arrangements etde combinaisons possibles de r objets pris parmi n.

Dans un arrangement on choisit r objets, puis on tient compte de leurordre.Dans une combinaison seul le choix des r objets compte. Comme lenombre de façons d’ordonner les r objets choisis est r !, on conclutqu’à chaque combinaison de r objets pris parmi n, on peut associer r !arrangements et donc qu’il y a r ! fois plus d’arrangements que decombinaisons.

Proposition : Une combinaison de r objets pris parmi n est :

Cnr =

Anr

r !=

n(n − 1)(n − 2) . . . (n − r + 1)

r !=

n!

r !(n − r)!


Exemple 1 (rappel)







Solution de l’exemple 1 par les arrangements (1/2)

Les arrangements cherchés sont de la forme A = (F1,G2), B = (F2,G1),C = (G1,F2), et D = (G2,F1) avec :

cardA = A31A

191 = 3 ∗ 19 = 357

cardB = A101 A25

1 = 10 ∗ 25 = 250

cardC = A251 A10

1 = 25 ∗ 10 = 250

cardD = A191 A3

1 = 19 ∗ 3 = 357


Solution de l’exemple 1 par les arrangements (2/2)

On a E = A ∪ B ∪ C ∪ D

D’où

cardE = cardA+ cardB + cardC + cardD = 357+250+250+357 = 1214

La probabilité de tirer 1 étudiant (e) de chaque genre et 1 étudiant (e) dechaque groupe vaut :

P(E ) =nombres de cas favorablesnombres de cas possibles

=12143192

= 0.38


Probabilités sur un ensemble fini


Probabilités sur un ensemble fini

Définition : Si l’univers Ω est constitué de n événements élémentaires ei(événements n’ayant qu’un élément), une mesure de probabilité P sur Ωconsiste à se donner n nombres P(ei ) = pi ∈ [0, 1], les probabilités desévénements élémentaires, tels que :

n∑i=1

pi = 1

Si l’événement A est la réunion disjointe de k événements élémentairesei, avec 0 < k < n, la probabilité de A vaut, par définition :

P(A) = P(∪ki=1ei ) =

k∑i=1

P(ei ) =k∑

i=1

pi


Probabilité uniforme

Définition : Il y a probabilité uniforme ou équiprobabilité lorsque tous lespi valent 1

n .

La probabilité d’un sous-ensemble A de k éléments vaut alors :

P(A) =kn

=card(A)

card(Ω)


Propriétés des probabilités d’un événement aléatoire

Propriété 1 : On appelle ∅ l’événement impossible, puisqu’il n’est jamaisréalisé. Sa probabilité P(∅) vaut 0.

Propriété 2 : On note A l’événement contraire de A. C’est lecomplémentaire de A dans Ω. Sa probabilité vaut P(A) = 1− P(A).

Propriété 3 : Si B est un sous-ensemble de A (i.e. B ⊆ A), on a :

P(B) ≤ P(A)

Propriété 4 (Théorème des probabilités totales :) Si A et B sont deuxsous-ensembles de Ω, on a :

P(A ∪ B) = P(A) + P(B)− P(A ∩ B)

Ainsi, si A et B sont disjoints, i.e., si leur intersection A ∩ B est vide, alorsP(A ∪ B) = P(A) + P(B).


Événements indépendants

Définition : Deux événements A et B sont indépendants si la probabilitésur l’événement A n’est pas affectée par la probabilité de B .

Propriété : Si deux événements sont indépendants, la probabilité qu’ils seréalisent tous les deux est égale au produit de leurs probabilités respectives.On peut donc écrire :

P(A ∩ B) = P(A) ∗ P(B)

Exemple : Les tirages avec remise sont des événements indépendants.


Evènements dépendants, probabilités conditionnelles

Définition : Deux événements A et B sont dépendants si la probabilité surl’événement A est affectée par la probabilité de B .

Définition : Soient A et B deux événements, A étant supposé deprobabilité non nulle. On appelle probabilité conditionnelle de B parrapport à A, la probabilité de réalisation de l’événement B sachant que Aest réalisé. On la note

P(B|A) =P(A ∩ B)

P(A)

Théorème (probabilité composées ou règle de la multiplication) :

P(A ∩ B) = P(B|A)P(A) = P(A|B)P(B)

Exemple : Les tirages sans remise sont des événements dépendants.


Evènements dépendants, probabilités conditionnelles

Définition : Deux événements A et B sont dépendants si la probabilité surl’événement A est affectée par la probabilité de B .

Définition : Soient A et B deux événements, A étant supposé deprobabilité non nulle. On appelle probabilité conditionnelle de B parrapport à A, la probabilité de réalisation de l’événement B sachant que Aest réalisé. On la note

P(B|A) =P(A ∩ B)

P(A)

Théorème (probabilité composées ou règle de la multiplication) :

P(A ∩ B) = P(B|A)P(A) = P(A|B)P(B)

Exemple : Les tirages sans remise sont des événements dépendants.Amélie Lambert (Cnam) MPRO 2016-2017 27 / 91

Exemple 1 (rappel)







Solution de l’exemple 1 par probabilités conditionnelles (1/2)Soient les évènements suivants : A = (F1,G2), B = (F2,G1),C = (G1,F2), et D = (G2,F1).

La probabilité de l’événement A, c’est la probabilité de tirer en premier unefille du groupe 1, ( 3

57), multipliée par la probabilité, sachant qu’on a déjàtiré une fille du groupe 1, de tirer un garçon du groupe 2, soit :

P(A) = P(F1) ∗ P(G2|F1) =357∗ P(G2|F1)

Une fois qu’on a tiré une fille du groupe 1, il reste à tirer un étudiant dansun paquet de 56 qui compte 19 garçons du groupe 2, donc P(G2|F1) = 19

56 .Il vient :

P(A) =357∗ 1956

=3573192


Solution de l’exemple 1 par probabilités conditionnelles (2/2)

Soient les évènements suivants : A = (F1,G2), B = (F2,G1),C = (G1,F2), et D = (G2,F1).

Idem pour B , C et D, donc :

P(E ) =3573192

+2503192

+2503192

+3573192

=12143192

= 0.38


Définition


Variables aléatoires

Exemple 3 : On jette deux fois une pièce de monnaie non truquée, et ons’intéresse au nombre de fois que le côté "face" a été obtenu.

Pour calculer les probabilités des divers résultats, on introduira une variablealéatoire X qui désignera le nombre de fois où le côté "face" est obtenu.Ici, X peut prendre les valeurs 0, 1, 2.

Définition : Soit un univers Ω associé à une expérience aléatoire, surlequel on a défini une mesure de probabilité P et des évènements E . Unevariable aléatoire X est l’application :

(Ω,E ,P)→ R

ω → X (ω)


Variables aléatoires discrètes (1/2)

Définition : Une variable aléatoire discrète est une variable aléatoire qui neprend que des valeurs entières, en nombre fini ou dénombrable :

(Ω,E ,P)→ N

ω → X (ω)

On note X (Ω) = xi , i ∈ I l’ensemble des valeurs ordonnées prises par X .


Variables aléatoires discrètes (2/2)

On associe à chacune des valeurs possibles de la variable aléatoire laprobabilité qui lui correspond. Pour calculer la probabilité que la variable Xsoit égale a xi , on cherche tous les événements élémentaires ej pourlesquels X (ej) = xi , et on a :

P(X = xi ) =k∑

j=1

P(ej) si X = xi sur les évts élémentaires e1, . . . , ek

On appelle fonction de densité discrète f la fonction de R dans [0, 1],qui à tout nombre réel xi associe f (xi ) = P(X = xi ).On a bien sûr

∑i

f (xi ) = 1.


Exemple (suite)Exemple 3 (rappel) : On jette deux fois une pièce de monnaie nontruquée, et on s’intéresse au nombre de fois que le côté "face" a étéobtenu. Pour calculer les probabilités des divers résultats, on introduira unevariable X qui désignera le nombre de "face" obtenu. X peut prendre lesvaleurs 0, 1, 2.

La variable X = nombre de côtés "face" peut prendre les valeurs 0, 1, 2.f (0) = P(X = 0) = P((pile, pile)) = 1

4

f (1) = P(X = 1) = P((pile, face)) = 12

f (2) = P(X = 2) = P((face, face)) = 14

f (x) = 0 si x /∈ 0, 1, 2

x 0 1 2 totalf (x) = P(X = x) 1

412

14 1


Variables aléatoires continues

Définition : Une variable aléatoire est dite continue si elle peut prendretoutes les valeurs dans un intervalle donné (borné ou non borné). En règlegénérale, toutes les variables qui résultent d’une mesure sont de typecontinu.

Remarque : Pour une variable aléatoire continue, la probabilité associée àl’évènement X = a est nulle, car il est impossible d’observer exactementcette valeur. On considère alors la probabilité que la variable aléatoire Xprenne des valeurs comprises dans un intervalle [a, b] tel que P(a ≤ X ≤ b).


Fonction de répartition

Définition : La fonction de répartition d’une variable aléatoire X indiquepour chaque valeur réelle x la probabilité que X prenne une valeur au pluségale à x . C’est la somme des probabilités des valeurs de X jusqu’à x . Onla note F :

∀x ∈ R, F (x) = P(X ≤ x) =∑xi≤x

P(X = xi )

La fonction de répartition est toujours croissante et comprise entre 0 et 1.


Espérance mathématique


Espérance mathématique d’une distribution de probabilité

Idée générale : Si l’on s’imagine que le nombre d’observations croîtindéfiniment, les fréquences observées vont tendre vers les probabilitésthéoriques et on admet que la moyenne calculée sur un échantillon de taillen va tendre vers une valeur limite qui sera la moyenne de l’ensemble desvaleurs de la population entière.

On appelle cette moyenne espérance mathématique de la variablealéatoire X . C’est intuitivement la valeur que l’on s’attend à trouver, enmoyenne, si l’on répète un grand nombre de fois la même expériencealéatoire.


Définition : Espérance mathématique (1/2)

Cas d’une variable discrète :Soit X une variable aléatoire discrète qui prend un nombre fini devaleurs x1, x2, . . . , xn et dont la loi de probabilité estf : f (xi ) = P(X = xi ). L’espérance mathématique de X est :

E(X ) =n∑

i=1

xi f (xi )

Si la variable aléatoire X prend un nombre dénombrable de valeursx1, x2, . . . , xn, . . ., son espérance mathématique est :

E(X ) =∞∑i=1

xi f (xi ) ( à condition que la série converge)


Définition : Espérance mathématique (2/2)

Cas d’une variable continue :Si la variable aléatoire X est continue et a pour fonction de densité deprobabilité f , son espérance mathématique est :

E(X ) =

∫Rxf (x)dx (si la fonction x → xf (x) est intégrable sur R)


Propriétés de l’espérance mathématique

Les propriétés de l’espérance valent aussi bien pour une variable aléatoirediscrète ou une variable aléatoire absolument continue.

Si X et Y sont deux variables aléatoires définies sur un même univers Ω,admettant une espérance E, alors :

Propriété 1 E(X + Y ) = E(X ) + E(Y )

Propriété 2 ∀a ∈ R, on a E(aX ) = aE(X )

Propriété 3 Si X ≥ 0, alors E(X ) ≥ 0

Propriété 4 Si la variable aléatoire est constante : ∀ω, X (ω) = k ,alors E(X ) = k

Propriété 5 Si X et Y indépendantes, alors E(XY ) = E(X )E(Y )


Variance, écart-type et covariance


Variance d’une distribution de probabilité

Idée générale : c’est une mesure servant à caractériser la dispersion d’unedistribution. Elle indique de quelle manière la variable aléatoire se disperseautour de sa moyenne (son espérance).

Une variance de zéro signale que toutes les valeurs sont identiques. Unepetite variance est signe que les valeurs sont proches les unes des autresalors qu’une variance élevée est signe que celles-ci sont très écartées.


Variance d’une distribution de probabilitéLe calcul de la variance peut s’effectuer en utilisant l’expression :

Var(X ) = E((X − E(X ))2) = E(X 2)− (E(X )2)

1 Cas d’une variable discrète finie :

Var(X ) =n∑

i=1

(xi − E(X ))2f (xi )

Var(X ) = (n∑

i=1

x2i )f (xi )− E(X )2

2 Cas d’une variable continue :

Var(X ) =

∫R

(x − E(X ))2f (x)dx

Var(X ) = (

∫Rx2f (x)dx)− E(X )2


Propriétés de la variance

Les propriétés de la variance valent aussi bien pour une variable aléatoirediscrète ou une variable aléatoire absolument continue.

Si X et Y sont deux variables aléatoires définies sur un même univers Ω :

Propriété 1 ∀a ∈ R, on a Var(aX ) = a2Var(X )

Propriété 2 ∀(a, b) ∈ R2, on a Var(aX + b) = a2Var(X )

Propriété 3 Si X et Y ind., alors Var(X + Y ) = Var(X ) + Var(Y )

Propriété 4 Si X et Y ind., alors Var(X − Y ) = Var(X ) + Var(Y )


Écart-type

Définition : On appelle écart-type de la variable aléatoire X la racinecarrée de sa variance :

θ(X ) =√

Var(X )


Covariance de deux variables aléatoires (1/2)

Lorsque deux variables aléatoires ne sont pas indépendantes, il existe unecaractéristique qui permet de déterminer l’intensité de leur dépendance.C’est la covariance.

Définition : La covariance de deux variables aléatoires X et Y est définiepar :

Cov(X ,Y ) = E((X − E(X )(Y − E(Y ))Cov(X ,Y ) = E(XY − XE(Y )− YE(X ) + E(X )E(Y ))Cov(X ,Y ) = E(XY )− E(X )E(Y )− E(Y )E(X ) + E(X )E(Y )Cov(X ,Y ) = E(XY )− E(X )E(Y )


Covariance de deux variables aléatoires (2/2)

Proposition 1 Si deux variables aléatoires sont indépendantes, leurcovariance est nulle.Attention : La réciproque n’est pas vraie. Deux variables decovariance nulle ne sont pas obligatoirement indépendantes.

Proposition 2 Si deux variables aléatoires sont dépendantes :

E(XY ) = E(X )E(Y ) + Cov(X ,Y )

Var(X + Y ) = Var(X ) + Var(Y ) + 2Cov(X ,Y )


Définition générale

Un processus aléatoire est un ensemble de variables aléatoires, toutesdéfinies sur le même espace de probabilité, et indexées par un paramètreréel t. On note un tel processus X (t) ; t ∈ C .

t est le paramètre du processus,C est l’ensemble des paramètres. Si C fini ou infini dénombrable Cest discret (par exemple C = 0, 1, 2, . . .), sinon C est continu (parexemple C = [0,+∞[). Quand C est un ensemble d’entier, on noteles variables aléatoires Xn.S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S finiou infini dénombrable, S est discret, sinon S est continu.

Exemple : t peut être interprété comme le temps et C comme les instantsà considérer, X (t) est alors la valeur du processus à l’instant t.




t est le paramètre du processus,

C est l’ensemble des paramètres. Si C fini ou infini dénombrable Cest discret (par exemple C = 0, 1, 2, . . .), sinon C est continu (parexemple C = [0,+∞[). Quand C est un ensemble d’entier, on noteles variables aléatoires Xn.S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S finiou infini dénombrable, S est discret, sinon S est continu.





t est le paramètre du processus,C est l’ensemble des paramètres. Si C fini ou infini dénombrable Cest discret (par exemple C = 0, 1, 2, . . .), sinon C est continu (parexemple C = [0,+∞[). Quand C est un ensemble d’entier, on noteles variables aléatoires Xn.

S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S finiou infini dénombrable, S est discret, sinon S est continu.





t est le paramètre du processus,C est l’ensemble des paramètres. Si C fini ou infini dénombrable Cest discret (par exemple C = 0, 1, 2, . . .), sinon C est continu (parexemple C = [0,+∞[). Quand C est un ensemble d’entier, on noteles variables aléatoires Xn.S est l’espace des états (i.e. des valeurs possibles) des X (t). Si S finiou infini dénombrable, S est discret, sinon S est continu.



Les processus markoviensDans un processus markovien, le futur dépend seulement de l’état présent.

Définition 1 Le processus aléatoire X (t) ; t ∈ C est un processus deMarkov si pour tout entier n, pour tout t1 < t2 < . . . < tn < tn+1 ∈ C , etpour tout ensemble d’états S :

PX (tn+1) ∈ S |X (t1), . . . ,X (tn) = PX (tn+1) ∈ S |X (tn)

Définition 2 Un processus de Markov est dit homogène si

PX (t + s) ∈ S |X (tn) = PX (s) ∈ S |X (0)

i.e. PX (t + s) ∈ S |X (tn) ne dépend pas de t.

Application : en physique quand l’état futur peut être déduit du passé avecun historique assez faible.


Les processus stationnaires

Définition : Le processus aléatoire X (t) ; t ∈ C est un processusstationnaire si : ti ∈ C , ti + s ∈ C , i = 1, 2, . . . , n (n est un entierquelconque), alors :

PX (t1) < x1, . . . ,X (tn) < xn = PX (t1+s) < x1, . . . ,X (tn+s) < xn ∀s

Ils sont utilisés dans les modèles de Recherche Opérationnelle pour décrireles processus qui ont évolué pendant un long moment.


Les processus de poisson

Définition : Un processus de Poisson est un processus de Markovhomogène, dont l’espace des états est discret S = 1, 2, . . ., et l’ensembledes paramètre est continu X (t) ; t ∈ [0,+∞].

En d’autres termes : des événements se produisent aléatoirement à partirde l’instant t = 0, et X (t) = nombre d’événements qui se sont produitsentre les instants 0 et t.


Les processus de poisson

Les postulats définissant un processus de Poisson sont :

1 La probabilité qu’au moins 1 événement se produise pendant unintervalle de tps de longueur h est :

P(h) = λh + o(h) , (λ > 0)

(o(h) : toute fonction définie au voisinage de 0 et telle que o(h)h → 0

quand h→ 0+)

2 La probabilité que 2 événements ou plus se produisent pendantl’intervalle de temps h est o(h). (Ce postulat revient à exclure lapossibilité de la réalisation simultanée de 2 événements ou plus).


Les processus de naissanceUne généralisation naturelle du processus de Poisson consiste à fairedépendre la probabilité de réalisation d’un événement à un instant donnédu nombre d’événements déjà réalisés.

Définition : Soient λk une suite de nombres positifs, X (t) le nombrede naissances dans l’intervalle [0, t]. Un processus de naissance est unprocessus de Markov satisfaisant les postulats :

1 PX (t + h)− X (t) = 1|X (t) = k = λkh + o(h)

2 PX (t + h)− X (t) = 0|X (t) = k = 1− λkh + o(h)

3 PX (t + h)− X (t) < 0|X (t) = k = 0

Les membres de gauche de 1 et 2 peuvent s’écrire Pk,k+1(h) et Pk,k(h).Il s’agit d’un processus homogène puisque λk ne dépend pas de t.


Graphe associé à un processus de naissance


Les processus de naissance et de mort

Une des généralisation du processus de naissance consiste à permettre àX (t) de décroître aussi bien que de croître, on obtient alors un processusde naissance et de mort.

Définition Un processus de naissance et de mort est un processus deMarkov homogène sur les états 0, 1, 2, . . ., avec ses probabilités detransition qui vérifient : ∀s, Pij(t) = PX (t + s) = j |X (s) = i.

De plus, les Pij(t) satisfont :

1 Pi ,i+1(h) = λih + o(h), i ≥ 0

2 Pi ,i−1(h) = µih + o(h), i ≥ 1

3 Pi ,i (h) = 1− (λi + µi )h + o(h), i ≥ 0

Avec λi > 0, ∀i et µi > 0, ∀i 6= 0, µ0 = 0.


Les chaînes de Markov

Définition : Une chaîne de Markov est un processus stochastique àensemble d’indices discrets T et espace d’états discrets S .Soit Xn ; n = 0, 1, 2 . . . une famille de variables aléatoires, c’est unechaîne de Markov si :

PXn = jn|Xo = j0, . . . ,Xn−1 = jn−1 = PXn = jn|Xn−1 = jn−1

avec n ≥ 1 et jk ∈ S (0 ≤ k ≤ n)

On note la probabilité de transition

∀(i ∈ S , j ∈ S) pij = PXn = j |Xn−1 = i

Une chaîne est dite homogène (dans le temps) si PXn = j |Xn−1 = i nedépend pas de n.


Contexte

Dans la suite, nous ne considérerons que des chaînes de Markovhomogènes avec un espace d’état S = s1, s2, . . . , sr.

Le processus démarre dans un de ces états et évolue d’un état à unautre.

Chaque mouvement est appelé "pas".

Si la chaîne est dans l’état si , elle se trouve alors dans l’état sj avec laprobabilité pij .

Le processus peut rester dans l’état où il se trouve avec la probabilitépii .


Exemple 4 : la ruine du joueur

2 joueurs A et B tirent à "pile ou face". Si A gagne (pile), il reçoit 1euro de B , s’il perd (face) il donne 1 euro à B . La partie se terminelorsque l’un des deux joueurs est ruiné.

Au début de la partie l’avoir de A est a euros et l’avoir de B est beuros. Posons s = a + b.

Ensemble des états : S = 0, 1, 2, . . . , s − 1, s avoir de A.

Les probabilités de transmissions sont :

pij

Proba "pile" = p si j = i + 1 , i 6= 0Proba "face" = q si j = i − 1 , i 6= s1 si i = j = 0 ou i = j = s0 dans les autres cas


Matrice associée à une chaîne de Markov

On peut regrouper les probabilités de transition pour former unematrice carrée d’ordre r , où r = |S | désigne le nombre d’états.

Le processus étant dans l’état i à l’instant n, il sera dans un des étatsj = 1, 2, . . . , r à l’instant n + 1, on a donc

r∑j=1

pij = 1, i = 1, 2, . . . , r

P =

p11 p12 . . . p1rp21 p22 . . . p2r...

......

...pi1 pi2 . . . pirpr1 pr2 . . . prr


Exemple 4 : la ruine du joueur (suite)2 joueurs A et B tirent à "pile ou face". Si A gagne (pile), il reçoit 1euro de B , s’il perd (face) il donne 1 euro à B . La partie se terminelorsque l’un des deux joueurs est ruiné.

Au début de la partie l’avoir de A est a euros et l’avoir de B est beuros. Posons s = a + b.

Ensemble des états : S = 0, 1, 2, . . . , s − 1, s avoir de A.

La matrice associée est :

P =

1 0 0 0 . . . 0q 0 p 0 . . . 00 q 0 p . . . 00 0 q 0 . . . 0...

......

......

...0 0 0 0 . . . 1


Matrice stochastique

On appelle matrice stochastique une matrice carrée P , dont les élémentsvérifient :

1 0 ≤ pij ≤ 1, ∀(i , j) ∈ 1, . . . , r2

2

r∑j=1

pij = 1, ∀i ∈ 1, . . . , r


Théorème

Soit P la matrice des probabilités de transition d’une chaîne de Markov. Leterme (i , j) de la matrice Pn (noté p(n)

ij ) donne la probabilité que la chaînede Markov, partant de l’état i se trouve dans l’état j après n pas. On a :

1 p(2)ij =

∑k

pikpkj

2 p(n)ij =

∑k

pikp(n−1)kj

3 et de façon plus générale (Équation de Chapman-Kolmogorov)

p(m+n)ij =

∑k

p(m)ik p(n)

kj


Graphe associé à une chaîne de Markov

G = (S ,U)

Sommets : ensemble des états S = s1, s2, . . . , sr

Arcs : probabilité de transition non nulle (si , sj) ∈ U ⇔ pij > 0

Exemple : Considérons la chaîne de Markov à 5 états dont la matricedes probabilités de transition est la suivante :

s1 s2 s3 s4 s5s1 1/3 0 1/3 0 1/3s2 0 1/2 0 1/2 0s3 1/2 0 1/4 0 1/4s4 0 1/3 0 2/3 0s5 1 0 0 0 0


Classification des états dans une chaîne de Markov

Considérons la relation d’équivalence définie sur les états de la chaîneE1,E2, . . . ,Er :

Ei R Ej ⇔ ∃n tq p(n)ij > 0 et ∃m tq p(m)

ji > 0

En terme de graphe :

Ei R Ej ⇔ il existe un chemin de Ei à Ej et de Ej à Ei


Classification des états dans une chaîne de Markov

On dit que Ei et Ej sont deux états communiquants ssi Ei R Ej . Onpeut donc faire une partition des états en classes d’étatscommuniquants. (Rque : ce sont les composantes fortement connexesdu graphe associé à la chaîne).

C est un ensemble fermé d’états si :

∀Ei ∈ C∀Ej /∈ C

pij = 0

Un ensemble fermé d’états à 1 seul élément Ei (pii = 1) est un étatabsorbant.


Chaîne de Markov irréductible

Définition Une chaîne de Markov est irréductible si elle ne contientaucun sous-ensemble fermé (autre que celui de tous ces états).

Théorème : Dans une chaîne irréductible tous les états sontcommuniquants.

Propriété : Une chaîne est irréductible ssi le graphe associé estfortement connexe.


Premier temps d’atteinte d’un état (1/2)

Soit Tij la variable aléatoire du temps de premier passage :

Tij = minkk |Xk = j , Xo = i

Propriété : Probabilité de premier passage : f (n)ij = PTij = n(probabilité de passer pour la première fois en j au bout de n pasétant parti de i)

f (n)ij =

pij si n = 1∑k 6=j

pik f (n−1)kj si n > 1


Premier temps d’atteinte d’un état (2/2)

Probabilité de passer pour la première fois en j, partant de i , avant latransition n + 1 :

F (n)ij =

n∑k=1

f (k)ij

Probabilité que partant de i , le système atteigne un jour l’état j :

Fij = limn→∞

F (n)ij


Les états transitoires et persistants

Définition 1 : On dit que Ei est un état transitoire ssi Fii < 1 (le systèmepartant de i peut ne pas revenir en i).

Définition 2 : On dit Ei est un état persistant (ou récurrent) (le systèmepartant de Ei , repassera à coup sûr par Ei ). Informellement, si unetrajectoire typique du système passe infiniment souvent par cet état.


Périodicité des états persistants

Définition 1 : Un état Ei persistant est un état périodique de période di sidi = PGCD (n|p(n)

ii > 0) est > 1.(PGCD entre tous les n tels que p(n)

ii > 0 i.e. di est le PGCD de lalongueur des circuits passant par Ei , la probabilité de passage de i à i en ntransitions est nulle sauf si n est un multiple de di )

Définition 2 : Si di = 1, on dit que l’état Ei est apériodique ou nonpériodique.Une condition suffisante de non périodicité de l’état Ei est que le graphepossède une boucle au sommet Ei . Cette condition n’est pas nécessaire.

Théorème : Tous les états d’une classe d’états persistants ont la mêmepériode (résultat concernant la longueur des circuits dans une composantefortement connexe).


Quelques définitions

Définition 1 : Une chaîne de Markov est ergodique ou irréductible s’il estpossible d’aller de tout état à tout état (pas nécessairement en 1 pas).

Définition 2 : Une chaîne de Markov est régulière s’il existe une puissancede la matrice des probabilités de transition dont tous les éléments sontstrictement positifs.La particularité des chaînes régulières est qu’on peut aller de n’importequel état vers n’importe quel autre en un nombre fixé de pas k , où k estindépendant de l’état de départ.

Exemple :

P =

(0 11 0

)La chaîne est ergodique mais non régulière


Vecteur de distribution des probabilités

Soit le vecteur Q(n) = [q1(n), q2(n), . . . , qr (n)] où qi (n) désigne laprobabilité que la chaîne soit dans l’état Ei à l’instant n.

On ar∑

i=1

qi (n) = 1

On a qi (n + 1) =r∑

k=1

qk(n)pki , ∀i .

Ou encore matriciellement Q(n + 1) = Q(n) ∗ P (où P est la matricedes probabilités de transition)

Il en résulte que Q(n) = Q(0) ∗ Pn


Distribution limite dans une chaîne de Markov

Notation : Q(n) = [q1(n), q2(n), . . . , qr (n)] avec qi (n) : la probabilitéd’être dans l’état Ei à l’étape n.

Rappelons que : Q(n + 1) = Q(n) ∗ P et Q(n) = Q(0) ∗ Pn

Définition : Une chaîne de Markov est régulière ssi elle possède unedistribution limite Q∗ indépendante de l’état initial Q(0) :

limn→∞

Q(n) = Q∗


Théorème

Théorème : Une chaîne de Markov est régulière ssi la matrice desprobabilités de transition P admet une limite P∗ dont toutes les lignes sontidentiques.

Preuve :1 Soit une chaîne régulière, Q∗ existe et ne dépend pas de Q(0), on a

Q∗ = Q(0) ∗ P∗.Supposons que l’état initial soit Ei , on a Q(0) = (0, . . . , 0, 1, 0, . . . , 0),comme Q∗ = Q(0) ∗ P∗, on a bien que Q∗ est la ieme ligne de P∗,=⇒ toutes les lignes de P∗ sont identiques et valent Q∗

2 Supposons toutes les lignes de P∗ identiques (α1, α2, . . . , αr ).

Q∗ = Q(0) ∗ P∗ =⇒ q∗i = αi

r∑k=1

qk(0) = αi =⇒

Q∗ = (α1, α2, . . . , αr ) et ne dépend donc pas de l’état initial.


Exemple de chaîne régulière (1/2)

P =

1/2 1/2 0 00 0 2/3 1/3

1/2 1/2 0 00 0 1 0

Existence d’une boucle =⇒ non périodicité

Graphe fortement connexe =⇒ 1 seule classe finale d’états communs


Exemple de chaîne régulière (2/2)

La distribution limite est déterminée par Q∗ = Q∗P et4∑

i=1

q∗i = 1

Soit (q∗1 , q∗2 , q∗3 , q∗4) = (q∗1 , q

∗2 , q∗3 , q∗4)

12

12 0 0

0 0 23

13

12

12 0 0

0 0 1 0

I q∗

1 = 12q∗

1 + 12q∗

3I q∗

2 = 12q∗

1 + 12q∗

3I q∗

3 = 23q∗

2 + q∗4

I q∗4 = 1

3q∗2

I q∗1 + q∗

2 + q∗3 + q∗

4 = 1 =⇒ q∗1 + q∗

1 + q∗1 + 1/3q∗

1 = 1

I =⇒ Q∗ = ( 310 ,

310 ,

310 ,

110 )


rappels sur les probabilités, les processus aléatoires et...

Documents