processus aléatoires

Processus Aléatoires

Luc Deneire

Iannis Aliferis

École Polytechnique de l’Université de Nice – Sophia AntipolisPolytech’Nice Sophia

Département d’Électronique, 3e année, 2009–2010

[email protected]

http://elec.polytech.unice.fr/~deneire/

École Polytechnique de l’UNSAPolytech’Nice-Sophia

Département d’Électronique3e année

Ce document contient une grande partie des informations données au courset aux TDs. Cela signifie qu’il n’est en aucun cas complet (auto-suffisant) ;une grande quantité d’information (commentaires, explications, diagrammes,démonstrations etc.) est donnée pendant les séances, oralement ou à l’aide dutableau, en plus de documents projetés en cours.

Les statistiques, c’est comme le bikini : ça donne des idées mais ça cachel’essentiel !

Coluche

Processus Aléatoires 2

Table des matières

1 Introduction 71.1 De la variable aléatoire vers le processus aléatoire . . . . . . . . . 7

1.1.1 Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . 7

2 Processus Stochastiques 92.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92.2 Grandeurs statistiques . . . . . . . . . . . . . . . . . . . . . . . . 92.3 Stationnarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.3.1 Stationnarité (au sens large) . . . . . . . . . . . . . . . . 112.3.2 bm=Propriétés de R_X(tau) . . . . . . . . . . . . . . . . 112.3.3 Cyclo-stationnarité . . . . . . . . . . . . . . . . . . . . . . 132.3.4 Mesurer l’espérance (un peu de Statistique) . . . . . . . . 13

2.4 Ergodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.4.1 Interpétation de l’espérance et de la variance . . . . . . . 14

2.5 Densité spectrale de puissance . . . . . . . . . . . . . . . . . . . . 152.5.1 Densité spectrale de puissance (ssl) . . . . . . . . . . . . . 152.5.2 Densité spectrale de puissance (csl) . . . . . . . . . . . . . 152.5.3 Densité spectrale de puissance : propriétés . . . . . . . . . 162.5.4 Deux processus stochastiques . . . . . . . . . . . . . . . . 16

2.6 Filtrage d’un processus stochastique . . . . . . . . . . . . . . . . 172.7 Processus gaussien : définition . . . . . . . . . . . . . . . . . . . . 17

2.7.1 Processus gaussien : propriétés . . . . . . . . . . . . . . . 172.7.2 Signal binaire aléatoire . . . . . . . . . . . . . . . . . . . . 18

2.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3 Bruit 233.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.1.1 Bruit thermique : definition . . . . . . . . . . . . . . . . . 233.1.2 Bruit thermique : dsp disponible . . . . . . . . . . . . . . 243.1.3 Bruit blanc . . . . . . . . . . . . . . . . . . . . . . . . . . 243.1.4 Bruit coloré . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3



4 Signaux passe-bande (rappels) 274.1 definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.1.1 Bruit coloré passe-bande . . . . . . . . . . . . . . . . . . . 274.2 Autocorrélation de p.s. complexes . . . . . . . . . . . . . . . . . 284.3 Bruit utile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.3.1 Analyseur dynamique . . . . . . . . . . . . . . . . . . . . 29

5 Processus aléatoires à temps discret. 355.1 Processus et modèles aléatoires discrets. . . . . . . . . . . . . . . 35

5.1.1 Moyenne, autocorrélation et stationarité. . . . . . . . . . 355.1.2 La matrice de corrélation. . . . . . . . . . . . . . . . . . . 365.1.3 Les innovations. . . . . . . . . . . . . . . . . . . . . . . . 375.1.4 Modèles stochastiques (AR, MA, ARMA). . . . . . . . . . 395.1.5 Les équations de Yule-Walker. . . . . . . . . . . . . . . . . 445.1.6 Prédiction linéaire avant. . . . . . . . . . . . . . . . . . . 45

5.2 Estimateur MMSE et principe d’orthogonalité. . . . . . . . . . . 465.3 Filtre de Wiener. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

5.3.1 Filtre de Wiener non-causal . . . . . . . . . . . . . . . . . 485.3.2 Filtre de Wiener causal. . . . . . . . . . . . . . . . . . . . 525.3.3 Filtre de Wiener FIR . . . . . . . . . . . . . . . . . . . . . 55

5.4 Prédiction linéaire. . . . . . . . . . . . . . . . . . . . . . . . . . . 565.4.1 Prédiction linéaire avant. . . . . . . . . . . . . . . . . . . 565.4.2 Prédiction linéaire arrière. . . . . . . . . . . . . . . . . . . 595.4.3 Relation entre prédiction avant et arrière . . . . . . . . . 61

5.5 L’algorithme de Levinson-Durbin . . . . . . . . . . . . . . . . . . 615.5.1 Interprétations des paramètres Km et ∆m−1 . . . . . . . 63

5.6 Filtres en treillis. . . . . . . . . . . . . . . . . . . . . . . . . . . . 635.7 La méthode des moindres carrés (LS : Least Squares) . . . . . . . 65

5.7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 655.7.2 Fenêtrage. . . . . . . . . . . . . . . . . . . . . . . . . . . . 655.7.3 Principe d’orthogonalité pour les moindres carrés . . . . . 675.7.4 Equations normales . . . . . . . . . . . . . . . . . . . . . 685.7.5 Interprétation géométrique. . . . . . . . . . . . . . . . . . 695.7.6 Propriétés de l’estimation des moindres carrés. . . . . . . 72

5.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

6 Une ménagerie de Processus 776.1 Processus de Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . 77

6.1.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . 776.1.2 v.a. binomiale, géométrique . . . . . . . . . . . . . . . . . 776.1.3 v.a. Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . . 786.1.4 v.a. binomiale . . . . . . . . . . . . . . . . . . . . . . . . . 796.1.5 v.a. Géométrique . . . . . . . . . . . . . . . . . . . . . . . 806.1.6 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . 816.1.7 Temps d’attente . . . . . . . . . . . . . . . . . . . . . . . 826.1.8 Temps d’arrivée . . . . . . . . . . . . . . . . . . . . . . . . 82




6.1.9 Exemple de réalisation . . . . . . . . . . . . . . . . . . . . 836.1.10 Séparation de processus . . . . . . . . . . . . . . . . . . . 846.1.11 Combinaison de processus . . . . . . . . . . . . . . . . . . 846.1.12 bm=Binomiale -> Poisson . . . . . . . . . . . . . . . . . . 846.1.13 bm=Binomiale -> Poisson 2 . . . . . . . . . . . . . . . . . 85

6.2 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 856.2.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . 856.2.2 bm=Nombre d’arrivées en tau . . . . . . . . . . . . . . . 866.2.3 Première arrivée . . . . . . . . . . . . . . . . . . . . . . . 866.2.4 Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . 866.2.5 Temps d’attente . . . . . . . . . . . . . . . . . . . . . . . 876.2.6 Temps d’arrivée . . . . . . . . . . . . . . . . . . . . . . . . 876.2.7 Processus de Bernoulli / Poisson . . . . . . . . . . . . . . 876.2.8 « Incidence aléatoire » . . . . . . . . . . . . . . . . . . . . 886.2.9 Exemples de réalisation . . . . . . . . . . . . . . . . . . . 88

6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

7 Chaînes de Markov 937.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 937.2 Matrice de transition . . . . . . . . . . . . . . . . . . . . . . . . . 937.3 Trajectoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 947.4 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . 947.5 Périodicité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 957.6 Comportement à long terme . . . . . . . . . . . . . . . . . . . . . 957.7 Chaînes ergodiques . . . . . . . . . . . . . . . . . . . . . . . . . . 967.8 Processus de naissance et de mort . . . . . . . . . . . . . . . . . 967.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

Syllabus

Ce polycopié couvre le cours de “Processus Aléatoires”, donné en ELEC3,comprenant la partie cours magistral ainsi que les exercices donnés en travauxdirigés.

Outre qu’il convient (malheureusement !) de rappeler que la présence auxcours et travaux dirigés est obligatoire, il est utile d’indiquer que les matièresenseignées dans ces cours demandent un travail régulier qui ne peut pas êtrecompensé par un travail, même sérieux, sur un temps court avant les DS (devoirssurveillés).

De manière à aider les étudiants motivés que vous êtes à fournir ce travail ré-gulier, les travaux dirigés devront être impérativement préparés chaque semaine,et cette préparation sera sanctionnée par une note de contrôle continu.

D’autre part, deux devoirs surveillés seront organisés pour chaque cours.Le contrôle des connaissances sera donc organisé de la manière suivante :




Processus Aléatoires

Contrôle continu D.S. 1 (10ème cours)Pondération 40 % 60 %

– Le devoir surveillé consistera en une courte question “théorique” et troisexercices, il sera à livre ouvert (c’est-à-dire une copie de ce polycopié, avecannotations possibles, mais sans les solutions des TDs).

– Le contrôle continu consistera en la préparation d’exercices des travauxdirigés. En début de séance, un exercice sera posé en “mini DS”, sansdocuments. Il sera noté immédiatement.


Chapitre 1

Introduction

Un processus aléatoire (ou processus stochastique) peut êtrevu comme un processus qui est le résultat d’un événementaléatoire. Il peut également être vu comme étant une collec-tion de variables aléatoires.

1.1 De la variable aléatoire vers le processus aléa-toire

– Signal déterministe : x(t) = A cos(ωt)– Signal stochastique (aléatoire) : n(t) = . . .?

– Bruit– Bour$e (et produit$ dérivé$ . . . )– Systèmes de communication

– Information ←→ Incertitude– Physique classique : Nature déterministe

– Systèmes complexes : impossible de tout calculer (xi, xi)– Description statistique (p.ex., théorie des gaz)

– Physique quantique : Nature indéterministe– Impossible de mesurer (x, x).– Approche probabiliste du monde

– « Si l’on sait exactement ce que l’on va faire, à quoi bon le faire ? » (PabloPicasso)

1.1.1 Bibliographie– Probabilités, Processus de Bernoulli, Poisson, Markov :

– D. Bertsekas, J. Tsitsiklis, “Introduction to Probability”,Athena Scientific, Belmont, 2002

– Signaux aléatoires, bruit, filtrage :– S. Haykin, “Communication Systems”, 3rd edition,John Wiley & Sons, New York, 1994, Ch. 4

7



– S. Haykin “Adaptive Filtering”

– R. Gray “Statistical Signal Processing”

– J. Proakis, M. Salehi, “Communication Systems Engineering”,Prentice Hall, 2001, Ch. 3.


Chapitre 2

Processus Stochastiques

2.1 Définition

– Associer une fonction à chaque issued’une expérience aléatoire

École Polytechnique de l’UNSPolytech’Nice-Sophia


Processus Stochastiques 6

Définition

! Associer une fonction à chaque issued’une expérience aléatoire

!

!1!2

!n

x1(t)

x2(t)

xn(t)

t

t

ttm

X(!, t)

xi(t) = X(!i, t)

une réalisation de X(!, t)

X(!, t) " X(t) : P.S.

X(!, tm) " X(tm) : V.A.

7


2.2 Grandeurs statistiques

– Observer X(t) aux instants t1, t2, . . . , tk– Obtenir k V.A. : X(t1), X(t2), . . . , X(tk)– Densité de probabilité conjointe : pX(t1)X(t2)...X(tk)(x1, x2, . . . , xk)

9



– Espérance (statistique du premier ordre) :

mX(t1) , E {X(t1)} =

∫ +∞

−∞x pX(t1)(x) dx

– Autocorrélation (statistique du second ordre) :RX(t1, t2) , RX(t1)X(t2) = E {X(t1)X(t2)}

=

∫∫ +∞

−∞x1x2 pX(t1)X(t2)(x1, x2) dx1 dx2

– Autocovariance (statistique du second ordre) :CX(t1, t2) , cov[X(t1), X(t2)]

= E {{X(t1)− E {X(t1)}}{X(t2)− E {X(t2)}}}= RX(t1, t2)−mX(t1)mX(t2)

=

∫∫ +∞

−∞[x1 −mX(t1)][x2 −mX(t2)] pX(t1)X(t2)(x1, x2) dx1 dx2

2.3 Stationnarité

– « Est-ce que les propriétés statistiques changent avec le temps ? »– Observer X(t) aux instants t1, t2, . . . , tk

– Obtenir k V.A. : X(t1), X(t2), . . . , X(tk)– Observer X(t) aux instants t1 + ∆T, t2 + ∆T, . . . , tk + ∆T

– Obtenir k V.A. : X(t1 + ∆T ), X(t2 + ∆T ), . . . , X(tk + ∆T )– X(t) stationnaire au sens strict (sss) :pX(t1)X(t2)...X(tk)(x1, x2, . . . , xk) = pX(t1+∆T )X(t2+∆T )...X(tk+∆T )(x1, x2, . . . , xk)∀k , ∀∆T , ∀(t1, t2, . . . , tk)

– X(t) stationnaire au sens large (ssl) :k = 1 (sss : pX(t1)(x) = pX(t1+∆T )(x) , pX(x) , ∀∆T, t1)

ssl : mX(t1) = mX

k = 2 (sss : pX(t1)X(t2)(x1, x2) = pX(t1+∆T )X(t2+∆T )(x1, x2) , ∀∆T, t1, t2)ssl : RX(t1, t2) = RX(τ) , τ = t2 − t1




2.3.1 Stationnarité (au sens large)



Stationnarité (au sens large)

t1 t2 t1 + !T

t2 + !T

! !x1(t)

x2(t)

xn(t)

t

t

t

mX(t) = mX

RX(t1, t2) = RX(!)

10

Propriétés de RX(!)

! X(t) : stationnaire (au sens large)

1. RX(!) = E[X(t + !)X(t)]2. RX(!!) = E[X(t ! !)X(t)] = RX(!) : fonction paire3. RX(0) = E[X(t)X(t)] = E

!X2(t)

"= "2

X(t) + mX(t)2

4. |RX(!)| " RX(0)

RX(!)

!

fluctuations lentesfluctuations rapides

Temps de décorrélation :!0 : RX(!0) = #RX(0) , p.ex. : # = 0.01

11


2.3.2 Propriétés de RX(τ)

– X(t) : stationnaire (au sens large)

1. RX(τ) = E {X(t+ τ)X(t)}

2. RX(−τ) = E {X(t− τ)X(t)} = RX(τ) : fonction paire

3. RX(0) = E {X(t)X(t)} = E{X2(t)

}= σ2

X(t) +mX(t)2

4. |RX(τ)| ≤ RX(0)



Stationnarité (au sens large)

t1 t2 t1 + !T

t2 + !T

! !x1(t)

x2(t)

xn(t)

t

t

t

mX(t) = mX

RX(t1, t2) = RX(!)

10

Propriétés de RX(!)

! X(t) : stationnaire (au sens large)

1. RX(!) = E[X(t + !)X(t)]2. RX(!!) = E[X(t ! !)X(t)] = RX(!) : fonction paire3. RX(0) = E[X(t)X(t)] = E

!X2(t)

"= "2

X(t) + mX(t)2

4. |RX(!)| " RX(0)

RX(!)

!

fluctuations lentesfluctuations rapides

Temps de décorrélation :!0 : RX(!0) = #RX(0) , p.ex. : # = 0.01

11


Temps de décorrélation :

τ0 : RX(τ0) = αRX(0) , p.ex. : α = 0.01




Signal sinusoïdal ; fréquence aléatoire




!10 !5 0 5 10

!1.0

!0.5

0.0

0.5

1.0

! X(t) = a cos(2!Ft) ; F v.a. uniforme sur [0,W ] (W = 1)! mX(t) = a sinc(2Wt)

! RX(t1; " = t2 ! t1) = a2

2 {sinc[2W (2t1 + ")] ! sinc[2W (")]}! Signal non stationnaire

12

Signal sinusoïdal ; amplitude aléatoire

!10 !5 0 5 10

!1.0

!0.5

0.0

0.5

1.0

! X(t) = A cos(2!ft) ; A v.a. uniforme sur [0, 1] (f = 1)! mX(t) = 1

2 cos(2!ft)! RX(t1; " = t2 ! t1) = 1

6{cos[2!f(2t1 + ")] + cos(2!f")}! mX(t + T ) = mX(t) et RX(t + T ; ") = RX(t; ")! Signal cyclo-stationnaire (au sens large)

13


– X(t) = a cos(2πFt) ; F v.a. uniforme sur [0,W ] (W = 1)– mX(t) = a sinc(2Wt)

– RX(t1; τ = t2 − t1) = a2

2 {sinc[2W (2t1 + τ)]− sinc[2W (τ)]}– Signal non stationnaire





!10 !5 0 5 10

!1.0

!0.5

0.0

0.5

1.0

! X(t) = a cos(2!Ft) ; F v.a. uniforme sur [0,W ] (W = 1)! mX(t) = a sinc(2Wt)

! RX(t1; " = t2 ! t1) = a2

2 {sinc[2W (2t1 + ")] ! sinc[2W (")]}! Signal non stationnaire

12


!10 !5 0 5 10

!1.0

!0.5

0.0

0.5

1.0

! X(t) = A cos(2!ft) ; A v.a. uniforme sur [0, 1] (f = 1)! mX(t) = 1

2 cos(2!ft)! RX(t1; " = t2 ! t1) = 1

6{cos[2!f(2t1 + ")] + cos(2!f")}! mX(t + T ) = mX(t) et RX(t + T ; ") = RX(t; ")! Signal cyclo-stationnaire (au sens large)

13


– X(t) = A cos(2πft) ; A v.a. uniforme sur [0, 1] (f = 1)– mX(t) = 1

2 cos(2πft)– RX(t1; τ = t2 − t1) = 1

6{cos[2πf(2t1 + τ)] + cos(2πfτ)}– mX(t+ T ) = mX(t) et RX(t+ T ; τ) = RX(t; τ)– Signal cyclo-stationnaire (au sens large)




Signal sinusoïdal ; phase aléatoire



Signal sinusoïdal ; phase aléatoire

!1.0 !0.5 0.0 0.5 1.0

!1.0

!0.5

0.0

0.5

1.0

! X(t) = a cos(2!ft + !) ; ! v.a. uniforme sur [0, 2!] (a = 1, f = 1)! mX(t) = 0

! RX(t1; " = t2 ! t1) = a2

2 cos(2!f")! Signal stationnaire (au sens large)

14

Cyclo-stationnarité

! « Est-ce que les propriétés statistiques changent périodiquement avec le temps ? »! Observer X(t) aux instants t1, t2, . . . , tk

" Obtenir k V.A. : X(t1),X(t2), . . . ,X(tk)

! Observer X(t) aux instants t1 + T0, t2 + T0, . . . , tk + T0

" Obtenir k V.A. : X(t1 + T0),X(t2 + T0), . . . ,X(tk + T0)

! X(t) cyclo-stationnaire au sens strict (css) "T0 :pX(t1)X(t2)...X(tk)(x1, x2, . . . , xk) = pX(t1+T0)X(t2+T0)...X(tk+T0)(x1, x2, . . . , xk)#k , #(t1, t2, . . . , tk)

! X(t) cyclo-stationnaire au sens large (csl) "T0 :

k = 1 (css : pX(t1)(x) = pX(t1+T0)(x) , #t1)csl : mX(t1 + T0) = mX(t1)

k = 2 (css : pX(t1)X(t2)(x1, x2) = pX(t1+T0)X(t2+T0)(x1, x2) , #t1, t2)csl : RX(t1 + T0; " ) = RX(t1; ")

15


– X(t) = a cos(2πft+ Θ) ; Θ v.a. uniforme sur [0, 2π] (a = 1, f = 1)– mX(t) = 0

– RX(t1; τ = t2 − t1) = a2

2 cos(2πfτ)– Signal stationnaire (au sens large)

2.3.3 Cyclo-stationnarité

– « Est-ce que les propriétés statistiques changent périodiquement avec letemps ? »

– Observer X(t) aux instants t1, t2, . . . , tk– Obtenir k V.A. : X(t1), X(t2), . . . , X(tk)

– Observer X(t) aux instants t1 + T0, t2 + T0, . . . , tk + T0

– Obtenir k V.A. : X(t1 + T0), X(t2 + T0), . . . , X(tk + T0)– X(t) cyclo-stationnaire au sens strict (css) ∃T0 :pX(t1)X(t2)...X(tk)(x1, x2, . . . , xk) = pX(t1+T0)X(t2+T0)...X(tk+T0)(x1, x2, . . . , xk)∀k , ∀(t1, t2, . . . , tk)

– X(t) cyclo-stationnaire au sens large (csl) ∃T0 :k = 1 (css : pX(t1)(x) = pX(t1+T0)(x) , ∀t1)

csl : mX(t1 + T0) = mX(t1)k = 2 (css : pX(t1)X(t2)(x1, x2) = pX(t1+T0)X(t2+T0)(x1, x2) , ∀t1, t2)

csl : RX(t1 + T0; τ) = RX(t1; τ)

2.3.4 Mesurer l’espérance (un peu de Statistique)

– Figer X(t) à l’instant t0 ; obtenir v.a. X(t0)– Comment mesurer E {X(t0)} ?

– Observer n réalisations à t0 : échantillon de taille n– La population génère de v.a. Xi(t0) :indépendantes, même distribution, µX(t0), σX(t0)

– Moyenne de l’échantillon : X(t0) = 1n

n∑

i=1

Xi(t0)

– E{X(t0)

}= µX(t0)




– σ2X(t0)

= 1nσ

2X(t0)

– X(t0) : estimateur convergent de E {X(t0)}– Moyenne d’ensemble (n→∞) = Espérance

2.4 Ergodicité– « Est-ce que les moyennes statistiques sont égales aux moyennes tempo-

relles ? »– Équiv. : « Est-ce qu’une seule réalisation x(t) caractérise complètement leprocessus stochastique X(t) ? »

– Ergodicité au sens strict :– Condition nécessaire : X(t) stationnaire au sens strict

<. . .>, limT→∞ 1T

∫ +T/2

−T/2. . . dt

ess= E {. . .}

– Ergodicité au sens large :– Condition nécessaire : X(t) stationnaire au sens large

1. <x(t)>= limT→∞ 1T

∫ +T/2

−T/2x(t) dt

esl= E {X(t)} = mX

2. ΓX(τ) =<x(t+ τ)x(t)>= limT→∞ 1T

∫ +T/2

−T/2x(t+ τ)x(t) dt

esl= E {X(t+ τ)X(t)} = RX(τ)

– X(t) : p.s. stationnaire au sens large

– Définir : µx(T ) = 1T

∫ +T/2

−T/2x(t) dt , γx(T ; τ) =

1

T

∫ +T/2

−T/2x(t+ τ)x(t) dt

– variables aléatoires (dépendent de T et de la réalisation choisie)

– E {µx(T )} = 1T E

{∫ +T/2

−T/2x(t) dt

}= 1

T

∫ +∞

−∞

∫ +T/2

−T/2x(t)pX(t)(x) dtdx

= 1T

∫ +T/2

−T/2E {X(t)} dt =

1

T

∫ +T/2

−T/2mX dt = mX

– E {γx(T ; τ)} = . . . = RX(τ)– Ergodicité au sens large :

<x(t)>= limT→∞ 1T

∫ +T/2

−T/2x(t) dt = lim

T→∞µx(T )

esl= mX

ΓX(τ) = limT→∞ 1T

∫ +T/2

−T/2x(t+ τ)x(t) dt = lim

T→∞γx(T ; τ)

esl= RX(τ)

– Égalité au sens :limT→∞ E {µx(T )} = mX et limT→∞ var[µx(T )] = 0

2.4.1 Interpétation de l’espérance et de la variance– Signal x(t) ergodique au sens large




– E {X(t)} ssl= mX

esl=<x(t)>= composante continue (DC)

– E {X(t)}2 = Pdc

– E{X(t)2

}= RX(0)

esl= Γx(0) =<x(t)2>= Ptot (DC+AC)

– σ2X(t) = var[X(t)] = E

{(X(t)− E {X(t)})2

}= E

{X(t)2

}− E {X(t)}2

esl=<x(t)2> − <x(t)> 2 =<(x(t)− <x(t)>)2>= Pac (AC)

– σX(t) =√Pac : valeur efficace (rms)

E{X(t)2

}= E {X(t)}2 + σ2

X(t) −→ Ptot = Pdc + Pac

2.5 Densité spectrale de puissance

2.5.1 Densité spectrale de puissance (ssl)– X(t) stationnaire au sens large– Définir :

SX(f) = F [RX(τ)] =

∫ +∞

−∞RX(τ) e− j 2πfτ dτ

–

RX(τ) = F−1 [SX(f)] =

∫ +∞

−∞SX(f)e+ j 2πfτ df

– Puissance de X(t) :

E{X(t)2

}= RX(t, t) = RX(0) =

∫ +∞

−∞SX(f) df

– SX(f) : densité spectrale de puissance (en Watt/Hz)

2.5.2 Densité spectrale de puissance (csl)– X(t) cyclo-stationnaire au sens large– mX(t+ T0) = mX(t)– RX(t+ T0; τ) = RX(t; τ) : périodique en t , série de Fourier :

–

RX(t; τ) =

+∞∑

n=−∞RnX(τ)︸︷︷︸cn

e+ j 2π(n/T0)t

–

cn = RnX(τ) =1

T0

∫ +T0/2

−T0/2

RX(t; τ) e− j 2π(n/T0)t dt

– «Composante continue » c0 = R0X(τ) = 1

T0

∫ +T0/2

−T0/2

RX(t; τ) dt , RX(τ)

– SX(f) = F[RX(τ)

]: d.s.p. moyenne sur une période




– Utiliser SX(f) à la place de SX(f, t) = F [RX(t; τ)]– Si T v.a.c. uniforme [0, T0] : X(t+ T ) stationnaire au sens large !– Attention : csl → ssl seulement si on ajoute une phase aléatoire

(absence de synchronisation ; voir An Introduction to Cyclostationary Noise)

2.5.3 Densité spectrale de puissance : propriétés– SX(f) ≥ 0 , ∀f– SX(0) =

∫ +∞

−∞RX(τ) dτ

– SX(−f) = SX(f) , si X(t) réel– On note X (f, T ) la T.F. d’une réalisation tronquée :

X (f, T ) =

∫ T/2

−T/2x(t) exp(− j 2πft) dt

Signal tronqué : |X (f, T )|2 densité spectrale d’énergie1T |X (f, T )|2 : périodogramme (dimensions de d.s.p.) −→ estimation spec-traleX (f, T ) : v.a. (dépend de la réalisation choisie)Si X(t) ergodique au sens large,

SX(f) = limT→∞

1

TE{|X (f, T )|2

}

= limT→∞

1

TE

∣∣∣∣∣

∫ T/2

−T/2x(t) exp(− j 2πft) dt

∣∣∣∣∣

2

– En pratique : E {. . .} = moyennage

2.5.4 Deux processus stochastiques– X(t), Y (t) stationnaires conjointement, au sens large :

1. X(t) et Y (t) stationnaires au sens large2. RXY (t, t+ τ) = E {X(t)Y (t+ τ)} = RXY (τ)

– Propriétés :– RXY (τ) = RY X(−τ)

– Densité spectrale croisée de puissance (« spectre croisé »)

SXY (f) = F [RXY (τ)] =

∫ +∞

−∞RXY (τ) e− j 2πfτ dτ

–

RXY (τ) = F−1 [SXY (f)] =

∫ +∞

−∞SXY (f)e+ j 2πfτ df

– SXY (f) = SY X(−f) = S∗Y X(f)


http://www.designers-guide.org/Theory/cyclo-paper.pdf



2.6 Filtrage d’un processus stochastique– Filtre linéaire, invariable dans le temps– Réponse impulsionnelle h(t), fonction de transfert H(f)– Entrée x(t), sortie y(t) (réalisations)

– y(t) =

∫ +∞

−∞h(λ)x(t− λ) dλ

– X(t) stationnaire au sens large

– mY (t) = E {Y (t)} = E{∫ +∞

−∞h(λ)X(t− λ) dλ

}=

∫ +∞

−∞h(λ)E {X(t− λ)} dλ

= mX

∫ +∞

−∞h(λ) dλ = H(0)mX = mY

– RY (t, t+ τ) = . . . = RY (τ)– ⇒ Y (t) stationnaire au sens large–

SY (f) = |H(f)|2SX(f)

–SY X(f) = H(f)SX(f)

2.7 Processus gaussien : définition– Observer X(t) aux instants t1, t2, . . . , tk– Obtenir k v.a. : X(t1), X(t2), . . . , X(tk)– X(t) p.s. gaussien si les v.a. X(t1), X(t2), . . . , X(tk) sont conjointementgaussiennes, ∀k

– Densité de probabilité conjointe :pX(t1)X(t2)...X(tk)(x1, x2, . . . , xk)

= 1(2π)k/2det(C)1/2

exp{− 1

2

[(x−mX)TC−1(x−mX)

]}

– x = (x1 x2 . . . xk)T

– mX = (mX(t1) mX(t2) . . . mX(tk))T = (mX(t1) mX(t2) . . . mX(tk))T

– C|i,j = cov[X(ti), X(tj)] = E{

(X(ti)−mX(ti))(X(tj)−mX(tj))}

= E {X(ti)X(tj)} −mX(ti)mX(tj)

= RX(ti, tj)−mX(ti)mX(tj)

2.7.1 Processus gaussien : propriétés

– X(t) est caractérisé uniquement par mX(t) et RX(t, t + τ)– Stationnarité au sens large −→ stationnarité au sens strict

– X(ti), X(tj) : Non-corrélation −→ indépendance(Rappel : X, Y non corrélées si cov[X,Y ] = E {XY }−E {X}E {Y } = 0 ;si E {X} = 0 ou E {Y } = 0, décorrélation : E {XY } = RXY = 0)

– Filtrage linéaire de X(t) −→ nouveau processus gaussien




2.7.2 Signal binaire aléatoire



Signal binaire aléatoire

+A

!A

t

x(t)

td Tb

! X(t) =!+!

k="! Akp(t ! kTb ! Td)! Ak : p.s. discret à temps discret, pAk

(ak = +A) = pAk(ak = !A) = 0.5

! E[Ak] = 0! v.a. Am, An indépendantes!" RA(m,n) = E[AmAn] = A2!(m ! n)! p(t) = 1 , 0 # t # Tb

! Tb : constante! Td : v.a.c., uniforme [0, Tb]

27


– X(t) =

+∞∑

k=−∞Akp(t− kTb − Td)

– Ak : p.s. discret à temps discret, pAk(ak = +A) = pAk(ak = −A) = 0.5– E {Ak} = 0– v.a. Am, An indépendantes −→ RA(m,n) = E {AmAn} = A2δ(m− n)– p(t) = 1 , 0 ≤ t ≤ Tb– Tb : constante– Td : v.a.c., uniforme [0, Tb]

– RX(τ) =

{A2(

1− |τ |Tb)

, |τ | < Tb

0 , ailleurs– SX(f) = A2Tbsinc2(Tbf)–

SX(f) =|P (f)|2Tb

où P (f) = F [p(t)]

2.8 Exercices

Exercice 2.1 Fréquence aléatoire

On définit le processus stochastique X(t) = a cos(2πFt) où F est une va-riable aléatoire, uniformément répartie sur [0,W ], et a une constante réelle.

1. Tracer plusieurs réalisations x(t).2. Calculer la moyenne statistique mX(t).3. Calculer la fonction d’autocorrélation statistique RX(t1, t2).4. Examiner la stationnarité de X(t).

Exercice 2.2 Amplitude aléatoire

On définit le processus stochastique X(t) = A cos(2πft) où A est une va-riable aléatoire, uniformément répartie sur [0, 1], et f une constante réelle.

1-4. Mêmes questions que pour l’exercice 1.5. Déterminer la densité de probabilité du premier ordre pX(x; t) ,

pX(t)(x).




Exercice 2.3 Phase aléatoire

On définit le processus stochastique X(t) = a cos(2πft+Θ) où Θ est une va-riable aléatoire, uniformément répartie sur [0, 2π[, et a, f sont des constantesréelles.Mêmes questions que pour l’exercic 2.

Exercice 2.4 Exponentielles aléatoires

On définit le processus stochastique X(t) = eAt, constitué d’une familled’exponentielles dépendant de la variable aléatoire A, de densité de proba-bilité pA(a) uniforme sur [0, 1].Mêmes questions que pour l’exercice 2.

Exercice 2.5 Deux gaussiennes

On définit le processus stochastique X(t) = A+Bt, formé à partir de deuxv.a. A et B gaussiennes, centrées et indépendantes.Mêmes questions que pour l’exercice 2.

Exercice 2.6 Estimation

Soit A(t) un processus stochastique stationnaire au second ordre et cen-tré. On se propose de prédire, à partir d’une observation jusqu’au tempst0, la valeur du processus stochastique à un instant ultérieur t0 + T . Onappelle A(t0 + T ) cet estimateur et on définit l’erreur de prédiction :ε = E

[[A(t0 + T )− A(t0 + T )]2

].

1. Pour A(t0 + T ) = λA(t0), trouver la valeur λ0 qui minimise l’erreurde prédiction.

2. Calculer alors cette erreur.3. On appelle ρ le coefficient de corrélation entre les v.a. A(t0) et A(t0 +

T ). Exprimer ε en fonction de la variance et de ρ.4. Dans quel cas l’erreur est-elle la plus grande ?

Exercice 2.7 Temps discret

On considère un processus stochastique à temps discret X(k). Pour k fixé,X(k) est une variable aléatoire de moyenne m et de variance σ2. Pourk1 différent de k2 les v.a. X(k1) et X(k2) sont indépendantes (et doncdécorrélées).Calculer la fonction d’autocorrélation de X(k) et sa DSP.

Exercice 2.8 Séquence binaire aléatoire




On considère le processus stochastique X(t) dont une réalisation est présen-tée à la Figure 1. Il s’agit d’une séquence aléatoire de symboles binaires :– Le “1” et le “0” sont représentés par une impulsion d’amplitude +A et−A, respectivement, de durée T0 (une constante).

– Les impulsions ne sont pas synchronisées : le délai Td du début de lapremière impulsion après l’instant t = 0 est une variable aléatoire, uni-formément répartie entre 0 et T0.

– Les symboles “0” et “1” sont équiprobables et indépendants.Calculer :

1. La fonction de probabilité pX(t)(x).2. La moyenne statistique E {X(t)}.3. La fonction d’autocorrélation de X(t).4. La densité spectrale de puissance SX(f) de X(t).5. La densité spectrale d’énergie d’une impulsion d’amplitude A et de

durée égale à T0.

t

x

a

b

1 2

Fig. 1

Exercice 2.9 Délai aléatoire




On considère le processus stochastique X(t) dont une réalisation est présen-tée à la Figure 2. Il s’agit d’un signal numérique périodique non synchro-nisé : le délai td de la première période après l’instant t = 0 est une variablealéatoire, uniformément répartie entre 0 et T0.Calculer :

1. La fonction de probabilité pX(t)(x).2. La moyenne et l’autocorrélation statistiques.3. La moyenne et l’autocorrélation temporelles.4. La densité spectrale de puissance de X(t).

Conclusion sur la stationnarité et l’ergodicité du processus X(t).

t

x

a

1 2

Fig. 2


Chapitre 3

Bruit

3.1 Définition

– Signal indésirable– Contrôle incomplet– Externe ou interne au système– Additif ou multiplicatif

Y (t) = s(t)+N(t)



Signal binaire aléatoire

+A

!A

t

x(t)

td Tb

! RX(!) =

!A2

"1 ! |! |

Tb

#, |! | < Tb

0 , ailleurs! SX(f) = A2Tbsinc2(Tbf)!

SX(f) =|P (f)|2

Tboù P (f) = F [p(t)]

28

Bruit 29

Définition

! Signal indésirable! Contrôle incomplet! Externe ou interne au système! Additif ou multiplicatif

Y (t) = s(t)+N(t)

30


3.1.1 Bruit thermique : definition

– Inhérent à tout composant électronique– Dû au mouvement aléatoire des électrons libres dans les conducteurs– Tension aux bornes d’une résistance R :

– Moyenne nulle– Variance σ2

V = 2(πKT )2R/3h (V 2)– K : constante de Boltzmann, 1.37 · 10−23 J/K– h : constante de Planck, 6.62 · 10−34 J · s– T : température, K– dsp SV (f) = 2Rh|f |/ [exp(h|f |/KT )− 1] (V2/Hz)

– Approximation pour |f | << KT/h : SV (f) ≈ 2RKT(

1− h|f |2KT

)(V2/Hz)

23



– Température standard : T = 290K, KT/h = 10 THz

3.1.2 Bruit thermique : dsp disponible– Modèle équivalent (Thévenin) d’une résistance R :

– Rth = R, considérée sans bruit– « Source de tension » : dsp SV (f) ≈ 2RKT (V2/Hz)– Densité spectrale de puissance disponible (charge adaptée) :

Sa(f) =SV (f)

4R=KT

2(W/Hz)

– dsp disponible : ne dépend pas de R !

3.1.3 Bruit blanc– Processus stochastique avec dsp constante :

SX(f) =η

2

– η : dsp des fréquences positives– Température équivalente : Te = η/K– Fonction d’autocorrélation :

RX(τ) =

∫ +∞

−∞

η

2e j 2πfτ df =

η

2δ(τ)



Bruit blanc

! Processus stochastique avec dsp constante :

SX(f) =!

2

! ! : dsp des fréquences positives! Température équivalente : Te = !/K! Fonction d’autocorrélation :

RX(") =

! +!

"!

!

2e j 2!f" df =

!

2#(")

f

#2

#2

SX(f) RX(")

"

! Bruit blanc gaussien centré : rien de plus aléatoire !

33

Commentaires

1. le bruit blanc est irréalisable (puissance moyenne infinie !)si on l’observe à l’oscillo, il est toujours di!érent (RX = 0) mais pour chaque base de temps il a lamême allure (contient toutes les frequences)

2. Blanc se réfère à la dspGaussien à la densité de probabilité

3. Si un bruit blanc est gaussien à moyenne nulle, alors les v.a. qu’on obtient à " != 0 sont décorrélées,c.a.d. indépendantes. Le bruit blanc gaussien centre est la « chose » la plus aléatoire qui existe. . .

note 1 of slide 33


– Bruit blanc gaussien centré : rien de plus aléatoire !

1. le bruit blanc est irréalisable (puissance moyenne infinie !)si on l’observe à l’oscillo, il est toujours différent (RX = 0) mais pourchaque base de temps il a la même allure (contient toutes les frequences)

2. Blanc se réfère à la dspGaussien à la densité de probabilité

3. Si un bruit blanc est gaussien à moyenne nulle, alors les v.a. qu’on obtientà τ 6= 0 sont décorrélées, c.a.d. indépendantes. Le bruit blanc gaussiencentre est la « chose » la plus aléatoire qui existe. . .

3.1.4 Bruit coloré– Bruit blanc filtré (fonction de transfert H(f))– SY (f) = |H(f)|2SX(f) = |H(f)|2η/2




– RY (τ) = η2F−1|H(f)|2

– Bande passante équivalente bruit, BN :

E{Y 2}

= RY (0) = η2

∫ +∞

−∞|H(f)|2 df = η

∫ +∞

0

|H(f)|2 df

, ηBN |H(f)|2max– Exemple : bruit blanc à l’entrée d’un filtre passe-bas idéal

– H(f) = 1 , −B ≤ f ≤ +B– SY (f) = η/2 , −B ≤ f ≤ +B– RY (τ) = η

2 2Bsinc(2Bτ)

– E{Y 2}

=

∫ +∞

−∞SY (f) df = ηB

– |H(f)|max = 1

– BN =E{Y 2}

η|H(f)|2max= B


Chapitre 4

Signaux passe-bande(rappels)

4.1 definition

– y(t)� Y (f) : signal réel, déterministe (passe-bande)– Y (f) 6= 0 , |f | ∈ [fc −B, fc +B] (autour de ±fc)

– y+(t)� Y+(f) : signal analytique (passe-bande, f > 0)

Y+(f) =

0 f < 0

Y (f) f = 0

2Y (f) f > 0

→ Y+(f) 6= 0 , f ∈ [fc −B, fc +B]

– y(t) = Re{y+(t)}– y(t)� Y (f) : enveloppe complexe (bande de base)

Y (f) = Y+(f + fc) 6= 0 , f ∈ [−B,+B]– y(t) = Re{y+(t)} = Re{y(t) exp( j 2πfct)}– y(t) = yI(t) + j yQ(t) → y(t) = yI(t) cos(2πfct)− yQ(t) sin(2πfct)– y(t) = a(t) exp( jφ(t)) → y(t) = a(t) cos(2πfct+ φ(t))– yI(t), yQ(t), a(t), φ(t) : signaux réels, en bande de base [−B,+B]

4.1.1 Bruit coloré passe-bande

– Bruit blanc à l’entrée d’un filtre sélectif– Obtenir une expression N(t) = . . . pour le p.s. à la sortie– SN (f) = η

2 |H(f)|2 6= 0 , |f | ∈ [fc −B, fc +B] (autour de ±fc)– Représentation canonique :N(t) = Re{N(t) exp( j 2πfct)} = NI(t) cos(2πfct)−NQ(t) sin(2πfct)

– Propriétés :– NI(t), NQ(t) conjointement stationnaires au sens large– NI(t), NQ(t) de moyenne nulle et de même variance que N(t)

27



– SNI (f) = SNQ(f) =

{SN (f − fc) + SN (f + fc) −B ≤ f ≤ B0 ailleurs

– Si N(t) gaussien : NI(t), NQ(t) conjointement gaussiens– Si N(t) gaussien centré et SN (f) symétrique autour de ±fc :NI(t), NQ(t) indépendants

– Bruit blanc gaussien centré à l’entrée d’un filtre sélectif– Représentation canonique :N(t) = NI(t) cos(2πfct)−NQ(t) sin(2πfct)

– Transformation en amplitude / phase (Statistiques Appliquees, TD 4.3)NI(t), NQ(t) indépendants :N(t) = R(t) cos[2πfct+ Φ(t)]

– R(t) =√N2I (t) +N2

Q(t)

– Φ(t) = arctan[NQ(t)/NI(t)]– NI(t) = R(t) cos(Φ(t)) , NQ(t) = R(t) sin(Φ(t))– Φ(t) : uniformément répartie entre [0, 2π[– R(t) : distribution de Rayleigh

pR(r) =

{rσ2 exp

(− r2

2σ2

)r ≥ 0

0 r < 0

4.2 Autocorrélation de p.s. complexes

– X(t) : p.s. passe-bande, X(t) enveloppe complexe– X(t) = Re{X(t) exp( j 2πfc)} = 1

2

[X(t) exp( j 2πfct) + X∗(t) exp(− j 2πfc)

]

– RX(t1, t2) = E {X(t1)X(t2)}= 1

4E{X(t1)X(t2)

}exp( j 2πfc(t1 + t2))

+ 14E{X∗(t1)X∗(t2)

}exp(− j 2πfc(t1 + t2))

+ 14E{X(t1)X∗(t2)

}exp( j 2πfc(t1 − t2))

+ 14E{X∗(t1)X(t2)

}exp(− j 2πfc(t1 − t2))

– RX(t1, t2) = 12Re

{E{X(t1)X(t2)

}exp( j 2πfc(t1 + t2))

}

+ 12Re

{E{X(t1)X∗(t2)


}

– E{X(t1)X(t2)

}= 0 (sans démonstration)

– RX(t1, t2) = 12Re

{E{X(t1)X∗(t2)


}

–RX(t1, t2) , E

{X(t1)X∗(t2)

}

–RX(t1, t2) =

1

2Re {RX(t1, t2) exp( j 2πfc(t1 − t2))}

– Si X(t) ssl, RX(t1, t2) = RX(τ)




– RX(−τ) = R∗Xτ

– SX(f) = F [RX(τ)] : dsp réelle, pas toujours symétrique

4.3 Bruit utile

4.3.1 Analyseur dynamique

– Injecter un signal aléatoire X(t) à l’entrée ; mesurer la sortie Y (t)– Filtre linéaire, fonction de transfert :

H(f) =SY X(f)

SX(f)

– Estimer les dsp à partir de TF (FFT) de réalisations tronquées (tr. #2.5.3) :

H(f) =E {Y(f, T )X ∗(f, T )}

E {|X (f, T )|2}

– En pratique : E {. . .}=moyennage (AVG: STABLE (MEAN) / TIM AV OFF)– Bruit blanc : contient toutes les fréquences– Technique rapide ; uniquement pour les systèmes linéaires !– Technique lente : balayage fréquentiel (tous les systèmes)– Cohérence : γ2(f) = SXY (f)S∗XY (f)/SX(f)SY (f) = 1

sinon problème : résolution fréquentielle, non-linéarités, bruit externe

Exercice 4.1 Filtrage / échantillonnage




Deux bruits blancs gaussiens, centrés, décorrélés, stationnaires au sens large,de densité spectrale de puissance η1/2 et η2/2 respectivement, se super-posent à l’entrée d’un filtre RC passe-bas.




TD 3Bruit et filtrage

3.1 Filtrage / échantillonnageDeux bruits blancs gaussiens, centrés, décorrélés, stationnaires au sens large,

de densité spectrale de puissance !1/2 et !2/2 respectivement, se superposent àl’entrée d’un filtre RC passe-bas.

X1(t)

X2(t)

X(t)H(f) Y (t)

La sortie Y (t) est échantillonnée. Quelle est la condition qu’il faut imposersur la fréquence d’échantillonnage si on veut que les échantillons successifs deY (t) soient indépendants ?

Remarque 1 On considère que l’autoccorélation statistique de Y (t) est nullesi elle est inférieure à 1% de la valeur maximale.

Remarque 2 On peut utiliser la relation (paire de Fourier) : e!a|t| ! 2aa2+(2!f)2 .

3.2 « Démodulation »

X(t)Y (t)

2 exp (" j 2"fct)

U(t)V (t)H1(f) H2(f)

Les fonctions de transfert des deux filtres sont données par (B << fc) :

H1(f) =

!1 , |f ± fc| # B

0 , ailleursH2(f) =

!1 , |f | # B

0 , ailleurs

Le processus stochastique X(t), à l’entrée du premier filtre, est stationnaireau sens large, réel, à temps continu.

a. Calculer la moyenne statistique de Y (t).


La sortie Y (t) est échantillonnée. Quelle est la condition qu’il faut imposersur la fréquence d’échantillonnage si on veut que les échantillons successifsde Y (t) soient indépendants ?

Remarque 4.1 On considère que l’autoccorélation statistique de Y (t) estnulle si elle est inférieure à 1% de la valeur maximale.

Remarque 4.2 On peut utiliser la relation (paire de Fourier) : e−a|t| ↔2a

a2+(2πf)2.

Échantillons indépendants si décorrélés (parce que Y (t) proces-sus gaussien) ; échantillons décorrélés si autocorélation statistiquenulle (parce que Y (t) processus centré).Te ≥ − ln(0.01)RC ≈ 4.61RC, fe ≤ 0.22/RC.

Exercice 4.2 Signal bruité

On considère la superposition d’un signal harmonique s(t) = a cos(2πfct)et d’un bruit gaussien, centré, de variance σ2, à bande étroite autour de fc.Une représentation du signal bruité est donnée par l’expression :

x(t) = a cos(2πfct) + n(t)

– Utiliser la représentation canonique pour donner les deux composantes(en phase et en quadrature de phase) de X(t).

– Calculer la moyenne statistique et la variance de chaque composante.– Calculer leur densité de probabilité conjointe.– Exprimer X(t) en module et phase et calculer la densité de probabilité

marginale de R(t).Remarques :

1. Les deux composantes d’un bruit gaussien, centré, à bande étroitesont statistiquement indépendantes si la dsp SN (f) est symétriqueautour de la fréquence fc.

2. Utiliser la définition de la fonction de Bessel modifiée de premièreespèce d’ordre zéro :

I0(x) =1

2π

∫ 2π

0

exp(x cosφ) dφ

Exercice 4.3 Démodulation










X1(t)

X2(t)

X(t)H(f) Y (t)





X(t)Y (t)

2 exp (" j 2"fct)



H1(f) =

!1 , |f ± fc| # B

0 , ailleursH2(f) =

!1 , |f | # B

0 , ailleurs




Les fonctions de transfert des deux filtres sont données par (B << fc ) :

H1(f) =

{1 , |f ± fc| ≤ B0 , ailleurs

H2(f) =

{1 , |f | ≤ B0 , ailleurs


1. Calculer la moyenne statistique de Y (t).2. Calculer la densité spectrale de puissance SY (f) en fonction de SX(f).

On met SY (f) sous la forme :

SY (f) = S+Y (f) + S−Y (f)

avec S+Y (f) = 0 pour f ≤ 0 et S−Y (f) = 0 pour f ≥ 0.

c. Exprimer S−Y (f) en fonction de S+Y (f).

d. Calculer la fonction d’autocorrélation statistique de U(t) en fonctionde celle de Y (t).

e. Donner l’expression de la dsp SV (f) de V (t) en fonction de SU (f),puis de S+

Y (f).On suppose maintenant que X(t) est un bruit blanc centré, de densité spec-trale de puissance SX(f) = η/2.

f. Calculer la fonction d’autocorrélation et la puissance de Y (t).g. Calculer la fonction d’autocorrélation et la puissance de V (t).

Remarque 4.3 L’autocorrélation RX(t, t+ τ) d’un processus stochastiquecomplexe est donnée par RX(t, t+ τ) = E[X(t)∗ X(t+ τ)].

1. E[Y (t)] = 0.

2. SY (f) =

{SX(f) , |f ± fc| ≤ B0 , sinon

.

c. S+Y (−f) = S−Y (f).

d. RU (τ) = 4e− j 2πfcτRY (τ).

e. SV (f) =

{SU (f) ,−B ≤ f ≤ B0 , sinon

= 4S+Y (f + fc).

f. RY (τ) = η2sinc(2Bτ) cos(2πfcτ) ; P = RY (0) = η2B.

g. RV (τ) = 4 η22Bsinc(2Bτ);P = RV (0) = η4B.




Exercice 4.4 Démodulation

On donne le schéma-bloc d’un récepteur composé d’un filtre passe-bande etd’un démodulateur cohérent :







X1(t)

X2(t)

X(t)H(f) Y (t)





X(t)Y (t)

2 exp (" j 2"fct)



H1(f) =

!1 , |f ± fc| # B

0 , ailleursH2(f) =

!1 , |f | # B

0 , ailleurs





H1(f) =

{1 , |f ± fc| ≤ B0 , ailleurs

H2(f) =

{1 , |f | ≤ B0 , ailleurs

Le signal aléatoire à l’entrée du récepteur peut être modélisé par :

X(t) = S(t) +W (t)

où S(t) est le signal modulé en amplitude et W (t) un bruit blanc, gaussien,centré, de dsp égale à η/2.À l’émetteur, on obtient S(t) en multipliant le message M(t) (signal aléa-toire, stationnaire au sens large, dont la dsp se situe en bande de base etoccupe une bande passante égale à B) avec le signal d’un oscillateur local,Ac cos(2πfct).À la sortie du filtre passe-bande, on a Y (t) = S(t) +N(t). Utiliser la repré-sentation canonique du bruit passe-bande sous la forme :

N(t) = NI(t) cos(2πfct)−NQ(t) sin(2πfct).

Calculer les rapports signal sur bruit (SNR) suivants :

1. au niveau du canal : SNRc = puissance de S(t)puissance du bruit dans la b.p. du message ,

2. à l’entrée du démodulateur (SNRe),3. à ls sortie du récepteur (SNRs).




S(t) = AM(t). cos(2πfct+ Θ) ; où Θ est une v.a. uniformé-ment répartie sur [0, 2π], qui tient compte du fait qu’il n’ya pas synchronisation entre M(t) et l’oscillateur local.

E {S(t)}=

indépendance Ac.E {M(t)} .E {cos(2πfct+ Θ)} = 0

RS(t, t+ τ) = E {AcM(t) cos(2πfct+ Θ).AcM(t+ τ) cos(2πfc(t+ τ) + Θ)}= A2

cE {M(t)M(t+ τ)} 12E {cos(2πfcτ) + cos(2πfc(t+ τ) + 2Θ)}

=A2c

2 RM (τ). cos(2πfcτ)

Donc

S(f) = F{RS(τ)} =A2c

2(SM (f − fc) + SM (f + fc))

La puissance vaut donc PS = RS(0) =A2c

2 RM (0) = PMA2c

2 .On obtient alors :

– SNRc = PSPbruit

=A2c2 .PMηB

– SNRe :

SY (f) = |H1(f)|2SX(f)

(on a une dsp de niveau η/2 sur les intervalles fc ± B et−fc ±B).

d’où SNRe =A2c2 .PM2.ηB

– On s’intéressera à la partie réelle de U(t)

U(t) = 2.Y (t) cos(2πfct+ Θ)= 2.(AcM(t) cos(2πfct+ Θ) +N(t)). cos(2πfct+ Θ)= 2.(AcM(t) +NI(t)) cos2(2πfct+ Θ)−2.NQ(t) sin(2πfct+ Θ) cos(2πfct+ Θ)

= (AcM(t) +NI(t))(1 + cos(4πfct+ 2.Θ)−.NQ(t) sin(0) + sin(4πfct+ 2.Θ)

On en déduit : E {U(t)} = Ac.E {M(t)}, et

Ru(t, t+τ) = E {U(t)U(t+ τ)}=

indpendances...= A2cRM (τ)+RNI (τ).

De même SU (f) = A2cSM (f) + SNI (f) (contribution du

signal + contribution du bruit) ; avec SNI (f) = SN (f −fc) + SN (f + fc), donc de dsp 2.η2 sur la bande de −B àB. La puissance du bruit vaut donc PNI = 2.ηB.Et donc SNRS =

A2c.PM

2.η.B = SNRc.


Chapitre 5

Processus aléatoires à tempsdiscret.

Cette partie du cours traite, après des rappels servant prin-cipalement à fixer les notations, de la matrice de corrélationet des processus autorégressifs et à moyenne mobile .

5.1 Processus et modèles aléatoires discrets.

5.1.1 Moyenne, autocorrélation et stationarité.Soit un processus stochastique discret représenté par la série temporelle

X(n), X(n− 1), . . . , X(n−M), on définit la moyenne par :

µX(n) = E {X(n)} (5.1)

où E {.} est l’opérateur espérance mathématique. De même, l’autocorrélationprend la forme :

r(n, n− k) = E {X(n)X∗(n− k)} , k = 0,±1,±2, . . . (5.2)

où l’astérisque représente la conjugaison complexe. La fonction d’autocova-riance s’écrit :

c(n, n−k) = E {[X(n)− µX(n)][u(n− k)− µX(n− k)]∗} , k = 0,±1,±2, . . .(5.3)

Un processus est dit strictement stationnaire si tous ses moments sont indé-pendants du temps. Un processus est dit faiblement stationnaire, ou stationnaireau sens large, si

– µX(n) = µ ∀n– r(n, n− k) = r(k) ∀nOn notera au passage que r(0) représente la valeur quadratique moyenne ou

puissance de X(n), tandis que c(0) = σ2X représente la variance .

35



5.1.2 La matrice de corrélation.Définissons un vecteur d’observation (qui est un vecteur aléatoire !) X(n) tel

que :

XT (n) = [X(n), X(n− 1), . . . , X(n−M + 1)] (5.4)

On définit alors la matrice de corrélation par :

R = E{X(n)XH(n)

}(5.5)

où XH(n) représente la transposée hermitienne de X(n), c’est-à-dire le vec-teur transposé conjugué.

En détaillant la matrice de corrélation, on obtient immédiatement :

R =

r(0) r(1) · · · r(M − 1)r(−1) r(0) · · · r(M − 2)...

.... . .

...r(−M + 1) r(−M + 2) · · · r(0)

(5.6)

1. La matrice de corrélation d’un processus stochastique discret stationnaireest hermitienne.Une matrice est dite hermitienne si elle est égale à sa transposée hermi-tienne, i.e.

R = RH (5.7)

Cette propriété découle directement de la définition de la matrice de cor-rélation. On peut d’ailleurs aisément vérifier que r(−k) = r∗(k). Dans lecas d’un processus à valeurs réelles, la matrice R est symétrique.

2. La matrice de corrélation d’un processus stationnaire discret est une ma-trice Toeplitz carrée.Une matrice carrée est dite Toeplitz si tous les éléments d’une même dia-gonale ou sous-diagonale sont égaux. On voit directement que c’est le casici. D’autre part, cette propriété est directement liée à la propriété de sta-tionnarité (au sens large) du processus. Cette propriété est importante,car elle permet dans bien des cas de simplifier les calculs algébriques.

3. La matrice de corrélation d’un processus stationnaire discret est toujoursdéfinie non négative (et souvent définie positive).Soit X un vecteur aléatoire complexe quelconque de dimension Mx1. Dé-finissons Y = uHX(n) (et donc y∗ = uH(n)X). La puissance de Y estdéfinie par :

E{|Y |2

}= E {Y Y ∗}= E

{uHX(n)XH(n)u

}

= uHE{X(n)XH(n)

}u

= uHRu

(5.8)




Ce qui implique uHRu ≥ 0, d’où, par définition, R est définie semi-positive. En fait, la matrice R sera singulière principalement si le processusest constitué de K sinusoïdes avec K ≤M .

Application 5.1 Soit un processus constitué d’une sinusoïde complexe bruitée

X(n) = α exp(jωn) + V (n), n = 0, 1, . . . , N − 1 (5.9)

où V (n) est une réalisation du bruit blanc (E {V (n)V ∗(n− k)} = σ2vδk)

à moyenne nulle. La sinusoïde et le bruit sont supposés indépendants, ce quipermet d’écrire :

r(k) = E {X(n)X∗(n− k)}=

{|α|2 + σ2

v k = 0|α|2 exp(jωk), k 6= 0

(5.10)

soit

R = |α|2

1 + 1ρ exp(jω) · · · exp(jω(M − 1))

exp(−jω) 1 + 1ρ · · · exp(jω(M − 2))

......

. . ....

exp(jω(−M + 1)) exp(jω(−M + 2)) · · · 1 + 1ρ

(5.11)où ρ est le rapport signal-bruit défini par ρ = |α|2

σ2v.

Dans le cas où ce rapport est infini (c’est-à-dire dans le cas sans bruit), Rpeut s’écrire :

R =

1e−jω

e−2jω

...e−(M−1)jω

.[1ejωe2jω · · · e(M−1)jω

](5.12)

Il s’ensuit que la matrice R est de rang 1. Dans le cas de K sinusoïdes, nousaurons donc une matrice de rang (au plus égal) à K.

5.1.3 Les innovations.Soit un processus stationnaire X(n) de séquence d’autocorrélation r(n) et

de densité spectrale de puissance (dsp) Sxx(f) définie sur |f | ≤ 12 . On suppose

que Sxx(f) est réelle et continue pour tout |f | ≤ 12 . On peut définir

Sxx(z) =

∞∑

m=−∞r(m)z−m (5.13)




La densité spectrale étant obtenue en évaluant Sxx(z) sur le cercle unité.Supposons que Sxx(z) est analytique dans une région incluant le cercle unité.On peut alors écrire la série de Laurent :

logSxx(z) =

∞∑

m=−∞ν(m)z−m (5.14)

ce qui, sur le cercle unité, devient :

logSxx(f) =

∞∑

m=−∞ν(m)e−j2πfm (5.15)

Les coefficients ν(m) sont donc les coefficients de Fourier de la série de Fourierreprésentant la fonction périodique logSxx(f). Donc :

ν(m) =

∫ 12

− 12

logSxx(f)e−j2πfmdf, m = 0;±1, . . . (5.16)

Sxx(f) étant une fonction réelle et paire, il s’ensuit que

Sxx(z) = exp

[ ∞∑

m=−∞ν(m)z−m

]

= σ2vH(z)H(z−1)

(5.17)

où σ2v = eν(0) et

H(z) = exp

[ ∞∑

m=1

ν(m)z−m], |z| > r1 (5.18)

En évaluant Sxx(z) sur le cercle unité, nous obtenons l’expression :

Sxx(f) = σ2v |H(f)|2 (5.19)

Les coefficients ν(m) sont appelés coefficients cepstraux et la séquence ν(m)est appelée cepstre de la séquence d’autocorrélation r(m).

Le filtre H(z) est analytique dans la zone |z| > r1 < 1. On peut doncdévelopper H(z) sous la forme causale (série de Taylor) :

H(z) =

∞∑

m=0

hnz−n (5.20)

Si on excite l’entrée de ce filtre par un bruit blanc V (n) de puissance σ2v , la

sortie sera un processus stationnaire X(n) de densité spectrale de puissanceSxx(f) = σ2

v |H(f)|2 = σ2vH(z)H(z−1)|ej2πf .

De même, si X(n) est un signal stationnaire ayant cette dsp, le fait de passerce signal dans un filtre 1/H(z) nous fournit un bruit blanc à la sortie. On parlede filtre blanchissant et la sortie V (n) est appelée processus d’innovation associéà X(n)

Cette représentation est appelée représentation de Wold.




v(n)

Bruit blanc

u(n) v(n)

Bruit Blanc

Filtre Linéaire causal 1H(z)

u(n) =∞∑

k=0

hkv(n− k)

Filtre Linéaire causal H(z)

Figure 5.1 – Représentation de Wold

5.1.4 Modèles stochastiques (AR, MA, ARMA).

On restreint Sxx(z) à être de la forme :

Sxx(z) = σ2v

B(z)B(z−1)

A(z)A(z−1)r1 < |z| < r2 (5.21)

où B(z) et A(z) ont leurs racines à l’intérieur du cercle unité. On peut alorsécrire :

H(z) = σ2v

B(z)

A(z)=

q∑

k=0

bkz−k

1 +

p∑

k=1

akz−k

r1 < |z| (5.22)

De plus, par construction, H(z) est causal, stable et à phase minimale. Soninverse 1/H(z) est également causal, stable et à phase minimale.

On peut exprimer la relation ci-dessus par l’équation aux différences sui-vante :

X(n) +

p∑

k=1

akX(n− k) =

q∑

k=0

bkV (n− k) (5.23)

Processus autorégressif (AR)




Un processus autorégressif est caractérisé par B(z) = 1, et donc par l’équa-tion aux différences :

X(n) +

p∑

k=1

akX(n− k) = V (n) (5.24)

On peut également représenter ce processus par la figure suivante.

aq−1

+

+

z−1

z−1

z−1

a1

+

v(n)

Bruit blanc

u(n)

Processus AR

aq

Figure 5.2 – Filtre générateur de processus AR

Exercice 5.1 D

ans l’exemple de processus AR donnés, justifiez (par les pôles et zéros)l’allure des courbes.

Processus à moyenne mobile (MA : Moving Average)




0 50 100 150 200 250−5

0

5

0 50 100 150 200 250−10

0

10

200 50 100 150 200 250

−10

0

10

Figure 5.3 – Exemples de processus AR. Bruit blanc ; A=[1 0.1 -0.8] ; A =[1 -0.975 0.95]

Un processus autorégressif est caractérisé par A(z) = 1, et donc par l’équa-tion aux différences :

X(n) =

q∑

k=0

bkv(n− k) (5.25)

u(n)

z−1 z−1 z−1

+ + +++

b1 b2 bp−1 bp

v(n)

processusMA

Figure 5.4 – Filtre générateur de processus MA

Processus autorégressif à moyenne mobile (ARMA)C’est le processus général décrit ci-dessus.




0 50 100 150 200 250−5

0

5

0 50 100 150 200 250−10

−5

0

5

0 50 100 150 200 250

0

Figure 5.5 – Exemples de processus MA. Bruit blanc, B= [1 1 1 1]/4 ; B=[1 (100 éléments) 1]/100

0 50 100 150 200 250−5

0

5

0 50 100 150 200 250−0.5

0

0.50 50 100 150 200 250

−5

0

5

Figure 5.6 – Exemples de processus AR. Bruit blanc, A=[1 -0.975 0.95] Bcomme ci-dessus




ARMA

+

+

z−1

z−1

z−1

+

+a1

+

v(n)

Bruit blancb0

b1

aq−1

aq

bp

processus

Figure 5.7 – Filtre générateur de processus ARMA




5.1.5 Les équations de Yule-Walker.La représentation de Wold nous apprend qu’il y a relation biunivoque entre

la densité spectrale de puissance d’un processus stationnaire X(n) et sa repré-sentation par un bruit blanc filtré (AR, MA, ARMA). D’autre part, nous savonsque la dsp est reliée de la même manière à la séquence d’autocorrélation. Cettesection fera le lien entre les paramètres des filtres et la matrice d’autocorrélation.

Pour ce faire, il suffit d’écrire l’autocorrélation, en tenant compte de l’équa-tion aux différences d’un processus ARMA :

E {X(n)X∗(n−m)} = −p∑

k=1

akE {X(n− k)X∗(n−m)}

+bk

q∑

k=0

E {V (n− k)X∗(n−m)}(5.26)

Soit

rxx(m) = −p∑

k=1

akrxx(m− k) +

q∑

k=0

bkrvx(m− k) (5.27)

Le terme de cross-corrélation rvx(m) peut s’écrire en fonction du filtre H(z)par (en se rappelant que V (n) est blanc) :

rvx(m) = E {X∗(n)V (n+m)}

= E

{ ∞∑

k=0

hkX∗(n− k)X(n+m)

}

= σ2vh−m m ≥ 0

(5.28)

Les relations entre la séquence d’autocorrélation et les coefficients des filtresdu processus ARMA peuvent donc s’écrire :

rx(m) =

−p∑

k=1

akrxx(m− k), m > q

−p∑

k=1

akrxx(m− k) + σ2v

q−m∑

k=0

hkbk+m, 0 ≤ m ≤ q

r∗xx(−m) m < 0

(5.29)

Dans le cas d’un processus AR, ces équations se simplifient comme suit :

rxx(m) =

−p∑

k=1

akrxx(m− k), m > 0

−p∑

k=1

akrxx(m− k) + σ2v , m = 0

r∗xx(−m) m < 0

(5.30)




Ce sont les équations de Yule-Walker qui s’écrivent sous forme matri-cielle :

r(0) r∗(1) · · · r∗(p)r(1) r(0) · · · r∗(p− 1)...

.... . .

...r(p) r(p− 1) · · · r(0)

1a1

...ap

=

σ2v

0...0

(5.31)pace6mm

5.1.6 Prédiction linéaire avant.

Le problème posé est, étant donné un processus X(n) stationnaire au senslarge, de prédire l’échantillonX(k) en connaissant lesM échantillons précédents.

X(k) = −M∑

m=1

aM (m)X(k −m) (5.32)

Le critère que nous allons utiliser pour caractériser la qualité de la prédictionest l’erreur quadratique moyenne (variance de l’erreur de prédiction) :

minaM (m)

E{|X(k)− X(k)|2

}= minaM (m)

E

∣∣∣∣∣X(k) +

M∑

m=1

aM (m)X(k −m)

∣∣∣∣∣

2(5.33)

Soit, en appelant l’erreur de prédiction d’ordre M à l’instant k : FM (k) eten posant aM (0) = 1 :

FM (k) = X(k)− X(k) = X(k) +

M∑

m=1

aM (m)X(k −m) =

M∑

m=0

aM (m)X(k −m)

(5.34)L’erreur quadratique moyenne vaut alors :

E{|FM (k)|2

}= r(0) + 2<

p∑

k=1

a∗p(k)r(k) +

p∑

k=1

p∑

l=1

a∗p(l)ap(k)r(l − k) (5.35)

Le filtre de coefficients aM (m)(m = 0, 1, . . . ,M) est encore appelé filtred’erreur de prédiction.




5.2 Estimateur MMSE et principe d’orthogona-lité.

Une autre approche de la théorie de l’estimation est l’approche de Bayes.Soit un paramètre θ à estimer, on introduit une fonction de coût C(θ, θ), oùle paramètre estimé est θ(U). θ et θ(U) étant des variables aléatoires, nousminimiserons l’espérance mathématique de ce coût, appelé risque de Bayes.

R(θ(.)) = E{C(θ, θ(U))

}= Eθ,U

{{C(θ, θ(U))

}. (5.36)

L’estimateur est donc la fonction θ(.) qui minimise le risque de Bayes :

θ(.) = arg minθ(.)R(θ(.)) (5.37)

De plus, on peut montrer que :

minθ(.)R(θ(.)) = min

θ(U)R(θ(U)|U) (5.38)

En d’autres mots, pour minimiser le risque global R(θ(.)), c’est-à-dire mini-miser une fonction par rapport à la fonction θ(.), il suffit de minimiser le risqueconditionnel R(θ(U)|U) par rapport à θ(U), qui est un nombre.

Le critère MMSE.

Un cas particulier largement utilisé est le critère de l’erreur quadratiquemoyenne minimale (Minimum Mean Squared Error) où la fonction de coût est :CMMSE(θ) = |θ|2 avec θ = θ − θ(U).

Dans ce cas, on obtient :

minθ(U)RMMSE(θ(U)|U) = min

θ(U)

∫ ∞

−∞f(θ|U)|θ − θ(U)|2dθ (5.39)

La minimisation nous donne :

∂

∂θRMMSE(θ(U)|U) = 2

∫ ∞

−∞f(θ|U)(θ − θ(U))dθ = 0 (5.40)

Ce qui peut encore s’écrire :

θ(U)

∫ ∞

−∞f(θ|U)dθ

︸︷︷︸=1

=

∫ ∞

−∞θf(θ|U)dθ (5.41)

D’où

θMMSE(U) = E {θ|U} (5.42)




L’estimateur est donc la moyenne a posteriori de θ si U. Pour s’assurer qu’ils’agit bient d’un minimum, on vérifie aisément que :

∂2

∂2θRMMSE(θ|U) = 2

∫ ∞

−∞f(θ|U)dθ = 2 > 0 (5.43)

De plus, cette dernière équation nous indique que nous sommes en présenced’un minimum global.

Cet estimateur peut aisément s’étendre au cas de paramètres vectoriels.

Le principe d’orthogonalité pour les estimateurs MMSE.

Ce principe est extrêmement important, car il permet d’obtenir l’estimateurMMSE autrement qu’en calculant l’espérance a posteriori du paramètre, ce quin’est pas toujours aisé, puisque cela demande en général la connaissance de ladistribution de probabilité conditionnelle de celui-ci.

Celui-ci s’exprime par :

θ(U) = E {(θ|U)} ⇔ E{

((θ − θ(U))g(U)}

= 0, ∀g(.) (5.44)

où g(.) est une fonction scalaire.Démonstration :⇒ Supposons θ(U) = E {(θ|U)}, alors, pour n’importe quel

g(.) :

E{θ(U)g(U)

}=

∫ ∫fθ,U(θ,U)g(U)dθdU

∫vfv=θ|U(v|U)dv

=

∫fU(U)g(U)dU

∫vfθ|U(v|U)dv

∫fθ|U(θ|U)dθ

︸︷︷︸=1

=

∫ ∫vfθ,U(v,U)g(U) = E {θg(U)} .

(5.45)L’autre implication se démontre d’une manière similaire.Une interprétation géométrique sera faite dans le cadre du filtrage linéaire

optimal ci-dessous.

5.3 Filtre de Wiener.

Une classe importante de problèmes peut s’énoncer de la manière suivante :soit un signal s(n), corrompu par du bruit additif v(n), on recherche un filtrequi permette de transformer ce signal u(n) = s(n) + v(n) en un autre y(n),similaire en un certain sens à un signal donné par ailleurs (d(n)).

Cela correspond au schéma bloc (5.8).Dans le cas de l’égalisation, u(n) est la sortie du canal, v(n) est le bruit

additif, dont on fait généralement l’hypothèse qu’il est blanc et gaussien, et d(n)




-

+ +optimal

Filtre linéaires(n)

Bruit

v(n)

u(n)

d(n)

y(n) e(n)+

Figure 5.8 – Modèle pour le filtrage linéaire optimal.

représente les données que l’on devrait idéalement recevoir. Il parait évident quele filtre de Wiener sera dans ce cas une approximation de l’inverse du canal.

Le schéma bloc (5.9) illustre cette manière de voir.

(→ 1/H(z))+ +Filtre H(z)

Bruit

v(n)

u(n)

d(n)

y(n) e(n)+

-s(n) Filtre linéaire

optimal

Figure 5.9 – Modèle pour l’egalisation linéaire.

HypothèsesOn suppose que les signaux u(n), d(n) et v(n) sont stationnaires et mutuellementstationnaires au sens large, et de moyenne nulle.

5.3.1 Filtre de Wiener non-causalOn adoptera le critère MMSE, de plus, comme le filtre que l’on utilise est

un filtre linéaire, on parle plus précisément de LMMSE (Linear MMSE). En




effet, dans le cas du critère MMSE, la fonction qui transforme u(n) en y(n) estgénéralement non linéaire (on parle de filtrage non linéaire).

L’équation de minimisation s’écrit donc (avec d(n) = y(n)) :

minhk,n

E{|d(k)− d(k)|2

}= min

hk,nE

∣∣∣∣∣d(k)−∞∑

n=−∞hk,nu(k − n)

∣∣∣∣∣

2 (5.46)

Où hk,n sont les coefficients du filtre à l’instant k, rien ne nous indiquantpour l’instant que ce filtre est invariant dans le temps.

Pour obtenir l’expression du filtre, nous allons exploiter le principe d’ortho-gonalité des estimateurs MMSE :

E{

(d(k)− d(k))u∗(k −m)}

= 0, ∀m (5.47)

Soit :

E{d(k)u∗(k −m)

}= E

{ ∞∑

n=−∞hk,nu(n)u∗(k −m)

}

= E {d(k)u∗(k −m)} , ∀m(5.48)

Ce qui, accompagné des hypothèses de stationarité devient :

∞∑

n=−∞hk,nruu(m+ k − n) = rdu(m) ∀m (5.49)

En faisant la substitution et n− k → n, on obtient :

∞∑

n=−∞hk,n+kruu(m− n) = rdu(m) ∀m (5.50)

Où la dépendance par rapport au temps (à l’indice k) disparait (i.e. la dé-pendance par rapport à k n’apparait plus que dans les coefficients du filtre, doncles équations sont valable pour toute valeur de k et les valeurs des coefficientssont donc indépendantes de k), soit en posant hk,n+k = hn :

∞∑

n=−∞hnruu(m− n) = rdu(m) ∀m

(5.51)Ce sont les équations normales.Dans le cas tout-à-fait général que nous traitons ici, nous sommes confrontés

à une infinité d’équations en une infinité d’inconnues hn. Cependant, le membregauche de l’équation (5.51) est un produit de convolution. En définissant :

Sdu(z) =

∞∑

n=−∞rdu(n)z−n, et H(z) =

∞∑

n=−∞hnz

−n. (5.52)




l’équation (5.51) devient H(z)Suu(z) = Sdu(z).Soit :

H(z) =Sdu(z)

Suu(z)(5.53)

En notant l’erreur quadratique minimale (le MMSE) ξ, et par le principed’orthogonalité :

E{

(d(k)− d(k))d∗(k)}

=

∞∑

n=−∞h∗n E

{(d(k)− d(k))u∗(k − n)

}

︸︷︷︸=0

= 0

⇒ E{d(k)d∗(k)

}= E

{|d(k)|2

}

(5.54)Ce qui permet de déterminer :

ξ = E{|d(k)− d(k)|2

}

= E{

(d(k)− d(k))d∗(k)}− E

{(d(k)− d(k))d∗(k)

}

︸︷︷︸=0

= E{|d(k)|2

}− E

{d(k)d∗(k)

}= E

{|d(k)|2

}− E

{|d(k)|2

}≤ E

{|d(k)|2

}

(5.55)ou encore, pour permettre le calcul :

ξ = E{|d(k)|2

}− E

{d(k)d∗(k)

}

= rdd(0)−∞∑

n=−∞h∗nE {u∗(k − n)d(k)}

= rdd(0)−∞∑

n=−∞h∗nE {rdu(n)}

(5.56)

En se rappelant qu’on peut retrouver chaque élément de la séquence d’au-tocorrélation par la formule :

rdd(k) =1

2πj

∮

C

Sdd(z)zk−1dz (5.57)

où l’intégrale circulaire est calculée dans la région de convergence de Sdd(z).Il s’ensuit que :

σ2d = rdd(0) =

1

2πj

∮

C

Sdd(z)z−1dz (5.58)

d’autre part, par le théorème de Parseval, on a :

∞∑

n=−∞h∗nE {rdu(n)} =

1

2πj

∮

C

H(z)Sdu(z−1)z−1dz (5.59)




En combinant ces deux équations, on obtient :

ξnc =1

2πj

∮

C

[Sdd(z)−Hnc(z)Sdu(z−1)]z−1dz (5.60)

Application 5.2 Filtre de Wiener non causal pour un processus AR(1)

Soit un signal u(n) = s(n) + v(n) où s(n) est un processus AR(1) décrit parl’équation

s(n) = 0.6s(n− 1) + ν(n)

où le processus d’innovations ν(n) a une puissance σ2ν = 0.64 et le bruit blanc

additif σ2v = 1. On désire obtenir le filtre de Wiener tel que, dans le sens LMMSE,

y(n) = s(n) (en d’autres termes, d(n) = s(n)).Le filtre optimal est donné par l’équation (5.53).On a donc

Sdu(z) = Ssu(z)par indépendance de s(n) et v(n)

= Sss(z) =σ2ν

H(z)H(z−1)

soitSss(z) =

0.64

(1− 0.6z)(1− 0.6z−1)

D’autre partSuu(z) = Sss(z) + σ2

v(= 1)

=2(1− 0.3z−1 − 0.3z)

(1− 0.6z)(1− 0.6z−1)

D’oùHoptnc(z) =

0.3555

(1− 1/3z)(1− 1/3z−1)

On peut vérifier aisément que ce filtre est non causal.Le MMSE peut être évalué par l’équation (5.60).L’intégrand vaut :

z−1Sss(z)[1−Hoptnc(z)] =0.3555

(z − 1/3)(1− 1/3z)

Le seul pôle à l’intérieur du cercle unité est z = 13 . Le résidu est donc donné

par :

0.3555

1− 1/3z

∣∣∣∣z= 1

3

= 0.40

L’erreur quadratique minimale atteignable est donc :

ξ = MMSEnc = 0.40




5.3.2 Filtre de Wiener causal.

On se limitera cette fois à un filtre IIR causal :

y(n) =

∞∑

k=0

hku(n− k) (5.61)

D’une manière similaire au filtre de Wiener non-causal, on trouve :

∞∑

n=0

hnruu(m− n) = rdu(m) ∀m ≥ 0 (5.62)

Et l’erreur quadratique minimale est donnée par :

ξ = σ2d −

∞∑

n=0

hnoptE {r∗du(n)} (5.63)

Où les équations de Wiener-Hopf (5.62) sont réduites aux m ≥ 0, ce quinous empêche d’avoir recours à la transformée en z de la même manière queci-dessus.

Cependant, la représentation de Wold (les innovations) vient à notre secours.En effet, nous pouvons considérer u(n) comme le résultat du filtrage d’un bruitblanc (innovations) i(n) par un filtre G(z), partie à phase minimale obtenue parla factorisation spectrale de Suu(z) :

Suu(z) = σ2iG(z)G(z−1) (5.64)

Où le rayon de convergence r1 de G(z) est inférieur à 1.En adoptant la représentation de Wold inverse, on peut considérer que le

filtre de Wiener est la cascade du filtre blanchissant 1/G(z) appliqué à u(n) suivipar un filtre Q(z) dont la sortie est y(n). (la cascade de deux filtres causaux ...)

y(n) =

∞∑

n=0

qki(n− k) (5.65)

L’application du principe d’orthogonalité à e(n) = d(n)−y(n) nous donnerales équations normales :

∞∑

n=0

qnrii(m− n) = rdi(m) ∀m ≥ 0 (5.66)

L’avantage de partir d’un bruit blanc est que rii(n) = δn, ce qui conduit auxsolutions :

ql =rdi(m)

rii(0)=rdi(m)

σ2i

, ∀m ≥ 0 (5.67)




D’où la transformée en z de ql prend la forme :

Q(z) =

∞∑

n=0

qkz−k =

1

σ2i

∞∑

n=0

rdi(k)z−k (5.68)

Si l’on définit la partie causale de la densité cross-spectrale de puissance[Sdi(z)]+ :

[Sdi(z)]+ =

∞∑

k=0

rdi(k)z−k (5.69)

Alors on remarque que :

Q(z) =1

σ2i

[Sdi(z)]+ (5.70)

Pour déterminer [Sdi(z)]+, il suffit d’exprimer la sortie du filtre blanchissant :

i(n) =

∞∑

m=0

wmu(n−m) (5.71)

où wm est la réponse impulsionnelle du filtre blanchissant :

1

G(z)= W (z) =

∞∑

m=0

wmz−m (5.72)

Ensuite, on exprime la cross-corrélation entre les innovations et la réponsevoulue :

rdi(m) = E {d(n)i∗(n−m)}

=

∞∑

k=0

wkE {d(n)u∗(n− k −m)}

=

∞∑

k=0

wkrdu(m+ k)

(5.73)

La transformée de rdi(m) est alors donnée par :

Sdi(z) =

∞∑

m=−∞

[ ∞∑

k=0

wkrdu(m+ k)

]z−k

=

∞∑

k=0

wk

∞∑

m=−∞rdu(m+ k)z−k

=

∞∑

k=0

wkzm

∞∑

m=−∞rdu(k)z−k

= W (z−1)Sdu(z) =Sdu(z)

G(z−1)

(5.74)




D’où :

Q(z) =1

σ2i

[Sdu(z)

G(z−1)

]

+

(5.75)

Enfin, le filtre de Wiener IIR s’exprime par :

Hopt(z) =Q(z)

G(z)=

1

σ2iG(z)

[Sdu(z)

G(z−1)

]

+

(5.76)

En résumé, pour obtenir le filtre IIR de Wiener, il faut procéder à la facto-risation spectrale de Suu(z), pour obtenir G(z) et ensuite déterminer la partiecausale de Sdu(z)/G(z−1).

Application 5.3 Filtre de Wiener IIR causal pour un processus AR(1)

On écrit cette fois Suu(z) sous la forme :

Suu(z) =1.8(1− 1/3z−1)(1− 1/3z)

(1− 0.6z)(1− 0.6z−1)

Ce qui permet de déterminer σ2i = 1.8 et

G(z) =1− 1/3z−1

1− 0.6z−1

Se rappelant :

Sss(z) =0.64

(1− 0.6z)(1− 0.6z−1)

On obtient :[Sdu(z)

G(z−1)

]

+

=

[0.64

(1− 1/3z)(1− 0.6z−1)

]

+

=

[0.8

1− 0.6z−1+

0.266z

1− 1/3z

]

+

=0.8

1− 0.6z−1

Le filtre IIR optimal peut donc s’écrire :

Hoptiir = 1/1.8

(1− 0.6z−1

1− 1/3z−1

)(0.8

1− 0.6z−1

)

=4/9

1− 1/3z−1

et une réponse impulsionnelle

hoptiir (n) =4

9(1

3)n, n ≥ 0




De la même manière que dans le cas non causal, on trouve le MMSE par laformule (5.60) où l’intégrand vaut cette fois :

0.3555

(z − 1/3z)(1− 0.6z)

et on trouveξ = MMSEiir = 0.444

On remarque que cette valeur est proche de celle du filtre optimal non causal.

5.3.3 Filtre de Wiener FIRLa procédure pour obtenir un filtre de Wiener est de toute évidence assez

complexe et, de plus, demande la connaissance de la séquence infinie d’autocor-rélation. Il parait donc naturel de se limiter à un filtre FIR, qui nous donneraci-dessous une procédure de calcul nettement plus simple.

On se limitera cette fois à un filtre FIR :

y(n) =

M−1∑

n=0

hku(n− k) (5.77)

D’une manière similaire au filtre de Wiener non-causal, on trouve :

M−1∑

n=0

hnruu(m− n) = rdu(m) m = 0, 1, . . . ,M − 1 (5.78)

L’avantage est que l’on peut exprimer les équations (5.78) sous la formematricielle :

Rh = rdu (5.79)

où R est la matrice d’autocorrélation du signal u(n) et rdu est le vecteur decrosscorrélation rdu = [rdu(0), rdu(1), . . . , rdu(M − 1)]T .

La solution du problème est donc :

hopt = R−1rdu (5.80)

La détermination de cette solution par la méthode directe demande encore uneffort de calcul de l’ordre deM3. Heureusement, l’algorithme de Levison-Durbinque nous verrons plus loin ramènera la complexité à O(M2) (voire M logM parcalculateur parallèle) en exploitant la structure Toeplitz de la matrice d’auto-corrélation.

L’erreur quadratique minimale est donnée par :

ξ = σ2d −

M−1∑

n=0

hnoptr∗du(n) = σ2

d − rHduR−1rdu (5.81)




Application 5.4 Filtre de Wiener FIR pour un processus AR(1)

En reprenant les exemples précédents, on détermine la densité spectrale de puis-sance du signal s(n) par :

Sss(f) = σ2ν |H(f)|2

=0.64

|1− 0.6e−j2πf |2=

0.64

1.36− 1.2 cos 2πf

La séquence d’autocorrélation vaut

rss(m) = (0.6)|m|

Le systéme d’équation est alors :

2h(0) + 0.6h(1) = 10.6h(0) + 2h(1) = 0.6

soit :h(0) = 0.451, h(1) = 0.165

Ce qui donne l’erreur quadratique minimale :

MMSEfir = 1− h(0)rss(0)− h(1)rss(1) = 0.45

Soit une valeur très proche de celle dérivée dans le cas du filtre IIR causal.

5.4 Prédiction linéaire.

5.4.1 Prédiction linéaire avant.

Le problème posé est, étant donné un processus y(n) stationnaire au senslarge, de prédire l’échantillon y(k) en connaissant lesM échantillons précédents.

y(k) = −M∑

m=1

aM (m)y(k −m) (5.82)

Le critère que nous allons utiliser pour caractériser la qualité de la prédictionest le critère MSE :

minaM (m)

E{|y(k)− y(k)|2

}= minaM (m)

E

∣∣∣∣∣y(k) +

M∑

m=1

aM (m)y(k −m)

∣∣∣∣∣

2 (5.83)




Soit, en appelant l’erreur de prédiction d’ordre M à l’instant k : fM (k) eten posant aM (0) = 1 :

fM (k) = y(k)−y(k) = y(k)+

M∑

m=1

aM (m)y(k−m) =

M∑

m=0

aM (m)y(k−m) (5.84)

Le filtre de coefficients aM (m)(m = 0, 1, . . . ,M) est encore appelé filtred’erreur de prédiction.

En utilisant le principe d’orthogonalité, nous interprétons la solution à ceproblème de la manière suivante : le point y(k) dans le sous-espace généré pary(k− 1), . . . , y(k−M) est la projection orthogonale de y(k) sur ce sous-espace.La figure 5.10 illustre cette interprétation.

[y(k − 1)...y(k −M)]

y(k)

y(k)

fM(k)

Figure 5.10 – Interprétation géométrique du principe d’orthogonalité pourla prédiction linéaire

Une expression de l’orthogonalité peut s’écrire :

E {fM (k)y∗(k − i)} =

M∑

m=0

aM (m)E {y(k − i)y∗(k −m)}

=

M∑

m=0

aM (m)ryy(i−m) = 0, i = 1, . . . , n

(5.85)

Grâce à la stationarité de y(n), les équations sont indépendantes du tempset le filtre optimal est constant dans le temps.




Le MMSE (ξ = σ2f,M ) est donné par :

σ2f,M = E

{|fM |2(k)

}= E

∣∣∣∣∣y(k) +

M∑

m=1

aMopt(m)y(k −m)

∣∣∣∣∣

2

= E {fM (k)y∗(k)}+

M∑

m=1

a∗Mopt(m)E {fM (k)y∗(k −m)}︸︷︷︸

=0

= E {fM (k)y∗(k)}

(5.86)

En introduisant les vecteurs :

YM+1(k) = [y(k), y(k − 1), . . . , y(k −M)]T et aM = [1, aM (1), . . . , aM (M)]T

(5.87)l’erreur de prédiction s’écrit : fM (k) = YT

M+1(k)aM .Les conditions d’orthogonalité s’écrivent alors :

E {YM+1(k)f∗M (k)} =

E {y(k)f∗M (k)}E {y(k − 1)f∗M (k)}...E {y(k −M)f∗M (k)}

=

σ2f,M

0...0

(5.88)

avec, en développant l’erreur de prédiction .

E {YM+1(k)f∗M (k)} = E{YM+1(k)YH

M+1(k)}

a∗M =

σ2f,M

0...0

= RM+1a

∗M

(5.89)Ces équations sont appelées équations normales. On remarque qu’on obtient

exactement les équations de Yule-Walker que nous avons dérivées dans le casd’un processus AR. Donc, dans le cas où y(n) est un processus AR d’ordre M ,nous obtiendrons comme filtre prédicteur le filtre de synthèse du processus AR,et la variance de l’erreur de prédiction σ2

f,M sera égale à la puissance σ2v du

processus d’innovation ν(n).En d’autres termes, le filtre prédicteur est un filtre blanchissant qui produit

la séquence d’innovations ν(n).




5.4.2 Prédiction linéaire arrière.Quoique a priori un peu artificiel, le problème de la prédiction arrière sera

très utile dans la suite des calculs et de la détermination d’un algorithme rapidede résolution des équations normales, débouchant sur la représentation des filtresen treillis, intéressante à plus d’un titre.

Le problème est simplement de déterminer une estimation d’un échantillony(k −M) en fonction des M échantillons subséquents :

y(k −M) = −M∑

m=1

bM (m)y(k −M +m) (5.90)

Le critère que nous allons utiliser pour caractériser la qualité de la prédictionest encore le critère MSE :

minbM (m)

E{|y(k −M)− y(k −M)|2

}

= minbM (m)

E

∣∣∣∣∣y(k −M) +

M∑

m=1

bM (m)y(k −M +m)

∣∣∣∣∣

2

(5.91)

Soit, en appelant l’erreur de prédiction arrière d’ordre M à l’instant k :gM (k) et en posant bM (0) = 1 :

gM (k) = y(k −M)− y(k −M)

= y(k −M) +

M∑

m=1

aM (m)y(k −M +m)

=

M∑

m=0

bM (m)y(k −M +m)

(5.92)

Le filtre de coefficients bM (m)(m = 0, 1, . . . ,M) est encore appelé filtre d’er-reur de prédiction arrière.

En utilisant le principe d’orthogonalité, nous interprétons la solution à ceproblème de la manière suivante : le point y(k−M) dans le sous-espace générépar y(k), y(k − 1), . . . , y(k −M + 1) est la projection orthogonale de y(k −M)sur ce sous-espace.

Une expression de l’orthogonalité peut s’écrire :

E {gM (k)y∗(k −M + i)} =

M∑

m=0

bM (m)E {y(k −M + i)y∗(k −M +m)}

=

M∑

m=0

bM (m)ryy(i−m) = 0, i = 1, . . . , n

(5.93)Grâce à la stationarité de y(n), ces équations sont toujours indépendantes

du temps et le filtre optimal est constant dans le temps.




y(k −M)

[y(k)...y(k −M+)]

y(k −M)

gM(k)

Figure 5.11 – Interprétation géométrique du principe d’orthogonalité pourla prédiction linéaire arrière

Le MMSE (ξ = σ2g,M ) est donné par :

σ2g,M = E

{|gM |2(k)

}= E

∣∣∣∣∣y(k −M) +

M∑

m=1

bMopt(m)y(k −M +m)

∣∣∣∣∣

2

= E {bM (k)y∗(k −M)}+

M∑

m=1

b∗Mopt(m)E {bM (k)y∗(k −M +m)}︸︷︷︸

=0

= E {bM (k)y∗(k −M)}(5.94)

Les conditions d’orthogonalité s’écrivent alors :

E {YM+1(k)g∗M (k)} =

E {y(k)g∗M (k)}E {y(k − 1)g∗M (k)}...E {y(k −M)g∗M (k)}

=

0...0σ2g,M

(5.95)

avec, en développant l’erreur de prédiction :




E {YM+1(k)g∗M (k)} = E{YM+1(k)YH

M+1(k)}

b∗M =

0...0

σ2g,M

= RM+1b

∗M

(5.96)Ce sont les équations normales pour la prédiction linéaire arrière.

5.4.3 Relation entre prédiction avant et arrière

Appelons J la matrice d’identité arrière :

J =

0 1

. ..

1 0

(5.97)

J inverse l’orde des lignes et des colonnes.On voit alors clairement que :

JRM+1J = RTM+1 = R∗M+1 (5.98)

Des équations normales pour la prédiction arrière, on déduit alors :

RM+1Jb∗M = JR∗M+1JJb∗M = JR∗M+1b∗M = J

0...0

σ2g,M

=

σ2g,M

0...0

(5.99)

On voit donc clairement que les équations normales pour la prédiction li-néaire avant et arrière sont identiques, à l’ordre des coefficients près :

bM = JaM , soit bM (i) = aM (M − i), i = 1, . . . ,M, σ2g,M = σ2

f,M (5.100)

5.5 L’algorithme de Levinson-Durbin

Si on résoud les équations de manière directe, cela implique l’inversion d’unematrice, et donc une complexité d’ordre M3. Un algorithme rapide a été dé-veloppé par Levinson (1948) et Durbin (1959) qui permet de diminuer la com-plexité d’un ordre (M2). De plus, il permet d’introduire élégament la représen-tation des filtres en treillis.




L’algorithme est récursif dans l’ordre, ce qui signifie que l’on détermine lesprédicteurs d’ordre m,m = 1, . . . ,M . L’étape initiale est laissée au soin dulecteur.

Admettons que nous ayons la solution pour l’ordre m, la solution à l’ordrem+ 1 peut s’écrire :

Rm+2

a∗M

0

+Km+1wm+1

=

σ2f,m

0...

∆m+1

+Km+1xm+1

=

σ2f,m+1

0...0

(5.101)

Pour obtenir la solution sous la forme [σ2f,m+10 · · · 0], il faut adopter xm+1

de la forme [∗0 · · · ∗]T et il est clair que l’on peut choisir xm+1 de la forme[∆m+10 · · ·σ2

f,m]T , ce qui fixe simplement :

Km+1 = −∆m+1

σ2f,m

(5.102)

Ce choix particulier, et la relation que nous avons fait entre prédiction arrièreet prédiction avant permet alors d’écrire l’équation précédente sous la forme :

Rm+2

a∗m

0

+Km+1

0b∗m

=

σ2f,m

0...

∆m+1

+Km+1

∆m+1

0...

σ2f,m

=

σ2f,m+1

0...0

(5.103)

La récursion sur la solution devient :

a∗m+1 = (I +Km+1J)

[a∗m0

](5.104)

En particulier, am+1(m+ 1) = Km+1. L’erreur de prédiction devient alors :

σ2f,m+1 = σ2

f,m +Km+1∆m+1 = σ2f,m(1−K2

m+1) (5.105)

Une puissance devant être positive, l’équation précédente implique que

|Km+1| ≤ 1 (5.106)

D’autre part, on a que

σ2m+1 ≤ σ2

m ≤ · · · ≤ σ21 ≤ σ2

0 (5.107)

ce qui confirme l’intuition selon laquelle l’augmentation de l’ordre de prédic-tion diminue l’erreur de prédiction. Dans le cas d’un processus AR(m), aprèsl’ordre m, les variances seront égales (voir plus haut).




On peut résumer l’algorithme de Levinson comme suit :

Algorithme de Levinson

Initialisation a0 = [1], σ2f,0 = ryy(0)pace5mm

récursion ∆m+1 = [ryy(m+ 1) · · · ryy(1)]a∗m

Km+1 = −∆m+1

σ2f,m

a∗m+1 =

[a∗m0

]+Km+1

[0

Ja∗m

]

σ2f,m+1 = σ2

f,m(1−K2m+1)

Par récursion, l’algorithme de Levinson demande environ 2n multiplications,soit, au total :

M∑

n=1

2n =2M(M + 1)

2'M2 (5.108)

5.5.1 Interprétations des paramètres Km et ∆m−1

Les paramètres Km sont appelés coefficients de réflection, en effet, l’équationσ2f,m+1 = σ2

f,m(1−K2m+1) est similaire à celle de la théorie des lignes où Km est

le coefficient de réflection au droit d’une discontinuité (différence d’impédancecaractéristique) dans la ligne.

Le paramètre ∆m+1 (et donc Km+1 peut être interprété comme étant unecross-corrélation entre l’erreur de prédiction avant et l’erreur de prédiction ar-rière. On peut montrer :

Km+1 = −E {fm(k)g∗m(k − 1)}E {|fm(k − 1)|2} (5.109)

Cette dernière expression est appelée coefficient de corrélation partielle(PARCOR).

5.6 Filtres en treillis.

A partir de l’algorithme de Levinson, en écrivant les récursions sur les coef-ficients des filtres de prédiction, avec la relation am = Jbm :

am+1 =

[am0

]+Km+1

[0

bm

]

bm+1 =

[bm0

]+Km+1

[0

am

] (5.110)




En écrivant ces équations sous la forme de transformées en z :

Am+1(z) = Am(z) +Km+1Bm(z)z−1

Bm+1(z) = Km+1Am(z) + Bm(z)z−1 (5.111)

Ces deux équations décrivent une section d’un filtre en treillis, que l’on peutreprésenter sous la forme de la figure 5.12.

fM (k)

g1(k)

b1(z)

a1(z)

f1(k)

y(k)

z−1 z−1 z−1

f0(k)

a0(z)

g0(k)

b0(z)

K1

K1

K2

K2

fM−1(k)

aM−1(z)

bM−1(z)

gM−1(k)

KM

KM

gM (k)

bM (z)

aM (z)

Figure 5.12 – Filtre en treillis pour la prédiction linéaire.

En réécrivant les équations (5.84) et (5.92) sous la forme fm(k) = Am(z)y(k)et bm(k) = Bm(z)y(k), les sorties des sections de treillis sont fm(k) et bm(k) si onexcite l’entrée du premier filtre par le signal y(k), ce qui justifie les annotationsde la figure 5.12.

Un des premiers avantages, surtout dans des implémentations VLSI, estla modularité de ces filtres : il suffit d’ajouter des sections pour obtenir unemeilleure prédiction, sans que les coefficients PARCOR précédents doivent êtremodifiés. En effet, dans le cas d’une implémentation directe par un filtre trans-versal comme en figure 5.13, l’augmentation de l’ordre total du filtre demandeune modification de tous les coefficients am(k), ce qui oblige à refaire l’entièretédu calcul.

fM (k)

z−1z−1 z−1y(k)

aM,1 aM,2aM,M

AM (z)

Figure 5.13 – Filtre transversal pour la prédiction linéaire.




D’autre part, d’un point de vue numérique, le fait que les coefficients PAR-COR sont bornés (|Km| < 1|) nous assure des résultats intermédiaires égale-ment bornés, ce qui est très intéressant dans les calculateurs à virgule fixe (pasd” ’overflow”).

5.7 La méthode des moindres carrés (LS : LeastSquares)

5.7.1 Introduction

Dans le filtrage de Wiener, le critère d’optimalité est stochastique : on désireminimiser la moyenne de l’erreur au carré. Pour cela, nous avons besoin dela statistique de second ordre des processus (moyennes et covariances). Uneautre approche consiste à minimiser, non plus la moyenne stochastique, maistemporelle de cette erreur, c’est la méthode des moindre carrés (L.S. : LeastSquares).

En se reportant à la figure 5.8, on obtient le critère :

ξ(h) =

k2∑

k=k1

|e(k)|2 (5.112)

Dans ce cas-ci, les coefficients h du filtre optimal sont d’office constants surla période d’observation. Si on désire tenir compte d’une non stationnarité ducanal, il suffit d’opter pour le critère :

ξ(h) =

k2∑

k=k1

λk|e(k)|2 0 < λ ≤ 1 (5.113)

En adoptant un filtre FIR de longueur M, on a :

e(i) = d(i)−M−1∑

k=0

hku(i− k) (5.114)

D’autre part, pour tenir compte du caractère stochastique du problème, onmodélise le processus à identifier comme étant le signal filtré auquel on a ajoutédu bruit (en général blanc additif), comme indiqué à la figure 5.14. L’objectifprincipal de cette modélisation sera de caractériser les perfomances de l’estimée.

5.7.2 Fenêtrage.

Les bornes k1 et k2 peuvent être choisies de différentes manières. On seplacera dans le cas où nous disposons des données [u(0), u(1), . . . , u(N − 1)]

La méthode de la covariance ne fait pas d’hypothèses sur les valeurs desdonnées en dehors de la fenêtre d’observation. On peut alors exprimer les




Least-Squares+ +

+

Filtre linéaires(n)

Bruit

v(n)

u(n)

d(n)

y(n) e(n)+

-

ε(n)Filtre

"vrai" bruit de mesure

Figure 5.14 – Modèle pour le filtrage par les moindres carrés.

données sous une forme matricielle :

U =

u(M − 1) u(M) · · · u(N − 1)u(M − 2) u(M − 1) · · · u(N − 2)

......

. . ....

u(0) u(1) · · · u(N −M)

(5.115)

On peut alors exprimer l’équation (5.114) sous forme vectorielle,

e = d−UTh (5.116)

en notant

e = [e(M − 1)e(M) · · · e(N − 1)] et d = [d(M − 1)d(M) · · · d(N − 1)]

L’expression UTh représentant la convolution entre les données u(i) et lefiltre de coefficients hk, on appelle parfois UT la matrice de convolution.

La méthode de la corrélation fait l’hypothèse que les valeurs des donnéesen dehors de la fenêtre d’observation sont nulles. On peut alors exprimerles données sous une forme matricielle :

U =

u(1) · · · u(M − 1) · · · u(N − 1) 0 · · · 00 · · · u(M − 2) · · · u(N − 2) u(N − 1) · · · 0...

. . ....

. . ....

.... . .

...0 · · · u(0) · · · u(N −M) u(N −M + 1) · · · u(N − 1)

(5.117)




L’équation (5.116) reste alors valable en notant

e = [e(0)e(1) · · · e(N +M − 1)] et d = [d(0)d(1) · · · d(N +M − 1)]

La méthode du préfenêtrage fait l’hypothèse que les valeurs des donnéesavant u(0) sont nulles. On peut alors exprimer les données sous une formematricielle :

U =

u(1) u(2) · · · u(M − 1) u(M) · · · u(N − 1)0 u(1) · · · u(M − 2) u(M − 1) · · · u(N − 2)...

.... . .

......

. . ....

0 0 · · · u(0) u(1) · · · u(N −M)

(5.118)L’équation (5.116) reste alors valable en notant

e = [e(0)e(1) · · · e(N − 1)] et d = [d(0)d(1) · · · d(N − 1)]

La méthode du postfenêtrage fait l’hypothèse que les valeurs des donnéesaprès u(N − 1) sont nulles (sans faire d’hypothèses sur les données anté-rieures à u(0). On peut alors exprimer les données sous une forme matri-cielle :

U =

u(M − 1) u(M) · · · u(N − 1) 0 · · · 0u(M − 2) u(M − 1) · · · u(N − 2) u(N − 1) · · · 0

......

. . ....

.... . . 0

u(0) u(1) · · · u(N −M) u(N −M + 1) · · · u(N − 1)

(5.119)L’équation (5.116) reste alors valable en notant

e = [e(M−1)e(M) · · · e(N+M−1)] et d = [d(M−1)d(M) · · · d(N+M−1)]

5.7.3 Principe d’orthogonalité pour les moindres carrésOn se placera dorénavant dans la méthode de covariance.On définit alors le nouveau critère à minimiser sous la forme vectorielle :

ξ(h) = eHe, où e = d−UTh (5.120)

On détermine alors :

∂

∂h(ξ(h)) =

∂eHe∂h0

∂eHe∂h1

...∂eHe∂hM−1

(5.121)

En utilisant les relations de l’appendice, on trouve

∂

∂h(ξ(h)) = −(d−UTh)HUT = −eHUT (5.122)




Cette relation, pour avoir un minimum, doit être annulée. Ensuite, on vérifieaisément que la dérivée seconde est positive.

On peut donc écrire

eHUT = 0 (5.123)

qui exprime l’orthogonalité entre les erreurs et les entrées du filtre optimal.On a donc un principe d’orthogonalité similaire à celui du cas stochastique(filtre de Wiener).

De la même manière, toute combinaison linéaire de l’équation précédente estvalable, et on obtient aisément que :

eHy = eH d (5.124)

que l’on interprète en disant que l’erreur doit être orthogonale aux entréeset à l’estimation.

5.7.4 Equations normales

Cette relation d’orthogonalité nous amène directement à une interprétationgéométrique. Dérivons d’abord la solution du problème des moindres carrés(équation (5.122)).

En notant, pour la facilité UT = X, on obtient les équations normalespour la méthode des moindres carrés :

(d−Xh)HX = 0⇔ h = (XHX)−1XHd (5.125)

où (XHX)−1XH est appelée la matrice pseudo-inverse de X et où on a

supposé que XHX était invertible.L’erreur minimale étant alors exprimée par :

ξmin = eH e= (d−Xh)H(d−Xh) = dHd− dHXh− h

HXHd + h

HXHXh

= dHd− dHX(XHX)−1XHd

(5.126)Ce qui exprime l’erreur et la solution directement en fonction des données

et de la réponse désirée.On définit alors, de manière analogue au cas stochastique, la matrice ce

corrélation :

Φ = XHX =

φ(0, 0) φ(1, 0) · · · φ(M − 1, 0)φ(0, 1) φ(1, 1) · · · φ(M − 1, 1)

......

. . ....

φ(0,M − 1) φ(1,M − 1) · · · φ(M − 1,M − 1)

(5.127)




où on peut détailler les éléments de la matrice de corrélation que l’on appel-lera les fonctions d’autocorrélation moyennées dans le temps.

φ(t, k) =

N−1∑

i=M−1

u(i− k)u∗(i− t) (5.128)

On peut aisément vérifier que cette matrice d’autocorrélation possède essen-tiellement les mêmes propriétés que la matrice d’autocorrélation stochastique,à savoir qu’elle est Hermitienne, définie non négative et possède des va-leurs propres réelles non négatives. D’autre part, par construction, elle estle produit de deux matrices rectangulaires Toeplitz.

De la même manière, on définit le vecteur de cross-corrélation entre l’en-trée u et la réponse désirée d :

Θ = [θ(0), θ(1), · · · , θ(M − 1)]T = XHd (5.129)

On peut alors réécrire l’équation (5.125) sous la forme :

Φh = Θ (5.130)

qui sont les équations normales pour la méthode des moindres carrés. Ony retrouve la relation entre la matrice d’autocorrélation et la matrice de cross-corrélation d’une manière similaire à l’équation (5.79) pour le critère MMSEdans le cas stochastique.

Le vecteur de sortie est alors exprimé par :

y = d = Xh (5.131)

L’erreur minimale s’écrit alors :

ξmin = dHd−ΘHΦ−1Θ (5.132)

5.7.5 Interprétation géométrique.

L’abstraction relative de ces équations, la notion d’orthogonalité et la repré-sentation par des vecteurs laissent supposer que l’on peut donner une interpré-tation géométrique du problème des moindres carrés et de la solution.

En effet, les colonnes de la matrice de donnéesX,Φ etP définissent un espacevectoriel de dimension N −M + 1. Le vecteur de données est de dimension Net est donc défini dans un espace de dimensions N . D’autre part, la relationd’orthogonalité entre l’erreur minimale et l’estimation des données (d)(on serappellera que ed = 0) signifie que l’on peut diviser l’espace des données enl’espace des données estimées et son complément orthogonal qui est l’espace del’erreur. On parle souvent dans la littérature de sous-espace signal et sous-espacebruit, ce dernier étant en l’occurence le bruit du à l’erreur.




Enfin, pour le passage de l’espace total aux sous-espaces signal et bruit, ondéfinit l’opérateur de projection P = X(XHX)

−1XH . En effet, la relation

d = X(XHX)−1XHd = Pd

met en lumière que l’opérateur P nous fait passer de d à d. Cet opérateur peutdonc être interprété comme l’opérateur de projection de l’espace total sur lesous-espace signal.

D’autre part, on définit l’opérateur de projection orthogonal

I−P

qui assure la projection des données sur le sous-espace bruit.

La figure 5.15 illustre cela dans le cas de M = 1 et N = 3, c’est-à-dire 4données en entrée et un filtre de longueur 2.

I−P

d

d

emin

P

Figure 5.15 – Interprétation géométrique de la méthode des moindres carrés.

Exemple 5.7.1 Cas d’un filtre de longueur 2 et de 4 données




Considérons le cas N = 3,M = 1 avec u = [5, 3, 1, 10]T ; d = [7, 4, 1]T . Onobtient immédiatement

X =

3 51 310 1

L’opérateur de projection vaut :

P = X(XHX)−1XT =

0.7257 0.4446 0.03780.4446 0.2795 −0.06130.0378 −0.0613 0.9948

(5.133)

Ce qui permet de trouver la solution :

y = d =

6.89604.16861.0144

(5.134)

Et l’erreur d’estimation :

y = d =

0.10400.16860.0144

(5.135)

Cet exemple est illustré par la figure 5.16. C

0

2

4

6

01

23

4

0

0.5

1

1.5

2

Figure 5.16 – Exemple d’estimation LS




5.7.6 Propriétés de l’estimation des moindres carrés.

1. L’estimée h est non biaisée, si {ε(i)} est à moyenne nulle.Notons la valeur vraie du filtre ho. Alors, de

h = (XHX)−1XHd et d = Xho + ε (5.136)

On déduit :

h = (XHX)−1XHXho + (XHX)

−1XHε

= ho + (XHX)−1XHε

(5.137)

Les données représentées parX étant déterministes et ε(i) étant à moyennenulle, on déduit immédiatement :

E{h}

= ho (5.138)

2. Si ε(i) est un bruit blanc à moyenne nulle et de variance σ2, l’estimée ha une matrice de covariance valant σ2Φ−1.Les relations suivantes nous mènent directement à ce résultat :

cov{h} = E{

(h− h)(h− h)H}

= E{

(XHX)−1XHεεHX(XHX)

−1}

= (XHX)−1XHE

{εεH

}X(XHX)

−1

= (XHX)−1XHσ2IX(XHX)

−1

= σ2(XHX)−1XHX(XHX)

−1

= σ2(XHX)−1

= σ2Φ−1

(5.139)

3. Si ε(i)} est un bruit blanc à moyenne nulle et de variance σ2, l’estimée hest la meilleure estimée linéaire non-biaisée (BLUE : Best Linear UnbiasedEstimate).Considérons un estimateur linéaire non biaisé

h = Bd =⇒ h = BXho + Bε (5.140)

De même, l’hypothèse de moyenne nulle du bruit implique E{h}

= BXho.

Pour que l’estimée h soit non biaisée, il faut donc :

BX = I (5.141)




On peut donc écrire h = ho + Bε et la covariance s’exprime :

cov{h} = E{

(h− h)(h− h)H}

= E{BεεHBH

}

= σ2BBH

(5.142)

En définissant une matrice Ψ = B − (XHX)−1XH , nous avons les rela-tions :

ΨΨH = BBH −BX(XHX)−1 − (XHX)−1XHBH + (XHX)−1

= BBH − (XHX)−1

(5.143)or, ΨΨH ≥ 0, puisque c’est une forme quadratique, doncBBH ≥ (XHX)−1

et la proposition initiale est prouvée.4. Si ε(i) est un bruit blanc gaussien à moyenne nulle et de variance σ2,

l’estimée h est l’estimée non-biaisée de variance minimale. (MVUE : Mi-nimum Variance Unbiased Estimate).La manière de démontrer cette affirmation est de comparer la covariancede l’estimée à la matrice d’information de Fisher. Nous en laissons la dé-monstration à titre d’exercice.

5.8 ExercicesExercice 5.2

Un processus auto-régressif (AR) d’ordre un X(n) à valeurs réelle est définipar l’équation aux différences :

X(n) + a1X(n− 1) = V (n)

où a1 est une constante et V (n) est un processus blanc de variance σ2v.

1. Montrer que si V (n) a une moyenne non nulle, le processus AR X(n)est non stationnaire.

2. Si V (n) est à moyenne nulle et que la constante |a1| < 1, montrer quela varriance de X(n) vaut σ2

x =σ2v

1−a21.

3. Dans ces conditions, trouver la fonction d’autocorrélation du proces-sus AR X(n). Tracer cette fonction d’autocorrélation pour 0 < a1 < 1et pour −1 < a1 < 0.

1. Moyenne variant dans le temps : E {X(n)} = E {V (n)} +a1E {X(n− 1)}

2. σ2x + a1σ

2x = σ2

v

3. E {X(n)X(n−m)} = −a1E {X(n− 1)X(n−m)} ⇒rxx(m) = −a1.rxx(m− 1)




Exercice 5.3

Soit un processus X(n) à moyenne mobile défini par

X(n) = V (n) + 0.75V (n− 1) + 0.25V (n− 2)

où V (n) est un processus blanc centré de variance 1. On peut approximerce processus par un processus AR U(n) d’ordre M . Trouvez cette approxi-mation pour les ordres 2, 5 et 10 (pour les ordres 5 et 10, on pourra s’aiderde Scilab).

Commentez vos résultats.

D’abord, on calcule r(0) = 2; r(1) = 0.9375 et r(2) = 0.25 En-suite, on a l’équation de Yule Walker,

R[1; a1; a2]T = [σ2v; 0; 0]T

où

R =

r(0) r(1) r(2)r(1) r(0) r(1)r(2) r(1) r(0)

Pour M = 2, on trouve a1 = −0.5256571 eta2 = 0.1214018 ainsi que σ2

v = 1.5375469 (facile àfaire en écrivant les équations et en faisant une réso-lution par substitution). Pour M = 5, on trouve A =[1.;−0.5248620; 0.1127047; 0.0262534;−0.0318556; 0.0116506]T

et σ2v = 1.536118 . Pour M = 10, on trouve

A = [1.−0.5248837; 0.1127541; 0.0262413;−0.0321242; 0.0125908;− 0.0013810;−0.0013231; 0.0009182;−0.0002707; 0.0000121]T etσ2v = 1.5361101

On en déduit que l’approximation M = 2 est plutôt bonne, etqu’un processus MA peut être approximé presque parfaitementpar un processus AR d’ordre élevé (par exemple ici M = 10).

Exercice 5.4

Un processus aléatoire X(n) de moyenne nulle et de matrice de corrélationR est filtré par un filtre à réponse impulsionnelle finie de réponse impul-sionnelle w = [w0, w1, · · · , wN ]T .Montrer que la puissance moyenne à la sortie du filtre vaut wHRw. Quevaut cette puissance si le processus stochastique à l’entrée du filtre est unbruit blanc de variance σ2 ?

La sortie du filtre Y (n) peut s’écrire Y (n) =[w0, w1, · · · , wN ][X(n), X(n − 1), · · · , X(n − N)]T = wTX,donc, E {Y ∗ (n)Y (n)} = wHE

{XTX∗

}w = wHRw.

Si on a un bruit blanc : R = σ2I ⇒ σ2y = wHw

Exercice 5.5 Processus AR(2)




Soit un processus AR(2) déterminé par A = [1,−0.975, 0.95] et σ2v = 1. On

demande, selon les notations du cours :– les zéros de A(z) ;– les pôles de H(z) ;– la transformée en z de la fonction d’autocorrélation (utiliser le résultat

du point précédent) ;– la densité spectrale de puissance du processus (faire un diagramme de

Bode, utiliser votre cours d’automatique et l’expression de H(z) ) ;– Ecrire les équations de Yule-Walker, en déduire r(0), r(1) et r(2) ;– à partir du point précédent et du cours, déterminez r(k), k > 2 ;

Solution– A(z) = 1 + a1z

−1 + az−22 ⇒ z1,2 = 0.478± 0.844i

– H(z) = 1/A(z) donc les zéros de A(z) sont les pôles de H(z)– Sxx(z) = σ2

vH(z)H(1/z) =z2

0.95−1.90125z+2.853125z2−1.90125z3+0.95z4

– En Scilab, utiliser la fonction syslin pour modéliser Sxx(z)(avec l’option “d” parce qu’on est en discret !). On trouve alors

Exercice 5.6 Processus AR(2)

Soit un processus autorégressif d’ordre 2 Xn décrit par l’équation aux dif-férences suivantes :

Xn = Xn−1 − 0.5Xn−2 + Vn

où Vn est un bruit blanc de moyenne nulle et de variance 0.5– Ecrivez les équations de Yule-Walker pour ce processus.– Résolvez ces deux équations pour les valeurs de l’autocorrélation r(1) etr(2).

– Trouvez la variance de Xn.– Equations de Yule-Walker :[

r(0) r(1)r(1) r(0)

] [1−0.5

]=

[r(1)r(2)

]– r(1) = 2/3r(0); r(2) = r(0)/6– de σ2

x = r(0) et de σ2v = r(0) − r(1) + 0.5r(2) (première ligne

de l’équation de Yule-Walker), on déduit r(0) = σ2v/(1− 2/3 +

1/6× 0.5) = 1.2


Chapitre 6

Une ménagerie de Processus

6.1 Processus de Bernoulli

6.1.1 Définition– Variable de Bernoulli

– Expérience aléatoire : succès / échec– Variable aléatoire discrète X : deux valeurs possibles–

pX(x) =

{p , x = 1 (succès)1− p , x = 0 (échec)

– E {X} = 1 · p+ 0 · (1− p) = p

– var[X] = E{X2}− E {X}2 = 12 · p+ 02 · (1− p)− p2

= p− p2 = p(1− p)– Processus de Bernoulli

– Séquence {Xi} de v.a de Bernoulli indépendantes– Processus discret à temps discret– Xm = 1 : succès / arrivée pendant la période m

6.1.2 v.a. binomiale, géométrique– S : v.a. binomiale p, n (v.a. discrète)

– Nombre de succès sur n essais

– S =

n∑

i=1

Xi : somme de n v.a. Bernoulli indépendantes

pS(m) =

(n

m

)pm(1−p)n−m =

n!

m!(n−m)!pm(1−p)n−m (0 ≤ m ≤ n)

– E {S} =

n∑

i=1

E {Xi} = np

77



– var[S]ind=

n∑

i=1

var[Xi] = np(1− p)

– T : v.a. géométrique p (v.a. discrète)– Nombre d’essais jusqu’au premier succès inclus (échecs + 1 succès)

pT (t) = (1− p)t−1p , t = 1, 2, . . .

– E {T} = 1/p– var[T ] = (1− p)/p2

6.1.3 v.a. Bernoulli



v.a. binomiale, géométrique

! S : v.a. binomiale p, n (v.a. discrète)

" Nombre de succès sur n essais" S =

!ni=1 Xi : somme de n v.a. Bernoulli indépendantes

pS(m) =

"n

m

#pm(1 ! p)n!m =

n!

m!(n ! m)!pm(1 ! p)n!m (0 " m " n)

" E[S] =!n

i=1 E[Xi] = np

" var[S]ind=

!ni=1 var[Xi] = np(1 ! p)

! T : v.a. géométrique p (v.a. discrète)

" Nombre d’essais jusqu’au premier succès inclus (échecs + 1 succès)

pT (t) = (1 ! p)t!1p , t = 1, 2, . . .

" E[T ] = 1/p" var[T ] = (1 ! p)/p2

44

v.a. Bernoulli

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.2

0.4

0.6

0.8

1.0

Bernoulli

p : probabilité de succès à un essai

Esp

éra

nce

/ é

ca

rt!

typ

e

E[X]

!X

E[X] = p, !X =$

p(1 ! p)

45


E {X} = p, σX =√p(1− p)




6.1.4 v.a. binomiale



v.a. binomiale

0 2 4 6 8 10

0.0

00.1

00.2

0

Binomiale n = 10

m : nombre de succès

Fonction d

e p

robabili

té

p = 0.3p = 0.5

E[S] = np, !S =!

np(1 ! p)

46

v.a. Géométrique

2 4 6 8 10 12 14

0.0

0.1

0.2

0.3

0.4

0.5

Géométrique

t : essais jusqu’au 1er succès (inclus)

Fonction d

e p

robabili

té

p = 0.5

p = 0.3

pT (t) = (1 ! p)t!1p , t = 1, 2, . . .

0.2 0.4 0.6 0.8 1.0

02

46

810

Géométrique


Espéra

nce / é

cart!

type

!T

E[T]

E[T ] = 1/p, !T =!

(1 ! p)/p

47


E {S} = np, σS =√np(1− p)




6.1.5 v.a. Géométrique



v.a. binomiale

0 2 4 6 8 10

0.0

00.1

00.2

0

Binomiale n = 10


Fonction d

e p

robabili

té

p = 0.3p = 0.5

E[S] = np, !S =!

np(1 ! p)

46

v.a. Géométrique

2 4 6 8 10 12 14

0.0

0.1

0.2

0.3

0.4

0.5

Géométrique


Fonction d

e p

robabili

té

p = 0.5

p = 0.3

pT (t) = (1 ! p)t!1p , t = 1, 2, . . .

0.2 0.4 0.6 0.8 1.0

02

46

810

Géométrique


Espéra

nce / é

cart!

type

!T

E[T]

E[T ] = 1/p, !T =!

(1 ! p)/p

47


pT (t) = (1− p)t−1p , t = 1, 2, . . .






v.a. binomiale

0 2 4 6 8 10

0.0

00.1

00.2

0

Binomiale n = 10


Fonction d

e p

robabili

té

p = 0.3p = 0.5

E[S] = np, !S =!

np(1 ! p)

46

v.a. Géométrique

2 4 6 8 10 12 14

0.0

0.1

0.2

0.3

0.4

0.5

Géométrique


Fonction d

e p

robabili

té

p = 0.5

p = 0.3

pT (t) = (1 ! p)t!1p , t = 1, 2, . . .

0.2 0.4 0.6 0.8 1.0

02

46

810

Géométrique


Espéra

nce / é

cart!

type

!T

E[T]

E[T ] = 1/p, !T =!

(1 ! p)/p

47


E {T} = 1/p, σT =√

(1− p)/p

6.1.6 Indépendance



Indépendance

! Xi : v.a. indépendantes! Si U, V indépendantes !" f(U), g(V ) indépendantes! Le processus de Bernoulli se renouvelle à chaque instant! Le futur est indépendant du passé! Exemple : on observe Xi pendant n = 5 intervalles

" Aucun succès jusqu’à n = 5" T : le nombre d’essais (temps) jusqu’au premier succès" T ! n : le temps qui reste, après n, jusqu’au premier succès" P (T ! n = t|T > n) = (1 ! p)t!1p = P (T ! n = t)

! Processus de Bernoulli : sans mémoire

48

Temps d’attente

! Ym : le temps de la m-ième arrivée! Tm : le temps d’attente entre arrivées

" T1 = Y1

" Tm = Ym ! Ym!1 , m = 2, 3, . . .

! T1 : v.a. géométrique, de paramètre p! T2 : v.a. géométrique, de paramètre p, indépendante de T1

! {Tm} : séquence de v.a. géométriques, de même paramètre p, indépendantes!" définition alternative du processus de Bernoulli

49


– Xi : v.a. indépendantes– Si U, V indépendantes −→ f(U), g(V ) indépendantes– Le processus de Bernoulli se renouvelle à chaque instant– Le futur est indépendant du passé– Exemple : on observe Xi pendant n = 5 intervalles

– Aucun succès jusqu’à n = 5– T : le nombre d’essais (temps) jusqu’au premier succès– T − n : le temps qui reste, après n, jusqu’au premier succès– P (T − n = t|T > n) = (1− p)t−1p = P (T − n = t)

– Processus de Bernoulli : sans mémoire




6.1.7 Temps d’attente



Indépendance

! Xi : v.a. indépendantes! Si U, V indépendantes !" f(U), g(V ) indépendantes! Le processus de Bernoulli se renouvelle à chaque instant! Le futur est indépendant du passé! Exemple : on observe Xi pendant n = 5 intervalles

" Aucun succès jusqu’à n = 5" T : le nombre d’essais (temps) jusqu’au premier succès" T ! n : le temps qui reste, après n, jusqu’au premier succès" P (T ! n = t|T > n) = (1 ! p)t!1p = P (T ! n = t)

! Processus de Bernoulli : sans mémoire

48

Temps d’attente

! Ym : le temps de la m-ième arrivée! Tm : le temps d’attente entre arrivées

" T1 = Y1

" Tm = Ym ! Ym!1 , m = 2, 3, . . .

! T1 : v.a. géométrique, de paramètre p! T2 : v.a. géométrique, de paramètre p, indépendante de T1

! {Tm} : séquence de v.a. géométriques, de même paramètre p, indépendantes!" définition alternative du processus de Bernoulli

49


– Ym : le temps de la m-ième arrivée– Tm : le temps d’attente entre arrivées

– T1 = Y1

– Tm = Ym − Ym−1 , m = 2, 3, . . .– T1 : v.a. géométrique, de paramètre p– T2 : v.a. géométrique, de paramètre p, indépendante de T1

– {Tm} : séquence de v.a. géométriques, de même paramètre p, indépendantes−→ définition alternative du processus de Bernoulli

6.1.8 Temps d’arrivée



Temps d’arrivée

! Ym = T1 + T2 + . . . + Tm

! T1, . . . , Tm v.a. géométriques, de même paramètre p, indépendantes! E[Ym] = E[T1] + E[T2] + . . . + E[Tm] = m/p

! var[Ym]ind= var[T1] + var[T2] + . . . + var[Tm] = m(1 ! p)/p2

! Ym " m , P (Ym = t) = P (m ! 1 succès en t ! 1 essais)P (succès en t)! Distribution de Pascal de paramètre m :

pYm(t) =

!t ! 1

m ! 1

"pm(1 ! p)t!m , t = m,m + 1, . . .

50

Exemple de réalisation

0 10 20 30 40 50

02

46

810

Pr. de Bernoulli, p = 0.2

t

Nom

bre

d’a

rriv

ées e

ntr

e 0

et t

R script :

n = 50 # nombre d’essaisp = 0.2 # probabilité de succès

# vecteur de n BernoulliX = rbinom( n, 1, p )

# accumuler les arrivéesN = 0 * (1:n) # initialisationN[1] = X[1]for (i in 2:n) {

N[i] = N[i-1] + X[i]}

# ajouter le point (0,0)plot( 0:n, c(0,N), type="p" )lines( 0:n, c(0,N), type="h" )

51


– Ym = T1 + T2 + . . .+ Tm– T1, . . . , Tm v.a. géométriques, de même paramètre p, indépendantes– E {Ym} = E {T1}+ E {T2}+ . . .+ E {Tm} = m/p

– var[Ym]ind= var[T1] + var[T2] + . . .+ var[Tm] = m(1− p)/p2

– Ym ≥ m , P (Ym = t) = P (m− 1 succès en t− 1 essais)P (succès en t)– Distribution de Pascal de paramètre m :

pYm(t) =

(t− 1

m− 1

)pm(1− p)t−m , t = m,m+ 1, . . .




6.1.9 Exemple de réalisation



Temps d’arrivée

! Ym = T1 + T2 + . . . + Tm

! T1, . . . , Tm v.a. géométriques, de même paramètre p, indépendantes! E[Ym] = E[T1] + E[T2] + . . . + E[Tm] = m/p

! var[Ym]ind= var[T1] + var[T2] + . . . + var[Tm] = m(1 ! p)/p2

! Ym " m , P (Ym = t) = P (m ! 1 succès en t ! 1 essais)P (succès en t)! Distribution de Pascal de paramètre m :

pYm(t) =

!t ! 1

m ! 1

"pm(1 ! p)t!m , t = m,m + 1, . . .

50

Exemple de réalisation

0 10 20 30 40 50

02

46

81

0

Pr. de Bernoulli, p = 0.2

t

No

mb

re d

’arr

ivé

es e

ntr

e 0

et

t

R script :




N[i] = N[i-1] + X[i]}


51


R script :




N[i] = N[i-1] + X[i]}





6.1.10 Séparation de processus



Séparation de processus

! Les décisions sur les arrivées du processus d’origine sont indépendantes! À partir d’un processus de Bernoulli,

obtenir deux nouveaux processus de Bernoulli :

" (en haut) paramètre p · q" (en bas) paramètre p · (1 ! q)

52

Combinaison de processus

! Deux processus de Bernoulli indépendants,de paramètres p et q

! Obtenir un nouveau processus de Bernoullide paramètre 1 ! (1 ! p)(1 ! q) = p + q ! pq

53


– Les décisions sur les arrivées du processus d’origine sont indépendantes– À partir d’un processus de Bernoulli,

obtenir deux nouveaux processus de Bernoulli :– (en haut) paramètre p · q– (en bas) paramètre p · (1− q)

6.1.11 Combinaison de processus



Séparation de processus

! Les décisions sur les arrivées du processus d’origine sont indépendantes! À partir d’un processus de Bernoulli,

obtenir deux nouveaux processus de Bernoulli :

" (en haut) paramètre p · q" (en bas) paramètre p · (1 ! q)

52

Combinaison de processus

! Deux processus de Bernoulli indépendants,de paramètres p et q

! Obtenir un nouveau processus de Bernoullide paramètre 1 ! (1 ! p)(1 ! q) = p + q ! pq

53


– Deux processus de Bernoulli indépendants,de paramètres p et q

– Obtenir un nouveau processus de Bernoullide paramètre 1− (1− p)(1− q) = p+ q − pq

6.1.12 Binomiale −→ Poisson– S : v.a. binomiale p, n ; nombre de succès sur n essais indépendants– Si p� 1, n� 1 et p · n = w :pS(m) =

(nm

)pm(1− p)n−m = n!

m!(n−m)!wm

nm

(1− w

n

)n−m

= n(n−1)...(n−m+1)m!

wm

nm

(1− w

n

)n−m

= nnn−1n . . . n−m+1

nwm

m!

(1− w

n

)n (1− w

n

)−m

−→n→∞

1 · 1 · . . . · 1wmm! e−w · 1 = e−w wm

m! = pZ(m)

– Z : v.a. Poisson, de paramètre w (v.a. discrète)– E {Z} = w = np– var[Z] = w ≈ np(1− p)– Z : nombre de succès, quand on a w succès en moyenne




– En pratique, l’approximation est valide si : n ≥ 100 et p ≤ 0.01– Si X,Y des v.a. Poisson indépendantes, de paramètres w, u :X + Y v.a. Poisson de paramètre w + u

6.1.13 Binomiale −→ Poisson 2



Binomiale !" Poisson

! S : v.a. binomiale p, n ; nombre de succès sur n essais indépendants! Si p # 1, n $ 1 et p · n = w :

pS(m) =!nm

"pm(1 ! p)n!m = n!

m!(n!m)!wm

nm

!1 ! w

n

"n!m

= n(n!1)...(n!m+1)m!

wm

nm

!1 ! w

n

"n!m

= nn

n!1n . . . n!m+1

nwm

m!

!1 ! w

n

"n !1 ! w

n

"!m

!"n"#

1 · 1 · . . . · 1wm

m! e!w · 1 = e!w wm

m! = pZ(m)

! Z : v.a. Poisson, de paramètre w (v.a. discrète)! E[Z] = w = np! var[Z] = w % np(1 ! p)! Z : nombre de succès, quand on a w succès en moyenne! En pratique, l’approximation est valide si : n & 100 et p ' 0.01! Si X,Y des v.a. Poisson indépendantes, de paramètres w, u :

X + Y v.a. Poisson de paramètre w + u

54

Binomiale !" Poisson 2

0 5 10 15 20 25 30

0.0

00

.04

0.0

80

.12

B: n = 1000 , p = 0.01 / P: w = 10


Fo

nctio

n d

e p

rob

ab

ilité

55


6.2 Processus de Poisson

6.2.1 Définition

– Processus discret à temps continu, d’intensité λ– N(t) , nombre d’arrivées entre 0 et t– Nτ , N(t+ τ)−N(t) : nombre d’arrivées entre t et t+ τ– P (k, τ) , P ({il y a k arrivées dans l’intervalle [t, t+ τ ]}) = pNτ (k)– Propriétés

1. Homogénéité temporelle :P (k, τ) indépendant de t

2. Indépendance :Les nombres d’arrivées dans des intervalles disjointssont des variables aléatoires indépendantes

3. Petits intervalles :

Si δ → 0 , P (k, δ) ≈

1− λδ , k = 0

λδ , k = 1

0 , k > 1




6.2.2 Nombre d’arrivées en τ



Processus de Poisson 56

Définition

! Processus discret à temps continu, d’intensité !! N(t) " nombre d’arrivées entre 0 et t! N! " N(t + ") ! N(t) : nombre d’arrivées entre t et t + "! P (k, ") " P ({il y a k arrivées dans l’intervalle [t, t + " ]}) = pN! (k)! Propriétés

1. Homogénéité temporelle :P (k, ") indépendant de t

2. Indépendance :Les nombres d’arrivées dans des intervalles disjointssont des variables aléatoires indépendantes

3. Petits intervalles :

Si # " 0 , P (k, #) #

!"#"$

1 ! !# , k = 0

!# , k = 1

0 , k > 1

57

Nombre d’arrivées en !

0

"

#

! Discretiser " en n = "/# périodes! P (0, #) # 1 ! !# , P (1, #) # !#! Processus de Bernoulli de paramètre !#! N! : nombre de succès sur n essais indépendants (binomiale)! E[N! ] = n · !# = !"! # " 0, binomiale " Poisson! pN! (k) = P (k, ") =

%nk

&(!#)k(1 ! !#)n!k !"

n"#e!n"# (n"#)k

k!

= e!"! ("!)k

k! , k = 0, 1, 2, . . .! N! : loi de Poisson de paramètre !" , E[N! ] = !" , var[N! ] = !"! Intensité ! : arrivées / unité de temps

58


– Discretiser τ en n = τ/δ périodes– P (0, δ) ≈ 1− λδ , P (1, δ) ≈ λδ– Processus de Bernoulli de paramètre λδ– Nτ : nombre de succès sur n essais indépendants (binomiale)– E {Nτ} = n · λδ = λτ– δ → 0, binomiale → Poisson– pNτ (k) = P (k, τ) =

(nk

)(λδ)k(1− λδ)n−k −→

n→∞e−nλδ (nλδ)k

k!

= e−λτ (λτ)k

k! , k = 0, 1, 2, . . .– Nτ : loi de Poisson de paramètre λτ , E {Nτ} = λτ , var[Nτ ] = λτ– Intensité λ : arrivées / unité de temps

6.2.3 Première arrivée– T : le temps d’arrivée du premier événement (v.a. continue)– FT (t) = P (T ≤ t) = 1− P (T > t) = 1− P (0, t) = 1− e−λt (λt)0

0!= 1− e−λt , t ≥ 0

–

pT (t) =dFT (t)

dt= λe−λt , t ≥ 0

– T : v.a. exponentielle– E {T} = 1/λ– var[T ] = 1/λ2

–P (T ≤ t) = 1− e−λt

–P (T > t) = e−λt

6.2.4 Indépendance– Le processus de Poisson se renouvelle à chaque instant– Le futur est indépendant du passé– Exemple : on observe le processus jusqu’à l’instant t0– T : le temps du premier événement après t0– P (T − t0 > s) = P (0 arrivées dans [t0, t0 + s]) = P (0, s)

= e−λs (λs)0

0! = e−λs : T − t0 v.a. exponentielle– Processus de Poisson : sans mémoire




6.2.5 Temps d’attente

– Ym : le temps de la m-ième arrivée– Tm : le temps d’attente entre arrivées

– T1 = Y1

– Tm = Ym − Ym−1 , m = 2, 3, . . .– T1 : v.a. exponentielle, de paramètre λ : pT1

(t) = λe−λt

– T2 : v.a. exponentielle, de paramètre λ , indépendante de T1

– {Tm} : séquence de v.a. exponentielles, de même paramètre λ, indépendantes−→ définition alternative du processus de Poisson

6.2.6 Temps d’arrivée

– Ym = T1 + T2 + . . .+ Tm– T1, . . . , Tm v.a. exponentielles, de même paramètre λ, indépendantes :pTi(t) = λe−λt

– E {Ym} = E {T1}+ E {T2}+ . . .+ E {Tm} = m/λ

– var[Ym]ind= var[T1] + var[T2] + . . .+ var[Tm] = m/λ2

– Si δ → 0 ,δ · pYm(y) = P (y < Ym ≤ y + δ)

= P (m− 1 arrivées avant y)P (1 arrivée entre y et y + δ)= P (m− 1, y)λδ

– Distribution Erlang d’ordre m :

pYm(y) = e−λy(λy)m−1

(m− 1)!λ =

λmym−1e−λy

(m− 1)!, y ≥ 0

6.2.7 Processus de Bernoulli / Poisson

Bernoulli PoissonProcessus discret, à temps discret continu

Rythme d’arrivées p par essai λ/tempsNombre d’arrivées N à n essais dans un intervalle τ

binomiale n, p Poisson λτE {N} np λτ

σN√np(1− p)

√λτ

Temps d’attente T géométrique exponentielleE {T} 1/p 1/λ

σT√

(1− p)/p 1/λTemps d’arrivée Ym Pascal Erlang

E {Ym} m/p m/λ

σYm√m(1− p)/p √

m/λ




6.2.8 « Incidence aléatoire »



Processus de Bernoulli / Poisson

Bernoulli PoissonProcessus discret, à temps discret continu

Rythme d’arrivées p par essai !/tempsNombre d’arrivées N à n essais dans un intervalle "

binomiale n, p Poisson !"E[N ] np !"

#N

!np(1 ! p)

"!"

Temps d’attente T géométrique exponentielleE[T ] 1/p 1/!

#T

!(1 ! p)/p 1/!

Temps d’arrivée Ym Pascal ErlangE[Ym] m/p m/!

#Ym

!m(1 ! p)/p

"m/!

63

« Incidence aléatoire »

t

L

U V

t ! U V ! t

! Poisson d’intensité ! :temps d’attente exponentiels, de moyenne 1/!

! Choisir un instant t entre deux arrivées consécutives, U, V! Temps entre arrivées : V ! U = L! V ! t : v.a exponentielle, paramètre !! t ! U : v.a exponentielle, paramètre !! (V ! t), (t ! U) : v.a. indépendantes! L = (t ! U) + (V ! t)! L : v.a. Erlang d’ordre 2 , E[L] = 2/! ( !)! E[temps d’attente mesuré] = 2E[temps d’attente du processus]! Le paradoxe de l’incidence aléatoire !

64


– Poisson d’intensité λ :temps d’attente exponentiels, de moyenne 1/λ

– Choisir un instant t entre deux arrivées consécutives, U, V– Temps entre arrivées : V − U = L– V − t : v.a exponentielle, paramètre λ– t− U : v.a exponentielle, paramètre λ– (V − t), (t− U) : v.a. indépendantes– L = (t− U) + (V − t)– L : v.a. Erlang d’ordre 2 , E {L} = 2/λ ( !)– E {temps d’attente mesuré} = 2E {temps d’attente du processus}– Le paradoxe de l’incidence aléatoire !

6.2.9 Exemples de réalisation



Exemples de réalisation

0 5 10 15 20 25 30

05

10

15

20

Pr. de Poisson, ! = 1

t

No

mb

re d

’arr

ivé

es e

ntr

e 0

et

t

R script :

n = 20 # max arrivéeslambda = 1 # intensité

# temps d’attente exponentielsT = rexp( n, rate=lambda )

# temps d’arrivéeY = 0 * (1:n) # initialisationY[1] = T[1]for (i in 2:n) {

Y[i] = Y[i-1] + T[i]}

# ajouter le point (0,0)plot( c(0,Y), 0:n, type="s" )

65





6.3 Exercices

Exercice 6.1 Pluie

Après un jour de pluie, le nombre de jours jusqu’au prochain jour plu-vieux suit une distribution géométrique de paramètre p, indépendammentdu passé.Calculer la probabilité qu’il pleuve le 13e et 17e jour d’un mois.

P = p2.

Exercice 6.2 Données binaires

Un flux binaire est caractérisé par une probabilité d’erreur à un bit égale àp = 0.02. Les erreurs sont indépendantes.

1. Donner une description détaillée (fonction de probabilité, espérance etvariance) du nombre de bits sans erreur (Nb) entre deux bits erronnés.

2. On combine deux flux binaires indépendants, de même probabilitéd’erreur, pour obtenir des symboles de deux bits. Donner une des-ciption détaillée du nombre de symboles sans erreur (Ns) entre deuxsymboles erronés.

1. Nb + 1 : v.a. géométrique de paramètre p ;pNb(n) = (1− p)np, E[Nb] = 1

p− 1, var[Nb] = (1− p)/p2.

2. Ns + 1 : v.a. géométrique de paramètre q = 1− (1− p)2 ;pNs(n) = (1− q)nq, E[Ns] = 1

q− 1, var[Ns] = (1− q)/q2.

Exercice 6.3 Parking

Dans une rue de circulation moyenne, les places sont occupées de façonindépendante les unes des autres. Les probabilités d’occupation sont égalesà qd = 0.7 (côté droite) et qg = 0.6 (côté gauche).

1. Combien de places vous devez « attendre » en moyenne si vous voulezvous garer ?

2. Combien de places vous devez « attendre » en moyenne s’il y a deuxvoitures devant vous qui veulent se garer ? (Afin de simplifier le pro-blème, on fera l’hypothèse que les voitures ne se garent pas simulta-nément à des places opposées.)

Combiner les places libres.

1. E[T ] = 1/(1− qgqd)2. E[Y3] = 3/(1− qgqd)

Exercice 6.4 En parallèle




Dans un système de N calculateurs en parallèle, la probabilité qu’une tâcheà traiter arrive pendant une unité de temps est égale à p.On envisage deux algorithmes de répartition des tâches :

1. De façon aléatoire et équiprobable, chaque tâche arrivée est attribuéeà un calculateur.

2. De façon déterministe, chaque tâche est attribuée de façon cyclique àun calculateur.

Donner la fonction de probabilité, l’espérance et la variance du temps d’at-tente à un calculateur pour chaque algorithme.

1. Séparation de processus,pT (t) = (1− p

N)t−1 p

N, E[T ] = N/p, var[T ] = N N−p

p2

2. Temps d’attente = YN ,pT (t) =

(t−1N−1

)pN (1− p)N−t, E[T ] = N/p, var[T ] = N 1−p

p2.

Exercice 6.5 Jeu vidéo

Votre neveu passe tout son temps devant sa console en jouant au même jeu.On note p la probabilité qu’il gagne une partie et on considère qu’elle estindépendante des autres résultats. Vous entrez dans sa chambre à 18h25 etvous constatez qu’il est en train de perdre une partie.Calculer la fonction de probabilité du nombre de parties (L) perdues entrela dernière partie gagnée et la première partie qu’il va gagner dans l’avenir.Quelle est l’espérance de L ? Pourquoi vos observations sont contestées parvotre neveu ?

Incidence aléatoire dans un processus à temps disctet.pL(n) = np2(1− p)n−1, E[L] = 2

p− 1 alors que E[T ] = 1

p.

Exercice 6.6 Accidents

Entre 8h et 9h du matin, les accidents de circulation arrivent suivant unprocessus de Poisson de paramètre λ1 = 5 accidents par heure. Entre 9het 11h, les accidents sont modélisés par un autre processus de Poisson,indépendant du premier, de paramètre λ2 = 3 accidents par heure.Calculer la fonction de probabilité de la variable aléatoire représentant lenombre d’accidents de circulation entre 8h et 11h.

Somme de deux v.a. de Poisson indépendantes, de paramètresw1 = λ11h = 5, w2 = λ22h = 6. Donc le nombre d’accidentsentre 8h et 11h est donné par une v.a. de Poisson de paramètrew = w1 + w2 = 11.

Exercice 6.7 La Poste




On considère qu’à la Poste on trouve deux types de clients : ceux qui veulentposter une lettre et ceux qui veulent retirer un colis. Les premiers arriventsuivant un processus de Poisson de paramètre λ1 et les deuxièmes arriventsuivant un autre processus de Poisson, indépendant du premier, de para-mètre λ2.

1. Montrer que le nombre d’arrivées totales est un processus de Poissonde paramètre λ1 + λ2.

2. Montrer que la probabilité que le client quivient d’arriver (petit intervalle) poste une lettre,P ({il y a une arrivée lettre}|{il y a une arrivée}), est égale àλ1

λ1+λ2.

1. Il faut montrer que le processus combiné est un proces-sus de Poisson : indépendance, homogénéité et petits in-tervalles. Les petits intervalles donnent comme intensitéλ1 + λ2.

2. Calculer la probabilité conditionnelle avec les formules depetits intervalles.

Exercice 6.8 Ampoules

Les temps de vie Ta et Tb de deux ampoules sont des v.a. indépendantes etdistribuées de façon exponentielle de paramètre λa et λb, respectivement.

1. Montrer que la v.a. T = min (Ta, Tb) est exponentielle de paramètreλa + λb. Interpréter le résultat.

2. Calculer l’espérance de la v.a. S = max(Ta, Tb) − T en utilisant lethéorème d’espérance totale.

3. Calculer l’espérance de la v.a. X = max(Ta, Tb).

1. FT (t) = P (T ≤ t) = 1− P (T ≥ t)= 1− P (Ta > t ∩ Tb > t) = . . .

2. E {S} = 1λb

λaλa+λb

+ 1λa

λbλa+λb

.

3. E {X} = E {S}+ E {T} = . . .

Exercice 6.9 Uniforme

On considère un processus de Poisson de paramètre λ et l’événement A ={il y a une arrivée dans l’intervalle [a, b]}.Montrer que la densité de probabilité du temps d’arrivée T conditionnée surA, pT |A(t), est uniforme dans [a, b].

A = {une arrivée entre [0, l]}.FT |A(t) = P (T ≤ t|A) = . . . = t

l

pT |A(t) =dFT |A(t)

dt= 1

l, 0 ≥ t ≥ l.

Exercice 6.10 Achats




Les clients sortent d’une librairie suivant un processus de Poisson, de pa-ramètre λ clients par heure. La variable aléatoire discrète Dn représente lasomme dépensée par le n-ième client. Les v.a. Di suivent la même distribu-tion, sont indépendantes entre elles ainsi qu’avec le processus de Poisson.On définit la somme totale S(t) = D1 +D2 +DN(t), où N(t) est le nombrede clients sortis jusqu’à l’instant t. Si N(t) = 0, on pose S(t) = 0.Montrer que :

E {S(t)} = E {N(t)}E {Di}var(S(t)) = E {N(t)} var(Di) + var(N)(E {Di})2.

A.N. : λ = 81 clients par jour, t = une journée, E {Di} = 8 EUR, σDi =6 EUR.

E {N(t)} = λt = 81, var[N(t)] = λt = 81E {S(t)} = 648 EURσS(t) = 90 EUR


Chapitre 7

Chaînes de Markov

7.1 Définition

– Processus discret à temps discret ou continu– Séquence de variables aléatoires Xn

– xn ∈ S = {1, 2, . . . ,m}– Propriété de Markov :

P (Xn+1 = j|Xn = i,Xn−1 = in−1, . . . , X0 = i0) = P (Xn+1 = j|Xn = i)

– Processus avec mémoire– Terminologie

– États : les membres de l’ensemble S– Probabilité de transition : P (Xn+1 = j|Xn = i) , pij

7.2 Matrice de transition

P =

p11 p12 . . . p1m

p21 p22 . . . p2m

. . . . . . . . . . . .pm1 pm2 . . . pmm

– Normalisation :m∑

k=1

pik = 1 , ∀i ∈ S

– Exemple : suivre un cours

93





Matrice de transition

P =

!""#

p11 p12 . . . p1m

p21 p22 . . . p2m

. . . . . . . . . . . .pm1 pm2 . . . pmm

$%%&

! Normalisation :m'

k=1

pik = 1 , !i " S

! Exemple : suivre un cours

1 2

0.3

0.1

0.7 0.9

à jour en retard

P =

(0.7 0.30.1 0.9

)

68

Trajectoires

! Probabilité d’une trajectoire

P (X0 = i0,X1 = i1, . . . ,Xn = in) = P (X0 = i0)pi0i1 . . . pin!1in

! Probabilité d’une transition à n étapes

p(n)ij " P (Xn = j|X0 = i)

# Équation de Chapman – Kolmogorov

p(n)ij =

'

k

p(r)ik p

(n!r)kj , 1 # r # n $ 1 (probabilité totale)

# Application pour n = 2 : p(2)ij =

*k pikpkj $% P(2) = P2

# Matrice de n transitions :P(n) = Pn

69


7.3 Trajectoires– Probabilité d’une trajectoire

P (X0 = i0, X1 = i1, . . . , Xn = in) = P (X0 = i0)pi0i1 . . . pin−1in

– Probabilité d’une transition à n étapes

p(n)ij , P (Xn = j|X0 = i)

– Équation de Chapman – Kolmogorov

p(n)ij =

∑

k

p(r)ik p

(n−r)kj , 1 ≤ r ≤ n− 1 (probabilité totale)

– Application pour n = 2 : p(2)ij =

∑

k

pikpkj −→ P(2) = P2

– Matrice de n transitions :

P(n) = Pn

7.4 Classification des états



Classification des états

1 2 3 4 5

! L’état j est accessible à partir de l’état i si :

!n : p(n)ij > 0

! A(i) : l’ensemble des états accessibles à partir de l’état i! État i transitoire :

!j " A(i) : i /" A(j)

! État i récurrent :#j " A(i) : i " A(j)

Les états A(i) forment une classe : #j " A(i), A(j) = A(i)

70

Classification des états (2)

1 2 3 4 5

! Une chaîne de Markov est composée de :

" Une ou plusieurs classes récurrentes" Éventuellement, quelques états transitoires

! Un état récurrent est accessible à partir de tous les états de sa classe! Un état transitoire n’est pas accessible à partir d’un état récurrent! Au moins un état récurrent est accessible à partir d’un état transitoire

71


– L’état j est accessible à partir de l’état i si :

∃n : p(n)ij > 0




– A(i) : l’ensemble des états accessibles à partir de l’état i– État i transitoire :

∃j ∈ A(i) : i /∈ A(j)

– État i récurrent :∀j ∈ A(i) : i ∈ A(j)

Les états A(i) forment une classe : ∀j ∈ A(i), A(j) = A(i)– Une chaîne de Markov est composée de :

– Une ou plusieurs classes récurrentes– Éventuellement, quelques états transitoires

– Un état récurrent est accessible à partir de tous les états de sa classe– Un état transitoire n’est pas accessible à partir d’un état récurrent– Au moins un état récurrent est accessible à partir d’un état transitoire

7.5 PériodicitéÉcole Polytechnique de l’UNSPolytech’Nice-Sophia


Périodicité

12 3

4

56

S1

S2

S3

! Classe récurrente périodique :il existe une partition S1, . . . , Sd (d > 1) de ses états telle que :

si i ! Sk et pij > 0,

!j ! Sk+1 , k < d

j ! S1 , k = d

! Classe récurrente apériodique : "n : p(n)ij > 0 , #i, j

72

Comportement à long terme

! Une seule classe récurrente, apériodique (+ des états transitoires)

1. Pour chaque état j,p(n)ij $%

n!"!j , #i

2. Les !j sont la solution unique du système :

!j ="

k

!kpkj , #j et"

k

!k = 1

3. États transitoires : !j = 0États récurrents : !j > 0

! limn!" P (Xn = j) = limn!"#

k P (X0 = k)p(n)kj =

#k P (X0 = k)!j

= !j#

k P (X0 = k) = !j

! Si #i, P (X0 = i) = !i : P (X1 = i) =#

k P (X0 = k)pki =#

k !kpki = !i

!i : distribution de probabilités stationnaire

73


pace-0.3cm– Classe récurrente périodique :

il existe une partition S1, . . . , Sd (d > 1) de ses états telle que :

si i ∈ Sk et pij > 0,

{j ∈ Sk+1 , k < d

j ∈ S1 , k = d

– Classe récurrente apériodique : ∃n : p(n)ij > 0 , ∀i, j

7.6 Comportement à long terme– Une seule classe récurrente, apériodique (+ des états transitoires)

1. Pour chaque état j,p

(n)ij −→

n→∞πj , ∀i




2. Les πj sont la solution unique du système :

πj =∑

k

πkpkj , ∀j et∑

k

πk = 1

3. États transitoires : πj = 0

États récurrents : πj > 0

– limn→∞ P (Xn = j) = limn→∞∑

k

P (X0 = k)p(n)kj =

∑

k

P (X0 = k)πj

= πj∑

k

P (X0 = k) = πj

– Si ∀i, P (X0 = i) = πi : P (X1 = i) =∑

k

P (X0 = k)pki =∑

k

πkpki = πi

πi : distribution de probabilités stationnaire

7.7 Chaînes ergodiques– Une seule classe récurrente, apériodique (+ des états transitoires)– uij(n) : nombre de passages par l’état j pendant les n premières transi-tions,avec état de départ X0 = i

fréquence relative de passages :uij(n)

n−→n→∞

πj

– qijk(n) : nombre de transitions j −→ k pendant les n premières transitions,avec état de départ X0 = i

fréquence relative de transitions :qijk(n)

n=uij(n)pjk

n−→n→∞

πjpjk

– Justification de πk =∑

j

πjpjk : passages par k =∑

j

transitions j vers k

7.8 Processus de naissance et de mort– Processus de Markov, transitions uniquement entre les états voisins– bi = P (Xn+1 = i+ 1|Xn = i) , di = P (Xn+1 = i− 1|Xn = i)



Chaînes ergodiques

! Une seule classe récurrente, apériodique (+ des états transitoires)! uij(n) : nombre de passages par l’état j pendant les n premières transitions,

avec état de départ X0 = i

fréquence relative de passages :uij(n)

n!"n!"

!j

! qijk(n) : nombre de transitions j !" k pendant les n premières transitions,avec état de départ X0 = i

fréquence relative de transitions :qijk(n)

n=

uij(n)pjk

n!"n!"

!jpjk

! Justification de !k =!

j !jpjk : passages par k =!

j transitions j vers k

74

Processus de naissance et de mort

! Processus de Markov, transitions uniquement entre les états voisins! bi = P (Xn+1 = i + 1|Xn = i) , di = P (Xn+1 = i ! 1|Xn = i)

0 1 m ! 1 m

b0

d1

1 ! b0

b1

d2

1 ! b1 ! d1

bm#2

dm#1

bm#1

dm

1 ! bm#1 ! dm#1 1 ! dm

! !j =!

k !kpkj , #j se simplifie :! !kpkj : fréquence relative de transitions qikj(n)/n , n " $! Symétrie : qik(k+1)(n) = qi(k+1)k(n) , n " $ , 0 % k % m ! 1

! !kbk = !k+1dk+1 !" !k+1

!k= bk

dk+1, 0 % k % m ! 1

!"j#1

k=0!k+1

!k=

"j#1k=0

bkdk+1

!" !j = !0b0b1 . . . bj#1

d1d2 . . . dj, 1 % j % m

! Normalisation :!

j !j = 1

75





7.9 Exercices

Exercice 7.1 Suivre un cours

On considère que chaque semaine, en fonction du temps consacré à sa prépa-ration, un étudiant peut soit être à jour par rapport au cours, soit en retard.Cette situation est modélisée à l’aide d’une chaîne de Markov à deux étatsdont la matrice de transition est donnée par

P =

(0.8 0.20.6 0.4

).

1. Classifier les états de cette chaîne.2. Calculer la probabilité de se retrouver, à long terme, dans chaque

état.1. Une classe récurrente, non périodique : états 1 et 2.2. π1 = p21

p12+p21= 3

4,

π2 = p12p12+p21

= 14.

Exercice 7.2 Parapluies

Un enseignant a deux parapluies qu’il utilise pendant ses déplacements entrechez lui et son bureau. S’il pleut et si un parapluie est disponible à l’endroitde départ, il s’en sert. Si il ne pleut pas, il oublie systématiquement deprendre un parapluie. On suppose que la probabilité qu’il pleuve au momentde son départ est toujours égale à p.

1. Modéliser ce problème en utilisant une chaîne de Markov à trois états,représentant le nombre de parapluies disponibles à l’endroit de départ.

2. Calculer la probabilité que l’enseignant se retrouve, à long terme, sansparapluie sous la pluie.

1. États 0, 1, 2. Une classe récurrente, non périodique.2. π0 = 1− 2π2 = 1−p

3−p , π1 = π2 = 13−p , P = π0p = p(1−p)

3−p .

Exercice 7.3 Routeur




On considère que les paquets de données arrivant à un routeur sont stockéset puis retransmis. La capacité du routeur est de m paquets. Le temps estdiscretisé de façon telle que, à chaque instant, le routeur peut effectuer l’unedes opérations suivantes :– Recevoir un paquet, avec probabilité b > 0, si le nombre de paquets

stocqués est inférieur à m.– Transmettre un paquet déjà reçu, avec probabilité d > 0 s’il y a au moins

un paquet stocqué.– Rester inactif, avec probabilité 1− b s’il n’y a aucun packet stocké, 1− d

s’il y a m packets stockés et 1− b− d dans les autres cas.

1. Modéliser ce problème en utilisant une chaîne de Markov à m + 1états, représentant le nombre de paquets stockés au routeur.

2. Calculer les probabilités stationnaires πi.3. Examiner le cas m→∞.

1. Processus de naissance et de mort, états S = {0, 1, . . . ,m}.

2. πj = π0

(bd

)j , 0 ≥ j ≥ m.

Normalisation → πi =

{1−(b/d)

1−(b/d)m+1

(bd

)i, bd6= 1

1m+1

, bd

= 1

3. b/d < 1 : limm→∞ πi =(1− b

d

) (bd

)ib/d ≥ 1 : limm→∞ πi = 0 (tous les états sont transitoires !).

Exercice 7.4 Matrice doublement stochastiqueUne matrice de transition d’une chaîne de Markov irréductible et apério-dique est dite doublement stochastique si la somme des éléments de chaquecolonne est égale à 1 :

n∑i=1

pij = 1, ∀j = 1, · · · ,m.

Exercice : l’élève supersitieux Un élève superstitieux fréquente une écoledans un bâtiment circulaire muni de m portes, où m est un entier impair.L’élève n’utilise jamais deux fois la même porte successivement, mais utilisela porte adjacente dans le sens des aiguilles d’une montre avec probabilitép et l’autre porte avec probabilité 1− p.– Déterminez la chaine de Markov de l’exercice.– Montrez que la matrice de transition de l’exercice est doublement sto-

chastique– Montrez que les probabilités stationnaires sont πj = 1/m, j = 1, · · · ,m

0 p 0 0 . . . 0 1− p1− p 0 p 0 . . . 0 0

0 1− p 0 p . . . 0 0...

......

......

......

p 0 0 0 . . . 1− p 0

+ équations des probas stationnaires

Exercice 7.5 Processus de Markov




Le professeur Tournesol donne des D.S. qui sont soit durs, soit moyen-nement durs, soit faciles. Heureusement, il ne donne jamais deux D.S.durs de suite. S’il donne un D.S. dur, le D.S. suivant est de façonéquiprobale, soit moyennement dur, soit facile. Par contre, s’il donneun D.S. moyennement dur ou facile, le test suivant est du même ni-veau de difficulté avec une probabilité de 50 %, et d’un des autres ni-veaux de difficulté avec une probabilité de 25 %. Modélisez ce proces-sus par une chaîne de Markov et trouvez les probabilités stationnaires.π1 = 1/5, π2 = π3 = 2/5


processus aléatoires

Documents