processus stochastiques et traitement statistique de ... 3 processus... · statistique de signaux...
Post on 10-Sep-2018
216 Views
Preview:
TRANSCRIPT
1
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 1
Bloc 2 : Notions de base
Semaine 3: Introduction aux processus stochastiques
GEI 756
Processus stochastiques et traitement statistique de signaux aléatoires
Denis Gingras
Janvier 2013
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 2
Définition d’un processus stochastique
Moments statistiques d’un processus stochastique
Corrélation et covariance: cas gaussien simple
Propriétés
Indépendance
Orthogonalité
Corrélation
Stationnarité
Ergodisme
Processus stochastiques - cas discret
Théorème de Einstein-Wiener-Khinchin
Densité spectrale de puissance et décomposition de Wold
Échantillonnage d’un processus stochastique
Bruit « blanc » et processus à bande passante
Transformée de Karhunen-Loève
Processus composé ou processus stochastique double
Processus périodiques et quasi-périodiques
Plan du cours
2
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 3
Définition d’un processus stochastique
Préambule: Dans le cours précédent, nous avons étudié les notions de probabilité, de variables aléatoires et de vecteurs aléatoires, ainsi que leurs propriétés statistiques. Aujourd’hui nous allons aborder le concept de processus stochastiques et de signaux aléatoires. Grossièrement, on peut considérer un processus aléatoire comme étant une suite infinie de variables aléatoires qui évolue dans le temps ou dans l’espace. On passe donc de la variable aléatoire (un seul élément) à un vecteur aléatoire (nombre fini de variables aléatoires) à un processus aléatoire (nombre infini de variables aléatoires)
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 4
Pour une expérience fixée , le signal correspondant est une fonction du temps, i.e. une réalisation du processus. Lorsque c’est le temps qui est fixé, ,nous avons alors une variable aléatoire. L’ensemble de toutes les réalisations des expériences au cours du temps forme le processus stochastique .
Soit le résultat d’une expérience aléatoire. Supposons que pour chaque résultat de l’expérience nous assignons un signal . La collection de tels signaux constitue un processus stochastique. L’ensemble des expériences et la variable t peuvent être continus ou discrets.
2( , )X t
{ }k
i
( , )k kX X t
( , )X t
t
1t
2t
),(n
tX
),(k
tX
),(2
tX
),(1
tX
),( tX
0
( )X t
( ) ( , )o oX t X t
Définition d’un processus stochastique
3
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 5
Un signal aléatoire temporel est une fonction de deux variables. L'une des variables prend ses valeurs dans l’espace réel ou complexe (ex. le temps), l'autre étant la réalisation d'une variable aléatoire.
À t fixé, est une v.a.
À fixé, est un signal temporel (une « trajectoire » du
processus)
Si t est à temps discret on parle alors de suite ou de séquence
aléatoire
Résultat d’une expérience aléatoire Variable indépendante, ex. : temps
Définition d’un processus stochastique
( , )X t
( , )X t
( , )X t
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 6
( )
2
( );
;
( )
[ ( )], [ ( )],
:
, ,
x n
Soit x n n Z une suite de variables aléatoires
Pour chaque n
f densité de probabilité de x n
moments E x n E x n
si n est le temps
série temporelle ie signal aléatoire
Le modèle mathématique du processus physique s
:Remarque
pour une variable aléatoire réalisation
pour un signal aléatoire ensemble de réalisations réparties dans le temps
appe
ous - jacent
générant le signal aléatoire est appelé processus aléatoire
ou processus stochastique.
" ".lé trajectoires
Définition d’un processus stochastique
4
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 7
Trajectoires d'un signal aléatoire.
Variable aléatoire x = nombre réel dont la valeur est imprévisible
avant de l'observer lors d'une expérience.
Réalisation de x = valeur prise par x lors d'une expérience.
Signal aléatoire x(t) = signal dont tel que pour tout t, x(t) est une
variable aléatoire.
Réalisation d'un signal aléatoire x(t) = ensemble des valeurs prises
par les v.a. x(t) quand t varie.
Appelé aussi trajectoire.
Définition d’un processus stochastique
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 8
Définition d’un processus stochastique
Fonction aléatoire = processus stochastique continu: t prend un continuum de valeurs sur un interval
Suite aléatoire = processus stochastique discret
On associe à chaque instant t une variable (ou un vecteur) aléatoire
Modélisation de grandeurs pour lesquelles impossible de prédire une valeur exacte à un instant futur.
{..., ,0, ,2 ,...}T T T
5
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 9
Signaux aléatoires
n
n
n
x(n)
x(n)
x(n)
bruit
séquence binaire codée
tension de batterie 11.75V 12V
Exemples
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 10
n
n
n
x(n)
x(n)
E(x(n))
Bruit: trajectoire 1
Bruit: trajectoire 2
Bruit: moyenne d’ensemble de
2 trajectoires
x1(-3)
X2(-3)
E[x(-3)]
Signal aléatoire : un exemple avec 2 trajectoires
6
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 11
n
n
x(n)
x(n)
Bruit: trajectoire 1
moyenne temporelle 1
Bruit: trajectoire 2
moyenne temporelle 2
x1(-3)
X2(-3)
n
E(x(n)) Bruit: moyenne d’ensemble des
2 trajectoires
moyenne temporelle
E[x(-3)]
Signal aléatoire : un exemple avec 2 trajectoires
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 12
Soit X(t) un signal aléatoire. Lorsque t est fixée, alors X(t) représente
une v.a. Sa distribution est donnée par,
Notez que dépend de t, puisque pour différentes valeurs de t, nous obtenons différentes v.a. car elles n’ont pas nécessairement des propriétés statistiques identiques. De plus,
représente la PDF (ordre 1) du processus X(t).
})({),( xtXPtxFX
),( txFX
dx
txdFtxf X
X
),(),(
Processus stochastiques
7
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 13
Exemple: Soit où est une v.a.
distribuée uniformément entre -π et π, avec α et ωo constants. X(t) est un
processus aléatoire (p.a.) et dépend de t, puisque pour différentes valeurs
de t, nous obtenons différentes v.a. Pour t fixe, montrez que la PDF du 1er
ordre de la v.a. correspondante est donnée par,
0( ) cos( ),La fonction X t t
Processus stochastiques
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 14
1
0cos1
( )2
x
xd t
df x f x
dx dx
Processus stochastiques
Éléments de solution 0( ) cos( ),La fonction x t t
1
,2
f
1
0cosx
t
2 2
1 1 1 1( ) ,0
2 21 1
x
xd
df x f x
dx dxx x
0( ) cosg t
2
1 1,0 2 ,
1
xf x xx
8
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 15
Pour t = t1 et t = t2, X(t) représente deux v.a. différentes X1 = X(t1) et
X2 = X(t2). Leur distribution jointe est
Et la fonction
Représente la densité de 2e ordre du processus X(t). De manière similaire la fonction représente la
densité du nième ordre du processus X(t). La détermination complète du
processus requiert la connaissance de la PDF (ordre n)
pour tout t et pour tout n (impossible en pratique)
})(,)({),,,( 22112121 xtXxtXPttxxFX
),, ,,,( 2121 nn tttxxxfX
),, ,,,( 2121 nn tttxxxfX
niti , ,2 ,1 ,
2
1 2 1 21 2 1 2
1 2
( , , , )( , , , )
X
X
F x x t tf x x t t
x x
Processus stochastiques
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 16
Fonction de distribution et densité de probabilité générales
Distribution ou fonction de répartition (Cumulative distribution function) d’un processus aléatoire
Fonction de densité de probabilité d’ordre n
1 1 1 1
i 1
( , ,..., , ) ( ( ) ,..., ( ) )
t ,...,
x n n n n
j n
F x t x t P x t x x t x
t t t ou
1 11 1
1
( , ,..., , )( , ,..., , )
...
x n nx n n
n
F x t x tf x t x t
x x
Processus stochastiques
9
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 17
Moments d’un processus stochastique
Espérance mathématique
Fonction d’autocorrélation
Covariance (moment d’ordre 2) La covariance "mesure" une dépendance linéaire entre les différentes valeurs d'un signal
aléatoire.
Covariance croisée (mutuelle) entre deux processus
( ) ( , ) ( ( ))xm t xf x t dx E x t
1 2 1 2 1 2 1 1 2 2 1 2( , ) ( ( ) ( ) ) ( , , , )T T
xxR t t E x t x t x x f x t x t dx dx
1 2 1 1 2 2( , ) (( ( ) ( ))( ( ) ( ) )T
xx x xC t t E x t m t x t m t
1 2 1 1 2 2( , ) (( ( ) ( ))( ( ) ( ) )T
xy x yC t t E x t m t y t m t
NB: Ce sont des moyennes d’ensemble, pas des moyennes temporelles! Hypothèse : une infinité d'expériences dans des conditions identiques
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 18
Coefficient de corrélation du processus est défini par
Variance
Lien entre covariance et corrélation croisées
NB: Les deux processus sont orthogonaux si
Les processus sont non-corrélés si
Cas scalaire et application à la variance
( ) ( , ) (( ( ) )( ( ) ) )T
x xx x xt C t t E x t m x t m
1 2 1 2 1 2( , ) ( , ) ( ) ( )T
xy xy x yC t t R t t m t m t
2 2( ) ( ) ( )x xx xt R t m t
Moments d’un processus stochastique
1 21 2
1 1 2 2
( , )( , )
( , ) ( , )
xxxx
xx xx
C t tr t t
C t t C t t
1 2 1 2( , ) 0, ,xyR t t t t
1 2 1 2( , ) 0, ,xyC t t t t
10
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 19
Moments d’un processus stochastique
où est une v.a. distribuée uniformément entre 0 et 2π , a est
également une v.a., indépendante de . Trouvons la fonction d’auto-corrélation R
0( ) cos( ),La fonction X t a t
Exemple
1 2 1 2
2
1 2 1 2
1 2 1 2
2
1 2 1 2
( , ) cos( ) cos( )
1cos( ( )) cos( 2 )
2
1cos( 2 ) cos( 2 ) 0
2
1, ( , ) cos( ( ))
2
xx o o
o o o
o o o o
xx o
R t t E a t a t
E a t t E t t
or E t t t t d
donc R t t E a t t
NB: Constante positive
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 20
Cas scalaire
Cas vectoriel
Cas d’un processus stochastique gaussien
2
2
( ( ))1( , ) exp( )
2 ( )( ) 2
xN
xx
x m tp x t
tt
1( ( )) ( )( ( ))1( , ) exp
2(2 ) det ( )
T
x x x
Nn
x
x m t C t x m tp x t
C t
Un processus x(t) est normal (gaussien) si les v.a.
sont conjointement normales. 1 2( ), ( ),... ( )nx t x t x t
11
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 21
Processus stationnaire
Au sens strict les densités de probabilité jointe de tout les v.a. sont invariantes dans le temps.
1 1 1 1( , ,..., , ) ( , ,..., , )
pour tout réel et pour tout entier n
n n n nf x t x t f x t x t
Définition
Le comportement statistique d'une processus aléatoire n'est pas
nécessairement identique à un temps t1 et t2 quelconque. Pour
s'affranchir de cette difficulté, on définit la notion de stationnarité d'un signal
Les caractéristiques statistiques sont indépendantes du temps.
Cette hypothèse est difficile à vérifier dans le cas pratique
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 22
Au sens large, processus faiblement stationnaire (ordre 2)
E(x(t)) indépendante de t, variance indépendante de t. Dans le cas stationnaire, la fonction de covariance ne dépend plus que de l'intervalle entre les deux variables de temps considérées
Stationnaire au sens strict Faiblement stationnaire
Inverse n’est pas vérifié sauf pour un processus gaussien Dans un contexte applicatif, on se limite, généralement aux cas
de stationnarité d'ordre 2 (au sens large). Invariance temporelle des corrélations et des covariances Pour un processus stochastique scalaire
Processus stationnaire
1 2 1 2( , ) ( ) ( ) ,xx xx xxC t t C t t C
2| ( ) |xx xC
Définition
, , ,| ( ) |xx ij xx ii xx jjC C C
12
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 23
Vérifions si ce processus est stationnaire.
a) Au sens large (SSL) ordre 1
0 0( ) cos( ) sin( ),
2 . . .
Soit la fonction x t a t b t
où a et b sont v a réelles
Exemple:
( ) cos( ) sin( )
( ) ( ) 0 0.
o oE x t E a t E b t
E a et E b sont des constantes
x t est stationnaire SSL uniquement si E a et E b
Processus stationnaire
Au sens large (SSL) ordre 2
2 2 2 2
2 2 2
1 1( ) ( ) ( ) cos( ) ( ) cos(2 ) sin(2 )
2 2
0, ,
o o o o o
xx
E x t x t E a b a b t ab t
donc R est indépendante de t ssi
E ab et E a E b constante
Autrement dit, x(t) est SSL seulement si a et b sont 2 v. a. à moyenne
nulle, non-corrélées et de même variance.
2( ) cos( )xx oR
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 24
b) Au sens stricte (SSS) Posons,
Exemple:
Processus stationnaire
1 1 0 1 0 1
2 0 2 2 1 1 0 1 0 1
0 0
( ) cos( ) sin( ),
/ 4 , ( ) ( ) sin( ) cos( ),2 2
x t a t b t
si t T alors x t x t a t b t
Vérifions si le processus est stationnaire.
1 1 1 1
1 2 1 1 1 2
0 0
( , ,..., , ) ( , ,..., , ) ' ,
( , ; , ) ( , ;0, )2 2
n n n nf x t x t f x t x t peut s écrire
f x x t t f x x
2 2 2 2
1 2 1 1 1 2
0
( , ; , )2
f x x t t g x x g a b
Le membre de droite est la PDF conjointe fab(a,b) car x1(0)=a et
x2(Π/2ωo)=b. Le membre de gauche est indépendant de t1 si la
fonction
Il revient à dire que si x(t) est stationnaire (SSS), alors fab(a,b) est
circulairement symétrique. Montrez que l’inverse est aussi vrai.
13
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 25
0 1 2
1 2
1 1
:
( )
,
[ ( ) ( ) ( ).... ( )]
[ ( ) ( )] ( )
l l l lM
M
xx
Stationnarité définition cas discret
les propriètés statistiques sont indépendantes du temps n
ie
E x n x n k x n k x n k est indépendant de n
autocorrelation E x n x n k R k
n
x(n)
1 6 3 5 8 7 4 2
)4()1()1()7()4()2()6()3()1( xxxxxxxxx
fff
Processus stationnaire
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 26
Ergodisme
Dans la pratique, on ne dispose souvent que d'une réalisation du phénomène aléatoire. Il devient donc difficile de caractériser statistiquement le signal aléatoire. L'hypothèse d'ergodisme consiste à admettre que l'évolution d'un signal aléatoire au cours du temps apporte la même information
qu'un ensemble de réalisations du processus à un temps fixe to.
Si un signal est stationnaire et ergodique d’ordre 2, alors,
1( ) lim ( )
2
1( ) ( ) lim ( ) ( ) , ;
2
T
TT
T
TT
E x t x t dt x xT
E x t x t x t x t dt x xT
Attention: En pratique, pour un temps T à durée finie, ces quantités
sont elle-mêmes des v.a. !
converge avec probabilité 1
14
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 27
Processus faiblement stationnaire ergodique Moyennes d’ensemble = Moyennes temporelles
1
1( ( )) lim ( )
2
1ˆ ( )
T
xT
T
N
x
i
m E x t x t dtT
m x iN
1
( ) ( ( ) ( ) )
1 lim ( ( ) )( ( ) )
2
1ˆ ( ) ( ( ) )( ( ) )
T
xx
T
T
x xT
T
N kT
xx x x
i
C E x t x t
x t m x t m dtT
C x i k m x i m cas discret finiN
Ergodisme
NB: On peut étendre la notion d’ergodisme pour d’autres types de moyennes arithmétiques, comme pour la corrélation et la covariance (convergence au moindres-carrés, i.e. erreur quadratique tend vers 0) .
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 28
Exemples
Cas ergodique
Fonction du résultat d'un jet de dé toutes les minutes. Le processus est stationnaire et ergodique
Cas non-ergodique
Le processus est stationnaire mais non ergodique
Ergodisme
( , )i i
i
f t
où l'expérience suit une loi
uniforme entre 0 et 1.
15
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 29
1( ) ' 1
1[ ( ) ( ] ( ) lim ( ) ( )
2 1
' 2
n
si seulement m x alors ergodicité d ordre
si de plus E x n x n k R k x n x n kN
alors ergodicité d ordre
Ergodisme Un signal aléatoire stationnaire discret est ergodique si les moments calculées à partir d’une trajectoire (moyennes temporelles) et ceux calculés à partir de moyennes d’ensemble pour un temps fixe sont égaux.
En général, on se limite aux moments d’ordre deux (cas gaussien). Selon plusieurs auteurs, pour être ergodique, un signal aléatoire doit être stationnaire au sens large. Certains auteurs récemment ont démontré qu’un signal aléatoire dans certains casparticuliers peut être ergodique sans être stationnaire. Il n’y a pas de consensus dans la littérature sur cette question. Ici nous considérons qu’en pratique un signal aléatoire ergodique est stationnaire au sens large.
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 30
Stationnarité vs Ergodisme
Attention: Stationnarité n'implique pas nécessairement ergodisme Ergodisme implique habituellement la stationnarité au sens faible L'ergodisme simplifie grandement l'analyse de signaux aléatoires Ergodisme => Histogramme est une estimation de la PDF
Signal aléatoire
s.a. ergodique
s.a. stationnaire
16
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 31
Processus stochastiques discrets
Un processus stochastique discret Xn = X(nT) est une suite ou une
séquence de v.a. La moyenne et la fonction d’autocorrélation sont données par, Et la covariance par Comme auparavant, les notions de stationnarité et d’ergodisme
s’applique ici aussi. Par exemple, X(nT) est stationnaire (SSL) si,
1 1
*
1 2 1 2
{ ( )}
( , ) { ( ) ( )}
nx
xx
E X nT
R n n E X nT X n T
1 2
*
1 2 1 2( , ) ( , )xx xx n nC n n R n n
constanta nTXE ,)}({
* *[ {( ) } {( ) }] ( ) k kE X n k T X n T R k R R
i.e., R(n1, n2) = R(n1 – n2) = R*(n2 – n1)= R(k).
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 32
La propriété semi-positive définie de la séquence d’ autocorrélation permet de l’exprimer sous forme de matrice Toeplitz Hermitienne comme suit:
0, 1, 2, , .k
0 1 2
*
1 0 1 1 *
* * *
1 1 0
k
k T
k k
R R R R
R R R RR R
R R R R
Processus stochastiques discrets
Dans le cas d’un processus discret (SSL) X(nT ) ayant une séquence
d’autocorrélation provenant d’un processus continu X(t ) échantillonné, on a les relations suivantes:
{ } ,kR
( ) ( ) ( ) ( )X n X nT X t t nT
*( ) ( ) ( ) ( ) ( ) ( )XX
R k R kT E x nT x nT kT R kT
17
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 33
Ensemble fini de points n=[-N/2,N/2]: on doit se
contenter d’une estimation.
/2
/2
/22
/2
/2
/2
1ˆ ( ) ( )
2 1
1ˆvar( ) ( ) [ ( ) ( ) ( )]
2 1
'
1ˆ ( ) ( ) ( )2 1
N
n N
N
n N
N k
SB
n N
Estimateur de la moyenne m x x nN
Estimateurs de la Variance x x n x n x n m xN
Estimateurs de la fonction d autocorrélation
R k x n k x n sans biaN
/2
/2
1ˆ ( ) ( ) ( )2 1
N k
ASB
n N
is
R k x n k x n asymptotiquement sans biaisN k
Moments d’un processus stochastique discret
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 34
Quelques propriétés de la fonction d’autocorrélation
1 0
*
*
1 1 0 0
( ) ( ),
( ) ( ) ( ) 0, ( ),
( )
(0) ( ) , 0
xx xx
xxn n
xx xx
R k R k symétrie
a n R n n a n a n
définie semi positive ou non négative
R R k k
Moments d’un processus stochastique discret
18
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 35
Pour le cas vectoriel, les matrices de corrélation et de covariance sont définies respectivement par,
*TR E xxxx
0 0 1 0 2 0 1
0 0 1 0 2 0 1
( ), ( ), ( ),... ( )
( ), ( ), ( ),... ( )
T
N
T
N
x n x n x n x n
m m n m n m n m n
x x x x x
x
*T
xC E m m xx xx - x -
où
Moments d’un processus stochastique discret
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 36
Pour un processus stationnaire, elle est donc de forme Toeplitz. Pour le cas complexe, elle est hermitienne, i.e.,
(0) ( 1) ( 2) ( 1)
(1) (0) ( 1) ( 2)
( 1)
R R R R N
R R R R NR
R N R
xx xx xx xx
xx xx xx xx
xx
xx ( 2) ( 3) (0)N R N R
xx xx xx
Lorsque le processus est stationnaire, la matrice de corrélation est de la forme,
*TR Rxx xx
Cas vectoriel
Moments d’un processus stochastique discret
19
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 37
On s’aperçoit que est une v.a. dont la moyenne est donné par,
Exemple
Soit l’estimé de la moyenne d’un processus discret stationnaire.
On s’aperçoit que est une v.a. dont la moyenne est donné par, ˆxm
1ˆ ( ), 2 1
M
x
i M
m x i N MN
ˆ ,xE m E x donc un estimé non biaisé Et sa variance est,
2 * *
ˆ 2
1( ( ) )( ( ) )
x
M M
m
i M k M
E x i x kN
22 * *
ˆ 2
1ˆ ( ( ) ) ( ( ) )
x
M M
m x
i M k M
E m E x i x kN
22
ˆ 2 . .2 0
1 1 1( ) ( )(1 ), 0 , ( ) 0.
2 1x
M M M M
m xx xx xxM S
i M k M m M m
mC i k C m ssi C m
N N M M
-M
-M
M
M m
2 1M m
k
i
Moments d’un processus stochastique discret
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 38
Ce qui implique que la matrice inverse R-1xx
existe presque toujours. Si
nous appliquons l’opération de renversement au vecteur x, i.e.,
Soit a un vecteur quelconque de N éléments, la version matricielle de ,
* 0Ta R a xx
Cas vectoriel
1 0
*
1 1 0 0( ) ( ) ( ) 0, ( ),xxn na n R n n a n a n
devient
0 1 0 2 0 1 0( ), ( ),..., ( ), ( )T
N Nx n x n x n x n x
alors
TR R R xxxx xx
Moments d’un processus stochastique discret
20
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 39
La matrice Rxx de dimension N x N peut être répartie de deux façons
possibles,
Cas vectoriel
devient
avec
* *
1
1
(0)
(0)
T
N
TN
r r R rR R ou
r R r r
xx N
(0) (0),
(1),..., ( 1)
( 1),..., (1)
T
T
r R
r R R N
r R N R
xx
xx xx
xx xx
Ces équations sont très utiles pour déterminer la structure en treillis de filtres adaptatifs.
Moments d’un processus stochastique discret
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 40
Moments d’un processus stochastique
De façon similaire, les matrices de corrélation et de covariance croisées (conjointes) sont données par,
Cas vectoriel
et *TR E xy
xy *T
yC E m m
xy xx - y -
Pour le cas de processus stationnaire, ces matrices ont habituellement une structure Toeplitz (tous les éléments de chacune des diagonales sont égaux). Si les matrices sont carrés, elles seront Toeplitz mais pas nécessairement la symétrie hermitienne (éléments sous la diagonale principale n’égalent pas les éléments complexes conjugués au dessus de la diagonale principale). Important: Ces deux matrices ne sont pas nécessairement carrés ni hermitienne ! Cependant la matrice de corrélation conjointe a la structure Toeplitz.
avec 0 0 1 0 2 0 1
0 0 1 0 2 0 1
( ), ( ), ( ),... ( )
( ), ( ), ( ),... ( )
T
N
T
y y y y y N
y y n y n y n y n
m m n m n m n m n
21
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 41
Quelques propriétés de la fonction de corrélation croisée: Les fonctions de corrélation et de covariance croisées n’ont pas de propriétés spéciales de symétrie, sauf si on inverse x et y dans le cas complexe.
* *
* *
( ) ( ), mais ( ) ( )
( ) ( ), mais ( ) ( )
xy xy xy yx
xy xy xy yx
R k R k R k R k
C k C k C k C k
1
( ) (0) (0)2
xy x yyR k R x R
1/2
( ) (0) (0)xy xx yyR k R R
Moments d’un processus stochastique discret
Par ailleurs, la magnitude de la fonction de corrélation croisée est bornée par la moyenne géométrique et la moyenne arithmétique des fonctions d’autocorrélations.
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 42
Réalisation de deux séquences aléatoires a) x[n]; b) x[n] versus x[n+5]; c) la fonction d'autocovariance.
Signal aléatoire :exemple de corrélation
22
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 43
Moyenne, variance, écart type, histogramme d’un
processus stochastique stationnaire ergodique: une
seule trajectoire suffit.
0 500 1000-3
-2
-1
0
1
2
3
-4 -2 0 2 40
5
10
15
20
25
30
35
40
45
50
Moyenne
Écart type
X1
X2
Moments d’un processus stochastique
X1 X2
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 44
Comment définir la densité spectrale de puissance du procesus x(t) ?
A priori on serait tenter de prendre la forme suivante: Cependant, c’est incorrect car cette quantité est elle-même aléatoire et dépend de la trajectoire du processus aléatoire. De plus, cette quantité
n’a pas de sens mathématique car x(t) ne tend pas vers 0 si t tend vers
∞. En fait, un signal aléatoire ne possède pas de transformée de Fourier.
La TF d’une trajectoire (réalisation) du signal aléatoire est elle-même une quantité aléatoire. Cependant, on peut associer au processus stochastique une notion de densité spectrale de puissance (DSP). Pour ce faire, on doit définir une « transformée de Fourier moyenne » et donc de bande passante moyenne du processus.
Densité Spectrale de Puissance
22( ) ftx t e dt
23
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 45
Densité Spectrale de Puissance
Le terme 1/2A évite la divergence de l’intégrale. L’opérateur E reflète le caractère
moyen de cette définition.
Important: Mauvais, car l’écart-type est de l’ordre de Sxx(f) si A est grand.
Thèoreme de Einstein-Wiener-Kintchine
La densité spectrale de puissance SXX(ω) d'un processus aléatoire stationnaire
s'obtient comme la transformée de Fourier de sa fonction d'auto-corrélation.
( ) ( ) ,j
xx xxS R e d
( ) ( )d d j k
xx xx
k
S R k e
2
21( ) lim ( )
2
A
j ft
xxA
A
S f E x t e dtA
Une manière de faire est d’utiliser la forme suivant. Notez que l’opérateur d’espérance mathématique est nécessaire.
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 46
Densité Spectrale de Puissance
De plus, la variance d’un processus centré peut s’exprimer par,
1(0) ( ) ,
2x xx xxR S d
1(0) ( )
2
d d d
x xx xxR S d
Si le signal est ergodique, l’estimé de la fonction d'auto-corrélation peut être obtenu à partir d'une seule réalisation du signal.
NB: L’intégrale de la densité spectrale de puissance (DSP) correspond à de la puissance (watt).
Décomposition de Wold
De façon générale, une DSP peut s’exprimer par 2 composants,
'( ) ( ) 2 ( )xx xx i i
i
S S P
Une partie régulière (continue) et une partie singulière (impulsions périodiques)
24
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 47
Densité Spectrale de Puissance
1
*
1 1
( ) (0) ( ) ( ) (0) 2 Re ( )j k j k j k
xx xx xx xx xx xx
k k k
S R R k e R k e R R k e
Quelques propriétés:
( ) , . . ( ) 0xx xxS est non négatif i e S
( ) ,xxS est réel
En effet,
Par ailleurs,
Cette propriété vient du fait que,
1
2
0
1( ) lim ( ) , ( ) ( )
Nj n
xxN
n
S E X où X x n eN
1 1 1
2
0 0 1
1 1( ) ( ) 1 ( )
N N Nj n k j k
xx xx
n k k N
kE X R n k e R k e
N N N
Et
La quantité se nomme le périodogramme. On verra plus en détails ses propriétés à la 13e semaine.
21( )E X
N
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 48
Densité Spectrale de Puissance
Un grand nombre de processus aléatoires réguliers possèdent une fonction de corrélation de type exponentielle. Les processus ayant cette fonction de corrélation peuvent s’exprimer sous une forme récursive (équations de différences ou différentielles). Ils sont des processus dénommés tout-pôles et nous verrons plus tard qu’ils correspondent à des modèles dits auto-régressifs (AR). Leur fonction de corrélation est donnée par,
2
2 *
, 0( ) , , 1
( ) , 0
k
j
xx k
kR k où e
k
Pour cette famille de processus, la DSP s’exprime par,
22
2
(1 )( )
1 2 cos( )xxS
Processus ayant une fonction de corrélation de type exponentielle
25
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 49
Densité Spectrale de Puissance
Processus ayant une fonction de corrélation de type exponentielle
Pour le cas où le processus est réel, nous avons, et la DSP devient,
2( ) ( ) ,k
xx xxR k R k
2 2
2
(1 )( )
1 2 cos( )xxS
Notez que la fonction de corrélation est strictement positive lorsque,
1
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 50
Densité Spectrale de Puissance
Exemple: reprenons le processus stochastique avec 2( ) ,
k
xxR k
2 2 2
0 1
( )n n n n n n
xx
n n n
S z z z z
2
2 2 1 1
10 0
, 11
nn n
n n
z z z ou zz
Le premier terme de droite correspond à une série géométrique. On sait que
1
1
1, 1
1
nn
k
k
a qaq q
q
Par substitution (attention aux domaines de validité!) on obtient pour n positif ou = 0
26
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 51
Densité Spectrale de Puissance
1 0
2 2 2
1
, 1/n nn n
n n n
z z z z z
NB: La transformée en z de Rxx existe seulement si 1
La DSP complexe devient alors,
22
1
(1 )( ) , 1
1 1xxS z z
z z
Pour n négatif, le deuxième terme s’écrit,
20
2 2
0
, 1/1
n n
n n
zz z z z z
z
Pour ce domaine de validité, ceci est équivalent à,
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 52
Densité Spectrale de Puissance
( ) ( ) j k
xy xy
k
S R k e
1( ) ( )
2
j k
xy xyR k S e d
Où
La DSP croisée entre x(n) et y(n) s’exprime par,
Quelques propriétés:
Le spectre croisé mesure la corrélation entre les 2 processus à une fréquence donnée ωo
* *( ) ( ) , ( ) ( ) .xy xy xy xyS S et S S si les processus sont réels
Pour un processus réel, la DSP est aussi une fonction paire en ω, i.e.,
( ) ( )xx xxS S
Et une fonction périodique si le processus est discret.
( 2 ) ( )xx xxS S
27
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 53
Densité Spectrale de Puissance
La fonction de cohérence est définie par le spectre normalisé
2
2 ( )( )
( ) ( )
xy
xy
xx yy
S
S S
Elle possède la propriété suivante,
0 ( ) 1xy
( )( )
( ) ( )
xy
xy
xx yy
S
S S
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 54
Densité Spectrale de Puissance
La DSP est évalué sur le cercle unitaire.
( ) ( ) k
xx xx
k
S z R k z
11( ) ( )
2
k
xx xxC
R k S z z dzj
La densité spectrale complexe dans le domaine de la transformée en z est
également très importante.
Son inverse est donnée par,
( )xxS z
Où le contour d’intégration C se prend dans le sens antihoraire et dans la région de
convergence. Utilisant la symétrie complexe conjuguée de la fonction de corrélation, on peut montrer que
* * 1( ) (1/ ), ( ) ( )xx xx xx xxS z S z et S z S z pour le cas réel
NB: En présence de singularité, ni la transformée en z, ni son cas particulier, la
transformée de Fourier, n’existent à strictement parler.
28
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 55
En présence de singularité, il faut alors faire appel à la décomposition de Wold et considérer la partie régulière (continue) du spectre. Cette partie peut se mettre pour la plupart du temps sous la forme d’un polynôme rationnel,
Densité Spectrale de Puissance
En d’autres termes, les pôles et les zéros se produisent à des locations complexes conjuguées dans le plan du cercle unitaire complexe. De plus, pour un polynôme réel, les racines se trouvent en paires. Donc pour la DSP complexe d’un processus réel, nous avons 4 possibilités:
Ce qui implique, que pour chaque pôle ou zéro qui se trouve à se trouve aussi un pôle ou un zéro correspondant à
'( ) ( ) 2 ( )xx xx i i
i
S S P
1 *1 1o oz z z z
oj
o oz z e
* 11/
oo j
o
zz e
* *1/ 1/o o o oz z z z
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 56
Densité Spectrale de Puissance
Voici graphiquement, les 4 cas possibles de positions des racines d’une DSP complexe (les x sont des pôles, les ronds=zéros)
x x
x x 1/r1 1/r2
r2 r1
Processus complexe Processus réel
x
x
x
x
x
x
Utilisant la définition de la DSP complexe et sachant que Rxx(n) est non-causal, on
peut montrer que la région de convergence de Sxx(z) est un anneau limité par,
1, 1R R
R
r z où rr
29
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 57
Densité Spectrale de Puissance
La DSP est évalué sur le cercle unitaire.
( ) ( ) k
xy xy
k
S z R k z
11( ) ( )
2
k
xy xyC
R k S z z dzj
La densité spectrale croisée complexe est définie de façon similaire
Son inverse est donnée par,
( )xyS z
On peut montrer que
* * 1( ) (1/ ), ( ) ( )xy yx xy yxS z S z et S z S z pour le cas réel
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 58
Exemples
Réalisation de deux signaux aléatoires a) le signal; b) la fonction d'autocovariance; et c) la densité spectrale de puissance
Densité Spectrale de Puissance
30
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 59
Échantillonnage de signaux aléatoires Soit un processus aléatoire continu x(t) que nous allons échantillonner pour
obtenir le processus x(nT) où T est la période d’échantillonnage.
Si la bande passante de la DSP du processus x(t) est limitée [-B, B],
et si T < 1/2B , alors le théorème de Nyquist-Shannon est vérifié,
. .
( )sin
( )( ) lim sinc
( )M S kn
t nT
t nTTx t x nT x nT
t nT T
T
*( ) ( ) ( ) ( )xx xxR k E x nT x nT kT R kT
La fonction de corrélation du processus échantillonné est,
La fonction de corrélation du processus continu peut être reconstruite selon le théorème de Nyquist,
. .
( ) lim ( )sincxx xxM S k
k
kTR R kT
T
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 60
La transformée de Fourier de la séquence des coefficients de corrélation du processus discret est donnée par et définit la densité spectrale de puissance du processus stochastique
discret X(nT). Puisqu’il s’agit d’un signal continu échantillonné, ayant
une bande passante de –B à +B avec
Alors, est une fonction périodique,
( ) 0,XX
j T
kk
S R e
( )XX
S
( ) ( 2 / )XX XX
S S T
12 .B
T
Échantillonnage de signaux aléatoires
31
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 61
Échantillonnage de signaux aléatoires
Processus continu à DSP borné
Processus continu échantillonné
Processus discret
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 62
Bruit blanc
2
0( ) (( ( ) )( ( ) )) ( ) ( )xx x x xxC E x t m x t m R N
2
0( )xxS N
Définition cas continu:
On appelle "bruit blanc" un processus aléatoire x(t) centré (à moyenne nulle),
stationnaire d'ordre 2, dont la DSP est constante en fréquence. Dans le cas continu, cela veut dire que le processus n’est pas limité en fréquence et donc que sa puissance moyenne tend vers l’infinie ! Il s’agit donc d’une construction mathématique qui n’a pas d’existence propre en pratique. Sa fonction de covariance est donnée par:
Interprétation : toutes les valeurs entre 2 instants sont indépendantes, peu
importe la distance entre eux. Un bruit blanc n’a aucune mémoire ! Application : modèle par excellence d’un bruit sans mémoire. La sortie d’un système excité par un bruit blanc donne habituellement un bruit coloré à la sortie. Attention: Un bruit blanc n’est pas nécessairement gaussien !
NB: R(0) n’est pas vraiment une variance proprement dit à cause de la
singularité. Sa DSP est donnée par:
32
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 63
Bruit blanc
0 2xx x x xxC (τ)= E((x(t+τ)-m )(x(t)-m ))= R (τ)=2BN sinc Bτ
( ) ,
0,
xx oS N B
ailleurs
Et pour la DSP, on a,
Donc, une suite (ou séquence) blanche aléatoire est un processus stochastique discret correspondant au cas échantillonné et limité en
fréquence avec T=1/2B, stationnaire SSL, tel que,
On considère d’abord un bruit blanc continu, avec une DSP constante =
N0, mais limitée en fréquence entre –B et +B. La fonction de covariance
devient donc,
2
02 pour 0 ( ) ( )
0 pour 1, 2,...
xx
xx xx
BN kR k C k
k
2( )d
xx xxS
Définition cas discret:
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 64
Processus à bande passante étroite
Soit un processus réel à bande passante qui s’exprime par la forme canonique
0 0( ) cos( ) sin( ),B P Qx t x t x t
Où xP et xQ sont des processus à bande limitée [-B,B] et la fréquence centrale
fo est supposée >> B. Associé à ce processus à bande passante, on peut
associer le processus complexe (enveloppe) et sa fréquence porteuse f0
1( ) ( ) ( )
2P Qw t x t jx t
Donc, 0 0 02 2 2*( ) 2Re ( ) ( ) ( )i f t i f t i f t
Bx t w t e w t e w t e
On peut calculer sa fonction d’autocorrélation, qui donne,
0022
( ) ( ) ( )
2Re ( ) 2 Re ( ) ( )
Bxx B B
i f ti f
ww
R E x t x t
R e E w t w t e
33
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 65
Donc,
Processus à bande passante étroite
( ) ( ) 2Re ( )
( ) ( ) 2 Im ( )
P Q
P Q Q P
x x ww
x x x x ww
R R R
et R R R
* 1 1( ) ( ) ( ) ( ) ( )
2 2P P Qww x x xR E w t w t R j R
Pour que xB(t) soit stationnaire au sens large, il est nécessaire et suffisant que
le 2e terme à droite =0, car il est le seul qui dépend de t, donc il faut que ,
( ) ( ) 0E w t w t Satisfaire cette condition permet d’exprimer la fonction de corrélation du signal à bande étroite réel en fonction des parties réelles et imaginaires de la fonction d’autocorrélation complexe de l’enveloppe. On peut alors trouver que,
Et la fonction de corrélation du processus réel à bande passante devient,
( ) ( )cos( ) ( )sin( ) 2Re ( ) cos( ) 2Im ( ) sin( )B P P Qxx x o x x o ww o ww oR R R R R
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 66
Étant donné un processus stochastique quelconque. Est-ce que l’information qu’il contient peut être représentée en terme d’un ensemble de v.a. dont l’importance décroit selon un arrangement quelconque ? Autrement dit, pouvons-nous décomposer le processus en une combinaison de fonctions de bases orthonormales ? Il est souvent utile en traitement du signal d’avoir une base de fonctions pour laquelle les composantes du signal sont également orthogonales. Lorsque le processus est stationnaire et que le temps d’observation du signal est long par rapport à la durée non-négligeable de la fonction de corrélation, alors les exponentielles complexes de la DFT fournissent une telle base. Mais il est possible de trouver une telle expansion en série pour un temps d’observation court et pour des signaux non-stationnaires. (Karhunen-Loève) D’autres formes de décompositions existent, telles celles de Haar, Hadamar, etc.
Transformée de Karhunen-Loève Représentation en série orthonormée d’un processus stochastique
34
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 67
Ici nous allons étudier une transformation qui permet de décomposer un processus aléatoire en composant ortho-normaux et avec des coefficients non-corrélés or statistiquement orthogonal.
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Soit une séquence aléatoire, représentée par une combinaison linéaire de fonctions orthonormées,
1*
1 0
( ) ( ), ( ) ( ),N N
i i i i
i n
x n c n où c x n n
L’expansion est orthonormée si,
1*
0
1,( ) ( )
0
N
i j
n
i jn n
i j
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 68
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
i.e., si x(n) est centré, les variables aléatoires ci sont non-corrélées. Sous forme
matricielle, nous aurons la transformée de Karhunene-Loève et son inverse
* 2
i j j ijE c c
On désire trouver les fonctions de base tel que,
1 *, Tx c c x = x = =
* 1T I
* 2
i j iiE c c diag
35
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 69
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
i.e., si x(n) est centré, les variables aléatoires ci sont non-corrélées. Sous
forme matricielle, nous aurons,
La matrice de corrélation des coefficients aléatoires ci s’exprime par,
* * * *T T T
xxE cc E xx R
* 2T
xx iiR diag
On voit que nous avons la même forme que la décomposition en vecteur
propres et en valeurs propres de la matrice de corrélation. La transformée de
KL est unique et l’ensemble des fonctions orthonormées correspond aux vecteurs propres de la matrice de corrélation. 2E et ii i xx i iR ou
0
( ) ( ) ( )N
xx i i i
k
R n k k n
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 70
Transformée de Karhunene-Loève
Expansion d’un processus aléatoire discret en un ensemble de fonctions ortho-normales. ATTENTION: ce n’est pas la décomposition d’une seule trajectoire, mais bien celle du processus stochastique !
36
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 71
Transformée de Karhunene-Loève
Les quatre premiers vecteurs propres du processus stochastique ayant pour fonction d’auto-corrélation
( ) 0.5l
xxR l
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 72
Une utilisation importante de la TKL est lorsque nous voulons trouver une
représentation optimale tronquée utilisant moins de N fonctions ortho-
normales. Une raison courante arrive lorsque nous avons un signal entaché de bruit additif et que vous voulons séparer le signal du bruit. En utilisant une version tronquée du signal, une partie importante du bruit est éliminée tout en conservant intact l’essentiel du signal. Cette approche est utilisée dans de nombreuses situations, également en analyse spectrale pour la séparation de signaux.
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Si les valeurs propres sont classées dans l’ordre décroissant, i.e.,
1 2 3... N
Alors l’erreur de l’approximation de x(n) par une somme partielle de M
fonctions ortho-normales, sera minimisée en moyenne quadratique
1
ˆ( ) ( ),M
i i
i
x n c n où M N
37
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 73
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
L’erreur quadratique moyenne est,
1 12 2
0 01
ˆ( ) ( ) ( )N
N N
in ni M
E e n E x n x n
En effet, puisque,
1 1
ˆ( ) ( ) ( ) ( )M N
i i i i
i i M
x n c n c n x n
Et * * *
1 1
2* *
1 1 1
N NT T T
i i j j
i M j M
N N NT T
i i xx i i
i M i M i M
E e e E c c
E e e E c R
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 74
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Pour minimiser l’erreur quadratique moyenne, on peut montrer, utilisant les multiplicateurs de Lagrange, que nous devons trouver le zéro du gradient de l’équation suivante,
* *
1 1
(1 )N N
T T
i xx i i i i
i M i M
R
L
0 , 1, 2,...,i xx i i iR i M M N L
Ce qui donne,
Ainsi, l’ensemble optimal de fonctions de base pour une représentation
tronquée d’un signal aléatoire est constitué des vecteurs propres de Rxx
correspondant aux M plus larges valeurs propres les plus grandes.
L’utilisation des vecteurs propres de Rxx pour caractériser et séparer
les portions signal/bruit constitue l’une des pierres angulaires du traitement statistique des signaux.
38
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 75
Processus stochastique double
On appelle un processus stochastique double ou processus composé un processus dont la densité de probabilité est-elle-même aléatoire. Par exemple, un processus où la moyenne ou la variance est une variable aléatoire.
Quelques exemples:
1) Un processus de Poisson où λ (intensité) est une v.a.
2) Un processus de Markov caché 3) Un processus ponctuel aléatoire du type,
Où les ti et les Ai suivent deux distributions différentes. Ce type de processus
décrit par exemple la sortie d’un photomultiplicateur.
( ) ( )i i
i
x t A t t
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 76
Un processus aléatoire est dit périodique de période P si la PDF vérifie
Processus périodiques et quasi-périodiques
1 2 1 2 1 2 1 1 2 2( , , , , , ) ( , , , , , , )X Xn n n n nf x x x t t t f x x x t k P t k P t k P
Ceci implique que les moments statistiques sont également périodiques
* *
1 2 1 2 1 1 2 2
1 2 1 1 2 2
{ ( )} { ( )}
( , ) { ( ) ( )} { ( ) ( )}
( , ) ( , )
E X n E X n kP
R n n E X n X n E X n k P X n k P
R n n R n k P n k P
Si le processus est stationnaire SSL et périodique, alors
1 1( ) ( ), ( ) ( )R l R l k P C l C l k P
Ces expressions montrent que la matrice de corrélation d’un processus périodique est circulaire dont les éléments d’une ligne correspondent à la rotation de la ligne précédente. Or toute matrice circulaire accepte comme vecteurs propres, les vecteurs de la DFT.
39
UNIVERSITÉ DE
SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 77
Un processus est dit périodique si
Processus périodiques et quasi-périodiques
Dans le cas contraire, le processus ne répète jamais exactement la même période. Pourtant sa forme semble périodique. On donne le nom quasi-périodique à ce type de signaux.
Important: On peut montrer que:
La transformée de Karhunen-Loève discrète pour la DSP d’un processus stationnaire périodique est identique à la transformée de Fourier discrète (DFT) de la fonction de corrélation.
Si la DFT de la fonction de corrélation d’un processus stochastique quelconque est calculée pour un intervalle de temps suffisamment long, le résultat est quasi-identique en pratique à la TKL discrète. (En effet lorsque le délai est suffisamment grand, la valeur des coefficients de corrélation tend vers 0 (ou les coefficients de Fourier deviennent non-corrélés).
0 / 2 ,ensemble des nombres rationels
top related