partie 3: estimation des paramètres de propagation

65
Partie 3: Estimation des paramètres de propagation Philippe Ciblat Télécom ParisTech, France

Upload: others

Post on 21-Jun-2022

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Partie 3: Estimation des paramètres de propagation

Partie 3:Estimation des paramètres de propagation

Philippe Ciblat

Télécom ParisTech, France

Page 2: Partie 3: Estimation des paramètres de propagation

Section 3.0 : Rappel de la théorie de l’estimation

Philippe Ciblat Estimation des paramètres de propagation 2 / 1

Page 3: Partie 3: Estimation des paramètres de propagation

Plan

Notion d’estimateurs

Bornes de Cramer-Rao

Analyse asymptotique

Maximum de vraisemblance

Philippe Ciblat Estimation des paramètres de propagation 2 / 1

Page 4: Partie 3: Estimation des paramètres de propagation

Introduction

Soit un processus aléatoire XN = {X1, . . . ,XN}on en connait partiellement la densité de probabilité.par ex., une gaussienne de moyenne et variance inconnueson considère une réalisation xN = {x1, . . . , xN} de ce processus

Objectif

A la donnée d’une réalisation, retrouver de l’information sur la densitéde probabilité

Deux cas de figure :1 Non paramétrique2 Paramétrique

Philippe Ciblat Estimation des paramètres de propagation 3 / 1

Page 5: Partie 3: Estimation des paramètres de propagation

Estimation paramétrique

Hypothèse

La densité de probabilité de XN dépend d’un paramètre d’intérêt θ.

Deux cas de figure :1 θ est vu comme un paramètre fixe

pX (xN |θ)

On parle alors d’approche déterministe2 θ est vu comme un paramètre aléatoire

pX ,θ(xN ,θ) ou pX (xN |θ) et pθ(θ)

On parle alors d’approche bayésienne (car θ admet une densitéde probabilité a priori)

Philippe Ciblat Estimation des paramètres de propagation 4 / 1

Page 6: Partie 3: Estimation des paramètres de propagation

Détection/Estimation

Détection

θ admet un nombredénombrable/fini de valeurs

CritèreProbabilité d’erreur

Pe = Prob(θ 6= θ)

⇒ Détecteur optimal ?

Maximum A Posteriori(MAP)Maximum de Vraisemblance(ML) si équiprobable

Estimation

θ admet un nombrenon-dénombrable de valeurs

CritèreErreur quadratique moyenne

E = E[|θ − θ|2]

⇒ Estimateur optimal ?

Mean A Posteriori (MAP) (siθ aléatoire)ML parfois asymptotiquement(si θ déterministe)

Philippe Ciblat Estimation des paramètres de propagation 5 / 1

Page 7: Partie 3: Estimation des paramètres de propagation

Notion de statistiques

Soit xN = {x1, . . . , xN} une observation du processus aléatoire XN

On appelle statistique une fonction quelconque T dépendant del’observation

T (x1, . . . , xN)

On appelle estimateur une statistique qui, l’on espère, approchela valeur du paramètre d’intérêt θ

θN = θ(x1, . . . , xN)

Remarques

Toute statistique est une variable aléatoireLa théorie de l’estimation a pour objet de trouver des bonsestimateurs par rapport à des critères mesurant l’écart entre lavraie valeur et la valeur estiméeA chaque critère correspond des bons et des mauvaisestimateurs

Philippe Ciblat Estimation des paramètres de propagation 6 / 1

Page 8: Partie 3: Estimation des paramètres de propagation

Statistiques exhaustives

Une statistique est dite exhaustive par rapport à pX (xN |θ) ssi

pX (xN |θ) = gθ(T (xN))h(xN)

Cela signifie, en pratique, que la seule connaissance de T ne faitperdre aucune connaissance sur θ.

Exemple

Soit XN un vecteur gaussien réel dont les composantes sont i.i.d. demoyenne m et variance v . Soit θ = [m, v ]. On a

pX (xN |θ) ∝ e−1

2v∑N

n=1(xn−m)2= e−

N2v (vN+(mN−m)2)

avecmN =

∑Nn=1 xn/N : la moyenne empirique

vN =∑N

n=1(xn − mN)2/N : la variance empirique

Philippe Ciblat Estimation des paramètres de propagation 7 / 1

Page 9: Partie 3: Estimation des paramètres de propagation

Risque

Une fonction de coût, notée C(θ, θ), mesure l’écart entre θ et θ :1(‖θ − θ‖ ≥ ε) : coût uniforme‖θ − θ‖L1 : coût L1

‖θ − θ‖2 : coût quadratique (norme L2)

Risque

On moyenne la fonction de coût sur les valeurs possibles de xN

R(θ, θ) = EX [C(θ, θ)]

=

∫C(θ, θ(xN))pX (xN |θ)dxN

Philippe Ciblat Estimation des paramètres de propagation 8 / 1

Page 10: Partie 3: Estimation des paramètres de propagation

Biais et Erreur quadratiqueLe biais est défini de la manière suivante

b(θ, θ) = EX [θ(xN)]− θ

L’ erreur quadratique moyenne (EQM/MSE) est le risque suivant

EQM(θ, θ) = EX [‖θ(xN)− θ‖2]

La variance d’un estimateur vaut

var(θ, θ) = EX [‖θ(xN)− EX [θ(xN)]‖2]

Remarques

Un estimateur est dit sans biais ssi b(θ, θ) = 0Le lien entre les trois mesures est

EQM(θ, θ) = ‖b(θ, θ)‖2 + var(θ, θ)

Philippe Ciblat Estimation des paramètres de propagation 9 / 1

Page 11: Partie 3: Estimation des paramètres de propagation

Exemple

Soit XN un vecteur gaussien réel dont les composantes sont i.i.d.de moyenne m et variance v

Soit l’estimateur empirique de la moyenne

mN =1N

N∑n=1

xn

Cet estimateur estsans biaisde variance

var(m, mN) =vN

Philippe Ciblat Estimation des paramètres de propagation 10 / 1

Page 12: Partie 3: Estimation des paramètres de propagation

Performances

θ1 sera dit meilleur estimateur que θ2 par rapport au risque R ssi

R(θ, θ1) ≤ R(θ, θ2) ∀ θ ∈ Θ

QuestionY-a-t-il une valeur minimale du risque ?

Si le risque est quadratiqueSi le problème est suffisamment régulierSi on restreint la classe des estimateurs

alors la réponse est affirmative⇒ borne de Cramer-Rao (BCR/CRB)

Philippe Ciblat Estimation des paramètres de propagation 11 / 1

Page 13: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao (I)Un modèle est dit régulier si

∂pX (xN |θ)/∂θ existe pout tout xN et tout θ.pX (xN |θ) a le même support par rapport à xN pour tout θSoit X l’espace d’observation∫

X

∂θpX (xN |θ)dxN =

∂θ

∫X

pX (xN |θ)dxN = 0

Exemple

Soit X un scalaire gaussien réel de moyenne θ = m et variance 1

pX (x |θ) =1√2π

e−(x−θ)2/2

p′X (x |θ) = (x − θ)pX (x |θ)

le support est R pour tout θ∫R pX (x |θ)dx = 1

Philippe Ciblat Estimation des paramètres de propagation 12 / 1

Page 14: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao (II)

Proposition 1

Un estimateur sans biais vérifie l’inégalité suivante

EX

[(θ − θ

)(θ − θ

)T]≥ F (θ)−1 = CRB(θ)

RemarquesEQM(θ, θ) ≥ trace(F (θ)−1)

La matrice F (θ) se nomme matrice d’information de Fisher (FIM)

F (θ) = EX

[(∂ ln pX (xN |θ)

∂θ

)(∂ ln pX (xN |θ)

∂θ

)T]

Une version étendue de la CRB au cas biaisé existeUn estimateur sans biais atteignant la CRB est dit efficace

Philippe Ciblat Estimation des paramètres de propagation 13 / 1

Page 15: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao (III)

Proposition 2

Si la fonction ln pX (xN |θ) admet une dérivée seconde, alors

F (θ) = −EX

[∂2 ln pX (xN |θ)

(∂θ)2

]

RemarquesLa formule précédente est une variante de la CRBpX (xN |θ) est la vraisemblanceln pX (xN |θ) est la log-vraisemblance

Philippe Ciblat Estimation des paramètres de propagation 14 / 1

Page 16: Partie 3: Estimation des paramètres de propagation

Preuve de la proposition 1

Nous nous limitons, par souci de légèreté, au cas scalaire

EX

[(θ − θ)

∂θln pX (x |θ)

]=

∫(θ − θ)

∂θln pX (x |θ)pX (x |θ)dx

=

∫(θ − θ)

∂θpX (x |θ)dx

=∂

∂θEX [θ]

= 1

Utilisation, ensuite, de l’inégalité de Cauchy-Schwartz

Philippe Ciblat Estimation des paramètres de propagation 15 / 1

Page 17: Partie 3: Estimation des paramètres de propagation

Preuve de la proposition 2

Nous nous limitons, par souci de légèreté, au cas scalaire

EX

[∂2

(∂θ)2 ln pX (x |θ)

]= −EX

[1

pX (x |θ)

∂θpX (x |θ)

1pX (x |θ)

∂θpX (x |θ)

]+ EX

[1

pX (x |θ)

∂2

(∂θ)2 pX (x |θ)

]= −EX

[1

pX (x |θ)

∂θpX (x |θ)

1pX (x |θ)

∂θpX (x |θ)

]= −EX

[(∂

∂θln pX (x |θ)

)2]

Philippe Ciblat Estimation des paramètres de propagation 16 / 1

Page 18: Partie 3: Estimation des paramètres de propagation

Exemple

Soit XN un vecteur gaussien réel dont les composantes sont i.i.d. demoyenne m (inconnue) et variance v (connue)

pX (XN |m) =1

(√

2πv)Ne−

∑Nn=1(xn−m)2/2v

RésultatLa matrice d’information de Fisher (pour l’estimation de m) est tel que

F−1 =vN

RemarquesConsidérons l’estimateur empirique de la moyenneCet estimateur est sans biais et d’erreur quadratique v/NCet estimateur est donc efficace

Philippe Ciblat Estimation des paramètres de propagation 17 / 1

Page 19: Partie 3: Estimation des paramètres de propagation

Analyse asymptotique

Objectif

Etude des performances de l’estimateur θN lorsque N →∞

Ex. : estimation d’une moyenne nulle

−1.5 −1 −0.5 0 0.5 1 1.50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Moyenne estimée

Nom

bre

de v

ale

urs

tro

uvées p

ar

recta

ngle

(pour

1000 tests

)

10 échantillons

Notion de convergence

Notion de dispersionVarianceAllure de ladistribution

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Page 20: Partie 3: Estimation des paramètres de propagation

Analyse asymptotique

Objectif

Etude des performances de l’estimateur θN lorsque N →∞

Ex. : estimation d’une moyenne nulle

−1.5 −1 −0.5 0 0.5 1 1.50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Moyenne estimée

Nom

bre

de v

ale

urs

tro

uvées p

ar

recta

ngle

(pour

1000 tests

)

100 échantillons

Notion de convergence

Notion de dispersionVarianceAllure de ladistribution

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Page 21: Partie 3: Estimation des paramètres de propagation

Analyse asymptotique

Objectif

Etude des performances de l’estimateur θN lorsque N →∞

Ex. : estimation d’une moyenne nulle

−1.5 −1 −0.5 0 0.5 1 1.50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Moyenne estimée

Nom

bre

de v

ale

urs

tro

uvées p

ar

recta

ngle

(pour

1000 tests

)

1000 échantillons

Notion de convergence

Notion de dispersionVarianceAllure de ladistribution

Philippe Ciblat Estimation des paramètres de propagation 18 / 1

Page 22: Partie 3: Estimation des paramètres de propagation

Consistance

Définition

θN − θp.s.→ 0

avec la convergence presque sûre définie de la manière suivante

Prob(ω : lim

N→∞θN(ω) = θ

)= 1

Démarche classique :Loi forte des grands nombresLemme de Borel-Cantelli

∀ε > 0,∑n∈N

Prob(‖θn − θ‖ > ε) < +∞⇒ Prob( limN→∞

θN = θ) = 1

Inégalité de Markov/Tchebitchev

Prob(‖θN − θ‖ > ε) ≤E[‖θN − θ‖p

Lp ]

εp , p ≥ 2

Philippe Ciblat Estimation des paramètres de propagation 19 / 1

Page 23: Partie 3: Estimation des paramètres de propagation

Normalité asymptotique

DéfinitionUn estimateur est dit asymptotiquement normal ssi

Np/2(θN − θ)L→ N (0,Γ)

oùp est la vitesse de convergence (convergence dite en 1/Np)Γ est la matrice de covariance (asymptotique)

Convergence en loi : xnL→ x

Pour toute fonction continue bornée : limN→∞ E[f (xn)] = E[f (x)]

Pour tout w , limN→∞ E[eiwxn ] = E[eiwx ]

les réalisations des v.a. peuvent être totalement différentes, ellesont juste la même loi asymptotiquement

Philippe Ciblat Estimation des paramètres de propagation 20 / 1

Page 24: Partie 3: Estimation des paramètres de propagation

RemarquesOrigine de la normalité asymptotique :

Théorème central-limiteDémonstration classique par les fonctions caractéristiques dedeuxième espèce

Calcul de la covariance asymptotique :EQM = E[‖θN − θ‖2] ∼ trace(Γ)/Np

Démarche classique du calcul de la covariance pardéveloppement en série de Taylor à l’ordre deux du processusde contraste autour de θ

Quelques propriétés supplémentaires :Un estimateur est dit asymptotiquement sans biais silimN→∞ EX [θN ] = θ

Un estimateur est dit asymptotiquement efficace si il estasymptotiquement normal et que

EQM(N)

trace(CRB(N))→ 1, quand N →∞

Philippe Ciblat Estimation des paramètres de propagation 21 / 1

Page 25: Partie 3: Estimation des paramètres de propagation

Estimateur du maximum de vraisemblance (I)

Définition

Soit pX (.|θ) une densité de probabilité paramétrée par θ

θML,N = arg maxθ∈Θ

p(xN |θ)

On parle d’estimateur MV ou ML (Maximum Likelihood)

Remarque :Supposons, pour simplifier, que les xn sont i.i.d.

θ 7→ J(θ, θ) = D(pX (.|θ)||pX (.|θ))− H(pX (.|θ))

= −EX [ln pX (.|θ)]

θ 7→ JN(θ, θ) = − 1N

N∑n=1

ln p(xn|θ)

∝ − ln p(xN |θ)

Philippe Ciblat Estimation des paramètres de propagation 22 / 1

Page 26: Partie 3: Estimation des paramètres de propagation

Estimateur du maximum de vraisemblance (II)

Equations de vraisemblance :Si pX (.|θ) est différentiable par rapport à θ, alors

∂pX (xN |θ)

∂θ

∣∣∣∣θ=θML,N

= 0

Performances asymptotiques

Si la suite xn est i.i.d. et pX (xn|θ) vérifie des conditions techniquespeu restrictives, alors l’estimateur ML est

consistantasymptotiquement sans biaisasymptotiquement normal avec p = 1asymptotiquement efficace

Contre-exemple : estimation de fréquence (variables non i.d.)

Philippe Ciblat Estimation des paramètres de propagation 23 / 1

Page 27: Partie 3: Estimation des paramètres de propagation

Estimateur du maximum de vraisemblance (III)

Soitxn = fn(θ) + bn, pour n = 1, . . . ,N

avecfn(.) des fonctions déterministesune suite bn i.i.d gaussienne de moyenne nulle et de variance v

Estimateur ML

θML,N = arg minθ

N∑n=1

|xn − fn(θ)|2

C’est donc l’estimateur des moindres carrés (LS pour Least Square)

Exemple :L’estimateur empirique de la moyenne est le LS/ML.

Philippe Ciblat Estimation des paramètres de propagation 24 / 1

Page 28: Partie 3: Estimation des paramètres de propagation

Bibliographie

H. Cramer, "Mathematical Methods of Statistics", 1946.

H.L. Van Trees, "Detection, Estimation, and Modulation Theory", Partie 1, 1968.

E. Moulines, "Estimation statistique", Polycopié ENST.

B. Porat, "Digital Processing of Random Signals : Theory and Methods", 1994.

Philippe Ciblat Estimation des paramètres de propagation 25 / 1

Page 29: Partie 3: Estimation des paramètres de propagation

Section 3.1 : Estimation du canalavec séquence d’apprentissage

Philippe Ciblat Estimation des paramètres de propagation 26 / 1

Page 30: Partie 3: Estimation des paramètres de propagation

Introduction

y(n) =L∑

k=0

h(k)sn−k + b(n)

avech le filtre équivalentb(n) un bruit blanc iid centré gaussien

Problème : Le filtre h est, en pratique, inconnu du récepteur

Objectif

Comment estimer h ?

Philippe Ciblat Estimation des paramètres de propagation 26 / 1

Page 31: Partie 3: Estimation des paramètres de propagation

Méthode d’estimation

Trois modes :Avec séquence d’apprentissage Data-aided (DA) ou supervisé

Sans séquence d’apprentissage Non-Data-aided (NDA) ou autodidacte/aveugle

Avec retour de décision Decision-Directed (DD)

Objectif

Estimer h à la donnée de y(n) et sn

Philippe Ciblat Estimation des paramètres de propagation 27 / 1

Page 32: Partie 3: Estimation des paramètres de propagation

Formulation matricielle

yN = SNh + bN

avecyN = [y(0), · · · , y(N − 1)]T

N nombre d’observations (temps d’observation = [0,NTs[)[01,L, s0, · · · , sN−1]T : séquence d’apprentissageSN une matrice N × (L + 1) définie comme suit

SN =

s0 s−1 . . . s−L

s1. . . . . .

...sN−1 sN−2 . . . sN−1−L

h = [h(0), · · · ,h(L)]T

bN = [b(0), · · · ,b(N − 1)]T : bruit blanc gaussien

Philippe Ciblat Estimation des paramètres de propagation 28 / 1

Page 33: Partie 3: Estimation des paramètres de propagation

Estimateur du maximum de vraisemblance

On a

p(yN |h) ∝ exp

{−‖yN − SNh‖2

2N0

}d’où

hN = arg minh‖yN − SNh‖2

Résultat

hN = S#N yN =

(SH

NSN)−1 SH

NyN

avec S#N la pseudo-inverse de SN

Philippe Ciblat Estimation des paramètres de propagation 29 / 1

Page 34: Partie 3: Estimation des paramètres de propagation

Performances asymptotiques (I)

Un résultat préliminaire

{sn}n réalisation d’une séquence pseudo-aléatoire stationnairers(τ) = E[sn+τsn] la fonction d’autocorrélationTN = 1

N SHNSN

Résultat fondamental

tN(k , l) =1N

N−1∑n=0

sn−k sn−lp.s.→ E[sn−k sn−l ] = rs(k − l)

Considérons Rs = (rs(k − l))0≤k,l≤L la matrice (Toeplitz) decorrélation de taille (L + 1)× (L + 1) du processus {sn}n

1N

SHNSN

p.s.→ Rs

Philippe Ciblat Estimation des paramètres de propagation 30 / 1

Page 35: Partie 3: Estimation des paramètres de propagation

Performances asymptotiques (II)

Résultat

Estimateur sans biais : E[hN ] = hEstimateur consistant

hNp.s.→ h

Estimateur asymptotiquement normal (avec une vitesse en 1/N)

N1/2(hN − h)L→ CN (0,Γ)

avecΓ = 2N0 (Rs)−1

Remarque :

MSE = E[‖hN − h‖2

]≈ trace(Γ)

N

Philippe Ciblat Estimation des paramètres de propagation 31 / 1

Page 36: Partie 3: Estimation des paramètres de propagation

Preuve

hN =(SH

NSN)−1 SH

NyN

= h +(SH

NSN)−1 SH

NbN

⇒ sans biais

= h +

(1N

SHNSN

)−1 1N

SHNbN

⇒ consistant

N1/2(hN − h) =

(1N

SHNSN

)−1( 1√N

SHNbN

)⇒ asymptotiquement normal

NE[(hN − h)(hN − h)H] = 2N0

(1N

SHNSN

)−1

⇒ de covariance asymptotique Γ

Philippe Ciblat Estimation des paramètres de propagation 32 / 1

Page 37: Partie 3: Estimation des paramètres de propagation

Séquence d’apprentissage optimale

Les performances dépendent donc de la couleur de la séquenced’apprentissageQuestion : quelle est la couleur optimale ?

Problème d’optimisation :

Ropt. = arg minRs

trace(Rs )=(L+1)P0

trace(R−1s )

RésultatLa matrice Rs = P0IdL+1 rend la MSE minimale

Remarque :La séquence d’apprentissage optimale est blancheL’estimateur ML devient le simple corrélateur hN = 1

NP0SH

NyN

Philippe Ciblat Estimation des paramètres de propagation 33 / 1

Page 38: Partie 3: Estimation des paramètres de propagation

Preuve

La matrice Rs est hermitienne et donc diagonalisableSoit Rs = P−1ΛP avec Λ = diag(λ0, . . . , λL)

On a

Ropt. = arg minλ0,...,λL∑L

`=0 λ`=(L+1)P0

L∑`=0

1λ`

La fonction f (x) = 1/x étant convexe, on a

f

(1

L + 1

L∑`=0

λ`

)≤ 1

L + 1

L∑`=0

f (λ`)⇒L∑`=0

1λ`≥ L + 1

P0

La borne est atteinte si

λ` = P0

Philippe Ciblat Estimation des paramètres de propagation 34 / 1

Page 39: Partie 3: Estimation des paramètres de propagation

Borne de Cramer-Rao

Résultat

CRBN(h) =2N0

N

(1N

SHNSN

)−1

Remarque :L’estimateur ML est donc efficace

Philippe Ciblat Estimation des paramètres de propagation 35 / 1

Page 40: Partie 3: Estimation des paramètres de propagation

Exemple numérique : EQM (MSE)

On ah = [−0.40825,0.81650,0.40825]T

Séquence blanche

0.001

0.01

0.1

0 50 100 150 200 250 300

MS

E

N

MSE en fonction de N (Eb/N0=10dB)

MSE empiriqueMSE thØorique (CRB)

0.001

0.01

0.1

1

0 5 10 15 20

MS

E

Eb/N0

MSE en fonction de Eb/N0 (N=32)

MSE empiriqueMSE thØorique (CRB)

Exemple : N = 32 pour une trame de longueur 128 dans le GSM

Philippe Ciblat Estimation des paramètres de propagation 36 / 1

Page 41: Partie 3: Estimation des paramètres de propagation

Exemple numérique : TEB (BER)

On ah = [−0.40825,0.81650,0.40825]T

Séquence blancheEgaliseur de WienerConstellation d’amplitude à deux états (MDA2/BPSK)

1e-04

0.001

0.01

0.1

0 50 100 150 200 250 300

TE

B

N

TEB en fonction de N (RSB=8dB)

Canal estimØCanal connu

1e-06

1e-05

1e-04

0.001

0.01

0.1

1

0 2 4 6 8 10

TE

B

Eb/N0

TEB en fonction de Eb/N0

Canal estimØ (N=8)Canal estimØ (N=32)

Canal connu

Philippe Ciblat Estimation des paramètres de propagation 37 / 1

Page 42: Partie 3: Estimation des paramètres de propagation

Bibliographie

S. Crozier, D. Falconer et S. Mahmoud, "Least sum of squared errors channelestimation", IEE Proceedings on Radar and Signal Processing, vol. 138, no. 4,pp. 371-378, Août 1991.

C. Tellambura, "Optimal sequences for channel estimation using FFTtechniques", IEEE Trans. on Communications, vol. 47, no. 2, pp 230-238, Février1999.

M. Morelli et U. Mengali, "Carrier-frequency estimation for transmissions overselective channels", IEEE Trans. on Communications, vol. 48, pp. 1580-1589,Septembre 2000.

P. Ciblat et L. Vandendorpe, "On the Maximum-Likelihood based data-aidedfrequency offset and channel estimates", EURASIP European Signal ProcessingConference (EUSIPCO), vol. 1, pp. 627-630, Toulouse (France), Septembre2002.

P. Stoica et O. Besson, "Training sequence design for frequency offset andfrequency-selective channel estimation", IEEE Trans. on Communications, vol.51, no. 11, pp 1910-1917, Novembre 2003.

Philippe Ciblat Estimation des paramètres de propagation 38 / 1

Page 43: Partie 3: Estimation des paramètres de propagation

Section 3.2 : Estimation de la fréquenceavec séquence d’apprentissage

Philippe Ciblat Estimation des paramètres de propagation 39 / 1

Page 44: Partie 3: Estimation des paramètres de propagation

Plan

Modèle de signal

Rappel : estimation de fréquence pure

Estimateurs ML

Bornes de Cramer-Rao

Illustrations numériques

Philippe Ciblat Estimation des paramètres de propagation 39 / 1

Page 45: Partie 3: Estimation des paramètres de propagation

Modèle en bande de base (I)

Signal reçu en bande de base

ya(t) =

(∑k∈Z

sk ha(t − kTs)

)e2iπδfat + ba(t)

avec{sk}k∈Z : symboles d’une constellation quelconque

ba(t) : bruit additif gaussien ∼ CN (0,2N0).

ha(t) : un filtre résultant d’un filtre de mise en forme ga(t), d’uncanal de propagation, d’un déphasage et d’un retard temporel.

δfa un résidu de fréquence porteuse lié soit à l’effet Doppler soità un défaut des oscillateurs locaux.

Philippe Ciblat Estimation des paramètres de propagation 40 / 1

Page 46: Partie 3: Estimation des paramètres de propagation

Modèle en bande de base (II)

Hypothèse

δfaTs � 1

⇒ δfa petit devant la largeur de bande

Système radiomobile avec effet Doppler :porteuse f0 à 900MHz, vitesse v de déplacement à 50km/h⇒ δfa = f0 v

c = 40Hz

Oscillateurs locaux de précision de 100ppm⇒ δfa = f0 × précision = 90kHz

Philippe Ciblat Estimation des paramètres de propagation 41 / 1

Page 47: Partie 3: Estimation des paramètres de propagation

Modèle mathématique

Signal reçu

y(n) =

(L∑

k=0

h(k)sn−k

)︸ ︷︷ ︸

a(n)

e2iπf0n + b(n)

{sn} une séquence de données (connue ou inconnue){h(k)} le filtre inconnuf0 la fréquence inconnueb(n) le bruit gaussien blanc

Philippe Ciblat Estimation des paramètres de propagation 42 / 1

Page 48: Partie 3: Estimation des paramètres de propagation

Méthode d’estimation

Deux modes :Avec séquence d’apprentissage Data-aided (DA) ou supervisé ou avec pilote Estimation d’harmonique avec amplitude partiellementconnue variant dans le temps

Sans séquence d’apprentissage Non-Data-aided (NDA) ou autodidacte/aveugle Estimation d’harmonique avec bruit multiplicatif et bruit additif

Objectif

Estimer f0 à la donnée de y(n) et sn

Philippe Ciblat Estimation des paramètres de propagation 43 / 1

Page 49: Partie 3: Estimation des paramètres de propagation

Estimation de fréquence pure

Modèle du signal : soit f0 la fréquence

y(n) = ae2iπf0n + b(n)

avec a l’amplitude complexe telle que a = |a|e2iπφ0 avec φ0 la phase

Exemple :

0 10 20 30 40 50 60 70 80 90 100−6

−4

−2

0

2

4

6

sample index

Harmonic with f0=0.1 and SNR=−10dB

Re

al p

art

of

ha

rmo

nic

0 10 20 30 40 50 60 70 80 90 100−6

−4

−2

0

2

4

6

sample index

Harmonic with f0=0.1 and SNR=0dB

Re

al p

art

of

ha

rmo

nic

0 10 20 30 40 50 60 70 80 90 100−6

−4

−2

0

2

4

6

sample index

Harmonic with f0=0.1 and SNR=10dB

Re

al p

art

of

ha

rmo

nic

RSB=−10dB RSB=0dB RSB=10dB

Philippe Ciblat Estimation des paramètres de propagation 44 / 1

Page 50: Partie 3: Estimation des paramètres de propagation

Estimateur ML de fréquence pure

Critère ML : comme le bruit additif est gaussien blanc, on a

min|a|,φ,f

J(|a|, φ, f ) =1N

N−1∑n=0

∣∣∣y(n)− |a|e2iπ(fn+φ)∣∣∣2

Résultat

Si phase φ0 connue : fN = arg maxf <[

1N

∑N−1n=0 y(n)e−2iπ(fn+φ0)

]Si phase φ0 inconnue : fN = arg maxf

∣∣∣ 1N

∑N−1n=0 y(n)e−2iπfn

∣∣∣2

Philippe Ciblat Estimation des paramètres de propagation 45 / 1

Page 51: Partie 3: Estimation des paramètres de propagation

Preuve

J(|a|, φ, f ) =1N

N−1∑n=0

|y(n)|2 + |a|2

− |a|

(1N

N−1∑n=0

y(n)e2iπ(fn+φ) +1N

N−1∑n=0

y(n)e−2iπ(fn+φ)

)Si phase connue (φ = φ0), maximisation du terme bleuSi phase inconnue, φ0 ∈ [0, π[ (sinon ambiguïté avec a et −a) et

∂J∂φ

∣∣∣∣φ=φN

= 0⇔ e2iπφN =

(1N

∑N−1n=0 y(n)e−2iπfn

1N

∑N−1n=0 y(n)e2iπfn

)1/2

d’où

J(|a|, φN , f ) = constante− 2|a|

∣∣∣∣∣ 1N

N−1∑n=0

y(n)e−2iπfn

∣∣∣∣∣ce qui implique la maximisation du terme magenta

Philippe Ciblat Estimation des paramètres de propagation 46 / 1

Page 52: Partie 3: Estimation des paramètres de propagation

Illustrations numériques

f0 = 0.1N = 100

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

10

20

30

40

50

60

70

80

frequency index

Harmonic with f0=0.1, N=100 and SNR=−10dB

FF

T n

orm

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

20

40

60

80

100

120

frequency index

Harmonic with f0=0.1, N=100 and SNR=0dB

FF

T n

orm

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

10

20

30

40

50

60

70

80

90

100

frequency index

Harmonic with f0=0.1, N=100 and SNR=10dB

FF

T n

orm

RSB=−10dB RSB=0dB RSB=10dB

Philippe Ciblat Estimation des paramètres de propagation 47 / 1

Page 53: Partie 3: Estimation des paramètres de propagation

Estimation de fréquence non pure

yN = DN(f0)SNh + bN

avecyN = [y(0), · · · , y(N − 1)]T

N nombre d’observations (temps d’observation = [0,NTs[)[01,L, s0, · · · , sN−1]T : séquence d’apprentissageSN une matrice N × (L + 1) définie comme suit

SN =

s0 s−1 . . . s−L

s1. . . . . .

...sN−1 sN−2 . . . sN−1−L

h = [h(0), · · · ,h(L)]T

DN(f ) = diag([1, · · · ,e2iπ(N−1)f ])

bN = [b(0), · · · ,b(N − 1)]T : bruit blanc gaussienPhilippe Ciblat Estimation des paramètres de propagation 48 / 1

Page 54: Partie 3: Estimation des paramètres de propagation

Estimateurs ML (I)

Problème dirigési la fréquence est connue (problème classique)

hN|f = (SHNSN)−1SH

NyN

si le canal est connu (référence ou voie de retour)

fN|h = arg maxf∈[0,1[

<[hHSHNDN(f )HyN ]

Preuve : suivre la démarche du transparent 46

Lien avec le périodogramme

fN|h = arg maxf∈[0,1[

<

[1N

N−1∑n=0

a(n)y(n)e−2iπfn

]

Philippe Ciblat Estimation des paramètres de propagation 49 / 1

Page 55: Partie 3: Estimation des paramètres de propagation

Estimateurs ML (II)

Problème conjoint{fN = arg maxf∈[0,1[ yH

NDN(f )SN(SHNSN)−1SH

NDN(f )HyN

hN = (SHNSN)−1SH

NDN(fN)HyN

Preuve : suivre la démarche du transparent 46

Soit PN = SN(SHNSN)−1SH

N la projection sur l’image de SN .Soit la décomposition de Cholesky de PN = QH

NQN

Lien avec périodogramme

fN = arg maxf∈[0,1[

1N

N−1∑n=0

∣∣∣∣∣N−1∑n′=0

qn,n′y(n′)e−2iπfn′∣∣∣∣∣2

Philippe Ciblat Estimation des paramètres de propagation 50 / 1

Page 56: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao : problème dirigé

Résultat γf |h = N04π2N3

1hHW2h

Γh|f = 2N0N W−1

0

avec

WK =SH

N∆KNSN

N(K+1)

et∆N = diag([0,1, · · · ,N − 1])

Remarque :Estimateur ML est asymptotiquement efficace

Philippe Ciblat Estimation des paramètres de propagation 51 / 1

Page 57: Partie 3: Estimation des paramètres de propagation

Preuve

F (f ) = Ey

[(d ln p(y|f )

df

)2]

et p(y|f ) ∝ e−‖y−DN (f )SN h‖2

2N0

ln p(y|f ) =−12N0

(yH − hHSHNDN(f )H)(y− DN(f )SNh) + cte

d ln p(y|f )

df=

−12N0

(2iπhHSHN∆NDN(f )H)(y− DN(f )SNh)

+−12N0

(yH − hHSHNDN(f )H)(−2iπDN(f )∆NSNh)

d ln p(y|f )

df

∣∣∣∣y,f0

=−2iπ2N0

(hHSH

N∆NDN(f0)Hb− bHDN(f0)∆NSNh)

E

[(d ln p(y|f )

df

)2]

=4π2

4N20

(2hHSH

N∆NDN(f0)HE[bbH]DN(f0)∆NSNh)

Philippe Ciblat Estimation des paramètres de propagation 52 / 1

Page 58: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao : problème conjoint

Résultat γf = N0

4π2N31

hH(W2−W1W−10 W1)h

Γh = 2N0N (W−1

0 +W−1

0 W1hhHW1W−10

2hH(W2−W1W−10 W1)h

)

Remarque :Convergence de l’estimateur de la fréquence en 1/N3

Convergence de l’estimateur du canal en 1/NEstimateur ML asymptotiquement efficace

Philippe Ciblat Estimation des paramètres de propagation 53 / 1

Page 59: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao asymptotiques (I)

Considérons{sn}n une réalisation d’une séquence pseudo-aléatoirestationnairers(τ) = E[sn+τsn] la fonction d’autocorrélation

Résultat fondamental

wK (k , l) =1

N(K+1)

N−1∑n=0

nK sn−k sn−lp.s.→ E[sn−k sn−l ]

K + 1=

rs(k − l)K + 1

Esquisse de preuve :

wK (k , l) =

(1

N(K+1)

N−1∑n=0

nK

)︸ ︷︷ ︸

1/(K+1)

E[sn−k sn−l ] +1

N(K+1)

N−1∑n=0

nK εk,l (n)︸ ︷︷ ︸p.s.→0

Philippe Ciblat Estimation des paramètres de propagation 54 / 1

Page 60: Partie 3: Estimation des paramètres de propagation

Bornes de Cramer-Rao asymptotiques (II)

Considérons Rs = (rs(k − l))0≤k,l≤L la matrice (Toeplitz) decorrélation de taille (L + 1)× (L + 1) du processus {sn}n

Problème dirigé

γf |h =3N0

4π2N31

hHRshet Γh|f =

2N0

NR−1

s

Problème conjoint

γf =3N0

π2N31

hHRshet Γh =

2N0

N

(R−1

s +32

hhH

hHRsh

)

Remarque :Perte de 6dB pour l’estimation de fréquence si le canal est inconnu

Philippe Ciblat Estimation des paramètres de propagation 55 / 1

Page 61: Partie 3: Estimation des paramètres de propagation

Illustrations numériques

Protocole :Afin de maximiser les périodogrammes, on procède en deux étapes

1. une étape dite grossière réalisée à l’aide d’une TFD2. une étape dite fine réalisée par le biais d’un algorithme du

gradient initialisé avec le résultat de l’étape grossière

Remarques

A faible RSB et/ou quand le nombre d’échantillons est petit,l’étape grossière peut échouer⇒ phénomène de décrochementLa borne de Cramer-Rao ne fournit de l’information que sur laseconde étape

Philippe Ciblat Estimation des paramètres de propagation 56 / 1

Page 62: Partie 3: Estimation des paramètres de propagation

EQM en fonction du RSB

Canal radio-mobile de norme 1N = 32

−20 −10 0 10 20 30 40 50−120

−100

−80

−60

−40

−20

0

SNR (N=32, MC=200)

(dB

)

MSE versus SNR / Variable of interest : Frequency Offset

Practical MSE : Frequency Offset (Joint Estimation) Theoretical MSE : Frequency Offset (Joint Estimation)Practical MSE : Frequency Offset (Channel known) Theoretical MSE : Frequency Offset (Channel known)

−20 −10 0 10 20 30 40 50−60

−50

−40

−30

−20

−10

0

10

20

SNR (N=32, MC=200)

(dB

)

MSE versus SNR / Variable of interest : Channel

Practical MSE : Channel (Joint Estimation) Theoretical MSE : Channel (Joint Estimation) Practical MSE : Channel (Frequency Offset known) Theoretical MSE : Channel (Frequency Offset known)

f0 h

La CRB inexacte à faible RSB (phénomène de décrochement)

Philippe Ciblat Estimation des paramètres de propagation 57 / 1

Page 63: Partie 3: Estimation des paramètres de propagation

Taux d’Erreur Binaire

N = 50, Trame de longueur 500Egaliseur de Wiener

1e-04

0.001

0.01

0.1

1

0 2 4 6 8 10 12 14 16

BE

R

SNR

BER versus SNR for Nt=50 and alpha=10

Perfect knowledgeWhite TS

Philippe Ciblat Estimation des paramètres de propagation 58 / 1

Page 64: Partie 3: Estimation des paramètres de propagation

Problèmes non traités

1. Conception de la séquence d’apprentissage ?2. Estimation de la fréquence en NDA3. Décrochement : est-ce intrinsèque au problème ou juste à

l’estimateur ?4. Extension à l’OFDM

Méthode DA : démarche identiqueMéthode NDA : identique ou sous-porteuses nulles (détecteurd’énergie, méthode sous-espace) ou égalisation entre porteusesou ...

Philippe Ciblat Estimation des paramètres de propagation 59 / 1

Page 65: Partie 3: Estimation des paramètres de propagation

Bibliographie

E. Hannan, "The estimation of frequency", Journal of Applied Probability, 1973.

D. Rife et R. Boorstyn, "Single-tone parameter estimation from discrete-timeobservations", IEEE Trans. on Information Theory, Septembre 1974.

A. Viterbi, "Non-linear estimation of PSK-modulated carrier phase with applicationto burst digital transmissions", IEEE Trans. on Information Theory, Juillet 1983.

U. Mengali et A. d’Andrea, "Synchronisation techniques for digital receivers",Plenum Press, 1997.

H. Meyr et al., " Digital communications receivers", Wiley, 1998.

M. Ghogho, A. Swami et A. Nandi, "Non-linear least squares estimation forharmonics in multiplicative and additive noise", Signal Processing, Octobre 1999.

M. Morelli et U. Mengali, "Carrier frequency estimation for transmissions overselective channels", IEEE Trans. on Communications, Septembre 2000.

N. Noels et al., "Turbosynchronization : an EM algorithm interpretation", IEEEInternational Conf. on Communications (ICC), 2003.

Y. Wang et al., "Optimal blind carrier recovery for M-PSK burst transmissions",IEEE Trans. on Communications, Septembre 2003.

P. Ciblat et al., "Training Sequence Optimization for joint Channel and FrequencyOffset estimation", IEEE Trans. on Signal Processing, Août 2008.

Philippe Ciblat Estimation des paramètres de propagation 60 / 1