cours max vrais

B. Govaerts - Institut de Statistique - UCL STAT2430 Estimation par maximum de vraisemblance Page 1

Estimation par maximum de vraisemblanceApproche numrique


But de lestimation en statistiqueLestimation a pour but de trouver les valeurs possibles de telles que la densit f(x;) sajuste le mieux aux donnes disponiblesDiffrentes mthodes possibles : mthode des moments, du maximum de vraisemblance ou des moindres carrs. X : Variable ou vecteur alatoire dintrtX1, X2, . Xnchantillon de donnes f(x;) Densit de probabilit sur Xf() est connu, inconnu


Exemple : ajustement dun loi des donneschantillon de donnes : 200 donnes de mesures de rsistance de verre la rupture.But : trouver une densit de probabilit qui sajuste bien aux donnes et en estimer les paramtres. Densit proposes : Normale, logNormale, Weibull


Estimation par maximum de vraisemblance Fonction de vraisemblanceSoit X une variable alatoire de densit de probabilit f(x;) o est un vecteur de k paramtres : =(1, 2,... k)Soit X1,X2 Xn un chantillon de donnes indpendantes.La fonction de vraisemblance associe est dfinie par :Estimateur de maximum de vraisemblance (EMV)Lestimateur de maximum de vraisemblance de est la valeur de qui maximise la fonction de vraisemblance L().En pratique on maximise le logarithme de la fonction de vraisemblance : Si une approche analytique par drivation ne fonctionne pas, on procde numriquement. == ni ixfL 1 );()( === ni ixfLl 1 ));(log())(log()(


Proprits des EMVUn estimateur de maximum de vraisemblance est asymptotiquement sans biais, de distribution Normale et de variance minimale :I() est la matrice dinformation de Fischer dfinie par :))(,( 1 INdist

)());(log('

)('

)(1

22

HxflIn

ii =

=

= = matrice Hessienne


Proprit dinvariance des estimateurs de MVSoit =g() un paramtre fonction du vecteur des paramtres estims par maximum de vraisemblance. La proprit dinvariance assure que lestimateur de maximum de vraisemblance de vaut : Les proprits asymptotiques de cet estimateur sont similaires aux proprits de lEMV : de MV de estimateurl'est o )( g=)()(o

))()()'(,( 1

gG

GIGNdist

=


Ajustement dun distribution Normale : approche analytique Densit normaleFonction de vraisemblanceLog vraisemblanceMinimisationEstimateurs de maximum de vraisemblance )2 )(exp(21),;();( 2 222 pi == xxfxf == == ni ini i xxfL 1 2 221 )2 )(exp(21);()( pi == == ni ini i xnnxfl 1 2 221 2 )()2log(2)log(2));(log()( pi == == ==+= ==== ni ini i ni ini i xnxnl Xxnxl 1 221 4 222 11 2 )(102 )(2)( 102 )(2)( =

==

n

ii Xx

nX

1

22 )(1


Exemple : ajustement dune Normale Estimateurs de MVValeur de la log vraisemblance 75.222)(123.46 1 22 ==== =ni i XxnX 39.824

2)()2log(

2)log(

2)(

12

22

=

= =

n

i

ixnnl

pi N(23.46, 222.75)


Approche numrique de lEMVQuand une solution analytique nexiste pas ou ne peut facilement tre trouve pour les EMV, on procde numriquement.La fonction R nlm() (nlmin() dans S+) permet de minimiser une fonction plusieurs variables. On va donc minimiser l(). Lalgorithme utilis est itratif et est une variante de lalgorithme de Newton.A faire : Ecrire une fonction qui permet de calculer l() Minimiser cette fonction avec nlm en donnant des valeurs de dpart pour les paramtres estimer.


Exemple : Ajustement numrique dune Normale Fonction de vraisemblance minimiser l()> vraisnorfunction (par,x)

{mu=par[1]sig2=par[2]n=length(x)logvrais=-(n/2)*log(2*pi*sig2)-sum((x-mu)^2/(2*sig2))return(-logvrais)} Appel de la fonction de minimisation

nlm(vraisnor,par=c(10,10),x=x) Rsultat$minimum[1] 824.3943$estimate[1] 23.46570 222.75373$gradient[1] 1.717000e-05 6.512322e-07$code[1] 1$iterations[1] 19


La distribution logNormaleUn variable est logNormale si son logarithme est Normale. Elle prend ses valeurs dans R0+ et permet dajuster des phnomnes asymtriques. Densit logNormale Moments Exemples )2 ))(log(exp(21),;();( 2 222 pi == xxxfxf )2exp()1)(exp()()2/exp()( 222 +=+= XVXE


EMV des paramtres dune distribution logNormaleDensit lognormaleFonction de vraisemblanceLog vraisemblanceMinimisationEstimateurs de maximum de vraisemblance de E(X) et V(X) )2 ))(log(exp(21),;();( 2 222 pi == xxxfxf == == ni iini i xxxfL 1 2 221 )2 ))(log(exp(21);()( pi === == ni ini ini i xxnnxfl 1 2 2121 2 ))(log()log()2log(2)log(2));(log()( pi == == ==+= === ni ini i ni ini i xnxnl xnxl 1 221 4 222 11 2 ))(log(102 ))(log(2)( )log(102 ))(log(2)( )2exp()1)(exp()()2/exp()( 222 +=+= XVXE


Exemple : ajustement dune logNormaleEstimateurs de MVValeur de la log vraisemblance 84.219)2exp()1)(exp()(49.23)2/exp()( 335.0))(log(199.2)log(1 222 1 221 =+==+= ==== == XVXE xnxn ni ini i logN(2.99,0.335) 31.7722 )()log()2log(2)log(2));(log()( 1 2 2121 === === ni ini ini i xxnnxfl pi


Exemple : Ajustement numrique dune logNormale Fonction de vraisemblance minimiser l()> vraislognfunction (par,x)

mu=par[1]sig2=par[2]n=length(x)logvrais=-sum(log(x))-n*log(sqrt(2*pi*sig2))-sum((log(x)-mu)^2/(2*sig2))return(-logvrais)} Appel de la fonction de minimisation

nlm(vraislogn,par=c(1,1),x=x) Rsultat$minimum[1] 772.3136$estimate[1] 2.9889810 0.3353075$gradient[1] 1.939801e-05 -2.501110e-06$code[1] 1$iterations[1] 21


La distribution WeibullLa variable alatoire de Weibull 2 paramtres prend ses valeurs entre dans R0+ et permet dajuster des phnomnes asymtriques. Densit Weibull Moments Exemples ))/(exp(),;();( 1 xxxfxf == ))/11()/21(()()/11()( 22 ++=+= XVXE


Exemple : ajustement dune WeibullLa vraisemblance est trop complexe, on ne peut rsoudre le problme analytiquement ! Fonction de vraisemblance minimiser l()> vraisweibfunction (par,x)

mu=par[1]sig2=par[2]n=length(x)logvrais=n*log(a)-n*a*log(b)+(a-1)*sum(log(x))-sum((x/b)^a)return(-logvrais)} Appel de la fonction de minimisation

nlm(vraisweib,par=c(10,21),x=x) Rsultat$minimum[1] 788.5652$estimate[1] 1.718531 26.501480$gradient[1] 1.203332e-04 -1.139379e-05$code[1] 1$iterations[1] 39

Weib(1.73, 26.5)


Infrence sur les paramtres de la lognormale (1)Matrice de variance covariance des paramtresCalcul de la matrice Hessienne : analytiquement ou numriquement>res=nlm(vraislogn,par=c(1,1),x=x,hessian=T)>res$hessian

[,1] [,2][1,] 596.4673409 -0.2631740[2,] -0.2631740 888.3756777Calcul de la matrice de variance covariance des paramtres

> solve(res$hessian)[,1] [,2]

[1,] 1.676538e-03 4.966605e-07[2,] 4.966605e-07 1.125650e-03

Attention, comme on minimise log vraisemblance, on ne doit plus mettre un signe - devant la matrice Hessienne donne par R avant de linverser.

1

1

211 ));(log(

'

))(())(()(=

=

=== ni ixfHIV


Infrence sur les paramtres de la lognormale (2)Intervalle de confiance asymptotique sur un paramtreExemple : IC 95% sur : Intervalle de confiance asymptotique sur une fonction =g() dun paramtreExemple : IC 95% sur (X) : 2/1 )()(' )( = gVgzi ]07.3,91.2[00167.096.199.2 = )( 2/1 ii Vz 077.1

745.1149.23

00113.00000.0000.000167.0)745.1149.23(

),(

),(

)(),cov(),cov()(),(),())((

)2/exp(21),()2/exp(),(

49.23)2/exp()()(

2

2

2

22

2

2

22

22

22

2

2

== = +=+= =+== ggVVggXEV gg gXE]52.25,46.21[077.196.149.23 =

cours max vrais

Documents