Économétrie non-linéaire - chapitre 1: introduction stylisés rappel - modèles linéaires...
TRANSCRIPT
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Économétrie non-linéaireChapitre 1: Introduction
Gilles de Truchis, Elena Dumitrescu
Master 2 BMM - EIPMC - GDA
Septembre 2016
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 1/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Les chapitres du cours
1 Faits stylisés2 Rappel - modèles linéaires3 Méthodes d’estimation
Méthode du Maximum deVraisemblance
4 Conclusions5 Références
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 2/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
1. FAITS STYLISES
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 3/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
Pourquoi s’intéresser aux modèles non-linéaires ?
Quelles sont les limites des modèles linéaires ?
Quelles caractéristiques des données ne peuvent pas être modéliséespar les méthodes linéaires ?
Quels instruments de diagnostique (visuels et statistiques) peuventindiquer une incompatibilité entre les données et un modèle li-néaire ?
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 4/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
Vaste ensemble de données en séries temporelles (macroéconomie,finance, microéconomie, etc.)
Différentes techniques d’analyse de ces donnés ont été proposées(par exemple, les modèles de régression linéaire, ARMA, ARCH /GARCH, VAR, etc.)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 5/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
Definition (Processus stochastique)
Un processus stochastique (une série temporelle) est une séquence devariables aléatoires Yt, t ∈ Ω indicées par le symbole t, où t appartientà un ensemble ordonné (noté ici Ω) qui correspond au temps.
Si l’indice t prend des valeurs réelles, c’est-à-dire Ω ∈ R+, Yt, t ∈Ω est qualifié de processus stochastique continu.
Dans le cas contraire où les valeurs prises par t sont discrètes,Ω ∈ N, alors Yt, t ∈ Ω est un processus stochastique discret.
Exemples : produit intérieur brut, taux de chômage, taux d’inflation,etc.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 6/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
Par définition, un processus stochastique
Yt, t ∈ Ω
est une variable aléatoire pour laquelle il existe un mécanisme gé-nérateur des données, dont les réalisations successives conduisentà un échantillon (ou trajectoire) d’observations dans le temps, àsavoir
yt, t ∈ Ω
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 7/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
Objectifs : révéler la distribution probabiliste qui décrit le pro-cessus sous-jacent dans le but de comprendre et d’interpréter lesmécanismes générateurs de données, de prévoir les événements fu-turs et de contrôler la survenue des événements futurs à traversune intervention régulatrice
Sur la base des objectifs fixés ex-ante et des faits stylisés identifiéssur les données observées, le modèle probabiliste le plus appropriéest choisi
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 8/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Introduction
RemarkLa caractérisation complète de la dynamique du processus stochastiqueest impossible si on ne recourt pas à des hypothèses simplificatrices.
Exemple : si Ω est fini et t ∈ 1; 2; · · · ;T et qu’on se limite aux deuxseuls premiers moments du processus stochastique, il faudrait estimerE(Y1),E(Y2), · · · ,E(YT ), soit T éléments, ainsi que les T (T + 1)/2éléments de la matrice de variance-covariance résumant la dépendancetemporelle.
Hypothèse simplificatrice standard : stationnarité (au sensfaible) du processus stochastique
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 9/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ?
•
•
••
•
•
•••
•
•
••
•
•
•
•
•
•
••••
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
•••
••••
•••
•
•
••
•
•
•••
•
•
••
•
•
•••••••
••
•
••
••
•
••••
•••
••
••
•
••
•
•
•
•
•
•
••••
•••
•
•••
•
0 50 100 150 200
0.00.5
1.01.5
2.0
•
•
•••
•
•
•••••
•
•••••
•
•
•
•
••••••••••
•••••
•
•
•
•
•
•
••
•••••••••••
•••
•••••••••••••••
•
•••••••
••
•
•
•
••
•••••••
••
•
•
••••
•••••
•
••
•
••
••
•••
•
•
••••
•
••
•••
•
•
•••
•
•
•
••
••
•
•
••
•
••••••
•
•••••
••
•••
•
••
•
•
••••••
••••••••••
•••
•••••
•
•••
•
0 50 100 150 200
1.5
2.5
3.5
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 10/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ?
•
•
••
•
•
•••
•
•
••
•
•
•
•
•
•
••••
•
•
•
•
•
•
••
•
•
•
••
••
•
•
•
•
•••
••••
•••
•
•
••
•
•
•••
•
•
••
•
•
•••••••
••
•
••
••
•
••••
•••
••
••
•
••
•
•
•
•
•
•
••••
•••
•
•••
•
0 50 100 150 200
0.00.5
1.01.5
2.0
•
•
•••
•
•
•••••
•
•••••
•
•
•
•
••••••••••
•••••
•
•
•
•
•
•
••
•••••••••••
•••
•••••••••••••••
•
•••••••
••
•
•
•
••
•••••••
••
•
•
••••
•••••
•
••
•
••
••
•••
•
•
••••
•
••
•••
•
•
•••
•
•
•
••
••
•
•
••
•
••••••
•
•••••
••
•••
•
••
•
•
••••••
••••••••••
•••
•••••
•
•••
•
0 50 100 150 200
1.5
2.5
3.5
A length of 114 time series from the AR(2) modelX t = 1 .07 + 1 .35X t− 1 − 0.72X t− 2 + εt with εt ~ i.i.d. N (0 , 0.242 ).The parameters are taken from the AR(2) fit to the lynx data.
The parameters are taken from a two regime TAR it to the lynx data.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 11/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ?
AR(2)
Xt = 1.07 + 1.35Xt−1 − 0.72Xt−2 + εt, εt ∼ iidN(0, 0.242)
TAR(2)Xt = 0.62 + 1.25Xt−1 − 0.43Xt−2 + εt, Xt−2 ≤ 3.25
2.25 + 1.52Xt−1 − 1.24Xt−2 + εt′ , Xt−2 ≥ 3.25
avec εt ∼ iidN(0, 0.22) et εt′ ∼ iidN(0, 0.252).
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 12/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ?
Remark (Limite de la modélisation linéaire)la SCR qui correspond aux valeurs de Xt inférieures à la moyenne estde 4.007 alors que la SCR associée aux valeurs de Xt supérieures à lamoyenne est de 1.781.
SCRXt<XtSCRXt>Xt
= 2.25
significatif pour un seuil de risque de 1% (F-test dont H0 est que lesdeux sous-ensembles de résidus sont des tirages aléatoires de la mêmepopulation gaussienne)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 13/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? Intuition graphique I
••••••••••
•
••••
••••••••••••••••••
•••••
•••••••••
•••••••••
••••••••••
•
•••••••••
•
••••••••••
•••••••••
•
••••••••••
•••••••
(a) Time plot of lynx data
0 20 40 60 80 100
2.0
3.5
•••••••••••••••••
•
•••••••••
•••••
•••••
•
•••••••••
•
•••••••••••••••
••••
•••••••••••••
•••••
••••••••••••••
••••
•
•••••
•••••
(b) Reversed-time plot of lynx data
0 20 40 60 80 100
2.0
3.5
fluctuations périodiques, cycles asymétriquesl’irréversibilité temporelle indique la présence de non-linéarités ?
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 14/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? Intuition graphique II
1.5 2.0 2.5 3.0 3.5 4.0
0.0
0.2
0.4
0.6
0.8
1.0
1.5 2.0 2.5 3.0 3.5 4.0
0.0
0.2
0.4
0.6
0.8
1.0
Two histograms of Canadian lynx data with different bin-sizes,together with the estimated density function (solid curve).
Distribution marginale bimodale
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 15/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? Intuition graphique II
••
••
••• ••
•
••
••
• • ••
•
•
••
•
••
• •
•
•••
•
•
•• •
•
•
•••
•
•
•
••
•
••
•
•
• •••
•
•••
••
•••
•
•
••• •
••
•
• •
•
••
••
•
•• •
•
•
••
••
•• •••
•
•••
••
•
•• ••
••••
(a) Scatter plot at lag 1
X(t-1)
X(t)
2.0 2.5 3.0 3.5
2.0
2.5
3.0
3.5
••
••
•• •
•
•
••
••
• • ••
•
•
••
•
••
• •
•
••••
•
•• •
•
•
•••
•
•
•
••
•
••
•
•
• ••••
•••
••
••
••
•
••••
••
•
• •
•
••
••
•
•• •
•
•
••
••
•• • ••
•
•••
••
•
•• •
•
•••••
(b) Scatter plot at lag 2
X(t-2)
X(t)
2.0 2.5 3.0 3.5
2.0
2.5
3.0
3.5
••
••
• ••
•
••
••
• • ••
•
•
••
•
••
• •
•
• ••
•
•
•• •
•
•
•••
•
•
•
••
•
••
•
•
•••
••
•••
••
••
••
•
••••
••
•
• •
•
••
••
•
•• •
•
•
••
•••
• • • •
•
• ••
••
•
•• •
•
•••
•••
(c) Scatter plot at lag 3
X(t-3)
X(t)
2.0 2.5 3.0 3.5
2.0
2.5
3.0
3.5
••
•• •
•
•
••
••
• • ••
•
•
••
•
••
• •
•
• ••
•
•
•• •
•
•
•••
•
•
•
••
•
••
•
•
• ••
••
•••
••
••
••
•
••••
••
•
• •
•
••
••
•
•• •
•
•
••
••
•• • • •
•
•••
••
•
•• •
•
• ••
••• •
(d) Scatter plot at lag 4
X(t-4)
X(t)
2.0 2.5 3.0 3.5
2.0
2.5
3.0
3.5
• • •• • •
••
••
• • •
•
• •
•
•••
•
• • • ••
••
••
••
• •••
••••
•• • •
•
••
•
•
• •••
••
••
•
• •
•• •
•
••
•
• •
• •
• •
•
••
•
• • •• •
••
•
•
•
• •• •
•••
•
•
••• •
• • ••
••
•• • •
(e) Residual against X(t-1)
X(t-1)
resi
dual
2.0 2.5 3.0 3.5
-1.0
-0.5
0.0
0.5
• • •• • •
••
••
•• •
•
• •
•
•••
•
• • • ••
• •
••
••
• ••
•
••••
•• • •
•
••
•
•
•••
•
••
••
•
••
•• •
•
••
•
••
• •
• •
•
••
•
• • •• •
•••
•
•
••• •
• ••
•
•
••• •
• • ••
••
••••
(f) Residual against X(t-2)
X(t-2)
resi
dual
2.0 2.5 3.0 3.5
-1.0
-0.5
0.0
0.5
Scatter plots of Xt against (a)Xt−1, (b)Xt−2, (c)Xt−3, and (d)Xt−4 for Canadian lynx data together with kernelregression estimators (solid curves) for E(Xt|Xt−k=x) and scatter plots of the residual from the linear regressionXt= 0.620 + 0.788Xt−1 against (e)Xt−1 and (f)Xt−2. Solid curvesare nonparametric regression estimators.
dépendance nonlinéaire entre Xt et ses retard d’ordre supérieur à1dépendance nonlinéaire entre les résidus de l’AR(1) et Xt−2
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 16/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? SP500(a) Returns of the S&P 500 Index
t 0006000400020
-20
-10
05
(b) Estimated conditional STD
t 0006000400020
24
68
(c) Residuals
t 0006000400020
-20
-10
05
Time plots of (a) the S&P 500 returns X t σt , and (c) the residual
The estimates were derived based on a GARCH(1, 3) model with
standard deviationsεt~N(0,1).
, (b) the estimated conditional εt=Xt/σt
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 17/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? SP500
-20 -15 -10 -5 0 5 10
0.0
0.1
0.2
0.3
0.4
0.5
Histogram of the S&P 500 returns and a normal density function with the same mean and variance.QQ plot of S&P 500 returns against quantiles of N(0,1).
• •••• ••• •••• •••••
••• • •• •• • •••• •••• ••• •• • •• • •••••••• ••• • •••••
•• • •••• ••• •• •• •••• • • •• • • ••••
•• ••• • •••• ••••• ••• •• •• • • •••• ••••• •• • •• • •••• •• •• • ••
• •• •• •• •••••••• ••••• •• ••• •• •• •••• ••••
•••• ••• •• ••••• •••
••••• ••••••••• •• • ••• ••• ••• •
• ••• ••• • •• ••• ••••• •• •• •••
••• •••• •••• ••• • •••• •
• •• • •• • • •• •
•••• • ••• •• ••
••
•• •••• • ••• •• •
••• • •• •
•• • • •• •••••••••••••
•• •
• ••• •
•••••••• •••
••
•• •••
••
•••
•••••
•••
••
•• ••• •••
• • •••
•• •• •• • ••••••
•• ••• •••••• ••• •
•• •• •• ••• ••• • • • •••
•••• •••• • •••
•••••
••
•• • ••••• ••
• • ••• •• •
• • ••
••
• •
••
••
•••••
•
•••
•••
••
•••• •
••• ••
•
••••
••
•• ••
••
••••• ••
•••• ••••
••••
•••••
•••• ••
••
• •• •••• ••• • ••
•• •• • ••• •
••• ••••
• ••• •
•• ••
•• • •••
• • ••••• ••
••
••
••••••
••• • •
•• •••••
•
••• •
•••
•
••
•
•
••
••• • •••••
•• • • • • •
• •••••••
•• ••
••
••
•
••
••
•••
• •
•••
•
•••••••
• ••
•
•
•
••• •
• •• ••
••
• ••
••
• ••
•
••• •
•••
••
•• • •• •••
••
•••
••
•••••
••••
••• •
• ••••
•
• •••
•••
•••• •
•• •
•••
••
• •• ••••
•• ••
••
•• • •••• ••
••• • •
••• ••
• •••• •• ••
••
••••• •
••
•• • •••
•• •••
•• •• ••••
•••• •
•• •••
•• ••• • •• • •• •
•• ••••• ••• •• •
••• ••
•• •••••• ••
••••• ••• ••• •
••••
•••
••
••
•••• •
• • • ••••
••
• • •• ••••
••
••
••••
• • ••••• •
•• •
••••
• ••• • • ••• ••• • • • ••••••
••
•• •• • • •••••
••••• • • ••• •• ••
•• • ••• •
••••••• • •
• • • •••••• ••
• •••
• • •••• ••• •
•••
•• •••
• ••••
• ••
•• •• • •• • • •••• •• ••••
•• • • •
•••• • •• ••
••• • •
• ••• • •• • ••• • •
• •• • ••• •••
•• •• ••• •• ••• ••••• • • ••••• •••
• •• • •••• •••
• • • • •• • ••• •• • ••••
•• • •• • •• •• • ••••
••
• •• ••• • •••
•••
•• •
•••
• •• • •• •
• • •• • •• ••• •••• •••••
••• ••• •••• ••• •• •
•••• ••
•••• • •• ••• •••• •••• ••• ••• • • •
• ••••••• •••••• •• •• • •
• • •• •• •• •
• •••• •••• •• ••••• • •• • ••• •••• •••• • ••
•• ••• •• •• •• ••• • ••• • •• •• ••• • • • •••• •• ••
•• •• • ••• • •• • •• ••• •••• • •• •• ••••• • • •••• •• •• •• • •••• • ••••• • ••••
••••••••• • • ••• •
•••
•• • •• •••••
•••••
• • ••• •• •• • • •••• ••• •••• •• ••• • •• •• • •• • •• ••• • ••
• •• •• •• •• ••• •••
••• •• •• • ••• • ••
•••••• •• ••••
•••
•• ••
••••
•••• • ••• •
•••••• •
••• •• ••• • •
•• ••• ••• ••• • ••••••••• • •• •••
••
••
•• • ••• •••
••• •••
••• ••••• •••• • •• • •••
••••• •• ••••• •
•• ••• ••• •
• •• •
• • ••••• •
•••
•
•
••
•••• •
• • • •••• •••••• •
••
••• ••• •••
•••••
• • • • •••• •• • •••
• ••• ••
••••••••••
••• •••• ••• • •
•• •• •
• • •• ••• • •••
•••••
• ••••
• ••• •• •• • •• • • ••• • ••••••
• •• •• • ••
• • •• • ••• ••••••• • •
• ••• •• •••••••• • • ••••• • •
• •• •• • •••• •••• • •••••• •• • ••• • ••• •
• •• ••• •• ••• •
••• • ••••
•• • ••
•• ••• • ••
• • • •• •••
••••••
• • •• • •• •• • •
•• ••• •
•• •• •• ••••
• • •• •••• ••
•••
•• •• • ••• • •
••
•••
••
••
• • •• ••
••• • •
•• •
••
••
••
••• •
••
•• •
•
••
• ••
•••
••
• •••
• •••• •• •••
•
• •••• •• • •• •••
•••• ••• •• •••
••
• ••
• •• • •• ••• •
• • • • •• •
••• ••• ••• •
• ••••••••
• •••• ••• •
• •• •
••
••
• ••• •••
• • ••••
•••• • • •• • •
••
•••
••• • •• •••
••
•• •
•• •
••
•••
•• • •
•••
••••• •
••
• ••••
••••
•••
• ••
• • •• • •
• •••
••• ••• •
••• • ••••
•• •••
• •••
•• ••
• •• • •••
•• •• • •••
••• • •
••
••
•• •• • ••
••• •
•••••• •••• •
•• •• •• •••• ••
•• • ••
••• •••• ••••••• •
••• ••• • •
• ••
••
•••
• ••••• •••• •• •• •• •
•••
• • •• • ••• • •
••• •
• ••••••
••
• •••
•• •
• •••
•••••• •
••• •
•
••• •
•••
••• ••
••
• ••
••• ••••
••••• ••• ••
•••
• • •••
• ••••• •
• • ••••
•• ••• •• ••• •••
•• • •
•••
•••• • •• •• •
••
••
•• •
••
•• ••• ••••
•• • ••• • •
•
•••••••••
••
• ••
•••••
• •• •• •• ••••• •••
• •••• •• ••
•••• •• •• • •••• •• • ••
••••
• •• ••• • •
• •••
••••• • • • ••• •• •• •• •••••••
•
•• •• • •••
•
•
• •
••
••
••
• ••
• •
•••••• •
•• ••
• •• ••• ••
• •
••• ••
•
• •
••
•••
•
•••
•••
•
• ••
•
••
•• •
••
•• •
•••
•
••••
••• • •
• ••
••
•• • •
••• •
•
••
••
••
••
•••••
••
••
•• •
•• • ••
• ••
• ••• • •
•• •
••
••••••
•• •• •
• • • ••
•••• ••
• •••• • •• • •• ••
•• •
•
••
•••
• •• •• •• • •
•••• • • •••••• •••
• •• • •• • ••• ••• ••••••
••
• ••
•• •
• • ••
•• • •• ••
• • ••
••
• •• • ••
••
•••• • •• • •
• ••
•••• • •••••
••• •
• ••• • • • •• •
• • •• •• • •• • •• •• •• •
• • • ••
• ••••••••••••
• •• •• •• • •••••••
•••••• ••
••••• ••• • ••••••
• • •• •• •••
••
• ••
•• ••• • •
•••
• •••••
••••• • •
•••
••• •
•••• • •
••• ••
•• ••• ••
•• •• • ••••
• •• •• •••• ••••••
• ••••
••• •
• • •• •
•• •
• ••••••• •• •••
•• •••
••••••••
• ••••
•••
•••••
•• ••
• • ••••• •
• ••
• • •••
••• • •• • • •••• ••
•••• •• ••• •
••• • ••• •
••
•• • •• •• •• ••• •
•••
••
•• •• ••
•• •••• •••
•••••• • •
• •• •• ••
••
••• ••
• •• •• ••••
••• ••• •
••• •••• •
•• • •
• •• • •• •• •• •
•• ••• • •• •••• •• • ••••••• •• •• •
•• ••• •• •• • •
•• • • • •••• ••• ••
• •• •• ••••
•• •• •
•• •• ••••• •••
••••••
• ••• • •••
• •••••• ••• • ••• • ••
• • • •••••• • •••• • • •• • ••
•••
•••
• ••• • •• • •••
•• • •••• • ••• •• ••• ••
•••
• •• ••
•• • ••• •
••• •• ••
••• • • •
• • • ••••
•••
•• • •• ••••••
• •• •••••
• • • • •• • • •••
•••• • ••• • • •• •
•••
••
•• ••
••
••••
•••
••
• •• ••
•••
•• • • •••
••
•• •••• •• • • •
••
• •••••••
•••
• •••
•• •••
•••• • ••••
••
•••••
•••• ••••
••
••• ••• •••••••••
•• ••
••• •
•• •
• • ••
•
•••• ••
••••
••
• ••• •••
• • •••
•••• •
•• •• • •• •••• • • ••
••
••
•••••••••
••• •••
• • • •• •
•••
••• ••• •
• •••••••• •
•••
••
••• • •••••••
••
• •••••• •• •• •
•••••• •••
•• • •••• •
••
•• ••
••
••
•••
•••
•
••
•• • • •
• ••
•••••••
••
••
••
• •• •••
••••• • •••• •• •
•••
• •• •
•• ••• •••• ••
•• •• ••• •••••• ••
••• •• •
••
•••
••••
•
•••••
• • ••
• • •••
••• • •
• ••
•••
•• • •
•
• •
•
•
•
•
•
•
••
••
•
••
•
••
•
••
••
••
•
•• •••
•
••
•
•• ••
•
••
••
•
•••
••
••
••
••• •
•
•• ••
•••
•
•• •
• •••
• ••
•••• •
• • •••••
••••
•• ••• • ••
•••• •••• ••
••• •
• ••
••
• •• ••
•
•••• ••••••• • •
• ••• ••
• ••••
••••• ••
••
• •••
•
• •• •••
••• •
•••
••
••
•
••• •
••• •
•••
••••
•• •
•• ••••••••
••••••
••
• • ••••
•••• •• • •
••
• ••• ••• • •••• ••
•••
••• • •
•
••• •••••••••••
• ••
• ••
• •• • ••
• • •• •
•••• •••••• •
• •• •• • •••
••••• •••••
•••••
• ••• ••• •••
••••• •• ••
••
••••
•• •• •••
•• • •
••
••• •••• ••• •• •• ••••
••••
••• • •••• •••• • • •
••• •• ••
••• •
••• •
••••••• •
••••• •
•• •
••• ••• ••••• •••
••
•• •
•••
•• •••
••• •
• • ••• ••
• • •• •
• •• ••• • •• •• •
••••• •• • • •• • ••• •••••
•
•
• ••
•• ••• • ••
•• ••
• ••
••••• •• • •••••• ••• •• •• ••• •
•• • • •• •• •
••••
•• • •
••
••
••
•
••••••
•• •••
•• •
••• •
•••••
••• ••
••
•• •• •• •••••
•• ••••••
• •• ••• •••• ••• • •••
•• •• ••••••
••• •• ••••••
•• • •••••
• ••• •
••• •
• • • ••• •••
•••
•••••••
••• •••
••••••
• •••
•••• •
•• ••
••
• ••
•• ••
•• • •
• • •••••
•
•••
••
••
•• •
•••
•••
•••
•• ••• •
•• • ••••
•••
••
• • ••
•• •••••
•• ••• •
••
•• ••
•• •• •• • •••
••
••••
•• •
••
••• ••••
•••
•••
••
•
••
••
••
• • ••
••
••
••••••
•• ••
••• • • •
• ••
•• •
••
••
•••••
•• •••
• ••
• ••••• • •
••
• •••• ••• • •• ••
• •• •• • ••
• •• •• • •
•• • •
••
••• •
• • • •••••
••• • •• • ••• •••
••• • •••••
••
• ••••••• • • •••
• ••
•• •••• •••• ••••• • ••
•• •••• ••• •• •••••••• • •
• • •••
•
••
• •• • •••
••••
•••••••• •••
•• ••
••• •• • ••• •
••• •••
•• ••••
•• • •••••• •
• •••
•• ••
••• • ••• • • •• • •• •• • •••• •
• • •••• •
• •••••••
••• •• • • •
•••• • •
• •••• ••• •• • •
• ••
•• •••••••••
• •• ••• ••
••
• ••
• ••• •• ••• •• ••••••• ••••• ••• • •••• •••
• •• •• •••••• ••
••
•• •••• ••
•• ••• • •••
••••• • ••••••• ••••
• •• •• ••••••• •• •••••• • • ••••• ••• •
••• ••• •• •• •• • •• • ••••• •• ••• •• •• ••••• ••••
•• •••••••••• •
•• •••
••••
•• •• ••
•••••
•• •••
••• ••• •• •••• •• ••••• • ••
••••
•••
•• •••
•••••• •• ••• •••
••••• •
• ••••• •
• •• ••• • ••••••• •
• •••• • •• •• • •• •••••••• •••• •• • • ••• •• •• •
••• •••• ••••• •••• •••• ••• ••• •• ••••••• •• •• •• ••••••• •• •••••• • •• • • •• •• ••••• • ••• • •
• •• •• ••••• • • •• •• •••
•• •• •• ••••
•••
••• •• ••• ••••• •••• •••• •
•••
•
•• •
••
• • ••• •••
••
•• •••• ••••
•••• ••••• ••••• •• •• •• •• •• •••••
•••
• ••
••• ••• • • ••••• •• ••• • ••• •• • •• •• •• ••• •• • ••
•• •••• •• •• • • •• •
•• •• •• •• ••
••• • • •• •••• •
• •• •• • ••• • •
•• ••••
•• •••••• •••••
•••••• •• •• ••• ••• •• •• • •• •• ••• •••••• •• •• •• •• • ••• •• •• • ••• • •••
••
• • ••• •••
• •• •••• •• •••••• • •••••• ••• •• • • •• •••• •••• •• •• • •••
•• ••••• •
••• ••• ••
• ••• • ••••
•• • •• • ••••••••• •
•••• • •• •• •• • •• ••••••• •• •• •• • •• •• • ••• •• •• ••• • •• • ••• ••• •• ••• • • ••• •• ••• •••
••• • ••••••••••••
•• •• ••• • •••• ••• •• •
••
••• ••• • ••• • •
•••••
•• • •••
••
•• ••••••• •• ••••••• •
•• •••
• ••• •
•
•• •••
••• • •• •• ••
•••••
•• ••••• •• ••• •••••
•• ••
•• • •••• ••• •• •
• ••• •••
• •••••• •• •• •••••• •• •
••
•••
••
•• •
••• • •••
•• • •• ••• • •
••• •••• •
•• ••• ••••
• •• •• •••• • ••• ••••• •••••• •
••• •• ••• •• •••• •• • • ••••• • ••• ••• • ••• ••• • ••
••••••
•••
•• •••••
••
• ••
••••
• • •• ••• • •
• • ••• •
•• •
• •••
••
•• ••••• •
••
••
• ••••••• •• • •• •
•••
•• •••
• ••
• ••• •
••
••••
••
•• •
••
•• •• • •
•• •
•••••• •••• ••
•• ••••••
•••
•
• ••• • ••
••
•••• • •
••
••
•••• • ••••• •
•••
• • •
•
•••
•••• •
• •
•
• •• ••• •
••
•
• •• ••••••
•••• • •
• •• •••••• •
•• •
•
•
••
••
•••• • ••
•• ••
• •••
•• ••
• •••
•••••
••••••
• ••
••• ••
• •••
••••
• ••• • •
••••
••••
•• •• •• • •• •••
•••• •••
••
•••••• •• •
••
• •• • •• •••• ••• ••
••
• •••••• • ••••••
•• •••• • • •
•••
• •• • ••• •
•••••
•
• ••• •
••• •••
••
••
••
•• •• •••
••
•• •
• ••
••
•
••••••
••
•••••
•••
••
•
•
•••
•
••
••••
•• • •
•
•• ••
••
•
• •• •
••
••
•
••• • •• •• •
••• • ••
• •• • • •• • • ••
• ••
•
••
•
••
• ••
••
••
•• ••
•••
•• ••
• •• •
•••
•
•••
• •• •
•••
•••
•• •
•
••
•
••
•••
•• •• •• •
• ••• • ••••••
••
•
••
••
•••
•• • •• •
••••
•
• ••• ••• ••
•
•
••
••
••••
•••
••••
•
•
•• • •
••
••
• • • ••
•• •• •
••
• ••••• •• ••• • •••
••
• ••••
• • ••••
• ••
••
•• •
••• •
• •• ••
• ••
•
•• •• •••••
••
••
•• •••
••
••
••
••
•••
•
•••
••
•••
••
• •••••
••• •
••
••
• ••••••
• • ••• • • •••
•••••••
•• •• •
normal quantile
quan
tile
of re
turn
s
-4 -2 0 2 4
-15
-10
-50
510
Une valeur extrême négativeNon-normalité
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 18/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Dépendance linéaire ou non-linéaire ? SP500
Lag
ACF
0 20 40 60 80 100
0.0
0.2
0.4
0.6
0.8
1.0
(a) ACF of returns
Lag
ACF
0 20 40 60 80 100
0.0
0.2
0.4
0.6
0.8
1.0
(b) ACF of squared returns
Correlogram of (a) the S&P 500 returns, and (b) the squared returns.
Présence de l’autocorrélation dans les carrés de la série
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 19/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Qu’est-ce qu’une série non-linéaire ?
Definition (Formelle)
Un processus non-linéaire est tout processus stochastique qui n’est paslinéaire. Or, pour cela, un processus linéaire doit être défini.
Definition (Intuitive)
Les séries temporelles non-linéaires sont générés par des équations dy-namiques non-linéaires. Elles présentent des caractéristiques qui nepeuvent pas être modélisées par les processus linéaires : variance quivarie dans le temps, cycles asymétriques, dépendance dans les momentsd’ordre supérieur à 1, seuils et ruptures.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 20/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
2. RAPPEL - MODELES LINEAIRES
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 21/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Définition d’un processus linéaireDefinitionDans ce cours, un processus stochastique Yt, t ∈ Z est un processuslinéaire s’il est linéaire dans les paramètres
Par exemple le processus suivant est linéaire :
Yt = α+ βXt + ut
Le processus suivant est également linéaire malgré une non-linéaritédans les paramètres :
Yt = α+ βX2t + ut
A l’inverse, les modèle suivants ne sont pas linéaires dans les pa-ramètres
Yt = α+ β2Xt + ut, Yt = α+β
αXt + ut
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 22/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Théorème de Wold
DefinitionUn processus stochastique stationnaire au sens faible Yt, t ∈ Z peuts’écrire comme une somme pondérée de chocs aléatoires orthogonauxcentrés et de même variance, éventuellement augmenté d’une compo-sante déterministe
Yt = ct +∞∑i=0
ψiut−i, ∀t ∈ Z,
avec ψi∞i=0 un ensemble de coefficients réels non aléatoires vérifiantla condition suivante :
∞∑i=0
ψ2i ≤ ∞
et ut−i∞i=0 une séquence de variables aléatoires iid, bruits blancs commeprécédemment.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 23/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Rappel sur la stationnaritéDefinitionLe processus stochastique Yt, t ∈ Z est stationnaire au sens faible ssi
Son espérance est constante dans le temps :
E(Yt) =
∫ ∞−∞
ytf(yt)dyt = µ, ∀t avec µ constant, fini
Sa variance est constante dans le temps :
V ar(Yt) =
∫ ∞−∞
(yt − µ)2f(yt)dyt = σ2 ∀t avec σ2 constant
Sa fonction d’autocovariance ne dépend pas du temps mais de l’in-tervalle séparant les deux variables aléatoires considérées :
Cov(Yt;Yt−k) = E[(Yt − µ)(Yt−k − µ)] = γ(k),
avec γ(k) ne dépendant pas de t.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 24/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Rappel sur la stationnarité II
DefinitionLe processus stochastique Yt, t ∈ Z est stationnaire au sens strict ssi
Y1, Y2, · · · , Yn et Y1+k, Y2+k, · · · , Yn+k ont la même distribu-tion quel que soit n ≥ 1 et n, k ∈ Z.
RemarkPour les séries non-linéaires, le plus souvent la stationnarité au sensstricte s’avère plus pertinente.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 25/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Processus linéaire et théorème de Wold
Il y a de nombreux processus stationnaires qui ne sont pas linéaires
Ils ont souvent une représentation de Wold qui semble linéaire.C’est une représentation incomplète, car elle porte uniquement surla structure d’autocovariance du processus.
Si E(u2t ) ≤ ∞ n’est pas respectée, Yt est un processus linéaire à
variance infinie (α− stable) qui ne fait pas l’objet de cette analyse
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 26/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Modèles ARMA
Ainsi, dans la pratique, une fois qu’on est assuré de la stationnarité ausens faible d’un processus stochastique, on dispose grâce au théorèmede Wold d’une représentation linéaire utile pour l’estimation.
On distingue entre trois spécifications généralement retenues dans lecadre de la modélisation linéaire de la moyenne des processusstochastiques
La spécification moyennes mobiles (Moving Average)
Yt = c+
q∑i=0
θiut−i
avec θi = ψi, θq 6= 0.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 27/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Modèles ARMA
La spécification moyennes mobiles (Moving Average)
Yt = c+
q∑i=0
θiut−i
avec θi = ψi, θq 6= 0.La spécification autoregressive (AR)
Yt = µ+
p∑i=0
φiYt−i + ut
Demo : On suppose ψi = φi
⇒ Yt = c+ ut + φut−1 + φ2ut−2 + · · ·De cette spécification on a Yt(1−φL−φ2L2−φ3L3−· · · ) = µ+utet Yt = µ+ φYt−1 + φ2Yt−2 + φ3Yt−3 + · · ·+ utavec µ = (1− φ)c.La spécification autoregressive moyennes mobiles (ARMA)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 28/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Modèles ARMALa spécification moyennes mobiles (Moving Average)
Yt = c+
q∑i=0
θiut−i
avec θi = ψi, θq 6= 0.La spécification autoregressive (AR)
Yt = µ+
p∑i=0
φiYt−i + ut
La spécification autoregressive moyennes mobiles (ARMA)
Yt = µ+ φYt−1 + φ2Yt−2 + φ3Yt−3 + · · ·+ φpYt−p + ut + θ1ut−1 +θ2ut−2 + · · ·+ θqut−q
De façon équivalente, φ(L)Yt = θ(L)ut,où φ(z) et θ(z) sont de polynômes en (z) et L est l’opérateur retard(LkYt = Yt−k).
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 29/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Stationnarité et inversibilité
TheoremLe processus ARMA(p,q) est stationnaire si les racines du polynômeφ(z) 6= 0, possiblement à valeur dans C, sont à l’extérieur du cercleunitaire
Conséquence : un processus MA est toujours stationnaire
TheoremLe processus ARMA(p,q) est inversible si les racines du polynôme θ(z) 6=0, possiblement à valeur dans C, sont à l’extérieur du cercle unitaire
Conséquence : un processus AR est toujours inversible
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 30/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Autocovariance et autocorrélation
Definition (ACVF)
La fonction d’autocovariance (ACVF) d’un processus stationnaire Ytest
γ(k) = cov(Yt+k, Yt), ∀k in Z.
Definition (ACF)
La fonction d’autocorrélation (ACF) de Yt est
ρ(k) = γ(k)/γ(0) = corr(Yt−k, Yt), ∀k in Z.
Par ailleurs, γ(k) = γ(−k) et ρ(k) = ρ(−k)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 31/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Autocovariance et autocorrélation
Partons de la représentation MA(∞) d’un modèle ARMA stochastique
Yt =
q∑i=0
θiut−i,
avec∑∞i=0 |θi| ≤ ∞.
On peut montrer que
γ(k) = σ2∞∑i=0
θiθi+k, ρ(k) =
∑∞i=0 θiθi+k∑∞i=0 θ
2i
.
Remarque : Dans le cas d’un modèle MA(q), dés lors que k ≥ q,γ(k) = ρ(k) = 0.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 32/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Inconvénients des modèles ARMA
ils ne permettent pas de prendre en compte les phénomènes d’asy-métrie, ni les ruptures de fortes amplitudeexploitation incomplète de l’information contenue dans la série (au-tocovariance)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 33/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Généralisations du modèle AR(1) linéaire
1 Yt = φYt−1 + εt
2 Yt = g(Yt−1, θ) + εt
3 Yt = g(Zt, θ) + εt
4 Yt = φYt−1 + h(Yt−1, θ)εt
• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)
• 4 : non-linearité en variance (Chapitre 4)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 34/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Généralisations du modèle AR(1) linéaire
1 Yt = φYt−1 + εt
2 Yt = g(Yt−1, θ) + εt
3 Yt = g(Zt, θ) + εt
4 Yt = φYt−1 + h(Yt−1, θ)εt
• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)
• 4 : non-linearité en variance (Chapitre 4)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 34/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Généralisations du modèle AR(1) linéaire
1 Yt = φYt−1 + εt
2 Yt = g(Yt−1, θ) + εt
3 Yt = g(Zt, θ) + εt
4 Yt = φYt−1 + h(Yt−1, θ)εt
• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)
• 4 : non-linearité en variance (Chapitre 4)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 34/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Généralisations du modèle AR(1) linéaire
1 Yt = φYt−1 + εt
2 Yt = g(Yt−1, θ) + εt
3 Yt = g(Zt, θ) + εt
4 Yt = φYt−1 + h(Yt−1, θ)εt
• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)
• 4 : non-linearité en variance (Chapitre 4)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 34/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Généralisations du modèle AR(1) linéaire
1 Yt = φYt−1 + εt
2 Yt = g(Yt−1, θ) + εt
3 Yt = g(Zt, θ) + εt
4 Yt = φYt−1 + h(Yt−1, θ)εt
• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)
• 4 : non-linearité en variance (Chapitre 4)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 34/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Plan
1 Faits stylisés
2 Rappel - modèles linéaires
3 Méthodes d’estimation
Méthode du Maximum de Vraisemblance
4 Conclusions
5 Références
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 35/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Méthode du Maximum de VraisemblancePartons d’un exemple : soit un échantillon Xt = X1, · · · , Xn ∼P (θ)
P (θ) dénote la distribution de Poisson dont la fonction de masseest
Pr(Xi = x) =exp(−θ)θx
x!, θ > 0, ∀x ∈ N
Soit une réalisation de l’échantillon xt = x1, · · · , xn
La probabilité d’observer cette réalisation est
Pr((X1 = x1)∩, · · · ,∩(Xn = xn)
)L’indépendance des tirages donne l’équivalence avec le produit desprobabilités marginales
Pr((X1 = x1)∩, · · · ,∩(Xn = xn)
)=
n∏i=1
Pr(Xi = xi)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 36/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’estimateur du Maximum de VraisemblanceEn remplaçant par la fonction de masse de la loi de Poisson onobtient
Pr((X1 = x1)∩, · · · ,∩(Xn = xn)
)=
n∏i=1
e−θθxi
xi!= e−nθ
θ∑ni=1 xi∏ni=1 xi!
Il s’agit donc d’une fonction dépendant de x1, · · · , xn et de θθ est un paramètre inconnu mais on observe x1, · · · , xnPar la suite on notera :
Ln(θ;x1, · · · , xn) = Pr((X1 = x1)∩, · · · ,∩(Xn = xn)
)Le principe du maximum de vraisemblance est le suivant :
Trouver le θ qui maximise la probabilité d’apparition de x1, · · · , xn
L’estimateur du maximum de vraisemblance est donc :
θ = arg maxθ∈R+
Ln(θ;x1, · · · , xn)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 37/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’estimateur du Maximum de la log-VraisemblanceDans le cas de l’exemple reposant sur la loi de Poisson on a
θ = arg maxθ∈R+
e−nθθ∑ni=1 xi∏ni=1 xi!
La formule est complexe et la présence d’un produit n’arrange rien
Simplifions le programme de maximisation en considérant la log-vraisemblance
θ = arg maxθ∈R+
lnLn(θ;x1, · · · , xn)
Dans le cadre de notre exemple la log-vraisemblance est
lnLn(θ;x1, · · · , xn) = −nθ + ln(θ)
n∑i=1
xi − ln
(n∏i=1
xi!
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 38/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Conditions nécessaire et suffisante
La condition nécessaire répond à la questionLe problème admet-il une solution ?
⇒ Pour répondre on annule la dérivée première par rapport à θ
∂ lnLn(θ;x1, · · · , xn)
∂θ
∣∣∣∣θ
= −n+ θ−1n∑i=1
xi = 0⇐⇒ θ = n−1n∑i=1
xi
Ici, la log vraisemblance est maximisée par la moyenne empirique
La condition suffisante répond à la questionCette solution est-elle un maximum?
⇒ Pour répondre on regarde le signe de la dérivée seconde par rapportà θ
∂2 lnLn(θ;x1, · · · , xn)
∂θ2
∣∣∣∣θ
= −θ−2n∑i=1
xi < 0
Négatif donc bien un maximum
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 39/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Log-Vraisemblance GaussienneDans l’exemple, il s’agissait de variables aléatoires discrètes
Dans le cas de variables aléatoires continues, l’intuition est la même
Néanmoins, on raisonnera sur la densité de la loi jointe des variables
Ln(θ;x1, · · · , xn) = fX1,··· ,Xn(x1, · · · , xn; θ)
Soit une séquence Xn ∼ i. i.d. (µ, σ2) selon une loi normale
La densité de la loi normale implique 2 paramètres θ = (µ, σ2)′
Ln(θ;x1, · · · , xn) =
n∏i=1
(σε√
2π)−1e− (xi−µ)
2
2σ2ε
= (2πσ2ε)−n/2 exp
(−∑ni=1(xi − µ)2
2σ2ε
)lnLn(θ;x1, · · · , xn) = −n
2ln(σ2
ε)− n
2ln(2π)− 1
2σ2ε
n∑i=1
(xi − µ)2
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 40/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’estimateur du Maximum de Vraisemblance
Estimateur du maximum de vraisemblance
θ = arg maxθ∈R+
lnLn(θ;x1, · · · , xn)
Hypothèsesθ = (µ, σ2)′ est identifiable : ∀θ∗, θ avec θ∗ 6= θ, les lois jointes dex1, · · · , xn sont différentes
Condition nécessaire du gradient :
gn(θ;x1, · · · , xn) =∂ lnLn(θ;x1, · · · , xn)
∂θ
∣∣∣∣θ
= 0
Condition suffisante de la hessienne :
Hn(θ;x1, · · · , xn) =∂2 lnLn(θ;x1, · · · , xn)
∂θ2
∣∣∣∣θ
< 0
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 41/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition nécessaire du MLE gaussien
Notons lnLn(θ;x1, · · · , xn) = `n(θ;x) et commençons par le gra-dient :
∂`n(θ;x)
∂θ=
∂`n(θ;x)∂m
∂`n(θ;x)∂σ2
=
1σ2
∑ni=1(xi −m)
− n2σ2 + 1
2σ4
∑ni=1(xi −m)2
⇒ ∂`n(θ;x)
∂θ
∣∣∣∣θ
=
(00
)⇒ θ =
m = n−1∑ni=1 xi = x
σ2 = n−1∑ni=1(xi − x)2
Le programme de maximisation a donc une solution
Les réalisations du ML sont m = n−1∑ni=1 xi = x et σ2 = n−1∑n
i=1(xi−x)2 (variance empirique non-corrigée)
Les estimateurs du ML sont m = n−1∑ni=1Xi = X et σ2 =
n−1∑ni=1(Xi − X)2
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 42/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition nécessaire du MLE gaussien
Notons lnLn(θ;x1, · · · , xn) = `n(θ;x) et commençons par le gra-dient :
∂`n(θ;x)
∂θ=
∂`n(θ;x)∂m
∂`n(θ;x)∂σ2
=
1σ2
∑ni=1(xi −m)
− n2σ2 + 1
2σ4
∑ni=1(xi −m)2
⇒ ∂`n(θ;x)
∂θ
∣∣∣∣θ
=
(00
)⇒ θ =
m = n−1∑ni=1 xi = x
σ2 = n−1∑ni=1(xi − x)2
Le programme de maximisation a donc une solution
Les réalisations du ML sont m = n−1∑ni=1 xi = x et σ2 = n−1∑n
i=1(xi−x)2 (variance empirique non-corrigée)
Les estimateurs du ML sont m = n−1∑ni=1Xi = X et σ2 =
n−1∑ni=1(Xi − X)2
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 42/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussienLa solution est-elle bien un maximum?
∂2`n(θ;x)
∂θ∂θ′=
(∂2`n(θ;x)∂m2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂σ4
)On obtient alors
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 − 1
σ4
∑ni=1(xi − m)
− 1σ4
∑ni=1(xi − m) n
2σ4 − 1σ6
∑ni=1(xi − m)2
)D’après l’étude du gradient, on sait que n× m =
∑ni=1 xi et donc
− 1
σ4
n∑i=1
(xi−m) = − 1
σ4
n∑i=1
xi+1
σ4n×m =
1
σ4
n∑i=1
xi−1
σ4
n∑i=1
xi = 0
De plus, n× σ2 =∑ni=1(xi − m)2, ce qui donne
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 0
0 n2σ4 − nσ2
σ6
)=
(− nσ2 00 − n
2σ4
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 43/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussienLa solution est-elle bien un maximum?
∂2`n(θ;x)
∂θ∂θ′=
(∂2`n(θ;x)∂m2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂σ4
)On obtient alors
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 − 1
σ4
∑ni=1(xi − m)
− 1σ4
∑ni=1(xi − m) n
2σ4 − 1σ6
∑ni=1(xi − m)2
)D’après l’étude du gradient, on sait que n× m =
∑ni=1 xi et donc
− 1
σ4
n∑i=1
(xi−m) = − 1
σ4
n∑i=1
xi+1
σ4n×m =
1
σ4
n∑i=1
xi−1
σ4
n∑i=1
xi = 0
De plus, n× σ2 =∑ni=1(xi − m)2, ce qui donne
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 0
0 n2σ4 − nσ2
σ6
)=
(− nσ2 00 − n
2σ4
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 43/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussienLa solution est-elle bien un maximum?
∂2`n(θ;x)
∂θ∂θ′=
(∂2`n(θ;x)∂m2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂m∂σ2
∂2`n(θ;x)∂σ4
)On obtient alors
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 − 1
σ4
∑ni=1(xi − m)
− 1σ4
∑ni=1(xi − m) n
2σ4 − 1σ6
∑ni=1(xi − m)2
)D’après l’étude du gradient, on sait que n× m =
∑ni=1 xi et donc
− 1
σ4
n∑i=1
(xi−m) = − 1
σ4
n∑i=1
xi+1
σ4n×m =
1
σ4
n∑i=1
xi−1
σ4
n∑i=1
xi = 0
De plus, n× σ2 =∑ni=1(xi − m)2, ce qui donne
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 0
0 n2σ4 − nσ2
σ6
)=
(− nσ2 00 − n
2σ4
)Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 43/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussien
Pour conclure, il faut montrer que la hessienne est définie négative
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 00 − n
2σ4
)Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2. Lepremier mineur est
∆1 = − n
σ2< 0
Le second mineur est
∆2 = det
(− nσ2 00 − n
2σ4
)= − n
σ2×− n
2σ4− 0 > 0
Les mineurs principaux étant de signes opposés, la hessienne estbien définie négative et la solution du programme est bien un maxi-mum
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 44/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussien
Pour conclure, il faut montrer que la hessienne est définie négative
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 00 − n
2σ4
)Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2. Lepremier mineur est
∆1 = − n
σ2< 0
Le second mineur est
∆2 = det
(− nσ2 00 − n
2σ4
)= − n
σ2×− n
2σ4− 0 > 0
Les mineurs principaux étant de signes opposés, la hessienne estbien définie négative et la solution du programme est bien un maxi-mum
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 44/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Condition suffisante du MLE gaussien
Pour conclure, il faut montrer que la hessienne est définie négative
∂2`n(θ;x)
∂θ∂θ′
∣∣∣∣θ
=
(− nσ2 00 − n
2σ4
)Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2. Lepremier mineur est
∆1 = − n
σ2< 0
Le second mineur est
∆2 = det
(− nσ2 00 − n
2σ4
)= − n
σ2×− n
2σ4− 0 > 0
Les mineurs principaux étant de signes opposés, la hessienne estbien définie négative et la solution du programme est bien un maxi-mum
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 44/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Le scoreLe score ressemble au gradient mais en diffère pour la raison sui-vante :
Le gradient est déterministe car basé sur les réalisations :
∂`n(θ;x1, · · · , xn)
∂θ
Le score est une version stochastique du gradient car basé sur lesvariables aléatoires :
Sn(θ;X) =∂`n(θ;X1, · · · , Xn)
∂θ
Le score étant une variable aléatoire, il convient de s’intéresser àces moments et notamment son espérance
L’espérance nous intéresse afin de calculer la variance
La variance nous intéresse car elle permet de calculer la matriced’information de Fisher
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 45/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
La hessienne stochastique
De même que pour le gradient, on peut considérer une versionstochastique de la hessienne
La hessienne déterministe est basée sur les réalisations :
Hn(θ, x) =∂2`n(θ;x1, · · · , xn)
∂θ∂θ′
La hessienne stochastique est basés sur les variables aléatoires :
Hn(θ,X) =∂2`n(θ;X1, · · · , Xn)
∂θ∂θ′
La hessienne stochastique étant une variable aléatoire elle a desmoments :
l’espérance de la hessienne nous permet de calculer la matriced’information de Fisher
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 46/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher
La matrice d’information de Fisher peut se calculer de plusieursmanières
RemarkLa quantité d’information de Fisher associée à l’échantillon est uneconstante définie par la variance du score ou l’espérance de l’opposéede la hessienne stochastique :
In(θ) = V(Sn(θ;X)) = E(S2n(θ;X))− E(Sn(θ;X))2
ouIn(θ) = E(−Hn(θ,X))
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 47/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher et MLE Gaussien
Repartons du MLE Gaussien et calculons l’information de Fisher :
Sn(θ;X) =
(00
)⇒ θ =
1σ2
∑ni=1(Xi −m)
− n2σ2 + 1
2σ4
∑ni=1(Xi −m)2
Hn(θ;X) =
(− nσ2 − 1
σ4
∑ni=1(Xi −m)
− 1σ4
∑ni=1(Xi −m) n
2σ4 − 1σ6
∑ni=1(Xi −m)2
)Les deux méthodes peuvent être utilisée. Par exemple :
In(θ) = E(−Hn(θ,X))
= E(
nσ2
1σ4
∑ni=1(Xi −m)
1σ4
∑ni=1(Xi −m) − n
2σ4 + 1σ6
∑ni=1(Xi −m)2
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 48/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher et MLE Gaussien
Repartons du MLE Gaussien et calculons l’information de Fisher :
Sn(θ;X) =
(00
)⇒ θ =
1σ2
∑ni=1(Xi −m)
− n2σ2 + 1
2σ4
∑ni=1(Xi −m)2
Hn(θ;X) =
(− nσ2 − 1
σ4
∑ni=1(Xi −m)
− 1σ4
∑ni=1(Xi −m) n
2σ4 − 1σ6
∑ni=1(Xi −m)2
)Les deux méthodes peuvent être utilisée. Par exemple :
In(θ) = E(−Hn(θ,X))
= E(
nσ2
1σ4
∑ni=1(Xi −m)
1σ4
∑ni=1(Xi −m) − n
2σ4 + 1σ6
∑ni=1(Xi −m)2
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 48/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher et MLE Gaussien
Les quantités déterministe n’étant pas affectées par l’espérance onobtient
In(θ) =
(nσ2
1σ4
∑ni=1 E(Xi −m)
1σ4
∑ni=1 E(Xi −m) − n
2σ4 + 1σ6
∑ni=1 E((Xi −m)2)
)Or, E(Xi) = m donc E(Xi −m) = 0
De plus, par définition, E((Xi −m)2
)= σ2 ce qui nous donne
In(θ) =
(nσ2 00 n
2σ4
)La borne informationnelle de Cramer-Rao définissant l’efficacitédu MLE Gaussien est donc :
I−1n (θ0) =
(σ20
n 0
02σ4
0
n
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 49/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher et MLE Gaussien
Les quantités déterministe n’étant pas affectées par l’espérance onobtient
In(θ) =
(nσ2
1σ4
∑ni=1 E(Xi −m)
1σ4
∑ni=1 E(Xi −m) − n
2σ4 + 1σ6
∑ni=1 E((Xi −m)2)
)Or, E(Xi) = m donc E(Xi −m) = 0
De plus, par définition, E((Xi −m)2
)= σ2 ce qui nous donne
In(θ) =
(nσ2 00 n
2σ4
)La borne informationnelle de Cramer-Rao définissant l’efficacitédu MLE Gaussien est donc :
I−1n (θ0) =
(σ20
n 0
02σ4
0
n
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 49/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
L’information de Fisher et MLE Gaussien
Les quantités déterministe n’étant pas affectées par l’espérance onobtient
In(θ) =
(nσ2
1σ4
∑ni=1 E(Xi −m)
1σ4
∑ni=1 E(Xi −m) − n
2σ4 + 1σ6
∑ni=1 E((Xi −m)2)
)Or, E(Xi) = m donc E(Xi −m) = 0
De plus, par définition, E((Xi −m)2
)= σ2 ce qui nous donne
In(θ) =
(nσ2 00 n
2σ4
)La borne informationnelle de Cramer-Rao définissant l’efficacitédu MLE Gaussien est donc :
I−1n (θ0) =
(σ20
n 0
02σ4
0
n
)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 49/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Propriétés de maximum de vraisemblance
Commençons par poser 3 hypothèses dites de régularité
Hypothèse 1 : la fonction de densité fX(θ;xi) est trois fois différen-tiable par rapport à θ et ses dérivées sont continues et finies ∀x, θ
Hypothèse 2 : les espérances des dérivées première et seconde deln fX(θ;Xi) par rapport à θ existent
Hypothèse 3 : la vraie valeur de θ, i.e. θ0, appartient à un ensemblecompact Θ
Par ensemble compact il faut comprendre un ensemble fermé etpetit dont on ne peut pas s’échapper
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 50/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Propriétés de maximum de vraisemblance
Sous cet ensemble d’hypothèses il est possible de montrer
que le MLE est convergent
θp−→ θ0
que le MLE est asymptotiquement efficace
V(θ) = I−1n (θ0)
que le MLE est asymptotiquement normalement distribué
√n(θ − θ0)
d−→N (0, I−1n (θ0))
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 51/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Maximum de vraisemblance conditionnelle
Soit un modèle économétrique du type Yt = g(θ;Xt) + εt
Une approche par MLE nécessite de considérer la distributionconditionnelle de Y sachant les réalisations de X
fY |X(y|x; θ)
Remark (Vraisemblance conditionnelle)
Les fonctions de vraisemblance et log-vraisemblance conditionnelled’un échantillon yt, xtnt=1 sont définies par
Ln(θ; y|x) =
n∏t=1
fY |X(yt|xt; θ), et `n(θ; y|x) =n∑t=1
ln fY |X(yt|xt; θ)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 52/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
MLE et modèle de régression linéaireDans le cadre simple du modèle Yt = βXt + εt ∼ i. i.d.
En supposant la normalité des erreurs, i.e. εt ∼ N (0, σ2), si Xi =xi, on obtient que Yi|xi ∼ N (βxi, σ
2)
On obtient alors la densité conditionnelle de Yi suivante
fY |X(yt|xt; θ) =1
σ√
2πexp
(− yi − βxi
2σ
)2
, θ = (β, σ2)′
Les fonctions de ML et log-ML conditionnelles sont alors
Ln(θ; y|x) =1
σ√
2πexp
(− yi − βxi
2σ
)2
et
`n(θ; y|x) = −n2
ln(σ2ε)− n
2ln(2π)− 1
2σ2ε
n∑i=1
(yi − βxi)2
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 53/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice typeSoit un échantillon (X1, · · · , Xn) ∼ i. i.d. selon une distributionexponentielle de paramètre θ−1
La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1X)
La log-vraisemblance de l’échantillon (x1, · · · , xn) est alors
`n(θ;x) = −n ln(θ)− θ−1n∑t=1
xt
L’estimateur du log-ML est alors
∂`n(θ;x)
∂θ= −n
θ+
1
θ2
n∑t=1
Xt = 0⇒ θ = n−1n∑t=1
Xt
Sachant que la loi exponentielle de paramètre λ a pour espéranceλ−1 et pour variance λ−2, E(Xt) et V(Xt) sont données par
E(Xt) = θ0, V(Xt) = θ20
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 54/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice typeSoit un échantillon (X1, · · · , Xn) ∼ i. i.d. selon une distributionexponentielle de paramètre θ−1
La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1X)
La log-vraisemblance de l’échantillon (x1, · · · , xn) est alors
`n(θ;x) = −n ln(θ)− θ−1n∑t=1
xt
L’estimateur du log-ML est alors
∂`n(θ;x)
∂θ= −n
θ+
1
θ2
n∑t=1
Xt = 0⇒ θ = n−1n∑t=1
Xt
Sachant que la loi exponentielle de paramètre λ a pour espéranceλ−1 et pour variance λ−2, E(Xt) et V(Xt) sont données par
E(Xt) = θ0, V(Xt) = θ20
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 54/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice typeSoit un échantillon (X1, · · · , Xn) ∼ i. i.d. selon une distributionexponentielle de paramètre θ−1
La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1X)
La log-vraisemblance de l’échantillon (x1, · · · , xn) est alors
`n(θ;x) = −n ln(θ)− θ−1n∑t=1
xt
L’estimateur du log-ML est alors
∂`n(θ;x)
∂θ= −n
θ+
1
θ2
n∑t=1
Xt = 0⇒ θ = n−1n∑t=1
Xt
Sachant que la loi exponentielle de paramètre λ a pour espéranceλ−1 et pour variance λ−2, E(Xt) et V(Xt) sont données par
E(Xt) = θ0, V(Xt) = θ20
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 54/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice typeSoit un échantillon (X1, · · · , Xn) ∼ i. i.d. selon une distributionexponentielle de paramètre θ−1
La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1X)
La log-vraisemblance de l’échantillon (x1, · · · , xn) est alors
`n(θ;x) = −n ln(θ)− θ−1n∑t=1
xt
L’estimateur du log-ML est alors
∂`n(θ;x)
∂θ= −n
θ+
1
θ2
n∑t=1
Xt = 0⇒ θ = n−1n∑t=1
Xt
Sachant que la loi exponentielle de paramètre λ a pour espéranceλ−1 et pour variance λ−2, E(Xt) et V(Xt) sont données par
E(Xt) = θ0, V(Xt) = θ20
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 54/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice type
Calculez E(θ)
E(θ) = E(n−1
n∑t=1
Xt
)= n−1
n∑t=1
E(Xt) =n× θ0
n= θ0
Calculez V(θ)
V(θ) = V(n−1
n∑t=1
Xt
)= n−2
n∑t=1
V(Xt) =n× θ2
0
n2=θ2
0
n
Que pouvez-vous conclure ?L’estimateur est sans biais et asymptotiquement convergent carlimn→∞
V(θ) = 0 et donc
θp−→ θ0
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 55/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice type
Calculez E(θ)
E(θ) = E(n−1
n∑t=1
Xt
)= n−1
n∑t=1
E(Xt) =n× θ0
n= θ0
Calculez V(θ)
V(θ) = V(n−1
n∑t=1
Xt
)= n−2
n∑t=1
V(Xt) =n× θ2
0
n2=θ2
0
n
Que pouvez-vous conclure ?L’estimateur est sans biais et asymptotiquement convergent carlimn→∞
V(θ) = 0 et donc
θp−→ θ0
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 55/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice type
Calculez E(θ)
E(θ) = E(n−1
n∑t=1
Xt
)= n−1
n∑t=1
E(Xt) =n× θ0
n= θ0
Calculez V(θ)
V(θ) = V(n−1
n∑t=1
Xt
)= n−2
n∑t=1
V(Xt) =n× θ2
0
n2=θ2
0
n
Que pouvez-vous conclure ?
L’estimateur est sans biais et asymptotiquement convergent carlimn→∞
V(θ) = 0 et donc
θp−→ θ0
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 55/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Exercice type
Calculez E(θ)
E(θ) = E(n−1
n∑t=1
Xt
)= n−1
n∑t=1
E(Xt) =n× θ0
n= θ0
Calculez V(θ)
V(θ) = V(n−1
n∑t=1
Xt
)= n−2
n∑t=1
V(Xt) =n× θ2
0
n2=θ2
0
n
Que pouvez-vous conclure ?L’estimateur est sans biais et asymptotiquement convergent carlimn→∞
V(θ) = 0 et donc
θp−→ θ0
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 55/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Estimateur de Pseudo maximum de vraisemblance (QMLE)
Remark (Limite du MLE)
En cas d’erreur sur la distribution postulée, l’estimateur MLE n’a pasde fondement.
Proposition (L’idée générale des estimateurs du QMLE)
Cela consiste à démontrer que si l’on commet une erreur sur la distribu-tion conditionnelle des résidus en utilisant à tort une log-vraisemblancefondée sur une loi normale, l’estimateur du MV ainsi obtenu peut toutde même être convergent si la vraie loi des résidus appartient à la mêmeclasse de loi que la loi normale (Gourieroux, Montfort, 1989)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 56/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Propriétés de l’estimateur QMLE
Sous certaines conditions de régularité, il est possible de montrer
que le QMLE est convergent
θp−→ θ0
que le QMLE est asymptotiquement normalement distribué
√n(θQMLE − θ0)
d−→N (0, V )
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 57/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Propriétés de l’estimateur QMLE
où la matrice de variance covariance asymptotique de l’estimateurQML est
V = In(θ)−1Jn(θ)In(θ)−1
avec
In(θ) = E(−Hn(θ,X)) = E0(∂2`n(θ;X1, · · · , Xn)
∂θ∂θ′)
et
Jn(θ) = V(Sn(θ;X)) = E0(∂`n(θ;X1, · · · , Xn)
∂θ
∂`n(θ;X1, · · · , Xn)
∂θ′)
où E0 désigne l’espérance prise par rapport à la vraie loi.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 58/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Propriétés de l’estimateur QMLE
Remark (1)
Dans la pratique les matrice In(θ) et Jn(θ) sont directement estiméesen remplaçant l’espérance E0 par la moyenne empirique et le paramètreinconnu θ par son estimateur convergent θQMLE
Remark (2)
Dans le cas où la vraie loi sous-jacente est normale (Maximum de Vrai-semblance), la matrice de variance covariance asymptotique se réduità
V (θQMLE − θ0) = In(θ)−1
puisque In(θ) = Jn(θ)
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 59/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Optimisation numérique de la vraisemblance
On chercheθ = arg max
θ∈R+`n(θ;x1, · · · , xn)
La plupart du temps une solution analytique n’est pas disponible.
⇒ On utilise des algorithmes d’optimisation numérique (algorithmesitératifs) :
i) condition initiale
ii) règle de passage
iii) règle d’arrêt
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 60/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Optimisation numérique de la vraisemblance
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 61/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Conclusions
Modèle linéaire = modèle de base, fondé sur la normalité
Vaste classe de modèles non-linéaires, adaptées aux propriétés desséries économiques
On distingue notamment la non-linéarité en moyenne et en va-riance
NB : en prévision il est toujours difficile de faire mieux que lemeilleur modèle linéaire !
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 62/63
Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références
Bibliographie générale :
Gourieroux, C., Monfort, A., 1989, Statistics and Econometric Models, Volume 2,Cambridge University Press.
Tong, H., 1990. Non-Linear Time Series : A Dynamical Systems Approach,Oxford : Oxford University Press
Teräsvirta, T., Tjøstheim, D., et Granger, C. W. J. (2010), Modelling nonlineareconomic time series, Oxford University Press.
Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 63/63