introduction à la statistique...

UNIVERSITE MOHAMMED V-AGDAL FACULTE DES SCIENCES DEPARTEMENT DE MATHEMATIQUES

SMI semestre 4 : Probabilités - Statistique

Introduction à la Statistique Inférentielle

Prinemps 2013


2

0 – INTRODUCTION La statistique est la science dont l'objet est de recueillir, de traiter et d'analyser des données

issues de l'observation de phénomènes aléatoires, c'est-à-dire dans lesquels le hasard

intervient.

L'analyse des données est utilisée pour décrire les phénoménes étudiés, faire des prévisions

et prendre des décisions à leur sujet. En cela, la statistique est un outil essentiel pour la

compréhension et la gestion des phénomènes complexes.

Les données étudiées peuvent être de toute nature, ce qui rend la statistique utile dans tous

les champs disciplinaires et explique pourquoi elle est enseignée dans toutes les filières

universitaires, de l'économie à la biologie en passant par la psychologie, et bien sûr les

sciences de l'ingénieur.

Les méthodes statistiques se répartissent en deux classes :

- La statistique descriptive, statistique exploratoire ou analyse des données, a pour but de

résumer l'information contenue dans les données de façon efficace. Elle utilise pour cela des

représentations de données sous forme de graphiques, de tableaux et d'indicateurs

numériques (par exemple des moyennes). Elle permet de dégager les caractéristiques

essentielles du phénomène étudié et de suggérer des hypothèses pour une étude ultèrieure

plus sophistiquée. Les probabilités n'ont ici qu'un rôle mineur.

- La statistique inférentielle va au delà de la simple description des données. Elle a pour but

de faire des prévisions et de prendre des décisions au vu des observations. Les probabilités

jouent ici un rôle fondamental.

L'objet de ce cours est de décrire les techniques de la statistique inférentielle utilisées pour

recueillir de l'information et prendre des décisions à partir des données observées.


3

1 - ECHANTILLONNAGE

Tout, dans la statistique inférentielle, repose sur l'étude des distributions des échantillons.

1.1 - Généralités

Le terme d'échantillon est souvent associé à un sous-ensemble de cardinal n tiré d'une

population finie ou infinie selon certaines règles: il s'agit alors d'un échantillon d'individus.

Dans cette partie, on s'intéresse plutôt aux échantillons de variables que l'on relie aux

échantillons d'individus par la considération élémentaire suivante:

Sur chaque individu tiré, on mesure une certaine grandeur X et on note les valeurs

observées. Le n-uplet x = ( ) est un échantillon de valeurs.

Exemple 1: On prélève au hasad n ampoules électriques dans une production et on mesure

leur durée de fonctionnement. Si les caractéristiques de fabrication n'ont pas varié d'une

ampoule à l'autre, les différences entre les (xi) peuvent être considérées comme des

fluctuations de nature aléatoire.

Cette dernière remarque justifie l'hypothèse fondamentale de la théorie de

l'échantillonnage: Les valeurs observées xi sont des réalisations d'une même variable

aléatoire X, appelée variable parente ou de population. Dans notre exemple, ceci revient à

postuler l'existence d'une variable abstraîte, la durée de vie d'une ampoule de type donné,

fabriquée dans des conditions données.

On peut cependant introduire aussi le modèle suivant:

À chaque individu tiré, on associe une variable aléatoire Xi dont on observe une seule

réalisation xi.

L'hypothèse formulée plus haut revient alors à dire que les Xi sont des variables aléatoires

réelles ayant toutes la même distribution, celle de X. On supposera également que les Xi sont

indépendantes (dire qu'elles sont indépendantes sous entend qu'elles sont définies sur le

même espace de probabilit ).

Définition 1:

Les variables aléatoires forment un échantillon aléatoire de taille n (on dit

aussi un n-échantillon) si les v.a. sont indépendantes et identiquement distribuées

(i.i.d. en abrégé).

On dit que ( ) est un échantillon de taille n (ou aussi un n-échantillon),si pour

tout i, xi est une réalisation de Xi .

Dans toute la suite on notera les variables aléatoires par des lettres capitales, et leurs

réalisations (non aléatoires ou déterministes) par des lettres minuscules.

En convenant de noter par fX(.) aussi bien la masse de probabilité dans le cas discret que la

densité marginale dans le cas continu de la v.a. X, c'est-à-dire:

,

La densité conjointe du n-uplet (X1,..., Xn) est donnée par:


4

Cette densité conjointe peut être utilisée pour calculer diverses probabilités relatives à

l’échantillon . En particulier, si fX(x) appartient à une famille paramétrique de

densités de probabilités { (x) , } où l'espace des paramètres est contenu dans IRk,

k1, nous avons:

avec inconnu.

En considérant différentes valeurs possibles de , on peut étudier le comportement de notre

échantillon pour différentes distributions appartenant à la famille considérée.

Exemple 2 : Soit un n-échantillon représentant les n durées de fonctionnement (en

mois) de n ampoules issues d'une population exponentielle de paramètre :

f(x1,...,xn) = i 1

n

f(xi) =

i 1

n

(1/) e-xi/ = (1/n) e

- xii 1

n

/

, x1,...,xn 0.

Quelle est la probabilité que toutes les ampoules admettent une durée de fonctionnement

d'au moins 2 mois?

P(X1> 2,..., Xn > 2) = 2

...2

f(x1,...,xn)dx1dx2...dxn

= 2

...2

i 1

n

(1/) e-xi/ dx1dx2...dxn

= e-2/ 2

...2

{i 1

n

1/ e-xi/ }dx2...dxn (intégration p.r. à x1)

= ... (intégration p.r. à xi)

= (e-2/ )n

= e-2n/.

On peut retrouver ce résultat en utilisant l'indépendance des v.a. X1,...,Xn :

P(X1 > 2, ..., Xn >2) = P(X1 >2) ... P(Xn >2) (indépendance)

= (P[X1 > 2])n (lois identiques)

= e-2n / (loi exp())

Remarques:

1) Le modèle d'échantillonnage décrit dans la définition 1 est aussi appelé échantillonnage à

partir d'une population infinie.

2) Echantillonnage d'une population finie: dans ce cas, les hypothèses d'indépendance

peuvent ne pas être vérifiées selon que le tirage est avec ou sans remise. Considérons en

effet une population finie dont les N mesures ou observations possibles de X sont

{x1,..., xN}. Un échantillon est à constituer à partir de cette population. On peut

procéder de deux manières:

i) tirage avec remise: dans ce cas, chaque Xi est une variable discrète prenant chaque

valeur xi avec la même probabilité 1/N :

P(Xi=xi) = 1

N, i=1,...,N


5

Les (Xi) sont indépendantes car le processus de choix de toute variable Xi est le même

indépendamment de la valeur obtenue.

ii) tirage exhaustif ou sans remise: l'indépendance est en défaut car par exemple, si x et y

sont deux éléments distincts de l'ensemble {x1,...,xN}, on a P(X2=y/X1=y)=0 car y ne peut

être choisi à l'étape suivante, alors que P(X2=y/X1=x) = 1/(N-1) et donc la loi de X2 dépend

de celle de X1. Cependant, si N est grand comparativement à n, les variables aléatoires

peuvent être considérées comme presque indépendantes. Ceci est illustré par

l'exemple suivant.

Exemple 3: P = {1,...,1000} est notre population de taille N=1000. Un échantillon de taille

n=10 est tiré sans remise. Quelle est la probabilité que toutes les 10 valeurs échantillonnées

soient > 200?

Si X1,..., X10 sont indépendantes et, puisque P(Xi > 200) = 800/1000, i, on a:

P(X1> 200,..., X10 > 200) = i 1

10

P(X1>200) = ( )800 1000

10

= 0,107374.

Calcul exact: Soit la v.a. Y = nombre de Xi > 200 parmi n. Alors, Y suit la loi

hypergéométrique H(N,n,r) avec N=1000, n=10, r=800, et donc

P (Y=10) = P(X1 >200,..., X10 >200) = C800

10

C200

0 / C1000

10= 0,106164,

valeur qui est très proche de celle obtenue sous l'hypothèse d'indépendance

Dans la suite du cours, nous utilisons la définition 1 comme définition d'un échantillon

aléatoire.

1.2 - Statistiques basées sur un échantillon aléatoire

Il est d'usage dans la pratique de résumer les n valeurs x1,..., xn observées d'un échantillon

X = ( ) par quelques caractéristiques simples telles que la moyenne, la variance,

l'étendue, la plus grande valeur, etc. Ces caractéristiques sont elles-mêmes des réalisations

ou observations de variables aléatoires qui sont fonctions de l'échantillon aléatoire X.

Définition 2:

Soit un échantillon de taille n de X et soit T( ) une fonction vectorielle

définie sur l'espace image du vecteur X=( ). Alors la variable aléatoire ou vecteur

aléatoire défini par T=T(X) est appelée statistique. La distribution de probabilité de la

statistique est appelée distribution échantillonnale de T.

Exemple4 :

est une statistique

est sa valeur observée

Remarque:

a) La définition d'une statistique est assez large, mais il est sous-entendu qu'une

statistique ne peut dépendre d'un paramètre.


6

b) Une statistique peut être à valeurs dans IR ou dans IRp. Dans ce dernier cas, on parlera

de statistique vectorielle.

Les résumés empiriques par une statistique peuvent contenir diverses informations. La plus

petite et la plus grande de ces valeurs ainsi que leur valeur moyenne constituent des

exemples courants de tels résumés.

Définition 3:

1) La moyenne échantillonnale est la variable aléatoire définie par:

2) La variance échantillonnale est la variable aléatoire définie par:

S2 =1

n -1 (Xii 1

nX)

2

.

L'écart-type échantillonal est la racine carrée S de la variance échantionnale.

3) La statistique d'ordre de l'échantillon X1,..., Xn est l'échantillon ordonné dans l'ordre

croissant et noté X(1),..., X(n) avec :

X(1)= min1 i n

Xi , X(2) = seconde plus petite observation ,.., X(n)= max1 i n

Xi.

4) L'étendue échantillonnale R est la variable aléatoire :

R = X(n) - X(1).

Remarques:

a) Dans cette définition, on devrait écrire:

X = X( ), S = S(X1,...,Xn), R = R(X1,...,Xn), etc.

b) La variance et l'écart-type échantillonnaux sont deux mesures de la variabilité dans

l'échantillon. Ces deux caractéristiques sont liées à la variance et l’écart-type inconnus de la

population comme nous le verrons plus loin.

1.2.1 - Propriétés de X et S2

Lemme 1: Soit X = ( ) un échantillon aléatoire et x une observation ou

réalisation de X. Soit x la moyenne empirique des xi. Alors:

a) Min (x

ii 1

n

)

2= (xii 1

nx

)

2

b) (n-1) s2 = (xii 1

nx

)

2

= xii 1

n 2

- n x2

Preuve : (xii 1

n

)

2 = (xii 1

nx + x -

)

2

= (xii 1

nx

)

2

+ (xi 1

n

)

2 + 2 (xii 1

nx)(x -

)

= (xii 1

nx

)

2

+ (xi 1

n

)

2 .

Cette dernière expression résulte du fait que


7

Elle montre clairement que est minimisée par =x , d'où a).

L'identité b) se déduit par un calcul analogue au précédent

Commentaires: Pour résumer les n valeurs observées d'un échantillon, il ne faut jamais

perdre de vue qu'un resumé par une seule caractéristique n'a aucun sens: la statistique

commence précisement là où il y a variabilité et on ne peut évidemment pas se contenter

d'une valeur unique telle que la moyenne. Il convient donc de définir à la fois une valeur

centrale et une mesure de dispersion autour de cette valeur. La recherche de cette valeur

centrale répond à la préoccupation suivante:

"Résumer les n valeurs par une valeur unique aussi voisine que possible des (xi)".

Nous commençons par étudier les distributions échantillonnales de X et de S2 en

considérant d'abord l'espérance de ces statistiques.

En utilisant la linéarité de l'espérance mathématique ainsi que l'indépendance, on peut établir

le théorème suivant:

Théorème 1:

Soit X un n-échantillon d'une population de moyenne et de variance 2 finie. Alors on a :

a) E[X] =

b) Var[X] = 2

n

c) E[S2] = 2.

Preuve:

a) E[X] =

=

; (Car X1,..., Xn sont de même loi)

=

b) étant indépendantes et de même loi, donc

Var(X) =

n var(

1

nX1)

= nn

2

2

=

2

n.

c) Puisque:

, on a:

X

X


8

Commentaires: les deux relations a) et c) du théorème précédent sont des relations entre

une statistique ( X ou S2) et un paramètre de la population ( ou 2). Ce sont deux exemples

de statistiques sans biais (à voir plus loin en détail).

Théorème 2: (Théorème central limite)

Soit un n-échantillon de X. On pose =E(X) et 2=var(X).

On considère la variable aléatoire centrée réduite Zn définie par:

Alors, pour n grand, la distribution de Zn est approximativement (0,1):

P (Zn x) P (Z x) pour n grand, avec Z de loi (0,1).

Ainsi, lorsque n est suffisamment grand, la moyenne X est assimilée à une v.a. normale

quelque soit la distribution de l'échantillon X.

1.3 - Echantillonnage à partir d'une distribution normale

Le théorème central limite est souvent utile lorsque la distribution échantillonnale de X ou

de S2 est inconnue ou difficile à déterminer. Dans le cas où X1,..., Xn est issu d'une

population de loi normale , il est facile de déduire plusieurs propriétés

échantillonnales intéressantes.

En particulier, nous avons:

Théorème 3: (Théorème de Fisher).

Soit ( ) un n-échantillon issu d'une population normale (,2). Soient X et S2 sa

moyenne et sa variance échantillonnales. Alors:

a) X et S2 sont deux variables aléatoires indépendantes;

b) ;

c)

la loi Khi-deux à (n-1) degrés de libertés d.d.l.

d)

la loi de Student à (n-1) d.d.l.

La détermination des lois de X et S2 est une des premières étapes dans l'analyse statistique.

En particulier, la variance 2 est inconnue dans la plupart des cas pratiques et, pour avoir

une idée précise de la variablilité de X (considérée comme estimateur de ), il est

nécessaire d'estimer cette variance.

Si suit la loi (,2), alors la variable aléatoire

.

Si on connait et on observe X , on peut utiliser Z pour faire de l'inférence concernant car

ce paramètre est le seul inconnu dans ce cas. Cependant, lorsque est inconnu, l'utilisation

de Z devient impossible. Student (pseudonyme de W.S Gosset, 1900) a proposé dans ce cas

d'utiliser plutôt la statistique

.


9

2 – ESTIMATION PONCTUELLE

On observe un échantillon issu d'une variable aléatoire X dont la loi de

probabilité dépend d'un paramètre inconnu.

Le problème qui se pose est celui de l'estimation du paramètre .

L’estimation statistique consiste à donner, à partir des observations , une

approximation ou une évaluation de que l'on espère la plus proche possible de la vraie

valeur inconnue. On pourra proposer une unique valeur vraisemblable pour (estimation

ponctuelle), ou un ensemble de valeurs vraisemblables (estimation ensembliste ou région de

confiance).

Exemple5 : Supposons qu'on fabrique des pièces sur une machine, chaque pièce ayant une

probabilité inconnue (mais la même pour chaque pièce) d'être défectueuse.

On cherche, à l'aide d'un échantillon de n pièces, à obtenir des renseignements sur .

Pour cela, on dispose de l'observation, constituée du nombre X de pièces défectueuses parmi

les N pièces fabriquées.

Il est "naturel" de prendre comme valeur de la proportion X N de pièces défectueuses.

Il est "vraisemblable" que la valeur exacte de soit proche de X/N, mais tout-à-fait

invraisemblable qu'elle soit égale à X N exactement.

2.1 - Méthodes d'estimation ponctuelle

Dans cette section, nous présentons deux méthodes classiques qui permettent de sélectionner

des estimateurs raisonnables pour le paramètre inconnu (ou encore une fonction

de ce paramètre).

Mais il faut d'abord définir précisement ce que sont une estimation et surtout un estimateur.

Pour estimer on ne dispose que des données , donc une estimation de

sera une fonction de ces observations.

Définition4 : Soit un échantillon issu d’une loi de paramètre . On appelle

estimateur de toute staistique T(X)=T à valeurs dans l'ensemble des valeurs

possibles de . Une estimation de est une réalisation t de l'estimateur T.

Un estimateur est donc une variable aléatoire, alors qu'une estimation est une valeur

déterministe.

2.1.1 - Méthode des moments

Soit X un échantillon d'une distribution dépendant de k paramètres 1,...,k. Soient les

k moments d'ordre j ( ) de la v.a X. On définit les moments échantillonnaux

d'ordre j correspondants par :

Pour pouvoir appliquer la méthode des moments, supposons pouvoir exprimer les k premiers

moments en fonction des k paramètres 1,...,k :

On remplace ensuite les moments par leurs estimateurs respectifs mj puis on résout le

système :


10

Les k solutions

de ce système, constituent les estimateurs des moments des k

paramètres .

Exemple6: Soit un échantillon issu d’une v.a aléatoire X. Supposons que le

paramètre à estimer est , où est la moyenne de X et 2 est sa variance.

On a dans ce cas:

le système à résoudre est:

D'où :

.

Et l’estimateur des moments pour est

.

2.1.2 - Méthode du maximum de vraisemblance

Soit un échantillon aléatoire issu d’une loi inconnue appartenant à la

famille de lois paramétriques { }, et soit x = la valeur observée

correspondante.

Définition 5:

On appelle fonction de vraisemblance, la fonction définie sur par

Les va étant indépendantes, donc

N.B: Dans la suite de ce cours on notera par la loi de probabilité d’une v.a discrète

( et la densité de probabilité d’une v.a continue( .

Définition 6:

Soit un échantillon aléatoire issu d’une loi inconnue appartenant à la

famille de lois paramétriques { }, et soit x = une valeur observée de X.

pour x fixé on note de qui maximise, la fonction de


11

La statistique est appelée l’estimateur du maximum de

vraisemblace (EMV) de

La méthode du maximum de vraisemblance (M.M.V) consiste, étant donné un échantillon

de valeurs , à estimer le paramétre par la valeur qui rend maximale la

fonction de vraisemblance :

Pour déterminer la valeur , il est souvent commode d'utiliser car cette

dernière fonction atteint son maximum au même point que la fonction et se prète

mieux aux calculs. En effet, si et est différentiable en les candidats possibles pour l’E. M.V sont les valeurs de 1,...,k solutions du système

Exemple7:

Contrôle de qualité par sondage: Une machine fabrique une proportion inconnue de

pièces défectueuses. On désire estimer . Pour cela, on effectue un sondage:

On prélève n pièces avec remise et on observe les v.a où Xi = 1 si la pièce tirée

est défectueuse et 0 sinon. Les données xi sont les valeurs observées des n variables

aléatoires indépendantes de même loi :

.

La fonction de vraisemblance est donnée par:

En dérivant la fonction et en résolvant par rapport à l'équation:

nous obtenons l'estimateur de M.V. de suivant:

Exemple8:

Fiabilité: Considérons la v.a. continue à valeurs positives X représentant la durée de

fonctionnement sans panne d'un système. Sa densité de probabilité f est celle d'une

distribution exponentielle de moyenne 1/ .

On désire estimer par la méthode du M.V le paramètre . Pour celà, on considère n systèmes

identiques et on observe leur durée de vie . Ce sont des observations des v.a.

qui sont i.i.d. de loi exp ( ) où est inconnu. La fonction de vraisemblance est

donnée par:

L(x, ) =


12

et la fonction logarithme de la vraisemblance L(x, ) est:

.

En déterminant le zéro de la dérivée de cette fonction par rapport à , on obtient:

L'estimateur du maximum de vraisemblance du paramètre est donc:

.

Exemple9:

Dans le cas d'un échantillon aléatoire de loi Uniforme sur , la fonction de

vraisemblance est donnée par :

.

Cette fonction est maximale en . L'estimateur de M.V de est donc:

2.2 - Méthode d'évaluation d'estimateurs

Dans la section précédente, nous avons présenté deux méthodes de construction

d'estimateurs raisonnables d'un paramètre ou d'une fonction de celui-ci.

Ces techniques d'estimation conduisent généralement à différents estimateurs et la question

qui se pose tout naturellement est celle du choix entre ces derniers.

Soit X = ( ) un n-échantillon dont la distribution est spécifiée grace à un paramètre

inconnu, et soit T=T(X) un estimateur de la fonction de ce paramètre.

T sera un bon estimateur de s'il est suffisamment proche, en un certain sens, de .

Il faut donc définir une mesure de l'écart entre et T. On appelle cette mesure le risque

de l'estimateur. On a intérêt à ce que le risque d'un estimateur soit le plus petit possible.

Parmi les critères qui permettent d'optimiser le choix d'un estimateur, nous avons:

Définition 7: Le risque moyen quadratique où erreur moyenne quadratique (EMQ en abrégé) d'un

estimateur T=T(X) de est la fonction de définie par:

Où désigne l'espérance mathématique relativement à .

Remarque :

En écrivant , il est facile d'exprimer l'EMQ en fonction

de la moyenne et la variance de l'estimateur T. On a:

,


13

où .

La fonction désigne le biais de l'estimateur T.

Définition 8:

Soient T = T(X) et S=S(X) deux estimateurs de On dit que T est meilleur que S (au sens de l’EMQ) si , pour tout ,

Il est dit strictement meilleur si de plus il existe au moins une valeur de pour laquelle

l'inégalité précédente est stricte.

Exemple10:

Soit X un n-échantillon de loi . Un estimateur raisonnable de est la moyenne

échantillonnale . Comme et , on a:

.

La dernière égalité résulte du fait que suit une loi (d'après le théorème 3).

D'autre part, la statistique peut aussi bien être considérée comme estimateur de .

Sa moyenne est égale à et son EMQ vaut .

Donc l'estimateur est strictement meilleur que (si n>1).

L'exemple précédent montre que est strictement meilleur que lorsqu'on veut

estimer la moyenne d'une loi normale.

2.3 - Estimateurs sans biais

Le biais mesure une erreur systématique d'estimation de par T.

Par exemple, si , cela signifie que T aura tendance à sous-estimer .

Définition 9:

On appelle estimateur sans biais de toute statistique T=T(X) telle que :

Remarque:

a) Si T est un estimateur sans biais, son EMQ est égale à sa variance. On en déduit

immédiatement que de deux estimateurs sans biais, le meilleur est celui qui a la plus petite

variance. On a donc intérêt à ce qu'un estimateur soit sans biais et de faible variance.

b) La définition précédente signifie que l'estimateur sans biais T n'a tendance ni à sous-

estimer ni à sur-estimer le paramètre : en moyenne il vise juste.

Exemples11:

Contrôle de qualité par sondage (suite): dans cet exemple, l'estimateur de M.V du

paramètre est donné parX . Il s'agit là d'un estimateur sans biais puisque:

Exemples12:

Fiabilité: L'estimateur du MV de est

. Est-il sans biais?


14

Suit la loi gamma , car c’est la somme de n variables aléatoires i.i.d de

loi sa densité de probabilité est:

et alors,

Et

n'est pas un estimateur sans biais de .

Par contre, l'estimateur

est sans biais.

Nous avons vu précédemment que le critère d'EMQ n'est autre que la variance d'un

estimateur sans biais. Par conséquent, la comparaison d'estimateurs sans biais selon la

définition 8 revient à comparer leurs variances respectives.

Exemple13: Estimation du paramètre d'une distribution uniforme.

Soit un échantillon d'une v.a. de loi Uniforme sur , où est un

paramètre réel positif inconnu. Puisque:

il est "naturel" d'utiliser l'estimateur sans

biais (estimateur des moments) T=T(X)=2X .

.

Un second estimateur de est l'estimateur du MV obtenu précédemment:

S

Un tel estimateur est-il sans biais? Pour calculer E[S], nous avons besoin de déterminer la

densité de probabilité de la v.a. S.

Soit sa fonction de répartition:

Il en résulte, en dérivant par rapport à x:


15

Par suite, on a:

.

et S n'est donc pas sans biais.

Par contre, l'estimateur

est sans biais et on peut vérifier que :

. Par conséquent, l'estimateur U fonction de l'estimateur du MV est

meilleur que l'estimateur naturel des moments T=2 X puisque var(U) var(T) pour tout

et tout n >1.

Définition 10:

On dit qu'un estimateur T=T(X) de la fonction g() du paramètre est un estimateur sans

biais de variance minimale s'il est sans biais pour g() et si, pour tout autre estimateur

S=S(X) sans biais de g(), on a:

R(,T) = var(T) var(S) = R(,S), .

La recherche du meilleur estimateur sans biais de variance minimale (s'il en existe un!) n'est

pas une tache facile en général. La difficulté réside d'abord dans l'évaluation de la variance

d'estimateurs potentiels. Une autre difficulté réside dans la détermination du meilleur

estimateur sans biais au sens de la définition précédente: même si on montre par exemple

que var(T) var(S), rien ne permet d'affirmer qu'il n'existe pas d'autres estimateurs sans

biais de variance inférieure à celle de T.


16

3 - ESTIMATION ENSEMBLISTE

3.1 - Introduction

Il peut parfois être intéressant de chercher à approcher le paramètre inconnu non pas

par un point T(X) mais par un sous-ensemble de l'espace des paramètres. Autrement dit,

au lieu d'un estimateur ponctuel, on cherche un estimateur ensembliste de appelé aussi

intervalle ou domaine de confiance.

Note: Comme celà était convenu précédemment, nous notons par T(x) la valeur de la

statistique observée pour T(X).

Définition 10:

Un intervalle de confiance d’un paramètre réel est un intervalle où

R(x) et S(x) est une paire de fonctions telle que . L'intervalle aléatoire est appelé estimateur ensembliste de .

Exemple14:

Soit un échantillon de loi (,1).

Lorsqu’on estime le paramètre parX , la probabilité, P(X=), que cette estimation soit

exacte, est nulle. Cependant, avec un intervalle de confiance on peut évaluer la probabilité

que soit dans un intervalle I(X).

Un estimateur ensembliste possible pour est par exemple l'intervalle I(X) = [X -1,X+1].

Prenons pour illustrer notre échantillon gaussien, n=4.

Puisque la statistique X (,1/n), nous pouvons écrire en utilisant la table de la fonction

de répartition (.) de la loi normale centrée et réduite:

0,9544.

Ainsi, nous avons plus de 95% de "chance" que notre paramètre soit dans l'intervalle

aléatoire I(X).

3.2 - Intervalle de confiance de niveau (1-)

Pour déterminer un intervalle de confiance pour un paramètre inconnu, nous devons

connaître la distribution échantillonnale d'un estimateur ponctuel de ce dernier.

Définition 11: Soient R(X) et S(X) deux statistiques. L’intervalle aléatoire est un

intervalle de confiance de niveau 1- pour le parrmètre si :

Les statistiques R(X) et S(X) sont respectivement les limites de confiance inférieure et

supérieure pour . Notre objectif est donc de les déterminer.


17

est la probabilité que le paramètre n'appartienne pas à l’intervalle , c'est à dire la

probabilité que l'on se trompe en affirmant que . C'est donc une probabilité

d'erreur, qui doit être assez petite. Les valeurs usuelles de sont 10%, 5%, 1%, etc.

Nous allons illustrer la procédure générale par des exemples, en déterminant des intervalles

de confiance pour la moyenne et la variance dans un échantillon de loi normale.

3.2.1 Intervalle de confiance pour la moyenne d’une loi normale

Soit un n-échantillon d'une population gaussienne .

Intervalle de confiance pour la moyenne lorsque la variance est connue

La loi normale standard étant tabulée, il est alors possible de déterminer pour tout

appelé le -fractile de la loi (0,1) qui vérifie :

Compte tenu de la symétrie de la densité de la loi (0,1), on a:

D'après le théorème de Fisher, nous savons que

Donc

Ainsi un intervalle de confiance de niveau 1- pour , quand est connue, est donné par :

Exemple14:

Supposons que lorsqu'un signal ayant la valeur est transmis d'un endroit A, le signal reçu

en B est normalement distribué avec moyenne et variance .

Supposons que la même valeur est transmise 9 fois. Les valeurs reçues succéssivement en B

sont :

5; 8,5 ; 12 ; 15 ; 7; 9 ; 7,5 ; 6,5 ; 10,5.

Puisque x=81/9=9 et z/2=1,96 si =0,05, un intervalle de niveau 1-=95% pour la

moyenne est alors:


18

= [7,69 ; 10,31].

La vraie valeur du message sera comprise entre 7,69 et 10,31 avec 95% de confiance.

Intervalle de confiance pour la moyenne lorsque la variance inconnue

Dans ce qui a précédé, nous avons supposé que est connue. Cette hypothèse est souvent

non vérifiée dans la pratique et dans un tel cas, on pense à remplacer le paramètre inconnu

dans la v.a.

par son estimateur S.

Nous savons que la v.a.

est distribuée selon la loi de student t à n-1 d.d.l.

Soit donc le -fractile de la loi de Student t à n-1 d.d.l, c'est-à-dire le réel tel

que:

La loi de Student étant symétrique, donc

Donc

Ainsi un intervalle de niveau 1- pour lorsque est inconnu est donné par:

Exemple15: Avec les valeurs utilisées dans l'exemple précédent, nous avons:

x=9 et s=3,08.

La table de la loi de student donne la valeur lorsque =0,05 et n=9.

Un intervalle de confiance de niveau 95% pour la moyenne est alors:

Un tel intervalle est bien sûr moins précis que celui obtenu lorsque la variance est

supposée connue.

3.2.2. Intervalle de confiance pour la variance d’une loi normale

Intervalle de confiance pour la variance lorsque la moyenne est connue


19

La statistique

est un estimateur sans biais pour

Nous savons que la v.a.

est distribuée selon la loi khi deux

à n d.d.l

car

(0,1) et indépendantes.

Soit donc le -fractile de la loi

à n d.d.l. c'est-à-dire le réel tel que:

Avec ces notations, nous avons :

Donc

Alors, un intervalle de niveau 1- pour lorsque est connu, est donné par:

Intervalle de confiance pour la variance lorsque la moyenne est inconnue

Dans le cas où et sont inconus on a :

Où

est un estimateur sans biais pour .

Avec les mêmes notations ci-dessus, nous avons :

où désigne -fractile de la loi

à (n-1) d.d.l.

Ainsi, un intervalle de confiance de niveau 1- pour lorsque est inconnu est donné par:

Remarque : Dans le cas ou X n'est pas gaussienne et l’échantillon est de grande taille

(n > 30), d’après le théorème limite centrale on peut approcher la loi de par

et

donc la loi de

par . On a alors la même définition de l'intervalle de confiance

que dans le cas où X est gaussienne et connue (si est inconnue, on lui attribue la

valeur de son estimation ponctuelle).


20

Exemple16 : Intervalle de confiance pour une proportion

Soit une population dont les individus possèdent un caractère A avec une probabilité p. On cherche à

déterminer cette probabilité inconnue en prélevant un échantillon de taille n (n > 30) dans cette

population.

Soit x est le nombre d’individus possèdant le caractère A dans l’échantillon.

est une

estimation de p.

La v.a. ( nombre d’individus possèdant le caractère A dans la population) est la somme de n

variables aléatoires indépendantes de même loi de bernouilli de paramètre p. C’est donc, d’après le

théorème central limite, une variable aléatoire dont la loi de probabilité peut être approchée par une

loi normale de moyenne np et de variance , donc la loi de

peut être

approchée par .

Ainsi un intervalle de confiance de niveau 1- pour la proportion p est :

.


21

Résumé

Intervalle de confiance de

niveau pour la

moyenne d’une loi normale

connue

inconnue


niveau pour la

variance d’une loi normale

connue

inconnue


niveau pour la

moyenne d’une loi inconnue

(n grand)

connue

inconnue


niveau pour une

proportion p (n grand)


22

4 - TESTS D'HYPOTHESES

4.1 - Généralités et définitions

P Dans tous les domaines de l'expérimentation scientifique à la vie quotidienne, on est amené

à prendre des décisions sur une activité risquée au vu de résultats d'expériences ou

d'observation de phénomènes dans un contexte incertain. Par exemple : décider si un

nouveau traitement médical est meilleur qu'un ancien au vu du résultat de son

expérimentation sur des malades, décider si l'accusé est innocent ou coupable à partir des

informations acquises pendant le procès.

Dans chaque cas, le problème de décision consiste à trancher, au vu d'observations, entre

une hypothèse appelèe hypothèse nulle notée , et une autre hypothèse dite hypothèse

alternative notée .

Un test d'hypothèses est une procèdure qui permet de choisir entre ces deux hypothèses.

Les tests qui ont pour objet de tester une certaine hypothèse relative à un ou plusieurs

paramètres d’une variable aléatoire de loi spécifiée, sont appelés tests paramétriques. Les

tests qui ne portent pas sur la valeur d'un paramètre sont appelés tests non paramètriques.

Dans tout ce qui suit, on se restreint aux hypothèses dites paramétriques,

et on notera la loi (ou modèle) de la variable X dont on observe un

échantillon .

Si est un paramètre vectoriel, on fera des tests sur chacune de ses composantes. Par

exemple, on fera des tests sur la moyenne de la loi normale, puis des tests sur la variance,

mais pas sur les deux en même temps.

Définition 12:

Soit un n-échanitillon de X ; et une réalisation de

X. Un test d'hypothèses est une règle de décision permettant, à partir d'une réalisation x,

d'accépter ou de rejeter une hypothèse émise concernant le paramètre.

Un test est généralement décrit en termes d'une statistique qui est un

résumé des données expérimentales observées. T est appelée statistique du test.

Définition 13:

Soit un n-échanitillon de X et une réalisation de X.

On appelle région critique ou région de rejet de un sous-ensemble

R de associé à la règle de décision suivante :

é ’

é ’

Remarque :

Un test statistique est défini par sa région critique et réciproquement.

Dans un problème de décision, deux types d'erreurs sont possibles :

- erreur de première espèce : décider que est vraie alors que est vraie.

- erreur de seconde espèce : décider que est vraie alors que est vraie.

Les conséquences de ces deux erreurs peuvent être d'importances diverses. En généal, une

des erreurs est plus grave que l'autre.


23

Définition 14:

La probabilité de l'erreur de première espèce, qui est la probabilité de rejeter à tort ,

est notée et est appelée seuil ou niveau de signification du test.

La probabilité de l'erreur de deuxième espèce est notée

est la probabilité de décider ou de rejeter à raison. Elle est appelée puissance

du test.

Le tableau suivant résume simplement le rôle de ces probabilités de bonne et mauvaise

décision dans un test d'hypothèses.

est vraie est vraie

Accepter : bonne décision : mauvaise décision

Rejeter : mauvaise décision : bonne décision

L'idéal serait évidemment de trouver une procédure qui minimise les deux risques d'erreur

en même temps. Malheureusement, on montre qu'ils varient en sens inverse, c'est-à-dire que

toute procédure diminuant va en général augmenter et réciproquement.

Dans la pratique, on va donc considérer que l'une des deux erreurs est plus importante que

l'autre, et tâcher d'éviter que cette erreur se produise. Par exemple, dans le cas du procés, on

fait en général tout pour éviter de condamner un innocent, quitte à prendre le risque

d'acquitter un coupable.

On va choisir et de sorte que l'erreur que l'on cherche à éviter soit l'erreur de première

espéce. Mathématiquement cela revient à se fixer la valeur du seuil du test .

Les valeurs usuelles de sont 10%, 5%, 1%, ou beaucoup moins. Le principe de précaution

consiste à limiter au maximum la probabilité de se tromper, donc à prendre très petit.

Définition 15:

Une hypothèse est simple si elle est du type = ", où est un réel fixé.

Une hypothèse est composite ou multiple si elle est du type où A est une partie

de non réduite à un élément.

4.2 - Tests d'hypothèses simples

Le cas le plus simple à analyser est celui où les deux hypothèses à confronter sont simples.

Définition 16:Tests d'hypothèses simples Un test d'hypothèses simples est un test dans lequel les hypothèses nulle et alternative

sont simples toutes les deux. C'est donc un test du type

:" = " contre : " = "

Un tel test permet de dire laquelle des deux valeurs et est la plus vraisemblable au vu

des observations. Mais il ne prend pas en compte la possibilité que ne soit égal ni à ni

à . Pour cela, il faudra faire un test d'hypothèses composites.

Le seuil du test est la probabilité de rejeter à tort , c'est à dire la probabilité que les

observations soient dans la région critique quand la vraie valeur de est :


24

La puissance du test est la probabilité de rejeter à raison , c'est à dire la probabilité que

les observations soient dans la région critique quand la vraie valeur de est :

R désigne la région critique du test.

Cas limites:

Si on choisit c'est-à-dire on adopte la règle de ne jamais rejeter quelque

soit le résultat de l'expérience, alors et .

De même, si alors et .

Plus généralement, si on prend près de 0 alors sera près de 1.

Exemple17:

Soit un n-échantillon de de taille n = 25.

On désire tester les hypothèses suivantes:

:" = " contre : " = ".

Puisque est un estimateur de la moyenne , il est intuitif de vouloir rejeter lorsque

est grand par rapport à une certaine constante.

La région critique R est alors définie par . Puisque , la taille d'erreur de

première espèce est définie par

De la même façon on déduit la taille d'erreur de seconde espèce:

=

A titre d'exemple, prenons k = 0.4, on trouve: = 0.1587 et = 0.0668.

sous H0

sous H1

0 10.4

Ce graphique montre que si on augmente la valeur de k, alors diminue mais augmente.

Plusieurs approches sont utilisées pour choisir un test. Nous allons considérer ici l'approche

qui considère l'erreur de première espèce comme étant la plus sérieuse.


25

Un niveau accéptable est fixé et le test (c-à-d la région R) est choisi de manière à

minimiser .

4.3 - Méthode de construction du meilleur test de simple contre

simple

Soit et soient et deux hypothèses simples sur . Nous avons déjà

observé qu'un test est défini de manière biunivoque par sa région critique R. Par exemple, si

on se donne pour région critique

Le test est déterminé selon la règle de décision suivante: on rejettera si on observe

telle que

, sinon n'est pas rejetée.

Définition 17:

Soit une région de l'espace des observations . est dite meilleure région de niveau

pour tester:

Si pour tout sous-ensemble R de tel que , on a

i)

ii)

Le théorème suivant dû à Neyman-Pearson fournit un moyen systématique pour déterminer

la meilleure région critique.

Théorème4:(Lemme de Neyman-Pearson)

Soit un n-échantillon et L(x, ) la vraisemblance associée à

l'observation x de cet échantillon. La région critique définie par:

est la meilleure région critique de niveau pour tester

Commentaire: Le test de Neyman-Pearson (N-P en abrégé) de région est le plus puissant

(donc ayant la plus petite probabilité de risque de seconde espèce *) parmi toutes les

régions R ayant le même risque de première espèce.

Exemple18:Test sur la moyenne d'une loi normale , connue

Soit

Pour fixé, la région optimale au sens de N-P est donnée par:


26

D'où la règle de décision: on rejette si on observe x tel que .

La constante k est déteminée à partir de grâce à la relation:

Or sous . Par conséquent on a:

Pour 0.05, n=25, en utilisant la table de la loi , nous pouvons déduire k:

D’où la région optimale au sens de N-P pour tester la moyenne d’une loi normale quand

est connue est :

Exemple19:

Soit


Pour 0.05, n=25, en utilisant la table de la loi , nous pouvons déduire k:

La puissance du test se calcule elle aussi à l’aide de la table de la loi normale:


27

Or sous . Par conséquent on a:

Exemple2 :Test sur la moyenne d'une loi normale , inconnue

Soit




Or sous

. Par conséquent on a:

En utilisant la table de la loi , nous pouvons déduire k:

D’où la région optimale au sens de N-P pour tester la moyenne d’une loi normale quand

est connue est :


28

Remarque : Pour tester la moyenne d'une loi inconnue sur un échantillon de grande taille, on

utilise l’approximation de la loi de

par la loi et applique ce qui précéde, si est

inconnu on le remplace par son estimation s.

4.4 - Tests d'hypothèses composites

Définition 18:

Un test d'hypothèses composites est un test dans lequel l'une au moins des deux

hypothèses est composite. C'est donc un test du type

:" " Contre : " "

Les tests les plus usuels sont du type :

test bilatéral : :" = " contre : " ". (Seule est composite).

tests unilatéraux : :" " contre : " "

Ou :" " contre : " "

( et sont composites).

Dans tous ces exemples, et sont complémentaires : des deux hypothèses, l'une est

forcément vraie.

Remarque :

Quand une hypothèse est composite, la notion de puissance est à repréciser. En effet, a

été définie comme la probabilité de rejeter quand est vraie. Or, dans les exemples

ci-dessus, il y a une infinité de valeurs de pour lesquelles est vraie. Donc la puissance

du test doit dépendre de la vraie valeur (inconnue) de , ce qui nous amène à redéfinir la

puissance et le seuil d'un test :

Définition19 :

On conidère le test d’hypothèses :" " contre : " " dont la région critique

est R. On appelle fonction puissance du test la fonction définie par :

où

est la probabilité de rejeter quand la vraie valeur du paramètre est

Le seuil du test est

est la probabilité maximale de rejeter alors que est vraie, c'est à dire la

plus forte probabilité de rejeter à tort .

Par exemple, pour un test bilatéral, , et pour le premier test unilatéral

présenté,

.


29

Notons que le "test idéal" est celui qui a pour fonction puissance:

Mais un test basé sur une quantité finie de données ne peut jamais atteindre cet idéal et tout

ce que l'on peut espérer est un test tel que: petit sous et grand sous .

4.5. Test du rapport de vraisemblances

Définition20 :

On appelle test du rapport de vraisemblances (TRV) pour tester les hypothèses :"

" Contre : " " , le test dont la région critique est donnée

par :

, où

Exemple2 :Test sur la variance d'une loi normale , connue

Soit

On a:

Le TRV quand est inconnue a pour région critique



Or sous


En utilisant la table de la loi khi deux, nous pouvons déduire k:


30

Exemple2 :Test sur la variance d'une loi normale , inconnue

Soit

Le TRV quand est inconnue a pour région critique



Or sous


En utilisant la table de la loi khi deux, nous pouvons déduire k:

.

introduction à la statistique...

Documents