choix du modèle -...
TRANSCRIPT
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Choix du modèle
Frédéric Bertrand1
1IRMA, Université de StrasbourgFrance
ESIEA 4ème Année 06-04-2010
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Ce cours s’appuie sur l’ouvrage suivant« Analyse de régression appliquée »Yadolah DodgeDunod, 1999
Le lecteur intéressé par ce sujet pourra consulter l’ouvragesuivant
« Le modèle linéaire par l’exemple »J.-M. Azais et J.-M.BardetDunod, 2005
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
RemarqueDans tous les modèles que nous allons considérer, laconstante sera par défaut automatiquement présente. Ainsi, sile modèle comporte p − 1 variables explicatives, il y aura autotal p paramètres de régression notés β0, . . . , βp−1.
Critères de choixIl existe plusieurs critères pour sélectionner p − 1 variablesexplicatives parmi k variables explicatives disponibles,avec k > p − 1.Le critère du R2 se révèle le plus simple à définir.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Inconvénient majeur du R2
Il augmente de façon monotone avec l’introduction de nouvellesvariables même si celles-ci sont peu corrélées avec la variableexpliquée Y .
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Pour parer à cet inconvénientIl est conseillé de se tourner vers l’utilisation des alternativessuivantes
1 le R2 ajusté2 le Cp de Mallows qui est un autre critère relatif au biais3 le critère AIC4 le critère AICc5 le critère BIC.
RemarqueCes six critères vont être maintenant présentés.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Coefficient de détermination multiple : R2
Il a déjà été introduit dans le cours portant sur larégression linéaire simple.C’est une mesure qui permet d’évaluer le degréd’adéquation du modèle.Lors de l’introduction du test de Fisher partiel :accroissement de R2 au fur et à mesure de l’introductionde variables dans le modèle. Il atteint son maximumlorsque toutes les variables disponibles au départ sontincluses.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Pour comparer deux modèles ayant le même nombre devariables explicatives
Comparer les R2 obtenus et choisir le modèle pour lequel R2
est le plus grand.
Pour comparer un sous-modèle avec p − 1 variables d’unmodèle avec (p − 1 + r) variablesUtiliser le test de Fisher partiel. Que nous dit ce test ?Ce test dit si l’introduction des variables supplémentairesaugmente suffisamment le R2 ou non.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Coefficient de détermination multiple ajusté R2aj
Introduire un R2 qui concerne la population et non plusl’échantillon défini par :
R2pop = 1−σ2(ε)
σ2(Y )·
Estimer R2pop par :
R2aj = 1−s2(ε)s2(Y )
= 1− SCresSCtot
n − 1n − p
·
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Propriétés sur R2aj1 R2aj< R
2 dès que p > 2.2 R2aj peut prendre des valeurs négatives.
Intérêts de R2aj
R2aj n’augmente pas forcément lors de l’introduction devariables supplémentaires dans le modèle.Possibilité de comparer deux modèles n’ayant pas lemême nombre de variables à l’aide du R2aj et choisir lemodèle pour lequel R2aj est le plus grand.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Statistique du Cp de Mallows
La statistique du Cp de Mallows est définie par :
Cp =SCresσ̂2
− (n − 2p)·
Remarque : problème
Il y a un problème ! Nous ne pouvons pas estimer σ2 par
s2 =SCresn − p
·
Pourquoi ? Car Cp vaudrait toujours p et alors il ne serait plusintéressant.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
SolutionQue faisons-nous dans la pratique ?
1 Nous estimons σ2 par le s2 du modèle qui fait intervenirtoutes les k variables explicatives du modèle à disposition.Pour ce modèle, qui a k + 1 paramètres, nous avonstoujours : Ck+1 = k + 1.Et pour les autres ? Cp prendra d’autres valeurs que p.
2 Critère du Cp de MallowsNous choisissons parmi les modèles le modèle où le Cp deMallows est le plus proche de p.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Critère d’information d’Akaike (AIC)Le critère d’information AIC s’applique aux modèles estiméspar une méthode du maximum de vraisemblance : lesanalyses de variance, les régressions linéaires multiples, lesrégressions logistiques et de Poisson peuvent rentrer dans cecadre.Le critère AIC est défini par :
AIC = −2 log (L̃) + 2k̃
où L̃ est la vraisemblance maximisée et k̃ le nombre deparamètres libres dans le modèle.Avec ce critère, la déviance du modèle −2 log (L̃) est pénaliséepar 2 fois le nombre de paramètres libres.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
InterprétationLe critère AIC représente donc un compromis entre le biais,diminuant avec le nombre de paramètres libres, et laparcimonie, volonté de décrire les données avec le plus petitnombre de paramètres possibles.
Expression dans le cadre du modèle linéaire gaussien
Le critère AIC devient
AIC = 2k̃ + n[ln(
2π × SCresn
)+ 1].
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Remarques1 La rigueur voudrait que tous les modèles comparés
dérivent tous d’un même « complet » inclus dans la listedes modèles comparés.
2 Il est nécessaire de vérifier que les conditionsd’utilisation du modèle complet et de celui sélectionnésont remplies.
3 Le meilleur modèle est celui possédant l’AIC le plusfaible.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Critère d’information d’Akaike corrigé (AICc)
Lorsque le nombre de paramètres libres k̃ est grand parrapport au nombre d’observations n, c’est-à-dire si n/k̃ < 40, ilest recommandé d’utiliser l’AIC corrigé.Le critère d’information d’Akaike corrigé, AICc , est défini par :
AICc = AIC +2k̃(k̃ + 1)
n − k̃ − 1·
Référence : « Model selection for extended quasi-likelihoodmodels in small samples. »Hurvich, C. M. and Tsai, C.-L., 1995. Biometrics 51 :1077-1084.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Critère du R2
Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Critère BICLe critère d’information bayésien BIC est défini par :
BIC = −2 log (L̃) + k̃ log (n).
RemarqueIl est plus parcimonieux que le critère AIC puisqu’il pénaliseplus le nombre de variables présentent de le modèle.Ripley en 2003, souligne que l’AIC a été introduit pour retenirdes variables pertinentes lors de prévisions, et que le critèreBIC vise la sélection de variables statistiquement significativesdans le modèle.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Plusieurs types de procédures de sélection de variables1 la recherche exhaustive2 les méthodes de type pas à pas.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
RemarqueBien que l’efficacité de ces méthodes ne puisse être démentiepar la pratique, il ne serait pas raisonnable de se fieruniquement aux résultats statistiques fournis par unprogramme informatique. En effet, pour décider d’ajouter ou desupprimer une variable dans un modèle, il faut conserver :
1 une part d’intuition2 une part de déduction3 une part de synthèse.
RemarqueSurtout ne pas oublier l’objectif recherché !
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Exemples1 Pour rendre l’équation utile à des fins de prévision, il est
souhaitable que le modèle contienne un maximum devariables explicatives afin d’en augmenter le pouvoirexplicatif.
2 En raison du coût élevé relatif à l’obtention d’informationspour un grand nombre de variables explicatives, l’analystesouhaite avoir un modèle avec un minimum de variablesexplicatives.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Les méthodesPour obtenir un compromis entre ces deux extrêmes, lestatisticien dispose d’une gamme de méthodes.
1 la recherche exhaustive2 la méthode descendante3 la méthode ascendante4 la régression stepwise5 deux variantes des quatre méthodes précédentes6 la régression stagewise.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Remarque très importanteToutes ces procédures ne mènent pas forcément à la mêmesolution quand elles sont appliquées au même problème.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Recherche exhaustiveLorsque le nombre de variables explicatives, noté k , àdisposition n’est pas trop élevé, il est envisageable deconsidérer tous les modèles possibles.Il y a
Crk =k !
r !(k − r)!modèles différents faisant intervenir r variables explicatives.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Recherche exhaustive - Suite et finCela fait au total
k∑r=0
Crk = 2k
modèles possibles à considérer.
RemarqueNous choisissons ensuite le modèle pour lequel, par exemple,le R2aj est le maximum.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Méthodes de type pas à pas
Les méthodes de type pas à pas consistent à considérerd’abord un modèle faisant intervenir un certain nombre devariables explicatives. Puis nous procédons par élimination ouajout successif de variables.
Nous parlons de la méthode descendante lorsque nouséliminons des variables (elle sera développée dans leparagraphe 4)Nous parlons de la méthode ascendante lorsque nousajoutons des variables (elle sera développée dans leparagraphe 5).La méthode stepwise est une combinaison de ces deuxméthodes (elle sera développée dans le paragraphe 6).
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
La recherche exhaustiveC’est une méthode fastidieuse et difficile à utiliser sans unordinateur rapide.
Pourquoi ?
Parce qu’il faut calculer toutes les régressions possiblesimpliquant un sous-ensemble des k variables explicatives àdisposition, soit un total de 2k régressions.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Que faisons-nous ensuite ?Ces équations sont réparties selon le nombre r devariables explicatives qu’elles contiennent.Chaque ensemble d’équations est ordonné selon le critèrechoisi, souvent le R2 ou l’AIC.Les meilleures équations de régression issues de ceclassement sont ensuite sélectionnées pour un examenplus détaillé.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Méthode descendante (ou élimination en arrière)C’est une simplification de la méthode de la rechercheexhaustive.
En quoi est-elle une simplification ?
Cette méthode examine non pas toutes les régressionspossibles mais uniquement une régression pour chaquenombre r de variables explicatives.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
En pratique comment faisons-nous ?1 Calculer la régression pour le modèle incluant toutes les k
variables explicatives à disposition.2 Effectuer un test de Student pour chacune des variables
explicatives.Deux cas se présentent :
Les variables sont trouvées significatives. Ce modèle estalors choisi. Nous arrêtons là notre analyse.Éliminer la variable la moins significative du modèle.
3 Recommencer le processus avec une variable en moins.
Le modèle final est donc un modèle au sein duquel toutes lesvariables sont significatives.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
ConclusionsLa méthode descendante est très satisfaisante pourl’utilisateur préférant avoir toutes les variables possiblesafin de ne rien ignorer.C’est une procédure plus économique en terme de tempset d’interprétationMais il y a un inconvénient majeur. Il n’est plus possible deréintroduire une variable une fois qu’elle a été supprimée !
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Méthode ascendante (ou sélection en avant)C’est également une simplification de la méthode de larecherche exhaustive.Cette méthode procéde dans le sens inverse de laméthode descendante.Cette méthode examine un modèle avec une seulevariable explicative puis introduction une à une d’autresvariables explicatives.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
En pratique comment faisons-nous ?Effectuer les k régressions possibles avec une seulevariable explicative. Pour chacune d’elles, effectuer le testde Student. Retenir le modèle pour lequel la variableexplicative est la plus significative.Effectuer les (k − 1) régresions possibles avec deuxvariables explicatives. Pour chacune d’elles, effectuer letest de Student pour la nouvelle variable. Retenir lemodèle pour lequel la variable est la plus significative. Siaucune variable est retenue, alors nous arrêtons leprocessus.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
SinonRéitérer le processus en effectuant les (k − 2) régressionspossibles avec trois variables explicatives. Pour chacuned’elles, effectuer le test de Student pour la nouvellevariable. Retenir le modèle pour lequel la variable est laplus significative. Si aucune variable est retenue, alorsnous arrêtons là le processus.
SinonRéitérer le processus en effectuant les (k − 3) régressionspossibles avec quatre variables explicatives...
Le processus se termine lorsque nous ne pouvons plusintroduire des variable significatives dans le modèle.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Remarque
Parmi les méthodes présentées, la méthode ascendante estla plus économique.
Avantages et inconvénient de la méthode ascendante
évite de travailler avec plus de variables que nécessaire,améliore l’équation à chaque étape.Mais l’inconvénient majeur de la méthode ascendante :une variable introduite dans le modèle ne peut plus êtreéliminée.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
RemarqueLe modèle final peut alors contenir des variables nonsignificatives.Ce problème est alors résolu par la procèdure stepwise.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Procèdure stepwiseC’est une amélioration de la méthode ascendante.
Pourquoi ?
Parcequ’à chaque étape, nous réexaminons toutes lesvariables introduites précédemment dans le modèle. En effet,une variable considérée comme la plus significative à uneétape de l’algorithme peut à une étape ultérieure devenir nonsignificative.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Pourquoi ce phénomène ?En raison de ces corrélations avec d’autres variablesintroduites après coup dans le modèle.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Comment remédier à cela ?La procédure stepwise propose après l’introduction d’unenouvelle variable dans le modèle :
réexaminer les tests de Student pour chaque variableexplicative anciennement admise dans le modèle,après réexamen, si des variables ne sont plussignificatives, alors retirer du modèle la moinssignificative d’entre elles.
Le processus continue jusqu’à ce que plus aucune variable nepuisse être introduite ni retirée du modèle.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Procédure stepwise
La procédure stepwise semble être la meilleure procédure desélection de variables.Mais
la procédure stepwise peut facilement abuser l’utilisateurqui a tendance à se focaliser exclusivement sur le résultatde la sélection automatique proposé par l’outilinformatique.En effet, il faut se méfier de certaines situations : celles oùapparait un phénomène de multicolinéarité. Larégression PLS permet de traiter ce problème.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Un exempleX1 et X2 expliquant significativement Y , sont fortementcorrélées entre elles.
L’introduction de X1 dans le modèle masquera le pouvoirexplicatif de X2.
En effet, l’introduction de X1 en premier va accroitre le R2 alorsque l’introduction ultérieure de X2 provoquera un faible effet.
Et réciproquement.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
La première variante des méthodes précédentesLa seconde variante des méthodes précédentes
Premières remarquesLes méthodes présentées jusqu’ici :
ne sélectionnent pas nécessairement le meilleur modèleabsolu,
mais donnent généralement un modèle acceptable.
Des procédures alternatives et combinatoires sont apparues.Nous présenterons très brièvement seulement deux méthodesdans ce cours.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
La première variante des méthodes précédentesLa seconde variante des méthodes précédentes
Première varianteEffectuer d’abord la procédure stepwise.
Supposons que le modèle sélectionné contient r variablesexplicatives.Effectuer alors Crk régressions possibles utilisant r variables.Choisir comme modèle final celui pour lequel R2 est maximal.D’un point de vue pratique, les améliorations apportées parcette procédure sont faibles...et nécessitent beaucoup decalculs.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
La première variante des méthodes précédentesLa seconde variante des méthodes précédentes
Deuxième varianteUtiliser deux seuils de signification différents lors de l’utilisationde la méthode stepwise :
un certain seuil (par exemple α = 0,05) lors de laprocédure d’élimination de variables,
un seuil plus petit (par exemple α = 0,01) lors de laprocédure d’introduction de variables.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
La première variante des méthodes précédentesLa seconde variante des méthodes précédentes
Nous favorisons l’introduction des variables les plussignificatives, tout en acceptant de les maintenir dans le modèlesi elles deviennent par la suite un peu moins significatives.
C’est intéressant d’utiliser cette méthode.
Pourquoi ?
Cette méthode propose un modèle alternatif au modèle donnépar la méthode stepwise tout en maintenant son pouvoirexplicatif.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
La procédure de régresion stagewise
Elle diffère des procédures présentées ci-dessus.
Pourquoi ?
La procédure de régresion stagewise n’aboutit pas toujoursà une équation obtenue par la méthode des moindres carrés.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Cette méthode se déroule de la façon suivante :
effectuer la régression avec la variable la plus corréléeavec Y.
Calculer les résidus obtenus avec cette régression.
Considérer ensuite ces résidus comme une nouvellevariable dépendante que l’on veut expliquer à l’aide desvariables explicatives restantes.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Sélectionner ainsi celle d’entre elles qui est la pluscorrélée avec les résidus.
Effectuer une nouvelle régression avec les résidus de lapremière régression dans le rôle de la variable expliquée.
Également calculer les résidus obtenus avec cettenouvelle régression.
Réitérer le processus avce des variables explicativesrestantes, jusquà ce que plus aucune d’entre elles ne soitcorrélée significativement avec les résidus.
Frédéric Bertrand Choix du modèle
-
Critères de choixProcédures de sélection de variables
Deux variantes des méthodes précédentesProcédure de régression stagewise
Quelques conclusions
Quelques conclusionsD’un point de vue théorique, la recherche exhaustive estla meilleure.Pour les autres méthodes : Des résultats semblablessans nécessiter autant de calculs. Ces derniers dépendentdu choix des seuils de signification utilisés lors desdiverses procédures.Dans la pratique, la procédure stepwise et laprocédure descendante sont les plus utilisées.En cas de doute et si les conditions le permettent, toutesles régressions doivent être examinées.Les autres méthodes peuvent trouver leur utilisation dansdes applications plus spécifiques.
Frédéric Bertrand Choix du modèle
Critères de choixCritère du R2Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC
Procédures de sélection de variablesRecherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise
Deux variantes des méthodes précédentesLa première variante des méthodes précédentesLa seconde variante des méthodes précédentes
Procédure de régression stagewiseQuelques conclusions