Séminaire du CRIE – Université de Sherbrooke : 2 avril 2009

Perspectives multiniveaux Perspectives multiniveaux dans la recherche en dans la recherche en

éducationéducationPascal BRESSOUXPascal BRESSOUX

Université Pierre-Mendès-France GrenobleUniversité Pierre-Mendès-France GrenobleLaboratoire des Sciences de l’EducationLaboratoire des Sciences de l’Education

Plan de l’exposé

• Considérations méthodologiques liées à l’analyse multiniveau

• Le modèle multiniveauL’exemple de l’expérimentation CP à effectif réduits

• Les modèles de croissanceL’exemple du suivi à long terme des effets du CP à effectifs réduits

• Le modèle aléatoire croiséL’exemple de l’étude de l’effet-maître sur le long terme

Buxelles: De Boeck2008

Considérations méthodologiques liées à l’analyse multiniveau

Données sur plusieurs « niveaux » :

- Un effet-classe sur les acquis des élèves ?

- Un effet-juge sur les condamnations des prévenus ?

- Un effet-quartier sur la délinquance des jeunes ?

- Un effet-pays sur les résultats des élèves à PISA ?

- Etc.

Souvent, structure hiérarchisée.

Exemple : des élèves (niveau 1) dans des classes (niveau 2), etc.

Modèles multiniveaux (ou modèles hiérarchiques linéaires)

Nés des avancées des modèles de contexte et des modèles mixtes.

But : étudier les effets de l’environnement sur le « comportement » individuel.

Principes de l’analyse multiniveau

Académie 1 Académie 2

Ecole 1 Ecole 2

Classe 1 Classe 2

Ecole 3 Ecole 4

Classe 3 Classe 4

él. 1 él. 2 él. 3 él. 4 él. 5 él. 6 él. 7 él. 8 Niveau 1(élèves)

Niveau 2(classes)

Niveau 3(Ecoles)

Niveau 4(Académies)

Exemple d’une structure hiérarchisée à quatre niveaux

… / …

Non-indépendance des résidus

Agrégation vs désagrégation

(voir aussi diapo suivante)

Hétérogénéité des relations

Effets aléatoires et effets fixes

Problèmes posés par l’analyse de données hiérarchisées

Le modèle multiniveau

Le modèle multiniveau à constantes aléatoires

Les composants de la variance :

Variance totale :

Niveau 1

Niveau 2

Equation complète

2

00

2

uj

eij

uVar

eVar

20

2ueijyVar

jj u0000

ijijjij eXY 10

ijjijij euXY 01000

Un exemple d’estimation avec constantes aléatoires

Modèles expliquant le score final en français (données aménagement du temps scolaire 1997-98)

Paramètres Modèle 1 Modèle2

Effets fixes

Constante 0,007 (0,078) 0,007 (0,078)

Score initial en français 0,690 (0,031)

Effets aléatoires

Variance des constantes 0,103 (0,042) 0,096 (0,034)

Variance inter-élèves 0,890 (0,057) 0,442 (0,028)

–2 log L 1434,071 1084,083

N = 516

Le score initial (modèle 2) « n’explique » quasiment pas la variance des constantes (variance interclasses), mais il « explique » environ la moitié de la variance inter-élèves (intraclasse).

Le modèle multiniveau complet :constantes et pentes aléatoires

Niveau 1

Niveau 2

Equation complète

ijijjjij eXY 10

jj

jj

u

u

1101

0000

ijijjjijij eXuuXY 101000

Les composants de la variance :

ijuijuueijij xXXYVar 1022

120

20 2

Variance de Y devient fonction quadratique de X

1010

211

200

2

, ujj

uj

uj

eij

uuCov

uVar

uVar

eVar

Un exemple d’estimation avec constantes et pentes aléatoiresModèles expliquant le score final en français (données aménagement du temps scolaire 1997-98)

Paramètres Modèle 1 Modèle2 Modèle 3

Effets fixes

Constante 0,007 (0,078) 0,007 (0,078) 0,008 (0,069)

Score initial en français 0,690 (0,031) 0,690 (0,041)

Effets aléatoires

Niveau 2 (classes) :

Variances des constantes 0,103 (0,042) 0,096 (0,034) 0,092 (0,033)

Covariance constantes-pentes 0,014 (0,014)

Variance des pentes 0,016 (0,011)

Niveau 1 : variance inter-élèves 0,890 (0,057) 0,442 (0,028) 0,441 (0,025)

–2 log L 1434,071 1084,083 1079,525

N = 516

Relation entre les scores initial et final : nuage de points et droites estimées pour chacune des classes

Relation entre les constantes et les pentes

Estimation des constantes et des pentes avec leurs intervalles de confiance

Cette incertitude dans les estimations est très importante à prendre en compte dans les « palmarès » (type PISA).

L’effet de shrinkage

Les droites sont « ramenées » vers la moyenne générale pour corriger les fluctuations aléatoires dues à la variance d’échantillonnage.

Chaque droite est affectée par les informations obtenues sur le groupe particulier et par l’information générale (estimation bayésienne).

Plus Nj est petit, plus la variance d’échantillonnage est élevée et plus la droite sera ramenée vers la moyenne.

La variance d’échantillonnage est beaucoup plus importante pour les pentes que pour les constantes.

Application de l’analyse multiniveau: L’expérimentation CP à effectifs réduits

Méthode

Participants

100 classes expérimentales (8 à 12 élèves par classe dans les faits avec une moyenne égale à 10,45)

100 classes témoins (15 à 27 élèves par classe dans les faits avec une moyenne égale à 21,29).

Toutes dans des milieux défavorisés (écoles en zone d’éducation prioritaire)

Le Ministère de l’Education Nationale français a lancé en 2002-2003 une expérimentation d’envergure visant à réduire la taille des classes de CP (1ère

année élémentaire) à 10 élèves dans les zones défavorisées.

Acquis des élèves en français-lecture évalués en début, en milieu et en fin d’année.

(Dans les écoles témoins, ces évaluations n’ont porté que sur 10 élèves choisis aléatoirement.)

Les scores d’acquisitions des élèves ont été normalisés, centrés et réduits.

Dans un premier temps, on n’utilise pour l’évaluation que les scores d’acquisitions de début et de fin d’année.

Procédure

Paramètres Modèle 1 Modèle 2

Effets fixes

Constante 0,030 (0,054) -0,115 (0,109)

Score initial en français 0,760 (0,027)

Profession du père (référence = cadre sup)Agriculteur, artisan, commerçant ou chef d’entreprise

-0,063 (0,121)

profession intermédiaire 0,016 (0,110)

employé -0,187 (0,106)

ouvrier -0,138 (0,097)

« autre » -0,201 (0,097)

Effectif réduit 0,249 (0,077)

Ancienneté en 1e année 0,017 (0,005)

Effets aléatoires

Niveau 3 : variance inter-écoles 0,075 (0,040) 0,070 (0,037)

Niveau 2 (inter-classes) :variance des constantesvariance des pentes du score

0,115 (0,038) 0,038 (0,014)0,039 (0,011)

Niveau 1 : variance inter-élèves 0,801 (0,038) 0,295 (0,015)

–2 log V 2873,63 1956,08

Modèles multiniveaux expliquant les acquis des élèves en 1e année élémentaire

Le modèle multiniveau de croissance

X

Y

Y

t t1 t2 t3

Le modèle multiniveau de croissance

Relation entre les scores initial et final pour un échantillon d’individus

Relation entre le temps et les scores pour un individu donné

Classe 1

Elève 1 Elève 2

mes. 1 Niveau 1(Mesures)

Niveau 2(Elèves)

Niveau 3(Classes)

Exemple d’une structure hiérarchisée de croissance

mes. 2 mes. 3 mes. 1 mes. 2 mes. 3

Classe 2

Elève 3 Elève 4

… /…

Niveau 1 :

Formalisation du modèle de croissance

Niveau 2 :

En intégrant dans une même équation :

titiitiiiti eXTEMPSY 210

202

111101

001000

i

iii

iii

uZ

uZ

tiiititiitiiti eTEMPSuuXTEMPSZTEMPSZY 102011100100 *

Rythme de croissance fonction aussi de Z

Caractéristique qui varie avec le temps

Caractéristique interindividuelle stable dans le temps

Niveau initial moyen

Rythme de croissance moyen

Variance de Y fonction du temps (= gestion de l’hétéroscédasticité des erreurs)

Une mesure du déroulement du temps est nécessaire (âge, durée…)

Application du modèle multiniveau de croissance:

reprise de l’expérimentation de réduction de la taille des classes

Application du modèle multiniveau de croissance

Etude des effets à long terme de la réduction des effectifs

Les élèves ont été suivis jusqu’au début de la 3e année élémentaire

Leurs acquisitions en français-lecture ont été testées en début et en fin de 2e année élémentaire et en début de 3e année élémentaire

Précision : les épreuves n’étant pas les mêmes, leurs scores ne sont pas directement comparables.

Tous les scores ont été centrés réduits

=> On s’intéresse aux progrès relatifs des groupes expérimental et témoin

Modèles longitudinaux de croissance expliquant les acquis des élèves avec modélisation d’un effet quadratique du temps

Paramètres Modèle 1 Modèle 2 Modèle 3

Effets fixes

Constante –0,039 (0,039) 0,007 (0,040) 0,269 (0,074)

Temps –0,005 (0,001) –0,015 (0,006)

Temps2 0,0004 (0,0003)

Profession du père : (réf = cadre sup)Artisan/commerçantIntermédiaireEmployéOuvrierAutre

–0,399 (0,081)–0,153 (0,072)–0,282 (0,068)–0,462 (0,062)–0,492 (0,061)

Fille 0,175 (0,023)

CP réduit 0,136 (0,053)

Temps × CP réduit 0,026 (0,008)

Temps2 × CP réduit 0,0012 (0,0004)

Effets aléatoires

Niveau 3 (écoles) 0,088 (0,020) 0,089 (0,021) 0,095 (0,026)

Niveau 2 (élèves) :Variance des constantes TempsVariance des pentes TempsCovariance constantes/pentes TempsVariance des pentes Temps2

Covariance constantes/pentes Temps2

Covariance pentes Temps/pentes Temps2

0,326 (0,022) 0,330 (0,022) 0,178 (0,026)0,0003(0,0002)0,0189 (0,0038)0,0000 (0,0000)–0,0007 (0,0002)0,0000 (0,0000)

Niveau 1 (intra-élèves) 0,652 (0,011) 0,650 (0,011) 0,638 (0,011)

–2 Log V 20219,22 20201,94 19922,76

Modélisation des acquisitions comme fonction quadratique du temps, selon que les élèves appartiennent au groupe expérimental ou témoin

-0,15

-0,1

-0,05

0

0,05

0,1

0,15

0,2

0 5 10 15 20 25

Temps

Acq

uisi

tions Groupe témoin

Groupe expérimental

Le modèle aléatoire croisé

Le modèle aléatoire croisé

Ecole 1 Ecole 2 Ecole 3 Ecole 4

Quartier 1

Quartier 2

Quartier 3

Un exemple de structure aléatoire croisée

transversale

Année 2

Enseignant 1

Enseignant 2

Enseignant 3

Année 1

Enseignant 1

Enseignant 2

Enseignant 3

Un exemple de structure aléatoire croisée

longitudinale

Modèle aléatoire croisé à 2 niveaux :

Modèle aléatoire croisé à 3 niveaux :

212121100021 jjijjjjijji euuXY

kjjikjkjkkjjikjji euuvXY 21212110000021

Un exemple de modélisation aléatoire croisée : la question des effets à long terme des

enseignants sur les acquis en mathématiques

Paramètres Modèle 1 Modèle 2 Modèle 3 Modèle 4

Effets fixes

Constante –0,007 (0,069) –0,016 (0,074) –0,015 (0,074) –0,015 (0,074)

Score initial 0,620 (0,036) 0,627 (0,035) 0,625 (0,035) 0,625 (0,035)

Effets aléatoires

Niveau 3 : variance inter-écoles 0,000 (0,000) 0,000 (0,000) 0,000 (0,000)

Niveau 2 :Variance inter-classes (année 2)variance inter-classes (année 1) 0,103 (0,036)

0,113 (0,040) 0,100 (0,043)0,024 (0,029)

0,100 (0,043)0,024 (0,029)

Niveau 1 : variance inter-élèves 0,543 (0,037) 0,530 (0,036) 0,519 (0,037) 0,519 (0,037)

–2 log L 1066,45 1055,76 1054,72 1054,72

Ni = 461

MERCI POUR VOTRE ATTENTION

… « Qui s’assemble se ressemble »

- Destin commun (partage d’un même environnement)

- interactions (influence mutuelle)

« Qui se ressemble s’assemble »…

- Eventuelle sélection par les écoles- Eventuel choix des parents

- Ségrégation spatiale en cas de carte scolaire

« Similarité » des individus au sein des contextes

Illustration du biais d’agrégation (Cf. observations classes DEP 95 : Relation entre jugement des enseignants et scores des élèves)

ijij SJ

007,0020,047,2ˆ

jj SJ .022,016,4.ˆ

006,0

Jugement

Score

M1

M2M3

jijij SSJ .080,0060,003,4ˆ

011,0008,0

contexte inter intra

Corrélation (toutes classes confondues) = 0,28 (p = 0,003).

Corrélation inter-classes = –0,77 (p = 0,002).

Corrélation médiane intra-classes = 0,73.

Approche par la régression :

L’estimation de la part de variance inter-groupes

Décomposition de la variance (ANOVA avec effets aléatoires)

222ueu

Coefficient de corrélation intra-classe

Simulation…

ijjij euY 000

2

20

,0

,0

eij

uj

Ne

Nu

Groupe Nombres aléatoires Moyenne Ecart-type

123456789

10

39 65 76 45 45 19 90 69 64 6173 71 23 70 90 65 97 60 12 1172 20 47 33 84 51 67 47 97 1975 17 25 69 17 17 95 21 78 5837 48 79 88 74 63 52 06 34 3002 89 08 16 94 85 53 83 29 9587 18 15 70 07 37 79 49 12 3898 83 71 70 15 89 09 39 59 2410 08 58 07 04 76 62 16 48 6847 90 56 37 31 71 82 13 50 41

57.3057.2053.7047.2051.1055.4041.2055.7035.7051.80

20.4931.0526.1830.7625.3638.2729.2331.0029.1623.71

Total 50.63 28.50

ρ = 0,059 (Proc ANOVA).

Donc, part de variance inter-groupes = 5,9 %

Données issues de tables de nombres aléatoires, groupées dans des macro-unités(extrait de Wonnacott & Wonnacott, 1991, p. 867)

yij

xij

u j0

Classe j

Moyenne

Droites de régression avec constantes aléatoires

y i j

x i j

1 1 u j

C l a s s e j

M o y e n n e

Droites de régression avec constantes et pentes aléatoires

Illustration de l’effet de shrinkage

Droites de régression estimées par le modèle multiniveau

Droites de régression estimées par les moindres carrés ordinaires

60

65

70

75

80

85

90

95

100

105

110

115

120

125

130

135

140

145

60 65 70 75 80 85 90 95 100 105 110 115 120 125 130

Acquisitionsfinales

Acquisitions initiales

60

65

70

75

80

85

90

95

100

105

110

115

120

125

130

135

140

145

60 65 70 75 80 85 90 95 100 105 110 115 120 125 130

Acquisitionsfinales

Acquisitions initiales