education comparée /// prof. jean-luc gurtner /// sp 2009 chapitre 05 : les enquêtes...

Education comparée /// Prof. Jean-Luc Gurtner /// SP 2009chapitre 05 : Les enquêtes internationales 1

5 Les enquêtes internationales

1 Origines des études internationales

2 La notion d’indicateur

3 Fonctionnement, rendement et performance des systèmes éducatifs

4 Le design des recherches PISA

5 Savoir lire : qq c’est ?

6 Quelques résultats de PISA

7 forces et faiblesses des études internationales



> dès la fin des années 50 : 1ères études comparatives multinationales apparaissent dans le champ de l’éducation

rendues possibles par le développement de l'informatiquele monde comme un grand laboratoire

> apparaissent d'abord des études de rendement économique des systèmes de formation, conduites par la Banque mondiale ou l’OCDE

(Organisation pour la Coopération au Développement économique)

> puis des études comparées du rendement scolaire introduites par l’IEA (Association internationale pour l'évaluation du rendement scolaire)



Fonctionnent par utilisation, création puis comparaison d'indicateurs

Définition

Les indicateurs sont des variables calculables qui doivent

> fournir des informations sur le fonctionnement ou les prestations d'un système (évtl. en tenant compte du contexte dans lequel il s'insère)

> être compréhensibles et autant que possible reproduisibles par tous

> permettre de prendre des décisions "politiques"



Quelques exemples d'indicateurs de fonctionnement des systèmes éducatifs :

> part du budget de l'Etat consacrée à l'éducation

> dépenses annuelles par élève (évtl découpées en salaires professeurs, équipement, etc...)

> pourcentage d'enfants scolarisés à X ans

> distribution des élèves par sections, filières ou types d'école à âge donné

> âge moyen des enfants terminant la scolarité obligatoire

> rapport du nombre de professeurs au nombre d'élèves (évtl. par secteur, degré, etc....)

> ...



Les indicateurs de performance des systèmes éducatifs

Établissent la qualité des systèmes éducatifs en se basant

• sur la comparaison des taux de réussite ou d’échec des élèves

Ou • sur la performance des élèves à des épreuves ou des tests adhoc (ensemble de tâches)



Les 8 critères de qualité des indicateurs de performance

1 Le rapport des tâches aux programmes et aux objectifs d'enseignement doit pouvoir être établi clairement

2 Les tâches doivent être accessibles de la même manière pour tous les élèves

3 Les limites à la généralisabilité des résultats doivent être connues

4 Le niveau de sollicitation cognitive des tâches doit être connu

5 Les tâches doivent renvoyer à des contenus pertinents dans les matières étudiées

6 Les tâches doivent couvrir largement la branche testée

7 Les tâches doivent être intéressantes, significatives et riches pour les sujets

8 Le coût de la mise sur pied et de la conduite d'analyses doit être approprié aux moyens disponibles (d’après Linn, 1991).



Etudes internationales de rendement scolaire

Problèmes liés à l'échantillonnage:

> âge, degré scolaire ou années d'enseignement ?> système publique ou tous systèmes ?> période de l'année scolaire ?> volontariat et participation (temps et argent)

Problèmes liés à la nature des compétences mesurées:

Les études de l’IEA (cf TIMSS, 1995 ou Reading literacy, 1991) visent les compétences acquises par l’enseignement PISA vise quant à elle le bagage de savoirs et de savoirs faire des élèves d’un âge donné dans des domaines et compétences dont ils auront besoin pour faire face aux situations qu’ils rencontreront plus tard dans leur vie d’adulte



Le schéma des études PISA:

Plusieurs domaines sont testés à un âge donné à intervalles réguliers


5 Les enquêtes internationalesCalendrier de la 4ème enquête (2009)

Janvier 2005 - Décembre 2006 Préparation des scénarii au niveau international et au niveau national. Préparation des options nationales

Janvier - Novembre 2007 Participation aux développements internationaux. Préparation des échantillons

Novembre 2007 - Mars 2008 Tirage des écoles et des élèvesPréparation du matériel de test

Février - Juin 2008 Organisation et réalisation de la PRE - ENQUETE

Août - Novembre 2008 Choix des unités pour enquête principalePréparation des analyses et de la diffusion

Novembre 2008 - Mars 2009 Tirage des écoles et des élèvesPréparation du matériel de test

Février - Juillet 2009 Organisation et réalisation de l'ENQUETE

Août 2009 - Mars 2010 Validations et pondérations des donnéesAvril - Décembre 2010 Diffusion: Analyses et rapport national (élèves de 15 ans)Janvier - Décembre 2011 Diffusion: Analyses et diffusion des résultats (élèves de

9e année). Données à disposition des cantons



Et par rapports aux écoles et aux élèves

1e étape Octobre 2008 Les écoles sélectionnées reçoivent une information détaillée sur le programme PISA et le

déroulement de l'enquête.2e étape Novembre 2008 Chaque école désigne un coordinateur qui aide le

responsable régional (ou cantonal suivant le cas) à établir une liste actualisée des élèves incluant un certain nombre d'informations. Cette liste est utilisée pour le tirage des élèves.

3e étape Dès Décembre 2008Le responsable régional ou cantonal prend contact avec le coordinateur scolaire pour planifier les détails de

l'enquête.4e étape Mars 2009 Les élèves choisis et les enseignants concernés sont

informés.5e étape Avril - Mai 2009 Le jour dit, un administrateur de test se rend à l'école

et procède à l'enquête, avec l'aide du coordinateur scolaire, auprès des élèves sélectionnés. Il faut environ trois heures et demi aux élèves pour répondre au test et au

questionnaire. Parallèlement, la direction de l'école remplit un questionnaire sur l'établissement.



Définition des domaines testés dans PISA:

La culture mathématique est l’aptitude d’un individu à identifier et à comprendre les divers rôles joués par les mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi.

Comprendre l’écrit c’est non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette capacité devrait permettre à chacun(e) de réaliser ses objectifs, de développer ses connaissances et son potentiel et de prendre une part active dans la société.

La culture scientifique c’est la capacité d’utiliser des connaissances scientifiques pour identifier les questions auxquelles la science peut apporter une réponse et pour tirer des conclusions fondées sur des faits, en vue de comprendre le monde naturel (…) et de prendre des décisions à leur propos.



Catégories d’indicateurs recueillis dans les études PISA:

Les indicateurs de base : profil général des compétences et connaissances des élèves dans les domaines considérés

Les indicateurs contextuels: à quelles variables démographiques, sociales, économiques et éducatives ces compétences sont-elles liées

Les indicateurs de série temporelle : rendus possibles par le recueil cyclique de données dans un même domaine.



Clés d’analyse :

Globalement ou par sous-compétence (processus de lecture) Par type de texte (narratif, argumentatif, explicatifs, tableaux,

schémas, graphiques, diagrammes, cartes) Par structure de texte (continu, non continu) Par type de questions (ouverte, fermée, QCM, …) Par item (taux de réponses justes, fausses, absentes) Par niveaux (0 - 5) Par points (scores)



Détermination des niveaux pour une compétence donnée : Retrouver de l'information

Niveau 1 : Localiser une ou plusieurs informations distinctes explicitement mentionnées dans le texte en n'appliquant qu'un seul critère.

Niveau 2: Localiser un ou plusieurs éléments d'information, dont chacun peut devoir répondre à plusieurs critères. Traiter des informations contradictoires.

Niveau 3: Localiser des fragments d'information et, dans certains cas, reconnaître la relation entre ces fragments, dont chacun peut devoir répondre à plusieurs critères. Traiter des informations contradictoires mises en évidence.



Détermination des niveaux pour une compétence donnée : Retrouver de l'information

Niveau 4: Localiser et éventuellement ordonner ou combiner de multiples fragments d'information dissimulés dans le texte, dont chacun peut devoir répondre à plusieurs critères, et ce dans un texte dont le contexte ou la forme ne sont pas familiers. En extraire les informations pertinentes pour la tâche à accomplir.

Niveau 5: Localiser et éventuellement ordonner ou combiner de multiples fragments d'information parfaitement dissimulés dans le texte, dont certains peuvent se situer à l'extérieur du corps du texte. En extraire les informations pertinentes pour la tâche à accomplir. Traiter des informations contradictoires fort plausibles et/ou très fouillées.



Détermination des niveaux pour une compétence donnée : Interpréter le texte

Niveau 1Identifier le thème principal ou l'intention de l'auteur dans un texte sur un sujet familier lorsque l'information requise est mise en évidence dans le texte.

Niveau 2Identifier l'idée maîtresse d'un texte, comprendre des relations, constituer ou appliquer des catégories élémentaires, ou dégager du sens d'une partie limitée du texte lorsque l'information n'est pas mise en évidence et qu'il est fait appel à des inférences de bas niveau.

Niveau 3Intégrer plusieurs parties d'un texte pour en identifier l'idée maîtresse, comprendre une relation ou inférer le sens d'un mot ou d'une phrase. Comparer, contraster ou classer par catégories en tenant compte de nombreux critères. Traiter des informations contradictoires.



Détermination des niveaux pour une compétence donnée : Interpréter le texte

Niveau 4Utiliser une inférence textuelle de haut niveau pour appréhender le texte et appliquer des catégories à un contexte peu familier. Dégager le sens d'une section du texte, tout en considérant le texte dans son ensemble. Traiter des ambiguïtés, des notions inattendues et des idées formulées sous leur forme négative.

Niveau 5Soit dégager le sens d'un langage nuancé, soit faire preuve d'une compréhension exhaustive et approfondie du texte.


5 Les enquêtes internationalesAnalyse comparative des facteurs de réussite liés au matériel de l'enquête(régions et cantons)Extrait du rapport thématique de l'enquête PISA 2000 Les compétences en littératie


5 Les enquêtes internationalesRépartition des élèves



Répartition dans les niveaux de compétences



Résultats généraux dans les quatre "pays"



Scores en fonction de la langue parlée à la maison



L’après PISA en Suisse

Synthèse et recommandations du groupe de pilotage PISA

1 Usage plus intensif, plus précoce et plus exigeant de la langue officielle2 Extension des programmes scolaires et mesures de promotion spécifiques aux sexes3 Aide plus soutenue là où la proportion d’allophones est grande4 Généralisation de l’école enfantine5 Mise en place de structures d’accompagnement scolaires6 Instauration d’organes de direction dans les écoles7 Examen périodique des objectifs de performance (standards de formation)8 Transition facilitée vers le monde du travail9 Procédures de sélection plus équitables10 Développement de la formation des enseignants et de la recherche en éducation



Mesures consécutives à PISA 2000 :

Plan d’action décidé par la Conférence suisse des directeurs cantonaux de

l’instruction publique (CDIP)

Champ d’action 1 : Encouragement de la lecture pour tous

Champ d’action 2 : Encouragement des compétences linguistiques chez les jeunes connaissant des conditions d’apprentissage défavorables

Champ d’action 3 : Education préscolaire et scolarisation

Champ d’action 4 : Organe de direction, promotion de la qualité de l’école

Champ d’action 5 : Offre d’encadrement extrascolaire



Forces et faiblesses des études internationalesde rendement des systèmes scolaires

Forces

> attribution des investissements et des subventionnements

> sources d'information pour étudier l'effet de variables globales

> information en cas d'immigration

> pilotage des systèmes - comparaisons internationales - comparaisons intranationales - entre matières - entre objectifs, programmes et résultats

> mobilisatrices de potentiel de recherche (débouchés)



Forces et faiblesses des études internationalesde rendement des systèmes scolaires

Faiblesses

> font mal apparaître les causes

> problèmes de généralisabilité - par matière - par groupes d'âge

> problèmes du choix et de la nature des indicateurs

> risque d’aspiration des fonds consacrés à la recherche

education comparée /// prof. jean-luc gurtner /// sp 2009 chapitre 05 : les enquêtes...

Documents