evaluations internationales - pisa 2003 - synthèse (ressource 2761)

14
PISA 2003 : quels dØfis pour notre systLme Øducatif 1 PISA 2003 : quels dØfis pour notre systLme Øducatif En dØcembre 2001, les rØsultats du premier cycle dØvaluation de PISA ont ØtØ divulguØs. Ces rØsultats ont fait grand bruit. Ils ne faisaient pourtant que confirmer un diagnostic Øtabli de longue date par les enquŒtes internationales qui avaient prØcØdØ PISA et par les Øvaluations externes. Quen est-il aujourdhui ? Que nous apprennent les rØsultats de PISA 2003 ? Cest ce que nous esquissons briLvement dans cet article, tout en rappelant le contexte dans lequel se dØroule ce type dØvaluation et les enjeux sociaux et politiques quelle soulLve. Ariane Baye, Isabelle Demonty, Annick Fagnant, Anne Matoul, Christian Monseur Coordination : Dominique Lafontaine Service de PØdagogie expØrimentale UniversitØ de LiLge Quest-ce que lØtude PISA ? Le programme PISA, Programme International pour le Suivi des Acquis des ØlLves, est une initiative des pays membres de lOcdØ. Ces pays ont dØcidØ de mettre au point une Øvaluation commune afin dØtudier les acquis des jeunes de 15 ans dans trois disciplines : la lecture, les mathØmatiques et les sciences. Afin dassurer un suivi dans le recueil des donnØes, des cycles dØvaluation de trois ans, envisageant chaque fois les trois disciplines, sont organisØs. LØvaluation de 2000 Øtait centrØe principalement sur la lecture 1 , celle de 2003 a approfondi lØvaluation de la culture mathØmatique et celle de 2006 accordera une place plus importante la culture scientifique. En 2003, en plus des trois domaines rØcurrents, la capacitØ rØsoudre des problLmes a Øgalement ØtØ ØvaluØe. Il sagit de compØtences transdisciplinaires qui font la part belle au raisonnement analytique. PISA Øvalue un ensemble de compØtences et de savoirs jugØs importants pour lavenir des jeunes de 15 ans Contrairement dautres Øpreuves internationales et aux Øvaluations externes organisØes en CommunautØ franaise de Belgique, le programme PISA ne se focalise pas sur des classes regroupant des ØlLves dun niveau scolaire donnØ, mais sur des ØlLves dun ge donnØ (plus prØcisØment, entre 15 et 16 ans, cest--dire les jeunes nØs en 1987 pour PISA 2003), et ceci quelle que soit lannØe dØtude ou le type denseignement frØquentØ. Cet ge a ØtØ choisi parce quil correspond la fin de la scolaritØ obligatoire temps plein ou temps partiel dans la plupart des pays. 1 Pour plus dinformations sur les rØsultats des Øvaluations PISA (2000 et 2003), consultez le site : http://www.enseignement.be/@librairie/documents/ressources/A007/index.asp . Pour une prØsentation dØtaillØe des rØsultats de PISA 2000, consulter Lafontaine, D., Baye, A., Burton R., Demonty, I., Matoul A. et Monseur C. (2003). Les compØtences des jeunes de 15 ans en CommunautØ franaise en lecture, en mathØmatiques et en sciences. RØsultats de lenquŒte PISA 2000. Cahiers de Service de PØdagogie expØrimentale, 13-14.

Upload: ogion123

Post on 24-Nov-2015

10 views

Category:

Documents


3 download

TRANSCRIPT

  • PISA 2003 : quels dfis pour notre systme ducatif 1

    PISA 2003 : quels dfis pour notre systme ducatif

    En dcembre 2001, les rsultats du premier cycle dvaluation de PISA ont t divulgus. Ces rsultats ont fait grand bruit. Ils ne faisaient pourtant que confirmer un diagnostic tabli de longue date par les enqutes internationales qui avaient prcd PISA et par les valuations externes.

    Quen est-il aujourdhui ? Que nous apprennent les rsultats de PISA 2003 ? Cest ce que nous esquissons brivement dans cet article, tout en rappelant le contexte dans lequel se droule ce type dvaluation et les enjeux sociaux et politiques quelle soulve.

    Ariane Baye, Isabelle Demonty, Annick Fagnant, Anne Matoul, Christian Monseur

    Coordination : Dominique Lafontaine Service de Pdagogie exprimentale Universit de Lige

    Quest-ce que ltude PISA ?

    Le programme PISA, Programme International pour le Suivi des Acquis des lves, est une initiative des pays membres de lOcd. Ces pays ont dcid de mettre au point une valuation commune afin dtudier les acquis des jeunes de 15 ans dans trois disciplines : la lecture, les mathmatiques et les sciences.

    Afin dassurer un suivi dans le recueil des donnes, des cycles dvaluation de trois ans, envisageant chaque fois les trois disciplines, sont organiss. Lvaluation de 2000 tait centre principalement sur la lecture1, celle de 2003 a approfondi lvaluation de la culture mathmatique et celle de 2006 accordera une place plus importante la culture scientifique.

    En 2003, en plus des trois domaines rcurrents, la capacit rsoudre des problmes a galement t value. Il sagit de comptences transdisciplinaires qui font la part belle au raisonnement analytique.

    PISA value un ensemble de comptences et de savoirs jugs importants pour lavenir des jeunes de 15 ans

    Contrairement dautres preuves internationales et aux valuations externes organises en Communaut franaise de Belgique, le programme PISA ne se focalise pas sur des classes regroupant des lves dun niveau scolaire donn, mais sur des lves dun ge donn (plus prcisment, entre 15 et 16 ans, cest--dire les jeunes ns en 1987 pour PISA 2003), et ceci quelle que soit lanne dtude ou le type denseignement frquent. Cet ge a t choisi parce quil correspond la fin de la scolarit obligatoire temps plein ou temps partiel dans la plupart des pays.

    1 Pour plus dinformations sur les rsultats des valuations PISA (2000 et 2003), consultez le site :

    http://www.enseignement.be/@librairie/documents/ressources/A007/index.asp. Pour une prsentation dtaille des rsultats de PISA 2000, consulter Lafontaine, D., Baye, A., Burton R., Demonty, I., Matoul A. et Monseur C. (2003). Les comptences des jeunes de 15 ans en Communaut franaise en lecture, en mathmatiques et en sciences. Rsultats de lenqute PISA 2000. Cahiers de Service de Pdagogie exprimentale, 13-14.

  • PISA 2003 : quels dfis pour notre systme ducatif 2

    Le programme PISA ne se fonde pas directement sur les programmes scolaires nationaux et ne vise pas analyser le rendement spcifique de lenseignement secondaire un moment prcis du parcours scolaire. PISA se place dans une vision plus large, plus citoyenne de lvaluation : lobjectif est dvaluer des comptences essentielles pour la vie future des jeunes. Lvaluation porte donc sur lutilisation dun bagage de mathmatiques, de lecture ou de sciences, bagage ncessaire tout citoyen pour comprendre en profondeur et rsoudre des situations quun adulte peut rencontrer dans sa vie prive, publique ou professionnelle.

    Ainsi, la culture mathmatique, domaine majeur de lvaluation PISA 2003, implique la capacit des lves analyser, raisonner et communiquer de manire efficace lorsquils posent, rsolvent et interprtent des problmes mathmatiques dans une varit de situations. PISA confronte principalement les lves des problmes ancrs dans le monde rel. Lobjectif est de voir dans quelle mesure ils peuvent se servir des comptences en mathmatiques quils ont acquises au cours de leur scolarit pour rsoudre des problmes varis.

    Quatre domaines de savoirs faisant partie de cette culture mathmatique ont t valus en 2003 : Quantit , Espace et formes , Variations et relations et Incertitudes . Ces quatre grands domaines ont permis la construction de quatre sous-chelles de comptences qui permettent de complter et de nuancer lchelle combine de mathmatiques, qui reprend quant elle les rsultats densemble.

    La grande majorit des questions proposes dans lvaluation implique la mise en uvre de savoirs et de savoir-faire mathmatiques de base, abords ds lenseignement primaire et au premier degr de lenseignement secondaire. Notons toutefois que certaines questions du domaine Variations et relations impliquent des notions de fonction, principalement abordes au deuxime degr de lenseignement secondaire de transition. Quelques questions du domaine Incertitudes font appel des notions probabilistes qui sont dveloppes de manire approfondie au troisime degr.

  • PISA 2003 : quels dfis pour notre systme ducatif 3

    Encart 1. Les coulisses de PISA PISA est le rsultat des interactions entre experts venus de diffrents horizons linguistiques et culturels

    PISA est pilot par lOcd et administr sur le plan technique par un consortium de centres de recherche dirig par ACER (Australian Council of Educational Research). PISA est le fruit dune troite collaboration entre lensemble des pays participants au programme. En effet, limplication active de chaque pays est attendue ds les prparatifs de la construction de lpreuve. Chacun est invit proposer des supports et des questions, procder une relecture critique de la forme et du contenu des items (intrt pour les jeunes de 15 ans, lien avec les programmes denseignement, biais culturels possibles,), et ceci ds les premires versions du test et tout au long du processus de traduction et dadaptation, au cours duquel des experts nationaux sont impliqus (il sagit notamment dinspecteurs des diffrents rseaux, de professeurs expriments, de chargs de mission et de chercheurs).

    PISA est une tude internationale comparative qui permet de recueillir des informations valides et diversifies sur les pays participants

    Au printemps 2003, 30 pays membres de lOcd et 11 pays partenaires ont pris part lvaluation de PISA. En Belgique, les trois Communauts ont particip lvaluation.

    Pour sengager dans une tude internationale comparative, chaque pays a besoin dun certain nombre de garanties lui assurant que les performances observes ne sont pas dues des caractristiques particulires des instruments utiliss, la nature des chantillons tests ou encore la variabilit des procdures de recueil de donnes ou de correction.

    Chaque pays teste un chantillon reprsentatif dlves de 15 ans (minimum 150 coles et 5000 lves par pays). Pour assurer la neutralit de cette opration, les chantillons sont tirs en dehors du pays. Des rgles strictes de participation sont imposes. Lorsquelles ne sont pas respectes, le pays est exclu des analyses comparatives parce que la fiabilit des rsultats peut tre remise en cause2. Le programme PISA met encore en place dautres mesures visant assurer la qualit du dispositif : harmonisation et contrles des procdures dadministration des valuations, correction des preuves par des spcialistes forms, valuation de la fidlit des correction sur un plan international, etc.

    Toujours dans un souci de rigueur, un prtest de grande ampleur est organis avant la mise en place de lpreuve dfinitive, ce qui permet notamment de slectionner les questions les plus pertinentes. A titre indicatif, 225 items ont t prtests pour lpreuve de mathmatiques et 85 dentre eux ont t choisis pour lpreuve dfinitive.

    Tous les lves des pays participants passent des preuves identiques traduites dans les diffrentes langues. Les questions sont prsentes sous divers formats : un tiers de questions choix multiple, un tiers de questions ouvertes rponse brve et un tiers de questions ouvertes rponse construite.

    Lvaluation proprement dite dure environ 2 heures ; elle est complte par des questionnaires contextuels qui sont soumis aux lves et aux chefs dtablissements. Ces informations aident comprendre et relativiser les performances entre les pays, ainsi qu lintrieur des diffrents systmes ducatifs (contexte socioconomique, motivation pour lcole en gnral et pour le domaine valu, climat de lcole, organisation du systme et des tablissements scolaires, etc.).

    2 Ainsi, un taux de participation des coles trop peu lev (et donc, le non-respect des normes

    dchantillonnage) a conduit lexclusion des Pays-Bas pour le cycle PISA 2000 et du Royaume-Uni pour le cycle 2003.

  • PISA 2003 : quels dfis pour notre systme ducatif 4

    Quelles sont les caractristiques de lchantillon en Communaut franaise ?

    En Communaut franaise de Belgique, 2940 lves de 15 ans issus de 103 coles ont pass lpreuve au mois davril 2003. Dans lchantillon, les diffrents rseaux sont reprsents dans des proportions quivalentes celles quils occupent dans lensemble de la population scolaire en Communaut franaise. Il en va de mme en ce qui concerne la reprsentativit de lenseignement spcialis. De plus, lchantillon comporte des coles de tailles diffrentes, de manire reprsenter tant les petits que les gros tablissements.

    Environ la moiti des pays qui ont particip PISA 2003 pratiquent la promotion automatique : la grande majorit des lves de 15 ans y frquentent la mme anne dtudes. La Communaut franaise de Belgique est, avec lAllemagne, la France et le Luxembourg, parmi les systmes o les taux de retard scolaire sont parmi les plus levs. A titre indicatif, en Communaut franaise, 42 % des jeunes accusent un retard scolaire (parfois mme de 2 3 ans de retard) ; ils sont 46 % en Communaut germanophone et seulement 27 % en Communaut flamande.

    Une autre caractristique importante du systme ducatif en Communaut franaise est lorientation prcoce dans des filires denseignement : au deuxime degr du secondaire (o se situent la majorit des lves tests 91 %3), environ 54 % se trouvent dans la filire de transition (41 % en 4e anne et 13 % en 3e) et prs de 37 % dans la filire qualifiante (16 % en 4e anne et 21 % en 3e). Ce contexte particulier doit tre pris en compte dans linterprtation des rsultats.

    Comment peut-on situer les rsultats de la Communaut franaise sur lchelle internationale ?

    En mathmatiques et en rsolution de problmes, le score de la Communaut franaise de Belgique est trs proche de la moyenne des pays de lOcd ; en sciences et en lecture, les scores sont sensiblement plus loigns de cette moyenne internationale. Ces rsultats confirment ceux observs en 2000 lors de la premire valuation PISA.

    Dans le tableau suivant4, les rsultats sont prsents en trois groupes de pays. Dans chaque case du tableau, les pays sont classs par ordre dcroissant au niveau de leur score moyen. Il convient dtre prudent quant aux comparaisons de ces scores moyens et se garder de se focaliser sur des rangs prcis occups par les pays sur lchelle internationale.

    La prsentation en trois groupes de pays savre plus rigoureuse quun palmars qui, sil parat plus accrocheur aux yeux du grand public, nest pas trs solide sur un plan scientifique. En effet, les carts de scores sont parfois trop faibles pour tre significatifs : les groupes de pays prsents ci-dessous tiennent compte des diffrentes erreurs de mesure lies au fait que PISA teste des chantillons dlves, et non lensemble de la population scolaire dun ge

    3 Lchantillon comprenait galement un peu plus de 4 % dlves frquentant le premier degr du secondaire,

    environ 1 % dlves en avance (frquentant le troisime degr) et enfin, un peu moins de 4 % dlves inscrits dans lenseignement spcialis (lpreuve qui leur tait soumise comprenait moins de questions que celle soumise aux autres lves). Prcisons encore que les rsultats des lves inscrits dans les CEFA (0,03 %) sont inclus, dans les analyses qui suivent, dans la filire qualifiante.

    4 Les pays indiqus en italique sont des pays qui nappartiennent pas lOcd (pays partenaires).

  • PISA 2003 : quels dfis pour notre systme ducatif 5

    donn. Les analyses prennent donc en compte une marge derreur , comme dans les sondages lectoraux par exemple 5.

    Tableau 1. Scores moyens des pays participants PISA 2003 en mathmatiques, lecture et sciences

    Par rapport la Communaut franaise, lensemble des pays prsents ci-dessous se distingue

    significativement (+) ne se distingue pas significativement se distingue

    significativement (-) Math-matiques6

    C. flamande (553) Hong Kong (550) Finlande (544) Core (542) Pays-Bas (538) Lichtenstein (536) Japon (534) Canada (532)

    Macao (527) Suisse (527) Australie (524) Nlle Zlande (523) R. tchque (516) Islande (515) C. germanophone (515) Danemark (514) France (511) Sude (509) Autriche (506) Allemagne (503) Irlande (503)

    OCDE (500) C. franaise (498) R. slovaque (498) Norvge (495) Luxembourg (493) Pologne (490) Hongrie (490) Espagne (485) Lettonie (483) USA (483) Russie (468) Portugal (466) Italie (466)

    Grce (445) Serbie et Montngro (437) Turquie (423) Uruguay (422) Thalande (417) Mexique (385) Indonsie (360) Tunisie (359) Brsil (356)

    Lecture Finlande (543) Core (534) C. flamande (530) Canada (528) Australie (525) Lichtenstein (525) Nlle Zlande (522) Irlande (515) Sude (514) Pays-Bas (513)

    Hong Kong (510) Norvge (499) Suisse (499) C. germanophone (499) Japon (498) Macao (498) Pologne (497) France (496) USA (495) OCDE (494) Danemark (492) Islande (492) Allemagne (491)

    Autriche (491) Lettonie (491) R. tchque (489) Hongrie (482) Espagne (481) Luxembourg (479) Portugal (478) C. franaise (477) Italie (475) Grce (472) R. slovaque (469) Russie (442) Turquie (441)

    Uruguay (434) Thalande (420) Serbie et Montngro (412) Brsil (403) Mexique (400) Indonsie (382) Tunisie (375)

    Sciences Finlande (548) Japon (548) Hong Kong (539) Core (538) C. flamande (529) Lichtenstein (525) Australie (525) Macao (525) Pays-Bas (524) R. tchque (523) Nlle Zlande (521) Canada (519)

    Suisse (513) France (511) Sude (506) Irlande (505) Hongrie (503) Allemagne (502) OCDE (500) Pologne (498) R. slovaque (495) Islande (495) C. germanophone (492) USA (491)

    Autriche (491) Russie (489) Lettonie (489) Espagne (487) Italie (486) Norvge (484) C. franaise (483) Luxembourg (483) Grce (481) Danemark (475) Portugal (468)

    Uruguay (438) Serbie et Montngro (436) Turquie (434) Thalande (429) Mexique (405) Indonsie (395) Brsil (390) Tunisie (385)

    Comme la presse la abondamment point lors des premires diffusions des rsultats de

    PISA 2003, lcart entre le nord et le sud du pays est important : la Communaut flamande se 5 Prenons lexemple des rsultats de PISA 2003 en lecture : le score moyen de la Communaut franaise est de

    477, et celui de lOcd est de 494, soit une diffrence de 17 points. Cette diffrence peut sembler importante, mais est-elle pour autant significative, au sens statistique du terme ? Pour rpondre, on prend traditionnellement une marge derreur de 5 %. Dans cet exemple, sil lon dit que la diffrence de 17 points est significative, on a plus de 95 % de chances de se tromper... Il semble donc prudent de ne pas conclure une diffrence significative. On doit prendre dautant plus de prcautions quil y a de pays compars simultanment (coefficient de Bonferroni), cest pourquoi on ne peut affirmer que les rsultats moyens de la Communaut franaise diffrent significativement de ceux dun grand nombre de pays.

    6 Les rsultats en rsolution de problmes (comptences transdisciplinaires) sont trs proches de ceux observs en mathmatiques. La Communaut franaise obtient un score moyen quasi identique (496) et, quelques exceptions prs, se situe globalement avec le mme ensemble de pays.

  • PISA 2003 : quels dfis pour notre systme ducatif 6

    trouve dans le peloton de tte dans les trois disciplines alors que les Communauts franaise et germanophone se situent dans la moyenne. Mais que cachent ces scores moyens ? Cest ce que nous allons tenter dinvestiguer dans la suite de cet article.

    Pour dpasser les palmars : que nous apprend rellement lvaluation de PISA 2003 ?

    Les scores moyens des pays nont quun intrt limit dans la mesure o ils masquent la diversit des rsultats propres chaque pays, comme notamment la rpartition des lves lintrieur des diffrentes niveaux de comptences. PISA distingue en effet 6 niveaux de performances en mathmatiques. Ces niveaux sont hirarchiss en fonction du degr difficult des questions qui les composent. Ainsi, les lves classs aux niveaux 5 et 6 ont t capables de russir au moins 50 % des questions les plus complexes (impliquant la conceptualisation, largumentation, la modlisation de problmes dans des contextes peu familiers). Les lves classs au niveau 1 ne sont capables daccomplir que des tches trs simples (procdures de routine en contexte familier). Les lves classs en dessous du niveau 1 nont pu russir 50 % des tches les plus simples.

    Le tableau suivant prsente la rpartition des lves entre les diffrents niveaux de lchelle combine de mathmatiques de manire globale pour notre Communaut ainsi quen fonction de lanne dtudes et de la filire denseignement frquentes7.

    Tableau 2. Rpartition des lves sur les niveaux de lchelle combine en mathmatiques

    Pourcentage dlves situs chacun des niveaux Filire qualifiante Filire de transition Toutes annes et

    filires confondues 3e anne 4e anne 3e anne 4e anne Niveau 6

    4 % - - 1 % 10 % Niveau 5

    12 % - 4 % 6 % 24 % Niveau 4

    19 % 4 % 13 % 20 % 32 % Niveau 3

    22 % 16 % 26 % 35 % 23 % Niveau 2

    20 % 30 % 35 % 26 % 9 % Niveau 1

    13 % 31 % 17 % 10 % 2 % En dessous du

    niveau 1 10 % 19 % 5 % 2 % -

    Un premier examen de la rpartition des lves entre les diffrents niveaux, toutes annes et

    filires confondues, fait apparatre une dispersion importante des comptences des jeunes de 15 ans. En Communaut franaise, une minorit dlves (16 %) sont capables de performances complexes ; 61 % des lves sont des niveaux intermdiaires et 23 % des lves ne dpassent pas un niveau lmentaire . Cette rpartition est proche de ce que lon observe en moyenne dans les pays de lOcd : 15 % aux niveaux suprieurs, 64 % dans les

    7 Seuls les niveaux des lves frquentant le deuxime degr de lenseignement secondaire sont prsents ici ;

    ceux des premier et troisime degrs (ainsi que les lves de lenseignement spcialis) sont en effet trop peu nombreux pour permettre ce type danalyse.

  • PISA 2003 : quels dfis pour notre systme ducatif 7

    niveaux intermdiaires et 21 % aux niveaux lmentaires. Des exemples de questions relevant des diffrents niveaux sont proposs en annexe.

    Une analyse plus dtaille montre quune hirarchie nette se dgage entre les filires denseignement et, au sein de chaque filire, entre les annes dtude. Les lves de la filire qualifiante se trouvent en grande difficult face aux problmes proposs ; le niveau de culture mathmatique dun nombre beaucoup trop important dentre eux est rellement proccupant ! Prs de 50 % des lves de 3e anne et plus de 20 % des lves de 4e natteignent pas le niveau 2, considr comme lmentaire.

    Les constats sont plus rassurants dans la filire de transition o les lves sont nettement moins nombreux se situer sous ce seuil de base en 3e anne (environ 10 %) et o lon ne trouve pratiquement plus aucun lve dans cette situation en 4e (moins de 2 %). En 4e anne, une proportion non ngligeable atteint mme des performances dun niveau lev (35 % des lves sont situs aux niveaux 5 et 6).

    Enfin, le dernier constat, bien plus proccupant, concerne les lves en retard scolaire qui prsentent, et ceci dans les deux filires, des performances sensiblement plus lmentaires que les lves lheure .

    A titre comparatif, on peut noter que le score des lves de 4e anne (toutes filires confondues) approche, dans chacune des disciplines, le score moyen des les plus performants. A loppos, les lves en retard dun an obtiennent, en moyenne, des scores se situant en dessous de la moyenne Ocd. Le score moyen des lves en retard de deux ans est encore plus alarmant. Par exemple, en mathmatiques, le score de nos lves lheure (546) est proche du trio de tte (Communaut flamande, Hong Kong et Finlande). Avec un score de 443, les lves de 3e anne se trouvent proches de la Grce (situe la queue du peloton des pays de lOcd) ; le score des lves de 2e anne (351) est quant lui infrieur au score moyen du Mexique (dernier pays de lOcd).

    Rappelons que notre systme scolaire se caractrise par une forte propension pratiquer le redoublement : moins de 60 % des lves sont encore lheure lge de 15 ans. Lanalyse prsente ici dbouche sur le mme constat quen 2000 : la prsence massive dlves en retard constitue nen point douter un facteur de poids qui tire vers le bas la Communaut franaise de Belgique.

    Les tendances 2000-20038

    Il faut tre excessivement prudent dans linterprtation des volutions. On ne dispose ce stade que de deux prises de mesure dans le temps, et il est difficile de savoir si les changements sont rvlateurs de tendances plus long terme.

    Il est galement important de garder lesprit que les performances dans les trois domaines sont troitement imbriques (la corrlation entre les rsultats est trs leve) : la mise en situation des preuves fait ncessairement appel aux comptences en lecture, comme dans la vie relle. Les lves aux comptences en lecture trs faibles ont trs peu de chances daccomplir avec succs les tches de mathmatiques et de sciences, qui requirent souvent une lecture attentive.

    8 Cette analyse ne concerne pas la rsolution de problmes qui a t teste une seule et unique fois en 2003.

  • PISA 2003 : quels dfis pour notre systme ducatif 8

    Pour la culture mathmatique, la comparaison avec les rsultats de 2000 (o les mathmatiques taient une discipline mineure) nest possible que pour deux sous-chelles : Espace et formes et Variations et relations . Dans la plupart des pays de lOcd, les rsultats ne diffrent pas significativement entre les deux cycles dvaluation.

    Encart 2. Comment interprter les graphiques de tendance ?

    Sur les graphiques, les losanges reprsentent lintersection entre le score de 2000 et celui de 2003. Si il ny a aucune diffrence entre 2000 et 2003, le losange se trouve sur la diagonale. Les losanges situs au-dessus tmoignent de progrs en 2003. Comme nous lavons expliqu prcdemment, il faut toujours prendre en compte les erreurs de mesure, reprsentes par le segment jaune. Mme sil y a progrs, on ne peut les considrer comme statistiquement significatifs (marge derreur de 5 %) que dans les cas o les segments jaunes ne rencontrent pas la diagonale.

    Comme lindiquent les graphiques ci-dessous, on note de lgers progrs (non significatifs) en Communaut franaise et des progrs plus importants (significatifs) en Communaut flamande.

    Graphiques 1 et 2. Comparaison des performances 2000 - 2003 pour la culture mathmatique Espace et formes Variations et relations

    Cfl

    OcdItalie

    PologneCfr

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perfo

    rman

    ces

    en 2

    003

    Diminution en 2003

    Augmentation en 2003

    ProgrsInterval de confianceCfl

    OcdItalie

    PologneCfr

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perfo

    rman

    ces

    en 2

    003

    Diminution en 2003

    Augmentation en 2003

    ProgrsCfl

    OcdItalie

    PologneCfr

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perfo

    rman

    ces

    en 2

    003

    Diminution en 2003

    Augmentation en 2003

    ProgrsInterval de confiance

    Cfr

    Cfl

    Italie

    PologneOcd

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perf

    orm

    ance

    s en

    200

    3

    Diminution en 2003

    Augmentation en 2003

    En lecture, les performances sont stables en Communaut franaise comme en Communaut flamande. En culture scientifique, on note une lgre amlioration (non significative) en Communaut franaise, ainsi quen Communaut flamande. Il est intressant de noter quen Communaut franaise, laugmentation du score moyen est due une progression des lves moyens-faibles.

  • PISA 2003 : quels dfis pour notre systme ducatif 9

    Graphiques 3 et 4. Comparaison des performances 2000 - 2003 pour lecture et la culture scientifique

    Lecture Culture scientifique

    Pologne

    Italie

    CgrOcdCfl

    Cfr

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perfo

    rman

    ces

    en 2

    003

    Diminution en 2003

    Augmentation en 2003

    Pologne

    Cgr

    Ocd

    Cfl

    Cfr Italie

    400

    425

    450

    475

    500

    525

    550

    575

    600

    400 425 450 475 500 525 550 575 600

    Performances en 2000

    Perfo

    rman

    ces

    en 2

    003

    Diminution en 2003

    Augmentation en 2003

    Bilans et enjeux

    En 2003, les performances observes en Communaut franaise dans le domaine des mathmatiques et en rsolution de problmes sont la hauteur de la moyenne des pays de lOcd. Les performances enregistres par les lves lheure, en particulier dans la filire de transition, sont dun bon niveau. En revanche, les performances des lves en retard scolaire, et principalement dans la filire qualifiante, sont un srieux motif dinquitude.

    La prudence simpose lorsquon compare les rsultats 2000-2003. Par rapport 2000, on note une lgre amlioration (bien que non significative) des performances en mathmatiques et en sciences. Il conviendra de voir si lamlioration qui se dessine se confirme en 2006 o les sciences seront values en tant que domaine majeur. Suite aux rsultats de TIMSS9, o les difficults prouves par les lves dans le domaine scientifique avaient dj t largement pointes, une heure supplmentaire de sciences a t octroye tous les lves frquentant le premier degr commun. Si cette rforme est trop rcente10 pour porter rellement fruit dans ltude qui nous occupe aujourdhui, on peut esprer en percevoir quelques effets en 2006. En lecture, on ne constate hlas aucune volution positive.

    PISA 2000 avait mis en vidence le caractre socialement inquitable du systme ducatif de la Communaut franaise. PISA 2003 confirme que le renforcement de lquit est bien le dfi relever. Si lon veut amliorer de faon sensible les performances, il faut en priorit satteler aux problmes des lves en grande difficult, frquentant pour lessentiel les filires de qualification, souvent en retard dans leur parcours scolaire et concentrs dans certains tablissements.

    9 Etude internationale organise par lIEA en 1995. 10 Depuis lanne scolaire 2001-2002, les lves du premier degr du secondaire reoivent 3 heures de sciences

    la place de 2. Les lves lheure test en 2003 nont donc pas pu bnficier de cette rforme.

  • PISA 2003 : quels dfis pour notre systme ducatif 10

    Peut-on concilier efficacit et quit ? Quels enseignements peut-on tirer de la comparaison entre systmes ducatifs ?

    La rduction des diffrences lies lorigine socioconomique est lun des dfis majeurs quont relever les systmes ducatifs. Dans tous les pays, les lves issus de milieux plus aiss obtiennent de meilleures performances, mais le foss entre les mieux et les moins bien nantis varie considrablement dun pays lautre.

    Si la Communaut flamande obtient des rsultats significativement plus levs que ceux de la Communaut franaise, toutes deux obtiennent une mauvaise note en ce qui concerne le caractre inquitable de lenseignement. Si les diffrences de performances entre les deux Communauts sont difficiles expliquer, force est de constater quelles ne datent pas dhier. Elles sont antrieures la communautarisation et apparaissent une poque o dautres diffrences se marquent entre les Communauts (taux de chmage, taux de diplms,). Les populations dlves frquentant les tablissements scolaires au nord et au sud du pays ne sont sans doute pas entirement comparables : plus de prcarit et plus de retard scolaire en Communaut franaise notamment. Prenant tous ces lments en compte, on peut logiquement conclure que les dfis relever en Communaut franaise sont plus importants quen Flandre. La situation rencontre chez nous est sans doute plus proche des dfis que doit par exemple relever lAllemagne.

    Le graphique suivant prsente la situation contraste de quelques pays en termes defficacit (dfinie en fonction des performances moyennes) et dquit (dfinie en fonction de la part de la variation des rsultats en fonction de facteurs socioconomiques).

    Graphique 5. Lien entre efficacit et quit

    Mexique

    Hongrie

    Islande

    Pays-Bas

    C. germa

    SuisseCanada

    Japon Finlande

    Pologne

    Hong Kong

    Australie

    C. flamande

    Italie

    France

    R. SlovaqueC. franaise

    Allemagne

    300

    350

    400

    450

    500

    550

    600

    Variance explique par des facteurs socioconomiques

    Perf

    orm

    ance

    moy

    enne

    en

    mat

    hm

    atiq

    ues

    30 25 20 15 10 5 0

    Lux.

    Les exemples de lAustralie, du Canada, de la Finlande, de Hong Kong, de lIslande et du

    Japon montrent quil est tout fait possible de concilier efficacit et quit : ces systmes ducatifs combinent des performances moyennes suprieures la moyenne Ocd et un moindre impact des facteurs socioconomiques sur les rsultats des lves. Par contraste, des pays comme la Belgique, lAllemagne, la Rpublique slovaque et la Hongrie se rvlent trs inquitables. La France, la Suisse, la Pologne, sont aussi efficaces voire davantage que la Communaut franaise, mais sont sensiblement plus quitables. Il est donc possible de se montrer plus quitables sans rien perdre en efficacit. Cest lun des enseignements majeurs de PISA.

    Pays plus quitables

    Pays

    plu

    s effi

    cace

    s

  • PISA 2003 : quels dfis pour notre systme ducatif 11

    Annexe. Quelques exemples de questions dvaluation de la culture mathmatique

    Question de niveau lmentaire (niveau 2)

    DS : CONSIGNES DE CORRECTION Q 1

    Crdit complet

    Code 1 : Range suprieure (1 5 4). Range infrieure (2 6 5). Accepter aussi toute rponse quivalente donne sous forme de faces de ds.

    1 5 4

    2 6 5

    Note : Lors de la saisie des donnes, ces rponses doivent tre enregistres par ligne (c'est--dire, 1, 5, 4, 2,

    6, 5). Si la rponse n'est pas un chiffre entre 1 et 7, coder 0. Si la rponse est omise, coder 9.

    Pas de crdit

    Code 0 : Autres rponses.

    Code 9 : Omission.

  • PISA 2003 : quels dfis pour notre systme ducatif 12

    Questions de niveaux lmentaires (question 1 et 2 : niveaux 1 et 2) et de niveau intermdiaire (question 3 : niveau 4)

    TAUX DE CHANGE : CONSIGNES DE CORRECTION Q 1

    Crdit complet

    Code 1 : 12 600 ZAR (lunit nest pas exige).

    Pas de crdit

    Code 0 : Autres rponses.

    Code 9 : Omission.

    TAUX DE CHANGE : CONSIGNES DE CORRECTION Q 2

    Crdit complet

    Code 1 : 975 SGD (lunit nest pas exige).

    Pas de crdit

    Code 0 : Autres rponses.

    Code 9 : Omission.

  • PISA 2003 : quels dfis pour notre systme ducatif 13

    TAUX DE CHANGE : CONSIGNES DE CORRECTION Q 3

    Crdit complet

    Code 11 : Oui , suivi dune explication approprie. Oui, le taux de change infrieur (pour 1 SGD) permettra Mei-Ling de recevoir

    davantage de dollars de Singapour pour ses rands sud-africains. Oui, 4,2 ZAR pour un dollar naurait donn que 929 ZAR. [Note : Llve a crit 929 ZAR

    au lieu de 929 SGD, mais il est clair quil a effectu le calcul et la comparaison corrects ; cette erreur peut donc tre ignore.)

    Oui, car elle a reu 4,2 ZAR pour 1 SGD, et maintenant elle ne doit plus payer que 4,0 ZAR pour avoir 1 SGD.

    Oui, parce que pour chaque SGD cela cote 0,2 ZAR de moins. Oui, car quand on divise par 4,2 le rsultat est infrieur celui obtenu quand on divise

    par 4. Oui, ctait plus avantageux pour elle car sil navait pas baiss, elle aurait eu environ 50

    $ de moins.

    Pas de crdit

    Code 01 : Oui , sans explication ou avec une explication incorrecte. Oui, un taux de change plus bas est meilleur. Oui ctait avantageux pour Mei-Ling, parce que si le ZAR baisse, alors elle aura plus

    dargent changer en SGD. Oui, ctait avantageux pour Mei-Ling.

    Code 02 : Autres rponses.

    Code 99 : Omission.

  • PISA 2003 : quels dfis pour notre systme ducatif 14

    Question de niveau complexe (niveau 6)

    MENUISIER : CONSIGNES DE CORRECTION Q 1

    Crdit complet

    Code 2 : Quatre rponses correctes.

    Schma A : Oui.

    Schma B : Non.

    Schma C : Oui.

    Schma D : Oui.

    Crdit partiel

    Code 1 : Trois rponses correctes.

    Pas de crdit

    Code 0 : Deux rponses correctes ou moins.

    Code 9 : Omission.