leclercq d. (2006) survol "français" du diagnostic cognitif et métacognitif mohican,...

Leclercq D. (2006) Survol "Français" du Diagnostic Cognitif et Métacognitif MOHICAN, Université de Liège, IFRES-CDS 1

[email protected]


La 1° semaine d’octobre 1999aux étudiants entrant dans 8 universités de la CFWB

Vocabulaire 45Syntaxe 12Compréhension 6Cartes, graphiques, tableaux Géo 10

Math 22Physique 10Chimie 8Biologie 10

Conn. Artistiques 25Histoire, actualité, économ 25

73

50

50

10 tests (check up) = 173 questions en


On a utilisé les Questions à Choix Multiple

parce que

• Les mêmes pour tous• Couvrent bien la matière• Correction Objective et rapide

QCM à 7 solutions : 5 solutions classiques

+ 2 Solutions Générales Explicites: -

Aucune - Toutes

6 Degrés de Certitude : 0% 20% 40% 60% 80% 100%


[email protected]@ulg.ac.be

http://www.smart/ulg.ac.be http://www.ulg.ac.be/labset

Ce sont les appuis techniques de l’

qui ont servi le projetinteruniversitaire


Jean Marc Defays et Marielle Maréchal


Syntaxe : Exemple de question


En quelle année a eu lieu la

Révolution française ? 84% % r.bis CM

1. 1432 0,6 -0,07 42,5

2. 1524 0,6 -0,09 40

3. 1618 1 -0,11 32,9

4. 1789 91,5 0,35 91,8

5. 1815 3,8 -0,21 42,2

6. aucune 1,6 -0,16 38,3

7. toutes 0,1 -0,05 100

Quand être satisfait ?


M. Monballin est partie d’une liste de mots signalés comme « mal compris » par les profs (des FUN).

• corrobore• prérogatives• stigmatisé• sous-jacentes• latentes• divergent• dénégations• discrédit• inférer• inhérentes

• clivages• à l ’instar de• éludé• judicieuse• réfuter• précarité• présomptions• partial• habilité à• exhaustif

griefsémancipersubordonnerasserviraffranchirsommationinvectivesordreinhibéproscritlégalajourneranticiperprobitéréactionnaire


100 %

90

84,3 réfuter

80

76,7 ordre 75,5 permis 74,1 divergent 73,9 addition 71,0 judicieux 71,1 proscrit70 70,6 habilité 69,8 légal 69,4 retarder 67,7 asservir 66,6 corrobore 63,8 sommation 61,1 inhibé60 60,6 contester 58,2 discrédit 57,1 arbitraire 54,1 sous-jacent 54,0 ajourner 51,2 empirique50 50,1 subordonner

50 49,2 invectives 48,1 griefs 47,9 affranchir 46,6 précarité 46,7 anticiper 45,3 clivages 44,4 partiale 43,9 inhérentes 41,3 émanciper 41,3 présomptions (A UCUNE)40 39,9 dénégations 35,7 exhorter 35,6 allégation 34,6 inféré 34,5 exhaustif (AUCUNE) 32,6 éludé 31,8 stigmatisé 31,6 subversion 31,1 déperdition 30 28,4 prérogatives 27,2 probité

20 19,3 réactionnaire 18,6 à l’instar de (AUCUNE)

11,9 latentes (AUCUNE)10

0%

On peut ranger les termes par ordre (décroissant) de réussite (en %) :

Les QCM à Réponse Correcte « Aucune » sont moins bien réussies


100 %

93,6 Cinéma (Philadelphia)91,6 Cinéma (Schindler/Shoa)91,2 Musique (Queen)

9085,2 Cinéma (Rain Man)

8077,0 Littérature (Mein Kampf)73,1 Cinéma (Spielberg) (TOUTES)

70 60

58,7 Peinture/Sculpture (Impressionnisme)56,8 Architecture (Gothique)54,8 Architecture (Gothique)51,8 Littérature (Kant)

50 49,4 Peinture/sculpture (cubisme)48,2 Littérature (A. Huxley)47,8 Architecture (Parthénon) (AUCUNE)46,8 Danse( Boléro) 41,8 Peint/scul.belge XXe siècle

40 36,7 Cinéma (Stanley Kubrik) (TOUTES)35,0 Architecture (Golden Gate) (AUCUNE)35,3 Littérature (Baudelaire)

30 30,2 Musique (Beethoven) (AUCUNE)26,8 Littérature (Hugo)23,4 Peinture/sculpture (Breughel) (AUCUNE)21,3 Cinéma (Sentiers Gloire/décimation)

2016,7 Danse (Jorge Donn) (AUCUNE)15,3 Théâtre (Dr Knock) (AUCUNE)

106,22 Théâtre (Bertold Brecht) (TOUTES)

0%

Dans le test

Les QCM où la Réponse Correcte est AUCUNEsont aussi moins bien réussies.


Vocabulaire : Le Taux d’Exactitude moyen des étudiants est 45,8%

Vocabulaire (toutes universités confondues) - Es Taux de réussite n=3801 µ=45,8 ET=18,4

0

100

200

300

400

500

600

700

800

900

0 10 20 30 40 50 60 70 80 90 100


Vocabulaire : L’ Erreur Moyenne de Centration (EMC) des étudiants est +5,5% (surestimation)

Vocabulaire (toutes universités confondues) - Es Centration n=3801 µ=5,5 ET=15

0

100

200

300

400

500

600

SurestimationsSous-estimations

0

G=+6,6%

F=+4,4%


Le Spectre (ou distribution spectrale) de la qualité des performances pour le test de Vocabulaire (3800 Es) est :

4 610 9 9 8 5 4 5 7 10 10 13

0

10

20

30

40

50-1

00 -80

-60

-40

-20 0

om

0 20 40 60 80 100

20%nuisibles

33%utilisables

47% inutilisables

Confiance =62%Imprudence =44%

Indices d’auto-cognition


A travers son oeuvre, l'auteur a dressé un tableau exhaustif de la France du XIXe siècle.

Au contraire, dans le tableau qu'il a dressé, l'auteur la France du XIXe siècle.

La Surface de compétence : 19% % r.bis CM

1. a établi un constat très critique de 19,6 -0,05 41,1

2. a fait l'éloge de 8 -0,1 35,1

3. a accentué les traits de 11,6 0,01 43,6

4. a posé un regard pessimiste sur 14,3 -0,15 39,4

5. a ironisé sur la situation de 5,7 -0,12 34,8

6. aucune 34,5 0,36 55,2

7. toutes 0,4 -0,04 26,3

on calcule :


Question n° 5 : Des haines latentes opposaient les deux hommes.

Surface de Compétence

5,50% % r.bis CM

1. profondes 19,7 -0,07 43,5

2. anciennes 52,2 0 51

3. farouches 2 -0,07 34,2

4. douloureuses 2,6 -0,1 37,2

5. patentes 6 0,12 51,8

6. aucune 11,9 0,15 46,1

7. toutes 2,3 0,02 50,2

* méprises (connaissances nuisibles) à désapprendre mi-connaissance (connaissances douteuses) à améliorer

on calcule les indices de discrimination :


Question n° 12 : Le valet de don Juan agit à l'instar de son maître, ce qui crée un décalage comique.

Surface de Compétence

11,30% % r.bis CM

1. désobéit effrontément à son maître 6,4 -0,14 45,9

2. fait tout le contraire de ce que fait son maître 20,7 -0,08 55,1

3. seconde et aide maladroitement son maître 9 -0,06 49,3

4. cache à son maître tout ce qu'il fait 34,8 -0,01 66,9

5. exagère ce que fait son maître 7,3 0,03 49,2

6. aucune 18,6 0,3 60,9

7. toutes 0,6 -0,05 48,8

on calcule les certitudes moyennes :


légaladditionretarderpermis

contesteordre

ajournerjudicieuse

anticiperémancipersommation

partialedivergent

subordonnerarbitraire

inhibésous-jacentes

asservirgriefs

exhaustifréfute

affranchirhabilité

précaritéréactionnaire

discréditempirique

présomptionlatentes

exhorterproscrit

déperditionclivagesinhérent

dénégationinvective

subversionprobité

a inférééludé

corroboreà l'instar

stigmatiséprérogatives

allégation

0 20 40 60 80 100

TRC Prédit

Facilité Objective

Facilité Subjective

(heureuses)surprises

(profondes)déceptions

0 20 40 60 80 100

Estimations de TR%13 professeurs

Taux de Réussite (en %) 219 étudiants

Degrés de certitude219 étudiants

0 20 40 60 80 100

Les profs savent-ils ce que les étudiants ignorent ?


légaladditionretarderpermis

contesteordre

ajournerjudicieuse

anticiperémancipersommation

partialedivergent

subordonnerarbitraire

inhibésous-jacentes

asservirgriefs

exhaustifréfute

affranchirhabilité

précaritéréactionnaire

discréditempirique

présomptionlatentes

exhorterproscrit

déperditionclivagesinhérent

dénégationinvective

subversionprobité

a inférééludé

corroboreà l'instar

stigmatiséprérogatives

allégation

0 20 40 60 80 100

TRC Prédit

Facilité Objective

Facilité Subjective

(heureuses)surprises

0 20 40 60 80 100

0 20 40 60 80 100

(profondes)déceptions

Moyenne des Prédictions des 13 profs


Corrélations entre les check up en octobre 1999 et la réussite de la 1° candi en juin / sept 2000

TE = % de Rép. Correctes

au check up de…..

Voca Synt CompT

Géo Math Phys Chim Bio Art Hist MOY

Total 0,210 0,189 0,100 0,161 0,321 0,204 0,219 0,203 0,163 0,188 0,195

Philo et Lettres 0,123 0,181 0,075 0,041 0,191 0,190

Droit 0,276 0,320 0,097 0,211 0,231 0,230

Psycho-Educ 0,192 0,211 0,093 0,266 0,103 0,192

Sc. Econom 0,215 0,217 0,194 0,233 0,156 0,209

Sciences 0,160 0,105 0,070 0,134 0,321 0,214 0,175 0,218

Sc. Appliquées 0,198 0,102 0,045 0,119 0,115 0,067 0,145 0,054

Médecine 0,206 0,189 0,068 0,173 0,356 0,196 0,263 0,249

Médecine vété 0,287 0,128 0,332 0,178 0,448 0,225 0,31 0,305

Sc. Agronom. 0,204 0,205 0,120 0,168 0,381 0,229 0,170 0,169


Corrélations multiples entre prédicteurs d’octobre et réussite :

Philo et lettres (N = 154)

NVP r %VE Prédicteurs

1 0,28 8% Syntaxe MS*

2 0,36 13% Syntaxe MS* + Histoire MS*

3 0,38 15% Syntaxe MS* + Histoire MS* + CompGéo TE

Que la Syntaxe soit la plus prédictive et l'histoire la seconde n'a rien d'étonnant en Philo et Lettres.


Corrélations multiples :Vété (N=211)

NVPr %VE Prédicteurs

1 0,45 20% Math MS*

2 0,50 25% Math MS* + Chimie MS*

3 0,53 28% Math MS* + Chimie MS* + ComprText TE

4 0,55 32% Math MS* + Chimie MS* + ComprText TE + ComprText ERCENTR

Sc.Appliquées (N=348)

NVP r %VE Prédicteurs

1 0,20 4% Vocabulaire TE

2 0,25 6% Vocabulaire TE + Chim MS*

3 0,28 8% Vocabulaire TE + Chim MS* + Bio Real*


01020304050607080

Belges

Français

Européens

Autres

Analyse par nationalité


Lien entre le Diplôme des parents, l’âge à l’entrée et la réussite

Réussite en 1° candi et niveaux de diplôme du père

50

36,2

46,3

50,7

47,8

46,7

30

35

40

45

50

55

19 ans et + 18 ans et -

Tau

x d

e r

éu

ssit

e

Supérieurs

Moyens

Inférieurs

leclercq d. (2006) survol "français" du diagnostic cognitif et métacognitif mohican,...

Documents