1

Faculté de Médecine Pierre et Marie CURIE

⎯⎯⎯⎯

Année universitaire 2017-2018

M E M O I R E

Pour l’obtention du

DIU de

PEDAGOGIE MEDICALE

Par

Gaëtane GOUELLO Née le 29 Juin 1982 à Ploemeur (Morbihan)

Université Paris XII

APHP, Hôpital Henri Mondor, service de neurochirurgie

⎯⎯⎯⎯

QCM en PACES

Lesétudiantsquiréussissentleconcourssont-ilslesmêmes

quiréussissentauxquestionsderéflexion?

⎯⎯⎯⎯

Directeur de l’enseignement : Dr Bertrand GUIDET

Soutenance le 16 octobre 2018

2

Résumé

Les évaluations des étudiants en PACES se font principalement par des QCM. Ce mode

d’évaluation est actuellement très critiqué. La faculté de médecine de Créteil a demandé aux

enseignants d’inclure des questions dites de réflexion faisant appel à la réflexion plutôt que la

mémorisation. Nous avons donc dans un premier temps identifié ces questions et ensuite

recherché une corrélation entre les notes à ces questions et les notes globales des étudiants. Il

semble que ces notes soient corrélées entre elles et qu’ainsi les étudiants sélectionnés par le

numerus clausus soient également ceux qui réussissent le mieux aux questions des étudiants.

Ces résultats nous encouragent à poursuivre nos efforts pour augmenter la quantité de ces

questions de réflexion et les étendre à chaque UE. Ce type de questions peut donc être intégré

aux QCM pour l’examen de PACES ou à l’avenir, même s’il n’y a plus de numerus clausus,

pour la sélection des étudiants dans chaque faculté de médecine.

Mots clefs : PACES, QCM

3

Remerciements

Je remercie le Professeur Jeanne Tran Van Nhieu, Responsable PACES à la Faculté de

Médecine Créteil-UPEC pour m’avoir aidé dans l’élaboration du sujet du mémoire et confié

les notes des étudiants.

4

Tabledesmatières

RESUME 2

INTRODUCTION 5

MATERIELETMETHODES 7

POPULATION 7PREPARATIONDELABASEDEDONNEES 7STATISTIQUES 7

RESULTATS 8

IDENTIFICATIONDESQUESTIONSDEREFLEXION 8NOTESDESETUDIANTSETCORRELATIONS 8

DISCUSSION 11

CONCLUSION 12

REFERENCES 13

ANNEXES 14

5

IntroductionLa première année commune aux études de santé (PACES) a été mise en place par la loi

n°2009-833 du 7 juillet 2009 (1), entrée en vigueur à compter de l’année universitaire 2010-

2011. Pour être admis à poursuivre les études de santé les candidats doivent figurer en rang

utile sur la liste de classement correspondant à la filière choisie, c’est à dire occuper un rang

au moins égal au numerus clausus. Il est fixé annuellement par arrêté conjoint du ministère de

l’éducation nationale, de l’enseignement supérieur et de la recherche et le ministère des

affaires sociales, de la santé et des droits des femmes. (AMNEF-Association Amicale des

étudiants en médecine). Ce numerus clausus a été instauré en 1972 pour réduire le coût de la

santé et propose aujourd’hui 8000 places chaque année (2,3,4). Le gouvernement souhaite

actuellement une réforme du système de santé et une rénovation des études médicales. Le

chef de l’état a annoncé le 18 septembre dernier qu’il envisageait une suppression de ce

numerus clausus pour 2020 (5). Mais une fin du numerus clausus ne marquerait pas la fin de

la sélection des étudiants qui reste indispensable.

Les questions à choix multiples (QCM) sont le mode d’évaluation principal des étudiants en

PACES. Les épreuves ne se présentent donc pas sous la forme de questions rédactionnelles.

Ce fonctionnement est donc très critiqué, accusé de sélectionner les candidats qui ont

uniquement une bonne mémoire.

Les candidats répondraient de manière automatique sans faire appel à un raisonnement,

l’évaluation des compétences ou savoir faire n’étant que faiblement réalisée par cette

sélection. Les aptitudes relationnelles, indispensables dans les métiers de la santé ne sont par

exemple pas évaluées. Cela favoriserait les « bêtes de concours », le bachotage.

Cette PACES est également critiquée par le fait qu’il s’agisse d’une année difficile pour les

étudiants qui doivent retenir un grand nombre de connaissances, qui ne seront pas toujours

utile à l’avenir. Cette année peut être vécue comme une souffrance à la vue de la quantité de

données à mémoriser. Le concours entraîne des difficultés également sur le plan

psychologique avec un stress chez les étudiants. Cette année très intense pour les étudiants a

été illustré dans un film récent sorti en septembre 2018 « Première année » de Thomas Lilti

(6). Il souligne l’absurdité de certains QCM avec un bachotage intense.

Enfin, cette PACES a permis l’implantation dans les dernières années de classes préparatoires

privées qui organisent des programmes réguliers de révisions et d’entrainement à ce type

6

d’épreuve par QCM. Or, en raison de leur coût, elles ne permettent pas aux étudiants aux

revenus plus faibles d’en profiter.

Cependant une sélection de ces étudiants très nombreux est indispensable et les QCM sont un

des modes d’évaluation simple, peu couteux et avec traitement rapide des réponses par

informatique (7). De plus le type et le niveau de compétence évalué dépendent fortement du

contenu et de la forme des questions.

Quant à la faculté de médecine de Paris XII (Université Paris Est Créteil-UPEC), elle

accueille chaque année 1120 étudiants inscrits en PACES avec un numerus clausus fixé à 257

étudiants reçus dont 175 en médecine, 56 en pharmacie, 16 en dentaire et 10 maïeutique. Elle

permet également chaque année l’accès à 61 étudiants en kinésithérapie et 16 en ergothérapie.

L’équipe de pédagogie se penche sur cette PACES avec des réflexions sur les modalités de

contrôle des connaissances en PACES, l’expérimentation et alter-PACES. Elle se donne les

moyens d’avoir un tutorat pour les premières années par des étudiants de deuxième année de

qualité, avec aide active des enseignants. Ainsi les étudiants ne pouvant accéder aux classes

préparatoires privées peuvent se préparer et s’entrainer en organisant des concours blancs.

Elle a introduit depuis l’année 2016-20187 des QCM faisant appel à la réflexion plutôt qu’à la

mémoire pure avec des QCM avec problème, ou des QCM transversaux. Les enseignants de

chaque unité d’enseignement (UE) ont donc été invités à modifier les QCM habituels en

introduisant des questions un peu différentes de celles rencontrées dans les annales. Etant

enseignante d’anatomie (UE5), j’ai donc modifié pour une partie des QCM le type des

questions. Il existe également quelques questions à réponse ouvertes et courtes (QROC).

L’objectif de ce mémoire est donc d’identifier ces questions dites de réflexion et de savoir si

les candidats qui répondent correctement sont les mêmes qui réussissent l’examen et donc qui

n’ont pas uniquement des capacités de mémorisation.

7

Matérieletméthodes

Population

Il s’agit d’une étude observationnelle longitudinale monocentrique avec recueil exhaustif

mené sur l’ensemble de la population PACES de l’UPEC.

Nous avons choisi d’étudier les résultats concernant uniquement l’année 2017-2018 car même

si les questions de réflexion ont été introduites pour l’année 2016-2017, celles ci étaient trop

peu nombreuses et difficilement identifiables. L’étude a donc un recul sur 1 an (concours

2018).

Au total 1120 étudiants inscrits en PACES pour cette année ont été évalués.

Préparationdelabasededonnées

Nous avons recueilli par la scolarité l’ensemble des notes pour tous les étudiants, toutes les

UE et pour chaque question dans chaque UE. Pour chaque étudiant, un numéro d’anonymat a

été attribué pour chaque semestre. Nous avons donc réunis les notes de chaque semestre pour

chaque étudiant. Nous avons utilisé les tableaux de docimologie de la faculté. Les paramètres

étudiés sont la note globale de l’année (en filière médecine) avec une moyenne brute des deux

semestres (sans les coefficients), associé au classement des étudiants, la note globale des UE

qui intègrent des questions de réflexion et les réponses aux questions de réflexion.

Statistiques

Les calculs ont été réalisés par le Logiciel Excel de Microsoft Office®.

Pour chaque UE, nous avons analysé toutes les notes de chaque question et calculé un indice

basé sur le taux de réussite en fonction des résultats des bons élèves, c’est à dire classés dans

le premier tiers. Le taux de réussite à la question devait être supérieure au taux du premier

tiers des candidats. En effet, s’il y a trop d’écart en peut penser que les mauvais étudiants ont

répondu au hasard. Un taux de réussite très bas à une question a fait l’objet systématiquement

d’une réévaluation de la question par l’enseignant qui a rédigé la question et par le bureau de

docimologie avant validation définitive des résultats par la faculté.

Nous avons ensuite fait une corrélation linéaire entre les moyennes des notes globales, de

chaque UE et les réponses aux questions de réflexion identifiées au sein des UE concernées.

8

Résultats

Identificationdesquestionsderéflexion

Au final, un faible nombre de questions ont été retenues si l’on compare à l’ensemble de

toutes les questions des deux semestres. L’UE d’anatomie est l’UE qui a intégré le plus de

questions de réflexion avec introduction de nouveaux schémas ou de situations pathologiques

impliquant un raisonnement logique de la part des étudiants pour répondre aux questions.

Les UE concernées par les questions de réflexion sont:

-QCM avec problème en UE1 (Atomes, biomolécules, génome,

bioénergétique, métabolisme): 4 questions de réflexion identifiées

-QCM avec images d’histologie en UE2 : 2 questions

-QCM d’anatomie en UE5 : 7 questions

-QROC et QCM d’éthique en UE7 : note globale ainsi qu’un sous groupe

entre les questions d’économie, d’éthique et d’histoire de la médecine et entre

les questions par QROC et les questions par QCM.

Notesdesétudiantsetcorrélations

Au total les notes des 1120 étudiants inscrits en PACES ont été recueillies et analysées en

détails. Parmi eux, 249 étudiants ne se sont pas présentés à l’examen du second semestre.

Nous avons tout d’abord évalué les 257 étudiants reçus qui ont obtenu une note moyenne de

14,33/20. Parmi ces 257 étudiants il y a 159 doublants et 98 primants.

On constate que même parmi les étudiants bien classés, les étudiants réussissent moins bien à

ce type de questions. Les deux questions d’histologie ont été difficiles avec une moyenne de

7,04/20 chez les étudiants reçus.

Tableau 1 : note sur 20 de l’ensemble des 257 étudiants reçus pour chaque UE (bleu ciel) et

pour les questions de réflexions (bleu foncé)

9

Les étudiants reçus faisant partie approximativement du premier quart de la promotion, nous

avons décidé de diviser la série d’étudiants en quartiles selon leur classement (le quartile 1

étant les meilleurs étudiants classés de 1 à 280). Les résultats détaillés sont en annexe 1.

Graphique 1 : répartition en quartile des étudiants et notes en fonction des UE et des questions de réflexions. Moyenne : moyenne générale des étudiants ; UE1sel : questions de réflexion de

l’UE1; UE2.sel : questions de réflexion de l’UE 2 ; UE5.sel : questions de réflexion de l’UE 5

Nous pouvons remarquer que les étudiants les mieux classés sont ceux qui obtiennent les

meilleures notes aux questions de réflexion.

Ensuite nous avons calculé le coefficient de corrélation linéaire entre chaque UE et chaque

groupe de questions isolées. Les résultats sont présentés dans le tableau ci dessous. Les notes

aux questions d’éthique (UE 7) et aux questions de réflexion d’anatomie (UE5) semblent être

corrélées avec la moyenne des notes des étudiants.

0

2

4

6

8

10

12

14

16

18

Quartile1

Quartile2

Quartile3

Quartile4

10

Tableau 2: représentation du coefficient de corrélation entre les moyennes des étudiants et différentes notes aux questions de réflexions

(Q°sélectives= questions sélectives)

Nous avons également essayé de rechercher des spécificités en distinguant les différentes sous

parties de l’UE 7 qui sont l’éthique, l’histoire de la médecine et l’économie mais les questions

étant évaluées différemment et le nombre de questions étant variables, la comparaison est

finalement peu pertinente (tableau des corrélations de l’UE 7 en annexe 2, 3 et 4).

11

Discussion

Les résultats restent difficiles à interpréter car il n’y a pas beaucoup de questions de réflexion

identifiées. Mêmes s’il y a peu de questions, les résultats semblent tous montrer une bonne

corrélation. Nous espérons solliciter davantage les enseignants qui rédigent les questions en

PACES pour le prochain concours de 2019 et ainsi pouvoir conforter ces résultats. Nous

pourrions imaginer également des questions d’examen en mettant à disposition des étudiants

une fiche mémo ou des documents en accès libre, ce qui permettrait de moins solliciter la

mémoire. En effet, dans la vie quotidienne les médecins ont un accès rapide et simple à des

données fiables grâce aux nouveaux outils informatiques, même s’il faut des compétences

pour chercher des informations de sources fiables.

Une des difficultés pour avoir davantage de questions de réflexion à l’examen peut être le

problème de la disponibilité des enseignants qui sont de moins en moins nombreux avec des

taches universitaires de plus en plus lourdes. En effet la rédaction de ce type de questions

prend davantage de temps.

Malgré ce faible nombre de questions , il semble que ce soit les étudiants mieux classés, donc

à priori les meilleurs, qui réussissent le mieux aux questions de réflexions, ces résultats ne

semblent pas les liés au hasard. Ces questions sont pour l’ensemble des étudiants des

questions difficiles car ils ont de moins bonnes notes que leur moyenne générale. Nous

pouvons penser que les étudiants sont moins entraînés à répondre à ce type de questions ou

prennent moins le temps de réfléchir par peur de ne pas avoir assez de temps pour finir

l’épreuve. Une diminution du nombre de QCM pour laisser plus de place à la réflexion serait

à discuter par l’équipe de pédagogie. De plus les bons étudiants ayant de moins bonnes notes

à ces questions, nous pouvons penser que ces questions sont également plus discriminantes.

Dans cette étude nous avons constaté que parmi les étudiants reçus il y avait une grande partie

de primants. Il serait intéressant d’analyser plus en détails les résultats des étudiants en

fonction des primants et des doublants. Nous pourrions avec les résultats de l’année

précédente savoir si les doublants reçus à ce concours 2018 auraient été pris en 2017 s’il n’y

avait eu que des primants, c’est à dire dans le cas d’une PACES sans redoublement.

Enfin, à l’heure actuelle, il y a de nombreux débats au sein du gouvernement concernant les

réformes de l’enseignement en PACES. Une évaluation des capacités à être un bon médecin

comme les capacités de communication pourraient être évaluées par un oral. Un oral

permettrait également de diversifier le profil des étudiants.

12

Conclusion

Ainsi nous avons pu montrer que les questions de réflexion étaient corrélées entre elles.

Proposer de bons QCM, efficaces, en diminuant le risque de réponse automatique, avec des

questions de réflexions est une démarche à poursuivre pour la sélection des étudiants en

médecine. Il serait souhaitable de continuer à innover, à essayer de nouvelles modalités

d’évaluation pour essayer d’améliorer la sélection des étudiants, tout en conservant les QCM

qui sont indispensable au contrôle des connaissances mais en augmentant la quantité de QCM

faisant appel au raisonnement.

13

Références(1) : loi no 2009-833 du 7 juillet 2009 — art. 1 (V), L 631-1 du Code de l’éducation, annexe I, page 81 (2) : Fauvet L., Jakoubovitch S., Mikol F., 2015, « Profil et parcours des étudiants en première année com-

mune aux études de santé », Études et Résultats, DREES, no 927, juillet (3) : Réussir la Paces, par Pierre-Axel Domicile. Ed. du 46, 336p.,29€ (4) : La fabuleuse histoire de l’hôpital, du moyen âge à nos jours par Jean-Noël Fabiani, Ed. Pocket (5) : Fin du numerus clausus : les syndicats d’étudiants en santé veulent aller plus loin. L’annonce de la

suppression du numerus clausus est bien accueillie par les syndicats mais ne suffira pas, selon eux, à répondre aux enjeux de l’accès aux soins. LE MONDE | 18.09.2018 à 19h31 • Mis à jour le 19.09.2018 à 09h36 |Par Alice Raybaud

(6) Film Première année avec Vincent Lacoste, William Lebghil réalisateur Thomas Lilti, producteurs Agnès Vallée, Emmanuel Barraux, sortie septembre 2018

(7) : Sonia Mandin, utilité de l’informatique dans l’évaluation par qcm, réseau canopé, agence usage TICE, http://www.cndp.fr/agence-usages-tice/que-dit-la-recherche/utilite-de-l-informatique-dans-l-evaluation-par-qcm-89.htm

14

Annexes

Annexe 1 : notes moyennes pour chaque quartile

Annexe 2

Représentation du coefficient de corrélation entre la moyenne des étudiants et des différentes

notes des questions de réflexion

moy : moyenne générale des étudiants ; ue1.sel : questions de réflexion de l’UE1; ue2.sel : questions de réflexion de l’UE 2 ; ue5.sel : questions de réflexion de l’UE 5 ; ECO : question d’économie de l’UE 7 ; ETQ: question d’éthique, HDM : histoire de la maladie ; QrHDM : QROC pour l’histoire de la maladie ; QrETQ : QROC pour l’éthique.

15

Annexe 3 :

Représentation du coefficient de corrélation entre la moyenne des étudiants et les différentes

notes aux UE dont l’UE7

moy : moyenne générale des étudiants ;ue1 : moyenne de l’UE1 ; ue1.sel : questions de réflexion de l’UE1; ue2.sel : questions de réflexion de l’UE 2 ; ue5.sel : questions de réflexion de l’UE 5 ; ECO : question d’économie de l’UE 7 ; ETQ: question d’éthique, HDM : histoire de la maladie ; QrHDM : QROC pour l’histoire de la maladie ; QrETQ : QROC pour l’éthique.

16

Annexe 4 : Représentation du coefficient de corrélation entre la moyenne des étudiants et les

différentes notes à l’UE7

moy : moyenne générale des étudiants ECO : QCM d’économie de l’UE 7 ; ETQ: QCMd’éthique, Note HDM : QCM histoire de la maladie ; QROC HDM : QROC pour l’histoire de la maladie ; QROC ETQ : QROC pour l’éthique.