etats des lieux, en 2013, de l’utilisation 13... · ensuite, ce groupe rédige des situations...

1

Etats des lieux, en 2013, de l’utilisation

des Tests de Concordance de Script

pour l'évaluation des étudiants en deuxième cycle

des études médicales, en France

Mémoire de DIU de pédagogie médicale

Paris V, VI, XI, XII

Christine Pietrement

2

RESUME

Le Test de Concordance de Script (TCS), outil relativement nouveau d’évaluation de la compétence

clinique, devrait faire partie des nouvelles modalités docimologiques de l’Examen National

Classant (ECNi) à partir de 2016. Trois ans avant la mise en place de la réforme nous faisons le

point de l’utilisation actuelle en France au niveau du deuxième cycle des études médicales (DCEM)

de cette méthode d’évaluation par l’analyse des réponses à un questionnaire adressé aux 38 UFR de

médecine et rapportons dans le détail l’expérience de la faculté de médecine de Reims. A partir des

28 retours de questionnaires, il apparait qu’en 2013, six UFR utilisent ou ont utilisé les TCS au

niveau du DCEM et neuf à d’autres niveaux, essentiellement en troisième cycle. Au niveau du

DCEM, si certaines facultés en ont une expérience plus ou moins importante, en 2013, aucun

enseignement n’est validé par une épreuve comportant des TCS notés, et leurs modalités

d’utilisation ne se font pas dans des conditions de validité et de fiabilité optimales. Etant donné les

difficultés liées à leur mise en place (formation des rédacteurs, formation des étudiants, constitution

des panels) l’utilisation des TCS ne pourra s’amplifier dans les années à venir en DCEM que si

cette modalité d’évaluation est définitivement retenue pour le futur ECNi.

MOTS CLES

Tests de concordance de script – évaluation – deuxième cycle d’études médicales - ECNi

3

INTRODUCTION :

Une réforme de l’examen classant national (ECN) sera mise en place en 2016. L’épreuve

actuelle composée de 8 dossiers cliniques rédactionnels et d’une lecture critique d’article (LCA)

sera remplacée par l’Examen Classant National Informatisé (ECNi). Cette nouvelle épreuve et

l'organisation qui l'accompagne (SIDE-S) ont plusieurs buts : améliorer la pertinence du classement

(actuellement il y a environ 7500 candidats au total, dont 5000 classés sur 200 points), éviter le

bachotage et mettre l'épreuve au service de la formation des étudiants en valorisant les stages

cliniques, rendre plus fiable, plus équitable et plus rapide la correction (par son automatisation et

par la modification de la docimologie), harmoniser la préparation des étudiants sur l'ensemble du

territoire, élargir le champ des compétences testées. L’ECNi sera caractérisé par son informatisation

(réponse des étudiants sur tablettes numériques), la disparition des dossiers cliniques rédactionnels,

et du résumé dans l’épreuve de LCA, l’apparition de questions à réponses multiples (QRM), de

questions à réponse unique (QRU), de questions à réponses ouvertes et courtes (QROC), de dossiers

progressifs (DP) et d’une épreuve tout à fait nouvelle peu connue actuellement des étudiants et des

enseignants, les tests de concordances de script (TCS). D’ici 2016, les enseignants et les étudiants

devront donc être formés à cette nouvelle méthode d’évaluation, une banque de TCS devra être

constituée, ainsi les TCS vont devoir très rapidement apparaître dans la docimologie des facultés de

médecine françaises. Nous avons voulu savoir, en 2013, à l’aube de la mise en place de la réforme,

si les TCS étaient déjà utilisés au cours des études de médecine, dans quelles facultés, sous quelles

modalités, et quelles étaient les opinions des enseignants vis à vis de cette nouvelle forme

d’évaluation, enfin nous apportons notre réflexion sur les questions qui peuvent être soulevées par

leur généralisation dans la validation d'enseignements au deuxième cycle des études médicales

(DCEM) et leur utilisation pour classer les étudiants à l'ECNi.

Un TCS : qu’est ce que c’est ?

Le TCS est un outil relativement nouveau de mesure de la compétence clinique créé par le

Pr Bernard Charlin de l’université de Montréal 1. Ce test est conçu pour évaluer la capacité de

raisonner en contexte d'incertitude et de résoudre des problèmes mal définis. En pratique clinique le

médecin est souvent en face à ce type de problème. Les informations dont il dispose sont

incomplètes, ambiguës, incertaines, ou peuvent faire l'objet de différentes interprétations. Pour

résoudre ce type de problème le médecin doit mobiliser ses connaissances mais aussi son

expérience et son raisonnement clinique. Le TCS permet d'évaluer la capacité de l'évalué à

raisonner en contexte d'incertitude. Il apprécie l'organisation des connaissances et non uniquement

les connaissances factuelles.

Le TCS est composé d'un énoncé (ou vignette) qui décrit une situation clinique réaliste qui doit

4

être problématique même pour un clinicien expérimenté. Plusieurs options de diagnostic, et de prise

en charge, doivent être envisageables. La description peut être incomplète et certaines données

ambiguës ou sujettes à plusieurs interprétations possibles. La tâche consiste à envisager l'effet que

produirait l'apparition d'une nouvelle donnée sur le statut d'une des options pertinentes, puis d'une

autre donnée sur une autre option, etc. Pour une situation clinique donnée, plusieurs questions

successives (les items) peuvent être envisagées, indépendantes les unes des autres. La structure du

TCS est donc très stéréotypée, associant la description de la situation clinique, suivie par une série

de questions qui comportent trois parties :

1. une hypothèse diagnostique, une investigation complémentaire, ou une option thérapeutique

envisageables et plausibles au vu de la situation clinique

2. une nouvelle information

3. une échelle de Likert en 5 points (-2, 0, -1, 0, +1, +2) qui mesure l'effet de la nouvelle

donnée sur la pertinence de l'hypothèse, dont la signification de chacun des points est

précisée dans l'énoncée. Il s'agit de brèves propositions d'ordre qualitatif. Les différents

points de l'échelle correspondent à des valeurs positives (l'option est renforcée par la

nouvelle donnée), neutres (la donnée ne modifie pas le statut de l'option) ou négatives

(l'option est infirmée par la donnée).

Exemple 1 : Evaluation d’une aptitude à proposer un diagnostic

Si vous pensez à… Et que vous observez… Votre hypothèse devient…

Une hypothèse diagnostique Une information clinique, un

cliché d’imagerie, un résultat

d’examen complémentaire

-2 -1 0 1 2

-2 L'hypothèse est pratiquement éliminée , -1 L'hypothèse devient peu probable , 0 Cette

information n’a aucun effet sur l'hypothèse diagnostique , +1 L’hypothèse devient plus probable ,

+2 L'hypothèse devient pratiquement certaine

Exemple 2 : Evaluation d’une aptitude à choisir une investigation complémentaire

Si vous pensiez demander… Et qu'alors vous trouvez… L'effet sur la nécessité de

demander ce test est le suivant ...

Option d'examen para clinique Une information clinique, un

cliché d’imagerie, un résultat

d’examen complémentaire

-2 -1 0 1 2

-2 absolument contre-indiqué , -1 peu utile ou plutôt néfaste , 0 ni plus ni moins utile , +1 utile et

souhaitable , +2 indispensable

Exemple 3 : Evaluation d'une compétence à proposer un choix thérapeutique

5

Si vous pensiez faire… Et qu'alors vous trouvez… Votre hypothèse devient…

Une option thérapeutique Une nouvelle information

clinique ou le résultat d’un

examen complémentaire

-2 -1 0 1 2

-2 absolument contre-indiqué , -1 peu utile ou plutôt néfaste , 0 ni plus ni moins utile , +1 utile et

souhaitable , +2 indispensable

L’attribution du nombre de points est l'un des autres éléments très originaux du TCS. On

considère que la réponse donnée à chaque question pour un clinicien donné n'est jamais de type

binaire de sorte que, pour une question donnée, deux cliniciens expérimentés n'apporteront pas

exactement la même réponse. Il est donc plus pertinent de réunir un panel d'experts, qui devra

répondre individuellement aux questions du test dans les mêmes conditions que les étudiants testés

pour chaque item. Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise

par la majorité des experts (réponse modale) et un nombre partiel de point est attribué aux autres

réponses choisies par le membres du panel (par exemple, les experts se sont répartis comme suit : 7

experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit

comme 7 experts (la majorité) recueille 7/7 point soit 1 point. Un étudiant qui choisit l’option –2

comme 4 experts recueille 4/7 point soit 0,57 point).

En théorie la construction d’un test complet de TCS passe par différentes étapes. D’abord un

petit groupe d’enseignants (1, 2 ou 3) sélectionne des situations cliniques problématiques

considérées comme relevant du champ de compétence du niveau des étudiants qui seront testés.

Ensuite, ce groupe rédige des situations cliniques sous forme de vignettes (mini cas clinique)

suivies chacune d’une série de questions (items). La vignette essaie de reproduire un contexte

clinique authentique, dans un scénario qui pose problème même pour un expert. Les vignettes et

items peuvent comporter des documents iconographiques. Ensuite un groupe de médecins

expérimentés dans la discipline, différents du groupe d’enseignants ayant participé à l’élaboration

du test, est constitué, il comporte idéalement au moins 15 personnes, et constitue le panel d’experts.

Enfin les experts passent le test dans les mêmes conditions que les étudiants. Leur réponses

deviennent les réponses de référence auxquelles seront comparées les réponses des évalués, et

permettent de déterminer le nombre de points correspondant à chacune des réponses.

MATERIEL ET METHODE :

Un questionnaire (Annexe 1) a été adressé à tous les doyens des facultés de médecine de

France (Métropole et Outre mer), par mail (premier envoi en mars 2013), puis sous format papier

(début mai 2013), avec relance par mail en juin, puis relance par mail et téléphone en juillet et août

6

2013. Ce questionnaire visait à savoir si les TCS étaient utilisés pour la validation d'enseignements

au cours du DCEM en France, en 2012-2013. Si c'était le cas des précisions sur les modalités de la

mise en place de cette méthode d’évaluation étaient attendues. Si les TCS n’étaient pas utilisés dans

la faculté pour la validation des enseignements du deuxième cycle, des réponses à des questions

portant sur la connaissance de ces tests et le ressenti vis à vis de cette nouvelle forme d’évaluation

étaient attendues.

RESUTATS :

Toutes les facultés de médecine de France (métropole et outre-mer) ont été contactées, soit

38 au total. Le retour de 28 questionnaires a été obtenu au prix, parfois, de nombreuses relances,

soit un taux de réponses de 73% (Annexe 2). La première partie du questionnaire (Si votre réponse

est négative) a été complétée par 24 facultés, la seconde partie (Si votre réponse est positive) par 5

facultés.

Utilisation des TCS au cours des études médicales, en dehors du deuxième cycle :

Dans les facultés où les TCS n'étaient pas utilisés au cours du DCEM, ils étaient ou avaient

été utilisés dans 9 d'entre elles (9/24, soit 37.5% et 32,1% sur l’ensemble des 28 réponses totales)

pour valider d'autres enseignements. Il s’agissait principalement d’enseignements du troisième

cycle : validation du troisième cycle de Médecine Générale dans deux facultés (Nancy et Toulouse

Rangueil), utilisation à titre expérimental en troisième cycle de Médecine Générale depuis 2004 à

Rouen, validation du troisième cycle en Gériatrie et du troisième cycle en Rhumatologie à Paris VI,

validation du troisième cycle en Chirurgie Orthopédique Pédiatrique à Lyon Est. Deux facultés

signalaient leur utilisation en troisième cycle sans en préciser la discipline (Amiens, Besançon).

Dans un cas l’utilisation des TCS pour la validation d’enseignements autres que ceux du DCEM

étaient mentionnée sans autre précision (Paris Ile de France Ouest). Enfin, à Marseille les TCS

avaient été utilisés dans le passé dans le cadre de la Formation Médicale Continue lors d'évaluations

des pratiques professionnelles au cours de séances de groupes d'analyse de pratique entre pairs

2.

Utilisation des TCS au cours du deuxième cycle des études médicales :

Quatre facultés (4/28, 14,3%) avaient mis en place les TCS au cours du DCEM de manière

antérieure ou au cours de l'année 2012-2013. Il s'agissait de Rouen, Nice, Lille, et Reims. Deux

facultés avaient utilisés dans le passé les TCS pour la validation d’enseignements du DCEM et les

avaient depuis abandonnés (Angers, Rennes).

Rouen avait mis en place les TCS à titre expérimental, sans valeur validante, depuis 2002 en

7

DCEM2, DCEM4 et pour le Certificat de Synthèse Clinique et Thérapeutique. Le Projet pour 2013-

2014 était de les inclure dans la validation des enseignements de M1/DCEM2 en uro-néphrologie,

pneumologie, cardiologie et gastro-entérologie. Les TCS étaient habituellement rédigés par deux

enseignants et validés par un groupe d'experts de la spécialités de 6 à 10 personnes, professeurs des

universités (PU-PH), praticiens hospitaliers (PH), chefs de clinique (CCA), et internes en fin de

formation. Le score minimal qui serait retenu pour la validation de l’examen restait encore à

déterminer au moment de l'enquête, mais la réflexion s'orientait vers une note minimale requise au

moins égale à -2DS du score du panel. Par ailleurs, il était prévu que le poids des TCS dans les

épreuves serait de l’ordre de 25%.

Nice avait mis en place les TCS, depuis plusieurs années, à titre expérimental, sans valeur

validante, ponctuellement au cours de protocoles d'étude (enseignement de la médecine d'urgence,

LCA, validation d'un panel d'experts), et en juin 2013 pour un entraînement sur tablette

reproduisant les futures conditions de l'ECNi. Il était prévu que les TCS soient utilisés dans des

examens validant à partir de l'année 2013-2014 pour la validation d’enseignements en M1/

DCEM2. Les sessions d'examens au cours desquelles seraient utilisés alors des TCS valideraient

plusieurs unités d'enseignement en même temps et seraient donc transdisciplinaires. Le maximum

de points possible obtenus aux TCS devrait représenter 10% de ceux de l'ensemble de l'épreuve.

Des séminaires de formation avaient été suivis par les enseignants en charge de l'élaboration des

TCS. Les questions avaient été rédigées par des enseignants de la spécialité formés et avaient été

validées par le département de pédagogie médicale (DPM). S'il n'y avait pas eu assez de production

de TCS, l'élaboration en était revenue au DPM avec une validation scientifique par les spécialistes.

Cette solution n’avait cependant pas été du tout satisfaisante en raison de la difficulté pour les non

experts de la spécialité à élaborer des questions et de couvrir tous les champs d’une discipline mal

connue, ceci même si certains des rédacteurs pouvaient être considérés comme polyvalents (ex :

internistes, urgentiste, généralistes, thérapeutes). Les étudiants avaient également été formés par un

séminaire dédié et avaient reçu par mail un guide d'utilisation pratique des TCS. La question de la

constitution du panel d'experts avait été difficile en particulier du fait de l'utilisation de TCS au

cours d'un examen validant plusieurs unités d'enseignement et couvrant donc plusieurs spécialités. Il

était apparu difficile d'utiliser un panel unique, totipotent, d'experts de différentes spécialités pour

valider l'ensemble des questions, et l'orientation prise était plutôt de constituer plusieurs panels qui

répondraient uniquement aux TCS relevant de leur spécialité.

Lille mettait cette épreuve en place au cours de l’année 2012-2013 au niveau DCEM2, pour

la validation des enseignements de cardiologie et de gynécologie. Les TCS avaient été rédigés et

validés par des médecins (PU-PH, PH, CCA) de ces deux spécialités (2 rédacteurs, et 10 experts).

Concernant les scores, il était initialement prévu d’additionner les points obtenus à chaque item de

8

TCS aux points acquis dans les autres parties de l’épreuve comportant des dossiers cliniques, les

TCS devant être notés sur 20 et devant représenter 5% de la note finale. Finalement les points

obtenus aux TCS n’ont pas été intégrés à la note finale. Les TCS n’ont donc pas été validant.

Reims a mis en place pour la première fois au cours de l’année 2012-2013 des TCS en

L3/DCEM1, pour la validation de l’unité d’enseignement (UE) de sémiologie uro-néphrologique

intitulée «Reins et Voies urinaires». La mise en place s’est faite assez rapidement puisque c’est en

février 2013 que la décision d’inclure des TCS portant sur la néphrologie dans l’examen validant

cette UE a été prise. Dans un premier temps, le 5 mars 2013, une présentation de cette méthode

d’évaluation a été faite à l’ensemble des médecins séniors du service de néphrologie comprenant au

total 2 CCA, 2 MCU-PH, 1 PU-PH et 8 PH. Aucun d’entre eux ne connaissaient cette technique

d'évaluation au moment de la présentation qui était basée sur une publication présentant cette

méthode d’évaluation de manière très pratique 3. A l’issu de cette présentation cinq personnes

(1CCA, 2 MCU, 1 PU-PH, 1 PH chargés d’enseignement au sein de cette UE), étaient d’accord

pour rédiger des vignettes accompagnées de leurs items. L’objectif fixé était la rédaction par chacun

de 3 vignettes comprenant chacune 3 items, afin d’avoir suffisamment de matériel pour les deux

sessions d’examen et une session blanche de révision prévue à la fin de l’enseignement de l'UE.

Cette première série comportait au final 17 vignettes (3 items pour 17 d’entre elles et 4 items pour

l’une d’entre elles) et avaient été rédigées par 4 personnes (1CCA, 2 MCU, 1 PH) (Annexe 3). Le 2

avril 2013, le panel d’experts a passé l’épreuve. Ce panel était composé ce jour là de 10 personnes,

dont les 4 qui avaient rédigé les questions (2 CCA, 2 MCU-PH, 1 PU-PH, 5 PH). Les experts ont

répondus à l’ensemble des 52 questions en 30 min (soit 34 sec/question). Suite à la collection des

réponses de l’ensemble du panel d’experts 17 questions (17/52, soit 32.7 %) ont été éliminées car

les réponses des experts étaient très étalées sur l’échelle de Likert. Afin d’avoir un nombre suffisant

de TCS pour les deux épreuves de validation et la session d’entraînement, de nouveaux TCS ont été

élaborés par le même groupe que précédemment et proposés à nouveau aux experts le 12 avril. Il

s’agissait de 9 vignettes comprenant chacune 3 items, certaines entièrement nouvelles, d’autres

remaniées par rapport à la session précédente. Lors de cette seconde session, le groupe d’experts

était composé de 11 personnes, dont celles qui avaient participé à la rédaction des tests (2 MCU-PH,

1 PU-PH, 8 PH). Le groupe a répondu aux 27 questions en 15 minutes (soit 33 sec/question). Suite

à la collection des réponses de l’ensemble du panel d’experts 10 questions (10/27, soit 37 %) ont été

éliminées car les réponses des experts étaient très étalées sur l’échelle de Likert. Au total, après les

deux séances de validation, notre banque d’examen comportait 52 items pour 27 vignettes. Une

partie des TCS a été utilisée pour une session, non obligatoire, d’entraînement des étudiants d’une

heure, le 10 avril. Au cours cette séance les étudiants ont à la fois découvert cette méthode

d’évaluation innovante et se sont entraînés à y répondre. La première session de l’examen de

9

validation a eu lieu le 21 mai 2013. L’examen était composé de 42 QCM, 1 Cas clinique QCM

comprenant 6 QCM et 3 TCS (3 vignettes avec 3 à 4 items chacune, soit 10 questions au total,

pouvant rapporter au maximum 10 points). Globalement le plus grand nombre d’étudiants ont choisi

la réponse choisie par le nombre maximum d’experts, mais un grand pourcentage d’étudiants, à

chaque question a choisi d’autres réponses. Au total le résultat moyen des étudiants n’était que de

2.5/10. Il a finalement été décidé de ne pas tenir compte des résultats aux TCS dans la note finale.

La faculté d'Angers avait utilisé les TCS pour la validation d'enseignements de début du

deuxième cycle (Neurologie, Gériatrie, Handicap, ORL et OPH) en 2009, 2010 et 2011. Les

groupes d'experts étaient composés de PU-PH, CCA et PH locaux et parfois régionaux. Les TCS

correspondaient à environ 10% de la totalité de l'examen qui comportaient par ailleurs des QCM.

Les points obtenus étaient intégrés à la note finale de l'examen, il fallait au moins 50% des points

pour être validé. Les TCS ont finalement été abandonnés car les enseignants ont estimé que le

niveau de connaissance attendu des étudiants à ce stade de leur formation ne se prêtait pas à une

évaluation en situation d'incertitude. Globalement, leur mise en place n'avait pas posé de problème.

La faculté de Rennes avait utilisé les TCS pour la validation de l'enseignement de

pneumologie en 2010 et 2011. L’épreuve de validation comportait un cas clinique comptant pour

2/3 de la note et 20 items de TCS répartis sur 6 vignettes (1/3 de la note finale) 4. Cette épreuve

s’intégrait à la validation des enseignements de cardiologie, endocrinologie-nutrition et

dermatologie. La durée totale de l’épreuve était de 3 heures soit environ 45 minutes pour la

pneumologie. Les TCS (au total 8 vignettes et 26 items) avaient été rédigés par un binôme

d’enseignants. La panel d’experts était composé de 13 personnes (2 PU-PH, 6 PH, 2 CCA, 2

internes en fin de cursus et un pneumologue libéral). Les étudiants bénéficiaient d’une information

écrite via « Le guide de l’étudiant » remis à chaque début de semestre et d’une séance de

préparation d’une heure par groupe de 20 à 22 sous forme de travaux dirigés. Au cours de ces

séances les étudiants répondaient à 2 TCS (2 vignettes et 6 items). Pour l’une des deux années 6

items (6/26, 23%) n’étaient pas corrects et devaient être retirés de la série. Après deux années

d’utilisation les TCS ont finalement été retirés de l’examen de validation pour plusieurs raisons.

D’abord les connaissances des étudiants ne semblaient pas suffisamment organisées, notamment par

manque d’expérience, pour avoir de bons scores, ensuite le temps de formation nécessaire des

étudiants a été considéré comme trop long, enfin parce que ces tests n’étant pas utilisés dans l’ECN

de l’époque ils pouvaient être considérés comme une perte d’entraînement aux cas cliniques.

Les méthodes d’évaluations actuelles ne sont pas satisfaisantes :

Peu de facultés déclarent que leurs méthodes d’évaluation sont satisfaisantes (6/24, 25%),

certaines d’entre elles utilisent notamment des dossiers cliniques transversaux et des évaluations

10

orales formalisées. La plupart des facultés estiment que les évaluations pratiquées ne remplissent

pas les objectifs qu’elles se sont fixées pour leurs étudiants (formation théorique et pratique). Le

problème le plus souvent évoqué est la nature de ce qui est évalué par les méthodes classiques de

cas cliniques rédactionnels, « imposés » par l’ECN actuel : plutôt des connaissances factuelles, dans

des contextes cliniques bien définis, sans évaluation de la qualité du raisonnement clinique. Le

problème de la correction manuelle d’un nombre important de copies, consommatrice de temps est

aussi signalé.

Automatisation et diversité des évaluations :

L’ensemble des facultés est favorable a une automatisation des corrections en raison du

problème de l’inflation du nombre d’étudiants et du problème d’équité. Cependant, dans de

nombreuses réponses apparait l’intérêt de diversifier les modes d’évaluation, que ce soit à l’écrit

pour permettre d’évaluer plus finement les notions mal assimilées, ou à l’oral (ex : épreuves en

contexte de simulation), en plus des méthodes automatisables diverses (DP, QRM, QROC, TCS).

Avis divergents vis à vis de l’utilisation des TCS au DCEM :

Parmi ceux qui ont répondu aux questionnaires, tous sauf trois (3/24), connaissent les TCS,

et leur intérêt pour évaluer le raisonnement clinique en contexte d’incertitude. Les avis sont

partagés sur la pertinence de leur utilisation au cours du DCEM. Un petit nombre est très

enthousiaste (4/24) et voit dans les TCS l’apport d’une méthode d'évaluation où le bachotage n'est

pas possible, et qui met en valeur l'apprentissage clinique effectué au cours des stages. D’autres sont

plus dubitatifs. Pour neufs facultés (9/24, 37.5%) les TCS sont peu adaptés à une évaluation

sanctionnante au cours du DCEM en raison de la faible expérience clinique des étudiants, mais ils

auraient un intérêt formatif au cours de séances avec discussion immédiate des choix de réponse et

semblent beaucoup plus adaptés à des évaluations sanctionnantes au troisième cycle car les

étudiants ont acquis à ce niveau une expérience clinique plus importante. Le plus grand nombre

estime que la mise en place dans les facultés sera difficile en raison de la nécessité de former à la

fois les enseignants à leur rédaction et les étudiants pour qu'ils se familiarisent avec cette nouvelle

méthode d'évaluation. Le problème de la réunion d'un panel d'experts en nombre suffisant dans

certaines facultés est également soulevé .

Constitution d’une banque nationale de TCS

L’ensemble des répondeurs se dit prêt à participer à la constitution d’une banque nationale

de TCS.

11

DISCUSSION :

Au moment de la mise en place de la réforme de l’ECN, qui aboutira à son remplacement en

2016 par l’ECNi dont les caractéristiques seront essentiellement l’informatisation des épreuves,

l’automatisation de la correction et une plus grande variété docimologique avec notamment

l’introduction des TCS, nous avons voulu faire le point sur l’utilisation, en 2013, en France de cette

méthode d’évaluation du raisonnement clinique innovante et assez peu connue.

Alors que 6 facultés de médecine utilisent ou ont utilisé des TCS, à titre d'expérimentation ou en

validation, au cours du DCEM, 9 les utilisent pour valider d’autres types d’enseignement,

essentiellement au niveau du troisième cycle. Ainsi au total 15 facultés, sur les 28 qui ont répondu

au questionnaire (53%) ont ou ont eu une expérience pratique des TCS, soit plus d’un tiers (39%)

de l’ensemble des 38 facultés de médecine françaises.

Le TCS est basé sur deux théories du raisonnement clinique : la théorie hypothético

déductive et la théorie des scripts 5. Pour donner un sens et agir efficacement dans une situation, les

cliniciens activent des scripts c'est à dire des réseaux de connaissances organisées pour la résolution

de tâches spécifiques. L'intérêt du TCS pour évaluer la qualité du raisonnement clinique en contexte

d’incertitude, ainsi que l’organisation et la structuration des connaissances 6, a été largement

démontré dans de très nombreuses publications, dont un grand nombre est facilement accessible sur

le site internet du Centre de Pédagogie Appliquée aux Sciences de la Santé (CPASS) de la faculté de

médecine de l’université de Montréal, centre dirigé par Bernard Charlin concepteur du TCS 7. Les

qualités de validité (c'est à dire la capacité du test à mesurer effectivement ce pourquoi il a été

construit, ici la capacité de raisonnement clinique en contexte d'incertitude) et de fiabilité (c'est à

dire la capacité du test à mesurer effectivement et de manière reproductible le niveau de l'examiné

dans le champ évalué), des TCS lors de leur utilisation dans le champ de la formation aux métiers

de la santé ont été démontrées qu'ils soient utilisés en début 8

ou en fin de cursus 9. Notre enquête

met en évidence un certain nombre de difficultés pratiques à la mise en place de ces tests au cours

du DCEM qui pourraient cependant mettre à mal validité et fiabilité des TCS quand les règles

précises d’utilisation ne sont pas bien respectées.

Bien que tous les items abordaient des notions vues en cours, les étudiants rémois de

L3/DCEM1 ont eu de mauvais scores aux TCS intégrés à l'évaluation de l'enseignement de

sémiologie néphrologique. Dans tous les cas, l'intégration des notes obtenues aux TCS faisaient

diminuer la note globale, composée également des points obtenus aux autres parties de l'examen qui

exploraient essentiellement des connaissances. Ces résultats médiocres ont plusieurs explications.

Les étudiants ont été très peu préparés à passer ces tests. Ils n’ont eu que quelques TCS

12

d’entrainement au cours d’une seule séance de révision qui n’était pas obligatoire. D’autres

modalités d’information sur cette nouvelle évaluation auraient été nécessaires (document écrit

facilement consultable comme dans les expériences de Nice, Rennes et l’université d’Adelaïde 10

11

,

répétition des séances d’entrainement). La construction visuelle des TCS est stéréotypée avec un

chapeau correspondant à la vignette, au dessous trois colonnes, et sous l'ensemble un rappel de la

signification des grades de l'échelle de Likert. En raison d'une mise en place trop rapide, les TCS

soumis aux étudiants rémois en 2013 n’ont pas été mis sous cette forme mais présentés sous un

format bâtard de questions à choix simple (Annexe 4). Le format trois colonnes, à mon avis, aide au

raisonnement car il permet d’avoir dans un même champ visuel les trois éléments intervenant dans

le raisonnement : la vignette clinique, l’hypothèse et le nouvel élément proposé et permet de bien

signaler qu’il s’agit d’un TCS. Le format spécifique TCS semble donc important à respecter. Ces

résultats montrent également la difficulté que peut représenter ce test pour un étudiant en début de

DCEM. Humbert et al rapportent des scores à des TCS d'étudiants américains en début de formation

(deuxième année d'école de médecine). Leurs résultats sont également médiocres, en moyenne à

60% de réussite, celle-ci n'étant dans certains cas que de 33% 8. En début de DCEM les étudiants

ont encore passé très peu de temps en stage et sont donc tout au début de la construction de leurs

propres scripts nécessaires à la compréhension et à au traitement de l'information clinique, leurs

scripts présentent peu de concordance avec ceux de médecins expérimentés. Ainsi, je pense,

comme d'autres répondants au questionnaire, que les TCS ne sont pas très adaptés à une évaluation

sanctionnante au moins dans la première année du DCEM (DCEM1/L3).

L’utilisation des TCS comme outil de formation au cours du DCEM pourrait être

intéressante. La littérature rapporte des expériences d'utilisation formative que se soit au cours de la

formation des étudiants avec l'utilisation de boîtiers interactifs ou pour permettre de repérer des

étudiants dont le raisonnement pose problème et de leur apporter une aide spécifique 3

12

13.

Cependant l'intérêt de leur utilisation dans un but formatif a été peu exploré et nécessite

confirmation. Car si l'impression spontanée est que les TCS permettent de conduire les étudiants

vers un apprentissage réfléchi à la place d'un apprentissage par la mémorisation par cœur, ceci n'a

été que très peu étudié. En outre, le fait d'accentuer la notion d'incertitude dans l'interprétation des

données cliniques dans le but de simuler la pratique médicale réelle pourrait être contre productif

chez des étudiants en tout début de formation 14

.

La validité de construit des TCS passe par l'élimination de certains items considérés comme

inadéquats après avoir obtenu les réponses des experts. Si la situation clinique présentée dans la

vignette comporte trop d’incertitude les réponses des experts s’étalent sur l’ensemble de l’échelle de

Likert, si au contraire elle n’en présente pas assez tous les experts choisissent la même réponse et

l’item devient équivalent à une QRU. On considère dans ces cas là qu'il s’agit de questions mal

13

construites qui devraient être éliminées ou reformulées avant d'être intégrées à un test complet

optimisé 15

. Dans l’expérience rémoise, mise sur pied en quelques semaines, avec une formation

minimale des rédacteurs et du panel d’expert, 32 à 37% des TCS devaient être retirés du pool de

tests, dans l’expérience rennaise 23% des TCS étaient éliminés 4. La littérature rapporte une

moyenne de 25% des TCS éliminés, l'extrême pouvant aller jusqu'à 70% 16

. Ce nombre de TCS

éliminés suite à l’analyse des réponses des experts peut être réduits par une validation de l’ensemble

des questions par une ou deux personnes. Ceci n’a pas été fait à Reims, tous les TCS rédigés ont été

soumis aux experts alors qu’une relecture par une autre personne que le rédacteur aurait pu d’emblé

repérer certains des TCS mal rédigés ou peu pertinents pour le niveau des étudiants à évaluer.

La validité du test passe également par la qualité de la vignette clinique qui doit

effectivement correspondre à une situation clinique représentative de cas vus dans la pratique

médicale réelle 17

. La construction d'une vignette adaptée au niveau d'un étudiant de DCEM, surtout

en début de cycle, peut présenter des difficultés 18

. Les situations cliniques réelles, rencontrées au

cours des consultations vécues par les enseignants, dont il est fortement conseillé de s'inspirer pour

créer les vignettes et les items 3 17

ne sont pas forcément adaptées au niveau de connaissance d'un

étudiant en début ou milieu de DCEM. Une situation courante dans la discipline explorée par une

vignette clinique authentique représente une situation déjà très complexe pour un étudiant en début

de DCEM qui a fait très peu de stage, et qui ne fait que commencer l'apprentissage du raisonnement

clinique, un processus compliqué dont toutes les étapes doivent être progressivement maîtrisées 19

20. L'incertitude perçue par un médecin expérimenté ne portera pas forcément sur le même point que

celui d’un étudiant, qu'il n'est pas forcément évident pour l'enseignant d'entrevoir a priori. Le test

est conçu pour évaluer la qualité d'un micro-jugement clinique et non l'ensemble d'un raisonnement

que fera sans difficulté un médecin expérimenté. Il faut que le rédacteur sache retourner à ce stade

du micro-jugement. Ces difficulté expliquent que les TCS soient jusqu’à présent plus utilisés au

cours de troisième cycle qu’en DCEM comme le montre notre enquête et la littérature 16

. A ce

niveau, il est aisé de construire des TCS valides car rédacteurs et examinés ont des connaissances et

des scripts plus convergents.

Pour obtenir une fiabilité optimale (coefficient de Cronbach > 0,8) une épreuve de TCS

doit comporter 20 à 25 vignettes comportant chacune 3 items, soit au total 60 à 75 questions, elle se

déroule dans ces conditions en 60 à 90 minutes 15

21

. Dans notre enquête aucun des examens les

intégrant ne comportait uniquement des TCS. A chaque fois il s'agissait de quelques TCS associés à

d'autres types de questions (QCM, QROC, dossier clinique). Dans l'expérience rennaise, où il a été

calculé, le coefficient n’était que de était de 0.35 4. Ainsi dans les conditions actuelles d'utilisation

des TCS au cours d'examens potentiellement validant en DCEM le coefficient de consistance

interne ne peut pas atteindre 0,70, et donc la fiabilité n’est pas optimale.

14

La fiabilité d'une épreuve de TCS repose également sur le nombre d'experts composant le

panel. Gagnon et al. ont montré qu’un panel de référence devait comporter au moins une quinzaine

de membres pour des TCS dont l’enjeu est certificatif afin de garantir une fiabilité estimée correcte

exprimé par le coefficient alpha de Cronbach (>0,70)

21. Pour les TCS à visée formative, sans enjeu

de classement ou de certification, le panel peut être composé de 8 à 10 membres, alors que pour les

examens avec enjeu certificatif particulièrement important le nombre doit atteindre 20. La réunion

de ce nombre importants d'experts est un problème pratique cité à de nombreuses reprises dans les

réponses au questionnaire et qui est confirmé par les expériences pratiques rapportées dans le

détail. Rennes avait pu réunir 13 experts, Reims 10 et 11, Rouen n'avait pu en réunir que 6 à 10.

Ces effectifs étaient faibles malgré la participation au panel des personnes ayant participé à

l'élaboration des tests à Rennes et Reims, d'internes en fin de cursus à Rouen, d'un médecin libéral à

Rennes, de personnes d'un autre hôpital à Rouen. Ces effectifs étaient donc tout juste corrects voir

insuffisants pour des TCS réalisés pour épreuve sanctionnante. Le risque d’un manque de fiabilité

des épreuves comportant des TCS est donc important dans les modalités actuelles de mise en place

en DCEM.

Le type de professionnels qui composent le panel n'est pas sans conséquence. En théorie, le

panel doit être composé de spécialistes de la discipline qui exercent une « pratique validée » 17

.

L'idée de base est que la performance des évalués soit comparée avec un groupe de personnes qui

sont légitimement représentatives de la profession (ou de la spécialité) à laquelle les évalués

aspirent à appartenir. La composition d'un panel en nombre restreint composé en partie d'internes,

même en fin de cursus, est un élément qui peut remettre en cause la qualité de l'épreuve or il est

évident que composer des panels remplissant toutes les qualités requises n’est pas aisé dans les

petites facultés de médecine. Une solution à ce problème d'effectif pourrait être de constituer des

panels à partir de praticiens de plusieurs CHU (par inter-région par exemple), ou d'ouvrir les panels

à des praticiens expérimentés locaux exerçant hors CHU. Quelque soit la solution choisie, celle-ci

n'est pas sans conséquence pour l'étudiant car toute modification d'un panel d'experts, que ce soit au

niveau de leur spécialisation, de leur mode d'exercice ou de leur nombre, influe au final sur les

notes obtenues par les étudiants même si globalement leur classement les uns par rapport aux autres

n'est pas modifié. Une étude portant sur des TCS utilisés pour évaluer des sages-femmes a montré

un score de fiabilité de 0,300 si le panel était composé de sages-femmes ayant des compétences

générales et de 0,395 si elles étaient au contraire spécialisées dans les divers domaines testés dans

l'épreuve 22

. Une étude en dermatologie a montré que les scores des internes testés étaient différents

selon que le panel était composé de praticiens exerçant en ville ou à l’hôpital23

. En médecine

générale, un panel composé de médecins généralistes de ville ayant ou n'ayant pas de fonction

enseignante ne conduit pas aux mêmes résultats chez les étudiants 24

. Ainsi la constitution du panel

15

d'experts est quelque chose de difficile et de délicat dans le cadre d'une épreuve certifiante ou

classante.

CONCLUSION

Le TCS est une méthode innovante d'évaluation du raisonnement clinique dont l’intérêt est

largement documenté par de nombreuses publications. Un petit nombre de facultés de médecine

françaises en ont une expérience plus ou moins limitée au niveau du DCEM, en l’utilisant souvent

dans des conditions de validité et de fiabilité non optimales. Etant donné les difficultés liés à leur

mise en place dans les évaluations du DCEM (formation des rédacteurs, formation des étudiants,

constitution des panels), leur utilisation ne s’amplifiera dans les années à venir que si ce type de

docimologie est définitivement retenu pour le futur ECNi. La diffusion de leur utilisation devrait

faciliter la constitution de panels mieux adaptés à des examens sanctionnant par des regroupements

de spécialistes de plusieurs CHU. La mise en commun des épreuves de chaque établissement dans

une banque nationale semble intéressante mais n'aura d'intérêt pour l'étudiant que s'il a accès à la

réponse du panel, de quel panel s’agira t il dans ce cas ? L'utilisation des TCS au niveau national

dans l'ECNi pourrait être délicate dans cette épreuve qui représente un enjeu majeur pour l'avenir

professionnel de chaque étudiant. Les choix portant sur la composition du ou des panels seront

particulièrement importants car celle-ci influence les scores obtenus par les candidats et donc au

final influera sur leur classement dans cette épreuve globale qui comportera différentes modalités

d’évaluations, avec potentiellement des risques de contestation des résultats et la possibilité d'une

annulation d'un nombre plus ou moins importants d'items. L'intérêt majeur des TCS à mon sens est

que l'amélioration des scores passe par l'expérience clinique et donc les stages hospitaliers. Ainsi la

diffusion de leur utilisation devrait augmenter à la fois les exigences des étudiants vis à vis de la

qualité de leur stage hospitalier, leur participation active à ceux-ci , et l'investissement des médecins

hospitaliers dans la formation au lit du malade et donc au final améliorer la qualité globale de la

formation médicale initiale.

16

Annexe 1 : Questionnaire

Nom de la faculté de médecine :

Questionnaire sur l’utilisation des tests de concordance de script (TCS) au cours des études

médicales pour la validation des Unités d’Enseignement (UE) du DCEM1 au DCEM4

Votre faculté utilise-t-elle des TCS pour la validation d’une ou plusieurs UE du DCEM1 au

DCEM4 ?

Si votre réponse est négative,

Avez vous connaissance de l'utilisation des TCS dans la validation d'autres enseignements

dans votre faculté (stages d'externe, troisième cycle...) ?

Quelle représentation vous faites vous de cette technique d’évaluation ?

L’évaluation telle que vous la pratiquez actuellement vous parait elle remplir les objectifs

que vous vous êtes fixés ?

L’inflation du nombre d’étudiants (X2 en 10 ans ) justifie t-il l’introduction de méthodes

d’évaluation automatisables ?

Vous sentez vous partant et intéressé à vous approprier ces techniques ou le ferez vous par

obligation ? (ex : réforme de l'ECN)

Si votre réponse est positive, merci de répondre à la suite du questionnaire

Dans quelle UE les TCS sont ils utilisés ?

Depuis quand les TCS sont ils utilisés pour valider ces différentes UE ?

Dans quelle proportion les TCS interviennent-ils dans la validation de chacune des UE qui

les utilise ?

(ex : 100% de l’examen est sous forme de TCS, 50% de la note, 25% de la note, autre...)

Comment les TCS utilisés ont il été élaborés ?

Quel a été le collège d’experts : nombre d’experts, niveau des experts (PU PH, PH,

CCA, années d’ancienneté , experts locaux régionaux, nationaux , …)

Quel seuil a été retenu pour valider les compétences des étudiants ?

Les étudiants sont ils satisfaits de cette méthode d’évaluation ?

Les enseignants sont ils satisfaits de cette méthode d’évaluation ?

Quel problèmes avez vous rencontrés lors de leur conception ?

Quels problèmes avez vous rencontrés leurs de leur mise en place ?

êtes vous prêt à collaborer à la mise sur pied d’une banque nationale de TCS ?

17

Annexe 2 : Liste des facultés de médecine contactées et ayant répondu

(indication OUI) ou non au questionnaire (indication NON)

Amiens OUI Paris VI (Pierre et Marie Curie) OUI

Angers OUI Paris VII (Diderot) OUI

Besançon OUI Paris XI (Sud) NON Bordeaux NON Paris XII (Est-Créteil) OUI

Brest OUI Paris XIII (Nord-Bobigny) NON Caen NON Paris Ile de France Ouest OUI Clermont-Ferrand NON Poitiers OUI

Dijon OUI Reims OUI

Grenoble OUI Rennes OUI

Lille (Faculté de médecine libre) OUI Rouen OUI

Lille (Lille 2) OUI Saint-Etienne OUI

Limoges OUI Strasbourg NON

Lyon Est OUI Toulouse Purpan NON

Lyon Sud OUI Toulouse Rangueil OUI

Marseille OUI Tours OUI

Montpellier OUI Antilles Guyane Guadeloupe OUI

Nancy OUI Point à Pitre NON Nantes NON La réunion OUI Nice OUI

Paris V (Descartes) NON

18

Annexe 3 : Première série de TCS élaborés, et soumis au panel d’experts, à

Reims

TCS 1

Vous êtes amené à voir en consultation une femme de 66 ans, dont l’antécédent principal est un

diabète de type II découvert il y a 15 ans. Elle présente des œdèmes des membres inférieurs et la

créatininémie est à 362 µmol/l.

Si votre hypothèse est : Et que vous apprenez que : La nouvelle information

...

1.1 Néphropathie diabétique Les 2 reins mesurent 10cm –2 –1 0 +1 +2

1.2 Glomérulonéphrite Aigue la patiente est fébrile –2 –1 0 +1 +2

1.3 Nécrose Tubulaire Aigue La tension artérielle est à 140/80 –2 –1 0 +1 +2

–2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement éliminée)

–1 : rend l’hypothèse moins probable

0 : n’a aucun effet sur l’hypothèse diagnostique

+1 : rend l’hypothèse diagnostique plus probable

+2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette

hypothèse)

Répartition des réponses des experts du panel

Echelle de Likert -2 -1 0 1 2

N° question

1.1 0 4 4 2 0 1.2 1 0 4 5 0 1.3 1 0 9 0 0

TCS 2

Un jeune patient de 24 ans se présente aux urgences pour asthénie, anorexie, nausées et

vomissements depuis 15 jours. La créatininémie est mesurée à 572 µmol/l.


...

2.1 Déshydratation Qu’il existe des douleurs

musculaires

–2 –1 0 +1 +2

2.2 Néphrite Interstitielle Qu’il existe une glycosurie –2 –1 0 +1 +2

2.3 Insuffisance rénale aigue

obstructive

Qu’il existe une hyperuricémie –2 –1 0 +1 +2






hypothèse)

19



N° question

2.1 éliminée 0 5 3 3 2 2.2 éliminée 0 3 2 4 1

2.3 1 0 7 2 0

TCS 3

Un homme de 74 ans consulte aux urgences pour prise de poids progressive de 10 kgs en 1 mois. Il

présente de volumineux œdèmes des membres inférieurs et un épanchement pleural bilatéral.






hypothèse)



N° question

3.1 0 0 5 3 2 3.2 éliminée 0 3 5 2 0 3.3 éliminée 0 1 6 1 2

TCS 4

Un patient de 65 vous consulte pour la découverte d’une protéinurie à 3,5g/24h. Ses antécédents se

résument à une appendicectomie dans l’enfance.

Si votre hypothèse est : Et que vous apprenez que : La nouvelle

information ...

4.1 Un syndrome

néphrotique

Il n’existe pas d’œdème –2 –1 0 +1 +2

4.2 Un syndrome

néphritique

La créatininémie était à 120

µmol/l il y a 6 mois

–2 –1 0 +1 +2

4.3 Une nécrose tubulaire

aigue

La bandelette urinaire est

négative

–2 –1 0 +1 +2

A. –2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement

éliminée)

B. –1 : rend l’hypothèse moins probable


information ...

3.1 Syndrome néphrotique Qu’il a eu une colectomie droite

il y a 6 mois –2 –1 0 +1 +2

3.2 Insuffisance

hépatocellulaire

Qu’il a des douleurs osseuses –2 –1 0 +1 +2

3.3 Insuffisance cardiaque

Qu’il existe un frottement

pleural –2 –1 0 +1 +2

20

C. 0 : n’a aucun effet sur l’hypothèse diagnostique

D. +1 : rend l’hypothèse diagnostique plus probable

E. +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette

hypothèse)



N° question

4.1 3 6 1 0 0

4.2 éliminée 1 3 3 3 0

4.3 2 1 4 3 0

TCS 5 Un patient de 38 ans vous consulte pour la découverte d’une hématurie. Il est enseignant, marié, 2

enfant. Il est fumeur.


information ...

5.1 Une vascularite

La créatininémie est

actuellement à 115 µmol/L, elle

était à 112 µmol/L il y 3 mois

–2 –1 0 +1 +2

5.2 Un syndrome

néphritique

Le patient a présenté une grippe

B il y a 72h –2 –1 0 +1 +2

5.3 GN rapidement

progressive

L’auscultation pulmonaire

révèle un foyer de râles

crépitant suspendu à gauche

–2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

5.1 0 8 2 0 0 5.2 éliminée 0 2 3 5 0

5.3 0 1 2 7 0

TCS 6

Un patient de 38 vous consulte pour la découverte d’une protéinurie abondante. Il est maçon,

célibataire et non fumeur.


information ...

6.1 Un syndrome

néphrotique

Il a des œdèmes et est

hypotendu

–2 –1 0 +1 +2

21

6.2 Un syndrome

néphrotique

Il a un épanchement pleural et

est hypertendu

–2 –1 0 +1 +2

6.3 Un syndrome

néphrotique

La biopsie rénale est normale

–2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

6.1 éliminée 0 2 2 7 0

6.2 0 1 0 7 2 6.3 0 0 1 5 4

TCS 7

Une patiente de 24 ans vous consulte pour la découverte d’une HTA à 185/105mmHg. Elle est

étudiante en école de commerce.


information ...

7.1 Un syndrome

néphritique

Sa PA était à 150/90 mmHg il y

a 3 mois –2 –1 0 +1 +2

7.2 Un syndrome

néphritique

Elle a présenté une angine il y a

15 jours et n’a pas d’œdème –2 –1 0 +1 +2

7.3 Un syndrome

néphritique

Sa protéinurie est à 3,5g/24h –2 –1 0 +1 +2


éliminée)





hypothèse) Répartition des réponses des experts du panel


N° question 7.1 éliminée 3 5 0 2 0

22

7.2 0 1 0 5 4 7.3 0 0 0 9 1

TCS 8

Une patiente de 58 ans vous consulte pour la découverte d’une IRA. Elle est professeur de musique

en retraite et avoue fumer du cannabis occasionnellement.


information ...

8.1 Une néphrite tubulo-

interstitielle aigue

Elle a présenté une angine il y a

15 jours pour laquelle elle a

consulté son médecin

–2 –1 0 +1 +2

8.2 Une nécrose tubulaire

aigue

Elle a bénéficié d’une scanner

abdominal injecté pour

l’exploration de douleur

abdominale il y a 1 mois

–2 –1 0 +1 +2

8.3 Une néphropathie

vasculaire

Elle a bénéficié d’une

coronarographie il y a 48h –2 –1 0 +1 +2


éliminée)





hypothèse)

F. Répartition des réponses des experts du panel


N° question

8.1 éliminée 1 4 4 1 0

8.2 0 1 0 8 1 8.3 0 0 1 8 1

TCS 9

Vous analysez la biopsie rénale d’une patiente de 85 ans qui présente une protéinurie abondante.

Vous observez .


information ...

9.1 Une glomérulonéphrite

extra-membraneuse

Les glomérules sont

optiquement normaux –2 –1 0 +1 +2

9.2 Une néphropathie

diabétique

Il existe un épaississement

mésangial en boule et l’IF est

négative

–2 –1 0 +1 +2

9.3 Une néphrose

lipoïdique avec hyalinose

segmentaire et focale

L’immunofluorescence est

négative et les tubes sont

vacuolisés

–2 –1 0 +1 +2


éliminée)

23





hypothèse)



N° question

9.1 éliminée 3 1 1 5 0

9.2 0 0 1 4 5 9.3 éliminée 0 2 0 6 2

TCS 10

Un homme de 30 ans consulte pour des urines de couleur coca cola depuis 4 jours.


information ...

10.1 Une hématurie

macroscopique

Il a mangé des betteraves rouges

à deux repas lors de ces 4 jours –2 –1 0 +1 +2

10.2 Une hématurie

d’origine glomérulaire

Il existe des acanthocytes à

l’examen cytologique urinaire –2 –1 0 +1 +2

10.3 Une

Glomerulonéphrite aiguë

post infectieuse

Le patient a une pression

artérielle à 160/90 –2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

10.1 éliminée 3 4 3 0 0

10.2 éliminée 0 1 2 2 4

10.3 0 0 1 8 1

TCS 11

Une femme de 30 ans consulte car la médecine du travail vient de trouver une hématurie

microscopique à la bandelette urinaire.


information ...

11.1 une hématurie

microscopique d’origine

glomérulaire

La bandelette urinaire a été

réalisée à la fin de la période

menstruelle

–2 –1 0 +1 +2

11.2 une hématurie


glomérulaire

Elle a déjà fait plusieurs cystites

–2 –1 0 +1 +2

24

11.3 une hématurie


glomérulaire

Elle a des œdèmes des membres

inférieurs

–2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

11.1 2 7 1 0 0

11.2 1 8 1 0 0

11.3 0 0 0 8 2

TCS 12

Une femme de 20 ans consulte pour œdèmes. Elle a pris deux kg en une semaine passant de 55 à

57kg . Elle a des antécédents de cystite.


information ...

12.1 Un syndrome

néphrotique

L’œdème est localisé

strictement au membre inférieur

droit

–2 –1 0 +1 +2

12.2 Un syndrome

néphrotique

Il existe une hématurie

microscopique détectée à la

bandelette urinaire

–2 –1 0 +1 +2

12.3 Un syndrome

néphrotique

Elle a l’impression de moins

uriner

–2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

12.1 5 5 0 0 0

12.2 0 0 0 2 8

12.3 0 1 4 5 0

25

TCS 13

Un homme de 60 ans consulte pour fatigue. Il est traité depuis 10 ans pour une hypertension

artérielle par régime sans sel qu’il suit très strictement et un traitement médicamenteux et pour un

diabète évoluant depuis 20 ans. Le bilan biologique montre une hypoprotidémie à 50 g/L.


information ...

13.1 Un syndrome

néphrotique

Il n’a pas d’œdème à l’examen

clinique –2 –1 0 +1 +2

13.2 Un syndrome

néphrotique

Il est essoufflé depuis quelques

jours –2 –1 0 +1 +2

13.3 Un syndrome

néphrotique

La natriurèse est faible –2 –1 0 +1 +2


éliminée)





hypothèse)



N° question

13.1 1 6 2 0 0

13.2 0 0 3 7 0

13.3 0 0 4 6 0

TCS 14 Un homme de 60 ans de 170 cm consulte pour prise de poids. Il est passé de 70kg à 85 kg en 2

semaines. Ses antécédents sont marqués par une diabète qui évolue depuis l’âge de 50 ans.


...

14.1 Un syndrome

néphrotique

–2 –1 0 +1 +2

14.2 Un syndrome

néphrotique

Sa pression artérielle est à 160/90 - 2 –1 0 +1 +2

14.3 Un syndrome

néphrotique

Il est essoufflé depuis quelques jours –2 –1 0 +1 +2

26


éliminée)





hypothèse)



N° question

14.1 0 1 0 6 3

14.2 0 0 7 2 1

14.3 0 0 4 6 0

TCS 15

Vous voyez aux urgences une femme de 20 ans qui vient de faire un malaise. Vous constatez une

perte de poids récente: elle est passée de 50kg à 47 kg, pour 170 cm en 15 jours. Ses antécédents

sont marqués par une hospitalisation en pédopsychiatrie pour anorexie mentale quand elle avait 14

ans.


information ...

16.1 Une déshydratation

extra cellulaire

–2 –1 0 +1 +2


extra cellulaire

Une pression artérielle à 9/6

–2 –1 0 +1 +2


extra cellulaire

La diurèse des 24 heures est de

1200 ml –2 –1 0 +1 +2


éliminée)




E. +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette hypothèse)



N° question

15.1 0 0 0 4 6

15.2 0 0 0 6 4 15.3

éliminée 2 5 1 2 0

TCS 16

Un homme de 82 ans, diabétique de type 2 compliquée d’une rétinopathie diabétique et d’une

insuffisance rénale chronique sévère avec une clairance à 25ml/min/1,73m2 est hospitalisé pour

IRA sur IRC et hyperkaliémie à 7mmol/l.

27

Si vous pensiez donner : Et que vous apprenez que : La nouvelle

information ...

16.1 Du chlorure de

calcium

Que l’ECG est normal

–2 –1 0 +1 +2

16.2 La dialyse en urgence

Et que vous apprenez que le

patient a perdu 6 kg suite à des

diarrhées et que la RA est à

10mmol/l.

–2 –1 0 +1 +2

16.3Des bicarbonates de

Na, de l’insuline/glucose et

du kayexalate avant de

débuter la dialyse.

Et que vous trouvez un patient

polypnéique avec une FR

30/min.

–2 –1 0 +1 +2

-2 rend votre option thérapeutique absolument contre-indiqué

-1 rend votre option thérapeutique peu utile ou plutôt néfaste

0 rend votre option thérapeutique ni plus ni moins utile

+1 rend votre option thérapeutique utile et souhaitable

+2 rend votre option thérapeutique indispensable



N° question

16.1 éliminée 4 2 3 1 0

16.2 6 3 0 0 1 16,3 1 5 4 0 0

TCS 17

Vous voyez en consultation Mme Z, 40 ans insuffisante rénale chronique sur maladie de Berger

avec une clairance à 30ml/min/1,73m2 qui consulte pour le suivi de son IRC.

Si vous voulez lui

prescrire :

Et que vous apprenez que : La nouvelle

information ...

17.1 Un IEC pour

équilibrer son HTA et

diminuer sa protéinurie

Sur le bilan du jour la kaliémie

est à 5,4mmol/l. –2 –1 0 +1 +2

17.2 Un traitement par

bicarbonate de Na pour

corriger une acidose

métabolique avec une RA à

16mmol/l

En examinant le patient vous

retrouvez des OMI modérés

remontant jusqu’au genoux.

–2 –1 0 +1 +2

17.3 Un traitement par

EPO pour une anémie à

9g/dl.

et vous retrouvez sur le bilan

une carence martiale –2 –1 0 +1 +2

-2 rend votre option thérapeutique absolument contre-indiqué

-1 rend votre option thérapeutique peu utile ou plutôt néfaste

0 rend votre option thérapeutique ni plus ni moins utile

+1 rend votre option thérapeutique utile et souhaitable

+2 rend votre option thérapeutique indispensable

28



N° question

17,1 2 7 1 0 0 17,2

éliminée 2 5 3 0 0

17,3 4 6 0 0 0

29

Annexe 4 : TCS de l’examen de la première session de l’UE Reins et voies

urinaires, à Reims, en ami 2013, Licence 3

Questions 49 à 58 : Tests de Concordance de Script (TCS)

Test de concordance script 1

Un homme de 60 ans de 170 cm consulte pour prise de poids. Il est passé de 70kg 85 kg

en 2 semaines. Ses antécédents sont marqués par un diabète qui évolue depuis l’âge de

50 ans.

Question 49 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que

alors cette information . . .

A. –2 : Rend l’hypothèse diagnostique beaucoup moins probable

(hypothèse pratiquement éliminée)

B. –1 : Rend l’hypothèse moins probable

C. 0 : N’a aucun effet sur l’hypothèse diagnostique

D. +1 : Rend l’hypothèse diagnostique plus probable

E. +2 : Rend l’hypothèse beaucoup plus probable

(il ne peut s’agir pratiquement que de cette hypothèse)

30

Question 50 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que sa

pression artérielle est à 160/90 mmHg alors cette information . . ..








Question 51 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez qu’il est

essoufflé depuis quelques jours alors cette information . . ..

–2 : Rend l’hypothèse diagnostique beaucoup moins probable


–1 : Rend l’hypothèse moins probable

0 : N’a aucun effet sur l’hypothèse diagnostique

+1 : Rend l’hypothèse diagnostique plus probable

+2 : Rend l’hypothèse beaucoup plus probable


Question 52 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que sa

glycémie est à 2g/L alors cette information . . ..





31




Test de concordance script 2

Un homme de 74 ans consulte aux urgences pour prise de poids progressive de 10 kgs en

1 mois. Il présente de volumineux œdèmes des membres inférieurs et un épanchement

pleural bilatéral.

Question 53 (CS)

Si votre hypothèse est syndrome néphrotique et que vous apprenez qu’il a eu une

colectomie droite il y a 6 mois alors cette information . . .








Question 54 (CS)

Si votre hypothèse est une insuffisance hépatocellulaire et que vous apprenez qu’il

existe un ictère alors cette information. . .







32


Question 55 (CS)

Si votre hypothèse est une insuffisance rénale chronique et que vous apprenez qu’il

existe un frottement péricardique alors cette information. . .








Test de Concordance Script 3

Un patient de 65 vous consulte pour la découverte d’une protéinurie à 3,5g/24h. Ses

antécédents se résument à une appendicectomie dans l’enfance.

Question 56 (CS) Si votre hypothèse est un syndrome néphrotique et que vous apprenez qu’il n’existe

pas d’œdème alors cette information. . .








Question 57 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que La

33

créatininémie était à 120 µM/L il y a 6 mois et est à 125 µmol/l actuellement alors

cette information . . .








Question 58 (CS)

Si votre hypothèse est une nécrose tubulaire aigue et que vous apprenez que la

bandelette urinaire retrouve ++++ de protéinurie alors cette information . .








34

Références bibliographiques

1 Charlin B, Brailovsky C, Leduc C, Blouini D. The Diagnosis Script Questionnaire: A New Tool to

Assess a Specific Dimension of Clinical Competence. Advances in Health Sciences Education 1998

; 51(3) : 51-58

2 Serratrice J, Bourgeois M, Thirion X, Pauli V, Benyamine A, Enéa N, Weiller PJ, Disdier P.

Utilisation du test de concordance de script comme indicateur de suivi des pratiques

professionnelles : application au thème des maladies systémiques vues par le médecin généraliste et

l’interniste. La Revue de médecine interne 2008 ; 29S : S294–S336

3 Giet D, Massart V, Gagnon R, Charlin B. Le test de concordance de script en 20 questions.

Pédagogie Médicale 2013; 14 (1) : 1-10

4 Jouneau S, Luarina R, Desrue B. Intérêt des TCS pour évaluer le raisonnement et l’organisation

des connaissances des étudiants en quatrième année des études médicales en France. Pédagogie

Médicale 2012 ; 13(3) : 1-8

5 Charlin B, Tardif J, Boshuizen H. Script and medical diagnostic knowledge: theory and

applications for clinical reasoning instruction and research. Acad Med 2000 ; 75 (2): 182-190

6 Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B. Script concordance testing: From theory to

practice: AMEE Guide No. 75. Medical teacher 2013 ; 35(3):184-93

7 http://www.cpass.umontreal.ca/tcs.html consulté le 20.09.2013.

8 Humbert A, Johson M, Miech E, Friedberg F, Grackin J, Seidman PA. Assessment of clinical

reasoning: A script concordance test designed for pre-clinical medical students. Med Teach 2011 ;

33 : 472–477

9 Meterissian S. A novel method of assessing clinical reasoning in surgical residents. Surg Innov

2006 ; 13:115–119

10

Duggan P, Charlin B. Summative assessment of 5th year medical students’ clinical reasoning by

script concordance test : requirements and challenges. BMC Medical Education 2012 ; 12:29

11

http://www.cpass4.umontreal.ca/www.health.adelaide.edu.au/. Consulté le 20.09.2013

12

Gibot S, Bollaert PE. Le test de concordance de script comme outil d'évaluation formative en

réanimation médicale. Pédagogie Médicale 2008 ; 9(1) : 7-18

13

Gagnon R, Thivierge RL, Laprise R, Ste-Marie L-G, Charlin B. Formation continue en petits

groupes sur l'ostéoporose : comparaison d'un atelier basé sur le test de concordance de scripts (TCS)

et d'un atelier classique. Pédagogie Médicale 2003 ; 4: 145-153

14

Lubarsky S, Charlin B,3 Cook DA, Chalk C, van der Vleuten C. Script concordance testing: a

review of published validity evidence. Medical Education 2011 ; 45: 329–338

http://www.cpass.umontreal.ca/tcs.html

http://www.cpass4.umontreal.ca/www.health.adelaide.edu.au/

35

15

Charlin B, Gagnon R, Kazi-Tani D, Thivierge R. Le test concordance comme outil d'évaluation

en ligne du raisonnement des professionnels en situation d'incertitude. Revue internationale des

technologies en pédagogie universitaire 2005 ; 2 : 22-7

16

Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance

tests: insights from a systematic review. Medical Education 2012: 46: 552–563

17

Fournier JP, Demeester A, Charlin B. Scrpit concordance test : guidelines for construction. BMC

Med Infom Decis Mak 2008 ; 8 : 18

18

Caire F, Sol JC, Moreau JJ, Isidori P, Charlin B. Self-assessment for neurosurgery residents by

script concordance test (SCT). The process of test elaboration. Neurochirurgie 2004 ; 50:66-72

19

Charlin B, Lubarsky S, Millette B, Crevier F, Audétat MC, Charbonneau A, Caire Fon N, Hoff L,

Bourdy B. Clinical reasoning processes: unravelling complexity through graphical representation

Medical Education 2012 : 46: 454–463

20

Audétat MC, Laurin S, Sanche G, Béique C, Caire Fon N, Blais JG, Charlin B. Clinical

reasoning difficulties: A taxonomy for clinical teachers. 2012, e1–e6, Early Online Medical Teacher

21

Gagnon R, Charlin B, Coletti M, Sauvé E, van der Vleuten C. Assessment in the context of

uncertainty : How many members are needed on the panel of reference of a script concordance test?

Med Educ 2005 ; 39: 284-91

22

Gantelet M. Impact du panel de référence sur les résultats d’un test de concordance de script

(TCS) développé en formation initiale des sages-femmes. Dissertation for the completion of a

diploma of the Ecole des cadres sages-femmes. 2008. Dijon: Ecole de Cadres Sages-Femmes. 23

Bursztejn AC, Cuny JF, Adam JL, Sido L, Schmutz JL, de Korwin JD, Latarche C, Braun M,

Barbaud A. Test de concordance de script en dermatologie: évaluation du choix du panel d’experts.

Pédagogie Médicale 2010 ; 11 (Suppl 1):69.

24

Charlin B, Gagnon R, Sauve E, Coletti M. Composition of the panel of reference for concordance

tests: do teaching functions have an impact on examinees’ ranks and absolute scores? Med Teach

2007 ; 29 (1):49–53

etats des lieux, en 2013, de l’utilisation 13... · ensuite, ce groupe rédige des situations...

Documents