États des lieux, en 2013, de l’utilisation des tests de ...États des lieux, en 2013, de...

États des lieux, en 2013, de l’utilisation

des Tests de Concordance de Script

pour l'évaluation des étudiants en deuxième cycle

des études médicales, en France

Mémoire de DIU de pédagogie médicale

Paris V, VI, XI, XII

Christine Pietrement

1

RESUME

Le Test de Concordance de Script (TCS), outil relativement nouveau d’évaluation de la compétence

clinique, devrait faire partie des nouvelles modalités docimologiques de l’Examen National

Classant (ECNi) à partir de 2016. Trois ans avant la mise en place de la réforme nous faisons le

point de l’utilisation actuelle en France au niveau du deuxième cycle des études médicales (DCEM)

de cette méthode d’évaluation par l’analyse des réponses à un questionnaire adressé aux 38 UFR de

médecine et rapportons dans le détail l’expérience de la faculté de médecine de Reims. A partir des

28 retours de questionnaires, il apparait qu’en 2013, six UFR utilisent ou ont utilisé les TCS au

niveau du DCEM et neuf à d’autres niveaux, essentiellement en troisième cycle. Au niveau du

DCEM, si certaines facultés en ont une expérience plus ou moins importante, en 2013, aucun

enseignement n’est validé par une épreuve comportant des TCS notés, et leurs modalités

d’utilisation ne se font pas dans des conditions de validité et de fiabilité optimales. Etant donné les

difficultés liées à leur mise en place (formation des rédacteurs, formation des étudiants, constitution

des panels) l’utilisation des TCS ne pourra s’amplifier dans les années à venir en DCEM que si

cette modalité d’évaluation est définitivement retenue pour le futur ECNi.

MOTS CLES

Tests de concordance de script – évaluation – deuxième cycle d’études médicales - ECNi

2

INTRODUCTION :

Une réforme de l’examen classant national (ECN) sera mise en place en 2016. L’épreuve

actuelle composée de 8 dossiers cliniques rédactionnels et d’une lecture critique d’article (LCA)

sera remplacée par l’Examen Classant National Informatisé (ECNi). Cette nouvelle épreuve et

l'organisation qui l'accompagne (SIDE-S) ont plusieurs buts : améliorer la pertinence du classement

(actuellement il y a environ 7500 candidats au total, dont 5000 classés sur 200 points), éviter le

bachotage et mettre l'épreuve au service de la formation des étudiants en valorisant les stages

cliniques, rendre plus fiable, plus équitable et plus rapide la correction (par son automatisation et

par la modification de la docimologie), harmoniser la préparation des étudiants sur l'ensemble du

territoire, élargir le champ des compétences testées. L’ECNi sera caractérisé par son informatisation

(réponse des étudiants sur tablettes numériques), la disparition des dossiers cliniques rédactionnels,

et du résumé dans l’épreuve de LCA, l’apparition de questions à réponses multiples (QRM), de

questions à réponse unique (QRU), de questions à réponses ouvertes et courtes (QROC), de dossiers

progressifs (DP) et d’une épreuve tout à fait nouvelle peu connue actuellement des étudiants et des

enseignants, les tests de concordances de script (TCS). D’ici 2016, les enseignants et les étudiants

devront donc être formés à cette nouvelle méthode d’évaluation, une banque de TCS devra être

constituée, ainsi les TCS vont devoir très rapidement apparaître dans la docimologie des facultés de

médecine françaises. Nous avons voulu savoir, en 2013, à l’aube de la mise en place de la réforme,

si les TCS étaient déjà utilisés au cours des études de médecine, dans quelles facultés, sous quelles

modalités, et quelles étaient les opinions des enseignants vis à vis de cette nouvelle forme

d’évaluation, enfin nous apportons notre réflexion sur les questions qui peuvent être soulevées par

leur généralisation dans la validation d'enseignements au deuxième cycle des études médicales

(DCEM) et leur utilisation pour classer les étudiants à l'ECNi.

Un TCS : qu’est ce que c’est ?

Le TCS est un outil relativement nouveau de mesure de la compétence clinique créé par le

Pr Bernard Charlin de l’université de Montréal 1. Ce test est conçu pour évaluer la capacité de

raisonner en contexte d'incertitude et de résoudre des problèmes mal définis. En pratique clinique le

médecin est souvent en face à ce type de problème. Les informations dont il dispose sont

incomplètes, ambiguës, incertaines, ou peuvent faire l'objet de différentes interprétations. Pour

résoudre ce type de problème le médecin doit mobiliser ses connaissances mais aussi son

expérience et son raisonnement clinique. Le TCS permet d'évaluer la capacité de l'évalué à

raisonner en contexte d'incertitude. Il apprécie l'organisation des connaissances et non uniquement

les connaissances factuelles.

Le TCS est composé d'un énoncé (ou vignette) qui décrit une situation clinique réaliste qui doit

3

être problématique même pour un clinicien expérimenté. Plusieurs options de diagnostic, et de prise

en charge, doivent être envisageables. La description peut être incomplète et certaines données

ambiguës ou sujettes à plusieurs interprétations possibles. La tâche consiste à envisager l'effet que

produirait l'apparition d'une nouvelle donnée sur le statut d'une des options pertinentes, puis d'une

autre donnée sur une autre option, etc. Pour une situation clinique donnée, plusieurs questions

successives (les items) peuvent être envisagées, indépendantes les unes des autres. La structure du

TCS est donc très stéréotypée, associant la description de la situation clinique, suivie par une série

de questions qui comportent trois parties :

1. une hypothèse diagnostique, une investigation complémentaire, ou une option thérapeutique

envisageables et plausibles au vu de la situation clinique

2. une nouvelle information

3. une échelle de Likert en 5 points (-2, 0, -1, 0, +1, +2) qui mesure l'effet de la nouvelle

donnée sur la pertinence de l'hypothèse, dont la signification de chacun des points est

précisée dans l'énoncée. Il s'agit de brèves propositions d'ordre qualitatif. Les différents

points de l'échelle correspondent à des valeurs positives (l'option est renforcée par la

nouvelle donnée), neutres (la donnée ne modifie pas le statut de l'option) ou négatives

(l'option est infirmée par la donnée).

Exemple 1 : Evaluation d’une aptitude à proposer un diagnostic

Si vous pensez à… Et que vous observez… Votre hypothèse devient…Une hypothèse diagnostique Une information clinique, un

cliché d’imagerie, un résultat

d’examen complémentaire

-2 -1 0 1 2

-2 L'hypothèse est pratiquement éliminée , -1 L'hypothèse devient peu probable , 0 Cette information n’a aucun effet sur l'hypothèse diagnostique , +1 L’hypothèse devient plus probable , +2 L'hypothèse devient pratiquement certaine

Exemple 2 : Evaluation d’une aptitude à choisir une investigation complémentaire

Si vous pensiez demander… Et qu'alors vous trouvez… L'effet sur la nécessité de

demander ce test est le suivant ...Option d'examen para clinique Une information clinique, un

cliché d’imagerie, un résultat

d’examen complémentaire

-2 -1 0 1 2

-2 absolument contre-indiqué , -1 peu utile ou plutôt néfaste , 0 ni plus ni moins utile , +1 utile et souhaitable , +2 indispensable

Exemple 3 : Evaluation d'une compétence à proposer un choix thérapeutique

Si vous pensiez faire… Et qu'alors vous trouvez… Votre hypothèse devient…

4

Une option thérapeutique Une nouvelle information

clinique ou le résultat d’un

examen complémentaire

-2 -1 0 1 2

-2 absolument contre-indiqué , -1 peu utile ou plutôt néfaste , 0 ni plus ni moins utile , +1 utile et souhaitable , +2 indispensable

L’attribution du nombre de points est l'un des autres éléments très originaux du TCS. On

considère que la réponse donnée à chaque question pour un clinicien donné n'est jamais de type

binaire de sorte que, pour une question donnée, deux cliniciens expérimentés n'apporteront pas

exactement la même réponse. Il est donc plus pertinent de réunir un panel d'experts, qui devra

répondre individuellement aux questions du test dans les mêmes conditions que les étudiants testés

pour chaque item. Classiquement, un point complet est attribué à l’étudiant qui choisit l’option prise

par la majorité des experts (réponse modale) et un nombre partiel de point est attribué aux autres

réponses choisies par le membres du panel (par exemple, les experts se sont répartis comme suit : 7

experts choisissent la proposition –1 et 4 experts choisissent la réponse –2. L’étudiant qui choisit

comme 7 experts (la majorité) recueille 7/7 point soit 1 point. Un étudiant qui choisit l’option –2

comme 4 experts recueille 4/7 point soit 0,57 point).

En théorie la construction d’un test complet de TCS passe par différentes étapes. D’abord un

petit groupe d’enseignants (1, 2 ou 3) sélectionne des situations cliniques problématiques

considérées comme relevant du champ de compétence du niveau des étudiants qui seront testés.

Ensuite, ce groupe rédige des situations cliniques sous forme de vignettes (mini cas clinique)

suivies chacune d’une série de questions (items). La vignette essaie de reproduire un contexte

clinique authentique, dans un scénario qui pose problème même pour un expert. Les vignettes et

items peuvent comporter des documents iconographiques. Ensuite un groupe de médecins

expérimentés dans la discipline, différents du groupe d’enseignants ayant participé à l’élaboration

du test, est constitué, il comporte idéalement au moins 15 personnes, et constitue le panel d’experts.

Enfin les experts passent le test dans les mêmes conditions que les étudiants. Leur réponses

deviennent les réponses de référence auxquelles seront comparées les réponses des évalués, et

permettent de déterminer le nombre de points correspondant à chacune des réponses.

MATERIEL ET METHODE :

Un questionnaire (Annexe 1) a été adressé à tous les doyens des facultés de médecine de

France (Métropole et Outre mer), par mail (premier envoi en mars 2013), puis sous format papier

(début mai 2013), avec relance par mail en juin, puis relance par mail et téléphone en juillet et août

2013. Ce questionnaire visait à savoir si les TCS étaient utilisés pour la validation d'enseignements

5

au cours du DCEM en France, en 2012-2013. Si c'était le cas des précisions sur les modalités de la

mise en place de cette méthode d’évaluation étaient attendues. Si les TCS n’étaient pas utilisés dans

la faculté pour la validation des enseignements du deuxième cycle, des réponses à des questions

portant sur la connaissance de ces tests et le ressenti vis à vis de cette nouvelle forme d’évaluation

étaient attendues.

RESUTATS :

Toutes les facultés de médecine de France (métropole et outre-mer) ont été contactées, soit

38 au total. Le retour de 28 questionnaires a été obtenu au prix, parfois, de nombreuses relances,

soit un taux de réponses de 73% (Annexe 2). La première partie du questionnaire (Si votre réponse

est négative) a été complétée par 24 facultés, la seconde partie (Si votre réponse est positive) par 5

facultés.

Utilisation des TCS au cours des études médicales, en dehors du deuxième cycle :

Dans les facultés où les TCS n'étaient pas utilisés au cours du DCEM, ils étaient ou avaient

été utilisés dans 9 d'entre elles (9/24, soit 37.5% et 32,1% sur l’ensemble des 28 réponses totales)

pour valider d'autres enseignements. Il s’agissait principalement d’enseignements du troisième

cycle : validation du troisième cycle de Médecine Générale dans deux facultés (Nancy et Toulouse

Rangueil), utilisation à titre expérimental en troisième cycle de Médecine Générale depuis 2004 à

Rouen, validation du troisième cycle en Gériatrie et du troisième cycle en Rhumatologie à Paris VI,

validation du troisième cycle en Chirurgie Orthopédique Pédiatrique à Lyon Est. Deux facultés

signalaient leur utilisation en troisième cycle sans en préciser la discipline (Amiens, Besançon).

Dans un cas l’utilisation des TCS pour la validation d’enseignements autres que ceux du DCEM

étaient mentionnée sans autre précision (Paris Ile de France Ouest). Enfin, à Marseille les TCS

avaient été utilisés dans le passé dans le cadre de la Formation Médicale Continue lors d'évaluations

des pratiques professionnelles au cours de séances de groupes d'analyse de pratique entre pairs 2.

Utilisation des TCS au cours du deuxième cycle des études médicales :

Quatre facultés (4/28, 14,3%) avaient mis en place les TCS au cours du DCEM de manière

antérieure ou au cours de l'année 2012-2013. Il s'agissait de Rouen, Nice, Lille, et Reims. Deux

facultés avaient utilisés dans le passé les TCS pour la validation d’enseignements du DCEM et les

avaient depuis abandonnés (Angers, Rennes).

Rouen avait mis en place les TCS à titre expérimental, sans valeur validante, depuis 2002 en

DCEM2, DCEM4 et pour le Certificat de Synthèse Clinique et Thérapeutique. Le Projet pour

6

2013-2014 était de les inclure dans la validation des enseignements de M1/DCEM2 en

uro-néphrologie, pneumologie, cardiologie et gastro-entérologie. Les TCS étaient habituellement

rédigés par deux enseignants et validés par un groupe d'experts de la spécialités de 6 à 10

personnes, professeurs des universités (PU-PH), praticiens hospitaliers (PH), chefs de clinique

(CCA), et internes en fin de formation. Le score minimal qui serait retenu pour la validation de

l’examen restait encore à déterminer au moment de l'enquête, mais la réflexion s'orientait vers une

note minimale requise au moins égale à -2DS du score du panel. Par ailleurs, il était prévu que le

poids des TCS dans les épreuves serait de l’ordre de 25%.

Nice avait mis en place les TCS, depuis plusieurs années, à titre expérimental, sans valeur

validante, ponctuellement au cours de protocoles d'étude (enseignement de la médecine d'urgence,

LCA, validation d'un panel d'experts), et en juin 2013 pour un entraînement sur tablette

reproduisant les futures conditions de l'ECNi. Il était prévu que les TCS soient utilisés dans des

examens validant à partir de l'année 2013-2014 pour la validation d’enseignements en M1/

DCEM2. Les sessions d'examens au cours desquelles seraient utilisés alors des TCS valideraient

plusieurs unités d'enseignement en même temps et seraient donc transdisciplinaires. Le maximum

de points possible obtenus aux TCS devrait représenter 10% de ceux de l'ensemble de l'épreuve.

Des séminaires de formation avaient été suivis par les enseignants en charge de l'élaboration des

TCS. Les questions avaient été rédigées par des enseignants de la spécialité formés et avaient été

validées par le département de pédagogie médicale (DPM). S'il n'y avait pas eu assez de production

de TCS, l'élaboration en était revenue au DPM avec une validation scientifique par les spécialistes.

Cette solution n’avait cependant pas été du tout satisfaisante en raison de la difficulté pour les non

experts de la spécialité à élaborer des questions et de couvrir tous les champs d’une discipline mal

connue, ceci même si certains des rédacteurs pouvaient être considérés comme polyvalents (ex :

internistes, urgentiste, généralistes, thérapeutes). Les étudiants avaient également été formés par un

séminaire dédié et avaient reçu par mail un guide d'utilisation pratique des TCS. La question de la

constitution du panel d'experts avait été difficile en particulier du fait de l'utilisation de TCS au

cours d'un examen validant plusieurs unités d'enseignement et couvrant donc plusieurs spécialités. Il

était apparu difficile d'utiliser un panel unique, totipotent, d'experts de différentes spécialités pour

valider l'ensemble des questions, et l'orientation prise était plutôt de constituer plusieurs panels qui

répondraient uniquement aux TCS relevant de leur spécialité.

Lille mettait cette épreuve en place au cours de l’année 2012-2013 au niveau DCEM2, pour

la validation des enseignements de cardiologie et de gynécologie. Les TCS avaient été rédigés et

validés par des médecins (PU-PH, PH, CCA) de ces deux spécialités (2 rédacteurs, et 10 experts).

Concernant les scores, il était initialement prévu d’additionner les points obtenus à chaque item de

TCS aux points acquis dans les autres parties de l’épreuve comportant des dossiers cliniques, les

7

TCS devant être notés sur 20 et devant représenter 5% de la note finale. Finalement les points

obtenus aux TCS n’ont pas été intégrés à la note finale. Les TCS n’ont donc pas été validant.

Reims a mis en place pour la première fois au cours de l’année 2012-2013 des TCS en

L3/DCEM1, pour la validation de l’unité d’enseignement (UE) de sémiologie uro-néphrologique in-

titulée «Reins et Voies urinaires». La mise en place s’est faite assez rapidement puisque c’est en fé-

vrier 2013 que la décision d’inclure des TCS portant sur la néphrologie dans l’examen validant cette

UE a été prise. Dans un premier temps, le 5 mars 2013, une présentation de cette méthode d’évalua-

tion a été faite à l’ensemble des médecins séniors du service de néphrologie comprenant au total 2

CCA, 2 MCU-PH, 1 PU-PH et 8 PH. Aucun d’entre eux ne connaissaient cette technique d'évalua-

tion au moment de la présentation qui était basée sur une publication présentant cette méthode

d’évaluation de manière très pratique 3. A l’issu de cette présentation cinq personnes (1CCA, 2

MCU, 1 PU-PH, 1 PH chargés d’enseignement au sein de cette UE), étaient d’accord pour rédiger

des vignettes accompagnées de leurs items. L’objectif fixé était la rédaction par chacun de 3 vi-

gnettes comprenant chacune 3 items, afin d’avoir suffisamment de matériel pour les deux sessions

d’examen et une session blanche de révision prévue à la fin de l’enseignement de l'UE. Cette pre-

mière série comportait au final 17 vignettes (3 items pour 17 d’entre elles et 4 items pour l’une

d’entre elles) et avaient été rédigées par 4 personnes (1CCA, 2 MCU, 1 PH) (Annexe 3). Le 2 avril

2013, le panel d’experts a passé l’épreuve. Ce panel était composé ce jour là de 10 personnes, dont

les 4 qui avaient rédigé les questions (2 CCA, 2 MCU-PH, 1 PU-PH, 5 PH). Les experts ont répon-

dus à l’ensemble des 52 questions en 30 min (soit 34 sec/question). Suite à la collection des ré-

ponses de l’ensemble du panel d’experts 17 questions (17/52, soit 32.7 %) ont été éliminées car les

réponses des experts étaient très étalées sur l’échelle de Likert. Afin d’avoir un nombre suffisant de

TCS pour les deux épreuves de validation et la session d’entraînement, de nouveaux TCS ont été

élaborés par le même groupe que précédemment et proposés à nouveau aux experts le 12 avril. Il

s’agissait de 9 vignettes comprenant chacune 3 items, certaines entièrement nouvelles, d’autres re-

maniées par rapport à la session précédente. Lors de cette seconde session, le groupe d’experts était

composé de 11 personnes, dont celles qui avaient participé à la rédaction des tests (2 MCU-PH, 1

PU-PH, 8 PH). Le groupe a répondu aux 27 questions en 15 minutes (soit 33 sec/question). Suite à

la collection des réponses de l’ensemble du panel d’experts 10 questions (10/27, soit 37 %) ont été

éliminées car les réponses des experts étaient très étalées sur l’échelle de Likert. Au total, après les

deux séances de validation, notre banque d’examen comportait 52 items pour 27 vignettes. Une par-

tie des TCS a été utilisée pour une session, non obligatoire, d’entraînement des étudiants d’une

heure, le 10 avril. Au cours cette séance les étudiants ont à la fois découvert cette méthode d’évalua-

tion innovante et se sont entraînés à y répondre. La première session de l’examen de validation a eu

lieu le 21 mai 2013. L’examen était composé de 42 QCM, 1 Cas clinique QCM comprenant 6 QCM

8

et 3 TCS (3 vignettes avec 3 à 4 items chacune, soit 10 questions au total, pouvant rapporter au

maximum 10 points). Globalement le plus grand nombre d’étudiants ont choisi la réponse choisie

par le nombre maximum d’experts, mais un grand pourcentage d’étudiants, à chaque question a

choisi d’autres réponses. Au total le résultat moyen des étudiants n’était que de 2.5/10. Il a finale-

ment été décidé de ne pas tenir compte des résultats aux TCS dans la note finale.

La faculté d'Angers avait utilisé les TCS pour la validation d'enseignements de début du

deuxième cycle (Neurologie, Gériatrie, Handicap, ORL et OPH) en 2009, 2010 et 2011. Les

groupes d'experts étaient composés de PU-PH, CCA et PH locaux et parfois régionaux. Les TCS

correspondaient à environ 10% de la totalité de l'examen qui comportaient par ailleurs des QCM.

Les points obtenus étaient intégrés à la note finale de l'examen, il fallait au moins 50% des points

pour être validé. Les TCS ont finalement été abandonnés car les enseignants ont estimé que le ni-

veau de connaissance attendu des étudiants à ce stade de leur formation ne se prêtait pas à une éva-

luation en situation d'incertitude. Globalement, leur mise en place n'avait pas posé de problème.

La faculté de Rennes avait utilisé les TCS pour la validation de l'enseignement de pneumolo-

gie en 2010 et 2011. L’épreuve de validation comportait un cas clinique comptant pour 2/3 de la

note et 20 items de TCS répartis sur 6 vignettes (1/3 de la note finale) 4. Cette épreuve s’intégrait à

la validation des enseignements de cardiologie, endocrinologie-nutrition et dermatologie. La durée

totale de l’épreuve était de 3 heures soit environ 45 minutes pour la pneumologie. Les TCS (au total

8 vignettes et 26 items) avaient été rédigés par un binôme d’enseignants. La panel d’experts était

composé de 13 personnes (2 PU-PH, 6 PH, 2 CCA, 2 internes en fin de cursus et un pneumologue

libéral). Les étudiants bénéficiaient d’une information écrite via « Le guide de l’étudiant » remis à

chaque début de semestre et d’une séance de préparation d’une heure par groupe de 20 à 22 sous

forme de travaux dirigés. Au cours de ces séances les étudiants répondaient à 2 TCS (2 vignettes et

6 items). Pour l’une des deux années 6 items (6/26, 23%) n’étaient pas corrects et devaient être reti-

rés de la série. Après deux années d’utilisation les TCS ont finalement été retirés de l’examen de va-

lidation pour plusieurs raisons. D’abord les connaissances des étudiants ne semblaient pas suffisam-

ment organisées, notamment par manque d’expérience, pour avoir de bons scores, ensuite le temps

de formation nécessaire des étudiants a été considéré comme trop long, enfin parce que ces tests

n’étant pas utilisés dans l’ECN de l’époque ils pouvaient être considérés comme une perte d’entraî-

nement aux cas cliniques.

Les méthodes d’évaluations actuelles ne sont pas satisfaisantes :

Peu de facultés déclarent que leurs méthodes d’évaluation sont satisfaisantes (6/24, 25%),

certaines d’entre elles utilisent notamment des dossiers cliniques transversaux et des évaluations

orales formalisées. La plupart des facultés estiment que les évaluations pratiquées ne remplissent

9

pas les objectifs qu’elles se sont fixées pour leurs étudiants (formation théorique et pratique). Le

problème le plus souvent évoqué est la nature de ce qui est évalué par les méthodes classiques de

cas cliniques rédactionnels, « imposés » par l’ECN actuel : plutôt des connaissances factuelles, dans

des contextes cliniques bien définis, sans évaluation de la qualité du raisonnement clinique. Le pro-

blème de la correction manuelle d’un nombre important de copies, consommatrice de temps est aus-

si signalé.

Automatisation et diversité des évaluations :

L’ensemble des facultés est favorable a une automatisation des corrections en raison du pro-

blème de l’inflation du nombre d’étudiants et du problème d’équité. Cependant, dans de nom-

breuses réponses apparait l’intérêt de diversifier les modes d’évaluation, que ce soit à l’écrit pour

permettre d’évaluer plus finement les notions mal assimilées, ou à l’oral (ex : épreuves en contexte

de simulation), en plus des méthodes automatisables diverses (DP, QRM, QROC, TCS).

Avis divergents vis à vis de l’utilisation des TCS au DCEM :

Parmi ceux qui ont répondu aux questionnaires, tous sauf trois (3/24), connaissent les TCS,

et leur intérêt pour évaluer le raisonnement clinique en contexte d’incertitude. Les avis sont parta-

gés sur la pertinence de leur utilisation au cours du DCEM. Un petit nombre est très enthousiaste

(4/24) et voit dans les TCS l’apport d’une méthode d'évaluation où le bachotage n'est pas possible,

et qui met en valeur l'apprentissage clinique effectué au cours des stages. D’autres sont plus dubita-

tifs. Pour neufs facultés (9/24, 37.5%) les TCS sont peu adaptés à une évaluation sanctionnante au

cours du DCEM en raison de la faible expérience clinique des étudiants, mais ils auraient un intérêt

formatif au cours de séances avec discussion immédiate des choix de réponse et semblent beaucoup

plus adaptés à des évaluations sanctionnantes au troisième cycle car les étudiants ont acquis à ce ni-

veau une expérience clinique plus importante. Le plus grand nombre estime que la mise en place

dans les facultés sera difficile en raison de la nécessité de former à la fois les enseignants à leur ré-

daction et les étudiants pour qu'ils se familiarisent avec cette nouvelle méthode d'évaluation. Le pro-

blème de la réunion d'un panel d'experts en nombre suffisant dans certaines facultés est également

soulevé .

Constitution d’une banque nationale de TCS

L’ensemble des répondeurs se dit prêt à participer à la constitution d’une banque nationale

de TCS.

10

DISCUSSION :

Au moment de la mise en place de la réforme de l’ECN, qui aboutira à son remplacement en

2016 par l’ECNi dont les caractéristiques seront essentiellement l’informatisation des épreuves,

l’automatisation de la correction et une plus grande variété docimologique avec notamment l’intro-

duction des TCS, nous avons voulu faire le point sur l’utilisation, en 2013, en France de cette mé-

thode d’évaluation du raisonnement clinique innovante et assez peu connue.

Alors que 6 facultés de médecine utilisent ou ont utilisé des TCS, à titre d'expérimentation ou en

validation, au cours du DCEM, 9 les utilisent pour valider d’autres types d’enseignement, essentiel-

lement au niveau du troisième cycle. Ainsi au total 15 facultés, sur les 28 qui ont répondu au ques-

tionnaire (53%) ont ou ont eu une expérience pratique des TCS, soit plus d’un tiers (39%) de

l’ensemble des 38 facultés de médecine françaises.

Le TCS est basé sur deux théories du raisonnement clinique : la théorie hypothético déduc-

tive et la théorie des scripts 5. Pour donner un sens et agir efficacement dans une situation, les clini-

ciens activent des scripts c'est à dire des réseaux de connaissances organisées pour la résolution de

tâches spécifiques. L'intérêt du TCS pour évaluer la qualité du raisonnement clinique en contexte

d’incertitude, ainsi que l’organisation et la structuration des connaissances 6, a été largement démon-

tré dans de très nombreuses publications, dont un grand nombre est facilement accessible sur le site

internet du Centre de Pédagogie Appliquée aux Sciences de la Santé (CPASS) de la faculté de mé-

decine de l’université de Montréal, centre dirigé par Bernard Charlin concepteur du TCS 7. Les qua-

lités de validité (c'est à dire la capacité du test à mesurer effectivement ce pourquoi il a été construit,

ici la capacité de raisonnement clinique en contexte d'incertitude) et de fiabilité (c'est à dire la capa-

cité du test à mesurer effectivement et de manière reproductible le niveau de l'examiné dans le

champ évalué), des TCS lors de leur utilisation dans le champ de la formation aux métiers de la san-

té ont été démontrées qu'ils soient utilisés en début 8 ou en fin de cursus 9. Notre enquête met en évi-

dence un certain nombre de difficultés pratiques à la mise en place de ces tests au cours du DCEM

qui pourraient cependant mettre à mal validité et fiabilité des TCS quand les règles précises d’utili-

sation ne sont pas bien respectées.

Bien que tous les items abordaient des notions vues en cours, les étudiants rémois de

L3/DCEM1 ont eu de mauvais scores aux TCS intégrés à l'évaluation de l'enseignement de sémiolo-

gie néphrologique. Dans tous les cas, l'intégration des notes obtenues aux TCS faisaient diminuer la

note globale, composée également des points obtenus aux autres parties de l'examen qui exploraient

essentiellement des connaissances. Ces résultats médiocres ont plusieurs explications. Les étudiants

ont été très peu préparés à passer ces tests. Ils n’ont eu que quelques TCS d’entrainement au cours

d’une seule séance de révision qui n’était pas obligatoire. D’autres modalités d’information sur cette

11

nouvelle évaluation auraient été nécessaires (document écrit facilement consultable comme dans les

expériences de Nice, Rennes et l’université d’Adelaïde 10 11, répétition des séances d’entrainement).

La construction visuelle des TCS est stéréotypée avec un chapeau correspondant à la vignette, au

dessous trois colonnes, et sous l'ensemble un rappel de la signification des grades de l'échelle de Li-

kert. En raison d'une mise en place trop rapide, les TCS soumis aux étudiants rémois en 2013 n’ont

pas été mis sous cette forme mais présentés sous un format bâtard de questions à choix simple (An-

nexe 4). Le format trois colonnes, à mon avis, aide au raisonnement car il permet d’avoir dans un

même champ visuel les trois éléments intervenant dans le raisonnement : la vignette clinique,

l’hypothèse et le nouvel élément proposé et permet de bien signaler qu’il s’agit d’un TCS. Le for-

mat spécifique TCS semble donc important à respecter. Ces résultats montrent également la difficul-

té que peut représenter ce test pour un étudiant en début de DCEM. Humbert et al rapportent des

scores à des TCS d'étudiants américains en début de formation (deuxième année d'école de méde-

cine). Leurs résultats sont également médiocres, en moyenne à 60% de réussite, celle-ci n'étant dans

certains cas que de 33% 8. En début de DCEM les étudiants ont encore passé très peu de temps en

stage et sont donc tout au début de la construction de leurs propres scripts nécessaires à la compré-

hension et à au traitement de l'information clinique, leurs scripts présentent peu de concordance

avec ceux de médecins expérimentés. Ainsi, je pense, comme d'autres répondants au questionnaire,

que les TCS ne sont pas très adaptés à une évaluation sanctionnante au moins dans la première an-

née du DCEM (DCEM1/L3).

L’utilisation des TCS comme outil de formation au cours du DCEM pourrait être intéres-

sante. La littérature rapporte des expériences d'utilisation formative que se soit au cours de la for-

mation des étudiants avec l'utilisation de boîtiers interactifs ou pour permettre de repérer des étu-

diants dont le raisonnement pose problème et de leur apporter une aide spécifique 3 12 13. Cependant

l'intérêt de leur utilisation dans un but formatif a été peu exploré et nécessite confirmation. Car si

l'impression spontanée est que les TCS permettent de conduire les étudiants vers un apprentissage

réfléchi à la place d'un apprentissage par la mémorisation par cœur, ceci n'a été que très peu étudié.

En outre, le fait d'accentuer la notion d'incertitude dans l'interprétation des données cliniques dans

le but de simuler la pratique médicale réelle pourrait être contre productif chez des étudiants en tout

début de formation 14.

La validité de construit des TCS passe par l'élimination de certains items considérés comme

inadéquats après avoir obtenu les réponses des experts. Si la situation clinique présentée dans la vi-

gnette comporte trop d’incertitude les réponses des experts s’étalent sur l’ensemble de l’échelle de

Likert, si au contraire elle n’en présente pas assez tous les experts choisissent la même réponse et

l’item devient équivalent à une QRU. On considère dans ces cas là qu'il s’agit de questions mal

construites qui devraient être éliminées ou reformulées avant d'être intégrées à un test complet opti-

12

misé 15. Dans l’expérience rémoise, mise sur pied en quelques semaines, avec une formation mini-

male des rédacteurs et du panel d’expert, 32 à 37% des TCS devaient être retirés du pool de tests,

dans l’expérience rennaise 23% des TCS étaient éliminés 4. La littérature rapporte une moyenne de

25% des TCS éliminés, l'extrême pouvant aller jusqu'à 70% 16. Ce nombre de TCS éliminés suite à

l’analyse des réponses des experts peut être réduits par une validation de l’ensemble des questions

par une ou deux personnes. Ceci n’a pas été fait à Reims, tous les TCS rédigés ont été soumis aux

experts alors qu’une relecture par une autre personne que le rédacteur aurait pu d’emblé repérer cer-

tains des TCS mal rédigés ou peu pertinents pour le niveau des étudiants à évaluer.

La validité du test passe également par la qualité de la vignette clinique qui doit effective-

ment correspondre à une situation clinique représentative de cas vus dans la pratique médicale réelle 17. La construction d'une vignette adaptée au niveau d'un étudiant de DCEM, surtout en début de

cycle, peut présenter des difficultés 18. Les situations cliniques réelles, rencontrées au cours des

consultations vécues par les enseignants, dont il est fortement conseillé de s'inspirer pour créer les

vignettes et les items 3 17 ne sont pas forcément adaptées au niveau de connaissance d'un étudiant en

début ou milieu de DCEM. Une situation courante dans la discipline explorée par une vignette cli-

nique authentique représente une situation déjà très complexe pour un étudiant en début de DCEM

qui a fait très peu de stage, et qui ne fait que commencer l'apprentissage du raisonnement clinique,

un processus compliqué dont toutes les étapes doivent être progressivement maîtrisées 19 20. L'incer-

titude perçue par un médecin expérimenté ne portera pas forcément sur le même point que celui

d’un étudiant, qu'il n'est pas forcément évident pour l'enseignant d'entrevoir a priori. Le test est

conçu pour évaluer la qualité d'un micro-jugement clinique et non l'ensemble d'un raisonnement que

fera sans difficulté un médecin expérimenté. Il faut que le rédacteur sache retourner à ce stade du

micro-jugement. Ces difficulté expliquent que les TCS soient jusqu’à présent plus utilisés au cours

de troisième cycle qu’en DCEM comme le montre notre enquête et la littérature 16. A ce niveau, il

est aisé de construire des TCS valides car rédacteurs et examinés ont des connaissances et des

scripts plus convergents.

Pour obtenir une fiabilité optimale (coefficient α de Cronbach > 0,8) une épreuve de TCS

doit comporter 20 à 25 vignettes comportant chacune 3 items, soit au total 60 à 75 questions, elle se

déroule dans ces conditions en 60 à 90 minutes 15 21. Dans notre enquête aucun des examens les inté-

grant ne comportait uniquement des TCS. A chaque fois il s'agissait de quelques TCS associés à

d'autres types de questions (QCM, QROC, dossier clinique). Dans l'expérience rennaise, où il a été

calculé, le coefficient α n’était que de était de 0.35 4. Ainsi dans les conditions actuelles d'utilisation

des TCS au cours d'examens potentiellement validant en DCEM le coefficient de consistance in-

terne ne peut pas atteindre 0,70, et donc la fiabilité n’est pas optimale.

13

La fiabilité d'une épreuve de TCS repose également sur le nombre d'experts composant le

panel. Gagnon et al. ont montré qu’un panel de référence devait comporter au moins une quinzaine

de membres pour des TCS dont l’enjeu est certificatif afin de garantir une fiabilité estimée correcte

exprimé par le coefficient alpha de Cronbach (>0,70) 21. Pour les TCS à visée formative, sans enjeu

de classement ou de certification, le panel peut être composé de 8 à 10 membres, alors que pour les

examens avec enjeu certificatif particulièrement important le nombre doit atteindre 20. La réunion

de ce nombre importants d'experts est un problème pratique cité à de nombreuses reprises dans les

réponses au questionnaire et qui est confirmé par les expériences pratiques rapportées dans le dé-

tail. Rennes avait pu réunir 13 experts, Reims 10 et 11, Rouen n'avait pu en réunir que 6 à 10. Ces

effectifs étaient faibles malgré la participation au panel des personnes ayant participé à l'élaboration

des tests à Rennes et Reims, d'internes en fin de cursus à Rouen, d'un médecin libéral à Rennes, de

personnes d'un autre hôpital à Rouen. Ces effectifs étaient donc tout juste corrects voir insuffisants

pour des TCS réalisés pour épreuve sanctionnante. Le risque d’un manque de fiabilité des épreuves

comportant des TCS est donc important dans les modalités actuelles de mise en place en DCEM.

Le type de professionnels qui composent le panel n'est pas sans conséquence. En théorie, le

panel doit être composé de spécialistes de la discipline qui exercent une « pratique validée » 17.

L'idée de base est que la performance des évalués soit comparée avec un groupe de personnes qui

sont légitimement représentatives de la profession (ou de la spécialité) à laquelle les évalués as-

pirent à appartenir. La composition d'un panel en nombre restreint composé en partie d'internes,

même en fin de cursus, est un élément qui peut remettre en cause la qualité de l'épreuve or il est

évident que composer des panels remplissant toutes les qualités requises n’est pas aisé dans les pe-

tites facultés de médecine. Une solution à ce problème d'effectif pourrait être de constituer des pa-

nels à partir de praticiens de plusieurs CHU (par inter-région par exemple), ou d'ouvrir les panels à

des praticiens expérimentés locaux exerçant hors CHU. Quelque soit la solution choisie, celle-ci

n'est pas sans conséquence pour l'étudiant car toute modification d'un panel d'experts, que ce soit au

niveau de leur spécialisation, de leur mode d'exercice ou de leur nombre, influe au final sur les

notes obtenues par les étudiants même si globalement leur classement les uns par rapport aux autres

n'est pas modifié. Une étude portant sur des TCS utilisés pour évaluer des sages-femmes a montré

un score de fiabilité de 0,300 si le panel était composé de sages-femmes ayant des compétences gé-

nérales et de 0,395 si elles étaient au contraire spécialisées dans les divers domaines testés dans

l'épreuve 22. Une étude en dermatologie a montré que les scores des internes testés étaient différents

selon que le panel était composé de praticiens exerçant en ville ou à l’hôpital23. En médecine géné-

rale, un panel composé de médecins généralistes de ville ayant ou n'ayant pas de fonction ensei-

gnante ne conduit pas aux mêmes résultats chez les étudiants 24. Ainsi la constitution du panel

14

d'experts est quelque chose de difficile et de délicat dans le cadre d'une épreuve certifiante ou clas-

sante.

CONCLUSION

Le TCS est une méthode innovante d'évaluation du raisonnement clinique dont l’intérêt est

largement documenté par de nombreuses publications. Un petit nombre de facultés de médecine

françaises en ont une expérience plus ou moins limitée au niveau du DCEM, en l’utilisant souvent

dans des conditions de validité et de fiabilité non optimales. Etant donné les difficultés liés à leur

mise en place dans les évaluations du DCEM (formation des rédacteurs, formation des étudiants,

constitution des panels), leur utilisation ne s’amplifiera dans les années à venir que si ce type de do-

cimologie est définitivement retenu pour le futur ECNi. La diffusion de leur utilisation devrait faci-

liter la constitution de panels mieux adaptés à des examens sanctionnant par des regroupements de

spécialistes de plusieurs CHU. La mise en commun des épreuves de chaque établissement dans une

banque nationale semble intéressante mais n'aura d'intérêt pour l'étudiant que s'il a accès à la ré-

ponse du panel, de quel panel s’agira t il dans ce cas ? L'utilisation des TCS au niveau national dans

l'ECNi pourrait être délicate dans cette épreuve qui représente un enjeu majeur pour l'avenir profes-

sionnel de chaque étudiant. Les choix portant sur la composition du ou des panels seront particuliè-

rement importants car celle-ci influence les scores obtenus par les candidats et donc au final influera

sur leur classement dans cette épreuve globale qui comportera différentes modalités d’évaluations,

avec potentiellement des risques de contestation des résultats et la possibilité d'une annulation d'un

nombre plus ou moins importants d'items. L'intérêt majeur des TCS à mon sens est que l'améliora-

tion des scores passe par l'expérience clinique et donc les stages hospitaliers. Ainsi la diffusion de

leur utilisation devrait augmenter à la fois les exigences des étudiants vis à vis de la qualité de leur

stage hospitalier, leur participation active à ceux-ci , et l'investissement des médecins hospitaliers

dans la formation au lit du malade et donc au final améliorer la qualité globale de la formation mé-

dicale initiale.

15

Annexe 1 : Questionnaire

Nom de la faculté de médecine :

Questionnaire sur l’utilisation des tests de concordance de script (TCS) au cours des études médicales pour la validation des Unités d’Enseignement (UE) du DCEM1 au DCEM4

− Votre faculté utilise-t-elle des TCS pour la validation d’une ou plusieurs UE du DCEM1 au DCEM4 ?

Si votre réponse est négative,

• Avez vous connaissance de l'utilisation des TCS dans la validation d'autres enseignements dans votre faculté (stages d'externe, troisième cycle...) ?

• Quelle représentation vous faites vous de cette technique d’évaluation ?

• L’évaluation telle que vous la pratiquez actuellement vous parait elle remplir les objectifs que vous vous êtes fixés ?

• L’inflation du nombre d’étudiants (X2 en 10 ans ) justifie t-il l’introduction de méthodes d’évaluation automatisables ?

• Vous sentez vous partant et intéressé à vous approprier ces techniques ou le ferez vous par obligation ? (ex : réforme de l'ECN)

Si votre réponse est positive, merci de répondre à la suite du questionnaire

− Dans quelle UE les TCS sont ils utilisés ?

− Depuis quand les TCS sont ils utilisés pour valider ces différentes UE ?

− Dans quelle proportion les TCS interviennent-ils dans la validation de chacune des UE qui les utilise ?

(ex : 100% de l’examen est sous forme de TCS, 50% de la note, 25% de la note, autre...)

− Comment les TCS utilisés ont il été élaborés ?− Quel a été le collège d’experts : nombre d’experts, niveau des experts (PU PH, PH,

CCA, années d’ancienneté , experts locaux régionaux, nationaux , …)

− Quel seuil a été retenu pour valider les compétences des étudiants ?

− Les étudiants sont ils satisfaits de cette méthode d’évaluation ?

− Les enseignants sont ils satisfaits de cette méthode d’évaluation ?

− Quel problèmes avez vous rencontrés lors de leur conception ?

− Quels problèmes avez vous rencontrés leurs de leur mise en place ?

16

− êtes vous prêt à collaborer à la mise sur pied d’une banque nationale de TCS ?

17

Annexe 2 : Liste des facultés de médecine contactées et ayant répondu (indication OUI) ou non au questionnaire (indication NON)

Amiens OUI Paris VI (Pierre et Marie Curie) OUIAngers OUI Paris VII (Diderot) OUIBesançon OUI Paris XI (Sud) NONBordeaux NON Paris XII (Est-Créteil) OUIBrest OUI Paris XIII (Nord-Bobigny) NONCaen NON Paris Ile de France Ouest OUIClermont-Ferrand NON Poitiers OUIDijon OUI Reims OUIGrenoble OUI Rennes OUILille (Faculté de médecine libre) OUI Rouen OUILille (Lille 2) OUI Saint-Etienne OUILimoges OUI Strasbourg NONLyon Est OUI Toulouse Purpan NONLyon Sud OUI Toulouse Rangueil OUIMarseille OUI Tours OUIMontpellier OUI Antilles Guyane Guadeloupe OUINancy OUI Point à Pitre NONNantes NON La réunion OUINice OUIParis V (Descartes) NON

18

Annexe 3 : Première série de TCS élaborés, et soumis au panel d’experts, à Reims

TCS 1Vous êtes amené à voir en consultation une femme de 66 ans, dont l’antécédent principal est un diabète de type II découvert il y a 15 ans. Elle présente des œdèmes des membres inférieurs et la créatininémie est à 362 µmol/l.

Si votre hypothèse est : Et que vous apprenez que : La nouvelle information ...

1.1 Néphropathie diabétique Les 2 reins mesurent 10cm –2 –1 0 +1 +2

1.2 Glomérulonéphrite Aigue la patiente est fébrile –2 –1 0 +1 +2

1.3 Nécrose Tubulaire Aigue La tension artérielle est à 140/80 –2 –1 0 +1 +2

–2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement éliminée) –1 : rend l’hypothèse moins probable 0 : n’a aucun effet sur l’hypothèse diagnostique +1 : rend l’hypothèse diagnostique plus probable +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette

hypothèse)

Répartition des réponses des experts du panel

Echelle de Likert -2 -1 0 1 2

N° question

1.1 0 4 4 2 01.2 1 0 4 5 01.3 1 0 9 0 0

TCS 2Un jeune patient de 24 ans se présente aux urgences pour asthénie, anorexie, nausées et vomissements depuis 15 jours. La créatininémie est mesurée à 572 µmol/l.


2.1 Déshydratation Qu’il existe des douleurs musculaires

–2 –1 0 +1 +2

2.2 Néphrite Interstitielle Qu’il existe une glycosurie –2 –1 0 +1 +2

2.3 Insuffisance rénale aigue obstructive

Qu’il existe une hyperuricémie –2 –1 0 +1 +2

–2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement éliminée) –1 : rend l’hypothèse moins probable 0 : n’a aucun effet sur l’hypothèse diagnostique +1 : rend l’hypothèse diagnostique plus probable +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette hypothèse)

19



N° question

2.1 éliminée 0 5 3 3 22.2 éliminée 0 3 2 4 1

2.3 1 0 7 2 0

TCS 3Un homme de 74 ans consulte aux urgences pour prise de poids progressive de 10 kgs en 1 mois. Il présente de volumineux œdèmes des membres inférieurs et un épanchement pleural bilatéral.

–2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement éliminée) –1 : rend l’hypothèse moins probable 0 : n’a aucun effet sur l’hypothèse diagnostique +1 : rend l’hypothèse diagnostique plus probable +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette hypothèse)



N° question

3.1 0 0 5 3 23.2 éliminée 0 3 5 2 03.3 éliminée 0 1 6 1 2

TCS 4Un patient de 65 vous consulte pour la découverte d’une protéinurie à 3,5g/24h. Ses antécédents se résument à une appendicectomie dans l’enfance.


4.1 Un syndrome néphrotique

Il n’existe pas d’œdème –2 –1 0 +1 +2

4.2 Un syndrome néphritique

La créatininémie était à 120 µmol/l il y a 6 mois

–2 –1 0 +1 +2

4.3 Une nécrose tubulaire aigue

La bandelette urinaire est négative

–2 –1 0 +1 +2

A. –2 : rend l’hypothèse diagnostique beaucoup moins probable (hypothèse pratiquement éliminée)

B. –1 : rend l’hypothèse moins probable

20


3.1 Syndrome néphrotique Qu’il a eu une colectomie droite il y a 6 mois

–2 –1 0 +1 +2

3.2 Insuffisance hépatocellulaire

Qu’il a des douleurs osseuses –2 –1 0 +1 +2

3.3 Insuffisance cardiaque Qu’il existe un frottement pleural

–2 –1 0 +1 +2

C. 0 : n’a aucun effet sur l’hypothèse diagnostique D. +1 : rend l’hypothèse diagnostique plus probable E. +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette

hypothèse)



N° question

4.1 3 6 1 0 04.2 éliminée 1 3 3 3 0

4.3 2 1 4 3 0

TCS 5Un patient de 38 ans vous consulte pour la découverte d’une hématurie. Il est enseignant, marié, 2 enfant. Il est fumeur.


5.1 Une vascularite La créatininémie est actuellement à 115 µmol/L, elle était à 112 µmol/L il y 3 mois

–2 –1 0 +1 +2


Le patient a présenté une grippe B il y a 72h

–2 –1 0 +1 +2

5.3 GN rapidement progressive

L’auscultation pulmonaire révèle un foyer de râles

crépitant suspendu à gauche

–2 –1 0 +1 +2


B. –1 : rend l’hypothèse moins probable C. 0 : n’a aucun effet sur l’hypothèse diagnostique D. +1 : rend l’hypothèse diagnostique plus probable E. +2 : rend l’hypothèse beaucoup plus probable (il ne peut s’agir pratiquement que de cette

hypothèse)



N° question

5.1 0 8 2 0 05.2 éliminée 0 2 3 5 05.3 0 1 2 7 0

TCS 6Un patient de 38 vous consulte pour la découverte d’une protéinurie abondante. Il est maçon, célibataire et non fumeur.



Il a des œdèmes et est hypotendu –2 –1 0 +1 +2

21


Il a un épanchement pleural et est hypertendu –2 –1 0 +1 +2


La biopsie rénale est normale–2 –1 0 +1 +2



hypothèse)



N° question

6.1 éliminée 0 2 2 7 06.2 0 1 0 7 26.3 0 0 1 5 4

TCS 7Une patiente de 24 ans vous consulte pour la découverte d’une HTA à 185/105mmHg. Elle est étudiante en école de commerce.



Sa PA était à 150/90 mmHg il y a 3 mois

–2 –1 0 +1 +2


Elle a présenté une angine il y a 15 jours et n’a pas d’œdème

–2 –1 0 +1 +2


Sa protéinurie est à 3,5g/24h –2 –1 0 +1 +2



hypothèse)Répartition des réponses des experts du panel

Echelle de Likert -2 -1 0 1 2 N° question 7.1 éliminée 3 5 0 2 0

22

7.2 0 1 0 5 47.3 0 0 0 9 1

TCS 8Une patiente de 58 ans vous consulte pour la découverte d’une IRA. Elle est professeur de musique en retraite et avoue fumer du cannabis occasionnellement.


8.1 Une néphrite tubulo-interstitielle aigue

Elle a présenté une angine il y a 15 jours pour laquelle elle a

consulté son médecin–2 –1 0 +1 +2

8.2 Une nécrose tubulaire aigue

Elle a bénéficié d’une scanner abdominal injecté pour l’exploration de douleur abdominale il y a 1 mois

–2 –1 0 +1 +2

8.3 Une néphropathie vasculaire

Elle a bénéficié d’une coronarographie il y a 48h –2 –1 0 +1 +2



hypothèse)F.



N° question

8.1 éliminée 1 4 4 1 08.2 0 1 0 8 18.3 0 0 1 8 1

TCS 9Vous analysez la biopsie rénale d’une patiente de 85 ans qui présente une protéinurie abondante. Vous observez .


9.1 Une glomérulonéphrite extra-membraneuse

Les glomérules sont optiquement normaux

–2 –1 0 +1 +2

9.2 Une néphropathie diabétique

Il existe un épaississement mésangial en boule et l’IF est

négative

–2 –1 0 +1 +2

9.3 Une néphrose lipoïdique avec hyalinose segmentaire et focale

L’immunofluorescence est négative et les tubes sont

vacuolisés

–2 –1 0 +1 +2


23


hypothèse)



N° question

9.1 éliminée 3 1 1 5 09.2 0 0 1 4 5

9.3 éliminée 0 2 0 6 2

TCS 10Un homme de 30 ans consulte pour des urines de couleur coca cola depuis 4 jours.


10.1 Une hématurie macroscopique

Il a mangé des betteraves rouges à deux repas lors de ces 4 jours –2 –1 0 +1 +2

10.2 Une hématurie d’origine glomérulaire

Il existe des acanthocytes à l’examen cytologique urinaire –2 –1 0 +1 +2

10.3 Une Glomerulonéphrite aiguë post infectieuse

Le patient a une pression artérielle à 160/90 –2 –1 0 +1 +2



hypothèse)



N° question

10.1 éliminée 3 4 3 0 0

10.2 éliminée 0 1 2 2 4

10.3 0 0 1 8 1

TCS 11Une femme de 30 ans consulte car la médecine du travail vient de trouver une hématurie microscopique à la bandelette urinaire.


11.1 une hématurie microscopique d’origine glomérulaire

La bandelette urinaire a été réalisée à la fin de la période

menstruelle–2 –1 0 +1 +2


Elle a déjà fait plusieurs cystites–2 –1 0 +1 +2

24


Elle a des œdèmes des membres inférieurs –2 –1 0 +1 +2



hypothèse)



N° question

11.1 2 7 1 0 011.2 1 8 1 0 011.3 0 0 0 8 2

TCS 12Une femme de 20 ans consulte pour œdèmes. Elle a pris deux kg en une semaine passant de 55 à 57kg . Elle a des antécédents de cystite.



L’œdème est localisé strictement au membre inférieur

droit–2 –1 0 +1 +2


Il existe une hématurie microscopique détectée à la

bandelette urinaire–2 –1 0 +1 +2


Elle a l’impression de moins uriner –2 –1 0 +1 +2



hypothèse)



N° question

12.1 5 5 0 0 012.2 0 0 0 2 812.3 0 1 4 5 0

25

TCS 13Un homme de 60 ans consulte pour fatigue. Il est traité depuis 10 ans pour une hypertension artérielle par régime sans sel qu’il suit très strictement et un traitement médicamenteux et pour un diabète évoluant depuis 20 ans. Le bilan biologique montre une hypoprotidémie à 50 g/L.



Il n’a pas d’œdème à l’examen clinique

–2 –1 0 +1 +2


Il est essoufflé depuis quelques jours

–2 –1 0 +1 +2


La natriurèse est faible –2 –1 0 +1 +2



hypothèse)



N° question

13.1 1 6 2 0 013.2 0 0 3 7 013.3 0 0 4 6 0

TCS 14Un homme de 60 ans de 170 cm consulte pour prise de poids. Il est passé de 70kg à 85 kg en 2 semaines. Ses antécédents sont marqués par une diabète qui évolue depuis l’âge de 50 ans.



–2 –1 0 +1 +2


Sa pression artérielle est à 160/90- 2 –1 0 +1 +2


Il est essoufflé depuis quelques jours–2 –1 0 +1 +2

26



hypothèse)



N° question

14.1 0 1 0 6 314.2 0 0 7 2 114.3 0 0 4 6 0

TCS 15Vous voyez aux urgences une femme de 20 ans qui vient de faire un malaise. Vous constatez une perte de poids récente: elle est passée de 50kg à 47 kg, pour 170 cm en 15 jours. Ses antécédents sont marqués par une hospitalisation en pédopsychiatrie pour anorexie mentale quand elle avait 14 ans.


16.1 Une déshydratation extra cellulaire

–2 –1 0 +1 +2


Une pression artérielle à 9/6–2 –1 0 +1 +2


La diurèse des 24 heures est de 1200 ml –2 –1 0 +1 +2



hypothèse)



N° question

15.1 0 0 0 4 615.2 0 0 0 6 415.3

éliminée 2 5 1 2 0

TCS 16Un homme de 82 ans, diabétique de type 2 compliquée d’une rétinopathie diabétique et d’une insuffisance rénale chronique sévère avec une clairance à 25ml/min/1,73m2 est hospitalisé pour IRA sur IRC et hyperkaliémie à 7mmol/l.

27

Si vous pensiez donner : Et que vous apprenez que : La nouvelle information ...

16.1 Du chlorure de calcium

Que l’ECG est normal –2 –1 0 +1 +2

16.2 La dialyse en urgence Et que vous apprenez que le patient a perdu 6 kg suite à des

diarrhées et que la RA est à 10mmol/l.

–2 –1 0 +1 +2

16.3Des bicarbonates de Na, de l’insuline/glucose et du kayexalate avant de débuter la dialyse.

Et que vous trouvez un patient polypnéique avec une FR

30/min.

–2 –1 0 +1 +2

-2 rend votre option thérapeutique absolument contre-indiqué -1 rend votre option thérapeutique peu utile ou plutôt néfaste0 rend votre option thérapeutique ni plus ni moins utile +1 rend votre option thérapeutique utile et souhaitable +2 rend votre option thérapeutique indispensable



N° question

16.1 éliminée 4 2 3 1 0

16.2 6 3 0 0 116,3 1 5 4 0 0

TCS 17Vous voyez en consultation Mme Z, 40 ans insuffisante rénale chronique sur maladie de Berger avec une clairance à 30ml/min/1,73m2 qui consulte pour le suivi de son IRC.

Si vous voulez lui prescrire :

Et que vous apprenez que : La nouvelle information ...

17.1 Un IEC pour équilibrer son HTA et diminuer sa protéinurie

Sur le bilan du jour la kaliémie est à 5,4mmol/l. –2 –1 0 +1 +2

17.2 Un traitement par bicarbonate de Na pour corriger une acidose métabolique avec une RA à 16mmol/l

En examinant le patient vous retrouvez des OMI modérés remontant jusqu’au genoux.

–2 –1 0 +1 +2

17.3 Un traitement par EPO pour une anémie à 9g/dl.

et vous retrouvez sur le bilan une carence martiale –2 –1 0 +1 +2

-2 rend votre option thérapeutique absolument contre-indiqué -1 rend votre option thérapeutique peu utile ou plutôt néfaste0 rend votre option thérapeutique ni plus ni moins utile +1 rend votre option thérapeutique utile et souhaitable +2 rend votre option thérapeutique indispensable

28



N° question

17,1 2 7 1 0 017,2

éliminée 2 5 3 0 017,3 4 6 0 0 0

29

Annexe 4 : TCS de l’examen de la première session de l’UE Reins et voies urinaires, à Reims, en ami 2013, Licence 3

Questions 49 à 58 : Tests de Concordance de Script (TCS)

Test de concordance script 1

Un homme de 60 ans de 170 cm consulte pour prise de poids. Il est passé de 70kg 85 kg

en 2 semaines. Ses antécédents sont marqués par un diabète qui évolue depuis l’âge de

50 ans.

Question 49 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que

alors cette information . . .

A. –2 : Rend l’hypothèse diagnostique beaucoup moins probable

(hypothèse pratiquement éliminée)

B. –1 : Rend l’hypothèse moins probable

C. 0 : N’a aucun effet sur l’hypothèse diagnostique

D. +1 : Rend l’hypothèse diagnostique plus probable

E. +2 : Rend l’hypothèse beaucoup plus probable

(il ne peut s’agir pratiquement que de cette hypothèse)

30

Question 50 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que sa

pression artérielle est à 160/90 mmHg alors cette information . . ..








Question 51 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez qu’il est

essoufflé depuis quelques jours alors cette information . . ..

Α. –2 : Rend l’hypothèse diagnostique beaucoup moins probable


Β. –1 : Rend l’hypothèse moins probable

Χ. 0 : N’a aucun effet sur l’hypothèse diagnostique

∆. +1 : Rend l’hypothèse diagnostique plus probable

Ε. +2 : Rend l’hypothèse beaucoup plus probable


Question 52 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que sa

glycémie est à 2g/L alors cette information . . ..





31




Test de concordance script 2

Un homme de 74 ans consulte aux urgences pour prise de poids progressive de 10 kgs en

1 mois. Il présente de volumineux œdèmes des membres inférieurs et un épanchement

pleural bilatéral.

Question 53 (CS)

Si votre hypothèse est syndrome néphrotique et que vous apprenez qu’il a eu une

colectomie droite il y a 6 mois alors cette information . . .








Question 54 (CS)

Si votre hypothèse est une insuffisance hépatocellulaire et que vous apprenez qu’il

existe un ictère alors cette information. . .







32


Question 55 (CS)

Si votre hypothèse est une insuffisance rénale chronique et que vous apprenez qu’il

existe un frottement péricardique alors cette information. . .








Test de Concordance Script 3

Un patient de 65 vous consulte pour la découverte d’une protéinurie à 3,5g/24h. Ses

antécédents se résument à une appendicectomie dans l’enfance.

Question 56 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez qu’il n’existe

pas d’œdème alors cette information. . .








Question 57 (CS)

Si votre hypothèse est un syndrome néphrotique et que vous apprenez que La

33

créatininémie était à 120 µM/L il y a 6 mois et est à 125 µmol/l actuellement alors

cette information . . .








Question 58 (CS)

Si votre hypothèse est une nécrose tubulaire aigue et que vous apprenez que la

bandelette urinaire retrouve ++++ de protéinurie alors cette information . .








34

1Références bibliographiques

Charlin B, Brailovsky C, Leduc C, Blouini D. The Diagnosis Script Questionnaire: A New Tool to Assess a Specific Dimension of Clinical Competence. Advances in Health Sciences Education 1998 ; 51(3) : 51-58

2 Serratrice J, Bourgeois M, Thirion X, Pauli V, Benyamine A, Enéa N, Weiller PJ, Disdier P. Utilisation du test de concordance de script comme indicateur de suivi des pratiques professionnelles : application au thème des maladies systémiques vues par le médecin généraliste et l’interniste. La Revue de médecine interne 2008 ; 29S : S294–S336

3 Giet D, Massart V, Gagnon R, Charlin B. Le test de concordance de script en 20 questions. Péda-gogie Médicale 2013; 14 (1) : 1-10

4 Jouneau S, Luarina R, Desrue B. Intérêt des TCS pour évaluer le raisonnement et l’organisation des connaissances des étudiants en quatrième année des études médicales en France. Pédagogie Médicale 2012 ; 13(3) : 1-8

5 Charlin B, Tardif J, Boshuizen H. Script and medical diagnostic knowledge: theory and applica-tions for clinical reasoning instruction and research. Acad Med 2000 ; 75 (2): 182-190

6 Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B. Script concordance testing: From theory to practice: AMEE Guide No. 75. Medical teacher 2013 ; 35(3):184-93

7 http://www.cpass.umontreal.ca/tcs.html consulté le 20.09.2013.

8 Humbert A, Johson M, Miech E, Friedberg F, Grackin J, Seidman PA. Assessment of clinical reas-oning: A script concordance test designed for pre-clinical medical students. Med Teach 2011 ; 33 : 472–477

9 Meterissian S. A novel method of assessing clinical reasoning in surgical residents. Surg Innov 2006 ; 13:115–119

10 Duggan P, Charlin B. Summative assessment of 5th year medical students’ clinical reasoning by script concordance test : requirements and challenges. BMC Medical Education 2012 ; 12:29

11 http://www.cpass4.umontreal.ca/www.health.adelaide.edu.au/. Consulté le 20.09.2013

12 Gibot S, Bollaert PE. Le test de concordance de script comme outil d'évaluation formative en réanimation médicale. Pédagogie Médicale 2008 ; 9(1) : 7-18

13 Gagnon R, Thivierge RL, Laprise R, Ste-Marie L-G, Charlin B. Formation continue en petits groupes sur l'ostéoporose : comparaison d'un atelier basé sur le test de concordance de scripts (TCS) et d'un atelier classique. Pédagogie Médicale 2003 ; 4: 145-153

14 Lubarsky S, Charlin B,3 Cook DA, Chalk C, van der Vleuten C. Script concordance testing: a review of published validity evidence. Medical Education 2011 ; 45: 329–338

15 Charlin B, Gagnon R, Kazi-Tani D, Thivierge R. Le test concordance comme outil d'évaluation en ligne du raisonnement des professionnels en situation d'incertitude. Revue internationale des tech-nologies en pédagogie universitaire 2005 ; 2 : 22-7

http://www.cpass4.umontreal.ca/www.health.adelaide.edu.au/

http://www.cpass.umontreal.ca/tcs.html

16 Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance tests: insights from a systematic review. Medical Education 2012: 46: 552–563

17 Fournier JP, Demeester A, Charlin B. Scrpit concordance test : guidelines for construction. BMC Med Infom Decis Mak 2008 ; 8 : 18

18 Caire F, Sol JC, Moreau JJ, Isidori P, Charlin B. Self-assessment for neurosurgery residents by script concordance test (SCT). The process of test elaboration. Neurochirurgie 2004 ; 50:66-72

19 Charlin B, Lubarsky S, Millette B, Crevier F, Audétat MC, Charbonneau A, Caire Fon N, Hoff L, Bourdy B. Clinical reasoning processes: unravelling complexity through graphical representation Medical Education 2012 : 46: 454–463

20 Audétat MC, Laurin S, Sanche G, Béique C, Caire Fon N, Blais JG, Charlin B. Clinical reasoning difficulties: A taxonomy for clinical teachers. 2012, e1–e6, Early Online Medical Teacher

21 Gagnon R, Charlin B, Coletti M, Sauvé E, van der Vleuten C. Assessment in the context of uncer-tainty : How many members are needed on the panel of reference of a script concordance test? Med Educ 2005 ; 39: 284-91

22 Gantelet M. Impact du panel de référence sur les résultats d’un test de concordance de script (TCS) développé en formation initiale des sages-femmes. Dissertation for the completion of a diplo-ma of the Ecole des cadres sages-femmes. 2008. Dijon: Ecole de Cadres Sages-Femmes.

23 Bursztejn AC, Cuny JF, Adam JL, Sido L, Schmutz JL, de Korwin JD, Latarche C, Braun M, Bar-baud A. Test de concordance de script en dermatologie: évaluation du choix du panel d’experts. Pé-dagogie Médicale 2010 ; 11 (Suppl 1):69.

24 Charlin B, Gagnon R, Sauve E, Coletti M. Composition of the panel of reference for concordance tests: do teaching functions have an impact on examinees’ ranks and absolute scores? Med Teach 2007 ; 29 (1):49–53

États des lieux, en 2013, de l’utilisation des tests de ...États des lieux, en 2013, de...

Documents