Boîtiers de votes et simulation du Boîtiers de votes et simulation du Test de Concordance de Script (TCS)Test de Concordance de Script (TCS)

à la Faculté de Médecine de à la Faculté de Médecine de l’Université de Liègel’Université de Liège

Pr. Didier GIET Valérie MASSARTPr. Didier GIET Valérie MASSART

CDS – 23 mai 2007

Université de LiègeDépartement de Médecine Générale

sommairesommaire

1. contextecontexte de la mise en place du TCS

2. procédureprocédure de simulation du TCS

3. exemplesexemples d’exercices proposés aux étudiants

DG

contextecontexte

dispositifs d’évaluation mis en place à la dispositifs d’évaluation mis en place à la Faculté de Médecine de l’ULg Faculté de Médecine de l’ULg

ECOS/EMSECOS/EMS

évaluation V-Févaluation V-F

oral multidisciplinaireoral multidisciplinaire

stages …stages …

procédureprocédure exemplesexemples

DG

CONSTAT : manque d’évaluation du raisonnement dans CONSTAT : manque d’évaluation du raisonnement dans

un contexte d’incertitudeun contexte d’incertitude

contextecontexte

Test de Concordance de ScriptTest de Concordance de Script (TCS) (TCS)

proposé depuis 2003proposé depuis 2003

à des étudiants volontaires de 4à des étudiants volontaires de 4èmeème doctoratdoctorat

à titre expérimental (non sanctionnant)à titre expérimental (non sanctionnant)

procédureprocédure exemplesexemples

contextecontexte

depuis 2003, récolte et analyse des donnéesdepuis 2003, récolte et analyse des données

place du TCS dans le panel d’évaluations de place du TCS dans le panel d’évaluations de fin de formation prégraduée médicalefin de formation prégraduée médicale

??

procédureprocédure exemplesexemples

procédureprocédure

maimai1.1. présentation de l’présentation de l’expérienceexpérience

2.2. présentation du présentation du TCSTCS

3.3. simulationsimulation de l’examen avec de l’examen avec boîtiers de votesboîtiers de votes

contextecontexte exemplesexemples

VM

juinjuin

4. 4. passation du TCS sur papierpassation du TCS sur papier5. 5. feed-back différésfeed-back différés

procédureprocédure

1. présentation de l’1. présentation de l’expérienceexpérience

constatsconstats et et besoinsbesoins de la Faculté de la Faculté

contextecontexte exemplesexemples

- évaluation de - évaluation de connaissancesconnaissances - précision variable de - précision variable de l’évaluation des l’évaluation des compétencescompétences- évaluations - évaluations sanctionnantessanctionnantes

((≠ ≠ informatives)informatives)

évaluationévaluation : :- globale - globale - professionnalisante- professionnalisante- informative- informative- longitudinale- longitudinale

TCSTCS

procédureprocédure

2. présentation du 2. présentation du TCSTCS

contextecontexte exemplesexemples

- évaluation du raisonnement clinique

- évaluation de la capacité à résoudre des problèmes mal définis

expertise professionnelle

- discriminant (novices / experts)

Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte

pour obtenir un diagnostic.

Si vous pensiez

demanderEt que vous apprenez que Demander ce test devient

un scanner cérébral

l’effet du paracétamol est fugace

-2 -1 0 +1 +2

-2-2 inutile ou

non pertinent

-1-1 moins utile,

moins pertinent

00 l’information n’a aucun

effet sur la pertinence de l’hypothèse envisagée

+1+1

plus utile

+2+2

indispensable

procédureprocédure contextecontexte exemplesexemples

Ghislaine, 45 ans, souffre de migraines depuis 4 semaines. Elle est inquiète et vous consulte

pour obtenir un diagnostic.

Si vous pensiez

demanderEt que vous apprenez que Demander ce test devient

un scanner cérébral

l’effet du paracétamol est fugace

-2 -1 0 +1 +2

-2-2 inutile ou

non pertinent

-1-1 moins utile,

moins pertinent

00 l’information n’a aucun

effet sur la pertinence de l’hypothèse envisagée

+1+1

plus utile

+2+2

indispensable

scénario : vie clinique réelle

problème, même pour un expert

une des options

pertinentes nouvelle donnéequel effet sur le statut de

votre opinion ?

échelle de Likert

procédureprocédure contextecontexte exemplesexemples

• groupe d’experts passent le testexperts passent le test• la réponse de chaque expert reflète une opinion valideréponse de chaque expert reflète une opinion valide• exemple : 10 membres

-2 -1 0 +1 +2

7 experts3 experts

score score : diviser par la valeur la plus haute

7/7 = 1 pt3/7 = 0,42 pt

crédit de l’étudiantcrédit de l’étudiant fonction du nb de réponses des expertsnb de réponses des expertstest de CONCORDANCE de scripts

0/7 = 0 pt 0/7 = 0 pt0/7 = 0 pt

procédureprocédure contextecontexte exemplesexemples

procédureprocédure

3. 3. simulation de l’examensimulation de l’examen avec avec boîtiers de votesboîtiers de votes

contextecontexte exemplesexemples

permet aux étudiants de :

- se familiariser avec le TCS

- recevoir un FB immédiat : confrontation des scripts étu-experts

exemplesexemples

simulation du TCSsimulation du TCS

contextecontexte procédureprocédure

3 types de questions3 types de questions

1. diagnostic 6 exercices

2. investigation 6 exercices

3. traitement 6 exercices

DG

Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur.si votre hypothèse est et que vous apprenez

quel’effet sur l’hypothèse

diagnostique est

un zona elle ne décrit aucune douleur

-2 -1 0 +1 +2

-2 l’hypothèse est absolument ou pratiquement éliminée

-1 l’hypothèse devient moins probable

0 l’information n’a aucun effet sur l’hypothèse

+1 l’hypothèse devient plus probable

+2 il ne peut s’agit pratiquement que de cette hypothèse

exemplesexemples contextecontexte procédureprocédure

question diagnostiquequestion diagnostique

Madame Dumont est âgée de 79 ans. Elle développe une éruption érythémato-vésiculeuse confluente au niveau d’un membre inférieur.si votre hypothèse est et que vous apprenez

quel’effet sur l’hypothèse

diagnostique est

un zona elle ne décrit aucune douleur

-2 -1 0 +1 +2

-2 l’hypothèse est absolument ou pratiquement éliminée

-1 l’hypothèse devient moins probable

0 l’information n’a aucun effet sur l’hypothèse

+1 l’hypothèse devient plus probable

+2 il ne peut s’agit pratiquement que de cette hypothèse

exemplesexemples contextecontexte procédureprocédure

question diagnostiquequestion diagnostique

22

55

22

11

0,40,4

11

0,40,4

0,20,2

00

avis des expertsavis des experts

question d’investigationquestion d’investigation

Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures.

Si vous pensiez demander

et que vous apprenez que

demander ce test devient

un abdomen à blanc la tigette urinaire est positive pour les nitrites

-2 -1 0 +1 +2

-2 inutile ou non pertinent-1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la

pertinence de l’hypothèse envisagée+1 plus utile+2 indispensable

exemplesexemples contextecontexte procédureprocédure

question d’investigationquestion d’investigation

Yves, 52 ans, présente une vive douleur lombaire basse irradiée en hémi-ceinture depuis 12 heures.

Si vous pensiez demander

et que vous apprenez que

demander ce test devient

un abdomen à blanc la tigette urinaire est positive pour les nitrites

-2 -1 0 +1 +2

-2 inutile ou non pertinent-1 moins utile, moins pertinent 0 l’information n’a aucun effet sur la pertinence de l’hypothèse envisagée+1 plus utile+2 indispensable

exemplesexemples contextecontexte procédureprocédure

33

44

22

11 0,30,3

0,50,5

11

0,80,8

00

avis des expertsavis des experts

question de traitementquestion de traitementMartine, 23 ans, présente un œil rouge et prurigineux.

Si vous pensiez donner

et que vous apprenez que

L’attitude envisagée devient

Frakidex® (collyre corticoïdes)

son fils de 3 ans a vécu une histoire clinique

semblable la semaine dernière

-2 -1 0 +1 +2

-2 inutile ou non pertinente-1 moins utile, moins pertinente0 non influencée par la nouvelle donnée+1 utile et souhaitable+2 indispensable

exemplesexemples contextecontexte procédureprocédure

question de traitementquestion de traitementMartine, 23 ans, présente un œil rouge et prurigineux.

Si vous pensiez donner

et que vous apprenez que

L’attitude envisagée devient

Frakidex® (collyre corticoïdes)

son fils de 3 ans a vécu une histoire clinique

semblable la semaine dernière

-2 -1 0 +1 +2

-2 inutile ou non pertinente-1 moins utile, moins pertinente0 non influencée par la nouvelle donnée+1 utile et souhaitable+2 indispensable

exemplesexemples contextecontexte procédureprocédure

55

33

22

11

0,40,4

00

0,60,6

00

avis des expertsavis des experts

exemplesexemples contextecontexte procédureprocédure Résultats TCS 2004, envoyés aux étudiants

courbe des résultats par matière

résultats (notes) de l’étudiant

exemplesexemples contextecontexte procédureprocédure

Nuage de Points : Var1 vs. Var2 (Obs. à VM ignorées)

Var2 = 38,506 + ,61355 * Var1

Corrélation: r = ,45956

40 45 50 55 60 65 70 75 80

Var1

60

65

70

75

80

85

90

Va

r2

95% de confiance

Résultats TCS 2004, envoyés aux étudiants : corrélation TCS-examens

merci pour votre merci pour votre attention !attention !

Université de LiègeDépartement de Médecine Générale