Les JEUNSou

Les premières Journées de l’Enseignement Universitaire Numérique en Santé 

COLLOQUE SIDESNice 11-13 septembre 2013

 

Agathe Seguin (Bobigny)Marc Braun (Nancy)

Atelier Dossier Progressif Clinique (JP Fournier – O Palombi)

I. Rappels sur l’intérêt du DCP vs cas clinique actuels à l’ECN

• Rappels sur l’intérêt du DCP vs cas clinique actuels à l’ECN

• Indépendance des questions assurées• Contenu multimédia valorisé (sons,

images, vidéo) ATTENTION doit apporter une valeur réelle au cas clinique

• Temps de composition réduit (compensé par un énoncé plus riche et un temps de réflexion plus long)

• Correction automatique

II. Conseils de méthodologie (1)

1)Prévoir 15 questions avec un temps rédactionnel de 30 minutes2)Le temps de « relecture » disparait : Ceci nécessite un réel apprentissage de la

part des étudiants (En moyenne 2 minutes par question.)3)Contenu multimédia.

– moins de 3 minutes si son ou vidéo. – Ne doit pas sortir du champ de compétence d’un étudiant de deuxième cycle. – Systématiquement rapporté à un item. – Qualité visuelle et sonore irréprochable. ( format JPEG ou PNG)– Différents thèmes peuvent être abordés : interrogatoire, sémiologie ; geste

technique, vidéo relation médecin/patient…Le cahier des charges est LOURD. 4)Référentiel ECN : chaque dossier doit être lié au référentiel ECN ABSOLUMENT. 5)Sur le site SIDES sera mis en ligne une matrice permettant de faire le lien entre ancien

référentiel et nouveau référentiel ECN 2013

II. Conseils de méthodologie (2)

5)Lors de la conception des questions : – il faut en premier définir la finalité de la question (à savoir : évaluation des

connaissances (niveau 1) ou utilisation contextuel de ces connaissances (niveau 2). – Puis définir le type de question : QRU / QCM / QROC

6)définir un comité de lecture qui valide les dossiers avant de les soumettre en examens : ce comité doit avoir pour objectif de « jouer » le dossier (= le faire dans un contexte progressif) et pas seulement le relire

7) Lors de la correction des dossiers : TRES IMPORTANT de donner des commentaires et des liens vers des cours ou des références

8)COMMENT transformer un cas clinique ancien en DCP ?– Prendre les erreurs des étudiants retrouvés dans les copies et les mettre en

« distracteurs » dans les QCM. – Ne pas mettre bcp de distracteurs car sinon n’est plus discriminant. (en moyenne à

un QCM : environ 5 choix, en mettre plus s’avère finalement inutile, car manque de plausibilité)

TECHNIQUE (3)

9) Il sera possible de créer des examens locaux à partir de l’interface SIDES au 15/10/2013.

10)Une proposition de « duplication » de dossier sera proposé pour éventuellement reprendre tout ou une partie d’un dossier déjà « joué »

Barème● Pas de réelle discussion du barème

dans SIDES● Tous les dossiers sont sur 100 points● Le système fait en sorte qu’une

réponse est vraie ou fausse. L’enseignant faisant le DCP peut indiquer si une réponse est indispensable ou inacceptable.

● La valeur de chaque question peut être pondérée par un coefficient allant de 1 à 3.

● La question est notée sur 1. ● La correction se fait par concordance.● Le choix pour SIDES est d’opter pour

une correction à 3 niveaux de discordances. (1 erreur = 0.5 points, 2 erreurs = 0.25 points, 3 erreurs = 0 points)

CORRECTIONS

● Cette évaluation permet une bonne distribution des étudiants

● Au vu des résultats des tests : la validation était à 10 de moyenne et non à 8

● Il est possible après un examen local de changer la pondération d’une question si il s’avère qu’une question était inadéquate ou non discriminante

● Quand le dossier est validé et établi comme discriminant : il tombera de manière automatique dans la banque nationale (pas encore complètement établi)

Séminaire / atelier Lecture critique d’Article  (J Labarère – P Staccini)

Conseils de méthodologie (1)

• Ancienne formule = Epreuve de 3h comportant 6 à 10 question rédactionnelles

• Nouvelle formule : 12 à 20 questions. Correction informatisée. Indépendance des questions MAIS pas de progressivité (toutes les questions sont accessibles)

• Choix de l’article : étude observationnelle ou expérimentale. A priori en 2016, très probable que la LCA se fasse sur un article non traduit en langue anglaise. Article à utiliser en entier dans la mesure du possible

Conseils de méthodologie (2)

• Elaboration des questions : ne pas demander de nouveau calcul.

• Les questions s’écartant de l’article (type question de cours sur la pathologie) sont proscrites.

• Une question ne doit pas comporter de sous question

Conseils de méthodologie (3)

• Objectifs pédagogiques : évaluer une procédure diagnostique/ un traitement / un programme dépistage / une enquête épidémiologique

• Pièges à éviter : article trop long / questions imprécises / attention aux termes prêtant à discussion comme le mot « biais ». Pour ce faire, se référer au glossaire élaboré par le CNCI

• Outils à disposition pour élaborer des LCA : – site du CNCI (www.cnci.univ-paris5.fr) qui définit les objectifs pédagiogiques, référence

le glossaire, donne les archives des épreuves des années précédentes des ECN– la plateforme SIDES– Site Be cool (www.proejtbecool.fr) : recense toutes les questions posées

aux derniers ECN– Livre D Jolly et al (CUESP). Lecture critique d’article médicaux. Paris Masson

3° édition 

Atelier Tests de concordance de script TCS  (B. Charlin – L. Sibert)

TCS ?

• B Charlin : Définitions et conception générale• Script = Stratégie d’organisation de

connaissances dans un contexte pour accomplir une tâche (sciences cognitives)

• Un TCS permet d’évaluer d’incertitude• Cotation = se fait en comparant la concordance

avec les réponses d’un panel.

Elaboration d’un TCS

– Comprendre la différence entre QCM et TCS

Objectifs du TCS

• diagnostique• d’investigation• thérapeutique• pronostique• Ethique• inséré dans un LCA…

Notation d’un TCS

• Situation d’incertitude• Pas de bonne réponse absolue• La notation est une concordance avec comparaison de la

réponse du candidat aux réponses fournies par le panel utilisant la Méthode des scores combinés : un groupe de patriciens expérimentés (mais pas forcément experts) passe le test individuellement et constitue le panel de référence. Les points sont fonction du nombre de membres du panel qui ont fourni la même réponse

• Il existe un correcteur automatique de TCS disponible sur le site de l’université de Montréal : www.cme.montreal.ca/tcs

Principes de rédaction (1)

● sélection de situations cliniques● sélections d’hypothèses pertinentes / nouvelles

informations / éléments clefs pour confirmer ou infirmer● rédaction de vignettes● validation du test par des experts (sélection du panel)● rédaction à une ou deux personnes (pas plus)● niveau d’incertitude à gérer : pas de piège/ pas de

questions sur des réponses disponibles dans des guidelines existants ou consensus

● données incomplètes

Principes de rédaction (2)

● possibilité d’introduire le rapport bénéfice/ risque – cout/efficacité● Faire 3 questions INDPENDANTES par vignette clinique. Chaque question doit avoir un

intitulé différent dans l’information complémentaire donné● Conserver un format homogène pour une même vignette (que des questions de

thérapeutiques/ que des questions diagnostiques etc…)● Compter 1 minute/question = 75 questions (soit 25 vignettes) en 1h30● lors de la rédaction le texte de la vignette doit inclure : âge, sexe, contexte clinique

(hôpital, cabinet etc), données cliniques● les hypothèses doivent être pertinentes sans piège● les informations supplémentaires doivent également être pertinentes de type :

résultat biologique / donnée d’imagerie/ examen clinique/vidéo ou son…● Balayer l’ensemble de l’échelle de Likert (les réponses doivent aller de plus probable

à moins probable) réparties sur l’ensemble des 25 vignettes● niveau de variabilité équilibré● Prévoir 20% de questions supplémentaires en vue de la suppression de questions

inadéquates lors du retour des réponses du panel

Panel d’experts ConstitutionLa composition du panel a un impact sur les scores des TCS multidisciplinaires. Il vaut mieux

choisir des experts dans le domaine plutôt que des experts généralistes. 2 groupes différents doivent travailler à l’élaboration des TCS . le premier s’occupe de la préparation des examens, la validation des scenarii et des questions. Le deuxième groupe (panel d’experts) sert à l’établissement des scores.

Réponses du panel Le TCS doit être joué par les experts dans les mêmes conditions que les étudiants (délai etc) mais sans unité de lieu imposé. Les échanges par courriel sont donc tout à fait possibleLors du retour des panels : éliminer a priori les questions qui ont rassemblé un consensus des experts (une seule réponse) ainsi que les questions ayant entrainé une trop grande dispersion des experts (de-2 à +2)

 Echelle de Likert : correspond à l’échelle de réponse soumise à l’étudiant ; Lui redonner pour

chaque vignette l’ancrage ainsi que la barème : -2 ; -1 ; 0- +1 ; +2…Attention la valeur « zéro » ne correspond pas à « je ne sais pas » : A préciser +++

TCS = outil de formation

• Le TCS peut devenir un réel outil de formation si il est corrigé ensuite par des experts donnant des commentaires et offrant des liens pour aller plus loin dans la question

• Il est actuellement utilisé comme outil de formation continue : site PRACTICUM en Argentine-Espagne qui propose la réalisation d’un cas par jour à raison de 240 cas par an.

• Le TCS peut aussi devenir un outil de suivi des étudiants au cours de leur formation médicale en ce sens qu’il dépiste la progression d’un jugement plus que des connaissances médicales

Présentation du DIU ETnS : Enseigner et Tutorer par le numérique en Science de la Santé

 • Projet de formation au long de la vie.• Réalisation d’un tutorat à distance par groupe de

10 personnes avec un tuteur assurant un « coaching »individuel pour 10 personnes