mémoire dans le cadre du - sorbonne-universite.fr
TRANSCRIPT
1
UNIVERSITE DE PARIS VI
Faculté de Médecine de Pierre et Marie Curie.
Mémoire dans le cadre du
Diplôme Inter-Universitaire de Pédagogie Médicale
Université de PARIS V- PARIS VI - PARIS XI - PARIS XII
Présenté par
Ilhem Mili-Boussen, MD
Hôpital Charles Nicolle, Tunis
Faculté de Médecine de Tunis
Paris, Mardi 24 octobre 2017
2
Table des matières
RÉSUMÉ 3
I. INTRODUCTION 6
II. MATERIELS ET METHODES 7
III. RESULTATS 9
A. RÉSULTATS GLOBAUX 9 B. ADÉQUATION GLOBALE DE L’ECOSM AUX PRINCIPES DE QUALITÉ D’UN TEST D’ÉVALUATION 11 C. RESPECTS DU SITE D’ÉVALUATION AUX RÈGLES DE L’ECOSM 11
IV. DISCUSSION 13
V. CONCLUSIONS 16
VI. RÉFÉRENCES 16
VII. Annexes 19
3
Résumé Background : Dans l’enseignement médical, l’analyse des résultats d’une évaluation est l’un des
éléments clé qui permet d’améliorer l’enseignement. Peu d'études visent à identifier la perception
par l'étudiant de l'évaluation des compétences cliniques. Nous avons mené un travail prospectif
étudiant la perception par des étudiants en médecine d’une évaluation moderne de
l'apprentissage des compétences cliniques, dénommée ECOSM, Evaluation Clinique Objective par
Stations Multiples, à la fin de leur stage d’externat en ophtalmologie.
Méthodes: les étudiants en 5ème année médecine de juin 2017 ont évalué par sondage simple le
test ECOSM. Le questionnaire comportait 25 paramètres : de la question (Q) 1 à la Q7 sur les
qualités de l’ECOSM, en tant que test d’évaluation des compétences acquises au cours du stage
clinique, sur le respect des principes généraux de l’ECOSM de la Q8 à la Q12 et sur celui des
principes pour chaque station de la Q13 à la Q25. Nous avons recueilli et comparé les réponses par
le test chi-2. Une valeur de p <0,05 était significative.
Résultats : le taux de réponse était de 100%. Tous les répondants ont estimé que l’ECOSM était un
test satisfaisant, permettant d’évaluer que ce qui a été formé, en se tenant aux objectifs
pédagogiques clairement annoncés dans le carnet de stage. Les conditions de réalisation de
l’ECOSM étaient bien respectées, tant sur le fond que sur la forme. Il existait un taux
significativement plus élevé de répondants à la première page du questionnaire par rapport à la
seconde (p<0,02). Le taux d’absence de réponse était élevé pour la Q17 (27,1%) et la Q25 (44,1%),
celles ci étant posées comme question de recoupement.
Conclusions : l’ECOSM a été estimée par les étudiants comme un outil d’évaluation de l’acquisition
des compétences cliniques valide, compris, appliqué et bien intégré à la Faculté de Médecine de
Tunis. Les méthodes d'innovation, permettant de créer un sondage dans un format facile à utiliser,
à analyser et à diffuser, doivent être appliquées à plus large échelle, pour assurer l'adéquation du
retour d'évaluation. Ses résultats contribueront à améliorer les conditions d'apprentissage des
compétences pédagogiques du stade clinique des étudiants en médecine.
Mots clés: évaluation par les étudiants; évaluation des compétences cliniques ; ECOSM ; ECOS ; OSCE
4
“Medicine students view about ECOSM, a tool to evaluate clinical skills, in the Faculty of
medicine of Tunisia”
Abstract
Background : In medical education, then analysis of the results of an evaluation is one of the most
important key to help to improve teaching. There are few studies that identify the student's
perception of clinical competency assessment. This multicentric study, was carried out to compare
the perceptions of medical students of ECOSM, a contemporary assessment of clinical skills
learning for the students of the second cycle of medical studies called in french ECOSM for
Evaluation Clinique Objective par Stations Multiples or objective clinical evaluation by several
stations. It was conducted in seven institutions, after completing their external ophthalmology
internship.
Methods: Immediately following the ECOSM of ophthalmology, in the session of June 2017,
medical students from seven institutions were invited to participate in evaluating ECOSM by a
simple post-even survey. The questionnary contained 25 questions (Q) on the qualities of a test
(and of the ECOSM (Q1-7), on the respect of the principles of the ECOSM, in generally (Q8-12) and
for every type of station (Q13-25). The responses were organized in 5 levels of satisfaction. Then,
the responses were analyzed using the chi-square tests to determine the variations of the
responses by different parameters.
Results : the rate of answer was 100 %. All the respondents considered that the ECOSM was a
satisfactory test, allowing to estimate that what was trained, by being held in the educational
objectives, clearly announced in the logbook. The conditions of realization of the ECOSM were
respected, in terms of both content and form. There was a rate significantly higher of
respondents) in the first page of the questionnaire with regard to second one (<0,02 ). The rate of
absence of answer was high for Q17 (27,1 %) and Q25 (44,1 %).
Discussion: This is the first multicenter study that targeted medical students' opinion on the
clinical competency assessment test such as the ECOSM in Tunisia. Survey fatigue, a recognized
concept was significantly higher in page 2, Despite the differences in the geographical location of
the institutions, the level of satisfaction was very good for most parameters.
Conclusion: The ECOSM was very appreciate by the students who considered that it was an good
evaluation tool of the acquisition of the clincal skills. These results can contribute to improve the
learning conditions of the teaching skills of the clinical stage. Innovation methods, achieving a
5
survey in a format easy to use, analyze and diffuse, must be employed to ensure the adequacy of
evaluation feedback.
Key words : assessment of clincal skills, ECOS ; ECOSM ; OSCE ; evaluation by medical student.
6
I. INTRODUCTION
L’évaluation de l’acquisition des compétences cliniques a été uniformisée depuis la mise en
place d’un outil standardisé évaluant les comportements et les performances en situation clinique
simulée, décrit pour la première fois par Harden et al en 1975-79, dénommé ECOS, pour Examen
Clinique Objectif et Structuré, ou OSCE dans sa version anglaise, pour Objective Structured Clinical
Examination [1,2]. L’ ECOSM, ou Evaluation Clinique Objective En Stations Multiples, est une
évaluation sanctionnelle du stage clinique durant les études médicales à la faculté de médecine de
Tunis, établie par le comité pédagogique de la faculté, sous la direction du Pr C. Tabbane, après la
première réforme de l’enseignement de la faculté dès 1988 [3]. Elle a été mise en application en
respectant les méthodes modernes de pédagogie médicale, basées sur la boucle de
l’apprentissage [annexe 1] et les différents domaines et niveaux taxonomiques (figures 1 et 2) [4-
6]. Différents moyens d’apprentissage, véritables outils pour atteindre les objectifs éducationnels
spécifiques (OES) issus du profil de poste, permettent aux étudiants, à partir des connaissances
(savoir), une application en connaissance pratique (savoir-faire) et de comportement (savoir-être)
pour acquérir ensuite la pratique [7].
Figure 1. Pyramide du savoir, avec ses niveaux hiérarchiques, basée sur la taxonomie des objectifs
éducationnels selon Bloom
7
Tableau 1. Domaines et niveaux cognitifs en pédagogie moderne
DOMAINES COGNITIF RELATIONNEL SENSORI-MOTEUR Processus intellectuel Attitudes Gestes
NIVEAU 1 mémorisation Réceptivité Imitation 2 Interprétation des données Répondre Contrôler 3 Solution de problème Intérioriser Automatisme
A la Faculté de médecine de Tunis, afin de permettre à tous les enseignants d’être informés et
formés à la pratique de l’ECOSM, un séminaire pédagogique annuel lui est consacré depuis de
nombreuses années. Un guide pour l’évaluation des stages comprenant un guide pratique de
l’ECOSM , sous la direction du Pr MF Ben Dridi , est remis à chaque enseignant en début d’année
depuis 2011 [annexe 2] [8, 9]. L’ECOSM est organisée pour tous les étudiants à la faculté de
médecine de Tunis, 2 sessions/an pour des groupes de 8 à 15 étudiants. le circuit de rotation
comprend une succession de stations ayant chacune un problème à résoudre en un temps limité
où la question posée répond à un OES très clairement identifié et annoncé dans le carnet de stage
[annexe 3]. Chaque station a sa propre grille comprenant plusieurs items observables selon une
échelle établie [annexe 4]. L’ECOSM est de pratique courante. Elle est appliquée depuis des
années et elle est connue par les étudiants.
L’objectif de ce travail était d’étudier, à travers une enquête, la perception de l’ECOSM par les
étudiants en médecine.
II. MATERIELS ET METHODES Caractéristiques du système mis en place
L’enseignant coordinateur de la section d’ophtalmologie est responsable du planning des
stages hospitaliers et de l’évaluation par les ECOSM de l’enseignement de l’ophtalmologie des
étudiants de 5ème année (DCEM3), en coordination avec la direction des stages et les enseignants
de la section de la faculté de médecine de Tunis. Sept centres accueillent les étudiants pour le
stage hospitalier d’externat en ophtalmologie. Ce stage a lieu dans les services d’ophtalmologie et
dure deux semaines. Les objectifs éducationnels en ophtalmologie sont consignés sur le carnet de
stage que chaque étudiant reçoit en début d’année universitaire [annexe 2]. L’évaluation du stage
comprend une évaluation périodique notée sur 50 points (attitude et assiduité de l’étudiant au
cours du stage) et une évaluation finale par ESOCM, objet de ce travail, notée sur 50 points. Le
8
jour de l’ECOSM, l’enseignant coordinateur de chaque service assure le bon déroulement de
l’épreuve.
Méthodologie employée
Nous avons réalisé un questionnaire spécifique à ce travail, portant sur l’évaluation de l’ECOSM
d’ophtalmologie, distribué par l’enseignant coordinateur à tous les étudiants de la session de juin
2017, immédiatement en fin d’épreuve.
Le questionnaire d’appréciation utilisait une échelle de Likert, à 5 choix ou 3 choix selon la
question, et était constitué de 25 questions [annexe 5] :
1- 4 portaient sur l’adéquation globale de l’ECOSM avec les principes de qualité d’un test
d’évaluation (Q1 à Q4) : rapidité, pertinence, objectivité et fiabilité.
2- Une question portait sur l’adéquation de l’ECOSM en tant que test d’évaluation des
acquisitions d’un stage clinique (Q5)
3- 14 questions portaient sur l’adéquation de l’organisation des stations aux principes d’une
ECOSM, c’est-à-dire sur l’organisation générale : tâche spécifique à chaque station (Q13)
correspondant à une compétence et/ou un objectif bien identifié (Q14) ; organisation in situ
codifiée : accueil (Q8-9), consignes claires (Q10), fluidité de circulation (Q11), timing (Q12).
4- 7 questions portaient sur l’appréciation des étudiants sur le fond : instructions claires au
niveau de chaque station (Q15), matériel adapté (Q16-17), question hors sujet (Q19),
compétence qui ne peut être évaluée par une question écrite (Q20), respect du rôle de chaque
intervenant, cad échanges entre observateur et simulateur (Q18), note attribuée au fur et à
mesure du déroulement de l’épreuve (Q21).
5- 2 questions portaient sur l’adéquation du site d’évaluation à la spécificité de chaque type de
station : stations patient standardisé, rôle joué par le simulateur (Q22), simulateur et
observateur différent (Q23) ; station avec matériel (2 questions) : matériel adapté non fictif
emprunté à une vraie observation médicale (Q24), adéquat à la station (Q25).
Deux questions relatives aux outils pédagogiques spécifiques à l’acquisition des compétences
cliniques, concernaient le site du stage clinique où l’apprentissage é été effectué pour savoir s’il y
existait ou pas des fiches techniques (Q5) ou un planning (Q6).
Etude statistique
Les données ont été saisies sur Microsoft Office Excel 2007. Puis les résultats ont été analysés sur
SPSS 22.0. L’étude statistique a été menée dans le but de rechercher une relation statistiquement
9
significative entre les différentes variables. Pour ce faire, les résultats des questions de satisfaction
ont été regroupés en 3 réponses: réponse 1= très satisfait-satisfait-réponse 2= moyennement
satisfait, sans particularité, et réponse 3= peu ou pas satisfait.
Une valeur de p<0.05 a été considérée comme statistiquement significative.
III. RESULTATS
A. Résultats globaux
Les réponses ont été collectées le samedi 3 juin 2017, auprès de 81 étudiants répartis sur 7
centres d’évaluation. La répartition des étudiants dans les 7 centres était homogène avec un
nombre comparable d’étudiants/centre: centres [1 et 3]=13 étudiants (16,1%), centres [2, 5 et 7]=
12 étudiants (14,8%), centre [4]= 8 étudiants (9,8%), et centre [6]=11 étudiants (13,6%).
Le questionnaire comprenait 25 questions, 14 sur la première page et 11 sur la seconde. Le
taux global de réponse a été de 100%. Le taux de réponse était différent entre la page 1 et la page
2. A la page 1, la proportion de questions sans réponses allait de 1 à 8%, alors que celle de la page
2 allait de 4 à 44% (figure 2). La moyenne des questions sans réponses sur la première page était
de 5.642±4.325. La moyenne des questions sans réponses sur la deuxième page était de
14.909±8.870.
Il y avait une différence statistiquement significative des questions sans réponses entre les deux
pages avec p= 0.02 (tableau 2).
0
5
10
15
20
25
30
35
40
45
50
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
Figure 2. Pourcentage des questions sans réponse flèche bleue=1ère page. Flèche orange=2ème page
10
Tableau 2. Réponses manquantes dans la 1ère et la 2ème page du questionnaire.
Première page n = 14 Deuxième page n = 11 p
Réponses manquantes Moyenne±Ecart type 5.642±4.325 14.909±8.870 0,02
De façon globale, les étudiants étaient satisfaits de l’ECOSM, (figures 3 et 4).
Figure 3. Résultats de l’enquête pour les questions avec réponse en 3 niveaux de satisfaction (% de
satisfaction/question).
Figure 4. Résultats de l’enquête pour les questions avec les réponses oui/non/ne sait pas.
0
20
40
60
80
100
120
satisfait
moyennement satisfait
pas satispeipeu ou pas satisfait
0,0010,0020,0030,0040,0050,0060,0070,0080,0090,00
100,00
oui
non
ne sait pas
11
B. Adéquation globale de l’ECOSM aux principes de qualité d’un test d’évaluation Par ailleurs, nous avons noté que, pour 86% des étudiants, l’ECOSM représentait un test évaluant
les compétences cliniques acquises au cours du stage. Nous avons noté que les fiches techniques
et les plannings n’étaient pas disponibles sur les sites de stage clinique.
(figures 5 et 6).
Figure 5. Adéquation globale de l’ECOSM aux principes de qualité d’un test d’évaluation
Figure 6. Adéquation de l’ECOSM en tant que test d’évaluation des compétences cliniques acquises au cours du stage
C. RESPECTS DU SITE D’ÉVALUATION AUX RÈGLES DE L’ECOSM
i. Respects des règles générales de l’ESOCM sur le site
Les étudiants étaient satisfaits quand à l’organisation générale de l’ECOSM sur le site de
l’évaluation : bon accueil (Q8), enseignant bienveillant (Q9), consignes claires (Q10), circulation
entre les stations fluide (Q11) avec timing respecté (Q12) (figure 7).
0
10
20
30
40
50
60
70
80
rapide pertinent objectif fiable
satisfait
moyennement satisfait
0
20
40
60
80
100
évalue les compétences fiches techniques planning
oui
non
ne sait pas
12
Figure 7. Adéquation des règles générales de l’ESOCM sur le site
ii. Adéquation des questions posées dans cette session aux principes
généraux d’une ECOSM
Nous avons questionné les étudiants à propos du respect des principes généraux de l’ECOSM pour
cette session (figure 8).
Pour 94,7%, les instructions étaient satisfaisantes, clairement annoncées (Q15). Les conditions
matérielles de l’ECOSM étaient respectées. Le matériel mis en place était celui des patients (Q17),
bien adapté à la station (Q16).
Les stations correspondaient aux objectifs de stage (Q14) et Q19). Les questions ne pouvaient être
posées à l’écrit (Q20). Il y avait peu d’échange entre simulateur et observateur, (Q18).
L’observateur remplissait immédiatement la feuille de note (Q21).
Figure 8. Adéquation des questions posées dans cette session aux principes généraux d’une ECOSM
0
20
40
60
80
100
120
satisfait
moyennement satisfait
pas satispeipeu ou passatisfait
0,00
20,00
40,00
60,00
80,00
100,00
oui
non
ne sait pas
13
iii. Adéquation du site d’évaluation à la spécificité de chaque type de
station
L’opinion des étudiants n’était pas variable en fonction du type de station, avec un taux de
satisfaction globale élevé pour chacune d’elles (figure 9). Pour les stations avec patient
standardisé, les étudiants étaient satisfaits par le rôle joué par le simulateur (Q22). Celui-ci était
différent de l’observateur (Q23).
Pour les stations avec matériel, l’étudiant était satisfait : il a pu exécuter une procédure
avec de vrais documents de patients ou à l’usage de patients, notamment une mesure de l’acuité
visuelle. Il a aussi pu décrire ou interpréter des éléments cliniques grâce à une photographie du
fond de l’œil (Q24). Quant à la dernière question (Q25), les étudiants étaient satisfaits concernant
le matériel utilisé qui était adéquat aux instructions.
Figure 9. Opinion des étudiants selon le type de station
IV. Discussion
L’évaluation des stages cliniques par un circuit de stations est de nos jours largement
répandue, avec même une page facebook qui lui est réservée : « Ophthalmology OSCE Finals
REVISION! - Facebook ». L’observation directe de l’étudiant permet d’en évaluer le savoir-faire
et le savoir-être acquis aux cours des stages cliniques [7].
Notre questionnaire a exploré différentes thématiques de l’ECOSM et a montré que cette
évaluation a été appréciée par les étudiants, avec un taux de réponse à 100%. Ses principes
généraux ont été bien intégrés dans l’évaluation des compétences cliniques. Par ailleurs, les
réponses positives à propos de l’adéquation des questions posées dans cette session aux principes
0
20
40
60
80
100
120
le simulateurjoue bien son
rôle
simulateur etobservateurs
différents
vraisdocuments
matérieladéquat à la
station
satisfait
moyennement satisfait
pas satispeipeu ou pas satisfait
14
généraux d’une ECOSM démontrent que les enseignants ont également bien intégré et ont
appliqué avec rigueur ces mêmes principes.
Le panel interrogé est composé par tous les étudiants de DCEM3 passant l’épreuve
d’ophtalmologie de la session juin 2017, répartis entre 7 centres d’évaluation, comme cela se fait
pour chaque fin de stage à chaque semestre. L’échantillon est donc représentatif de tous les
étudiants de la faculté de médecine de Tunis. Le questionnaire était composé de 25 questions
fermées avec une seule réponse possible, en commençant par les questions d’ordre général par
rapport à un test d’évaluation (Q1 à Q4), puis par rapport à l’ECOSM (Q5 à Q21), et finissant que
des questions spécifiques (Q22 à Q25), comme cela est recommandé dans la littérature [10-12].
Les termes utilisés ont été simples et concis, puisés dans le guide pratique de l’ECOSM [9].
Néanmoins, l’enquête comportait 2 pages avec un taux d’absence de réponse à la seconde page
statistiquement plus élevé (p<0,02). Cette différence est probablement liée à la fatigabilité de
l’étudiant, phénomène connue des questionnaires d’enquête, et nous incite à raccourcir
ultérieurement le questionnaire [11].
Si on reprend la définition de la « docimologie », terme inventé par Henri Piéron en 1923, ce
questionnaire répond en partie à sa définition, « définie comme une étude systématique des
facteurs qui influencent la notation dans les examens ou lors des opérations de mesure », ayant
comme objectif d’atténuer dans toute la mesure du possible le rôle du hasard ou dans la
subjectivité dans l’attribution des notes [10]. En effet, nous y avons repris les différents principes,
règles et étapes de ce type d’épreuve [ 7, 8, 9].
Selon les étudiants, cette évaluation répond aux critères généraux d’un test d’évaluation, avec un
excellent taux de satisfaction de Q1 à Q4. La satisfaction des étudiants aux questions Q5, Q14 et
Q20 démontre que, du point de vue sa conception, l’ECOSM est bien un instrument de mesure
d’un apprentissage, celui des compétences cliniques acquises au cours du stage hospitalier. La
grille de notation de chaque station permet d’obtenir un résultat pertinent avec un seuil de
performance par rapport à des objectifs fixés, comme on le note dans l’exemple de station avec
patient standardisé [annexe 4]. Tous les domaines sont évalués : « L’étudiant salue le patient et
explique sa démarche = 0.5/5 points » du domaine du savoir-être, « Mesure de l’acuité visuelle
œil/œil séparément =1/5points » du domaine du savoir-faire. Du point de vue technique, les
répondants ont estimé que les règles et les étapes de l’ECOSM ont été bien respectées,
comportant un circuit fluide avec des consignes claires, chaque type de station répondant à ses
propres critères [7, 8, 9, 13].
15
Notre travail comporte certaines limites. En voulant explorer tous les aspects de l’ECOSM de façon
didactique, claire avec un plan détaillé en en séparant les différentes composantes, les questions
de recoupement semblent avoir été posées deux fois pour les étudiants. Il s’agissait des
questions suivantes : « Le matériel fourni est un matériel non fictif destiné à l’usage des patients »
(Q17) et « Les documents fournis sont des vrais documents de patient ou à l’usage des patients »
(Q24). Ce même constat a été observé pour les questions « Le matériel fourni est adapté à
l’instruction » (Q16) et « Matériel utilisé adéquat aux instructions » (Q25). Le taux élevé d’absence
de réponse à la Q25 (44%) pourrait être expliqué par cette impression de double emploi. Pour les
questions « Consignes de réalisation de l’ECOSM claires (Q10) » et « L’instruction est claire pour
toutes les stations » (Q15), il s’agissait d’apprécier le respects des consignes d’organisation
l’ECOSM, de façon générale dans la Q10, de façon plus spécifique à l’instruction posée dans une
station précise dans la Q15. Le problème du vocabulaire utilisé pour exprimer ces 2 types
d’instructions est fréquemment rencontré en pratique et la confusion a été notée par plusieurs
collègues, incitant à la diffusion généralisée à tous les enseignants chaque année du guide
pratique pour l’ECOSM [7]. L’une des spécificités de l’ECOSM, est que, s’agissant d’une évaluation
« pratique » du savoir-faire et du savoir-être, le terme « question posée» ou « problème » prête à
confusion avec « questions d’examen » du domaine du savoir.
Ailleurs, les choix de réponses pour certaines questions n’étaient pas attribués de façon adéquate.
Pour les questions « Les documents fournis sont des vrais documents de patients ou à l’usage des
patients » (Q17) et « Matériel utilisé adéquat aux instructions » (Q25), un choix de réponse binaire
par oui/non aurait été plus approprié. C’est dire l’importance, lors de la création d’une enquête,
de bien veiller à l’absence de redondance des questions, ainsi qu’au choix de réponse approprié à
l’obtention de l’information souhaitée. De façon générale, un questionnaire à question fermée
dichotomique simplifie le questionnement et le traitement statistique, sans risque d’induire des
réponses inconnues du répondant [11].
Ce travail ne concernait que la perception de l’ECOSM par les étudiants. Une étude
complémentaire, faisant participer tous les intervenants avec une plus grande variété de
disciplines, et dont l’efficacité serait mesurée par les méthodes docimologiques, donnerait des
résultats plus probants afin d’améliorer l’apprentissage des compétences cliniques de nos
étudiants en médecine [14-17].
16
V. Conclusions
Notre étude a démontré que les principes de l’ECOSM comme outil d’évaluation de l’acquisition
des compétences cliniques ont été bien compris et intégrés, aussi bien par les étudiants que les
enseignants à la Faculté de Médecine de Tunis.
Nos résultats peuvent contribuer à améliorer les conditions d'apprentissage des compétences
pédagogiques du stade clinique. Des approches innovantes, permettant de créer un sondage dans
un format facile à utiliser, à analyser et à diffuser, faisant participer tous les intervenants, doivent
être envisagées pour améliorer les performances de l’évaluation.
Remerciements
- Pr B.Guidet et son équipe pédagogique, ainsi que Madame Rozenn Le Boursicaud,
- Les enseignants de la Faculté de Médecine de Tunis, plus particulièrement, Pr MF.Ben Dridi,
comité pédagogique, Pr A.Chebbi, coordinatrice des ECOSM, ainsi que tous les enseignants de la
section d’ophtalmologie de la session de juin 2017,
- Les étudiants de DCEM3 de la session de juin 2017,
- Et enfin tous mes collaborateurs et toute l’équipe du service d’ophtalmologie de l’hôpital Charles
Nicolle de Tunis,
Pour tout leur soutien et leur participation au bon déroulement et la concrétisation de ce projet.
VI. Références 1- Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured
clinical examination (OSCE). Med Educ 1979, 13 :41-54.
2- Guide pour les examens des compétences cliniques (OSCE/ECOS) à l’usage des enseignants
évaluateurs. Directives pour l’Examen Clinique Objectif Structuré. (ECOS)
www.unil.ch/webdav/site
3- Tabbane C. éléments d’introduction aux ateliers de pédagogie médicale, Centre de
Publications Universitaires, Tunis, Tunisie, 2000.
4- http://c2ip.insa-toulouse.fr/fr/pedagogies/concepts-de-base-en-pedagogie/la-taxonomie-
de-bloom.html
17
5- Steele C, Berk J, Ashar B, Pahwa A, Cayea D. Medical students' perceptions of low-value
care. Clin Teach. 2017 Oct 3. doi: 10.1111/tct.12705. [Epub ahead of print]
6- Anderson LW. A taxonomy for learning, teaching and assessing. A revision of Bloom’s
taxonomy of educational objectives. New York : Longman 2000.
7- Pellacia T. Comment (mieux) former et évaluer les étudiants en médecine et en sciences de
la santé. Paris : Ed Deboeck supérieur, 2016, 477p.
8- Guide pour l’évaluation des stages (page 1 à 5) . Faculté de médecine de Tunis. 2011. PDF
téléchargeable sur le lien
suivant :www.fmt.rnu.tn/index.php?id=10&tx_abdownloads...tx...342&tx...
file:///Users/imac/Downloads/telechargement2088.pdf
9- Guide pratique pour l’ECOSM (page 6 à 17) . Faculté de médecine de Tunis. 2011. PDF
téléchargeable sur le lien
suivant :www.fmt.rnu.tn/index.php?id=10&tx_abdownloads...tx...342&tx...
file:///Users/imac/Downloads/telechargement2088.pdf
10- Fessard A. Henri Piéron. L’année psychologique, 1951, vol. 50.. XIII, p. VIII.
11- Bouyer J. Méthodes statistiques : médecine-biologie. Paris, Ed INSERM 1997.
12- Franklin S, Walker C, Statistiques Canada. Méthodes et pratiques d’enquêtes. Publication
Gouvernementale Nationale 2010, Canada, ressource internet ISBN 9781100952062
1100952063
13- Hodge BD. Validity and the OSCE. Medic Teach 2003 ;25 :250-254.
14- Tucker C, Choby B, Moore A, Parker RS 2nd, Zambetti BR, Naids S, Scott J, Loome J, Gaffney
S, Cianciolo AT, Hoffman LA, Kohn JR, O'Sullivan PS, Trowbridge RL. Teachers as Learners:
Developing Professionalism Feedback Skills via Observed Structured Teaching Encounters.
Teach Learn Med. 2017 Oct-Dec;29(4):373-377
18
15- Le Mauff P, Pottier P, Goronflot L, Barrier J. Evaluation d’un dispositif expérimental
d’évaluation certificative des étudiants en fin de troisième cycle de médecine générale.
Pedagogie Médicale 2006, 7 :142-154.
16- Dean B, Jones L, Garfjeld Roberts P, Rees J. What is Known About the Attributes of a
Successful Surgical Trainer? A Systematic Review. J Surg Educ. 2017 Sep - Oct;74(5):843-
850
17- Ryan MS, Bishop S, Browning J, Anand RJ, Waterhouse E, Rigby F, Al-Mateen CS, Lee C,
Bradner M, Colbert-Getz JM. Are Scores From NBME Subject Examinations Valid Measures
of Knowledge Acquired During Clinical Clerkships? Acad Med. 2017 ; 92(6):847-852.
VII - Annexes
Annexe 1 : boucle de l’apprentissage Annexe 2 : carnet de stage des étudiants de DCEM3 : objectifs éducationnels d’ophtalmologie. Annexe 3 : programme des séminaires pédagogiques 2016-2017 à la faculté de médecine de Tunis. Annexe 4 : exemple de station avec matériel. Annexe 5 : questionnaire pour l’évaluation des ECOSM d’ophtalmologie de juin 2017.
19
Annexe 1 : la boucle de l’apprentissage : issue des séminaires pédagogiques du comité
pédagogique, faculté de médecine de Tunis, 2014-2015 : Pr H.Oueslati, Pr MF. Ben Dridi.
« La problématique de la formation médicale et ses incidences pédagogiques. Du mécanisme
d'acquisition des connaissances au partage des rôles enseignant-étudiant dans la formation
médicale »
« La pédagogie par objectifs. La planification d'un enseignement. Les objectifs éducationnels »
« L'évaluation des compétences (sauf épreuves PMP et ECOSM programmées à part) : Epreuves
écrites, Epreuves pratiques »
20
Annexe 2 : les objectifs éducationnels en ophtalmologie, pour les étudiants en DCEM3, faculté
de médecine de Tunis. Extrait du carnet de stage.
21
22
Annexe 3. Programme des séminaires pédagogiques 2016-2017 à la faculté de médecine de Tunis
Planning Séminaires – ateliers de pédagogie.
Année universitaire 2016 – 2017.
Séminaires Intitulé des ateliers
4 Le minimodule d'auto-enseignement : structuration. La pertinence d'un cours de
pathologie clinique.
5 La séance CIAP (Clarifications, illustrations, Application, Participation). L’usage du
transparent dans l’enseignement médical.
6 La conception et la construction d'un algorithme. La conception et la construction
d'un PMP (Patient Management Problem).
7 Le stage clinique : objectifs, planification, activités et moyens d’apprentissage,
évaluation.
7bis Les principes de l’évaluation des stages cliniques et l'épreuve d'évaluation clinique
objective (ECOSM).
8 Les travaux dirigés en stage d'externat. La démarche diagnostique (la validation
itérative des hypothèses).
9 Les travaux dirigés en stage d'internat. La formation médicale continue : aspects
pédagogiques.
10 Les critères pour une lecture critique d'un article de revue médicale.
11 L'enseignement des sciences fondamentales et des sciences mixtes.
12 L'évaluation d'un programme d'enseignement médical et des conditions de sa
réalisation.
23
Annexe 4. Exemple de station avec patient standardisé
STATION N°1
Enoncé étudiant
- Mesurer l’acuité visuelle de loin chez ce patient
- Préciser à l’observateur le choix du matériel, les différentes étapes et le résultat
INSTRUCTIONS POUR L’OBSERVATEUR
Grille d’évaluation
Note sur 5
- L’étudiant salue le patient et explique sa démarche 0.5
- Choix de l’échelle selon le niveau d’instruction 1
- Mesure de l’acuité visuelle œil/œil séparément 1
- Progression régulière (du plus grand au plus petit) 1
- Résultat (valeur de l’acuité visuelle) 1.5
Note éliminatoire (Zéro : 0) pour toute mesure de l’acuité visuelle en binoculaire
INSTRUCTIONS POUR LE SIMULATEUR
Matériel :
Projecteur de tests
Télécommande
Monture d’essai
Cache
24
Annexe 5. Questionnaire pour l’évaluation des ECOSM d’ophtalmologie de juin 2017
EVALUATION DE L’ECOSM PAR LES ETUDIANTS
EPREUVE D’OPHTALMOLOGIE Samedi 3 juin 2017
QUESTIONNAIRE ANONYME REMPLI IN SITU IMMEDIATEMENT APRES L’ECOSM
AVEC TOUS NOS REMERCIEMENTS AUX ETUDIANTS QUI ONT BIEN VOULU Y REPONDRE
LEGENDES POUR LES REPONSES : (*) : mettre une croix à la réponse appropriée : Très satisfait Satisfait Sans particularité
Peu satisfait Pas satisfait du tout NE = non évalué (**) entourez la bonne réponse : oui / non / ?= ne sait pas RAPPEL : Instruction = tâche à accomplir. Observateur = évaluateur. Simulateur= celui qui joue le rôle du patient=patient standardisé. Matériel = support pour accomplir la tâche, ceci peut être du matériel provenant de patient (photographie d’un fond d’œil, d’une lésion oculaire) ou bien du matériel médical à l’usage des patients tels que compresses, collyre, échelle d’acuité visuelle.
Service où
l’étudiant a fait* H. La Rabta IHROT A IHROT B IHROT C HCN H.H.
THAMEUR H.
MILITAIRE H.
FSI H.
NABEUL L’ECOSM Son stage
d’ophtalmologie
1-Les stages cliniques et les ECOSM
Pour vous, globalement, l’ ESCOSM est *: Tout à fait d’accord
D’accord Pas d’accord
Q1- Rapide Q2- Pertinente Q3- Objective Q4- Fiable Q5- Une évaluation des compétences acquises associées au stage fait par l’étudiant
Q6- Disposiez vous dans votre stage de fiches techniques vous permettant de répondre aux stations de L’ECOSM d’aujourd’hui **: Oui / Non / Ne se rappelle pas Q7- Disposiez vous dans votre stage d’un planning vous permettant de vous organiser afin de répondre aux stations de L’ECOSM d’aujourd’hui **: Oui / Non / Ne se rappelle pas
2- Organisation générale de l’ECOSM aujourd’hui
NE
Q8- Accueil Q9- Enseignant responsable bienveillant Q10- Consignes de réalisation de l’ECOSM claires (circulation et temps accordé à chaque station)
Q11- Circuit de rotation des stations fluide Q12- Timing respecté (respect du temps/station et du temps de rotation entre les stations)
Q13- Chaque station répond à une tâche spécifique unique ** : Oui / Non / Ne sait pas Dans le cas contraire, dans quelle(s) station(s) il existe plusieurs tâches** : 1 2 3 4 5 6 7 8 9 10 11 12 Q14- Chaque station répond à un objectif d’apprentissage clairement identifié**: Oui / Non / Ne sait pas Dans le cas contraire, dans quelle(s) station(s) cet objectif n’est pas claire** : 1 2 3 4 5 6 7 8 9 10 11 12
3- Les différentes stations de l’ECOSM aujourd’hui
25
NE
Q15- L’instruction est claire pour toutes les stations* Dans le cas contraire, dans quelle(s) station(s) l’instruction n’est pas claire** : 1 2 3 4 5 6 7 8 9 10 11 12 Q16- Le matériel fourni est adapté à l’instruction**: Oui / Non / ? Dans le cas contraire, dans quelle(s) station(s) le matériel vous semble un matériel non adapté** : 1 2 3 4 5 6 7 8 9 10 11 12
Q17- Le matériel fourni est un matériel non fictif destiné à l’usage des patients**: Oui / Non / ? Dans le cas contraire, dans quelle(s) station(s) le matériel vous semble un matériel fictif ** : 1 2 3 4 5 6 7 8 9 10 11 12
Q18- Y a-t-il eu des échanges oraux entre l’étudiant et l’observateur**: Oui / Non / ? Q19- Certaines stations ne correspondent pas aux objectifs décrits dans le carnet de stage **: Oui / Non / ? Si oui, la(es) quelle (s)** : 1 2 3 4 5 6 7 8 9 10 11 12 Q20- Y a-t-il une (des) station(s) qui aurait (ent) pu être posée(es) lors de l’examen écrit** : Oui / Non / ? Si oui, la(es) quelle (s)** : 1 2 3 4 5 6 7 8 9 10 11 12 Q21- L’observateur remplit la fiche d’évaluation pendant que vous exécutez votre entretien ou votre geste ou immédiatement après **: Oui / Non / ? Dans le cas contraire, de quelle(s) station(s) il s’agit** : 1 2 3 4 5 6 7 8 9 10 11 12
Station avec patient standardisé (simulateur)
NE
Q22- Le simulateur joue correctement son rôle Q23- L’observateur et le simulateur sont des personnes différentes*
Dans le cas contraire, dans quelle(s) station(s) c’est la même personne **: 1 2 3 4 5 6 7 8 9 10 11 12 Dans quelle(s) station(s) le simulateur joue mal son rôle **: 1 2 3 4 5 6 7 8 9 10 11 12
Station avec matériel
NE
Q24- Les documents fournis sont des vrais documents de patient ou à l’usage des patients
Dans le cas contraire, dans quelle(s) station(s) les documents vous semblent issus de livres ou d’ouvrages** : 1 2 3 4 5 6 7 8 9 10 11 12 Q25- Matériel utilisé adéquat aux instructions Dans le cas contraire, dans quelle(s) station(s) le matériel est inadéquat à l’instruction**: 1 2 3 4 5 6 7 8 9 10 11 12