Universités Paris 5, Paris 6, Paris 11 et Paris 12

DIU de Pédagogie Médicale

2011-2012

EVALUATION

Chapitre 5 : Evaluation de la qualité pédagogique

des stages d'externat

Mémoire

Emmanuel LORNE – Matthieu RESCHE-RIGON

Résumé

Les stages hospitaliers effectués pendant le cursus des études médicales sont un point clé de la

formation des étudiants à leur futur métier de médecin. Si l’évaluation des étudiants est une

préoccupation permanente des facultés de médecine, l’évaluation de ces stages par les

étudiants eux-mêmes semble moins bien organisée.

Nous proposons dans ce travail un outil d’évaluation de ces stages hospitaliers ainsi qu’un

exemple de mise en place dans les facultés de médecine d’Amiens et de Paris 7. Notre outil

d’évaluation se présente sous la forme d’un ensemble d’items à questions fermées. Les

réponses à ces questions s’effectuent sur une échelle de Likert modifiée à 4 niveaux. Nous

présentons l’évaluation des stages de printemps de la faculté de médecine de l’université Paris

7 comme illustration.

Pour finir, nous proposons de poursuivre ce travail par une mise en ligne du questionnaire et

l’ajout de fonctionnalités de visualisation directe des résultats de ces évaluations

Mots clés : Evaluation, Stage, Externat, Questionnaire

1. INTRODUCTION

Comme souligné par D. Vanpee en 2007, les stages au cours des études de médecine

représente un moment crucial dans la formation des étudiants en médecine pour développer

et consolider, progressivement, les compétences professionnelles du médecin[1]. Cependant,

plusieurs enquêtes ont montré le déficit entre les compétences réellement acquises et celles

désirées par l’étudiant comme par les universités lors d’un stage d’externat[2, 3].

Fortes de ce constat, les facultés de médecine de Denis Diderot Paris VII et d’Amiens,

notamment au travers de leurs conseils de pédagogie, ont depuis plusieurs années adopté une

démarche qualitative concernant les stages des étudiants de deuxième cycle d’études

médicales (DCEM). Cela se traduit par la volonté d’une part de tenir compte de la

performance des étudiants en stage pour leurs évaluations mais aussi, et de manière parallèle,

de s’assurer de la qualité des stages proposés aux étudiants en médecine. Nos facultés

respectives ont répondu de manière similaire à ces deux objectifs en mettant en place une

évaluation « bidirectionnelle » des stages cliniques :

- L’évaluation de l’étudiant par les responsables de stage.

- L’évaluation des stages par les étudiants c'est-à-dire la collecte des appréciations que

les étudiants donnaient des stages qu’ils avaient effectués.

Si ces évaluations coexistent elles ne sont pas faites avec la même qualité et leurs ambitions

sont différentes. En pratique, seule l’évaluation des étudiants a connu une évolution et une

amélioration notable au cours des dernières années. En effet la volonté de mieux cerner la

qualité de nos étudiants a conduit les facultés à mieux les évaluer. Ainsi, à la faculté

d’Amiens a mené ces dernières années une réforme de sa politique d’évaluations des stages à

la suite d’un premier travail sur la pertinence des évaluations. Les notes de stages étaient

délivrées par le responsable du service, sans qu’il y ait de grille de notation. Seul le

responsable pédagogique (PU-PH) du service donnait une note. Sur la période 2008-2010,

l’analyse des notes de stages ne retrouvait pas de corrélations entre les notes de stages et le

classement à l’ECN (figure 1). Les notes de stages n’étaient donc absolument pas le reflet de

la qualité d’un étudiant sur l’échelle de la réussite à l’ECN. Ce constat fait, le conseil

pédagogique de l’UFR de médecine d’Amiens a développé en 2011 un nouveau mode de

notation des stages par les enseignants. Le but de ce nouveau mode de notation était d’être

plus objectif. Une grille a été introduite avec 4 notes : 1) Assiduité, comportement, qualité des

observations (sur 15); 2) Exposé médical (sur 20) ; 3) Acquisition théorique et pratique

correspondant aux objectifs ECN (sur 15) ; 4) ECOS en fin de stage (sur 30). Les résultats de

cette nouvelle démarche en comparant ces quatre notes de l‘année 2011-2012 avec le

classement à l’ECN 2012 devrait permettre de mieux cerner la qualité des étudiants.

Parallèlement, le constat sévère porté à l’issue du premier travail a amené le conseil

pédagogique de l’UFR de médecine d’Amiens à vouloir une évaluation du contenu des stages

par les étudiants de manière à améliorer le contenu pédagogique du stage, à adapter son

contenu aux désirs des étudiants de se préparer au mieux à l’ECN et à continuer à les

familiariser avec leurs pratiques futures. Dans le même temps l’UFR de médecine Paris 7

Diderot avait développé depuis plusieurs années un système d’évaluation des stages par les

étudiants. Ce système de notation des stages par les étudiants reposait sur l’évaluation de 4

critères :

- Une note d’appréciation globale de 1 à 5 (5 correspondant à la meilleure appréciation)

- Une note d’appréciation de la qualité de la formation théorique de 1 à 5 (5

correspondant à la meilleure appréciation)

- Une note d’appréciation de la qualité de la formation pratique de 1 à 5 (5

correspondant à la meilleure appréciation)

- Une note d’appréciation de la pénibilité du stage 1 à 5 (1 correspondant à la meilleure

appréciation)

Ces appréciations étaient recueillies à chaque choix de stage et portaient sur le seul stage

précédent. Si ces évaluations avaient le mérite d’exister, elles présentaient certaines limites.

L’inversion de l’ordre de l’échelle pour l’item « pénibilité » conduisait un certain nombre

d’étudiants à donner une évaluation trompeuse rendant l’interprétation des résultats de cet

item impossible. La collecte et le traitement des fiches de recueil s’effectuaient avec de

nombreuses interventions manuelles impliquant un rendu tardif des évaluations, voire pas de

rendu du tout. Ainsi, ce manque de performances dans le rendu et donc dans l’utilité de la

démarche avait été souligné tant par les étudiants eux-mêmes que par le conseil des stages de

notre faculté.

Notre objectif était donc de développer un outil d’évaluation des stages hospitaliers par les

étudiants en partant de l’expérience accumulée dans nos facultés réciproques. Cet d’outil se

devait de présenter plusieurs caractéristiques :

- Etre suffisamment général pour pouvoir s’appliquer sur deux sites

- Etre facile à compléter et sans ambiguïté dans sa rédaction

- Etre facile à traiter de manière à fournir une information rapide et précise aux

étudiants comme aux instances des UFRs

- Etre souple de façon à être modifiable et améliorable

- Pouvoir être diffusé auprès des étudiants, des instances de la faculté et du personnel

enseignants de nos facultés.

L’objectif final est l’amélioration de la qualité des stages hospitaliers. Nous ne sommes pas

les premiers à s’attacher à cet objectif et des travaux proposant des modifications des schémas

pédagogiques, des contenus pédagogiques ou des évaluations ont été réalisés[1, 4, 5]. Certains

auteurs soulignent aussi l’impact que la perception des stages et leurs évaluations peuvent

avoir sur leurs qualités. Ainsi Stark en 2003 insiste sur le fait qu’étudiants et enseignants

doivent être des partenaires, se nourrissant les uns les autres des remarques, pour améliorer la

qualité des enseignements et in fine la compétence des étudiants[6]. Ainsi notre approche

consiste à parier sur l’impact d’un feedback informatif sur la qualité du contenu pédagogique

des stages. Ce concept a été développé plus largement par Kurt Lewin et Floyd Mann au sein

de la recherche-action[7]. La recherche-action est une méthodologie particulière dont la

finalité est le changement. Il s'agit d'une démarche de compréhension et d'explication de la

praxis des groupes sociaux, par l'implication des groupes eux-mêmes, dans le but d'améliorer

leur praxis. Elle est toujours liée à une action qui la précède ou qui l'englobe et s'enracine dans

un contexte. Ici, en répondant au questionnaire, l’étudiant révèle aux enseignants certains de

leurs comportements. Les comportements ou objectifs que l’équipe du conseil pédagogique

souhaite améliorer sur les terrains de stage sont choisis délibérément en vue de leur propre

amélioration. C’est ce que l’on appelle la recherche action participative[8]. Karlsen l'identifie

à une nouvelle forme de création du savoir dans laquelle les relations entre théorie et pratique

et entre recherche et action sont significativement étroites[9]. La recherche-action permet aux

acteurs de construire des théories et hypothèses qui émergent du terrain, sont par la suite

testées sur le terrain et entraînent des changements désirables à la situation problématique

identifiée. Ce type de recherche action s'articule autour de la préparation par les acteurs de

rapports et d'analyses généralement axés vers la résolution de problèmes. Ce processus ce

déroule en plusieurs phases : choix des items à améliorer, évaluations des items, feedback,

réévaluations des items, feedback de nouveau et ainsi de suite. Les acteurs du processus

peuvent voir leur progression sur chacun des items et trouver des solutions pour améliorer les

items problématiques. Ainsi, Guénard parle d'un "cycle continu entre trois processus qui

s'enchevêtrent: la planification et l'action, combinées à un constant recueil d'informations

quant au groupe et son contexte propre"[10]. La recherche-action participative, retenue dans

cette étude, cherche moins à prouver, à généraliser et à prédire qu'à trouver et à améliorer la

capacité de faire face à des situations pédagogiques de façon créative tout en tenant compte

des particularités et du contexte de chaque terrain de stage. Elle se fonde sur un besoin

clairement identifié de trouver des solutions à des problèmes. En effet, l’impact d’une

évaluation précise des stages permettra d’une part aux responsables des stages de s’améliorer,

aux étudiants de pointer de manière objectives les qualités et les défauts des différents stages

enfin aux instances facultaires d’avoir un outil de mesure de la qualité des enseignant.

Nous présentons dans ce mémoire le travail d’élaboration du questionnaire, sa première

évaluation et son processus d’implantation dans nos facultés.

R=-0.01p=0.93

Figure 1 : Corrélation entre notes de stage en D4/100 et classement à l’ECN. UFR d’Amiens,

année 2010/2011

2. METHODES

Le développement de notre questionnaire était soumis à plusieurs contraintes :

- Une bonne reproductibilité

- La nécessité d’être complet c'est-à-dire de s’intéresser à plusieurs aspects des stages

hospitaliers

- La nécessité d’être concis : le questionnaire devant être rempli au moment des choix

des stages, il se doit d’être facile et rapide à remplir. De plus la brièveté du

questionnaire assure un taux de remplissage plus élevé[11].

- La nécessité d’être répété dans le temps : les questionnaires sont en effet destinés à

être remplis à chaque choix de stage et doivent donc être développés sur un support

facile à déployer et à traiter

- La nécessité d’être analysé rapidement et possiblement de manière évolutive dans le

temps

Ces contraintes nous ont conduits à certains choix dans la construction de notre questionnaire.

L’utilisation de questions ouvertes a ainsi été rejetée pour ne garder que des questions à choix

fermés de façon à pouvoir effectuer un traitement informatique des données sans phase

d’interprétation des données. Nous avons privilégié une démarche s’appuyant sur un système

de notation par échelles qualitatives à quatre items de type Likert modifiée[12, 13]. Le

développement d'une échelle de type Likert suppose au départ l'existence d'une banque

importante d'items choisis de façon plus ou moins intuitive en fonction de leur relation

potentielle avec l'objet d'étude. Nous nous sommes pour cette phase inspirés de nos

expériences personnelles en tant qu’enseignants et responsables universitaires. A l’issue de

cette réflexion une première liste d’items a été envoyée aux responsables pédagogiques de nos

facultés respectives (membres de la commission de pédagogie) ainsi qu’à des enseignants de

différentes disciplines. Il leur était demandé d’une part de sélectionner les items pertinents,

éventuellement de les modifier et/ou d’en proposer d’autres. A l’issue de ce premier tour une

seconde liste d’items a été renvoyée aux responsables pédagogiques pour finalisation. Le

questionnaire a ensuite été fixé et testé sur une 20 d’étudiants pour juger de sa

compréhension.

Le choix d’une échelle de Likert à 4 niveaux résulte de notre volonté de « cliver » les choix

effectués par les étudiants. Les items d'une échelle de type Likert consistent généralement en

des énoncés favorables ou défavorables envers l'objet d'étude. Le degré de faveur ou de

défaveur des items est cependant inconnu. Chaque item est accompagné d'un choix de réponse

pouvant prendre une forme ressemblant à la suivante: a) fortement en désaccord; b)

légèrement en désaccord; c) légèrement en accord; d) fortement en accord. Les répondants

doivent sélectionner l'option de réponse traduisant le mieux leur degré d'accord ou de

désaccord avec l'item. Une valeur d'échelle (e.g. 1 à 4) est attribuée à chacune des options

selon le niveau d'accord ou de désaccord exprimé par l'option de réponse. Ainsi, l'option de

réponse traduisant le plus haut niveau d'accord avec un énoncé favorable à l'objet d'étude

recevra la valeur d'échelle la plus élevée. Ce type d’échelle conduit l’étudiant à produire un

clivage de sa réponse avec une tendance positive ou négative. Une réponse moyenne n’existe

pas avec ce type de questionnaire, il y a donc un continuum de valeurs informatives qui évite

les valeurs refuges sans informations[13].

Le questionnaire final est composé d’une série de 12 items comprenant une note globale sur 4

et 10 échelles qualitatives (Voir Annexe 1) :

- Q1. Evaluation globale sur 4

- Q2. Enseignement du « savoir faire » médical (examens cliniques, gestes,

techniques,…)

- Q3. Enseignement du « savoir être » médical (relation médecin malade, annonce de

nouvelle,…)

- Q4. Relecture critique des observations médicales

- Q5. Enseignement du raisonnement médical

- Q6. Qualité pédagogique de la formation théorique

- Q7. Qualité du lien entre enseignement pratique et théorique (justification

physiopathologique, références bibliographiques,…)

- Q8M. Charge de travail Médicale

- Q8A. Charge de travail Administrative

- Q9. Respect des horaires de sortie : sortie habituelle des stages

- Q10. Réalisation d’au moins un exposé (cas clinique, sujet théorique,…)

- Q11. Pensez-vous avoir amélioré vos connaissances lors de ce stage

Le questionnaire élaboré a été testé lors du choix de stage d’été au sein de la faculté de

médecine de Paris 7. Leur choix de stage effectués, les étudiants ont remplis la fiche présentée

en Annexe 1 évaluant leurs stages de printemps.

Les résultats de cette évaluation sont donnés en effectifs et pourcentage. La note globale est

présentée par sa moyenne, son minimum et son maximum. Les évaluations en fonction des

spécialités et des hôpitaux sont données. Une représentation de la qualité des stages à l’aide

de « Radar Plots » permet de résumer la qualité des stages sur les items Q2 à Q11 (excepté

Q10). Plus la surface est grande meilleur est le stage. En accord avec la commission de

pédagogie de l’UFR de médecine les résultats les évaluations par terrain de stage ne sont pour

l’instant pas rendus mais seront disponibles dès le questionnaire sera utilisé en routine. Enfin

une mesure de la cohérence du questionnaire est donnée à l’aide du coefficient alpha de

Cronbach[14]. L’ensemble des analyses a été réalisé sous le logiciel R-2.15.0 (R

Development Core Team, http://www.R-project.org/)

3. RESULTATS

Un total de 326 stages avait été choisis au printemps 2012 dont 38 par des redoublants qui

n’ont pas à faire de stage d’été et n’étaient donc pas présents au choix. 269 fiches sur 288

théoriques ont donc été recueillies soit un taux de réponses de plus 93%.

La table 1 présente les résultats portant sur l’ensemble des stages. La note globale est à plus

de 75% supérieure ou égale à 3 avec une moyenne à 2.98. Concernant les autres items les 2

qualificatifs les plus favorables sont toujours choisis à plus de 50% sauf pour la Q4 portant

sur la relecture des observations (dans plus de 70% des stages elles n’ont jamais ou très

rarement été relues) et pour la Q8A portant sur la charge administrative (jugée lourde dans

plus de 50% des cas). Seul un étudiant sur deux a pu effectuer un exposé oral.

Le tableau 2 représente la distribution des spécialités et des hôpitaux des stages choisis. Le

tableau 3 donne la moyenne de la note globale par spécialité. Trois spécialités (avec un

nombre d’observations supérieur à 10) présentent une note globale inférieure à 3 :

l’hématologie, la chirurgie orthopédique et la gynécologie-obstétrique. Cette note globale

n’est pas forcément en lien direct avec le résumé des items représentés par des radars plots

figure 1. En effet, si l’aire de la chirurgie orthopédique est faible, l’aire de la gynécologie-

obstétrique est similaire à celle de la psychiatrie pourtant mieux notée globalement. Reste

qu’il existe une corrélation entre la note globale observée et l’aire observée sur le radar plot

(rho=0.67 ; CI95% 0.20 ;0.88). Le tableau 4 présente la note globale par établissement

hospitalier. 4 établissements présentent des notes inférieures à 3. Beaujon a une note de 2.4 et

Saint-Louis de 2.7 certainement influencées par la forte représentation respectivement de la

chirurgie orthopédique et de l’hématologie dans ces établissements. Les détails des réponses

sont donnés dans les tableaux A et B des annexes 2 et 3.

Le coefficient de alpha de Cronbach est de 0.78 (CI95% 0.71 ; 0.83). Ce coefficient permet de

juger de la cohérence interne du questionnaire, c'est-à-dire sa capacité à appréhender une

même entité (ou dimension) "sous-jacente" ici la qualité des stages. Plus ce coefficient est

proche de 1 meilleur est la cohérence interne. Une valeur supérieure à 0.7 signe une cohérence

interne satisfaisante[14].

Tableau 1 : Description des items recueillis lors de l’évaluation des stages de juin concernant

les DCEM3 de l’université Denis Diderot - Paris 7. Effectifs et pourcentages.

Questions Valeurs N %

269

Q1. Evaluation globale sur 4

1 8 3.2%

2 50 20.2%

3 129 52.0%

4 61 24.6%

NA 21

Q2. Enseignement du « savoir faire » médical (examens cliniques, gestes, techniques,…)

médiocre 25 9.3%

passable 74 27.5%

bon 128 47.6%

excellent 42 15.6%

Q3. Enseignement du « savoir être » médical (relation médecin malade, annonce de nouvelle,…)

médiocre 25 9.3%

passable 75 28.0%

bon 106 39.6%

excellent 62 23.1%

NA 1

Q4. Relecture critique des observations médicales

rare 97 36.5%

jamais 85 32.0%

fréquente 63 23.7%

systématique 21 7.8%

NA 3

Q5. Enseignement du raisonnement médical

médiocre 17 6.4%

passable 68 25.5%

bon 133 49.8%

excellent 49 18.4%

NA 2

Q6. Qualité pédagogique de la formation théorique

médiocre 13 4.9%

passable 61 22.8%

bonne 133 49.8%

excellente 60 22.5%

NA 2

Q7. Qualité du lien entre enseignement pratique et théorique (justification physiopathologique, références bibliographiques,…)

médiocre 18 6.8%

passable 92 34.6%

bonne 112 42.1%

excellente 44 16.5%

NA 3

Q8M. Charge de travail Médicale

faible 46 17.1%

normal 154 57.2%

assez lourde 53 19.7%

lourde 16 5.9%

Q8A. Charge de travail Administrative

faible 98 38.7%

normal 68 26.9%

assez lourde 42 16.6%

lourde 45 17.8%

NA 16

Q9. Respect des horaires de sortie : sortie habituelle des stages

avec 30min 51 19.0%

à l'heure 156 58.2%

avec 1 h 42 15.7%

avec 2 h 19 7.1%

NA 1

Q10. Réalisation d’au moins un exposé (cas clinique, sujet théorique,…)

non 124 47.0%

oui 140 53.0%

NA 5

Q11. Pensez-vous avoir amélioré vos connaissances lors de ce stage

pas du tout 7 2.6%

un peu 52 19.4%

moyennement 94 35.1%

beaucoup 115 42.9%

NA 1

Table 2 : Répartition des choix de stages offerts aux étudiants de DCEM3, stages du

printemps 2012. Effectifs et pourcentages.

N %

326

SPECIALITE ABSENT AU CHOIX 2 0.6%

ANATOMO - PATHOLOGIE 8 2.5%

CENTRE DOULEUR 3 0.9%

CHIRURGIE ORTHOPEDIQUE 51 15.6%

GYNECOLOGIE OBSTETRIQUE 87 26.7%

HEMATOLOGIE 18 5.4%

IMMUNOLOGIE 22 6.7%

MEDECINE PHY. ET REA. 9 2.8%

NEURO - CHIRURGIE 14 4.3%

NEUROLOGIE 41 12.6%

ONCOLOGIE 1 0.3%

OPHTALMOLOGIE 5 1.5%

PSYCHIATRIE 30 9.2%

RADIOTHERAPIE 3 0.9%

RHUMATOLOGIE 32 9.8%

HOPITAL ARGENTEUIL 2 0.6%

BEAUJON 35 10.7%

BICHAT 70 21.5%

FERNAND WIDAL 12 3.7%

FONDATION ROTSCHILD 12 3.7%

LARIBOISIERE 83 25.5%

LOUIS MOURIER 23 7.1%

PONTOISE 11 3.4%

ROBERT DEBRE 37 11.3%

SAINT LOUIS 39 12.0%

NA 2 0.6%

Table 3 : Note globale moyenne par spécialité.

Spécialité

Moy note

globale Note min

Note Max Effectif

ANATOMO - PATHOLOGIE 2.5 1 4 2

HEMATOLOGIE 2.8 2 4 76

CHIRURGIE ORTHOPEDIQUE 2.8 1 4 29 GYNECOLOGIE OBSTETRIQUE 2.9 1 4 55

NEUROLOGIE 3 1 4 23

ONCOLOGIE 3 3 3 1

RADIOTHERAPIE 3 3 3 1

IMMUNOLOGIE 3.1 1 4 17

NEURO - CHIRURGIE 3.1 2 4 11

RHUMATOLOGIE 3.2 2 4 19

PSYCHIATRIE 3.2 1 4 18

CENTRE DOULEUR 3.5 3 4 2

OPHTALMOLOGIE 3.5 3 4 2

MEDECINE PHY. ET REA. 3.7 3 4 3

Table 4 : Note globale moyenne par hôpital.

Spécialité

Moy note

globale Note min

Note Max Effectif

BEAUJON 2.4 1 4 23

SAINT LOUIS 2.7 1 4 58

ROBERT DEBRE 2.9 1 4 53

BICHAT 2.9 1 4 44

ARGENTEUIL 3 3 3 2

LARIBOISIERE 3.2 2 4 45

FONDATION ROTSCHILD 3.2 3 4 5

FERNAND WIDAL 3.3 3 4 6

LOUIS MOURIER 3.4 3 4 16

PONTOISE 3.6 3 4 7

Figure 1 : Radar plot des réponses aux différentes questions en fonction de la spécialité. Chaque « direction » représente un des items du

questionnaire.

4. DISCUSSION

La première partie de notre plan d’action-recherche pédagogique semble bien se dérouler.

Nous avons obtenu une bonne adhésion des étudiants et une amélioration du contenu

informatif. En effet, notre taux de réponses est supérieur à 93%, ce qui montre l’adhésion très

forte des étudiants à fournir un retour sur leurs stages hospitaliers. Le caractère informatif est

devenu plus exhaustif car nous avons remplacé 3 items conceptuels avec une faible cohérence

interne (alpha de Cronbach inférieur à 0.50 sur l’année 2011) par 11 questions fermées qui

interrogent sur des opinions ou des faits. La note d’appréciation de la qualité de la formation

théorique qui était notée de 1 à 5 a été remplacée par 4 questions qui informent sur la qualité

de l’enseignement théorique mais aussi sur l’enseignement du raisonnement médical, la

qualité du lien entre enseignement pratique et l’amélioration du niveau de connaissance. La

note d’appréciation de la qualité de la formation pratique de 1 à 5 a été remplacée par 3

questions qui informent sur l’enseignement du « savoir faire » et du « savoir être » médical.

Des questions factuelles ont été introduites renseignant sur la fréquence des relectures des

observations médicales et la réalisation ou non d’un exposé. La note d’appréciation de la

pénibilité du stage 1 à 5 a été remplacée par une question sur les horaires et deux questions

sur la charge de travail médical ou administratif. Enfin deux questions d’opinions permettent

de nuancer la qualité globale du stage par rapport à la qualité pédagogique.

Si le choix de ces items a été validé par les conseils pédagogiques de nos deux facultés

respectives, il présente certaines limites. Notre questionnaire renseigne bien 4 des 5 facteurs

d’apprentissages identifiés par Lebrun (information, activité, interaction, production)[15],

mais pas sur la part d’implication (motivation) dans la résolution de problèmes que les

enseignants ont donné à l’étudiant au décours du stage. Cet aspect devrait être rediscuté et

potentiellement intégré dans notre questionnaire lors de sa réévaluation annuelle. Cependant,

la mesure de cette motivation est difficile lors d’un auto-questionnaire.

Nos questions ont été volontairement fermées pour faciliter la compréhension, fixer le sens de

la réponse et permettre un dépouillement rapide. Ce choix limite la quantité d’information sur

l’item, influence les réponses et provoque un effet d’ancrage des réponses suivantes[16-18]. Il

a l’avantage d’être reproductible et limite la subjectivité de celui qui dépouille les

questionnaires quand à l’interprétation des données. Nous avons choisit d’utiliser une échelle

de Likert à 4 niveaux pour cliver les avis favorables des avis défavorables, une échelle à 5

aurait permit de plus grandes nuances mais nous aurait exposé à une majorité de réponses

sans opinions. L’échelle de Likert a été initialement crée avec la possibilité de pondérer les

questions entres elles[12]. Nous n’avons pas pondéré les questions selon leurs importances

relatives dans notre évaluation globale. Il s’agit d’un choix délibéré de notre part. Nous

recueillons déjà une note globale. De plus, un tel outil a pour objectif l’amélioration de la

qualité des stages d’externe. Il nous a paru plus important de pouvoir « disséquer » les

différents aspects du stage que de fournir une autre évaluation générale.

L’ordre des questions peut avoir une influence sur la réponse aux questions suivantes. Nous

avons choisi de poser la première question sur la note globale du stage. Ce choix n’était peut-

être pas judicieux car elle enferme possiblement l’étudiant dans son choix de départ pour

répondre aux autres questions[16-18]. Nous aurions probablement du mettre cette première

question avec la dernière. Idéalement, il faudrait dans un questionnaire électronique (annexe

4) randomiser l’ordre des questions pour chacun des étudiants se connectant au site web.

Le feedback n’a pas encore été fait aux responsables des stages. L’acceptabilité du

questionnaire par les enseignant n’a pas encore été évaluée. Dès que les enseignants auront

reçu les évaluations des étudiants sur leur terrain de stage, nous pourrons voir si notre

recherche-action provoque une amélioration de la qualité pédagogique des stages hospitaliers.

De notre point de vue au moins 3 mécanismes de feedback peuvent être envisagés :

- Cet outil permet aux enseignants d’évaluer la qualité de leur production. L’évaluation

se fait alors par items ou plus globalement sur la note moyenne du stage. Ainsi

l’information que nous produisons se doit de détailler items par item les réponses et de

donner des outils de synthèse. De ce point de vue l’évaluation de l’aire sous la courbe

des radars nous parait intéressante car la baisse de la valeur d’un item décroit

considérablement l’aire totale. Par exemple en oncologie la note globale d’évaluation

(=3) est identique à la neurologie et à la radiothérapie tandis que l’aire sous la courbe

est plus importante. Ces observations devraient inciter les enseignants à modifier leur

comportement sur les items qui ne sont pas bien notés par les étudiants.

- Nous espérons que cet outil permettra aux étudiants de mieux choisir leurs stages.

Cette pression exercée sur les mauvais stages devrait permettre une amélioration des

stages les moins bien notés si les responsables souhaitent avoir les étudiants les plus

motivés.

- Nous spéculons aussi que cet outil puisse être détourné vers un outil de gouvernance

pour les équipes pédagogiques. En effet avoir ce tableau de bord (et c’est une

demande récurrente des instances) permet de rendre compte en partie de ce qui se

passe dans les stages. S’il permet d’alerter, de conseiller et de renforcer des équipes

pédagogiques (renforts de CCA,…), il pourrait devenir un instrument de régulations

des terrains de stages. On peut imaginer qu’il aboutisse à limiter le nombre d’étudiants

et même à modifier le nombre d’enseignants. Evidemment, le processus de recherche-

action en serait modifié par l’application d’un troisième niveau d’action (Doyen) sur

les deux autres (enseignants/étudiants).

Les perspectives de ce travail se prolongent par la mise en place prochainement d’un outil

informatique pour éviter la saisie et les erreurs de dépouillement du questionnaire. En effet,

nous avons développé à Amiens un outil informatique (voir annexe 4) qui permettra aux

étudiants de noter avec les mêmes items que la faculté de médecine de Denis Diderot Paris

VII. La mise en place de cette interface web sera effective pour l’année universitaire 2012-

2013 à Amiens et pour le choix du stage d’hiver sur Paris 7. Une fois ce premier

développement effectif nous envisageons de développer des outils de visualisations directes

des résultats en ligne. Cet outil devrait permettre à terme d’évaluer les résultats hôpital par

hôpital, spécialité par spécialité et bien sûr terrain de stage par terrain de stage. Enfin, il devra

avoir la capacité de montrer l’évolution des évaluations dans le temps. Cet outil est

actuellement en développement au sein du service de biostatistique et information médicale

de l’hôpital Saint-Louis.

5. Références

1. Vanpee, D., et al., Ce que la perspective de l’apprentissage et de l’enseignement

contextualisés authentiques peut apporter pour optimaliser la qualité pédagogique des

stages d’externat. Pédagogie Médicale 2010. 10: p. 253-66.

2. Ringsted, C., et al., Medical students' experience in practical skills is far from

stakeholders' expectations. Med Teach, 2001. 23(4): p. 412-416.

3. Board, P. and M. Mercer, A survey of the basic practical skills of final year medical

students in one UK medical school. Med Teach, 1998. 20: p. 104-108.

4. Langevin, S. and R. Hivon, En quoi l’externat ne s’acquitte-t-il pas adéquatement de

son mandat pédagogique ? Une étude qualitative fondée sur une analyse systématique

de la littérature. Pédagogie Médicale 2007;8:7-23 Pédagogie Médicale 2007. 8: p. 7-

23.

5. Jouquan, J. and P. Bail, A quoi s’engage-t-on en basculant du paradigme

d’enseignement vers le paradigme d’apprentissage ? . Pédagogie Médicale, 2003. 4:

p. 163-75.

6. Stark, P., Teaching and learning in the clinical setting: a qualitative study of the

perceptions of students and teachers. Med Educ, 2003. 37(11): p. 975-82.

7. Mann, F., Experiments in feedback. Public Opin Q (1958) 22(2): 173-174, 1958.

22(2): p. 173-174.

8. Whyte, Participatory action research., ed. W. Foote. Vol. 123. 1991: Sage focus

editions.

9. Karlsen, J., Action research as method: reflections from a program for developmennt

methods and competence" WHYTE, William Foote. Participatory Action Research.

Newbury Park: Sage Publications. Participatory Action Research. , ed. W. Foote.

1991, Newbury Park: : Sage Publications. 500-510.

10. Guénard, D., Introduction à la dynamique lewinienne, in La recherche-action de Kurt

Lewin aux pratiques contemporaines, Baribeau, Editor. 1992, Colette: Arq.

11. Ganassali, S. and J. Moscarola, The efficacy of web surveys : an experimental study.

Décisions marketing, 2004. 12.

12. Likert, R., A technique for the measurement of attitudes. Archives of Psychology,

1932. 140: p. 5-53.

13. Docq, F., M. Lebrun, and D. Smidts, À la recherche des effets d’une plate-forme

d’enseignement/apprentissage en ligne sur les pratiques pédagogiques d’une

université : premières approches. Revue internationale des technologies en pédagogie

universitaire, 2008. 5(1): p. 45-57.

14. Bland, J.M. and D.G. Altman, Cronbach's alpha. BMJ, 1997. 314(7080): p. 572.

15. Lebrun, M., Des technologies pour enseigner et apprendre. , ed. D. Boeck. 2007,

Bruxelles.

16. Chapman, G. and E. Johnson, Anchoring, activation, and the construction of values.

Organizational Behavior and Human Decision Processes, 1999. 79: p. 115-153.

17. B Englich and T. Mussweiler, Sentencing under uncertainty: Anchoring effects in the

court-room. Journal of Applied Social Psychology, 2001. 31: p. 1535-1551.

18. Mussweiler, T., The Malleability of Anchoring Effects. Experimental Psychology

2002; Vol. 49(1): 67Ð72, 2002. 49(1): p. 67-72.

6. ANNEXES

Annexe 1 : Fiche de recueil des évaluations de stages d’externe (DCEM2, DCEM3, DCEM4)

Annexe 2a : Descriptions des réponses en fonction de la spécialité. Effectifs et pourcentages.

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM

Q1.

1 1 50% 0 0% 1 4% 1 2% 0 0% 1 6% 0 0% 0 0% 1 5% 0 0% 0 0% 1 6% 0 0% 0 0%

2 0 0% 0 0% 7 26% 14 27% 19 31% 3 19% 0 0% 2 20% 4 18% 0 0% 0 0% 3 17% 0 0% 2 11%

3 0 0% 1 50% 15 56% 28 54% 36 59% 6 38% 1 33% 5 50% 12 55% 1 100% 1 50% 6 33% 1 100% 12 63%

4 1 50% 1 50% 4 15% 9 17% 6 10% 6 38% 2 67% 3 30% 5 23% 0 0% 1 50% 8 44% 0 0% 5 26%

NA 0 0 2 3 15 1 0 1 1 0 0 0 0 0

Q2.

bon 1 50% 2 100% 11 38% 27 49% 37 49% 10 59% 3 100% 4 36% 8 35% 1 100% 2 100% 8 44% 0 0% 10 53%

excellent 0 0% 0 0% 1 3% 12 22% 7 9% 1 6% 0 0% 0 0% 4 17% 0 0% 0 0% 3 17% 0 0% 6 32%

mediocre 1 50% 0 0% 5 17% 1 2% 13 17% 1 6% 0 0% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 1 5%

passable 0 0% 0 0% 12 41% 15 27% 19 25% 5 29% 0 0% 6 55% 8 35% 0 0% 0 0% 6 33% 1 100% 2 11%

Q3.

bon 1 50% 1 50% 9 31% 23 42% 41 54% 7 41% 0 0% 0 0% 10 44% 0 0% 2 100% 5 28% 1 100% 12 63%

excellent 0 0% 1 50% 2 7% 10 18% 8 11% 5 29% 3 100% 1 10% 1 4% 1 100% 0 0% 10 56% 0 0% 3 16%

mediocre 1 50% 0 0% 6 21% 3 6% 2 3% 2 12% 0 0% 2 20% 7 30% 0 0% 0 0% 0 0% 0 0% 1 5%

passable 0 0% 0 0% 12 41% 19 35% 25 33% 3 18% 0 0% 7 70% 5 22% 0 0% 0 0% 3 17% 0 0% 3 16%

NA 0 0 0 0 0 0 0 1 0 0 0 0 0 0

Q4.

frequente 1 50% 0 0% 5 17% 11 20% 20 26% 4 24% 2 67% 3 27% 3 13% 1 100% 1 50% 2 11% 1 100% 7 39%

jamais 1 50% 0 0% 13 45% 22 40% 24 32% 1 6% 0 0% 4 36% 12 52% 0 0% 0 0% 3 17% 0 0% 3 17%

rare 0 0% 2 100% 11 38% 19 35% 28 37% 11 65% 0 0% 4 36% 8 35% 0 0% 0 0% 10 56% 0 0% 4 22%

systematique 0 0% 0 0% 0 0% 3 6% 4 5% 1 6% 1 33% 0 0% 0 0% 0 0% 1 50% 3 17% 0 0% 4 22%

NA 0 0 0 0 0 0 0 0 0 0 0 0 0 1

Q5.

bon 1 50% 2 100% 13 46% 30 55% 37 49% 5 29% 1 33% 6 55% 10 46% 1 100% 2 100% 8 44% 1 100% 9 47%

excellent 0 0% 0 0% 1 4% 8 15% 6 8% 7 41% 2 67% 0 0% 4 18% 0 0% 0 0% 4 22% 0 0% 8 42%

mediocre 1 50% 0 0% 3 11% 3 6% 4 5% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%

passable 0 0% 0 0% 11 39% 14 26% 29 38% 4 24% 0 0% 5 46% 6 27% 0 0% 0 0% 5 28% 0 0% 2 11%

NA 0 0 1 0 0 0 0 0 1 0 0 0 0 0

Q6.

bon 1 50% 1 50% 13 45% 29 54% 44 58% 8 47% 2 67% 5 46% 10 44% 0 0% 2 100% 7 39% 1 100% 9 47%

excellent 0 0% 0 0% 1 3% 11 20% 8 11% 7 41% 1 33% 1 9% 7 30% 1 100% 0 0% 5 28% 0 0% 10 53%

mediocre 1 50% 0 0% 4 14% 1 2% 2 3% 1 6% 0 0% 0 0% 2 9% 0 0% 0 0% 1 6% 0 0% 0 0%

passable 0 0% 1 50% 11 38% 13 24% 22 29% 1 6% 0 0% 5 46% 4 17% 0 0% 0 0% 5 28% 0 0% 0 0%

NA 0 0 0 1 0 0 0 0 0 0 0 0 0 0

Annexe 2b : Descriptions des réponses en fonction de la spécialité. Effectifs et pourcentages.

Quest. Valeurs N % N % N % N % N % N % N % N % N % N % N % N % N % N %

2 ANAP. 2 DOUL. 29 ORTHO 55 GYNE 76 HEMAT 17 IMMU 3 M. PHY. 11 NEUCH 23 NEURO 1 ONCO 2 OPHT 18 PSY 1 RADIO 19 RHUM

Q7.

bon 1 50% 2 100% 11 39% 25 46% 29 39% 7 41% 2 67% 4 36% 9 39% 0 0% 2 100% 6 33% 0 0% 11 58%

excellent 0 0% 0 0% 2 7% 8 15% 6 8% 6 35% 1 33% 0 0% 3 13% 1 100% 0 0% 4 22% 0 0% 6 32%

mediocre 1 50% 0 0% 4 14% 1 2% 7 10% 0 0% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 0 0%

passable 0 0% 0 0% 11 39% 20 37% 32 43% 4 24% 0 0% 7 64% 8 35% 0 0% 0 0% 8 44% 1 100% 2 11%

NA 0 0 1 1 2 0 0 0 0 0 0 0 0 0

Q8M.

assez lourde 0 0% 0 0% 5 17% 13 24% 14 18% 6 35% 2 67% 0 0% 4 17% 0 0% 0 0% 1 6% 1 100% 4 21%

faible 2 100% 0 0% 9 31% 4 7% 18 24% 0 0% 0 0% 5 46% 4 17% 0 0% 1 50% 5 28% 0 0% 0 0%

lourde 0 0% 0 0% 1 3% 7 13% 4 5% 2 12% 0 0% 0 0% 2 9% 0 0% 0 0% 0 0% 0 0% 2 11%

normal 0 0% 2 100% 14 48% 31 56% 40 53% 9 53% 1 33% 6 55% 13 57% 1 100% 1 50% 12 67% 0 0% 13 68%

Q8A.

assez lourde 0 0% 0 0% 0 0% 6 12% 18 28% 8 47% 0 0% 0 0% 3 13% 0 0% 0 0% 2 11% 0 8 47%

faible 2 100% 1 50% 16 55% 21 41% 21 32% 1 6% 2 67% 5 50% 6 26% 1 100% 2 100% 8 44% 0 0 0%

lourde 0 0% 1 50% 3 10% 9 18% 11 17% 4 24% 0 0% 2 20% 9 39% 0 0% 0 0% 2 11% 0 6 35%

normal 0 0% 0 0% 10 35% 15 29% 15 23% 4 24% 1 33% 3 30% 5 22% 0 0% 0 0% 6 33% 0 3 18%

NA 0 0 0 4 11 0 0 1 0 0 0 0 1 2

Q9.

a l heure 2 100% 1 50% 21 72% 35 64% 46 62% 4 24% 0 0% 10 91% 12 52% 1 100% 2 100% 11 61% 0 0% 2 11%

avec 1 h 0 0% 0 0% 3 10% 3 6% 16 22% 6 35% 1 33% 1 9% 3 13% 0 0% 0 0% 1 6% 0 0% 11 58%

avec 2 h 0 0% 0 0% 3 10% 8 15% 2 3% 1 6% 0 0% 0 0% 3 13% 0 0% 0 0% 0 0% 0 0% 3 16%

avec 30min 0 0% 1 50% 2 7% 9 16% 10 14% 6 35% 2 67% 0 0% 5 22% 0 0% 0 0% 6 33% 1 100% 3 16%

NA 0 0 0 0 2 0 0 0 0 0 0 0 0 0

Q10.

non 2 100% 0 0% 18 62% 15 28% 33 47% 5 31% 1 33% 2 18% 4 17% 0 0% 1 50% 12 67% 1 100% 15 79%

oui 0 0% 2 100% 11 38% 39 72% 37 53% 11 69% 2 67% 9 82% 19 83% 1 100% 1 50% 6 33% 0 0% 4 21%

NA 0 0 0 1 6 1 0 0 0 0 0 0 0 0

Q11.

beaucoup 1 50% 1 50% 7 25% 33 60% 16 21% 10 59% 3 100% 2 18% 7 30% 0 0% 0 0% 7 39% 0 0% 17 90%

moyennement 0 0% 1 50% 8 29% 18 33% 40 53% 3 18% 0 0% 2 18% 10 44% 1 100% 2 100% 8 44% 0 0% 2 11%

pas du tout 1 50% 0 0% 1 4% 1 2% 0 0% 0 0% 0 0% 0 0% 1 4% 0 0% 0 0% 1 6% 0 0% 0 0%

un peu 0 0% 0 0% 12 43% 3 6% 20 26% 4 24% 0 0% 7 64% 5 22% 0 0% 0 0% 2 11% 1 100% 0 0%

NA 0 0 1 0 0 0 0 0 0 0 0 0 0 0

Annexe 3a : Descriptions des réponses en fonction de l’hôpital. Effectifs et pourcentages.

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS

Q1 1 0 0% 2 10% 1 2% 0 0% 0 0% 0 0% 0 0% 0 0% 1 2% 2 4%

2 0 0% 9 43% 12 28% 0 0% 0 0% 5 12% 0 0% 0 0% 13 28% 15 31%

3 2 100% 9 43% 20 47% 4 67% 4 80% 26 61% 8 57% 3 43% 23 50% 26 53%

4 0 0% 1 5% 10 23% 2 33% 1 20% 12 28% 6 43% 4 57% 9 20% 6 12%

NA 0 2 1 0 0 2 2 0 7 9

Q2 Bon 1 50% 5 22% 24 55% 5 83% 3 60% 23 51% 7 44% 2 29% 26 49% 28 48%

excellent 0 0% 2 9% 6 14% 0 0% 1 20% 6 13% 5 31% 5 71% 5 9% 4 7%

mediocre 0 0% 6 26% 2 5% 0 0% 1 20% 2 4% 0 0% 0 0% 6 11% 10 17%

passable 1 50% 10 44% 12 27% 1 17% 0 0% 14 31% 4 25% 0 0% 16 30% 16 28%

Q3 Bon 2 100% 6 27% 17 39% 2 33% 2 40% 20 44% 7 44% 2 29% 26 49% 28 48%

excellent 0 0% 1 5% 10 23% 4 67% 0 0% 5 11% 7 44% 5 71% 5 9% 8 14%

mediocre 0 0% 5 23% 5 11% 0 0% 2 40% 6 13% 1 6% 0 0% 1 2% 4 7%

passable 0 0% 10 46% 12 27% 0 0% 1 20% 14 31% 1 6% 0 0% 21 40% 18 31%

NA 0 1 0 0 0 0 0 0 0 0

Q4 frequente 0 0% 6 26% 7 16% 2 33% 1 20% 11 24% 4 25% 3 43% 13 25% 14 24%

jamais 0 0% 11 48% 17 40% 1 17% 3 60% 15 33% 3 19% 1 14% 15 28% 17 29%

rare 2 100% 6 26% 17 40% 2 33% 1 20% 15 33% 6 38% 1 14% 22 42% 25 43%

systematique 0 0% 0 0% 2 5% 1 17% 0 0% 4 9% 3 19% 2 29% 3 6% 2 3%

NA 0 0 1 0 0 0 0 0 0 0

Q5 Bon 1 50% 9 41% 20 46% 4 67% 3 75% 24 53% 6 38% 4 57% 29 55% 26 45%

excellent 0 0% 1 5% 7 16% 2 33% 0 0% 10 22% 7 44% 3 43% 3 6% 7 12%

mediocre 0 0% 3 14% 2 5% 0 0% 1 25% 2 4% 0 0% 0 0% 3 6% 4 7%

passable 1 50% 9 41% 15 34% 0 0% 0 0% 9 20% 3 19% 0 0% 18 34% 21 36%

NA 0 1 0 0 1 0 0 0 0 0

Q6 Bon 1 50% 9 39% 25 58% 3 50% 2 40% 17 38% 7 44% 4 57% 32 60% 32 55%

excellent 0 0% 2 9% 9 21% 1 17% 1 20% 14 31% 8 50% 2 29% 5 9% 10 17%

mediocre 1 50% 5 22% 1 2% 0 0% 1 20% 0 0% 0 0% 0 0% 2 4% 2 3%

passable 0 0% 7 30% 8 19% 2 33% 1 20% 14 31% 1 6% 1 14% 14 26% 14 24%

NA 0 0 1 0 0 0 0 0 0 0

Annexe 3b : Descriptions des réponses en fonction de l’hôpital. Effectifs et pourcentages.

Quest. Valeurs N % N % N % N % N % N % N % N % N % N %

2 ARGENTEUIL 23 BEAUJON 44 BICHAT 6 F. WIDAL 5 F. ROT. 45 LARIB. 16 L. MOURIER 7 PONTOISE 53 R. DEBRE 58 SAINT-LOUIS

Q7 Bon 1 50% 6 26% 19 44% 3 50% 2 40% 21 48% 10 63% 5 71% 22 42% 20 35%

excellent 0 0% 2 9% 7 16% 1 17% 0 0% 10 23% 4 25% 2 29% 4 8% 7 12%

mediocre 1 50% 4 17% 1 2% 0 0% 1 20% 1 2% 0 0% 0 0% 3 6% 5 9%

passable 0 0% 11 48% 16 37% 2 33% 2 40% 12 27% 2 13% 0 0% 23 44% 25 44%

NA 0 0 1 0 0 1 0 0 1 1

Q8_M assez lourde 0 0% 1 4% 12 27% 3 50% 2 40% 8 18% 1 6% 2 29% 10 19% 11 19%

faible 1 50% 13 57% 2 5% 0 0% 1 20% 5 11% 0 0% 1 14% 12 23% 13 22%

lourde 0 0% 0 0% 11 25% 0 0% 0 0% 1 2% 1 6% 1 14% 2 4% 2 3%

normal 1 50% 9 39% 19 43% 3 50% 2 40% 31 69% 14 88% 3 43% 29 55% 32 55%

Q8_A assez lourde 1 50% 1 4% 12 29% 1 17% 1 20% 4 10% 1 7% 0 0% 11 23% 13 26%

faible 0 0% 12 52% 5 12% 2 33% 1 20% 18 43% 3 21% 6 86% 23 48% 16 31%

lourde 1 50% 2 9% 20 48% 1 17% 2 40% 6 14% 0 0% 1 14% 6 13% 8 16%

normal 0 0% 8 35% 5 12% 2 33% 1 20% 14 33% 10 71% 0 0% 8 17% 14 28%

NA 0 0 2 0 0 3 2 0 5 7

Q9 a l heure 2 100% 22 96% 13 30% 1 17% 2 40% 24 53% 10 63% 6 86% 32 62% 35 61%

avec 1 h 0 0% 1 4% 12 27% 1 17% 0 0% 9 20% 1 6% 0 0% 11 21% 10 18%

avec 2 h 0 0% 0 0% 9 21% 0 0% 3 60% 4 9% 0 0% 1 14% 1 2% 2 4%

avec 30min 0 0% 0 0% 10 23% 4 67% 0 0% 8 18% 5 31% 0 0% 8 15% 10 18%

NA 0 0 0 0 0 0 0 0 1 1

Q10 non 2 100% 9 39% 11 26% 3 50% 2 40% 20 44% 9 56% 4 67% 20 40% 29 53%

oui 0 0% 14 61% 32 74% 3 50% 3 60% 25 56% 7 44% 2 33% 30 60% 26 47%

NA 0 0 1 0 0 0 0 1 3 3

Q11 beaucoup 1 50% 4 17% 23 52% 3 50% 1 20% 23 52% 14 88% 7 100% 15 28% 13 22%

moyennement 0 0% 7 30% 13 30% 3 50% 3 60% 14 32% 2 13% 0 0% 26 49% 27 47%

pas du tout 0 0% 2 9% 0 0% 0 0% 1 20% 0 0% 0 0% 0 0% 1 2% 1 2%

un peu 1 50% 10 44% 8 18% 0 0% 0 0% 7 16% 0 0% 0 0% 11 21% 17 29%

NA 0 0 0 0 0 1 0 0 0 0

Annexe 4 : Fiche de recueil informatisée des évaluations de stages d’externe (DCEM2,

DCEM3, DCEM4). UFR de médecine d’Amiens.