faculte de medecine de paris ufr saint … · olivier langeron et gilles orliaguet evaluation de...
TRANSCRIPT
FACULTE DE MEDECINE DE PARIS
UFR Saint-Antoine, Créteil, Pitié-Salpêtrière, Necker, Cochin
ANNEE UNIVERSTAIRE 2002-2003
ANNEE UNIVERSTAIRE 2002-2003
Diplôme InterUniversitaire de Pédagogie Médicale
Par
Olivier LANGERON et Gilles ORLIAGUET
EVALUATION DE L’ENSEIGNEMENT DU DES
D’ANESTHESIE-REANIMATION DE LA REGION PARIS ILE
DE FRANCE
2
Introduction
L’évaluation d’un enseignement est une des étapes obligatoires dans le processus d’apprentissage,
cette évaluation est la suite logique des objectifs de cet enseignement et des méthodes employées
pour le prodiguer. Ce domaine pédagogique concerne essentiellement la personne enseignée au
cours de son apprentissage. Mais, la fonction de l’évaluation ne s’arrête pas là, car l’évaluation d’un
enseignement influence et détermine les besoins nécessaires pour réaliser cet enseignement afin que
celui-ci soit performant, c’est à dire répondant à des obligations d’évaluation sommative ou
sanctionnante par l’obtention d’un diplôme permettant l’exercice professionnel, mais aussi à celles
de l’évaluation formative correspondant à l’adéquation entre la formation pédagogique et les
exigences de la pratique professionnelle (connaissances, compétences). Ce dernier volet implique
différents acteurs dont les enseignants et les enseignés, et nécessite un dialogue entre les
intervenants pour tirer profit entre les contraintes des uns et les exigences des autres. Ainsi,
l’évaluation est une démarche de recueil d’informations concernant une activité ou son résultat
permettant ensuite la prise d’une décision et un jugement [1]. Néanmoins l’évaluation ne recouvre
pas uniquement cette dimension de recueil d’informations. En effet, depuis plusieurs années, les
apprentissages ont été perçus comme des processus individuels aboutissant à la modification de la
structure cognitive propre à chaque étudiant. L’environnement joue dans ce cas un rôle
prépondérant. L’interactivité entre l’enseignant et l’enseigné devient capitale, l’enseignant devant
chercher à réactiver les connaissances antérieures et permettre une construction des apprentissages
par l’étudiant. Ce type d’évaluation s’intéresse donc davantage aux processus d’apprentissage
qu’aux résultats obtenus. Il faut retenir le caractère pluridimensionnel de cette évaluation,
s’attachant à apprécier le profil de fonctionnement cognitif de l’individu dans un contexte donné.
Cependant, les modalités d’évaluation des apprentissages conditionnent largement la nature et la
qualité des apprentissages réalisés, les étudiants s’adaptent stratégiquement à ce que l’on attend
d’eux. D’où l’idée de modifier le dispositif d’évaluation sans changer les interventions
3
pédagogiques ni les procédures d’évaluation. L’évaluation est alors apparue comme une pièce
centrale dans la dynamique enseignement-apprentissage, devenant un moteur d’apprentissage et de
motivation des étudiants. Le contenu des évaluations peut être analysé en classant les informations
selon 3 grands domaines : le savoir déclaratif (cognitif), le savoir être (psychoaffectif) et le savoir
faire (psychomoteur). Dans le domaine de la médecine, différents outils d’évaluation ont été
proposés. Pour le savoir déclaratif les questions rédactionnelles, les questions à réponses ouvertes et
courtes, les questions à choix multiples et les schémas cognitifs ont été utilisées. Pour l’observation
directe des étudiants dans une tâche professionnelle avec des tâches ou des patients standardisés des
Examens Cliniques Objectifs Standardisés (ECOS) ont été proposés [2]. Enfin parmi les outils
visant à documenter des apprentissages effectués à partir de pratiques réelles, le portfolio [3], qui
est une collection organisée de matériels permettant d’obtenir des informations sur les
apprentissages effectués et les compétences développées sur une période donnée, est de plus en plus
souvent proposé. Ce portfolio peut contenir des comptes rendus d’actes réalisés, leur nombre, des
recherches bibliographiques, et sert de journal de bord des activités professionnelles de l’étudiant.
Une des finalités de l’évaluation est d’être sanctionnante (évaluation sommative), du fait qu’elle
reste fondamentalement une pratique sociale (certification). Mais il ne faut pas oublier la valeur
pédagogique de l’évaluation qui doit servir à améliorer les connaissances et compétences
(évaluation formative) des étudiants.
Le but du travail que nous avons réalisé a été de d’évaluer l’impact des activités pédagogiques
des enseignés en terme de formation professionnelle du Diplôme d’Etude Spécialisé en
Anesthésie Réanimation(DES-AR) dans la région Ile de France, et d’apprécier l’adéquation
entre les outils d’évaluation, sommative mais aussi formative, et l’apprentissage professionnel
de cette spécialité médicale.
4
Matériel et méthodes
Actuellement, l’enseignement du DES-AR d’Ile de France est organisé sous forme de
séminaires de 48 heures précédés d’un pré-requis, associés à des objectifs et soumis à un
contrôle écrit des connaissances. Onze séminaires sont organisés chaque année regroupant les
différents sujets d’intérêt de la spécialité. L’un des pôles d’intérêt, la réanimation, fait à lui seul
l’objet de plusieurs séminaires. Le contrôle des connaissances comprend également trois
examens oraux sous forme de cas cliniques qui sont effectués au 3e, 5e et 7e semestre d’internat.
L’obtention du DES-AR implique enfin la remise d’un mémoire ainsi que la validation des
stages hospitaliers.
Cette enquête postale a reçu l’agrément du coordonnateur du DES-AR d’Ile de France. Un
questionnaire a été adressé à l’ensemble des étudiants inscrits au DES-AR (ANNEXE),
accompagné d’un courrier explicatif . Afin d’obtenir une exhaustivité maximale, un courrier de
relance a été de nouveau adressé à l’ensemble des étudiants 3 à 4 semaines après le premier
envoi. De plus, le courrier et le questionnaire ont été mis en ligne sur le site de l’Association
des Jeunes Anesthésistes Réanimateurs (AJAR, http://www.anesthesiste.org/). La réponse aux
questions posées se faisait par une réponse de type oui-non, par des échelles numériques et par
des réponses libres.
Principes méthodologiques ayant guidés cette enquête
1) Mieux connaître les enseignés :
Un petit questionnaire concernant les caractéristiques démographiques essentielles des
enseignés, la façon dont ils sont parvenus à cette discipline, et une ébauche de mode d’exercice
professionnel était le préambule à notre enquête.
2) Rappels de quelques termes et définitions :
La conformité : concordance entre le cahier des charges de l’enseignement et ce qui est
effectivement enseigné par rapport aux attentes professionnelles.
5
La qualité : valeur formatrice de chacune des activités d’enseignement par rapport aux attentes
pour la formation professionnelle.
La pertinence : l’adéquation entre cette formation théorique et la pratique professionnelle au
quotidien.
3) Principe de mesure au cours de l’enquête :
Au cours de l’enquête nous avons toujours voulu évaluer l’écart ou le ratio entre ce qui est
prévu et ce qui est effectif.
4) Echelle de mesure au cours de l’enquête :
L’échelle de mesure était basée sur une cotation allant de 1 à 7, permettant d’avoir une valeur
médiane à 4, et néanmoins une progression graduée en attribuant une valeur allant de nulle à
maximale, comme cela a été décrit dans d’autres études s’intéressant à l’évaluation [4].
Analyse statistique
Toutes les données ont été rendues anonymes avant l’analyse.
Le taux de réponse (exhaustivité) aux questionnaires a été calculé. Les données ont été rentrées
dans une base de données Excel. L’analyse statistique a utilisé le logiciel d’analyse statistique
NCSS 6.0 (Statistical solutions Ltd, Cork, Ireland). Pour chaque item, la fréquence de
distribution des réponses a été analysée à la recherché d’une distribution non normale. Des
statistiques descriptives de base (ex: moyenne, médiane, range, SD …) ont été utilisées pour
présenter les réponses aux questions. Un test t de Student (en cas de distribution normale) ou un
test de Mann Whitney (en cas de distribution non normale) a été utilisé pour comparer les
variables continues entre les étudiants en début (1e au 4e semestre) ou en fin d’internat (3e et 4e
année), alors qu’un test de Fisher a été utilisé pour comparer les variables discrètes. De même,
une comparaison entre les étudiants de sexe masculin et féminin a été effectuée. Une valeur de
p < 0,05 a été considérée comme statistiquement significative.
6
Résultats
Sur les 168 questionnaires envoyés aux étudiants inscrits au DES-AR d’Ile de France, 70 ont
été retournés, représentant un taux d’exhaustivité de 42 %. L’âge médian des étudiants qui ont
répondu était de 27 ans (IC 95% : 25-29), avec un sexe ratio (M/F) de 36/34. Les principales
données démographiques en fonction de l’ancienneté des étudiants sont présentées dans le
tableau 1.
Tableau 1 : Principales données démographiques des étudiants. Les résultats sont présentés
comme la médiane (IC 95 %) en fonction de l’ancienneté des étudiants. * p < 0,05 versus début
d’internat.
Début d’internat (n = 35)
Fin d’internat (n = 35)
Age (ans) 26 (25-27) 28 (27-29) * Année de nomination à l’internat 2002 (2001-2002) 1999 (1999-2000) * Semestre en cours 2 (2-4) 7 (6-8) * Sexe ratio (M/F) 48 % 54 %
Les facteurs qui ont orienté le choix des étudiants vers l’anesthésie-réanimation sont présentés dans
le tableau 2.
Tableau 2 : Principaux facteurs ayant influencé le choix de l’anesthésie-réanimation. En
l’absence de différence significative entre les étudiants en début et en fin d’internat, les
résultats sont présentés pour l’ensemble des étudiants ayant répondu au questionnaire. Les
résultats sont présentés en %, plusieurs réponses étaient possibles.
Total (%)
Stages d’étudiants hospitaliers 72
Information de la faculté/spécialité 11
Au contact d’anesthésistes réanimateurs 82
Après avoir essayé une autre spécialité 11
Par hasard 9
7
Le type d’exercice professionnel auquel se destinent les étudiants est présenté dans le tableau 3.
Tableau 3 : Exercice professionnel envisagé.
Début d’internat
(%)
Fin d’internat
(%)
Total
(%)
Hospitalier 17,1 42,8 30,0
Hospitalo-universitaire 31,4 31,4 31,4
Libéral 8,5 2,8 5,7
Mixte 11,6 5,9 8,6
Sans opinion 31,4 17,1 24,3
A la question "Pensez-vous que l’enseignement que vous recevez vous prépare bien à votre
futur mode d’exercice ?", 70 % des étudiants ont répondu oui, sans qu’il n’existe de différence
significative entre les étudiants en début ou en fin d’internat (respectivement 71 et 61 %). La
conformité entre les différentes activités d’enseignement et les attentes des étudiants pour leur
formation professionnelle est présentée sur la figure 1.
La répartition du temps occupé aux différentes activités d’enseignement, ainsi que l’évaluation
de l’importance que les étudiants leur attribuaient est présentée sur la figure 2.
Figure 1 : Conformité de chacune des activités d’enseignement par rapport aux attentes des
étudiants pour leur formation professionnelle (échelle de 1 à 7). L’item global correspond à la
cotation par l’ensemble des étudiants. Aucune différence significative n’a été observée entre les
étudiants en début ou fin d’internat. Les résultats sont présentés comme la moyenne ± SD.
8
Figure 2 : Répartition du temps occupé aux différentes activités d’enseignement par les étudiants
(% du temps total), et évaluation de l’importance (échelle de 1 à 7) que les étudiants leur
attribuaient. Les résultats sont présentés comme la moyenne ± SD, pour l’ensemble des
étudiants, et selon leur ancienneté (début ou fin d’internat). * p<0,05 début versus fin
d’internat.
La figure 3 présente le pourcentage de temps que les étudiants souhaiteraient voir attribué aux
différents types d’enseignement.
Figure 3 : Pourcentage de temps que les étudiants souhaiteraient voir attribué aux différents
types d’enseignement. L’item global correspond à la cotation par l’ensemble des étudiants.
Aucune différence significative n’a été observée en fonction de l’ancienneté des étudiants
(début ou fin d’internat). Les résultats sont présentés dans leur ensemble, et selon l’ancienneté
des étudiants, comme la moyenne ± SD. * p < 0,05 début versus fin d’internat.
9
Sur la figure 4 sont présentées l’évaluation de la qualité (valeur formatrice) et la pertinence
(adéquation entre formation théorique et pratique professionnelle) des différents types
d’enseignement.
Figure 4 : Evaluation de la qualité et de la pertinence des différents types d’enseignement. Les
résultats sont présentés dans leur ensemble, et selon l’ancienneté des étudiants (début ou fin
d’internat), comme la moyenne ± SD. * p < 0,05 début versus fin d’internat.
10
Les réponses aux questions dichotomiques (oui/non) sont présentées dans le tableau 4.
Tableau 4 : Présentation des réponses positives (oui) aux questions dichotomiques. En
l’absence de différence significative entre les étudiants en début et en fin d’internat, les
résultats ont été regroupés pour l’ensemble des étudiants ayant répondu au questionnaire.
Global
(%)
L’enseignement répond aux attentes 70
Le découpage de l’enseignement théorique en séminaire est
adapté
80
Un pré-requis avant les séminaires est nécessaire 91
Le pré-requis est respecté 25
Raisons du non respect du pré-requis :
manque de bibliographie
manque de temps
programme transmis tardivement
autres
6
89
3
2
Le programme du DES d’anesthésie réanimation est connu 50
Une formation complémentaire est envisagée
DU ou DIU
DEA ou DESS
94
86
40
Il existe un besoin de formation théorique ou pratique 91
L’enseignement prépare bien au futur mode d’exercice 73
11
Le détail des DU ou DIU envisagés par les étudiants est présenté sur la figure 5.
Figure 5 : Détail des DU ou DIU envisagés par les 86 % d’étudiants souhaitant suivre une
formation complémentaire.
47%
15%
10%
28%
Echocardiographie Pathologies infectieuses Douleur Autres
La figure 6 fournit le détail des principaux DEA envisagés par les 40 % d’étudiants souhaitant
suivre cette formation.
Figure 6 : Détail des principaux DEA envisagés par les 40 % d’étudiants souhaitant suivre cette
formation. * y compris microbiologie et biologie moléculaire. ** y compris physiologie
cardiaque et respiratoire.
7% 7%
21%
14%
37%
14%
Génétique Hémostase Biologie *Pharmacologie Physiologie ** Neuroscience
12
Le détail concernant le besoin de formation théorique ou pratique est présenté sur la figure 7.
Figure 7 : Détail des formations théoriques ou pratiques jugées utiles par 91 % des étudiants.
Plusieurs réponses étaient possibles. * dont 32 % de cardiologie et 18 % d’infectiologie.
0
20
40
60
80
Etu
dian
ts (%
)
Spécialités médicales*
Techniquechirurgicale
Gestion Juridique/ethique Relation humaine Anglais médical
Pour 47 % des étudiants en fin de cursus (3e et 4e année), il persistait des lacunes dans leur
formation théorique, et pour 46 % d’entre eux dans la formation pratique.
L’appréciation du contrôle des connaissances par les étudiants est présentée sur la figure 8.
Figure 8 : Appréciation du contrôle des connaissances par les étudiants. Plusieurs réponses
étaient possibles. Aucune différence significative n’a été observée en fonction de l’ancienneté
des étudiants, et les résultats sont donc présentés pour l’ensemble des étudiants.
0 10 20 30 40 50 60 70 80
Rassurant
Indispensable
Contraignant
Inutile
Motivant
Etudiants (%)
13
La forme et la périodicité, que devrait prendre le contrôle des connaissances pour les étudiants,
sont présentées respectivement sur les figures 9 et 10.
Figure 9 : Forme souhaitée par les étudiants pour le contrôle continu des connaissances.
Aucune différence significative n’a été observée en fonction de l’ancienneté des étudiants, et
les résultats sont donc présentés pour l’ensemble des étudiants.
0 5 10 15 20 25 30 35 40 45 50
Tutorat
Oral
Ecrit
Oral et écrit
Carnet de stage
Aucune
Oral et carnet de stage
Ecrit, oral et carnet de stage
Etudiants (%)
Figure 10 : Périodicité que doit prendre le contrôle des connaissances selon l’avis des
étudiants. Aucune différence significative n’a été observée en fonction de l’ancienneté des
étudiants, et les résultats sont donc présentés pour l’ensemble des étudiants.
0 5 10 15 20 25 30 35 40 45 50
Aucun
3e, 5e et 7e semestre
Fin d'année
Semestriel
Trimestriel
Après les séminaires
Etudiants (%)
14
Pour 41 % des étudiants, il faudrait introduire une note de stage, et celle-ci devrait en moyenne
représenter 40 % de la note finale, sans qu’il existe de différence significative entre les
étudiants en début ou fin d’internat.
Seuls 12 % de l’ensemble étudiants souhaiteraient que l’évaluation finale prenne en compte la
production de publication (revues à comité de lecture ou présentation en congrès), et 50 %
d’entre eux pensent qu’il faudrait tendre vers une évaluation formative. Par contre moins de la
moitié (47 %) sont en faveur d’une re-certification.
Enfin, lorsque l’on analyse l’ensemble des résultats en fonction du sexe des étudiants, la seule
différence significative observée concerne l’âge des étudiants, avec un âge moyen plus élevé
chez les hommes (28,5 ± 4,9 ans) que chez les femmes (26,9 ± 1,9 ans).
15
Discussion
Aux deux questions fondamentales de cette enquête : "L’enseignement actuel répond-il à vos
attentes ?" et "Pensez vous que l’enseignement, que vous recevez, prépare bien à votre futur
mode d’exercice ?", le taux de réponse positive était de 70 et 73 % respectivement, sans qu’il
n’existe de différence significative entre les étudiants en début ou en fin d’internat. Néanmoins,
la grande majorité des étudiants (94 %) envisage une ou plusieurs formations complémentaires
"pratiques" de type DU (86 %), ou plus "fondamentales" de type DEA (40%), témoignant ainsi
de la nécessité d’approfondir les connaissances dispensées au cours de l’enseignement du DES-
AR. Cette proportion d’étudiants souhaitant acquérir une formation complémentaire semble
particulièrement élevée, notamment lorsqu’on la compare aux 48 % rapportés dans l’enquête
réalisée au niveau national par Gautier et coll. [5]. Le passage récent (novembre 2002) de la
durée de l’internat en anesthésie-réanimation à 5 ans pourrait modifier ces chiffres à la baisse,
dans la mesure ou l’année supplémentaire devrait répondre pour une bonne partie à cette
demande. Enfin, concernant les modalités d’évaluation, les étudiants souhaitent la combinaison
des différents modes d’évaluation (écrite, orale et carnet de stage) avec une très forte
participation pratique, puisque la une note de stage devrait en moyenne représenter 40 % de la
note finale.
Nous allons successivement aborder dans la discussion les points suivants : constatations
démographiques, les points positifs, les points négatifs et les discordances observées dans cette
enquête, aussi bien sur l’impact des activités pédagogiques des étudiants du DES-AR pour leur
formation professionnelle, que sur les modalités d’évaluation de ce diplôme.
Constatations démographiques
Concernant le sexe-ratio des étudiants, il est à noter que globalement 51 % des étudiants de
notre enquête étaient de sexe masculin. Ceci contraste avec le fait que les femmes représentent
actuellement plus de 60 % des étudiants en médecine français, mais est assez représentatif de la
16
population anesthésique actuelle avec environ 60 % d’hommes, même si une tendance vers une
féminisation de la profession semble se faire depuis les résultats publiés en 1999 [6]. Il est
également intéressant de noter qu’il existe une évolution au cours de l’internat concernant
l’exercice professionnel envisagé par les étudiants du DES-AR (tableau 3). Ainsi, en début
d’internat, moins de la moitié d’entre eux (48,5 %) envisage une carrière dans le secteur public,
et 31,4 % sont indécis, alors qu’en fin d’internat 74 % souhaitent exercer dans le secteur public.
Ceci est à mettre en parallèle avec la démographie actuelle des anesthésiste-réanimateurs,
sachant que 63 % d’entre-eux travaillent dans des hôpitaux publics [6].
Les points positifs
Les étudiants "s’informent" au cours du 2è cycle des études médicales, et ils se destinent à
l’anesthésie-réanimation le plus souvent grâce à un stage hospitalier ou au contact
d’anesthésiste-réanimateurs (tableau 2). Ceci laisse supposer que l’attractivité de cette
spécialité est bonne, probablement grâce à ses différentes caractéristiques (à la fois très
spécialisée mais faisant aussi appel à de larges domaines de la médecine, y compris l’urgence,
possibilités de gestes pratiques et fort impact des progrès de la technologie), mais aussi sur la
base de données économiques, avec la possibilité d’un large choix du mode d’exercice
professionnel (hôpital, libéral, cf tableau 3).
L’enseignement dispensé répond aux attentes des étudiants dans 70 % des cas, et il est
conforme aux objectifs de formation professionnelle ; il faut toutefois noter que l’enseignement
théorique à l’hôpital et en module est en retrait sur ce point par rapport à l’enseignement
clinique (figure 1). De la même façon, la qualité et la pertinence de l’enseignement dispensé au
DES-AR son jugées supérieures dans le domaine clinique que dans le domaine théorique aussi
bien à l’hôpital qu’en module, ou qu’en congrès/EPU ; la qualité et la pertinence sont ainsi
beaucoup plus "variables" comme en attestent des déviations standards plus importantes
(figure 4). Ces points soulignent l’extrême importance du compagnonnage dans la formation
professionnelle des étudiants du DES-AR. Ce caractère de formation pratique prend le pas sur
17
tous les autres types de formation théorique à l’hôpital, en module et en congrès/EPU. Ce résultat
va dans le sens des modalités d’évaluation souhaitée par les étudiants puisque 41 % d’entre-eux
voudraient introduire une note de stage à hauteur de 40 % de la note finale pour la validation de
leur spécialité. Le Carnet de stage, proposé pour l’évaluation de l’activité de l’étudiant, est une
forme adaptée du portfolio [3], et pourrait servir de support à cette note de stage. Ce point
soulevé par notre enquête stigmatise l’importance attribuée par les étudiants à l’évaluation
formative par rapport à la sanction d’un examen final de spécialité. En revanche, une formation
complémentaire théorique apparaît comme nécessaire pour 86 % des étudiants, essentiellement
dans trois domaines, l’échocardiographie, les maladies infectieuses et la conduite d’une
antibiothérapie, la prise en charge de la douleur (figure 5). Ces trois items reviennent très
souvent car ils apparaissent comme des compléments indispensables pour asseoir une meilleure
pratique clinique. L’ouverture à des formations plus théoriques et plus fondamentales comme
des DEA est un élément complémentaire de formation qui revient comme une nécessité chez 40
% des étudiants sondés. Les motivations exprimées sont diverses allant de la simple curiosité
intellectuelle avec une envie de réelle expérience au sein d’une équipe de laboratoire de
recherche à la cruelle chasse d’un poste de chef de clinique. Enfin, dans l’appréciation du
contrôle des connaissances, plus de 50 % des étudiants soulignent le caractère "motivant" du
contrôle confirmant que l’évaluation, en elle-même, est un moteur pour l’enseignement et
représente un pouvoir inducteur pour l’apprentissage au sein d’une formation professionnelle
[8]. De même, les étudiants adhèrent à la nécessité de l’évaluation puisque dans 70 % des cas,
ils soulignent l’aspect certes contraignant du contrôle des connaissances mais aussi son
caractère indispensable (figure 8).
Points négatifs et discordances relevées
Seulement 12 % des étudiants souhaitent que l’évaluation finale prenne en compte la
production de publications scientifiques. Ce chiffre, qui peut paraître assez décevant, est en
accord avec les 14 % d’AR qui ont déclaré en 1999 avoir une activité de recherche [6]. Si l’on
18
souhaite voir cette proportion augmenter à l’avenir, il paraît indispensable d’encourager les
activités de recherche au cours de l’internat, d’une part en tenant compte de cette production
dans l’évaluation finale, dans la mesure où les étudiants s’adaptent stratégiquement à ce que
l’on attend d’eux lors de la validation finale [8]; et d’autre part en dégageant le temps
nécessaire pour ce travail de recherche, ce qui semble actuellement un facteur limitant (tableau
4). La volonté des étudiants de participer activement aux différentes formes d’enseignement
n’est pas aussi importante que l’on pourrait le croire dans la mesure où le temps consacré aux
présentations orales et analyses d’articles est très inférieur à celui des cours magistraux (figure
3). Alors que l’enseignement répond aux attentes de 70 % de l’ensemble des étudiants, et qu’il
prépare bien au futur mode d’exercice pour 73 % d’entre eux, presque la moitié des étudiants
en fin de cursus ont le sentiment qu’il persiste des lacunes dans leur formation, aussi bien
théorique (47 %), que pratique (46 %). Ce résultat est d’ailleurs à mettre en parallèle avec le
besoin de formation complémentaire exprimée par 94 % des étudiants, et l’augmentation de la
durée de l’internat avec le passage du DES-AR de 4 à 5 ans. La périodicité du contrôle des
connaissances lors des 3è, 5è et 7è semestre, telle qu’elle existe actuellement, ne remporte pas
beaucoup de succès et une évaluation plus rapprochée après chaque séminaire ou en fin d’année
semble être préférée (figure 10).
On peut également d’emblée cibler quelques discordances entre le souhait et la réalité
quotidienne, comme le faible temps consacré (< 15 % du temps total) à l’enseignement
théorique (hôpital, module, congrès /EPU) et l’importance attribuée à chacun de ces items (> 4
sur une échelle de1 à 7) (figure 4). De même la majorité des étudiants (91 %) souhaitent avoir
un pré-requis avant les séminaires d’enseignement, mais la plupart d’entre eux avouent ne pas
respecter de cette mesure, essentiellement par manque de temps (89 %).
Enfin, moins de la moitié des étudiants (47%) est favorable à une re-certification. La nécessité
d’une formation continue doit être, à la lumière de ce résultat, développée au cours de la
19
formation initiale de l’étudiant, car il semble difficile de rattraper cette notion si celle-ci n’a pas
été inculquée au cours de la formation initiale.
Critique de l’étude
Le travail que nous avons réalisé présente cependant quelques limites. Malgré l’existence d’un
courrier explicatif, d’une relance écrite et de la mise en ligne du questionnaire sur le site
internet des étudiants (site de l’AJAR), le taux de réponse à notre enquête n’a été que de 42 %,
ce qui peut sembler relativement faible pour ce type d’enquête. Néanmoins, ce chiffre est
compris dans une fourchette correspond aux taux de réponse de deux études, réalisées
récemment sur des thèmes comparables, et qui étaient respectivement de 10 % [7] et 60 % [6].
Les raisons de ce relativement faible taux de réponse peuvent être un manque de temps pour
renseigner les questionnaires, manque de temps qui est d’ailleurs globalement souligné par 89
% des étudiants (tableau 4), ou un manque d’intérêt pour l’évaluation formative de
l’enseignement, comme cela a déjà pu être évoqué par d’autres [7].
Perspectives et conclusion
Plusieurs conclusions peuvent être tirées de cette étude. D’abord, le taux de satisfaction concernant
cet enseignement est bon (70% environ) puisqu’il est en adéquation (conformité, qualité,
pertinence) avec l’attente "personnelle" et "professionnelle" pour la plupart des étudiants.
Néanmoins, un enseignement complémentaire semble indispensable aussi bien sur le plan théorique
que pratique. Le passage à 5 ans du DES-AR peut probablement répondre en partie à cette
demande. L’importance du temps consacré à la formation clinique et son importance attribuée dans
la formation souligne le caractère pérenne et nécessaire du compagnonnage dans la formation
professionnelle des étudiants du DES-AR. Les connaissances devant être acquises au cours de
l’internat sont des connaissances cognitives, psychoaffectives et psychomotrices [9, 10]. Si les
connaissances déclaratives ou cognitives sont relativement faciles à appréhender, les autres le sont
beaucoup moins. Pourtant elles concourent à obtenir la compétence qui reste la finalité de
20
l’enseignement du DES. La maîtrise de techniques d’anesthésie particulières, comme l’anesthésie
loco-régionale ou les techniques en cas de difficultés d’intubation trachéale non prévues, est
essentielle pour être un praticien compétent. L’apprentissage de ces techniques est directement en
rapport avec l’expérience accumulée [11], en répétant ces gestes pendant les périodes
d’apprentissage [12, 13], et ne peut être évalué que lors d’évaluations dites "authentiques" (en
situation clinique). Ceci représente un plaidoyer en faveur d’un Carnet de stage, mentionnant le
nombre de gestes réalisés par l’interne pendant son cursus et l’intégration de cette évaluation dans
l’évaluation finale, comme 41 % des étudiants le suggèrent dans notre enquête. La majorité des
étudiants pensent que le contrôle des connaissances est indispensable, la même proportion
d’étudiants considérant aussi ce contrôle contraignant. De plus, il ressort que les étudiants préfèrent
un contrôle des connaissances reposant sur une évaluation à la fois écrite et orale avec
l’introduction d’une note de stage comptant pour la note finale à hauteur de 40 %. Les examens
écrits sont utilisés pour le contrôle des connaissances déclaratives. Les examens écrits restent donc
utilisés comme contrôle après chaque module d’enseignement, et cette pratique n’est pas spécifique
à notre spécialité. Les examens oraux [14-16] se rapprochent des ECOS décrits récemment [2].
L’étudiant mis dans une situation standardisée montre ses stratégies décisionnelles face à
l’évènement. Ce type d’évaluation est également utilisé dans certaines spécialités tant médicales
[17, 18], que chirurgicales [19, 20]. Enfin, la nécessité d’une formation médicale continue doit être
abordée au cours de la formation initiale, car cette "culture" doit être inculquée tôt pour obtenir un
taux d’adhésion plus important que celui retrouvé dans notre enquête (47%). Cet aspect est
particulièrement important dans l’éventualité d’une re-certification, qui aujourd’hui n’est pas encore
complètement acceptée par tous, bien que correspondant actuellement à une exigence
professionnelle et sociale.
21
Bibliographie
1. Legendre R: Dictionnaire actuel de l'éducation. Montréal-Paris, Guérin-Eska, 1993
2. Harden RM, Gleeson FA. Assesssment of clinical competence using an Objective Structured
Clinical Examination. Med Educ 1979; 13 h: 39-54
3.Challis M. Portfolio-based learning and assessment in medical education. Med Teach 1999;
21: 370-86
4. Beasley BW, Wright SM, Cofrancesco J, Babbott SF, Thomas PA, Bass EB. Promotion
criteria for clinician-educators in the United States and Canada. JAMA 1997; 278 : 723-28
5. Gautier JF, N’Guyen JL, Vachon L, Granry JC, Beydon L. French residents in anaesthesia –
A nationwide survey. Soumis au Canadian J Anaesth.
6. Pontone S, Brouard N, Scherpereel P, Boulard G, Arduin P, et le Groupe de projet CFAR-
SFAR-Ined. Les médecins anesthésistes-réanimateurs en France en 1999- Premiers résultats de
l’enquête démographique nationale Cfar-Sfar-Ined. Ann Fr Anesth Reanim 2002; 21: 1-28
7. Malinovsky JM, Gardénal O, Barrier J. Evaluation du DES d’Anesthésie Réanimation. Ann
Fr Anesth Réanim 2003, 22 , Suppl 2 : R136
8. Wass V, Vand der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet
2001; 357: 945-48
9. Reich DL, Uysal S, Bodian CA, Gabriele S, Hibbard M, Gordon W, Sliwinki M, Kayne RD. The
relationship of cognitive, personality, and academic measures to anesthesiology resident clinical
performance. Anesth Analg 1999; 88: 1092-100
10. Slogoff S, Hughes FP, Hug CC, Jr., Longnecker DE, Saidman LJ. A demonstration of
validity for certification by the American Board of Anesthesiology. Acad Med 1994; 69: 740-6
11. Byrne AJ, Jones JG. Responses to simulated anaesthetic emergencies by anaesthetists with
different durations of clinical experience. Br J Anaesth 1997; 78: 553-6
22
12. Kopacz DJ, Neal JM, Pollock JE. The regional anesthesia "learning curve". What is the
minimum number of epidural and spinal blocks to reach consistency? Reg Anesth 1996; 21:
182-90
13. de Oliveira Filho GR. The construction of learning curves for basic skills in anesthetic
procedures: an application for the cumulative sum method. Anesth Analg 2002; 95: 411-6
14. Pope WD. Anaesthesia oral examination. Can J Anaesth 1993; 40: 907-10
15. Eagle CJ, Martineau R, Hamilton K. The oral examination in anaesthetic resident
evaluation. Can J Anaesth 1993; 40: 947-53
16. Schubert A, Tetzlaff JE, Tan M, Ryckman JV, Mascha E. Consistency, inter-rater
reliability, and validity of 441 consecutive mock oral examinations in anesthesiology:
implications for use as a tool for assessment of residents. Anesthesiology 1999; 91: 288-98
17. Hilliard RI, Tallett SE. The use of an objective structured clinical examination with
postgraduate residents in pediatrics. Arch Pediatr Adolesc Med 1998; 152: 74-8.
18. Joorabchi B, Devries JM. Evaluation of clinical competence: the gap between expectation
and performance. Pediatrics 1996; 97: 179-84
19. Goff BA, Lentz GM, Lee D, Houmard B, Mandel LS. Development of an objective
structured assessment of technical skills for obstetric and gynecology residents. Obstet Gynecol
2000; 96: 146-50.
20. Schwartz RW, Witzke DB, Donnelly MB, Stratton T, Blue AV, Sloan DA. Assessing
residents' clinical performance: cumulative results of a four-year study with the Objective
Structured Clinical Examination. Surgery 1998; 124: 307-12
23
ANNEXE
Questionnaire des enseignés
Pour mieux vous connaître : Age : ………….……. Sexe : …………………. Année de nomination :…..…………..
Semestre en cours :………………..
Comment vous vous êtes destiné(e) à la spécialisation en anesthésie-réanimation (AR) ? :
- par l’externat : � oui � non
- par le biais d’une information issue de la faculté ou de la spécialité (société savante,
congrès, autre) : � oui � non, si oui précisez
comment :………………………………………………...
- en s’informant auprès d’anesthésiste-réanimateurs (interne, CCA, PH…) : � oui � non
- après avoir "essayé" une autre spécialité : � oui � non, si oui
laquelle :…………………
- par "hasard" : � oui � non
autrement : …………………………………………………………………………………
A quel type d’exercice professionel vous destinez vous à la fin de votre formation ?
Libéral � Hospitalier � Hospital-universitaire � Sans opinion �
24
Evaluation de l’enseignement actuel
1) L’enseignement actuel répond-il à vos attentes ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
2) Quelle est actuellement la conformité (concordance) de chacune des activités
d’enseignement suivantes par rapport à vos attentes pour votre formation professionnelle ?
Enseignement Conformité*
Clinique à l’hôpital
Théorique à l’hôpital (cours,
bibliographie)
Théorique en module
Théorique en congrès ou EPU
(* échelle de 1 à 7 : 1 conformité nulle et 7 parfaite)
Commentaires : ……………………………………………………………………
3) Quelle est actuellement la répartition (%) de votre temps (somme = 100%) consacré à
chacune des activités d’enseignement suivantes et l’importance que vous lui attribuez pour
votre formation professionnelle ?
Enseignement % Temps
passé
Importance
attribuée *
Clinique à l’hôpital
Théorique à l’hôpital (cours, bibliographie)
Théorique en module
Théorique en congrès ou EPU
(* échelle de 1 à 7 : 1 le moins important et 7 le plus important)
Commentaires : ……………………………………………………………………
25
4) Dans le cadre de l’enseignement théorique, quel pourcentage de temps souhaiteriez-vous voir
attribué à chacun des types d’enseignements suivants ?
Enseignement % de temps consacré
Cours magistraux
Discussion de cas cliniques
Présentation orale sans notation
Analyse d’articles scientifiques
5) Le découpage de l’enseignement théorique en séminaire vous semble t’il adapté ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
6) Avant chaque séminaire d’enseignement théorique, vous paraît-il nécessaire d’avoir un pré-
requis (connaissances sur le sujet, acquises par l’étudiant, avant le séminaire) ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
Si oui, respectez vous ce pré-requis en pratique
oui � non �
Si non, pourquoi ? ………………………………………………………………………
7) Connaissez vous le programme "officiel" de l’enseignement du DES d’anesthésie-
réanimation ? oui � non �
8) Quelle est actuellement la qualité (valeur formatrice) de chacune des activités
d’enseignement suivantes par rapport à vos attentes pour votre formation professionnelle ?
Activités Qualité*
Clinique à l’hôpital
Théorique à l’hôpital (cours, bibliographie)
Théorique en module
Théorique en congrès ou EPU
(* échelle de 1 à 7 : 1 qualité nulle et 7 parfaite)
26
Commentaires : ……………………………………………………………………
9) Quelle est actuellement la pertinence de chacune des activités d’enseignement suivantes,
c’est à dire l’adéquation entre cette formation théorique et votre pratique
professionnelle quotidienne ?
Activités Pertinence
Clinique à l’hôpital
Théorique à l’hôpital (cours, bibliographie)
Théorique en module
Théorique en congrès ou EPU
(* échelle de 1 à 7 : 1 pertinence nulle et 7 parfaite)
Commentaires : ……………………………………………………………………
10) Envisagez vous de suivre une formation complémentaire en plus du DES ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
Si oui, pourquoi ? ………………………………………………………………………
Si oui, lequel
DU ou DIU �précisez lequel : …………………………………………………………
DEA ou DESS � précisez lequel : …………………………………………………………
Autres � précisez lequel : …………………………………………………………
11) Ressentez vous le besoin d’une formation théorique ou pratique dans d’autres domaines
que l’anesthésie-réanimation ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
Si oui, lequel
Médecine � précisez quelle spécialité : ………………………………………………
Chirurgie � précisez quelle spécialité : ………………………………………………
27
Economie/Gestion � précisez : …………………………………………………………
Juridique/Ethique � précisez : …………………………………………………………
Relation humaine � précisez : …………………………………………………………
Anglais médical � précisez : …………………………………………………………
12) Pensez vous que l’enseignement que vous recevez vous prépare bien à votre futur mode
d’exercice ?
oui � non �
Si non, pourquoi ? ………………………………………………………………………
13) (Question réservée aux DES en fin de cursus : 3e et 4 e année) A la fin de votre cursus,
pensez vous qu’il persiste des lacunes dans votre formation ?
Théorique
oui � non �
Si oui, dans quel domaine ……………………………………………………………………
Pratique
oui � non �
Si oui, dans quel domaine ……………………………………………………………………
14) Quelles suggestions formuleriez-vous pour améliorer votre formation professionnelle ?
……………………………………………………………………
……………………………………………………………………
……………………………………………………………………
……………………………………………………………………
……………………………………………………………………
28
Modalités de votre évaluation
1) L’examen de contrôle des connaissances est-il (plusieurs réponses possibles) ?
motivant �
rassurant �
contraignant �
indispensable �
inutile �
2) Avant la soutenance du mémoire et l’examen oral de fin de DES, l’évaluation du contrôle
des connaissances doit-il reposer sur ?
un examen oral uniquement �
un examen écrit uniquement �
un examen écrit et oral �
un carnet de stage �
aucune évaluation �
autres formes �
précisez : ………………………………………………
3) Cette évaluation intermédiaire des connaissances acquises doit-elle se dérouler ?
après chaque séminaire �
à la fin de chaque d’année �
à une autre périodicité �
précisez : …………………………………………
29
4) Faudrait-il introduire une "véritable" note de stage comptant pour la note finale ?
oui � non �
Si oui, à hauteur de quel % de la note finale : ……….….%
5) Faudrait-il introduire dans votre évaluation finale une note basée sur la production de
publication(s) dans des revues à comité de lecture et/ou sur la présentation de travaux au cours
de congrès scientifiques (ex : congrès SFAR) lors de votre internat ?
oui � non �
Si oui, pourquoi :……………………………………………………………….
6) Faut-il tendre vers une évaluation formative (ex : avoir conduit X anesthésie générale, X
ALR ….) plus que vers un examen final pour être diplômé(e) ?
oui � non �
Si oui, pourquoi : ……………………………………………………………..
7) Pensez vous que votre diplôme doive être recertifié périodiquement au cours de votre
carrière ?
oui � non �
si oui pourquoi : ……………………………………………………………..
si oui, à quelle périodicité : …………………………………………………
8) Quelles suggestions formuleriez-vous pour améliorer l’évaluation des connaissances ?
……………………………………………………………………
……………………………………………………………………
……………………………………………………………………
……………………………………………………………………