dr pierre wolf evaluation du choix de lexpert (et du cahier des charges de son intervention) dr...

Dr Pierre Wolf

Evaluation du choix de l’expert

(et du cahier des charges de son intervention)

Dr Pierre WolfAEU d’expertise en FMC et en pédagogie

médicalejanvier 2007

2 27/01/2007 Dr Pierre Wolf

Questionnaire Unaformec RA d’auto évaluation

10. Évaluer la formation 0,0

10.1. Une évaluation de la satisfaction des participants (formateurs, utilisateurs, expert) est faite à chaque formation -[Jamais, Rarement, Souvent, Toujours]-

0

10.2. Les résultats des recueils d’opinion et de satisfaction (questionnaires de satisfaction, compilation des opinions, autres informations recueillies) sont analysés pour chaque formation -[Jamais, Rarement, Souvent, Toujours]- 0

10.3. L'Association tient compte de ces évaluations et analyses pour améliorer la réalisation de ses formations -[Jamais, Rarement, Souvent, Toujours]-

0

10.4. Le résultat des évaluations de chaque formation est communiqué aux participants -[Jamais, Rarement, Souvent, Toujours]-

0

10.5. Pour chaque formation toutes les évaluations prévues dans le dossier de conception sont réalisées -[Jamais, Rarement, Souvent, Toujours]-

0

10.6.Vous mettez en œuvre une procédure d'évaluation de l'amélioration de la pratique, après un délai à l'issue de la formation (cf. question 7.7) -[Jamais, Rarement, Souvent, Toujours]-

0


Questionnaire Unaformec RA d’auto évaluation

13. Gérer les anomalies 0,0

13.1. Tout défaut de fonctionnement constaté ou modification de fonctionnement souhaitée par un partenaire ou acteur de l’Association, est enregistré dans une fiche d'anomalie gérée par un responsable de l'Association -[Jamais, Rarement, Souvent, Toujours]- 0

13.2. Ces fiches d'anomalies sont utilisées par les membres de l'Association et le Bureau pour apporter les corrections ou améliorations nécessaires - [Jamais, Rarement, Souvent, Toujours]- 0

14. Mesurer et améliorer les performances de l'Association 0,0

14.1. La Bureau de l’Association évalue les performances globale de l’Association par revue de direction ou Questionnaire d'auto évaluation -[Jamais, Rarement, Souvent, Toujours]- 0

14.2. L’Association évalue systématiquement les performances de chacun de ses processus à l’aide d’audits et d'indicateurs définis dans les procédures. -[Mal; un Peu; Bien; Très bien]- 0

14.3. Les fiches d'anomalie sont enregistrées et suivies par un Responsable de l'Association jusqu'à ce qu'une solution ou une réponse y soit donnée. -[Mal; un Peu; Bien; Très bien]- 0

14.4. La Bureau de l’Association utilise les résultats des évaluations des formations réalisées et des processus ainsi que les fiches d'anomalie pour déterminer, au cours de revues de direction, les améliorations à apporter aux processus de l’Association. -[Jamais, Rarement, Souvent, Toujours]- 0


Introduction

1.évaluation du choix de l’expert

2.évaluation du cahier des charges de son intervention


Introduction

• L’évaluation est « une démarche consistant fondamentalement à porter un jugement de valeur sur une intervention (une pratique, une organisation, un programme, une politique) dans le but d’aider à la décision » Constandriopoulos, 1991).


Introduction

• Aussi, toute démarche évaluative associe :– une phase d’observation et de mesure– à une phase de jugement

• ce qui implique de définir :– des critères– des instruments de mesure

(indicateurs)– et des points de comparaison

(référentiel, norme).


Principes• principe 1 : définir des questions évaluatives

communes aux différents acteurs• principe 2 : élaborer un dispositif d’évaluation

– commanditaire– évaluateur(s)

• principe 3 : préciser les destinataires de l’évaluation– pour quoi et pour qui ?

• principe 4 : préciser les finalités : 3 dimensions– dimension cognitive– dimension normative– dimension instrumentale


1ère ligne de partage• dimension cognitive

– produire de l’information– permettre une meilleure connaissance

• dimension normative– notion de jugement de valeur– analyser et interpréter les résultats à l’aune de

référentiels

• dimension instrumentale– objectif d’aide à la décision– ses conclusions doivent avoir des conséquences

opérationnelles, en terme d’inflexion du résultat


2ème ligne de partageautre ligne de partage plus

pertinente

• évaluation formative– partie intégrante du processus– processus continu (roue de Deming)– outil permanent de pilotage du projet– démarche qualité

• évaluation normative– sanctionnante, certificative– permet de faire le point, de façon périodique, sur

l’atteinte des objectifs– assurance qualité


Principes• principe 5 : trouver le bon moment de

l’évaluation– avant

• pertinence, qualité, intérêt

– pendant• évaluation formative

– après• évaluation de résultat

• principe 6 : définir une grille d’analyse– que va-t-on évaluer ?– avec quels outils ?


Evaluation des enseignants

• Une histoire ancienne…

• Les étudiants de l’ Université Harvard auraient été les premiers en 1924 à évaluer les professeurs et en à publier les résultats.

• L’opération s’est rapidement répandue dans la plupart des autres universités nord-américaines.

NORMAND S., BERNARD H. Les professeurs cliniciens se prononcent sur l’évaluation de l’enseignement. Pédagogie médicale, novembre 2002


Evaluation des enseignants

• Au Canada et au Québec, on voit les premières traces de cette opération dans les années soixante.

• De nos jours, pratiquement toutes les universités nord-américaines procèdent à l’évaluation de l’enseignement, et les résultats sont très souvent accessibles sur Internet.

• Par contre, l’évaluation de l’enseignement reste une démarche peu répandue dans de nombreux pays francophones.

Koumaré AK, Barrier JH., Normand S. Enquête sur la politique institutionnelle de l’évaluation de l’enseignement dans les facultés de médecine francophones. XV° Journées Universitaires Francophones de Pédagogie Médicale, Nancy 22-25 avril 2003 [on line] Disponible sur : www.cidmef.u-bordeaux2.fr


Questions critiques• Qui doit décider d’évaluer l’enseignement ?

– le maître d’ouvrage (financeur, décideur) ?– le maître d’œuvre (responsable de la

réalisation) ?

• Evaluation des experts :oui, mais par quoi commencer :– évaluation des programmes,– évaluation des modules d’enseignement,– évaluation des enseignants ?

• Quelle périodicité ?

BarrierJH, Balde N, Brazeau-Lamontagne L, Normand S, EssoussiAS, Fiche M, Koumare K, Nawar J, Pottier P, Quinton A, Toure M, L’évaluation de l'enseignement : pour quelles décisions ? Pédagogie Médicale, novembre 2006


Questions critiques• Comment évaluer l’éthique de l’évaluation de

l’enseignement, des enseignants ?– respect de l’anonymat– utilisation et confidentialité des résultats– entreprise éthique pour l’association de FMC

• Quel est l’impact de la diffusion de l’évaluation ?

• Quelle diffusion de l’évaluation des enseignants :– aux étudiants– faite par les étudiants



Questions critiques• Peut-on proposer des actions correctives

aux experts mal évalués ?• Quelles pourraient être les actions

positives à mettre en œuvre pour les experts bien évalués ?

• Comment prendre en compte les spécificités régionales de l’évaluation ?

• Evaluation de pratiques : que souhaitent les médecins ?

• Est-ce que nous évaluons trop ?



Que ou qui faut-il évaluer ?

• un acte– l’enseignement– la formation– la pratique

• une personne– l’enseignant– l’expert– le formateur– le participant


Que faut-il évaluer ?L’évaluation des enseignements et évaluation des

formations sont le plus souvent prises l'une pour l'autre mais sont aussi peu dissociables.

• L'évaluation des enseignements– plutôt individuelle– risque davantage de remettre en cause l'enseignant lui-

même dans sa pratique• L'évaluation des formations

– concerne une filière ou un diplôme– bien plus répandue dans les universités que l'évaluation de

l'enseignement– elle est plus collective, et de ce fait mieux acceptée– elle heurte moins de front les enseignants et est considérée

par certaines équipes comme un moyen de sensibiliser les collègues à l'utilité de l'évaluation.

• De plus, les questionnaires utilisés pour recueillir l'avis des participants se rapprochent plus d’un recueil du « niveau de satisfaction »


Qui faut-il évaluer ?Même si l'on prend la précaution de dire que l'évaluation de l'enseignement n'est pas l'évaluation des enseignants, peut-être faut-il en fait s'interroger sur le bien-fondé de cette distinction et se demander si en fin de compte, l'évaluation des enseignements ne conduit pas quand même à une évaluation indirecte des enseignants qui assurent l'enseignement.


Que ou qui faut-il évaluer ?

Dans le rapport EVALUE publié en 1998, les auteurs de la partie consacrée à l'évaluation de l'enseignement écrivaient ceci :« évaluer l'enseignement, c'est évaluer deux domaines :

– la pratique de l’enseignement (teaching).

– la capacité des étudiants à apprendre et la façon dont l’enseignement est reçu (learning). »


Que peut-on évaluer ?La cohérence des enseignements, en particulier :

• la cohérence des filières par rapport à leurs objectifs– formulation des objectifs de la filière,– explication et adoption de ces objectifs par les

enseignants,– affichage de ces objectifs auprès des étudiants,– respect de ces objectifs

• la cohérence interne de chaque filière– dans le temps,– dans les différents types d'enseignement,– cohérence de la formation et de la documentation,– animation d'équipes pédagogiques,– réunion de jurys d'examen,– aptitude d'un enseignant à se coordonner avec ses

collègues


Que peut-on évaluer ?Les qualités pédagogiques, comprenant– un noyau dur :

• ponctualité, respect des horaires,• disponibilité…

– et au-delà :• la qualité des exposés,• la maîtrise de la matière enseignée,• le degré de préparation de l’exposé,• la clarté et l'intérêt des exposés,• en cas d’actions pérennes, l'effort de

renouvellement des exposés pour les adapter aux progrès de la recherche et aux évolutions technologiques,

• l'ouverture de l'enseignant aux disciplines voisines• le plaisir à le faire

– l'intérêt porté aux participants– la qualité de l'aide méthodologique apportée.


Comment évaluer ?• résultats aux examens

– idéalement, une véritable évaluation d'un enseignement devrait permettre d'en apprécier les effets,

– c'est-à-dire• non seulement ce que les étudiants ont

effectivement appris,• mais aussi ce qu'ils ont compris et acquis comme

compétences ou capacités.

• questionnaires– papier– informatique


IntérêtsParmi d'autres, elle est un des éléments utiles :– d'une nécessaire politique

d'amélioration de la qualité de notre enseignement supérieur et continu

– et de l'indispensable valorisation des fonctions d'enseignement.

Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut conseil de l’évaluation de l’école. Février 2002


Intérêts• De nombreux travaux, provenant le plus

souvent de pays d'Amérique du Nord où les pratiques d'évaluation des enseignements sont bien plus développées que dans notre pays, ont essayé de répondre à cette question.

• Deux ouvrages en langue française d'universitaires québécoises en rendent compte (Bernard, 1992 ; Poissant, 1996).

• Mais tous ces travaux sont centrés :– surtout sur les actions réalisées par l'enseignant dans

son enseignement,– peu sur les effets de l'enseignement ou sur la

participation des étudiants au cycle enseignement-apprentissage.

Dejean J. Evaluation de l’enseignement. Rapport établi à la demande du Haut conseil de l’évaluation de l’école. Février 2002


Frein 1 : l’Université• L'Université est un lieu où l'on apprend

en principe à raisonner, mais c'est en fait un lieu où règne en maître la pensée magique pour ce qui est de la formation des enseignants : on pense qu'en les formant (longuement) à la recherche, on en fait des enseignants…

• Pourquoi s'étonner de l'ignorance de nombreux enseignants en matière d'évaluation quand on sait qu'ils ne bénéficient d'aucune formation à la pédagogie ?


Frein 2• Toutes les expériences et tous les

travaux existant à l'étranger en matière d'évaluation de l'enseignement soulignent l'absolue nécessité de proposer des moyens de formation aux enseignants quand on met en place un dispositif d'évaluation des enseignements.

• Ces moyens ont été mis en place dans des pays comme la Belgique, le Québec ou la Suisse.

• La France possède un retard considérable sur ce plan.


Autres freins• la passation des questionnaires

– leur conception– quand– comment

• le dépouillement des questionnaires– quand– comment– coût

• l’analyse des résultats• la validité des résultats


Conclusion 1

A l’instar des universitaires qui ne savent pas, le plus souvent, ce qu'est l'évaluation, il n'est pas très étonnant de constater que les acteurs de FMC manquent souvent de compétences pour concevoir des démarches et des outils en la matière.


Conclusion 2• L’évaluation de l’enseignement doit

être systématiquement intégrée à tout processus de formation

• Quatre domaines doivent être systématiquement pris en compte :– les objectifs de l’enseignement– les moyens et les méthodes

d’enseignement– le système d’évaluation lui-même– la gouvernance institutionnelle


Exemple – DAQUAR 07/04/2006 Noter entre 0 et 10 Répondre par Que vous a apporté cette intervention ?

« 10 correspond à excellent oui ou non (cochez la ou les réponses choisies)

QUALITE DE LA PRESENTATION

PERTINENCE DU SUJET

LA COMMUNICATION A-T-ELLE REPONDU A

VOS ATTENTES ?

DE NOUVELLES CONNAISSA

NCES

UNE REACTUALISATION DES CONNAISSA

NCES

DES ELEMENTS

DE REFLEXION

La transfusion sanguine au CHU de Lyon

C. NEGRIER

La transfusion sanguine en France et en Europe

Ph ROUGER

Exposé des problématiques

JM. CHABOT

Point de vue d’un Président de Collège de spécialitéB. DUREUIL

Modalités de l’EPP

C. COLIN

EPP et V2 de la certification des établissements de santé

L. BERNARD

L’EPP au sein d’un CHU

V. PIRIOU

Point de vue du Conseil de l’Ordre des MédecinsJ. DERRIEN

Point de vue d’un anesthésiste-réanimateur de CHU

B. BALLY

Point de vue d’un anesthésiste-réanimateur du secteur privé

JP. LANCON

Exemple d’une action d’EPP réussie : audit clinique ciblé sur l’antibioprophylaxie

A. LEPAPE

Réunions de morbidité/mortalité

JJ. LEHOT

Représentation des patients dans le système de santé

L. DALIGAND

Point de vue du Président d’une association de défense des patients

L. VINCENT

Point de vue d’un chirurgien

J. BACHET

Point de vue d’un anesthésiste-réanimateur - F. CLERGUE

dr pierre wolf evaluation du choix de lexpert (et du cahier des charges de son intervention) dr...

Documents