Édition: serge.normand@umontreal.ca faculté de médecine bureau dévaluation docimologie –...

Édition: serge.normand@umontreal.ca

Faculté de médecineBureau d’évaluationDocimologie – Dossier compétences

Accueil DéfinitionCourants StratégieConcept ContexteActuel Futur ExCanMÉvaluation NiveauxOutils PortfolioFin Portfolio Cas

ConvergenceHarden Miller CBACanMEDS CMFC CMQGMC (UK)ACGME-ABMS LCMEBrown IIMEGTEA Système

Acteurs

Faculté de médecine

Actualiser notre pédagogie médicaledans un nouveau contexte

Serge Normand, M.A.Bureau d’évaluation

Approche par compétences

Prédoctorale

ProgrammeMD

Postdoctorale

Programmesde résidence

Continue

ProgrammesFMC

Formation, certification, maintien

COMPÉTENCES

Formation médicale

axée surl’acquisition de compétences

« Que le Collège des médecins, de concert avec les universités et les milieux d’enseignement, convienne d’un plan directeur de façon que la formation médicale, dans tout son continuum (formation prédoctorale, postdoctorale et éducation médicale continue), permette aux médecins d’aujourd’hui et de demain d’acquérir les compétences nécessaires pour relever les défis de la médecine et des problèmes de santé des années 2000. »

Nouveaux défis professionnelspour le médecin des années 2000

http://www.cmq.org

Quelle sorte de docteurle programmeva-t-il produire ?

Des courants majeursissus des milieux anglo-

saxons

Outcome-Based Education

Competency-Based Assessment

Approche parcompétences

Outcome-Based Education

It is an approach to education in which decisions about the curriculum are driven by outcomes the students should display by the end of the course ( Harden 1999 )

A way of designing, developing, delivering and documenting instruction in terms of its intended goals and outcomes ( Spady 1988 )

You develop the curriculum from the outcomes you want students to demonstrate, rather than writing objectives for the curriculum you already have ( Spady 1988 )

Démonstration

Compétences

Intégration

ConnaissancesHabiletésAttitudes

Apprentissages

Évaluation

Référence : National Postsecondary Education Cooperative Competency-Based Initiatives Working GroupU.S. Department of Education - 2001

Competency-Based Assessment

Formation médicaleaxée sur l’acquisition de compétences

Stratégie pédagogique

ApprentissageApprentissage

ÉvaluationÉvaluation

Compétences

Objectifs

Définir l’apprentissage

Nos pratiques actuelles…

Compétences

Connaissances

Habiletés

Attitudes

Objectifs

Nos pratiques futures…

Objetsd’apprentissage

Compétences

Définir l’apprentissage

AnamnèseExamen

Communication

Contexte

Intégrationconnaissances

Éthique

IMC-IDC

InterrogatoireExamen physiqueGestes techniquesPrise en chargeInvestigationTraitement

Communiquer

Travailler en équipe

Intégrationconnaissances

Jugement critiqueMaintien compétence

ÉducateurPromotion santé

Notions éthiquesProfessionnalisme

Externat - MD

Cliniciencompétentet efficace

Relationmédecin-patient

Communautaire

Ressource pourpopulationdéfiniede patients

CMFC - 2000

Expertisemédicale

Communication

Collaboration

Érudition

Gestion

Promotionde la santé

Professionnalisme

CanMEDS-2000

Clinicienscientifiqueet efficace

CommunicateurEnseignant

CollaborateurTravailler équipe

ApprenantChercheur

Gestionnaire

Leader pour sacommunauté

Professionnelhumaniste

CMQ - 2000

Convergence des rôles

Pré-doctorale Post-doctorale et Formation professionnelle continue

Études de casApproche parcompétences

Compétences …

Notre contexteApproche parcompétences

… à déployer

Exemple CanMEDS

Compétences

Les médecins ne travaillent pas en vase clos. Ils oeuvrent souvent de concert avec d’autres personnes qui prodiguent des soins à des individus ou des groupes précis de patients. Il est donc essentiel que les médecins puissent collaborer efficacement avec les patients, leur famille et l’équipe multiprofessionnelle pour offrir les meilleurs soins possibles aux patients et optimiser l’éducation et la recherche.

Définition

CollaborationCollaborationCRMCC

Compétences

Le médecin est en mesure de consulter de façon efficace d’autres médecins et professionnels de la santé.

Le médecin est en mesure de contribuer activement aux travaux d’équipes multiprofessionnelles.

Compétences

attendues

CollaborationCollaborationCRMCC

Approche parcompétences Exemple CanMEDS

ExempleCanMEDS

Compétences

attendues

Compétencesintermédiaires

… est en mesure d’agir comme un leader dans une équipe multiprofessionnelle

Fellow

… est en mesure de déléguer efficacement certains actes à d’autres professionnels de la santé

R. senior

… utilise judicieusement l’ensemble des ressources professionnelles pour adapter les soins au patient

R. junior

Niveaurésidence

Compétences

attendues

… est en mesure d’informer efficacement les membres de l’équipe multiprofessionnelle concernant la condition de ses patients.

Externe2ième année

… est en mesure de situer son rôle par rapport à celui des autres professionnels de la santé.

Externe 1ère année

Niveauclinique

ExempleCanMEDS

Compétences

attendues

… anime efficacement son groupe APP… reconnaît les rôles et compétences des autres professionnels de la santé

Et. 2ième

… interagit avec respect avec les membres de son groupe

Et. 1ère

… partage ses connaissances avec ses pairs.

Et. prép.

Niveaupréclinique

ExempleCanMEDS

ApprentissageApprentissage

ÉvaluationÉvaluation

Compétences

Stratégie pédagogique

Finalités d’un systèmed’évaluation des apprentissages

Faculté

Certifiercompétences

Mesurerles progrès

Responsable

Évaluationsanctionne

Évaluation

formative

Évaluation

formative

Évaluation

Expert

Intermé-diaire

Novice

Certifierdes niveaux

de compétences

Évaluation

Compétences

Choisirles instruments

appropriés

Instruments d’évaluationCurriculum de Dundee

Démontre

Sait comment

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

QCM-RQROC

QCMQ. dév.

Les priorités ?

CentreApprentissageAttitudesHabiletésCliniques

Cyber-enseignement

E-learning

Approche par compétences

Pour en savoir plus …

Diaporama

Bibliographie

www.medbev.umontreal.ca/docimo

Rubrique: Dossier compétences

serge.normand@umontreal.ca

www.medbev.umontreal.ca

www.medbev.umontreal.ca/docimo

http://www.medbev.umontreal.ca/gtea

Réformer le système d’évaluation des apprentissages :un projet pour nous tous

Rapport du groupe de travailsur

l’évaluation des apprentissages au programme MD

Comité du programme des études de premier cycle13 novembre 2003

Entériné par le Comité du programme, 11 mars 2004

Réforme du système d’évaluationInnovations

• Modèle d’évaluation axé surla certification des compétences

• Tests périodiques de rendementpour mesurer les progrès

• Profil cumulatif pour l’évaluation formative

• Mentors pour accompagner les étudiants

• Formation aux professeurs sur le feedback

CONNAISSANCES CERTIFICATIONdes COMPÉTENCES

Évaluation formative

Évaluation sanctionnelle

HABILETÉS + ATTITUDES

C o m p é t e n c e m é d i c a l e

TRP : Test de rendement périodique ( Progress Test )

Système d’évaluation des apprentissages

au programme MDGTEA

Implantation du systèmed’évaluation des apprentissages

Conseilsde compétences

Comitésd’épreuves

Mentors

CompétencesPlan directeurProgrèsProfil individuel

ÉpreuvesRéalisationsTRPsPortfolio

AccompagnerGuiderÉvaluer

Étudiants

PairsFormatif

Les acteursGTEA

The LCME urges schools to develop a system of evaluation

that fosters self-initiated learning by students and disapproves of the use of frequent tests

which condition students to memorize details

for short-term retention only.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

Evaluation of student performanceshould measure not only retention of factual knowledge,

but also development ofthe skills, behaviors, and attitudes needed in

subsequent medical training and practice, and the ability to use data appropriately

for solving problems commonly encountered in medical practice.

Courses or clerkshipsthat are extremely short in duration

may not have sufficient time to provide structured activities

for formative evaluation, but should provide some alternate means

(such as self-testing or teacher consultation)that will allow students to

measure their progress in learning.

Évaluation

Compétences

Choisirles instruments

appropriés

Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour

Évaluer la compétence professionnelleModes d’évaluation

Démontre

Sait comment

Évaluation• écrite• orale• ordinateur

Évaluation• de la performance• contextuelle

Évaluer la compétence professionnelleTypes d’instruments

Démontre

Sait comment

Épreuves factuelles :QCM, Ex. écrit, oral …

Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …

Performance in vitro :ECOS, Ex. PS. …

Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …

Instruments d’évaluationCurriculum de Dundee

Démontre

Sait comment

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

QCM-RQROC

QCMQ. dév.

Portfolio(évaluation formative et sanctionnelle)

• Inventaire de preuves et de réalisations

cumulées par le candidat durant sa période d’apprentissage.

• Réflexion du candidat sur les éléments rassemblés

pour témoigner des progrès enregistrés.

• Analyse du portfolio par des examinateurs.

• Dialogue entre les examinateurs et l’étudiant

fondé sur les éléments du portfolio.

• Système de notation adapté

aux finalités formatives ou sanctionnelles.

Histoires de cas, Exposés, etc.

Vidéos de pratique clinique, Résultats de tests formatifs, etc.

Un outil intéressant …

• Approche très individualisé de l’évaluation

• Permet d’évaluer les dimensions « compliquées » :

développement personnel, professionnalisme,

auto-apprentissage, auto-évaluation, réflexion, etc.

• Volet longitudinal, accumulation de preuves,

mesure du progrès

• Exploite la richesse de l’interaction

étudiant-professeur

Portfolio

Des défis à relever …

•Culture « nouvelle » de l’évaluation

•Formation des examinateurs

(contexte sanctionnel)

•« Repenser » les critères psychométriques

(validité, fidélité)

Portfolio

Étude de casExpérience de 6 ans

Portfolio

• Portfolio assessment is a major logistical exercise for the medical school but is worth the effort

• The focus on the exit learning outcomes ensures high validity

• The portfolio process has high credibility with the staff

• Students were initially ambivalent about the portfolio process but their attitude towards the portfolio has improved over the years

• Reliability can be improved by examiner training, setting criteria for assessment decisions and the consensus approach to assessment decisions

• Portfolio provide an assessment framework at the level of performanceSource : Davis, Margery, Portfolio assessment at Dundee medical School, Symposium on Portfolio Assessment, AMEE

2004 Conference, Edinburgh

Étude de casExpérience de 6 ans

Portfolio

• Fitness to practice can be assessed using the portfolio process

• The portfolio process identified problems that the medical school did not have the procedures to deal with

• Reflection may be difficult for some individuals but it can, however, be learned

• Staff development and examiner training are crucial for success

• Student induction benefits from P-2-P learning

• The portfolio is not a receptacle for all coursework

• A balance is needed between structure to enable assessment, and selection to enable the student to submit material that reflects his/her ability in the outcomesSource : Davis, Margery, Portfolio assessment at Dundee medical School, Symposium on Portfolio Assessment, AMEE

2004 Conference, Edinburgh

Dundee - Three Circle Model

Performanceof Tasks

Doing the right thing

Doing the thing right

The right person doing it

Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

What the doctor is able to doDoing the right thing

1. Clinical skills2. Practical procedures3. Patient investigation4. Patient management5. Health promotion and disease prevention6. Communication skills7. Information handling and retrieval

Référence : HARDEN, R.M. et al. ,From competency to meta-competency: a model for the specification of learning outcomes, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education, University of Dundee, 1999

Technical intelligences

How the doctor approaches their practiceDoing the thing right

8. Understanding of basic, clinical and social sciences

9. Appropriate attitudes, ethical understanding and legal responsibilities

10. Appropriate decision making , clinical reasoning and judgment

Intellectual intelligences

Emotional intelligences

Analytical and creative intelligences

The doctor as a professionalThe right person doing it

11. Role of the doctor within the health service

12. Aptitude for personal development

Personal intelligences

http://crmcc.medical.org/canmeds/index.php

Compétence

s CanMEDS

Exemple

directeur

CanMEDS 2000

Exemple

directeur

adapté

CanMEDS 2000

1. Le médecin de famille est un cliniciencompétent et efficace.

2. La médecine familiale est « communautaire ».

3. Le médecin de famille est une ressource pour une population définie de patients.

4. La relation médecin-patient constitue l’essencedu rôle du médecin de famille.

http://www.cfpc.ca/French

Nouveaux défis professionnelspour le médecin des années 2000

http://www.cmq.org

Clinicien scientifique et efficaceProfessionnel humanisteApprenantCommunicateurCollaborateur capable de travailler en équipeGestionnaireLeader pour sa communautéChercheur et enseignant

The residency program must require its residents to obtain competencies in the 6 areas below to the level expected of a new practitioner. Toward this end, programs must define the specific knowledge, skills, and attitudes required and provide educational experiences as needed in order for their residents to demonstrate:

• Patient Care that is compassionate, appropriate, and effective for the treatment of health problems and the promotion of health

• Medical Knowledge about established and evolving biomedical, clinical, and cognate (e.g. epidemiological and social-behavioral) sciences and the application of this knowledge to patient care

• Practice-Based Learning and Improvement that involves investigation and evaluation of their own patient care, appraisal and assimilation of scientific evidence, and improvements in patient care

• Interpersonal and Communication Skills that result in effective information exchange and teaming with patients, their families, and other health professionals

• Professionalism, as manifested through a commitment to carrying out professional responsibilities, adherence to ethical principles, and sensitivity to a diverse patient population

• Systems-Based Practice, as manifested by actions that demonstrate an awareness of and responsiveness to the larger context and system of health care and the ability to effectively call on system resources to provide care that is of optimal value

Approved by the ACGME, September 28, 1999

http://www.acgme.org/outcome/

Good clinical care. Doctors must practise good standards of clinical care, practise within the limits of their ability, and make sure that patients are not put at unnecessary risk.

Maintaining good medical practice. Doctors must keep up to date with developments in their field and maintain their skills.

Relationships with patients. Doctors must be able to develop, encourage and maintain successful relationships with their patients.

Working with colleagues. Doctors must work effectively with colleagues in medicine, other health-care professions and allied health-care workers.

Teaching and training. Doctors have teaching responsibilities to colleagues, patients and their relatives. They must develop the skills, attitudes and practices of a competent teacher.

Probity. Doctors must be honest.

Health. Doctors must not allow their own health or condition to put patients and others at risk. Doctors must maintain their health. They must take the appropriate steps to make sure their own health does not put patients, colleagues or the public at any risk.

The New DoctorRecommendations on General Clinical

Training Jan 2005

The Transitional Edition of The New Doctor

http://www.gmc-uk.org/med_ed/default.htm

"...our mission is to collect worldwide information on requirements and standards of undergraduate medical education and to develop the global minimum essential requirements of medical education that are necessary to equip all physicians, regardless of where they are trained, with medical knowledge, skills, professional attitudes and behavior of universal value..."

http://www.iime.org

(1) Professional Values, Attitudes, Behavior and Ethics(2) Scientific Foundation of Medicine(3) Clinical Skills(4) Communication Skills(5) Population Health and Health Systems(6) Management of Information(7) Critical Thinking and Research

Global Minimum Essential Requirements:A Road Towards Competence-Oriented

Medical Education

NineAbilities

Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999

I. Effective Communication

II. Basic Clinical Skills

III. Using Basic Science in the Practice of Medicine

IV. Diagnosis, Management, and Prevention

V. Lifelong Learning

VI. Self-Awareness, Self-Care, and Personal Growth

VII. The Social and Community Contexts of Health Care

VIII. Moral Reasoning and Clinical Ethics

IX. Problem Solving

Basic science matrix

Molecular / Single organ / Whole person / Community

cellular organ system family

Organization &

structure

Maintenance &

homeostasis

Defense against

disease & injury

Mechanisms of

and response to

disease & injury

Therapies &

interventions

Knowledge Base

Clinical medicine matrix - Clinical approaches to health & disease

Preventive / Acute Emergency Chronic Behavioral

developmental family

Fetus / Neonates

Children

Adolescents

Adults

Elders

Knowledge Base

Task-Based Learning

The focus for learning is a set of tasks addressed by a doctor in clinical practice. The learning is built round the tasks and learning results as the student tries to understand not only the tasks themselves but also the concepts and mechanisms underlying the tasks. ( Harden 2000 )

113 clinical tasksas the focusfor learning

1. The task is an important one facing a doctor.

2. The task is likely to be encountered by students during their clinical attachments and usually in more than one attachment.

3. The task can serve as an appropriate focus for learning clinical medicine, for reviewing the basic medical sciences and for the development of the generic competences expected of a doctor.

Task-Based Learning

Clinical attachments

1 General medicine2 Specialized medicine3 Ageing and health dermatology4 Surgery5 Orthopaedics Accident and emergency6 ENT/Ophthalmology7 General practice8 Obstetrics & gynaecology9 Child health10 Psychiatry

PainPain in the leg on walkingAcute abdominal painLoin pain and dysuriaJoint painBack and neck painIndigestionHeadacheCancer painEarache

Nutrition/weightThirsty and losing weightDifficulty swallowingWeight lossSeriously overweight

Source : RM Harden, J Crosby, MH Davis, PW Howie & AD Struthers,Task-based learning: the answer to integration and problem based learning in the clinical years, Medical Education 2000;34:391-397

SCALSystematic Clinical Appraisal and Learning

Source : RW Sanson-Fisher, IE Rolfe & N Williams, Competency based teaching: the need for a new approach to teaching clinical skills in the undergraduate medical education course, Medical Teacher 2005;27:29-36

Students independentlysaw a patient andwere asked to make judgements about the patient’spotential diagnosis, tests required,management,psychosocial needs,preventive health requirements,and any ethical problems.

These judgements werethen compared with those of the clinical supervisor, who saw the same patient independently.

Objets d’évaluation ( actuels )au programme MD

IMC - IDC

11381139* * *21272128

11281129* * *21332134

EXTERNAT

33013302* * *44104411

ÉVALATION

Unités cours et stages

Objets d’évaluation ( proposés )au programme MD

IMC - IDC

11381139* * *21272128

11281129* * *21332134

EXTERNAT

33013302* * *44104411

É V A L U A T I O N

COMPÉTENCES

Formation médicale axée sur l’acquisition de compétences

Édition: serge.normand@umontreal.ca faculté de médecine bureau dévaluation docimologie –...

Documents

phy1501 phy1501 – circuits linéaires rikard blunck –...

ep1 – première situation dévaluation bep métiers des...

harmonisation des pratiques dévaluation de lépreuve...

ÉlÉments de docimologiesuit doit beaucoup aux travaux de...

faculté de médecine bureau d’évaluation docimologie...

chapitre 4 – docimologie critique

entre intuition et docimologie - le ser

harmonisation des pratiques dévaluation de lépreuve...

© sauvé 2002 courriel: sebastien.sauve@umontreal.ca chimie...

normes et modalites dÉvaluation normes et modalités...

Éthique des relations internationales...

processus dévaluation forestière version:09-02-2008

le crtc droit de linformation et de la communication drt...

docimologie-2018.ppt [mode de compatibilitÃ©]

chapitre 61 les applications des techniques dévaluation...

dévaluation & balance commerciale diop allé nar...

1 © accueil le glossaire de la qualité epp : principes...

Évaluation de la fonction tégumentaire louise boyer,...

evaluation des ihm par samia aired. plan introduction...

fiche dévaluation de stage licence