cge aps insa lyon 14 juin 2012 « lÉvaluation des enseignements » yvan pigeonnat conseiller...

CGE APS INSA Lyon 14 Juin 2012

« L’ÉVALUATION DES ENSEIGNEMENTS »

Yvan Pigeonnat

Conseiller pédagogique

PerForm Grenoble INPRéseau PENSERA

Agenda

• L’évaluation des enseignements– Votre vécu– Le cadre légal– La qualité d’un enseignement ?

• L’évaluation des enseignements par les étudiants– Les « pièges »– Une solution pour les éviter

• Les compétences (des enseignants pour commencer!)– Le concept de compétence– Prise en main du concept– Un exemple de référentiel de compétences de l’enseignant dans le

supérieur– La question de la valorisation

3

UNE QUESTION DE COMMUNICATION!

Sondage: votre expérience en évaluation de l’enseignement:- Avez-vous rempli un questionnaire d’évaluation (en tant qu’étudiant) ?

- Avez-vous fait évalué un de vos enseignements ?

- Ce qui vous a le plus marqué?

A) noter un aspect positif ou un intérêt à évaluer l’enseignement:

B) noter un aspect négatif ou unrisque à évaluer l’enseignement:

Historique du cadre réglementaire à l’université

Janvier 2006European Association for Quality

Assurance in Higher Education (ENQA)

Textes de loi réglementaires français

1997Arrêté Bayrou

Arrêté 23 Avril 2002Art. 9, 20 & 21

1992Arrêté Lang

RecommandationsEuropéennes

Note du MESR

Décembre 2009Evaluation de la missiond’enseignement des E-C

ETAT DES LIEUX (1/3)

• Constat : « en matière d’évaluation en France, il n’y a pas de théorie, pas d’enjeux, très peu d’effets » (Jacques Dejean 2005)

• Raisons proposées :– Insuffisante perception des enjeux– Absence de théorie de l’évaluation adaptée au

contexte de notre pays

ETAT DES LIEUX (2/3)

Quelques bonnes pratiques isolées• Institut Polytechnique de Grenoble

perform.grenoble-inp.fr • Université Joseph Fourier

sup.ujf-grenoble.fr • Université Claude Bernard Lyon 1

www.evaluation.univ-lyon1.fr/• Université Lille 1

www.univ-lille1.fr/ofip/

ETAT DES LIEUX (3/3)

• L’évaluation des enseignements existe en France :– Plutôt dans les universités scientifiques– Plutôt dans les formations sélectives et

professionnalisantes– Volonté politique de la direction constitution d’un

groupe de travail sur le sujet– Cas particulier des écoles d’ingénieurs www.cefi.org

comment s’y prendre pour évaluer l’enseignement

évaluer quoi? l’évaluer comment? qui l’évalue ?

BESOIN DE FORMATION

PUBLIC-CIBLE

OBJECTIFS

CONTENU

MÉTHODES

SUPPORTS DIDACTIQUES

DÉROULEMENT

ÉVALUATION DES ÉTUDIANTS

CHANGEMENT

EVALUATION

… VISÉE !

FINALITÉS, CONCEPT ET MÉTHODES

UNE QUALITÉ ...

L’évaluation des enseignements par les étudiants

Comment éviter la dérive bureaucratique ?

Évaluation et qualité

Un « principe de base » (ENQA 2005) :

Le management de la qualité afin desatisfaire à l’obligation de rendre compte

est tout à fait compatible avec

le management de la qualité pour l’amélioration

Source : « Références et lignes directrices pour le management de la qualité dans l’espace européen de l'enseignement supérieur » Traduction française par le CNÉ

Un seul outil…

… pour répondre à l’obligation légale et pour l’amélioration continue…

Une bonne idée ?

Efficacité de l’évaluation ?

Rapport Dejean en 2005 : « peu d’effet »

Évolutions sur un public de 100 moniteurs des CIES d’Orsay et Grenoble depuis 2006 :

– Toujours plus d’évaluations en tant qu’étudiant (de 10% en 2006 à 95 % en 2012)

– Mais une constante: moins de 10 % en ont vu des effets

Écueils liés au questionnaire…

• Pertinence des questions

• Même questionnaire pour tous les enseignements– Un questionnaire par type d’enseignement problème des « moutons à 5 pattes »

Écueils liés aux enseignants

2 types d’enseignant-chercheur :

• Ceux pour lesquels « enseignement = perte de temps » => aucun effet

• Les autres (la grande majorité)…

Écueils liés aux enseignants

• Font du mieux qu’ils pensent pouvoir faire– Primauté au contenu (piège : en mettre trop)– Se sentent démunis face à l’absence de motivation des étudiants– Limitent le contrat didactique aux objectifs du cours– Piège du « comprendre = apprendre »

• N’ont pas idée qu’on peut faire autrement– Reproduisent le mode transmissif qui leur a réussit– N’ont pas l’idée que l’on peut rendre les étudiants actifs même en amphi– N’ont pas idée qu’ils ont un impact sur la motivation des étudiants

• Peuvent être amenés à prendre de mauvaises mesures « correctives » (syndrome du yoyo)

CAUSE PRINCIPALE : pas de formation à la pédagogie universitaire

Écueils liés à l’établissement du diagnostique

• Pour l’enseignant :– Un même « score » = bon ou mauvais suivant la question…– Importance du facteur émotionnel : risque de focalisation sur des

problèmes accessoires…

• Pour l’institution :– Forte dépendance au contexte (par ex. : horaire, filière, etc.)

DANGER : si l’évaluation de la mission d’enseignement est faite à l’aide d’une évaluation systématique « automatisée »

Écueils liés aux étudiants

Cercle vicieux :

Peu d’effet

Désengagement progressif des étudiants

Perte de signifiance des résultats

La démarche de Grenoble INP

• S’appuyer sur la structure de pédagogie universitaire (PerForm) pour mettre en place une politique pertinente en matière de gestion de la qualité des enseignements

• Au sein de PerForm: travail en réseau, partage de pratiques, benchmarking– Compagnonnage Franco-Suisse (2004-2007)– Pôle Rhône-Alpes : réseau PENSERA (depuis 2008)

• Grenoble INP• UCB Lyon 1• UJF Grenoble 1• ENSA Lyon• UJM St-Etienne• ENTPE• Polytech Annecy-Chambéry

=> Identification des écueils + élaboration d’une solution

La solution proposée

Séparer les outils :

• Une évaluation systématique « light »– Une question globale par enseignement– Portée par l’institution– Intégrée dans la politique en matière de qualité de l’enseignement

Rôle de détecteur de fumée

• Une analyse approfondie confidentielle– Faite à la demande des enseignants– Effectuée par des conseillers pédagogiques

L’évaluation indicative systématique

Diffusion des résultats :

• Intégralité au directeur des études et responsables d’années

• Aux enseignants : leur position par rapport aux autres ayant eu le même public

L’évaluation indicative systématique

Diffusion des résultats :

• Intégralité au directeur des études et responsables d’années

• Aux enseignants : leur position par rapport aux autres ayant eu le même public

• Aux étudiants : synthèse + liste des actions menées (taux de réponse d’environ 60 %)

L’analyse approfondie

• Faite par des conseillers pédagogique de PerForm

• A la demande des enseignants, confidentielle

• Menée en 4 temps :– entretien préalable adaptation d’un questionnaire– recueil anonyme de l’avis des étudiants– saisie informatique et analyse– entretien final

Bilan : les « + »

• Toutes les écoles ont progressivement adhéré

• Taux de réponse des étudiants très satisfaisants (+/- 60 %)

• Outil systématique apprécié par les directions

• Bonne articulation entre les 2 outils– Plus de cas « intéressants » pour l’analyse approfondie– Des progrès significatifs au niveau du détecteur pour ceux qui sont passés entre

les mains des conseillers pédagogiques

Bilan : les « – »

• Tous les problèmes ne sont pas détectés

• La gestion des commentaires des étudiants…

• Des problèmes de communication dans certaines écoles

La question des compétences

Du point de vue des enseignants !

Qu’est-ce qu’une compétence ? Une « approche par compétences » ?

Définition par Marianne Poumay 6’(professeur à l’université de Liège)

Compétence : exemple de la conduite d’une voiture

• Savoirs :– code de la route– les différents éléments d’une voiture

• Savoir-faire :– passer les vitesses– mettre le clignotants– faire les contrôles de sécurité, etc.

• Savoir-être– En cas de conduite dans des embouteillages– Conduire « léger sur l’accélérateur » (de façon économe)

• Famille de situation– En ville, de nuit, sous la pluie, sur une route enneigée…– Mais pas un 4x4 dans les dunes, ou en marche arrière avec une

remorque!!!

Compétence : à vous de jouer…

Phase d’appropriation de la notion de compétence : 15’

Penser à une compétence utile dans le volet enseignement de votre travail.

• La phraser• Que faut-il (ou faudrait-il) pouvoir mobiliser et combiner en

termes de :– savoirs– savoir-faire– savoir-être

• Dans quelle famille de situations ?• Comment pourrait-on l’évaluer ?

Un référentiel de compétencespour l’enseignant dans le supérieur (AIPU 1999)

Dimension pédagogique

• (01) Adopter une représentation de l’acte d’enseigner et d’apprendre susceptible de rendre son activité d’enseignement la plus efficace possible (en termes de gains d’apprentissage).

• (02) Planifier et mettre en œuvre des activités d'enseignement (choix et articulation des objectifs, des méthodes d'enseignement, des contenus, des supports, etc.) pertinentes, efficaces et efficientes.

• (03) Planifier et mettre en œuvre les activités d'évaluation des apprentissages (choix et articulation des critères, des méthodes d'évaluation, des instruments, techniques de correction, etc.).

• (04) Maîtriser les diverses formes de la communication pédagogique (expression orale et écrite, communication non-verbale, utilisation des multimédias, etc.).

• (05) Animer et gérer les interactions dans des groupes d'étudiants de tailles diverses.

• (06) Accompagner les étudiants dans leurs apprentissages (tutoring, accompagnement méthodologique, évaluation formative, etc.).

Un référentiel de compétencespour l’enseignant dans le supérieur (AIPU 1999)

Dimension institutionnelle

• (07) Promouvoir la réussite du plus grand nombre et le développement personnel de chacun.

• (08) Travailler en équipe pluri- ou inter- disciplinaire à la réalisation de projets ou de• programmes pédagogiques.

Dimension socio-professionnelle

• (09) Développer une pensée réflexive à l'égard de sa pratique pédagogique.

• (10) Affronter les devoirs et les dilemmes éthiques de la profession d'enseignant universitaire.

La valorisation, l’évaluation ?

• Exemple de l’EPFL : Dossier d’enseignement 2004http://teaching.epfl.ch/ puis évaluer et valoriser mon

enseignement, puis Le dossier d'enseignement

• Exemple de l’UCL : Dossier de Valorisation Pédagogique (DVP) 2000http://www.uclouvain.be/97742.html

• McGill : Teaching Portfolio http://www.mcgill.ca/tls/teachingportfolio/#GUIDELINES

Merci de votre attention…

Contact :

Yvan PigeonnatYvan.Pigeonnat@grenoble-inp.fr

PerFormhttp://perform.grenoble-inp.fr

PENSERAhttp://pensera.fr/