BSQF

"Quelle est la portée de nos actions de conseillers et conseillères

pédagogiques?"

RUFDATA : une méthode pour construire notre propre évaluation

Sources : M. Saunders et Ann-Marie Houghton

Bernadette Charlier

Pour une évaluation pour la connaissance et formative

Cette approche a initialement été utilisée par son auteur (M. Saunders) pour construire une compréhension approfondie d’un projet innovant ou d’une nouvelle stratégie politique.

Elle a par la suite été appliquée pour l'évaluation des dispositifs d'apprentissage à distance (Bonamy, J, Charlier, B. et Saunders, M, 2001).

Bernadette Charlier

Construire un cahier des charges d’une évaluation, pour...

Bernadette Charlier

Guide pour RUFDATA

Reasons Uses Foci Data Audience Timescale Agency

Bernadette Charlier

Principes

Trois principes clés guident cette démarche :

La collaboration: les buts, méthodes et cadres de référence de l’évaluation sont négociés avec tous les acteurs, incluant les étudiant-e-s ;

L’intégration : l’évaluation est intégrée aux étapes principales de la mise en place du dispositif ou du projet ;

L’orientation formative: des retours d’information permettant une régulation du dispositif ou du projet sont générés tout au long de son histoire.

Bernadette Charlier

Reasons and purposes

Quelles sont les raisons de l’évaluation ? Pourquoi décide t-on de l’évaluation ? Quels sont les enjeux ?

• Apprentissage, connaissance, découverte

• Contrôle de son action

• Améliorer son action

• Rendre compte de son action

• Faire connaître, reconnaître

Bernadette Charlier

Uses

^ Quels seront les usages de l’évaluation

• Fournir des exemples de bonnes pratiques

• Prendre des décisions pour améliorer le dispositif, le projet

• Rendre compte, élaborer un rapport

• …

Bernadette Charlier

Foci

Quel sera, seront les points d’attention centraux ?

• Quels indicateurs ?

• Quand les observer ? (EPO)

Connecter avec les buts de l’évaluation

Bernadette Charlier

Focus : indicateur de type 1

Compris comme un domaine d’activité au sein duquel des données peuvent être collectées.

[Indicators as a focus] Exemple: le domaine dans lequel les

étudiant-e-s développent des compétences (stages,...)

Exemple : l’enseignement (les cours donnés par un groupe d’enseignant-e-s)

Bernadette Charlier

Focus : indicateur de type 2

La preuve elle-même

[Indicators as the evidence] Exemple: les résultats des étudiant-e-s

décidés à posteriori comme faisant la preuve de leurs progrès

Exemple: les résultats aux évaluations de

l’enseignement

Bernadette Charlier

Focus : indicateur de type 3

Preuves prédéfinies en fonction du cahier des charges, du contrat, des objectifs annoncés.

[Indicators as prescriptions of good performance] Exemple: par exemple, la note 4 sur une échelle de

1 à 6 Exemple : les critères des accréditations de

programme définis par l’OAQ (Organe d’accréditation et d’assurance qualité des hautes écoles suisses)

Bernadette Charlier

Type 1

Avantages

Concerne des effets inattendus

Potentiellement participative

Collaborative Evite des objets arbitraires

Désavantages

Ne contrôle pas les objectifs attendus

Peut inclure la collection de données inutiles

Cher

Bernadette Charlier

Type 2

Avantages

Peut être focalisée Va prendre en compte des

effets inattendus Peut être sommative et

formative

Désavantages

Faible sur l’”accountability” Faible usage pour la

gestion du projet

Bernadette Charlier

Type 3

Avantages

Peut préciser l’évaluation Peut être collaborative Permet une planification

Désavantages

Peut être trop restrictive Externe et centrée sur le

contrôle

Bernadette Charlier

Focus : quand ?

Enabling- Entrée

Processus Outcome-Résultats

Ressources nécessaires ou disponibles

Ce que l’on fait pour atteindre les résultats, ce qui se passe

Les résultats attendus par les acteurs

Bernadette Charlier

Focusing evaluations: Enabling Process Outcome

Ressources nécessaires ou disponibles

Ce que l’on fait pour atteindre les résultats, ce qui se passe

Les résultats attendus par les acteurs

CompétencesRessourcesSupport de

l’institutionMissionRéglements

ActionsStratégiesAttitudesObstaclesSupports

ObjectifsChangements

de pratiquesNombres

Bernadette Charlier

Data, données

Quelles données seront utilisées ?

• Invoquées

• Provoquées

• Suscitées

• Numériques

• Entretiens, Focus groupes

• Observations

Bernadette Charlier

Audience

^ A qui est adressée l’évaluation ?

• Vous-même ?• L’institution • Des pourvoyeurs de fonds• La communauté des CP (BSQF)• Autre ?

Dans quelle mesure les destinataires influencent-ils/elles l’évaluation ?

Bernadette Charlier

Timing

Calendrier^Quel sera l’agenda ?^Quel lien avec les étapes du projet ?

Veiller à commencer dés le début du projet

Bernadette Charlier

Agency

^Qui va conduire l’évaluation ?

^Vous^Des évaluateur-trice-s externes ?^Une combinaison ?

Bernadette Charlier

A vous ..

Bernadette Charlier

Références ..

Saunders, M. (2000). "Beginning an evaluation with RUFDATA: theorizing a practical approach to evaluation planning, Evaluation, 6(1). 7-21." Evaluation 6: 7-21.

http://www.lancs.ac.uk/fss/centres/cset/eval-blank/docs.htm

http://www.actiononaccess.org/download.php?f=987