séminaire thématique sur lévaluation destiné aux porteurs de projets du programme llp alexia...
TRANSCRIPT
Séminaire thématique sur l’évaluation destiné aux porteurs de projets du
programme LLP
Alexia PEYSEREliane GODELET
Xavier ROSYwww.bief.be Place des Peintres, 51348 Louvain-la-Neuve 010 / 45. 28.46
Agence AEF
23 novembre 2010
2
Objectifs de la journée d’évaluation
Objectifs Mieux définir l’évaluation dans le cadre des projets LLP et
l’intérêt de sa mise en œuvre Fournir des exemples d’outils et méthodes aux porteurs de
projet Initier ou valoriser un processus de culture de
l’évaluation au sein des projets
Moyens Présentation de bonnes pratiques provenant des porteurs de
projet Echange en atelier sur les expérience de mise en œuvre
d’actions d’évaluation et sur les améliorations possibles
3
le BIEF
Bureau d ’Ingénierie en Education et en Formation
o Equipe pluridisciplinaire de 20 personnes
o 22 ans d ’expériences au service de la formation dans
les administrations, entreprises et réseaux éducatifs.
o Formation et Accompagnement en Gestion de projet,
en Gestion des compétences, Formation de formateur,
…
o www.bief.be
4
8h30 ACCUEIL
9h00 Introduction (Présentation du déroulé de la journée de travail)
9h10
PARTIE 1 : « L’évaluation d’orientation »Présentation des enjeux de l’évaluation d’orientationBonne pratique : Une ardeur d’enfance – EQUAL I et II - Sylvie Lefèbvre de PromemploiTravail en ateliers (60 minutes)
10h45 PAUSE
11h00
PARTIE 2 : « L’évaluation de régulation »Présentation des enjeux de l’évaluation de régulation
Bonne pratique : Projet Pass’Tic – Grundtvig - Sandra Langevin du Centre communal d'action sociale de la Commune de Carvin
Travail en ateliers (60 minutes)12h35 LUNCH
13h30
PARTIE 3 : « L’évaluation de validation »Présentation des enjeux de l’évaluation de validationPrésentation de deux bonnes pratiques :-UCL Stage - Mobilité - Bart Stoffels de l’UCL-«3 ponts » Comenius - Marie-France Grégoire de l’école de 3 PontsTravail en ateliers (60 minutes)
15h05 Conclusions de la journée16h00 Fin de la journée
Agenda de la journée
5
Les thématiques abordées
Les 3 moments d’évaluation rencontrés au cours d’un projet:
Avant de débuter le projet: l’orientation (ex ante)Que fait-on et quels sont les objectifs prioritaires?
Pendant sa mise en œuvre: la régulation - suiviQue fait-on lorsque la planification est chamboulée?
A la fin du projet: la validation (éval. finale, ex post)A-t-on atteint le(s) objectif(s) visé(s)?
6
Le cycle de l’évaluation dans un projet
BIEF © 2010
Réguler
Valider
OrienterAvant le projet
Pendant le projet
En fin de projet
Nouveau projet?
Introduction
8
Et maintenant
une définition…
DE KETELE, 1989
9
Évaluer ?
L’évaluation est un processus
• en vue de prendre une décision.
qualifiant les objectifs à évaluer
- et un ensemble de critères et d’indicateurs
• et à examiner le degré d’adéquation entre
- cet ensemble d’informations
• à recueillir un ensemble d’informations
qui consiste
fiablesvalides,suffisamment pertinentes,
10
Les moments d’évaluation
Situation désirée
PROJET
RégulationEvaluation
à mi-parcoursEt continue
Validation Evaluation
finale
Validation Evaluation
de l’impact ou a posteriori
Situation présente Temps
Valeur ajoutée et impact
OrientationEvaluation
a priori
11
Recueil d’informations
Par qui: •Interne, externe•Responsable, N, N+1,
Auprès de: •Participants, clients, N; N+1,N+2, N-1,…
Où et comment:
•Sur le terrain : entretien, groupe de parole, observation questionnaire fermé/ouvert•En chambre : données, document,…
Quand: •A froid / à chaud•Avant, au début, pendant, à la fin, après
12
L’enjeu de la formalisation
Répond à plusieurs enjeux fondamentaux:
o Support de communication et d’échange interne et externeo Pérennisation:
• Pour la suite du projet ou les projets suivants• Eviter les même erreurs
o Facilite la décision
Afin d’éviter le piège d’une formalisation lourde :o Formaliser au niveau le plus proche du terraino Outils simples, cohérents, utilisables facilemento Penser à l’utilisation de l’info recueillie: quelle décision
prendre, quand et comment?
L’évaluation d’orientation
Partie 1
14
1. L'évaluation d'orientation
Décider o de l’orientation à prendre ex: objectifs à atteindre,
évaluation a priori
o des ressources à mobiliser, des priorités ex : faisabilité, o du lancement des actions ex : chance de réussite
Produit Débouche sur une (ou plusieurs) direction(s) avec indication de celle(s) à suivre
Objet de l’évaluation
Les potentialités (ce qui pourrait bien fonctionner)
et les risques (ce qui pourrait ne pas bien fonctionner)
Nature de la décision à prendre
Déterminer des objectifs
pertinents
15
Analyse des parties prenantes
Analyse de la situation actuelle
Identification de la situation souhaitée
Prioritisation des objectifs
2. Les étapes de l’orientation
16
Outil d’analyse des parties prenantes
Élevée
Actifs négatifs Actifs positifs
Faible
Passifs négatifs Passifs positifs
Influence
Position
Négative Positive
17
Analyse des parties prenantes
Analyse de la situation actuelle
Identification de la situation souhaitée
Prioritisation des objectifs
2. Les étapes de l’orientation II
18
Analyse de la situation actuelle
Objectifs o Relever la perception des différentes parties
prenantes sur la problématique actuelle
o Comparer les diverses perceptions afin d'aboutir à une compréhension commune
o Trianguler: croiser l’information afin d’en assurer la fiabilité
19
Analyse des parties prenantes
Analyse de la situation actuelle
Identification de la situation souhaitée
Prioritisation des objectifs
2. Les étapes de l’orientation III
20
L'analyse de la situation souhaitée
Objectif
o Décrire la « situation future idéale » à atteindre
o Formulation sous forme d’objectifs à atteindre:• Les demandeurs d’emploi sont formés
• Les enfants de moins de 6 ans dans la province du Hainaut sont pris en charge durant la semaine
• …
21
Analyse des parties prenantes
Analyse de la situation actuelle
Identification de la situation souhaitée
Prioritisation des objectifs
2. Les étapes de l’orientation IV
22
Prioritisation des objectifs
L’objectif (à long terme) retenu peut être atteint de différentes manières ou en suivant différentes stratégies.
Quel sera le plus pertinent, le plus faisable et viable?
24
Pour une prise de décision orientée et argumentéde
Prendre en comptele contexte:
potentialités et risques
Favoriserune prise de
décisioncollégiale
Se baser sur les résultats
des expériences passées
Identifier les parties prenantes et prendre en
compte des besoins
Les facteurs de réussite d'un système d’orientation
L’évaluation de régulation -
Le suivi
Partie 2
26
2. L'évaluation de régulation
(Le suivi) Réguler en continu
o Remédier aux lacunes constatées o Décider des changements et ajustements à apporter en vue de
faciliter la réalisation des actions et l’atteinte des résultats o …
Objet de l’évaluation Les écarts (ce qui ne fonctionne pas)Les éléments inattendus qui bouleversent la mise en œuvre
Produit Débouche sur un diagnostic et sur une thérapeutique
Nature de la décision à prendre
Déterminer des objectifs
pertinents
27
Le suivi de la mise en oeuvre Composantes d’un suivi de qualité
Matrices / tableaux / systèmes pour la collecte de données
- Basés sur les outils de la planification: chronogramme, budget, …
- Facile et rapide dans l’utilisation Assigner des tâches et responsabilités :
- Qui collectera les données?
- Qui prendra les décisions?
- Qui les mettra en oeuvre?
- Qui doit être informé ?
- Quand et comment?
28
Responsabilités et prise de décisions: exemple
Acteur Collection de données
Prise de décisions(comment / sur quoi?)
Informer (qui / sur quoi / comment?)
Recevoir information (comment / de qui?)
Responsable sur le terrain
Au niveau des activités
Au niveau des activités - à moins que la décision n’affecte pas le budget ou le calendrier global
Informer le responsable du projet sur le progrès du projet + changements (réunion mensuelle + rapport trimestriel)
Fiches mensuelles sur le progrès des activités, préparées par les bénéficiaires
Responsable du projet
Au niveau des résultats
Décisions importantes au niveau des activités / en concertation avec le responsable sur le terrain.
Informer le directeur: rapport bi-mensuelInformer le bailleur de fonds: rapport bi-annuel
Fiches mensuelles sur le progrès du projet + rapport trimestriel du responsable sur le terrain
Directeur - Doivent être impliqués quand on prend des décisions importantes qui affectent le calendrier, le budget ou les objectifs
Révision du rapport bi-annuel pour le bailleur de fonds
Rapport bi-mensuel du responsable du projet
Bailleur de fonds
- - Rapport bi-annuel
29
Diganostic etthérapeutique
Prévoir un outil d’évaluation
pratique
Règles et procédures de prise de décision spécifiés à l'avance
Mener une collecte d'information et un rapportage simples automatismes(formalisation)
Les facteurs de réussite d'une phase de suivi
Mettre enoeuvre lesdécisions
L’évaluation finale(Validation)
Partie 3
31
3. L'évaluation finale
Décider o de la réussite ou de l’échec du projeto de la poursuite ou de l’arrêt des actions
Objet de l’évaluationLes réussites (ce qui fonctionne bien)Éventuellement, les erreurs afin de "donner du sens" à l'évaluation.
Produit Débouche sur une preuvese réfère aux indicateurs prouvant l’atteinte des objectifs et des résultats intermédiaires
Nature de la décision à prendre
Déterminer des objectifs
pertinents
32
Évaluation finale : Qui?
Auto-évaluation: les évalués = les évaluateurs
Evaluation interne: les évaluateurs les évalués , mais
appartiennent à la même structure / organisation
Evaluation externe: les évalués les évaluateurs
Evaluation assistée: les évaluateurs externes appuient le
processus d’évaluation interne (facilitation, proposer / concevoir
des techniques et méthodologie, analyse des résultats, etc.)
33
Les conditions de réussite de la phase d’évaluation finale
Preuve de réussite/échec
Proposer des recommendations
pour la suite
TdR clairs,Précis et
opérationnels
Sourcesd’informationdisponibles
Appropriationdes résultats par
les parties prenantes
34
Termes de Référence (TdR) : outil de gestion d’une évaluation finale
Ils définissent les objectifs de l’évaluation
Ils seront la base pour apprécier l'exécution de la mission d’évaluation
Pour les consultants, ils formeront une légitimation pour exécuter leur tâche
35
Format de base des TdR
1. Données de base: contexte général, spécifique2. Buts du projet: résultats attendus3. Etapes du projet4. Modalités de mise en œuvre du projet5. Propositions financières
Le déroulement des ateliers
37
Déroulement de l’atelier
Objectif : o Echanger sur vos pratiques par petits groupeso Et sur les améliorations possibles:
formalisation, aide à la décision, participation
Quand: après chaque présentation de la phase et d’une bonne pratique
Durée: 60 minutes
38
Le déroulé de chaque atelier
1 Présentation de l’étape et des consignes: •présentation des 3 slides•Répartition par sous-groupe•Consignes et un rapporteur par groupe
5 minutes
2 Travail en 3 sous-groupes de 10 personnes
25 minutes
3 Restitution des données de chaque sous-groupe dans le groupe de 30
12 minutes
4 Discussions, conclusions:•Question: Que pourriez-vous améliorer?
15 minutes
39
Déroulement de l’atelier
Concrètement :
o 3 atelierso 30 personnes par atelier
(groupe imposé par l’AEF) o 1 animateur BIEF par ateliero Dans chaque atelier, travail en 3 sous-groupes de 10
participantso L’animateur BIEF rapporte les résultats de l’atelier en
plénière en fin de journée