choisir ce quil faut suivre et évaluer session 9
TRANSCRIPT
Choisir ce qu’il faut suivre et évaluer
Session 9
Choisir ce qu’il faut suivre et évaluer
Objectifs
A la fin de la session, vous êtes capable de : Comprendre que différents acteurs ont besoin de
différentes informations pour contribuer à l’impact
Formuler de commun accord avec les autres acteurs les questions relatives à la performance de manière à orienter l’analyse des données
Formuler des indicateurs de performance D’identifier les besoins d’information et des
informations de référence
Question d’ouverture
Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ?
Comment et avec qui choisir et décider ce qu’il faut suivre et évaluer ? Déterminez les besoins d’info avec les acteurs Chaque niveau de l’hiérarchie des objectifs Cinq questions de base de l’évaluation Questions transversales (genre, participation
etc) Recherchez des infos qui expliquent les
résultats obtenus Effets imprévus Trop d’info tue l’info.
Besoins d’info de différents acteurs
Requiert Analyse et la prise de décision avec acteurs
concernés sur l’information qui est pertinente pour eux
S&E axé sur des domaines d’intérêt spécifiques
Unité de S&E du projet qui• Coordonne le cheminement des informations• Assure que l’information est plutôt complémentaire que double• Organise l’accès mutuel de tous les acteurs aux informations et à
l’analyse
Besoins d’info selon le niveau hiérarchique de l’objectif Activités
Activités programmées menées à bien et dans les délais et les limites du budget ?
Quelles activités non programmées mises en oeuvre?
Réalisations Quels sont les produits et services concrets
directement obtenus comme résultat des activités menées?
Besoins d’info selon le niveau hiérarchique de l’objectif
Objectif spécifique et – ou composante Quels changements induits par les réalisations ? Dans quelle mesure susceptibles de contribuer à
la réalisation de l’objectif spécifique et à l’impact ?
durée du projet, a-t-il permis de réaliser les changements que l’on puisse lui imputer de façon réaliste?
Besoins d’info selon le niveau hiérarchique de l’objectif
Objectif général Dans quelle mesure le projet a-t-il contribué aux
finalités de long terme ? Quelles conséquences imprévues – positives ou
négatives et pourquoi ?
L’hiérarchie des objectifs d’un projetHiérarchie
objectifs Indicateur
s
Méchanismes de faire le
suivi
Hypothèses et risques
InputsInputs CoûtsCoûtsActivités
Objectif générale
Objectif spécifiqu
eRéalisations
Pré-conditions
Pré-conditions
Cinq questions clés
Pertinence Le projet était-il une bonne idée étant donné la
situation à améliorer ? Et par rapport aux priorités des acteurs ?
Efficacité L’objectif spécifique atteint ? Réalisations et activités prévues, ont-elles
abouti ? Pourquoi ? La logique d’intervention est-elle correcte ?
Pourquoi ?
Cinq questions clés
Efficience Les moyens utilisés de manière optimale pour
obtenir des résultats ? Pourquoi ? Que pouvait-on faire autrement pour améliorer
la mise en oeuvre du projet ? (coût-bénéfices/impact)
Cinq questions clés
Impact Contribution à la réalisation des finalités du
projet ? Pourquoi ? Quelles conséquences imprévues – positives ou
négatives ? Pourquoi ?
Durabilité Une fois achevé, le projet aura-t-il des impacts
positifs persistants ? Pourquoi ?
Situation à améliorerProblèmes et Visions
Plannification pouraméliorer
(Cadre logique)
Mise en oeuvre moyens Activités Réalisations
Situation amélioreé
Impact
Questions d’évaluation et la logique d’intervention
Pertinence
Durabilité
Efficacité
Efficience
Questions transversales
Relations et positions hommes-femmes Participation Pauvreté Environnement
Contenu de la matrice de S&E
Questions de performance
Besoins d’informations
indicateurs
Information de référence
Exigences, nature et responsabilités
Collecte données
méthodes, fréquences et responsabilités
Formulaires, planification, formation, gestion des données, compétences, ressources et responsabilités
Analyse, rapports, restitution, adaptation, responsabilités
Utilité de la matrice de S&E
Pour faire un plan de S&E opérationnel et détaillé
Cadre logique N’a pas suffisamment de place pour monter un
système de S&E détaillé Ne suffit pas pour rendre le S&E opérationnel
(seulement des indicateurs et des sources de vérification
Reste du programme d’aujourd’hui
1. Formuler des questions relatives à la performance
2. Identifier les besoins d’information et les indicateurs
3. Savoir de quelle information de référence vous avez besoin
44 avec plusieurs acteurs
C’est quoi, une question de performance ? Question d’évaluation ou d’appréciation
Aide à concentrer la recherche et l’analyse de l’information sur ce qui est nécessaire pour savoir si le projet donne les résultats escomptés ou, sinon, pourquoi.
Aide à choisir l’information dont vous avez besoin Faire l’économie
Quels types d’amélioration ont été obtenus suite à la diversité des revenus résultant du projet?
Comment le pouvoir d’achat des groupes-cible a-t-il changé en comparaison avec les populations non-ciblés ?
Quels types de compétences ont été améliorés et combien de ménages ont été concernés ?
Question de performance : exemples
Principales questions de performance pour chaque niveau de la hiérarchie des objectifs Activités – qu’avons-nous fait réellement ? Réalisation – qu’avons-nous fourni grâce aux
activités du projet ? Effets – qu’est-ce qui a été obtenu grâce
aux réalisations Impacts – qu’ont apporté les effets ?
Leçons tirées – Quels enseignements ont-ils été tirés du projet ? Comment peuvent-ils contribuer à l’amélioration du projet
?
Identifier des bonnes questions relatives à la performance – critères
Quoi ?
Pourquoi ?
Conséquences ?
Actions à mener
Qu’est-ce qu’il a été un succès ou un échec ?
Ce succès ou échec, il a été due à quoi ?
Conséquences pour la réussite du projet ?
Quelles actions pour augmenter le succès du projet ?
Lier différentes questions de performance
Quoi ?
Pourquoi ?
Conséquences
Actions
ActivitésRéalisations
EffetsImpact
Pertin
ence
Effica
cité
Effici
ence
Durab
ilité + suivi de
l’avancement
Questions de performance pour l’analyse des imprévus Planifiez comment vous suivez les situations
imprévues Inserez du temps de réflexion pour la question :
“par rapport à cette activité, ces réalisations, ces effets et ces relations, qu’est-ce que nous n’avions pas prévu?”
Questions clés• Qu’est-ce qu’il s’est passé d’inattendu depuis notre dernière
réunion, évaluation ?• Comment c’était différent par rapport à nos attentes ?• Quelles implications de ces imprévus pour notre travail ?
Exercice – en binômes - questions de performance
Formulez des questions de performance pour évaluer ce cours
Les autres participants jugent Carte verte : question approuvée + pourquoi Carte rouge : question rejeté + pourquoi
Identification de l’information clé et les indicateurs appropriés Quelles informations nécessaires pour
répondre aux questions de performance ? 1. Vérifiez si la question peut être répondue
par un indicateur simple et direct (niveau d’activités et de réalisations).
2. Reflechissez consciensieusement sur les différents types d’information dont vous avez besoin pour répondre aux questions de performance (niveau d’effet et d’impact)
Question
Un indicateur c’est quoi ?
Pourquoi les indicateurs seuls ne suffissent pas?
Quels types d’indicateurs existent ?
Définition indicateur
Variable simple ou complexe, quantitative ou qualitative dont le suivi et/ou la comparaison dans le temps (ou dans l’espace) permet d’apprécier des changements intervenus
Unité d’information mesurée au fil du temps pour enregrister des changements
Pourquoi les indicateurs seuls ne suffisent pas ? Parfois trop difficils ou coûteux pour mesurer
Ce qui est simple à mesurer, parfois ne donne pas suffisament de sens pour agir
Choses importantes ne peuvent pas toujours être comptées
Indicateurs seuls n’expliquent pas les raisons de succès ou d’échec
Types d’informations nécessaires
Indicateurs Informations qualitatives ciblées Informations qualitatives ouvertes Informations générales Observations générales sur les interactions
avec et entre acteurs
Types d’indicateurs
Indicateurs quantitatifs simples Indicateurs quantitatifs complexes Indicateurs composites Indices Indicateurs indirects Indicateurs qualtitatifs ouverts Indicateurs qualitatifs ciblés (Guide FIDA , 5-22)
Formuler un indicateur quantitatif et clair Groupe cible spécifié
Unités de mesure spécifiques Période spécifique d’observation Mention des informations de référence à utiliser
aux fins de comparaison Critères de qualité Aire géographique spécifique
Nombre de nouvelles entreprises formelles et informelles créées chaque année par les femmes dans la province de X rapporté au nombre initial
Formuler un indicateur qualitatif
Domaine d’intérêt – question de performance Type de changement à comprendre et l’unité
d’analyse Periode spécifique d’observation du changement Aire géographique
Opinions de 25 % des participants à chaque programme de formation sur le thème Y, pour savoir si le programme les a aidés à mieux s’acquitter de leurs responsabilités dans leur travail.
Identification participative des indicateurs Décidez quel aspect su S&E sera participatif Consensus avec intéressés sur qui devrait être associé Organisez une réunion selon les modalités appropriées S’il y a plusieurs acteurs 2 options
Etablissez avec chaque acteur une liste d’indicateurs et priorisez-les
En tant que projet, faites une liste initiale et priorisez-les avec les acteurs concernés
Définissez les unités d’analyse (groupes, ménages, femmes) Choississez méthodes de collecte, de traitement et d’analyse Essais préalables des indicateurs, des méthodes de collecte
et d’analyse
Vérifier la qualité des indicateurs
Evitez double emplois ! Quelles organisations disposent déjà des
informations dont vous avez besoin Indicateurs quantitatifs et qualitatifs
Mesurable (clair) Representatif (couvre l’aspect de la question de
performance à répondre) Fiable (méthodes normalisée de collecte) Réaliste (coût et capacités ressources
humaines)
Exercise sous-groupes
3 sous-groupes sur un même projet (d’un participant) Chaque membre représente un autre acteur avec ces
propre besoins d’information.
Uilisez cartes couleurs Colonne 1 – montez la logique d’intervention du
CL Colonne 2 – identifiez questions de performance
(Réalisations, OS et OG) Colonne 3 – identifiez besoins d’information et
indicateurs Vérifiez la qualité des indicateurs
Question
Pourquoi est-il important de actualiser les indicateurs et les besoins en informations ?
Comment faire ? Qui utilise l’information Quelles lacunes importantes détectées
comment les combler quels nouveaux besoins d’information
Nécessité d’une base de comparaison : Méthodes d’analyse comparative
Avant/après projet + Moments de collecte bien déterminés - Attribution des changements
Avec/sans projet + Explique plus facilement les causes du
changement - Identification des zones géographiques
comparables
Nécessité d’une base de comparaison : Méthodes d’analyse comparative Echantillon témoin/groupe cible
+ Répond bien à l’aspect impact sur le groupe cible + Explique plus facilement les causes du
changement + Même zone moins de disparité entre groupe
témoin et cible - Problème moral d’inclusion – d’exclusion de
groupes - Groupes sont vraiment comparables? - Changement mi-parcours du projet fausseront les
constatations
Préparer et utiliser votre information de référence Concevez l’enquête de référence après révision du
cadre logique Planifiez votre enquête de référence comme
n’importe quelle autre enquête Limitez la collecte à ce que vous allez utiliser
questions de performance Veillez à ce que l’information de référence reste
réaliste Faites preuve de l‘imagination dans le choix des
méthodes de collecte : Méthodes quantitatives et qualitatives
Veillez à ce que les questions transversales soient comprises dans l’enquête de référence
Planifiez votre enquête de référence comme n’importe quelle autre enquête
Quelles informations déjà disponibles ? Où trouver l’information ? Quelles méthodes de collecte ? Quelles ressources nécessaires ? Qui est chargé de la collecte, de l’analyse et de
l’utilisation des données et quand l’exécutér ? Quel moment et quelles modalités pour réviser
l’information de référence au cours de la durée du projet ?
Fin de session
© Wageningen UR