![Page 1: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/1.jpg)
1
Pour une approche Holistique et en Situation
Réelle de l’Evaluation d’Impact
Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques
Atelier Professionnel de pré-conférence de l’AfrEA, Accra, 10 janvier 2012avec nos appréciations à la Foundation Rockefeller
Facilité par
Oumoul Ba Tall et Jim RughNote: Cette présentation PowerPoint et le résumé du
chapitre du livre sont disponibles sur:
www.RealWorldEvaluation.org
![Page 2: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/2.jpg)
Cet atelier est l’une des 12 sessions de la conférence de l’AfrEA qui bénéficient de l’appui financier de la Foundation Rockefeller. Elles font partie d’un paquet de subventions destinées à encourager des actions de promotion de la capacité d’évaluation du développement, de génération de connaissance en évaluation, ainsi que les approches innovatives, les nouvelles méthodes et nouveaux outils d’évaluation.
2
Un mot de remerciements à notre sponsor:
La Fondation Rockefeller
![Page 3: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/3.jpg)
Introduction à
L’Evaluation d’Impact(citant le Guide du NONIE)
“Dans le développement international, l’évaluation d’impact concerne principalement les résultats finaux d’une intervention (programme, projet, décisions politiques, réformes) sur le bien-être des communautés, des ménages et des individus.” [p. 3]
“Aucune méthode n’est meilleure en soi pour adresser la diversité de questions et d’aspects qui peuvent relever des évaluations d’impact. Toutefois, certaines méthodes ont des avantages comparatifs sur d’autres dans l’analyse d’une question ou d’un objectif particuliers, du fait de la spécifité de la question ou de l’objectif. Des méthodes et perspectives particulières se complétent pour procurer “une image” plus complète de l’impact.” [p. xxii]
3
![Page 4: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/4.jpg)
Introduction à
L’Evaluation d’Impact(citant le Guide du NONIE)
Les méthodes quantitatives d’évaluation d’impact cherchent à résoudre les trois problémes suivants, qui sont interconnectés :• L’établissement d’un coutrefactuel: Que se serait-il passé
sans l’intervention(s)?• L’élimination des effets de la sélection, menant vers les
différences entre le groupe d’intervention (traitement) et le groupe de contrôle.
• Une solution au probléme des non-observables: l’omission d’une ou de plusieurs variables non-observées, induisant des estimations biaisées. [p. 23]
4
![Page 5: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/5.jpg)
Introduction à
L’Evaluation d’Impact(citant le Guide du NONIE)
“La meilleure façon d’éviter les effets de la sélection est la sélection au hasard des groupes d’intervention et de contrôle avant le démarrage de l’expérimentation. Dans un Contrôle Aléatoire d’Essai (CAE) bien conçu et mis en oeuvre, une comparaison simple de la moyenne des Résultats dans les 2 groupes peut résoudre le probléme de l’attribution, et produire des estimations précises de l’impact de l’intervention sur une variable à l’étude. La seule différence entre les deux groupes aura été l’intervention, du fait de la démarche suivie.” [p.24]
5
![Page 6: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/6.jpg)
OK, cela est suffisant pour une introduction initiale à la théorie de l’Evaluation d’Impact.
A présent, considérons certaines implications lorsque nous essayons de mener des Evaluations d’Impact en SituationRéelle.
6
![Page 7: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/7.jpg)
L’Evaluation d’Impact Appliquée à cet Atelier
Vous qui êtes dans cette salle avez choisi de participer à cet atelier. Appelons le sujet que nous allons discuter ici l’Intervention. Nous assumons que vous êtes suffisamment qualifiés pour prendre ce cours. Nous proposons ceci: faire un pré-test pour déterminer votre compréhension du sujet. Ensuite, sélectionner de façon aléatoire 50% d’entre vous, qui seront considérés notre groupe de contrôle. Nous vous demanderons de quitter la salle et vous occuper à autre chose durant le reste de la journée. Ensuite vous revenez à 16H30 pour prendre le test de fin, en même temps que les autres qui sont restés et ont participé au reste de l’atelier (notre groupe d’intervention). Ainsi nous aurons un contrefactuel qui nous servira pour mesurer tout impact mesurable de ce que nous aurons enseigné durant l’atelier.
7
![Page 8: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/8.jpg)
L’Evaluation d’Impact Appliquée à cet Atelier
OK, juste pour rire, à titre d’illustration!
8
![Page 9: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/9.jpg)
L’Evaluation d’Impact Appliquée à cet Atelier
Pour quelles raisons essayer d’utiliser une méthode d’Epérimentation à Sélection Aléatoire (ESA) pour évaluer l’impact de cet atelier pourrait ne pas être une bonne idée? …
9
![Page 10: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/10.jpg)
Objectifs de l’Atelier
1. Les bases de l’approche Evaluation en SituationRéelle (ESR) pour répondre aux questions et contraintes de l’évaluateur telles que: évaluer à la fin d’un projet en l’absence de Référence ou de Groupe de comparaison; ou le budget est inadéquat, le temps insuffisant; ou face à des pressions politiques ou des attentes sur la manière de conduire l’évaluation ou encore sur les conclusions de celle-ci.
10
![Page 11: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/11.jpg)
Objectifs de l’Atelier
2. Définir ce que l’évaluation d’impact devrait être;
3. Identifier et évaluer différents modèles d’évaluation qui pourraient être utilisés dans un contexte d'évaluation particulier;
4. Les moyens de reconstruire les données de base lorsque l’évaluation démarre bien alors que le projet est bien avancé ou terminé;
5. Comment rendre compte de ce qui serait arrivé sans les interventions du projet: contrefactuels alternatifs
11
![Page 12: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/12.jpg)
Objectifs de l’atelier
Note: dans cet atelier, l’accent est mis sur les évaluation d’impact au niveau projet. Bien entendu, il existe d’autres catégories d’évaluation, en fonction des objectifs, de l’étendue, de l’objet évalué, de la nature (ou type) d’évaluation. Certaines des méthodes que nous allons évoquer peuvent être appliquées à ces catégories mais nos examples seront basées sur l’évaluation d’impact des projets, et dans le contexte des pays en développement en général.
12
![Page 13: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/13.jpg)
Programme de l’Atelier1. Introduction [10 minutes]
2. L’approche ESR en bref [30 minutes]
3. Les participants se présentent et échangent leurs expériences de situations et contraintes d’ESR, en petits groupes. [30 minutes]
4. Bréve revue des méthodologies, modéles logiques, outils et techniques de l’Evaluation d’Impact enSituationRéelle, avec l’accent sur l’évaluation d’impact [75 minutes]
--- petite pause [20 minutes]---
5. Que faire en l’absence de Situation de Référence: Reconstruire une Situation de Référence [30 minutes]
6. Exercice en petits groupes Partie I: lire l’étude de cas et comencer la discussion [45 minutes]
-- déjeuner [60 minutes] ---
7. Comment concevoir ce qui aurait été en l’absence de projet: l’alternative au contrefactuel [30 minutes]
8. Discussion pleinière: Réalités pratiques dans l’application des approches ESR: Défis et Stratégies [30 minutes]
9. Exercices en petits groupes, Partie II: 'Clients’ et ‘consultants’ re-négotient les TDRs de l’évaluation de l’étude de cas [60 minutes]
10. Feedback de l’exercice [20 minutes]
11. Discussions en vrac, évaluation de l’atelier [40 minutes] (fin prévue à 17h00 )
![Page 14: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/14.jpg)
14
Vue d’ensemble de l’Approche ESR
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 2
![Page 15: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/15.jpg)
15
Scénarios d’Évaluation en SituationRéelle
Scénario 1: L’équipe d’évaluation n’entre en scène que vers la fin du projetPour des raisons politiques, techniques ou budgétaires :• Il n’a pas eu de plan d’évaluation du projet• Il n’y a pas eu d’enquête initiale (étude de base)
• Les personnes chargées de la mise en œuvre n’ont pas collecté de données convenables sur les participants au projet au début ou en cours
• Il est difficile de collecter des données sur des groupes de contrôle comparables
![Page 16: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/16.jpg)
16
Scénario 2: L’équipe d’évaluation entre en scène au début du projet mais, pour des raisons budgétaires, politiques ou méthodologiques:• L’enquête initiale était une évaluation des
besoins, pas une étude de base comparable à l’évaluation finale
• Il n’a pas été possible de collecter des données de base sur le groupe témoin
Scénarios d’Évaluation en SituationRéelle
![Page 17: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/17.jpg)
17
Appel à la Réalité – Défis de la SituationRéelle en Evaluation• Trop souvent, l’évaluation n’entre pas en ligne de
compte à la conception du projet – on n’y pense qu’à la fin
• Pas de données de base, du moins comparables à l’évaluation
• Pas de groupe de contrôle/témoin en place ou possible• Temps et ressources limités pour l’évaluation• Attentes spécifiques des clients quant à ce qu’ils
espèrent ressortir de l’évaluation• Mauvaise compréhension de l’évaluation, méfiance
chez beaucoup de parties prenantes; beaucoup la voient comme une menace (n’aiment pas être jugés)
![Page 18: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/18.jpg)
18
Evaluation en SituationRéelle: Buts visés par le Contrôle Qualité
Parvenir à une évaluation la plus rigoureuse possible compte tenu des limites imposées par le contexte
Identifier les faiblesses méthodologiques du modèle d’évaluation et y remédier
Négocier avec les clients des solutions tenant compte de la rigueur souhaitée et des ressources disponibles
Reconnaître dans la présentation des constatations les faiblesses méthodologiques et leur effet sur la généralisation à des populations plus vastes
![Page 19: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/19.jpg)
19
Le Besoin comblé par l’Evaluation en SituationRéelle
Du fait de ce type de contraintes, beaucoup des principes de base gouvernant la conception des évaluations d’impact (conception semblable pour les pré-tests et les post-tests, groupe témoin, conception et mise à l’essai d’instruments, échantillonnage aléatoire, contrôle des biais attribuables à l’évaluateur, documentation détaillée de la méthodologie d’évaluation, etc.) sont souvent ignorés.
![Page 20: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/20.jpg)
20
L’Approche de l’Evaluation en SituationRéelle
Une approche intégrée pour garantir des normes acceptables de rigueur méthodologique face aux contraintes de budget, temps, d’argent, de données et de situation politique en SituationRéelle.
cf le livre “RealWorld Evaluation” ou bien le “Condensed Summary” pour plus de détail
![Page 21: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/21.jpg)
Bamberg
er Rugh Mabr
y
RealWorld Evaluation
Working Under Budget, Time, Data, and Political Constraints
Michael Bamberger
Jim Rugh
Linda Mabry
EDITION
2
EDITION
This book addresses the challenges of conducting program evaluations in real-world contexts where evaluators and their clients face budget and time constraints and where critical data may be missing. The book is organized around a seven-step model developed by the authors, which has been tested and refined in workshops and in practice. Vignettes and case studies—representing evaluations from a variety of
geographic regions and sectors—demonstrate adaptive possibilities for small projects with budgets of a few thousand dollars to large-scale, long-term evaluations of complex programs. The text incorporates
quantitative, qualitative, and mixed-method designs and this Second Edition reflects important developments in the field over the last five years.
New to the Second Edit ion: ·Adds two new chapters on organizing and managing evaluations, including how to
strengthen capacity and promote the institutionalization of evaluation systems ·Includes a new chapter on the evaluation of complex development interventions, with a
number of promising new approaches presented ·Incorporates new material, including on ethical standards, debates over the “best” evaluation designs and how to assess their validity, and the importance of understanding settings ·Expands the discussion of program theory, incorporating theory of change, contextual and
process analysis, multi-level logic models, using competing theories, and trajectory analysis ·Provides case studies of each of the 19 evaluation designs, showing how they have been
applied in the field
“This book represents a significant achievement. The authors have succeeded in creating a book that can be used in a wide variety of locations and by a large community of evaluation practitioners.”
—Michael D. Niles, Missouri Western State University
“This book is exceptional and unique in the way that it combines foundational knowledge from social sciences with theory and methods that are specific to evaluation.”
—Gary Miron, Western Michigan University
“The book represents a very good and timely contribution worth having on an evaluator’s shelf, especially if you work in the international development arena.”
—Thomaz Chianca, independent evaluation consultant, Rio de Janeiro, Brazil
2 EDITION
RealWorld Evaluation
![Page 22: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/22.jpg)
22
L’Approche de l’Evaluation en SituationRéelle
Mise au point pour aider les praticiens de l’évaluation et les clients• Gestionnaires, organismes de financement et
consultants externes Une approche encore en évolution (nous
continuons à apprendre d’ateliers comme le vôtre) Conçue à l’origine pour les pays en
développement, mais applicable aussi aux pays industrialisés.
![Page 23: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/23.jpg)
23
Difficultés spécifiques à l’Evaluation dans les pays en développement
Absence de données secondaires nécessaires Ressources locales en évaluation restreintes Budgets d’évaluation limités Contraintes institutionnelles et politiques Culture d’évaluation absente (noter le rôle de
palliatif des réseaux d’évaluation) Les évaluations conçues en priorité par et
pour la coopération internationale, reflètent rarement les priorités locales et nationales
![Page 24: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/24.jpg)
24
En dépit de ces difficultés, il y a une demande grandissante pour des évaluations méthodologiquement rigoureuses pour déterminer les impacts, la durabilité et la « replicabilité » des projets et programmes de développement.
(à développer plus tard)
Attentes en matière d’évaluations « rigoureuses »
![Page 25: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/25.jpg)
25
La plupart des instruments d’ESR ne sont pas nouveaux – seule l’approche intégrée l’est
La plupart des outils de collecte et d’analyse des données dans l’Evaluation en SituationRéelle sont connus des évaluateurs.
Ce qui est nouveau c’est l’approche intégratée qui combine un large éventail d’instruments adaptés pour produire des évaluations de la meilleure qualité possible face aux contraintes de la SituationRéelle.
![Page 26: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/26.jpg)
26
Qu’est-ce qui spécial dans l’approche ESR?
Il existe une série d’étapes, chacune ayant une liste de contrôles pour identifier les contraintes et déterminer les moyens d’action
Ces étapes sont listées sur la diapo suivante suivies d’un organigramme plus détaillé …
![Page 27: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/27.jpg)
27
Les étapes de l’Approche de l’Evaluation en SituationRéelle
Étape 1 : Planifier l’évaluation et en cerner le champÉtape 2 : Composer avec les contraintes budgétairesÉtape 3 : Composer avec les contraintes temporellesÉtape 4 : Composer avec les contraintes en termes des
données disponiblesÉtape 5 : Composer avec les contraintes politiquesÉtape 6 : Identifier les forces et les faiblesses du
modèle d’évaluationÉtape 7: Aider les clients dans l’utilisation de l’évaluation
![Page 28: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/28.jpg)
L’Approche de l’Évaluation en SituationRéelle
1e étape : Planifier l’évaluation et en cerner le champA. Cerner les besoins du client en matière d’information et comprendre le contexte politique B. Définir le modèle de la théorie de programmeC. Identifier les contraintes (temps, argent, contexte politique) dont il faudra tenir compte dans l’ESRD. Sélectionner l’approche qui répond le mieux aux besoins des clients compte tenu des contraintes pour l’ESR
2e étape : Composer avec les contraintes
budgétairesA. Modifier le modèle d’éval. B. Rationaliser les besoins pour les donnéesC. Chercher des données secondaires fiablesD.Réviser le plan d’échantillonnageE. Trouver des méthodes abordables pour collecter les données
3e étape : Composer avec les contraintes temporelles
Tous les outils de l’étape 2 plus F. Commissionner des études préliminaires G. Embaucher plus de personnes ressource H. Réviser le format des documents de projet pour inclure des données essentielles pour l’analyse d’impact I. Utiliser la technologie moderne pour la collecte et l’analyse des données
4e étape : Composer avec les contraintes en termes de
données A. Reconstruire les données de base B. Recréer des groupes de contrôle C. Travailler avec des groupes de contrôle non équivalents D. Collecter des données sur les sujets délicats ou auprès des groupes difficiles à atteindre
6ème étape : Renforcer le modèle d’évaluation et la validité des conclusions
A. Identifier les obstacles à la validité des modèles d’évaluation quasi expérimentaux
B. Déterminer dans quelle mesure les modèles qualitatifs conviennent
C. Utiliser une liste de contrôle intégrée pour les modèles multi-méthodes
7ème étape : Aider les clients à faire usage de l’évaluation
A. UtilisationB. ApplicationC. OrientationD. Action
5e étape : Composer avec les influences politiques
A. Répondre aux pressions des organismes de financement en ce qui concerne la conception de l’évaluationB. Tenir compte des préférences méthodologiques des parties concernéesC. Reconnaître l’influence des paradigmes de recherche professionnels
28
![Page 29: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/29.jpg)
29
Nous n’aurons pas le temps de couvrir toutes ces étapes aujourdhui
Nous allons nous concentrer sur:L’Etendue de l’évaluationLa Concecption de l’EvaluationLes modéles logiquesLa Reconstruction des situations de référenceL’Alternative au countrefactuelL’Evaluation d’Impact Réaliste, HolistiqueLa Négotiation des TDRs
![Page 30: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/30.jpg)
30
Planifier l’évaluation et en cerner le champ
Comprendre les besoins du client en matière d’information
Définir le modèle de la théorie de programme
Identifier, de façon préliminaire, les contraintes dont il faudra tenir compte dans l’Évaluation en SituationRéelle
![Page 31: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/31.jpg)
31
Comprendre les besoins du client en matière d’information
Questions typiques pour lesquelles les clients souhaitent une réponse :
Le projet atteint-il ses objectifs? Est-ce que tous les secteurs de la
population cible bénéficient? Les résultats obtenus sont-ils durables? Quels sont les facteurs contextuels qui
déterminent la mesure de la réussite ou de l’échec?
![Page 32: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/32.jpg)
32
Une bonne compréhension des besoins d’information du client peut souvent aider à limiter les types d’information collectés et le niveau de détail et de rigueur nécessaire
Mais cette bonne compréhension peut aussi augmenter la quantité d’information requise
Comprendre les besoins du client en matière d’information
![Page 33: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/33.jpg)
1. Qui a demandé l’évaluation? (Qui sont les acteurs clefs)?
2. Quelles sont les questions clefs?
3. S’agira-t-il d’une évaluation dévelopmentale, formative, ou sommative?
4. Est-il prévu une prochaine phase, la conception d’autres projets sur base de cette évaluation?
33
Autres questions à adresser en préparant des TDRs d’évaluation
![Page 34: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/34.jpg)
5. Quelles décisions seront prises en réponse aux conclusions de l’évaluation?
6. Quel est le niveau de rigueur adéquat?7. Quelle est l’étendue / l’échelle de
l’évaluation / l’objet (chose sur laquelle porte) à évaluer?
8. Quel est le temps utile / disponible?9. Quels sont les besoins financiers / les
disponibilités?
Autres questions à adresser en préparant des TDRs d’évaluation
34
![Page 35: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/35.jpg)
10. L’évaluation se basera-t-elle sur des méthodes quantitatives ou qualitatives?
11. Les méthodes participatives seront-elles utilisées?
12. Peut-il y avoir une enquête des ménages / est-ce nécessaire?
13. Qui devra être interrogé?14. Qui devra être impliqué dans la
planification / la conduite de l’évaluation?15. Quels médias préférables pour
communiquer les conclusions aux différents?
Autres questions à adresser en préparant des TDRs d’évaluation
35
![Page 36: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/36.jpg)
Tout cela aide, ou crée encore plus de confusion? Qui a dit que les évaluations (comme la vie) seraient faciles?!!
Modèle d’évaluation (recherche) ?
Questions principales ?
Quoi évaluer (evaluand ) ?
Qualitative ?
Quantitative ?
Champ / Etendue ?
Niveau de rigueur qui convient ?
Ressources disponibles ?
Temps disponible ?
Compétences disponibles ?
Une évaluation POUR qui ?
Participative ?
Extractive ?
36
![Page 37: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/37.jpg)
Avant de retourner aux étapes de la
SituationRéelle, regardons de prés les niveaux de rigueur, et à quoi peut
ressembler un plan d’évaluation qui couvre la
vie du projet
37
![Page 38: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/38.jpg)
Différent niveaux de rigueurdépend de la source de preuve; du niveau de confiance; de l’utilisation de l’information
Niveau 0: les impressions du décideur basées sur des anecdotes ou rumeurs entendues au cours de bréves rencontres (discussions de couloirs), généralement des intuitions; Niveau de confiance +/- 50%; Décision prise en quelques secondes
Niveau 1: On demande à quelques personnes leur avis sur le projet; P= +/- 40% décision prise en quelques minutes
Niveau 3: Une enquête rapide est réalisée sur un échantillon acceptable de; P= +/- 10% décideur lit le résumé de 10 pages du rapport
Niveau 2: Un sélection relativement bonne de personnes diverses est interrogée sur son appréciation du projet; P= +/- 25% décideur lit au moins le résumé exécutif du rapport
Niveau 4: Echantillon représentatif de la population cible utilisant les bonnes méthodes d’échantillonnage et de collecte de données; P= +/- 5% décideur lit tout le rapport
Niveau 5: Un projet de recherche avancée est entrepris pour conduire une analyse en profondeur de la situation; P= +/- 1% livre publié!
Objectif, grande précision – mais requiert plus de temps et de ressources
Rapide & bon marché – mais subjectif, peu solide 38
![Page 39: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/39.jpg)
Séle
ctio
n A
léat
oire
d’E
chan
tillo
n
Qua
lité
du Q
uest
ionn
aire
Fiab
ilité
& V
alid
ité d
es in
dica
teur
s
Qua
lité
de la
Col
lect
e de
don
nées
Prof
onde
ur d
e l’A
naly
se
Rap
port
s &
Util
isat
ion
LA QUALITE DE L’INFORMATION PRODUITE PAR UNE EVALUATION DEPEND DU DEGRE DE RIGUEUR DE TOUTES LES COMPOSANTES
REALISER UNE EVALUATION EST COMME POSER UNE CANALISATION
![Page 40: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/40.jpg)
Séle
ctio
n A
léat
oire
d’E
chan
tillo
n
Qua
lité
du Q
uest
ionn
aire
Fiab
ilité
& V
alid
ité d
es in
dica
teur
s
Qua
lité
de la
Col
lect
e de
don
nées
Prof
onde
ur d
e l’A
naly
se
Rap
port
s &
Util
isat
ion
NIVEAU DU “FLUX” (QUALITY) DE L’INFORMATION IS LIMITE A LA PLUS FAIBLE COMPOSANTE DU “CANAL” DE L’ENQUETE
![Page 41: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/41.jpg)
Determiner les degrés de précision appropriés
pour les éléments d’un plan d’évaluation couvrant la Vie-du-projet
Auto-évaluationannuelle
Evaluation mi-parcours
Enquête debase
Analyse desBesoins
Evaluation Finale
Temps au cours du cycle de vie du project
Etude Spéciale
Même degré de rigueur
Rigueur Elevée
Rigueur faible
2
3
4
41
![Page 42: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/42.jpg)
TEMPS POUR DISCUSSION EN PETITS GROUPES
42
Session 3
![Page 43: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/43.jpg)
43
1. Présentez-vous
2. Quelles contraintes analogues avez-vous
affronté dans votre pratique d’évaluation?
3. Comment avez-vous réagi?
![Page 44: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/44.jpg)
44
SCHEMAS D’EVALUATION
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 4.a.
![Page 45: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/45.jpg)
45
1. Une relation directe cause-effet liant un extrant (ou un nombre réduit d’extrants) à un résultat qui peut être mesuré à la fin du projet de recherche? une attribution assez claire.
… OU …
2. Des changements dans les indicateurs de haut-niveau mesurant l’amélioration persistante de la qualité de vie des individus, ex. les OMDs (Objectifs du Millénnaire pour le Dévelopment)? Plus significatif mais beaucoup plus difficile pour établir l’attribution directe.
En quoi consiste alors une “évaluation d’impact rigoureuse”?
![Page 46: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/46.jpg)
46
OECD-DAC (2002: 24) définit l’impact comme “Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non. Ces effets peuvent être économiques, socioculturels, environementaux, technologiques ou autre”.
L’attribution directe est-elle mentionnée ou induite? Qu’en est-il de l’utilisation de contrefactuels ou de Contrôles Aléatoires d’Essai (CAE)?
En quoi consiste alors une “évaluation d’impact rigoureuse”?
![Page 47: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/47.jpg)
47
Formative: apprentisage et amélioration y compris l’identification précoce de problémes éventuels
Génération de Connaissance: identifier les relations et les principes génériques de l’éfficacité.
Redevabilité: démontrer que les ressources sont utilisées de façon efficiente pour atteindre les résultats souhaités
Jugement Sommatif: déterminer la valeur et le devenir du programme
Evaluation développementale: adaptation en contexte complexe, émergent et dynamique
-- Michael Quinn Patton, Utilization-Focused Evaluation, 4th edition, pages 139-140
Quelques objectifs de l’évaluation de programme
![Page 48: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/48.jpg)
48
Determiner un modéle d’évaluation qui convient (et qui est réaliste)
A partir de l’objectif principal d’une évaluation, de la compréhension des besoins d’information du client, du dégré de rigueur requis, et ce qui est faisable du fait des contraintes, l’évaluateur et le client peuvent déterminer le modéle d’évaluation adapté aux circonstances.
![Page 49: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/49.jpg)
49
Quelques considérations relatives à la conception de l'évaluation
1: Quand l’évaluation se passe (référence, mi-parcours, fin)
2. Revue de différents modéles (expérimental, quasi-expérimental, autre)
3: Degré de rigueur4: Méthodes qualitatives & quantitatives5: Une vision du schéma d’évaluation qui
couvre la Vie-du-project.
![Page 50: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/50.jpg)
Étude de base
Évaluation en fin de projet
Pour illustrer la nécessité d’un modèle d’évaluation chronologique et longitudinal quasi expérimental
Participants au projet
Groupe témoin
Évaluation post projet
Introduction aux différents modèles d’évaluation
Échelle des grands indicateurs d’impact50
![Page 51: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/51.jpg)
D’accord, on s’arrête un instant pour identifier chacun des grands types de modèles
d’évaluation (recherche)…
… un à la fois en commençant par les plus rigoureux
.
51
![Page 52: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/52.jpg)
First of all: the key to the traditional symbols:
X = Intervention (traitement), c’e.-à-d. ce que le projet fait dans la collectivité
O = Observation (c’e.-à-d. état des lieux, évaluation à mi-parcours, évaluation en fin de projet)
P (ligne du haut) : participants au Projet C (ligne du bas) : groupe Témoin (Contrôle)
52
Note: les 7 méthodes d’ESR sont exposées en page 8 de la revue du livre RealWorld Evaluation
![Page 53: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/53.jpg)
Étude de base
Évaluation en fin de projet
Groupe témoin
Évaluation post-projet
Modèle 1 : Longitudinal quasi expérimental
P1 X P2 X P3 P4
C1 C2 C3 C4
Participants au projet
Évaluation à mi-parcours
53
![Page 54: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/54.jpg)
Étude de base
Évaluation en fin de projet
Groupe témoin
Modèle 2 : Quasi expérimental (pré+post, avec ‘témoin’)
P1 X P2
C1 C2
Participants au projet
54
![Page 55: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/55.jpg)
Etude de base Evaluation en fin de projet
Groupe controle
Modéle #2+: Essais à Contrôle Aléatoire
P1 X P2
C1 C2
Participants au projet
55
Sujets de récherche assignés aléatoirement au projet ou au groupe controle.
![Page 56: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/56.jpg)
Évaluation en fin de projet
Groupe témoin
Modèle 3 : Longitudinal tronqué
X P1 X P2
C1 C2
Participants au projet
Évaluation à mi-parcours
56
![Page 57: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/57.jpg)
Étude de base
Évaluation en fin de projet
Groupe témoin
Modèle 4 : Pré+post projet, comparaison post seulement
P1 X P2
C
Participants au projet
57
![Page 58: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/58.jpg)
58
Évaluation en fin de projet
Groupe témoin
Modèle 5 : post-test avec groupe de projet et groupe témoin
X P
C
Participants au projet
![Page 59: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/59.jpg)
Étude de base
Évaluation en fin de projet
Modèle 6 : pré+post projet, pas de comparaison
P1 X P2
Participants au projet
59
![Page 60: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/60.jpg)
end of project evaluation
Design #7: post test avec juste les participants au projet
X P
Participants au projet
60
Besoin de remplir les données manquantes utilisant d’autres moyens :• Quels changements ont eu lieu au cours de la vie
du projet?• Que se serait-il passé sans le projet
(countrefactuel)?• Dans quelle mesure ce changement est
pérenne?
![Page 61: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/61.jpg)
61
Design
T1
(baseline)
X(intervention)
T2
(midterm)
X(intervention,
cont.)
T3
(endline)
T4
(ex-post)
1 P1
C1
XP2
C2
XP3
C3
P4
C4
2 P1
C1
X XP2
C2
3X
P1
C1
XP2
C2
4P1 X X
P2
C2
5X X
P1
C1
6 P1 X X P2
7 X X P1
Cf. Table 2.2 en page 8 de la Revue Condensée du RWE
![Page 62: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/62.jpg)
62
MODELES LOGIQUES
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 4.b.
![Page 63: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/63.jpg)
63
Définir le modéle de la théorie de programme
Tous les programmes sont fondés sur un ensemble d’hypothèses quant aux façons dont les interventions du projet devraient mener aux effets directs souhaités
Ceci est parfois énoncé clairement dans les documents de projet
Dans d’autres cas, ces hypothèses sont implicites et l’évaluateur doit aider les parties concernées à définir les hypothèses au moyen d’un modèle logique.
![Page 64: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/64.jpg)
64
Définir et tester les hypothèses clefs est un élément essentiel (mais souvent ignoré) des modèles de théorie de programmes
Le modèle suivant est pour évaluer les impacts du microcrédit en termes d’augmentation de l’autonomie sociale et économique des femmes
Définir le modéle de la théorie de programme
![Page 65: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/65.jpg)
65
Pérennité• Les changements structurels méneront aux impacts à long terme.
Impacts à moyen et long terme• L’autonomie économique et sociale des femmes a augmenté. • Le bien-être social et économique des femmes et de leur famille va
s’améliorer. Effets directs à court terme
• Si les femmes obtiennent des prêts, elles se lanceront dans d’autres activités génératrices de revenus
• Les femmes pourront contrôler l’usage des prêts et rembourseront. Extrants
• Si le crédit leur est accessible, les femmes voudront le solliciter et l’obtenir, ainsi que l’Assistance Technique.
Hypothéses essentielles de la Chaine Logique dans un Programme de Micro-Crédit Exclusivement-Genre
![Page 66: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/66.jpg)
Example de menace à la validité interne: le modéle causal supposé
Les femmes adhérent à la banque du village, Recoivent les prêts, Apprennent les compétences et acquiérent la confiance en soiCE QUI ………
Augmente le revenudes femmes
Augmente le contrôle des femmes sur
Les ressources du ménageCE QUI …
![Page 67: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/67.jpg)
Un modéle causal alternatif
Certaines femmes ontdéjà pris des cours d’alphabétisation qui ont augmenté leur confiance en soi et
Leur compétence au travail
Les femmes qui ont prisLes cours d’alphabétisationsont plus susceptibles de joindre la banque du village
Leur alphabétisation etconfiance en soi en font
des entrepreneurs plus efficaces
Le revenu des femmes et leur contrôle des
Resources du ménageOnt augmenté du fait de
La combinaison de L’alphabétisation, la confiance en soi et
des prêts
![Page 68: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/68.jpg)
PROBLEME
CAUSE PRIMAIRE 2
CAUSE PRIMAIRE 1
CAUSE PRIMAIRE 3
Cause secondaire 2.2
Cause secondaire 2.3
Cause secondaire 2.1
Cause tertiaire 2.2.1
Cause tertiaire 2.2.2
Cause tertiaire 2.2.3
Conséquences Conséquences Conséquences
![Page 69: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/69.jpg)
IMPACT SOUHAITE
EFFET 2EFFET 1 EFFET 3
EXTRANT 2.2 EXTRANT 2.3EXTRANT 2.1
Intervention 2.2.1
Intervention 2.2.2
Intervention 2.2.3
Consequences Consequences Consequences
![Page 70: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/70.jpg)
Femmes Autonomisées
Jeunes femmes
éduquées
Femmes en position de
leaders
Opportunités économiques des femmes
Enrollment des femmes
augmente
Curriculae améliorés
Politiques d’éducation améliorées
Parents persuadés
d’envoyer les filles à l’école
Ecoles construites
Systéme scolaire recrute
et paie les enseignants
Reduction de la pauvreté
![Page 71: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/71.jpg)
Projet de plaidoyer: politiques
d’éducation améliorées mises en oeuvre
But du Programme: Jeunes femmes éduquées
Projet de Construction:
plus de classes
construites
Projet de formation
des enseignants :
meilleure qualité des curriculae
But du programme au niveau de l’impact
HYPOTHESE(que d’autres le fairont) Le PARTNAIRE le fera
NOTRE project
Pour avoir une synergie et atteindre l’impact tous ces besoins doivent
avoir une réponse d’une même population cible.
![Page 72: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/72.jpg)
Que faut-il pour mesurer les indicateurs à chaque niveau?
Effets: Changement de comportement des participants (peut faire l’objet d’une enquête annuelle)
Extrant: Mesuré et rapporté par le personnel du projet (annuellement)
Activités: Continues (suivi des interventions)
Investissements: Continues (comptes financiers)
Impact : Enquête de population (situation de référence, évaluation finale)
![Page 73: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/73.jpg)
Nous avons besoin de savoir Quel type d’évaluation est approprié pour mesurer à
un niveau donné• Impact • Effets
• Extrants• Activités• Investissements
SUIVI DE PERFORMANCE
EVALUATION DE PROJET
EVALUATION D’IMPACT
![Page 74: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/74.jpg)
74
Conception InvestissementsProcessus de mise en
oeuvre
Extrants Effets Impacts Durabilité
Contexte Economique
dans lequel le projet opère
Context Politique dans lequel le projet opère
Contexte Institutionel et
operationel
Caractérisqtues Socio-economiques et culturelles de la population d’intervention
Note: les cases orange font partie des Modéles de Théorie de Programme conventionnels. L’addition des cases bleues constitue le complément d’analyse recommandé
Un Modéle de Théorie de Programme (Logique)
![Page 75: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/75.jpg)
75
![Page 76: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/76.jpg)
Education Intervention Logic
Institutional Management
Curricula & Teaching Materials
Teacher Recruitment & Training
Education Facilities
Health
Better Allocation of Educational Resources
Increased Affordability of
Education
Optimal Employment
Skills and Learning
Enhancement
Equitable Access to Education
Quality of Education
Greater Income Opportunities
Economic Growth
Social Development
Poverty Reduction
OutputClusters
Outcomes Specific Impact
IntermediateImpacts
GlobalImpacts
Improved Participation in
Society
Improved Family Planning &
Health Awareness
MDG 3
MDG 2
MDG 1MDG 2
Source: OECE/DAC Network on Development Evaluation
![Page 77: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/77.jpg)
Intrant
Extrant
Effets
Intermédiaire
Impact
Donateurs (PTFs)
Gouvernment Autres donateurs
Crédit aux petits fermiers
Routes Rurales
EcolesServices de Santé
Revenu ménages ruraux augmenté
ProductionAccrue
Scolarisation accrue
Utilisation accrue des services de santé
Accés à l’emploi hors-ferme
Performance d’Education Améliorée
Santé Améliorée
Participation PolitiqueAccrue
Etendre la chaîne de résultats pour les programmes multi-donateurs, multi-composantes
L’Attribution devient trés difficile! Considérer les contributions possibles pour chacun
![Page 78: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/78.jpg)
78TEMPS POUR LA PAUSE ! 78
![Page 79: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/79.jpg)
En l’Absence de Référence
(etude de base)
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 5
![Page 80: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/80.jpg)
80
Moyens de reconstituer les conditions préalables
A. Données secondaires
B. Dossiers (archives) du project
C. Recours aux souvenirs
D. Répondants clefs
![Page 81: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/81.jpg)
81
Moyens utilisés pour reconstituer la situation préalable
E. MARP (Méthode Accélérée de Recherche Participative) et AAP (Apprentissage et Action Participatifs) et autres approches participatives tel que les échéanciers (ou lignes temporelles), les évènements critiques pour aider à établir la chronologie des changements importants dans la communauté
![Page 82: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/82.jpg)
82
Déterminer l’utilité des données secondaires
Période de référence Couverture de la population Inclusion des indicateurs requis Exhaustivité Exactitude Absence de biais
![Page 83: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/83.jpg)
83
Examples de données secondaires pour reconstituer la situation de référence Recensement Autres enquêtes par les agences du
gouvernement Etudes spéciales des ONGs, Donneurs, Recherches universitaires Médias (journaux, radio, TV) Données externes éventuellement
collectées par la structure de mise en oeuvre pour suivre les tendances
![Page 84: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/84.jpg)
84
Utilisation de l’information interne du projet
Types de données Etudes de Faisabilité/plannification Documents d’Application/d’enregistrement Rapports de Supervision Données du Systéme de Gestion de l’Information Les rapports et minutes des réunions Les minutes des réunions des agences et des
communautés Rapports de mise en oeuvre Documentation de suivi des activités
![Page 85: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/85.jpg)
85
Apprécier la validité des documents du projet
Qui a collecté les données, à quelles fins? La collecte était destinée à conservation les
archives, ou influencer les décideus politiques ou d’autres groupes?
Les données de Suivi concernent les activités seules ou les changements observés?
Les données éaient-elles à usage interne seulement? Pour un groupe restreint? Ou à usage public?
![Page 86: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/86.jpg)
86
Examples de Recours au Souvenir
Fréquentation scolaire et durée et coût du trajet Maladie/utilisation des établissements sanitaires Revenus et Dépenses Savoir/compétences individuels et collectifs Cohésion sociale/conflits Utilisation/qualité/coût de l’eau Périodes de stress Habitudes de déplacement
![Page 87: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/87.jpg)
87
Limites des Souvenirs
Generallement peu fiable en cas de besoin de données quantitatives précises
Biais de sélection de l’échantillon Distorsions délibérées ou non-intentionelles Peu d’études empiriques (sauf sur les
dépenses) pour aider à revoir les estimations
![Page 88: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/88.jpg)
88
Sources des biais dans les souvenirs
Qui fournit l’information Sous-estimation du souvenir sur les dépenses majeures Distorsion pour se conformer au comportement accepté:
• Intentionnel ou inconscient• Romancer/Glorifier le passé• Exagérer (ex.. “Nous n’avions rien avant l’arrivée de ce projet”)
Facteurs contextuels:• Les intervalles de temps utilisés en question• Les répondants ont leur idée sur ce que leur interlocuteur
cherche à savoir Implications du protocole d’interview
![Page 89: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/89.jpg)
89
Améliorer la Fiabilité du Souvenir
Faire de petites études pour comparer le souvenir aux enquêtes ou à d’autres éléments d’information.
S’assurer que tous les groupes pertinents ont été interrogés
Triangulation Lier le souvenir à d’importants évènements de
référence• Eléctions• Sécheresse/Inondation/tsunami/guerre/déplacement• Construction de routes, écoles, etc
![Page 90: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/90.jpg)
90
Répondants clefs
Pas seulement les officiels et VIPs Tout un chacun peut être informateur clef
dans sa propre situation:• Méres célibataires• Ouvriers des usines• Usagers des transports publics• Travailleurs du sexe• Enfants de la rue
![Page 91: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/91.jpg)
91
Guides pour l’analyse des informateurs clefs
Triangulation renforce sensiblement la validité et la compréhension
Inclure des informateurs ayant differentes expériences et perspectives
Comprendre le rôle de chaque informateur dans la structure d’ensemble
Répéter les interviews autant que nécéssaire Gestion prudente des considérations
éthiques
![Page 92: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/92.jpg)
92
MARP et autres techniques participatives
Les techniques de MARP et AAP sont pour la collecte de données au niveau du groupe ou de la communauté [pas au niveau individue]
Peut chercher à identifier un consensus ou au contraire des perspectives différentes
Risque de biais:• Si seulement certains groupes de la communauté
participent• Si certaines personnes dominent la discussion
![Page 93: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/93.jpg)
93
Résumé des limites de la reconstruction de données
Variations dans la fiabilité des souvenirs Distortion dans la mémoire Difficultés dans l’utilisation des données
secondaires Données secondaires incomplètes ou
non fiables Les informateurs peuvent pervertir les
récits
![Page 94: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/94.jpg)
Assez de presentations: temps vous (AGENTS de la
VieRéelle!) de passer l’action
![Page 95: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/95.jpg)
Temps pour le travail en petits groupes.
Lisez vos études de cas et commencez les
discussions.
![Page 96: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/96.jpg)
96
![Page 97: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/97.jpg)
1. Certains d’entre vous vont jouer le role de consultants en évaluation, d’autres celui de clients qui cherchent à engager une évaluation.
2. Convenez de ce que votre groupe propose face aux contraintes/défis indiqués.
3. Préparez-vous à négotier les TDRs avec l’autre groupe (dans l’aprés-midi)
Etudes de cas dans les petits groupes de travail
![Page 98: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/98.jpg)
L’objet de cet exercise est d’acquérir une certaine ‘touche’ pratique pour appliquer ce que nous avons appris sur l’évaluation en SituationRéelle.
Groupe A (consultants) L'équipe d'évaluation doit envisager comment ils vont proposer une conception de l'évaluation et un plan révisés qui réduisent le budget de 25% à 50%, tout en répondant aux besoins des deux clients (Services du logement de la Ville le bailleur de fonds international).
Groupe B (clients) Les clients vont aussi examiner la proposition initiale à la lumière de ce qu'ils ont appris sur l'évaluation en SituationRéelle, et se préparer à renégocier les plans avec le groupe de consultants. A noter: il existe deux types de clients: le ministère du Logement (exécution du projet) et les bailleurs de fonds internationaux (fondation).
Les groupes ont 45 minutes maintenant plus le temps de la pause déjeuner pour préparer leur cas.
Les groupes de ‘Consultants’ vont ensuite rencontrer les groupes de ‘Clients’ plus tard pour négotier leurs propositions révisées dans le plan de cette évaluation. 60 minutes seront disponibles pour ces sessions de négotiation.
![Page 99: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/99.jpg)
Déterminer les Countrefactuels
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 7
![Page 100: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/100.jpg)
100
Attribution et countrefactuels
Comment peut-on savoir si les changements observés chez les participants au projet ou les communautés• revenu, santé, attitudes, fréquentation de
l’école. etc
sont dues à la mise en oeuvre du projet • crédit, eau, bons de transpor, construction
d’écoles, etc
ou à d’autres facteurs indépendants?• changements dans l’économie, flux
migratoires, autres programmes de dévelopment, etc
![Page 101: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/101.jpg)
101
Le Countrefactuel
Quel changement aurait intervenu dans la condition de la population cible examinée en l’absence de l’intervention du projet?
![Page 102: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/102.jpg)
102
Où se trouve le countrefactuel?
Une étude a trouvé que le revenu moyen d’une famille a augmenté de 50% aprés 3 années de vie dans un nouveau logement alloué par un projet
Est-ce cela indique que le logement est un moyen efficace d’accroître le revenu?
![Page 103: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/103.jpg)
Comparer le projet avec deux groupes de comparaison possibles
2004 2009
250
500
750
I n c o m e
Le groupe du projet. 50% augmentation
Scenario 2. 50% croissance dans le groupe de comparaison:
Pas de preuve d’impact du projet
Scenario 1. Pas d’accroissement dans le revenu du groupe de
comparaison. Preuve potentielle de l’existence d’impact du projet
![Page 104: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/104.jpg)
104
Groupe de contrôle et Groupe de comparaison
Groupe de contrôle = assignation aléatoire de la population au groupe du projet et au groupe hors-projet
Groupe de comparison = procédure différente pour la sélection des groupes du projet et hors-projet; les 2 groupes restent toutefois similaires pour tout sauf l’exposition au projet (traitement, intervention)
![Page 105: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/105.jpg)
Les individus, communautés, écoles etc. éligibles sont assignés aléatoirement soit:
• au groupe du projet group (qui reçoit les services)
Ou
• au groupe de contrôle (qui n’a pas accés aux services du projet)
105
IE Designs: Experimental DesignsContrôles Aléatoires d'Essais
![Page 106: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/106.jpg)
Une illustration graphique du countrefactuel ‘ideal’ basé sur l’avant-project et l’assignation aléatoire
106Time
Prim
ary
Out
com
e
Impact
Counterfactual
Intervention
Trend line
Sujets assignés au hasard soit au…
Groupe Traité
Groupe de Contrôle
IMPACT
![Page 107: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/107.jpg)
107
Il existe d’autres méthodes pour déterminer le countrefactuel
Des données secondaires fiables qui indiquent les tendances pertinentes dans la population
Des données longitudinales de suivi (si couvrent la population non ciblée par le projet)
Les méthodes qualitative pour collecter l’avis des informants, participants, voisins, etc.
![Page 108: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/108.jpg)
108
Moyens de reconstruire les groupes de comparaison
Comparer le jugement des communautés Dans un projet à intégration par phases
aux services du projet, les bénéficiaires de phases ultérieures peuvent servir de groupe de comparaison “pipeline” comparison groups
Contrôles internes lorsque différents sujets reçoivent différentes combinaisons et niveaux de services.
![Page 109: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/109.jpg)
109
Utiliser le score de propension et d’autres outils pour renforcer les groupes de comparaison
Appariement sur le score de propension pour réduire le biais de recrutement
Les études d’évaluation Rapide permettent de comparer les charactéristiques des projets et groupes de comparaison en utilisant :• L’Observation• Les informateurs clefs• Des groupes Foci (Focus groups)• Des données secondaires• Des photos aériennes ou données des SIG / GIS
![Page 110: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/110.jpg)
110
Considérations dans la reconstruction des groupes de comparaison Il est difficile de répliquer (clôner) des zones
de projet souvent choisies à dessein En cas de differences entre les groupes du
projet et de comparaison groups – difficile de déterminer si les effets observés sont dues au project au aux différences initiales
Absence de donnée de qualité pour chosir le groupe comparaison
Contamination (les bonnes idées s’exportent!) Les méthodes économétriques ne peuvent
pas éliminer complétement les différences initiales entre groupes [non-observables]
![Page 111: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/111.jpg)
111
Quelles a été votre expérience dans l’identification de données
countrefactuelles?
![Page 112: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/112.jpg)
Défis et Stratégies
Evaluation en SituationRéelle
Concevoir des évaluations en tenant compte des contraintes associées au budget, aux délais, à la disponibilité des données et à la
situation politique
Session 8
![Page 113: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/113.jpg)
113
Qu’
il es
t
mer
veill
eux
et
dive
rs le
mon
de
dans
lequ
el
nous
viv
ons!
Nous
avon
s su
rem
ent
beso
in d
’une
div
ersi
ty
d’ap
proc
hes
en
éval
uatio
n!
![Page 114: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/114.jpg)
114
Discutons des défis pour réaliser des évaluations d’impact dans le monde
réel.
![Page 115: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/115.jpg)
115
Some recent developments in impact evaluation in development
J-PAL is best understood as a network of affiliated researchers … united by their use of the randomized trial methodology…
2003
2010
2008
2006
2009
Impact Evaluation for Improving Development – 3ie and AfrEA conference in Cairo March 2009
![Page 116: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/116.jpg)
116
Alors, est-ce à dire que l’allocation aléatoire (CAE/RCTs) constiuent la Régle d’Or et devrait être
utilisé dans la plupart voire la totalité des évaluations d’impcat de programmes?
Oui ou Non?
Si Oui, dans quelles ciconstances utiliser ces méhodes?
Pourquoi ou Pourquoi pas?
Si non, dans quelles circonstances seraient-elles plus indiquées?
![Page 117: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/117.jpg)
Differentes visions sont nécéssaires pour des situations différentes en
SituationRéelle
Simple Compliqué ComplexeSuivre une recette Envoyer une roquette à
la luneEudquer un enfant
Les Recettes sont testés pour assurer une répétition facile
Envoyer une roquette à la lune accroît l’assurance que le prochain sera aussi un succés
Eduquer une enfants procure de l’expérience mais n’est pas une garantie de succés pour le prochain
Les meilleures recettes donnent de bons résultats à chaque fois
Il ya un grand degré de certitude du résultat
Incertitude quant au résultat
Source: Westley et al (2006) and Stacey (2007), cité in Patton 2008; également présenté par Patricia Rodgers à la conference sur l’evaluation d’impact au Caire en 09.
117
![Page 118: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/118.jpg)
Adapted from Patricia Rogers, RMIT University 118
Politique basée sur l’Evidence pour des interevntion simples (ou des aspects simples): quand les essais aléatoires peuvent être utiles
Question à poser pour la Politique Qu’est-ce qui marche?
A quoi ressemblent les interventions
Intervention distincte, standard
Modéle Logique
Comment les interventions fonctionnent
Relation cause effet simple, directe
Même chose partout dans une large mesure
Processus nécéssaire à l’émergence de l’ émegence de l’évidence
uptake Transfert de Connaissance
![Page 119: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/119.jpg)
119
Les programmes compliqués, complex, avec de multiple interventions et une variété d’actors
Projets réalisés en contexte de turbulence (ex. conflits, désastre naturel)
Projets ayant des modéls logiques à différentes strates, des relations cause-effet peu claires, des “énoncés de vision“ de trés haut niveau (comme c’est souvent le cas en SituationRéelle ou dans les projets de développement de la coopération internationale)
Quand l’évaluation rigoureuse des indicateurs d’impact de haut-niveau n’est pas nécéssaire?)
![Page 120: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/120.jpg)
120
Les évaluateurs pourraient considérer l’approche suivante: si la corrélation entre les effets intemédiaires (outcomes) et l’impact de plus haut niveau ont été établis de façon adéquate par la recherche ou des évaluation antérieures, alors on pourait se limiter à évaluer les indicateurs de résultat intérmédiaire, pour autant qu’il soit possible de prouver que le contexte (conditions internes et externes) est suffisament similaire au context dans lequel de telles corrélarions ont été testées.
Quand les évaluations rigoureuses des indicateurs “impact” de hau-niveau pourraient nepas être nécessaires?
![Page 121: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/121.jpg)
121
Examples de corrélations cause-effect correlations généralement acceptées
• Vacciner les jeunes enfants utilisant les protocoles et vaccins connus aux âges prescrites entraîne la réduction de maladies infantiles (moyens de vérification comprennent examiner les diagrammes de santé des enfants, pas seulement la quantité de vaccins distribués aux cliniques.)
• Autres exemples … ?
![Page 122: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/122.jpg)
122
Mais regardons les examples d’interventions qui ont fait l’objet de “test rigoureux” usant les essais
aléatoires
• Les transferts de Cash Conditionnels• L’utilisation de l’aide visuelle dans les écoles
du Kenya• Déparatisage des enfants (comme si cela était
tout ce qu’il y avait à faire pour les rendre aptés à recevoir une bonne éducation)
• À noter que de genre de recherche se base sur la quête de Points d’argent – des solutions simples, à coûts réduits pour des problémes complexes.
![Page 123: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/123.jpg)
Quoted by Patricia Rogers, RMIT University 123
“Une réponse approximative à la bonne question, est souvent vague, est bien meilleure qu’une réponse exacte à la mauvaise question, qui peut toujours être précisée”.“
J. W. Tukey (1962, page 13), "The future of data analysis". Annals of Mathematical Statistics 33(1), pp. 1-67.
![Page 124: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/124.jpg)
124
“Un expert est quelqu’un qui connaît de plus en plus sur de moins en moins jusqu’au moment où il connaîtra absolument tout sur rien du tout.”*
*Quoted by a friend; also available at www.murphys-laws.com
![Page 125: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/125.jpg)
125
Est-ce cela ce que nous appelons “Méthode scientifique”?
Il existe bien plus sur l’impact, la rigeur et “la méthode scientifique” que les seuls Essais Aléatoires. Les évaluations d’impacts sérieuses requiérent une approche plus holistique.
![Page 126: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/126.jpg)
IMPACT SOUHAITE
OUTCOME 2
EFFET 1 EFFET 3
OUTPUT 2.2 OUTPUT 2.3OUTPUT 2.1
Intervention 2.2.1
Intervention 2.2.2
Intervention 2.2.3
Consequences Consequences Consequences
EContrôles Aléatoires
d’Essai
Un modèle plus comprehensive
![Page 127: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/127.jpg)
Patricia Rogers, RMIT University 127
Il peut y avoir des problémes de validité avec les CAEs
Validité Interne
Problémes de quality – mauvaise mesure, faible respect de l’aléatoire, pouvoir statistique faible, effets différentiels ignorés, comparaisons inappropriée, pêche à la signification statistique, attrition différentielle entre groupes de traitement et de contrôle, des fuites dans le traitement, une influence non planifiée, faible qualité de la mise en oeuvre non identifiée.
Autres considérations – erreurs dans l’aléatoire, contamination d’autres sources, need d’un paquet causel compley, random error, contamination from other sources, need for a complete causal package, défaut d’aveuglement.
Validité Externe
Efficacité dans la pratique en situation réelle, transférabilité à de nouvelles to situations
![Page 128: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/128.jpg)
128
Utilisée limitée des modéles rigoureuses d’évaluation
En SituationRéelle (au moins dans les programmes de développement international) nous estimons que:
• Moins de 5%-10% des évaluations d’impact de projets utilisent une méthode expériementale ou quai-expérimentale solide
• moins de 5% d’entre elles se font au moyens de contrôles aléatoires (la méthode expérimentale ‘pure’), ce qui est peu significatif,
![Page 129: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/129.jpg)
Dans le contexte réel de la coopération international au développement, quels modés d’évaluation sont effectivement utilisés? Conclsions de méta-evaluations portant sur 336 rapports d’évaluation d’une ONG Internationale
Post-test seuls 59%
Avant-et-Aprés 25%
Avec-et-Sans 15%
Autre contrefactual
1%
![Page 130: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/130.jpg)
1) Une large consultation et l’implication d’une diversité de parties prenantes,
2) L’articulation d’un modéle logique compréhensif, qui prévoit les influences extérieures pertinentes,
3) Un accord sur le “niveau d’impact” souhaitable, en termes d’objetifs et d’indicateurs,
4) Adapter les shémas d’évaluation, tout comme la collecte de données et l’analyse méthodologique pour répondre aux questions posées, …
Des évaluations d’impact rigoureuses devraient inclure (sans être limité à):
![Page 131: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/131.jpg)
5) Un suivi et la documentation adéquate du processus au travers de la vie du projet objet de l’évaluation, 6) l’utilisation d’une combinaison adéquate de méthodes pour trianguler l’évidence qui est en cours de collecte, 7) Être suffisamment flexible pour intégrer un contexte évolutif, …
Des évaluations d’impact rigoureuses devraient inclure (sans être limité à):
![Page 132: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/132.jpg)
8) l’utilisation d’une variété de moyens pour déterminer le contrefactuel, 9) l’estimation de la pérénnité probable des changements en observation,10) La communication des conclusions à differents publics de façon utile, 11) etc. …
Des évaluations d’impact rigoureuses devraient inclure (sans être limité à):
![Page 133: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/133.jpg)
Ce qu’il faut retenir est que la liste de ce qui est requis pour une évaluation d’impact ‘rigoureuse’ va bien au delà du hasard dans la sélection des groupes de traitement et de ‘controle’.
![Page 134: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/134.jpg)
Chercher à réaliser une évaluation d’impact d’un programme au moyen d’un seul outil pré-déterminé est un signe de myopie, ce qui est dommage.
D’un autre côté, prescrire aux donateurs et aux responsables des agences de coopération qu’il existe une seule méthode de prédilection pour mener toutes les évaluations d’impact peut avoir et a eu des conséquences fâcheuses pour tous ceux qui sont impliqués dans la conception, la réalisation et l’évaluation des programmes internationaux de dévelopment.
![Page 135: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/135.jpg)
Nous devons être prudents en utilisant l’“Etalon d’Or”
de ne pas porter atteinte à la“Régle d’Or”:
“Ne juge pas ce en quoi tu ne souhaites pas être jugé!”
En d’autres termes:“Evaluez autrui comme tu voudrais
les voir t’évaluer.”
![Page 136: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/136.jpg)
Attention: Trop souvent ce qui est appelé Evaluation d’Impact est basé sur une paradigme du genre “nous t’examinerons et te jugerons’”. Et au moment d’évaluer nos propres programmes, nous préférons une approche plus holistique.
![Page 137: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/137.jpg)
Pour utiliser le language du CAD/OCDE, assurons-nous que nos évaluations se font en référence à ces critères: PERTINENCE: dans quelle mesure l’activité finacée par l’aide est-t-elle en phase avec les priorités et les politiques du groupe cible, bénéficiaire et du donateur.EFFICACITE: Dans quelle mesure l’activité objet du financement de l’aide atteint ses objectifs.EFFICIENCE: L’Efficience mesure les extrants – qualitatifs et quantitatifs – en relation avec les intrants.IMPACT: Les changements positifs et négatifs produits par une intervention de développement, directement ou indirectement, intentionnellement ou non intentionnellement.DURABILITE: s’intéresse à mesurer si les bénéfices d’une activité sont susceptibles/en de perdurer à l’issue de la période du financement. Les projets ont besoin d’une durabilité financière et environnementale à la fois.
![Page 138: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/138.jpg)
La questions suivante définit la ligne de conduite:
Est-ce que nos programmes contribuent de façon plausible à un impact positif sur la qualité de vie des bénéficiaires que nous avons défini? Ne les oublions pas!
![Page 139: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/139.jpg)
139
Merci!
139
![Page 140: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/140.jpg)
D’autres questions? 140
![Page 141: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/141.jpg)
Temps pour les équipes de consultation de
rencontrer les clients pour négocier la révision
des TDRs du projet de logements.
141
![Page 142: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/142.jpg)
142
En conclusion:
Les évaluators doivent être préparés à:1. Entrer dans le cycle du projet à une étape plus
tardive;2. Travailler sous la contrainte de budget et la
restriction de temps;3. Ne pas disposer de données de référence
comparable;4. De travailler sans un groupe de comparaison;5. Travailler avec un nombre limité de chercheurs
en évaluation bien qualifiés;6. Reconcilier une diversité de paradigmes
d’évaluation, de besoins d’information, et de parties prenntes.
![Page 143: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/143.jpg)
143
Principaux messages de l’Atelier1. Les Evaluateurs doivent être préparés pour les défis
de l’évaluation en SituationRéelle.
2. Il existe une expérience trés riche pour s’en inspirer
3. Un boite d’outils de techniques d’évaluation en “SituationRéelle” est accessible (cf. www.RealWorldEvaluation.org).
4. Ne jamais invoquer les contraintes de temps et de budget comme excuse à une approche d’évaluation qui ne se défend pas.
5. Une liste de contrôle sur des situations de “menace à la validité” vous aidera à identifier honnêtement les faiblesses potentielles dans vos choix conceptuels et l’analyse.
![Page 144: 1 Pour une approche Holistique et en Situation Réelle de lEvaluation dImpact Concevoir des Evaluations sous contraintes de Budget, Temps, Données et Politiques](https://reader038.vdocuments.fr/reader038/viewer/2022102805/551d9d94497959293b8ca7f0/html5/thumbnails/144.jpg)
144
Nous espérons que ces idées vous seront utiles dans votre quête et pratique de l’Evaluation en
SituationRéelle!