DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

Evaluation de l’impact pour une prise de décision en temps réelArianna LegoviniResponsable, Initiative pour l'évaluation de l'impact au plan du développement (DIME), Banque mondiale

D’abord, qu’est-ce qu’une chaîne de résultats ?

Intrants• Ressou

rces financières et humaines

Activités• Actions

pour convertir les intrants en extrants

Extrants• Produit

s matériels, • Cam

pagnes d’information

• formations

• études

Réalisations intermédiaires• Utilisat

ion des extrants par la population cible• Adop

tion• Utilis

ation

Réalisations finales• Objecti

f du programme• Crois

sance

• Cohésion sociale

• Emploi

2

Mise en œuvre (COTE DE L’OFFRE) Résultats (REPONSE DE LA DEMANDE)

Exemple d’une chaîne de résultats

Intrants• Ressour

ces financières et humaines pour mettre en place les institutions locales

Activités• Dévelop

per la communication

• Mettre en place des mécanismes de dons

• Fournir une assistance technique aux communautés

Extrants• Program

me de communication

• Propositions de dons

• Visites d’assistance technique

Réalisations intermédiaires• Dons

accordés et décaissés

• Projets réalisés

• Rassemblements communautaires

Réalisations finales• Diminuti

on des conflits

• Meilleure intégration des anciens combattants

• Croissance de l’emploi

3

Vérifier que le programme est mis en œuvre comme prévu Evaluer l’efficacité du programme

?

La chaîne de résultats

Hypothèse de développement qui vous aide à définir : ce que vous faites et pourquoi vous le

faites ce qui doit faire l’objet d’un suivi et ce qui doit être évalué

4

Qu’est-ce que le suivi ?

Le suivi retrace l’évolution des indicateurs (dans le groupe de traitement)

Il est descriptif avant-après analyse

Le suivi nous indique si les choses évoluent dans la bonne direction

5

Qu’est-ce que l’évaluation de l’impact ? L’évaluation de l’impact suit les réalisations

dans le temps du groupe de traitement par rapport à un groupe de contrôle

Elle mesure l’effet d’une intervention sur les réalisations par rapport à l’hypothèse d’absence de cette intervention Que se serait-il passé sans cette intervention ?

Elle détermine le lien causal extrants-réalisations Séparément de l’effet des autres facteurs

évoluant dans le temps

Suivi et évaluation de l’impact Utiliser le suivi pour

retracer l’efficacité de la mise en œuvre (intrants-extrants)

7

INTRANTS REALISATIONSEXTRANTS

SUIVRE L’EFFICACITE

EVALUER L’EFFICACITE

OFFRE

réponse demanderéponse demande

Utiliser l’évaluation de l’impact pour mesurer l’efficacité (extrants-réalisations)

Choisissez la bonne méthode pour répondre à vos questions

Analyse

descriptive

Suivi (et évaluation du processus)• Le

programme est-il mis en œuvre efficacement?

• Le programme cible-t-il la population voulue ?

• Les réalisations vont-elles dans la bonne direction ?

Analy

se causa

le

Evaluation de l’impact• Quel

effet le programme a-t-il eu sur les réalisations ?

• Quelle est la valeur comparée des modalités de mises en œuvre alternatives ?

• Le programme est-il d’un bon rapport coût-efficacité ?

8

Discussion entre vous (5 m)

Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact ?

9

Discussion entre vous (5m)

Que se passe-t-il si vous utilisez le suivi pour évaluer l’impact?

Vous obtenez lamauvaise réponse……100 % du temps

10

aprèsavant

B

A

t0 t1

B

Intervention

Intervention

ChangementChangement

CImpactImpact

ENSUITE : Savons-nous par avance…

pour le développement impulsé par les communautés à quelles informations les communautés vont réagir ? si la facilitation débouchera sur des propositions de grande

qualité ? si des règles amélioreront l’intégration des parties prenantes

dans le processus de prise de décisions ? si les mécanismes de suivi et de co-paiements amélioreront

les projets locaux et leur utilisation des fonds ? pour le désarmement, la démobilisation et la

réintégration, si les méthodes ciblées ou axées sur les communautés sont

les plus efficaces ? si l’on devrait tenter de séparer les combattants de leurs

unités ou tabler sur la cohésion des unités? laquelle de l’inclusion ou de l’exclusion des structures de

commande est la plus efficace ?

11

Méthode expérimentale

Nous nous fions à notre intuition et nous choisissons une campagne d’information, un ensemble de services, un programme de mesures incitatives.

Existe-t-il une autre campagne, un autre ensemble de mesures, un mécanisme d’incitations permettant d’obtenir de meilleurs résultats ? 12

Le processus de décision est complexeQuelques grandes décisions sont

prises lors de la conception mais de nombreuses autres décisions sont prises lors du déploiement et de la mise en œuvre

13

DesignEarly roll outImplementation

Qu’est-ce qu’une arborescencede résultats ?

Une arborescence de résultats représente l’ensemble des chaînes de résultats considérées comme viables au stade de la conception ou de la restructuration du programme.

C’est un ensemble d’alternatives concurrentes en matière de principes et de pratiques visant un objectif spécifique. 14

Exemple d’arborescence de décisions pour un programme de réinsertion de combattants RéinsertionCampagne de communication publique pour la

réinsertion des anciens combattantsUtiliser les structures de cohésion des unités de combattantsInclure les structures de

commandeExclure les structures de

commandeSéparer les combattants de leurs unités et

démanteler les structures Formation proposée à l’intéressé Formation sur demande de

l’intéresséCampagne basée sur la communauté Utiliser les structures de cohésion des

unités de combattants Inclure les structures de commande

Exclure les structures de commande

Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéressé Formation sur demande de

l’intéressé

15

Comment choisir entre des options plausibles ?

Déterminez celles des décisions qui seront prises au début et celles qui seront testées pendant le déploiement du programme

Testez expérimentalement les points critiques : mesurez l’impact d’une option par rapport à une autre ou à l’absence d’intervention

Choisissez la meilleure et éliminez la pire pendant la mise en œuvre

On ne peut pas tout apprendre à la fois Choisissez soigneusement ce que vous voulez

tester en associant tous les partenaires concernés

16

Parcourez l’arborescence de décisions pour obtenir davantage de résultats d’un programme de réinsertion

17• Take-upMAX

• Use of servicesMAX

• Benefits from servicesMAX

RéinsertionCampagne de communication publique pour la réinsertion des anciens combattantsUtiliser les structures de cohésion des

unités de combattantsInclure les structures de commande

Exclure les structures de commande

Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéressé

Formation sur demande de l’intéressé

Campagne basée sur la communautéUtiliser les structures de cohésion des combattantsInclure les structures de commande

Exclure les structures de commande

Séparer les combattants de leurs unités et démanteler les structuresFormation proposée à l’intéressé

Formation sur demande de l’intéressé

Comment l’amélioration del’efficacité peut vous aider

18

Discussion entre vous (5 m)

Combien de fois modifiez-vous votre programme parce que vous sentez que quelque chose ne va pas ?

Quelle utilité cela aurait-il pour vous de connaître avec certitude les meilleures approches ?

19

L’évaluation, pourquoi?

Améliorer la qualité des programmes Expérimenter d’autres options et guider

en temps réel la conception du programme

Accroître l’efficacité du programme Répondre aux questions du type « Et

ensuite ?» 

Mettre en place des institutions publiques pour une action politique fondée sur des faits concrets Prévoir l’application d’options, et non de

solutions Trouver les meilleures options Adopter de meilleurs modes de fonctionnement

et de prises de décisions

20

Les faits concrets

21

1er ministre /Présidence :

Communiquer avec les

partenaires

Trésor/Finances :Affecter le

budget

Ministères d’exécution :Réaliser les

programmes et négocier le budget

Rentabilité des différents programmes par rapport aux coûts

Effets du programme

gouvernemental

BUDGET

PRESTATION DE SERVICE

PROMESSES DE CAMPAGNE

Responsabilisation

Efficacité des options par rapport au coût et effet des programmes

sectoriels

Modification du paradigmedu programme

On passe du programme en tant : qu’ensemble d’activités destinées à

produire les résultats attendus

Le programme produira ou non les résultats attendus

au programme en tant que : menus d’options alternatives avec une

stratégie d’apprentissage pour trouver ce qui fonctionne le mieux

Modification des programmes dans le temps pour donner davantage de résultats22

Modification du paradigme d’évaluation

Passage d’une évaluation rétrospective, externe, indépendante du sommet à la base déterminer si le programme a fonctionné ou non

à une évaluation d’impact prospective, interne, et opérationnelle/validée en externe déterminer le programme d’apprentissage de la

base au sommet envisager des options de mise en œuvre

plausibles tester scientifiquement et adopter la meilleure

option avis opportun pour améliorer l’efficacité du

programme dans le temps 23

Rétrospective (conçue et évaluée ex-

post) vs. Prospective (conçue ex-ante et évaluée ex-post)

Evaluation rétrospective de l’impact : Si vous recueillez les données après l’événement,

vous ne pouvez pas comparer les participants et les non-participants avant le début du programme

Vous devez tenter de déterminer, après l’événement, pour quelles raisons le projet a été mis en œuvre à l’endroit et au moment où il a été exécuté

Evaluation prospective de l’impact : Concevoir l’évaluation pour répondre à la question

voulue Recueillir les données dont on aura besoin plus tard Valider l’évaluation au niveau analytique

2424

Est- ce un produit analytique d’un seul tenant ?

Le processus d’évaluation doit donner des informations utiles (permettant d’agir) à chaque stade de l’évaluation d’impact

25

Discussion entre vous (5 m)

Quels sont certains des points de départ au sein des cycles d’élaboration des politiques ?

Quelles sont certaines des réponses que vous voudriez avoir ?

26

Considérations éthiques

Il n’est pas éthique de ne pas vouloir tirer des avantages de ce qui est disponible et dont le fonctionnement est avéré Il est prouvé que la médication VIH prolonge la vie

Il est éthique de tester les interventions avant leur application en dimension réelle si nous ignorons si elles fonctionnent et si elles ont des conséquences imprévisibles L’aide alimentaire peut détruire les marchés locaux et créer des

incitations perverses La plupart du temps, nous nous servons du

déploiement des interventions et des contraintes budgétaires pour évaluer, ce qui minimiser les considérations éthiques ET

Nous pouvons toujours et devrions tester d’autres options pour maximiser les résultats

27

Questions ? Commentaires?

28

0

50

100

150

200

250

300

350

2004 2005 2006 2007 2008 2009 2010

Num

ber o

f ong

oing

IE

Evolution of IE in the Bank

SAR

MNA

LAC

ECA

EAP

AFR