inférence causaleet evaluation d...

Eric Mvukiyehe Banque Mondiale / DIME

Istanbul, Mai 11, 2015

Inférence Causale et Evaluation d’ Impact

Inférence Causale et Evaluation d’ Impact

3

Les politiques de dévelopment…

…géneralement invoquent les questions de cause à effet.

Quelles sont les meilleures strategies pour accroitre la production agricole?

Comment ameliorer la performance des agents de l’etat?

Comment relaxer les contraintes de capitaux que confrontent les petites entreprises?

Introduction …

• En general: – Nous avons des idées ou pressentiments

• Mais, pas evident si ces idees sont bonnes

– Nous avons des solutions relativement bonne• Mais ne savons pas quelle option est la plus

efficace et moins couteuse

• Comment pouvons-nous savoir?– Suivi et evaluation traditionelle– Evaluation d’impact

7

Pourquoi c’est important?• Savoir si le projet a eu un impact positif et la

taille moyenne de cet impact

– Comprendre si les politiques marchent • La justification du programme, mise a l'échelle ou non,

comparer les différentes options du programme

– (avec des données de coûts) comprennent les avantages nets du programme

– Comprendre la répartition des gains et des pertes8

Suivi et evaluation (traditionelle)

• Processus continue qui mesure les progrès des indicateurs au fil du temps– Est-ce que le project est sur

une bonne voie?

– L’accent est mis sur les activités du project et les beneficiaires

– Ne nous dit pas pourquoi oucomment le resultat estarrive.

9

Evaluation de l’impact

• Cherche a etablir la relation de cause a effect– Mesurer les changements dans les résultats et évaluer

l’impact d’interventions spécifiques sur ces résultats:

– Repond a la question: Qu’est ce qui arriverait en l’absence du projet?

• L’accent est mis sur:• Sur les participants et non-participants• Autres facteurs que le programme

10

Le défi de l'attribution de l'impact I: correlation ‘est pas causation

Ce medicament augmente-t-il le poids?

Prend le medicament

Ne prend pas le medicament

Le défi de l'attribution de l'impact II: Facteurs externes

Paramètres sous contrôle du programme

Le service atteints des bénéficiaires

INTRANTS

EXTRANTS

RESULTATS

IMPACTLes impacts du programmesse confondent avec des effetslocaux, nationaux et globaux

Difficile de demontrerla causalité

Ce don’t on a besoin:• Les résultats avec et sans programme

– Pour la même unité d'analyse (e.g, un même individu/groupe au même point de temps)

– Pour que on soit a mesure de comparer:

A

• Problème:– Les individus/groupes ont une seule existence &

donc il y a un probleme de manque de données

13

Ce qui s’estreelement passé

Ce qui se serait passer sans programme

Solution: Scénario contrefactuel:

Traitee Pas traitee

Ce qui s’estreelement passe

Ce qui se seraitpasse

Monde reel Monde imaginaire

Contrefactuelle--La clé d’une bonne évaluation d’impact est un scénario contrefactuel valide!

Characteristiques d’un contrefactuel valide

• Le groupe de traitement et le groupe temoindoivent etre semblable en 3 points:

– Avoir les mêmes caractéristique à l'extérieur (observables) comme à l'intérieur (non observables)

– Réagir de la même manière au programme (augmentation dans la même mesure d’unités)

– Donc la différence (changement dans les resultats) peut être attribuer seulement au programme

15

L’expérience parfaite:• Les groupes de traitement et de comparaison

–Ont les mêmes caractéristiques (a l’interne et l’externe)

Deux clones Identiques à l'extérieur (observables)Identiques à l'intérieur (non observables)

Kami

TamiNous sommes tous les deux

des marionnettes

Nous aimons tous les deux participer à

de nouveaux programmes de

nutrition!

Kami

L’expérience parfaite…• Observez quelque temps après

Kami TamiComme Tami et Kami sont identiques (à l’interne comme à l’externe), nous

savons que le résultat est dû à la moustiquaire

L’expérience parfaite

• Apportez le programme à un clone (Tami)

Kami

La seule différence est le projet ou traitement

Tami

Comment faire uneévaluation d'impact?

Méthodes pour construire un contrefactuel valide

20

Contrefactuelcontrefaits

• Avant – Après• Participants – Non-participants

Impact causal sous certaineshypotheses &

fortes limitations

• Double difference• Discontinuite de la regression

Impact causal • Methodes experimentales

Etude de cas:

• Contexte:

– Probleme: Le micro-entreprises ont souvent le contraintes de capitaux

– Intervention: Petit don de commerce--$100 et $200

– Resultants cles: Augmentation des revenus (profit)

– Informations additionelles: • 800 micro-entreprises à l’etude de base (2007)• Plus de 50% de ces entreprises investir moins de 200 $• Le crédit subventionné a été offert à tous les micro-entreprises

avec> = 6 mois d'activité.• 300 entreprises appliquées et bénéficié d'un financement

21

Contrefactuels contrefaits 1: Comparaison avant-apres

• Idee: – Comparer le profit des micro-entreprises traitées

avant et après la politique de crédit subventionné.

• Hypothèse fondamentale:– Si le programme n’avait pas existé, le résultat pour

les participants serait le même

22

0

0.5

1

1.5

2

2.5

2007 2008

participants

P08-P07=0.6

23

Impact = (P2008-P2007) = 2.1 – 1.5 = + 0.6%

Contrefactuels contrefaits 1: Comparaison avant-apres…

Contrefactuels contrefaits 1: Comparaison avant-apres…

24

2007 2008

• QUESTION: La difference represent-elle une estimation non-biaisée de l’impact programme?

• PAS FORCEMENT: Difference de temps. • Pas que le programme; trop de facteurs changent avec le temps (e.g,

autres formations; bon fonctionnement de la hierarchie, etc.)

• Il y a un changent qui survient avec le temps, meme sans programme.

Methode Treatement Comparison Difference

Avant - Apres 2.1 1.5 0.6 pp

Contrefactuels contrefaits 2: Comparaison participants et non-participants

• Idee: – Comparer le profit des micro-entreprises qui ont

recues le crédit subventionné et celles qui n’ontpas recues le credit.

• Hypothèse fondamentale:– Si le programme n’avait pas existé, le résultat pour

les participants serait le même que pour les non-participants

25

Contrefactuels contrefaits 2: Comparaison participants et non-participants…

26

QUESTION: La difference represent-elle une estimation non-biaisée de l’impact programme?

PAS FORCEMENT: Le bias de selection—pour quoi seulement 300 micro-entreprises? • Les participants sont plus performants meme sans programme (observable)

• Meilleurs entrepreneurs, mieux informés (inobservable)

Methode Treatment Comparison Difference en %

Participants VS. Non-participants 2.1% 0.7% 1.4 pp. 300%

Participants Non-participants

Avant - Après

Compare: Le profit des micro-entreprises Avant et Aprèsl’enrollment dans le programme.

Probleme: D’autres facteurspeuvent intervenir & changer avec le temps.

Participants – Non Participants

Compare: Le profit des micro-entreprises qui recoivent et cellesqui ne recoivent pas le programme

Problem: Biais de selection. On ne sait pas pour quoi certains ne participant pas.

Contrefactuels contrefaits: Synthèse

Les deuxcounterfactuels peuvent conduireaux estimations biaisees du contre-factuel et

donc de l’impact meme.

Methode de double différence (DD)

La méthode DD: – Compare les differences de resultats entre participants

et non-participants dans le programme au fil du temps

• Hypothèse d'identification:– Le biais de sélection est invariant dans le temps (“tendances parallèles” en l'absence du programme)

• Le contrfactuel– C’est le changements au fil du temps pour les non-

participants dans le programme– (Sous certaines hypotheses), la DD peut produire des

estimations moins biaisees28

0

0.5

1

1.5

2

2.5

2007 2008

participants

P08-P07=0.6

29

Impact = (P2008-P2007) = 2.1 – 1.5 = + 0.6%

Comparaison avant-apres…

0

0.5

1

1.5

2

2.5

2007 2008

participantsnon-participants

P08-P07=0.6

30

NP08-NP07=0.2

Impact = (P2008-P2007) -(NP2008-NP2007)= 0.6 – 0.2 = + 0.4

Comparaison avant-apres + particpant-non-participant

%

Double différence (DD)

Taux de Profit

Avant (2007)

Apres(2008)

Difference(2007-2008)

Participants (P) 1.5% 2.1% 0.6 pp

Non-participants (NP) 0.5% 0.7% 0.2 pp

Difference (P-NP) 1.0 pp 1.4 pp 0.4 pp

31

Hypothese: tendances paralleles

0

0.5

1

1.5

2

2.5

2007 2008


Impact = +0.4 pp

• QUESTION: La difference represent-elleune estimation non-biaisée de l’impactprogramme?

• Ca depend de la plausibilité l’hypothese de “tendances égales. » – Tendances paralelles

33

Methode de double différence (DD)…

Hypothese: tendances paralleles

0

0.5

1

1.5

2

2.5

2007 2008


Impact = +0.4 pp

Methode de Regression Discontinue (DR)

Programmes de lutte contre la pauvreté

Retraites

Bourses d’étude

Commerce & investissment

Beaucoup de programmes sociaux sélectionnent les bénéficiaires en utilisant un indice ou un score:

Ciblent les ménages sous un seuilde pauvreté

Ciblent la population au dessusd’un certain âge

Destinées aux élèves dont lesrésultats aux test sont élevés

Subvention de credit à des micro-entreprises sur base decontrainte (< un certain seuil)

• Hypothèse fondamentale:– Les unités juste au-dessus du seuil sont comparables à

celles juste au-dessous

Methode de Regression Discontinue (DR)…

• Le RD se base sur la compréhension du processus desélection:– Etablir une règle de sélection claire & un score quantifiable

simple et continue– L’assignation du programme est basée, de manière

discontinue, sur base d’un seuil– Cibler les unités autour du seuil pour l’ évaluation


outco

me

assignment variable

Baseline

assignment variable

Follow-up

Forme différente

Nous sommes a la recherche de ce type de tendances…

Améliorer les revenus/profits des micro-entreprises qui ont des contraintes de credit

Objectif:

Idee: comparer le profi des micro-entreprises juste en desous de 50 (et donc éligibles d'accéder au crédit subventionné) ....

….avec Les entreprises avec des notes un peu au-dessus de 50 (et donc inéligibles au régime).


MethodeEtablier un seuil de contrainte d’access au credit (0 a 100)


Non éligible

Eligible

Situation de référence:


IMPACT

Après le programme:

41

Example

Methode Traitement Control Difference

Regression de Discontinuite 2.35% 2.1% 0.25 pp

Important: Impact est valide seulement pour les micro-entreprises qui sontautour du seuil qui determine l’eligibilite.

Synthese de la methode DR

• RD se prête à l’évaluation prospective lorsque la randomisation n’est pas faisable– Stratégie applicable à tout programme qui se base sur un critère d’éligibilité (politique sur la base

– Possibilité d’exploiter plusieurs seuils pour améliorer la validité externe

– L’ effect est causal mais local et donc il y a un probleme de generalization.

Synthese: methodes non-experimentales

43

• Les methodes faibles peuvent conduire aux resultats biases

• RD (causal impact) trouve la moitie des effects des autresmethods plus faibles

• Les resultats de l’evaluation d’impacts sont valide seulementsi nous utilisons des methods rigoureuses.

Methode Traitement Control/Comparison Difference

Participants - Non-participants 2.1 0.7 1.4 pp

Avant - Apres 2.1 1.5 0.6 pp

Double difference 0.6 0.2 0.4 pp

Discontinuite de la Regression (DR) 2.35 2.1 0.25 pp

inférence causaleet evaluation d...

Documents