introduction to impact evaluation training hsrc, pretoria, south africa april 10, 2008 méthodes non...
Post on 03-Apr-2015
107 Views
Preview:
TRANSCRIPT
Introduction to Impact Evaluation trainingHSRC, Pretoria, South AfricaApril 10, 2008
Méthodes non Expérimentales
Florence KondylisFlorence KondylisInitiative pour l’évaluation de l’impact en Initiative pour l’évaluation de l’impact en
Afrique (AIM)Afrique (AIM)
Introduction aux méthodologies d’évaluation de l’impact – Dakar, Sénégal
Décembre 2008
2
Objectif
• Trouver un scénario hypothétique (contre factuel) plausible
• Toute méthode non expérimentale est associée à une hypothèse
• Plus valide l’hypothèse, plus fiable l’évaluation
QUESTIONNER L’HYPOTHÈSE
Examen objectif
3
Programme à évaluer
Programme de lutte contre le HIV/SIDA de Hopetown (2008-2012)
Objectif : Réduire la transmission du VIH
Intervention : Education par les pairs
Groupe cible : Jeunes de 15 à 24 ans
Indicateur : Taux de grossesse (indication indirecte de la fréquence des rapports sexuels non protégés)
4
I. Stratégie d’identification avant-après
Contre factuel :
Le changement du taux de grossesse observé avant-après le programme peut être entièrement attribué au programme
EFFET = Après moins Avant
5
Année Nombre de domaines
Taux de grosse des adolescentes (pour 1 000)
2008 70 62,90
2012 70 66,37
Différence +3,47
6
62.966.37
50
55
60
65
70
2008 2012
Gro
sses
se d
es a
do
lesc
ente
s (p
ou
r 1
000)
Effet = +3,47
Intervention
Pas d’autre changement au fil du temps?
Question : quel(s) autre(s) événement(s) survenu(s) entre 2008 et 2012 aurai(en)t pu influer sur la grossesse des adolescentes ?
7
Vérifier la validité de l’hypothèse à l’aide des données antérieures
Nombre de domaines
Taux de grossesse des adolescentes (pour 1 000)
2004 2008 2012
70 54,96 62,90 66,37
ÉCARTER l’hypothèse du contre factuel selon laquelle il n’y a pas de changement
au fil du temps ??
8
II. Stratégie d’identification des non-participantes
Contre factuel :
Les participantes n’ayant bénéficié d’aucune intervention (contre factuel) affichent le même taux de grossesse que les non-participantes avant le début du programme.
EFFET = Participantes moins
Non-Participantes
9
La Différence « après »
Taux de grossesse des adolescentes (pour 1 000)
en 2012
Participantes 66,37
Non-participantes 57,50
Différence +8,87
10
La Différence « après »
66.4
57.5
40
60
80
100
2008 2012
Gro
sses
se d
es a
do
lesc
ente
s(p
ou
r 10
00)
Effet = +8,87
Participantes
Non-participantes
Question : quelle pourrait être la différence, ex ante, entre participantes et non-participantes ?
11
Vérifier la validité de l’hypothèseà l’aide des données antérieures
?62.9
66.4
46.37
57.5
40
50
60
70
80
2008 2012
Gro
sses
se d
es
ado
lesc
ente
s(p
ou
r 10
00)
ÉCARTER l’hypothèse du contre factuel selon laquelle les taux de grossesse sont identiques ??
12
III. Stratégie d’identification de la double différence
Contre factuel :
Taux de grossesse des non-participantes après le programme, en tenant compte des différences initiales entre participantes et non-participantes
13
Questionner l’hypothèse de l’analyse contre factuelle
Examen Objectif de la validité de l’hypothèse :
L’évolution du taux de grossesse des participantes au cours du temps pourrait-elle différer de celles des non-participantes ?
En l’absence de l’intervention, le taux de grossesse des participantes et celui des non-participantes suivent les mêmes tendances
14
Taux moyen de grossesse des
adolescentes en
2008 2012 Différence (2008-2012)
Participantes (P) 62,90 66,37 3,47
Non-participantes (NP) 46,37 57,50 11,13
Différence (P=NP) 16,53 8,87 -7,66
Différences participantes/non-participantes, avant/après
15
62.966.4
46.37
57.5
40
50
60
70
80
2008 2012
Gro
ss
es
se
de
s a
do
les
ce
nte
s
(po
ur
1 0
00
)
57,50 – 46,7 = 11,13
66,37 – 62,90 = 3,47
Non-participantes
Participantes
Effet = 3,47 – 11,13 = - 7,66
16
62.966.4
46.37
57.5
40
50
60
70
80
2008 2012Gro
ss
es
se
de
s a
do
les
ce
nte
s
(po
ur
1 0
00
)
74,0-7,6
Projection de la différence en l’absence du traitement
17
Mettre en doute l’hypothèse du contre factuel selon laquelle les tendances sont identiques ??
Taux moyen de grossesse des adolescentes
2004 2008 Différence (2004-2008)
Participantes (P) 54,96 62,90 7,94
Non-participantes (NP) 39,96 46,37 6,41
Différence (P=NP) 15,00 16,53 +1,53 ?
Vérifier la validité de l’hypothèse à l’aide des données antérieures
18
IV. Appariement (« matching ») et la divergence dans la différence (double différence)
Intuition Méthodologique :
Le groupe de référence est constitué en appariant chaque participante au programme à une non-participante « similaire »
→ Minimiser les différences au niveau des caractéristiques observéescaractéristiques observées entre participantes et non-participantes
Note: Caractéristiques non-observées ne sont• Pas mesurées par les données
• Pas mesurables (capacités intellectuelles…)
19
Hypothèse du contre factuel
Examen Objectif de la validité de l’hypothèse : Dans quelle mesure les participantes pourraient-elles être différentes des non-participantes auxquelles elles sont appariées ?
Les caractéristiques non observées n’influencent pas les résultats qui nous intéressent (effet du programme)
20
56
58
60
62
64
66
68
70
72
74
76
2008 2012Tau
x d
e g
ross
esse
des
ad
ole
scen
tes
(po
ur
1000
)
73,36
66,37
Non-participante appariée
Participante
Effet = - 7,01
21
Vérifier la validité de l’hypothèse à l’aide des données antérieures
Considérer avec soin le rôle des caractéristiques non-observables
Certaines études ont pu comparer les méthodes expérimentales et non-expérimentales trouvent que
>> Les caractéristiques non observées sont importantes>> Le sens de la distorsion est imprévisible
22
V. Stratégie d’identification de la discontinuité de la régression
Applicabilité :
Lorsque l’admissibilité repose sur des critères quantitatifs stricts que les candidats ne peuvent pas influencer pour leur bénéfice
Scénario hypothétique :
Les non-participantes se trouvant immédiatement en dessous du seuil d’admissibilité servent de référence pour les participantes se situant juste au-dessus dudit seuil
23
Hypothèse du contre factuel
Examen Objectif de la validité de l’hypothèse :
Données antérieures: La distribution du nombre d’observations et de l’indicateur autour du seuil d’admissibilité est-elle harmonieuse ?
Si oui, l’hypothèse est raisonnable
! Evalue uniquement l’incidence autour du seuil et non pour l’ensemble de la distribution !
Les non-participantes se trouvant tout juste au-dessous du seuil d’admissibilité ne sont pas vraiment différentes des participantes se situant immédiatement au-dessus dudit seuil (non-observables
24
• Cibler le transfert vers les écoles les plus pauvres• Établir un indice de la pauvreté sur une échelle
allant de 1 à 100• Les écoles ayant une note <=50 sont retenues• Les écoles ayant une note >50 sont exclues• Transfert des ressources vers les écoles pauvres• Mesurer les résultats (c’est-à-dire les notes
obtenues aux tests) avant et après le transfert
Exemple : Effet des ressources scolaires sur les résultats des tests
25
6065
7075
80O
utco
me
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Baseline
26
6065
7075
80O
utco
me
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Baseline
Non-Poor
Poor
27
6570
7580
Out
com
e
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Post Intervention
28
6570
7580
Out
com
e
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Post Intervention
Effet du traitementEffet du traitement
29
• La sélection aléatoire offre l’exemple idéal– pas d’hypothèses– pas toujours faisable
• La méthode non expérimentale requiert des hypothèses– Sont-elles raisonnables ? Peut-on les tester ?– Souvent on manque de données…
• Nous n’avons pas couvert :– Les variables instrumentales– La mise en œuvre graduelle (« pipeline »)
Conclusion
top related