la méthode expérimentale au service des politiques publiques reena badiani economic growth center,...

DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

La méthode expérimentale au service des politiques publiques

Reena BadianiEconomic Growth Center, Yale University.DIME WorkshopJune 1st

Qu’est-ce que c’est l’évaluation d’impact?

L’impact est la différence entre les résultats avec un programme et sans ce même programme

Objectif : mesurer cette différence de manière fine afin de pouvoir attribuer la différence au programme lui-même (et pas à d’autres facteurs!)

3

Objectif: Trouver un Bon Contrefactuel

Il nous faut établir ce qui se serait passé en l’absence du programme>> Il nous faut trouver un bon contrefactuel

Contrefactuel: quel auraient été les résultats sans le programme? Ex: stabilité et sécurité dans l’absence de DDR.

>> Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme.

Idéal: Le programme est la seule différence entre les participants et le contrefactuel.

2)

Pourquoi cette obsession avec le contrefactuel?!

Utilisation des semences améliorées

OR

1) Production et profits plus élevés

Informations sur les nouvelles technologies agricoles

Utilisation des semences améliorées

• Sans contrefactuel, que apprenons nous?

• Corrélation ne permet pas d’attribuer un effet causal!

Production et profits plus élevés

Avant Après0

2

4

6

8

10

12

14

Groupe de TraitementGroupe Traitement

5

(-4) Mesure biaisée de l’impact du programme

Ex: Programme d’accès aux semences (Avant-Après)

Avant Après0

2

4

6

8

10

12

14Groupe de ContrôleGroupe de Trai-tement

6

(-6) Impact d’autres facteurs externes

(+2) Impact du programme

Ex: Programme d’accès aux semences (contrefactuel convenable)

7

Motivation pour la méthode d’évaluation expérimentale

Il est difficile de distinguer l’effet causal de la corrélation à partir de l’analyse statistique: Nous n’observons que X se déplace avec

Y Les caractéristiques que l’on n’observe

pas sont parfois plus importantes que celles que l’on observe! ▪ Ex: la motivation, la situation politique etc.

Motivation (suite)

Le biais de sélection est un problème important pour la mesure d’impact Un projet débute dans un certain endroit pour des

raisons particulières Les participants sont choisis sur la base de critères,

ou se présentent eux-mêmes!

Ex: Les agriculteurs qui utilisent des semences améliorées se distinguent de l’agriculteur moyen!

Utiliser les agriculteurs qui utilisent les semences pour établir l’effet des semences améliorées sur les profits risque de nous induire en erreur!

9

Propriétés de la méthode d’évaluation expérimentale

Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement

Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées). La seule différence est le traitement Avec un grand échantillon, les caractéristiques

s’équilibrent

Cette méthode permet d’obtenir une mesure d’impact non-biaisée

10

Menu d’options pour l’assignation randomisée

Loterie (couverture partielle) Loterie pour l’accès aux semences améliorées

Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences

améliorées Assignation aléatoire à divers traitements

Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information.

Assignation aléatoire à une stratégie d’encouragementCertains cultivateurs reçoivent une invitation qui leur

encouragent de participer à la démonstration.

11

Menu d’options pour l’assignation randomisée

Loterie (couverture partielle) Loterie pour l’accès aux semences améliorées

Phasage aléatoire (couverture totale, entrée retardée) Quelques villages peuvent acheter des semences

améliorées Assignation aléatoire à divers traitements

Certains villages reçoivent une démonstration des semences, d’autres villages reçoivent des brochures d’information.

Assignation aléatoire à une stratégie d’encouragement Certains cultivateurs reçoivent une invitation qui leur

encouragent de participer à la démonstration.

Loterie parmi les individus/groupes éligibles

Doivent recevoir le programme

Pas éligibles

Randomiser l’assignation au programme

13

Opportunités

Des contraintes budgétaires limitent la couverture Une assignation aléatoire (loterie) est juste

et transparente

Les capacités de mise en œuvre sont limitées La même chance d’être sélectionné en

premier

Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles

14

Opportunités pour la Randomisation

L’adoption d’un programme en cours n’est pas totale (participation faible) Randomiser une stratégie d’encouragement nous informe sur

les types d’incitations qui fonctionnent

Pilote pour un nouveau programme Une bonne opportunité de tester avant le passage à grande

échelle

Changement dans la mise en œuvre d’un programme en cours Une opportunité de tester le nouvel arrangement

institutionnel avant le passage à grande échelle

15

Différents niveaux auxquels randomiser

Cela dépend du niveau auquel on intervient:

Individu/Ménage Communauté/Village

Ex: Reconstruction Communautaire

Association de femmes

Entité Juridique/District administratif

Randomisation individuelle ou par groupes?

Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier

Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle

Randomisation individuelle ou par groupes?

Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier

Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle

Randomisation individuelle Randomisation par groupes

18

Niveau de randomisation

Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes d’ordre politique/éthique à assigner le

traitement uniquement à certains individus au sein d’une même communauté

Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions

Les effets de contamination sont parfois trop importants

Randomiser au niveau du groupe demande de nombreux groupes

19

Niveau de randomisation

Randomiser à un niveau plus élevé est parfois nécessaire: Contraintes d’ordre politique/éthique à assigner le

traitement uniquement à certains individus au sein d’une même communauté

Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions

Les effets de contamination sont parfois trop importants

Randomiser au niveau du groupe demande de nombreux groupes!

20

Validité Externe et Interne (1)

Validité externe L’échantillon est représentatif de toute la

population. Les résultats obtenus sont représentatifs de la

population. Les leçons du programme sont applicables à

tout le pays.

Validité interne L’effet mesuré d’une intervention sur la

population qui est évaluée reflète le véritable impact sur cette population

C.-à-d. les groupes de traitement et de contrôle sont comparables

21

Validité Interne et Externe (2)

Une évaluation peut avoir de validité interne sans avoir de validité externe Ex: Une évaluation d’une programme de

consultations prénatales dans des zones urbaines ne nous informe pas sur l’effet de cette même intervention sur les zones rurales

Et vice-versa Une mesure d’impact biaisée souffrira du même

biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population !

Validité interne & externe

22

Randomisation

Randomisation

Population Nationale

Echantillons de la

Population Nationale

Traitement

Validité interne

23

Stratification

Randomisation

Population Nationale

Sous-populationEchantillons de

la sous-population

Traitement

24

Validité externe uniquement

Population Nationale

Randomisation

Traitement

25

Validité externe uniquement

Population Nationale

Assignation biaiséeRésultat INUTILE!Randomisation

Traitement

26

Avantages de la méthode expérimentale

Mesure de l’impact causal fiable et précise

Comparée a d’autres approches: Facile à analyser (comparaison de moyennes) Moins chère (plus petits échantillons) Facile à communiquer Plus convaincante pour les décideurs Evite les controverses d’ordre méthodologique

Que faire en présence de …?

1) Certaines interventions ne peuvent pas être assignées de façon aléatoire

2) Adoption partielle ou interventions basées sur la demande

Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoire

Les participants choisissent de participer27

Que faire en présence de …?

1) Certaines interventions ne peuvent pas être assignées de façon aléatoire

2) Adoption partielle ou interventions basées sur la demande

3) Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitementPromouvoir le programme de façon aléatoire

4) Les participants choisissent de participer28

Stratégie par l’incitation - Promotion Aléatoire

Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus

susceptibles de participer L’incitation est distribuée de façon aléatoire,

alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu

l’incitation / n’ayant pas reçu l’incitationL’effet dû à l’incitation (Intention-de-Traiter, ITT)Effet de l’intervention sur la population qui adopte le

traitement (Effet moyen local du traitement, LATE)LATE= ITT/proportion d’individus qui ont participé

Stratégie par l’incitation - Promotion Aléatoire

Ex: Reformes qui renforcent le système légal Les individus qui reçoivent l’incitation sont plus

susceptibles de participer L’incitation est distribuée de façon aléatoire,

alors elle n’est pas corrélée avec les caractéristiques des communautés. Compare les résultats des 2 groupes: ayant reçu

l’incitation / n’ayant pas reçu l’incitation L’effet dû à l’incitation (Intention-de-Traiter, ITT) Effet de l’intervention sur la population qui adopte le

traitement (Effet moyen local du traitement, LATE)▪ LATE= ITT/proportion d’individus qui ont participé

Erreurs communes à éviter Calculer la taille de l’échantillon de manière incorrecte

Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées▪ Échantillonnage par grappes nous donne une taille d’échantillon de

1 !

Mener une collecte de données différente au sein de groupes de contrôle et de traitement

Inclure les individus qui se sont désistés au groupe de contrôle Cela annule la randomisation!

31

32

Quand cette stratégie n’est-elle vraiment pas possible?

Le traitement est déjà assigné et annoncéet il n’y a pas de possibilité d’expansion

Le programme est achevé (rétrospective) présence d’une expérience naturelle ?

Eligibilité et accès universels Ex.: campagne d’information universelle, éducation

gratuite pour tous, régime du taux de change Parfois on peut randomiser certaines composantes…

La taille de l’échantillon est trop limitée pour permettre une analyse crédible

33

Merci!