mattea stein, world bank méthodes non-expérimentales i

DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4

Mattea Stein, World Bank

Méthodes Non-expérimentales I

Que savions nous jusque-làObjectif: Nous voulons identifier l’effet causal de nos

interventions (politiques publiques) sur des variables d’intérêt.

Utilisez les méthodes d’évaluation rigoureuses pour répondre aux questions opérationnelles que nous nous posons

L’affectation aléatoire au traitement est l’étalon-or des méthodologies existantes (simple, précis, pas cher)

Que faire si on ne peut pas du tout faire usage de la randomisation?

S’il est possible, recourir aux méthodes non-expérimentales

Les méthodes non-expérimentales

Pourra-t-on trouver un contrefactuel plausible? Expérience naturelle?

Chaque méthode non-expérimentale est associée à un ensemble d’hypothèses Notre mesure de l’effet causal est

d’autant moins crédible que les hypothèses sont fortes

Il faut mettre en question nos hypothèses

▪ Se conformer à la réalité, relever du bon sens

3

Exemple: L’appui pour l’Infrastructure Communautaire

Objectif principal▪ Améliorer les infrastructures communautaires – construction d’écoles primaires

Intervention▪ Fonds communautaires▪ Affectation non aléatoire

Groupe cible▪ Communautées avec une mauvaise structure éducative et un taux élévé de pauvreté

Principale variable de résultat▪ Inscription scolaire

4

5

(+) Impact du programme

(+) Impact des facteurs externes

Exemple: L’appui pour l’Infrastructure Communautaire – RANDOMISATION

6

(+) Mesure BIAISEE de l’impact du program

Exemple: L’appui pour l’Infrastructure Communautaire – “AVANT-APRES”

“Avant-Après” ne fournit pas des résultats crédibles

7

Différence « Après » entre participants et non-participants

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE

Différence « Avant » entre participants et non participants

Quel est l’impact de notre intervention?

Exemple: L’appui pour l’Infrastructure Communautaire – DOUBLE DIFFERENCE

Contrefactuel (2 façons de le présenter)

1. L’inscription scolaire des «sans» intervention, après correction des différences «avant/après» (Différence initiale entre groupes)

2. L’inscription scolaire «avant», après correction des différences «avec/sans» l’intervention (l’influence des facteurs externes)

1 and 2 sont équivalents8

Données -- Exemple 1

Taux d’inscription scolaire (%)

2007 2008 Différence (2008-2007)

Participants (P) 30.6 41.2 10.6

Non-participants (NP)

21.3 36.1 14.8

Différence (P-NP) 9.3 5.1 -4.2

9

2007 200810

15

20

25

30

35

40

45

Participants Non-Participants

10

P-NP2008=5.1

Impact = (P-NP)2008-(P-NP)2007

= 5.1 - 9.3 = -4.2

P-NP2007=9.3

Données -- Exemple 1


2007 2008 Différence (2008-2007)



21.3 36.1 14.8

Difference (P-NP) 9.3 5.1 -4.2

11

12

Impact = (P2008-P2007) -(NP2008-NP2007)

= 10.6 – 14.8 = -4.2

2007 200810

15

20

25

30

35

40

45


P2008-P2007=10.6

NP2008-NP2007=14.8

Stratégie d’Identification par Double Différence

Hypothèse sous-jacente:Sans l’intervention, l’inscription scolaire dans les communautées participantes et l’inscription scolaire dans les communautés non-participantes auraient suivi la même tendance

05

1015202530354045

2007 2008


Double Différence: Hypothèse de même tendance

“Impact”=-4.2Impact vrai=+2.0

Double Différence – Exemple (1): Résumé

Impact négatif: Très contre –intuitif: Des fonds pour la construction de

nouvelles écoles primaires ne devrait pas diminuer le taux d’inscription scolaire, une fois que les facteurs externes sont pris en compte!

Hypothèse de tendance commune (Très forte)

Les 2 groupes , en 2007, avaient des taux d’inscription scolaire différents

Peut-être, les 2 groupes auraient eu des taux de changement de l’inscription scolaire différents en l’absence du projet

➤ Mettre à l’épreuve l’hypothèse de tendance commune!➤ Si possible, faire ce test avec des données provenant

d’années antérieures

2006 2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures

>> Rejeter l’hypothèse des tendances communes

Donnés – Exemple 2


2007 2008 Différence (2008-2007)



15.0 19.0 4.0

Différence (P-NP) 10.5 16.5 6.0

17

18

Impact = (P2008-P2007) -(NP2008-NP2007)

= 10.0 – 4.0 = + 6.0

2007 200810

15

20

25

30

35

40


P08-P07=10.0

NP08-NP07=4.0

2007 200810

15

20

25

30

35

40


Hypothèse de tendance commune: Implication graphique

Impact = +6.0

Double Différence - Exemple 2: Résumé

Impact Positif : Plus intuitif

L’hypothèse des tendances communes est-elle raisonnable?

➤ Toujours nécessaire de questionner l’hypothèse des tendances communes!!➤Utiliser les données des années

précédentes

Examen de l’hypothèse de tendance commune: Utilisation de données antérieures

>>Est-il raisonnable d’accepter l’hypothèse de tendance commune?

2006 2007 20080

0.5

1

1.5

2

2.5

participantsnon-participants

Attention (1)

Il est souvent difficile de valider l’hypothèse de tendance commune Absence de données pour tester l’hypothèse Même si les tendances antérieures étaient

similaires:

▪ Ont-elles toujours été similaires (ou sommes-nous juste chanceux?)

▪ Plus important, seront-ils toujours similaires? ▪ Exemple: D’autres projets interviennent parmi les

entreprises non participantes….

Attention (2)

Que faire?

>> Faire de l’analyse descriptive! Vérifier les similarités sur la base des caractéristiques

observables

▪ Si les caractéristiques observables ne sont pas similaires, les tendances pourraient différer de manière non prévisible

>> Cependant, nous ne pouvons pas comparer ce qui n’est pas observable… Et les caractéristiques non observables sont souvent plus importantes (capacité, motivation, patience, etc)

Méthode d’Appariement (1)

Apparier les participants et les non-participants sur la base de caractéristiques observables

Contrefactuel : Groupe de comparaison apparié

Chaque participant au programme est apparié avec un ou plusieurs non-participants sur la base de caratéristiques observables

>> En moyenne, les participants et les non-participants appariés auront les mêmes caractérisques observables (par construction)

24

Méthode d’Appariement (2)

Hypothèses contrefactuelles sous-jacentes

Après l’appariemment, il n’y a aucune différence entre les participants et les non-participants en termes de caractéristiques inobservables

ET/OU

Les caractéristiques inobservables n’influencent ni l’affectation au traitement, ni les variables d’intérêt

Méthode d’Appariement -Comment procède t-on?

Construire un groupe témoin en trouvant des individus appariés proches en termes de caractéristiques observables Sélectionner les variables pertinentes sur

lesquelles réaliser l’appariement De sorte qu’on retienne:

▪ Groupe Traitement: Participants qui peuvent avoir un contrefactuel

▪ Groupe de Comparaison: Non-participants assez similaires aux participants

>> Nous réduisons/ tronquons une partie de notre groupe traitement!

Implications

Dans beaucoup de cas, nous ne pouvons pas apparier tous les individus Utile de connaitre qui est sorti de l’échantillon

Exemple

Score

Non-participantsParticipants

Individus appariés

Richesse

Portion du groupe Traitement sorti de l’échantillon

Conclusion (1)

Avantage de la méthode d’appariemment: Ne nécessite pas la randomisation

28

Conclusion (2)

Inconvénients: L’hypothèse sous-jacente n’est pas plausible

dans tous les contextes et est difficile à tester▪ Utiliser le bon sens et faire des analyses descriptives

Nécessite des données de très bonne qualité:▪ Nécessite de contrôler tous les facteurs qui

influencent le traitement et les variables de résultat Nécessite de très grands échantillons pour

générer un bon groupe témoin Ne permet pas d’apparier tous les individus

29

Conclusion (3)

Les expériences randomisées nécessitent beaucoup moins d’hypothèses et fournissent des estimations intuitives

Les méthodes non-expérimentales nécessitent des hypothèses qui doivent être attentivement testées

Plus de données Pas toujours testables

Faire preuve de créativité: Mélange de méthodes! Répondre aux questions avec les techniques

appropriées

30

mattea stein, world bank méthodes non-expérimentales i

Documents