séance vii: principales méthodes quasi-expérimentales · séance vii: principales méthodes...
TRANSCRIPT
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Séance VII: Principales méthodesquasi-expérimentales
Politiques publiques et Opinion
Arthur Heim
18 novembre 2019
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regression
3 Presentation Fack and Grenet (2015)
4 Double différences
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
Résumé des épisodes précédents
• Le modèle causal de Rubin (1974) introduit la notion derésultats potentiels permettant de conceptualiserl’impact causal comme la différence de résultats potentielspour un même individu ;
• Par définition, l’impact causal (individuel) n’est jamaisobservable. L’évaluation d’impact consiste à définir leshypothèses permettant d’identifier des statistiquesd’intérêt comme l’impact moyen pour la population etc.
• On parle de stratégie d’identification pour désigner ceshypothèses.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
IntroductionRésumé des épisodes précédents
• L’assignation au hasard du traitement, ou RCT, est la méthode quidemande le moins d’hypothèses et permet d’estimer simplementl’effet en comparant la moyenne de groupes traités ou non-traités.
• Les expérimentations aléatoires ne sont pas toujours possibles et ontaussi leur limites (voir séance 1).
• Souvent, l’évaluation intervient ex post et on a pas d’autre choix quede recourir à des méthodes quasi-expérimentales.
• On utilise généralement l’hypothèse d’indépendance conditionnellequi suppose que conditionnellement à certaines variables, l’assignationdu traitement est équivalente à une assignation au hasard.
• Cette hypothèse est généralement forte, mais il existe des casparticuliers où elle est plus crédible.
• Les variables instrumentales sont un cas particulier où il existe aumoins une variable correlée au traitement et indépendante desrésultats qu’on peut utiliser pour identifier l’effet.
• Les effets estimés par variable instrumentale ont en générale unportée limitée : on parle d’effet local du traitement.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
2 autres méthodes particulièrement convaincantes• Dans certaines situations, le fait de bénéficier d’une politique peut
dépendre directement d’une caractéristique observable continue pourlaquelle il existe un seuil arbitraire d’éligibilité
• Exemples:
• Le RSA est ouvert aux individus de plus de 25 ans révolus ;• Certaines écoles obligent les élèves ayant eu une note inférieure à un
seuil à suivre des cours d’été ou à redoubler ;• Une aide financière peut être accordée sous condition de ressources,
etc.• Des allègements de charges peuvent être accordés en fonction du
chiffre d’affaire, ou du nombre d’employé.e.s
• On peut utiliser cette discontinuité pour mesurer l’impact de lapolitique.
• Méthode des discontinuités de regression
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
2 autres méthodes particulièrement convaincantes• Dans certaines situations, le fait de bénéficier d’une politique peut
dépendre directement d’une caractéristique observable continue pourlaquelle il existe un seuil arbitraire d’éligibilité
• Exemples:• Le RSA est ouvert aux individus de plus de 25 ans révolus ;
• Certaines écoles obligent les élèves ayant eu une note inférieure à unseuil à suivre des cours d’été ou à redoubler ;
• Une aide financière peut être accordée sous condition de ressources,etc.
• Des allègements de charges peuvent être accordés en fonction duchiffre d’affaire, ou du nombre d’employé.e.s
• On peut utiliser cette discontinuité pour mesurer l’impact de lapolitique.
• Méthode des discontinuités de regression
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
2 autres méthodes particulièrement convaincantes• Dans certaines situations, le fait de bénéficier d’une politique peut
dépendre directement d’une caractéristique observable continue pourlaquelle il existe un seuil arbitraire d’éligibilité
• Exemples:• Le RSA est ouvert aux individus de plus de 25 ans révolus ;• Certaines écoles obligent les élèves ayant eu une note inférieure à un
seuil à suivre des cours d’été ou à redoubler ;• Une aide financière peut être accordée sous condition de ressources,
etc.• Des allègements de charges peuvent être accordés en fonction du
chiffre d’affaire, ou du nombre d’employé.e.s
• On peut utiliser cette discontinuité pour mesurer l’impact de lapolitique.
• Méthode des discontinuités de regression
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
2 autres méthodes particulièrement convaincantes• Dans certaines situations, le fait de bénéficier d’une politique peut
dépendre directement d’une caractéristique observable continue pourlaquelle il existe un seuil arbitraire d’éligibilité
• Exemples:• Le RSA est ouvert aux individus de plus de 25 ans révolus ;• Certaines écoles obligent les élèves ayant eu une note inférieure à un
seuil à suivre des cours d’été ou à redoubler ;• Une aide financière peut être accordée sous condition de ressources,
etc.• Des allègements de charges peuvent être accordés en fonction du
chiffre d’affaire, ou du nombre d’employé.e.s
• On peut utiliser cette discontinuité pour mesurer l’impact de lapolitique.
• Méthode des discontinuités de regression
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
2 autres méthodes particulièrement convaincantes• Jusqu’à présent, on a très peu discuté de la dimension temps dans
l’évaluation (normal, c’est beaucoup plus compliqué...)• La comparaison avant-après est rarement convaincante car les
situations évoluent parfois ”spontanément” ou du fait d’autresfacteur (conjoncture économique par exemple)
• La comparaison entre groupes éligibles et non éligibles est rarementvalide car il peut y avoir des différences persistentes entre les groupeset souvent inobservables.
• Si ces différences sont stables dans le temps, on peut exploiter letiming de mise en place de la politique pour identifier l’impact.
• Méthode des doubles différences
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regressionL’intuition derrière les RDDIllustration sur RRDD en pratiqueLe cas des modèles fuzzyValidité des RDD
3 Presentation Fack and Grenet (2015)
4 Double différences
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Éligibilité discontinue
• Des ressources ou des politiques peuvent être attribuées àpartir d’un score de mérite, d’un score de risque ou debesoin, d’un ordre d’arrivée, d’une date de naissance, d’unrevenu passé etc.
• Ce type de règle d’éligibilité est assez fréquent, même s’il yen a de moins en moins car elles tendent à créer desdistortions importantes (abaissement de charge pour lesentreprises de moins de 50 salarié.e.s par exemple)
• Parfois également, des changements se déroulent autourd’un seuil
• Élection d’un parti de gauche/droite etc.• Procédure médicale• Accompagnement éducatif
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Éligibilité discontinue• La discontinuité de regression est le design de recherche adapté pour
ces situations.• On a besoin d’une ”forcing variable” ou ”assignment variable” avec
un seuil (cutoff ) qui génère un changement de statut ou deprobabilité d’être traité
• On parle de discontinuité franche (Sharp design) quand de part etd’autre du seuil les personnes sont toutes ou pas du tout traité.
• Fack and Grenet (2015) utilisent une discontinuité franche pour lesbourses sur critères sociaux
• On parle de discontinuité floue (Fuzzy design) quand la discontinuitéengendre un changement dans la probabilité d’être traitée.
• Abdulkadiroglu, Angrist, and Pathak (2014) utilisent unediscontinuité floue d’accès à des magnet schools à Boston etNew-York.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Éligibilité discontinue• La discontinuité de regression est le design de recherche adapté pour
ces situations.• On a besoin d’une ”forcing variable” ou ”assignment variable” avec
un seuil (cutoff ) qui génère un changement de statut ou deprobabilité d’être traité
• On parle de discontinuité franche (Sharp design) quand de part etd’autre du seuil les personnes sont toutes ou pas du tout traité.
• Fack and Grenet (2015) utilisent une discontinuité franche pour lesbourses sur critères sociaux
• On parle de discontinuité floue (Fuzzy design) quand la discontinuitéengendre un changement dans la probabilité d’être traitée.
• Abdulkadiroglu, Angrist, and Pathak (2014) utilisent unediscontinuité floue d’accès à des magnet schools à Boston etNew-York.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Éligibilité discontinue• La discontinuité de regression est le design de recherche adapté pour
ces situations.• On a besoin d’une ”forcing variable” ou ”assignment variable” avec
un seuil (cutoff ) qui génère un changement de statut ou deprobabilité d’être traité
• On parle de discontinuité franche (Sharp design) quand de part etd’autre du seuil les personnes sont toutes ou pas du tout traité.
• Fack and Grenet (2015) utilisent une discontinuité franche pour lesbourses sur critères sociaux
• On parle de discontinuité floue (Fuzzy design) quand la discontinuitéengendre un changement dans la probabilité d’être traitée.
• Abdulkadiroglu, Angrist, and Pathak (2014) utilisent unediscontinuité floue d’accès à des magnet schools à Boston etNew-York.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
2 justifications des RDD pour identifier l’impact causal
1 Le processus de sélection est entièrement connu et peutêtre modélisé à l’aide de fonctions de régression desvariables d’affectation et de résultat.
• La partie non traitée de la variable de forçage permet d’identifier lasituation contrefactuelle
2 La discontinuité intervient comme une expérimentationaléatoire contrôlée autour du seuil
• Il n’est pas nécessaire d’identifier la relation structurelle entre lavariable de forçage et le résultat/traitement ; il faut définir unefenêtre autour du seuil.
Chaplin et al. (2018) ont comparé les résultats de RCT et deRDD pour les mêmes études et concluent que les RDDfournissent des résultats très proches des RCT et sans biais.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
2 justifications des RDD pour identifier l’impact causal
1 Le processus de sélection est entièrement connu et peutêtre modélisé à l’aide de fonctions de régression desvariables d’affectation et de résultat.
• La partie non traitée de la variable de forçage permet d’identifier lasituation contrefactuelle
2 La discontinuité intervient comme une expérimentationaléatoire contrôlée autour du seuil
• Il n’est pas nécessaire d’identifier la relation structurelle entre lavariable de forçage et le résultat/traitement ; il faut définir unefenêtre autour du seuil.
Chaplin et al. (2018) ont comparé les résultats de RCT et deRDD pour les mêmes études et concluent que les RDDfournissent des résultats très proches des RCT et sans biais.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
2 justifications des RDD pour identifier l’impact causal
1 Le processus de sélection est entièrement connu et peutêtre modélisé à l’aide de fonctions de régression desvariables d’affectation et de résultat.
• La partie non traitée de la variable de forçage permet d’identifier lasituation contrefactuelle
2 La discontinuité intervient comme une expérimentationaléatoire contrôlée autour du seuil
• Il n’est pas nécessaire d’identifier la relation structurelle entre lavariable de forçage et le résultat/traitement ; il faut définir unefenêtre autour du seuil.
Chaplin et al. (2018) ont comparé les résultats de RCT et deRDD pour les mêmes études et concluent que les RDDfournissent des résultats très proches des RCT et sans biais.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Une RDD comment ça marche ?• L’intuition, c’est que le seuil est arbitraire. S’il était ailleurs (ou pas là), la
relation entre le résultat et la forcing variable serait continue à cet endroit.• Lorsque la variable de forçage passe au dela du seuil c, la probabilité de
traitement change de façon discontinue.• On suppose que les individus ne peuvent pas manipuler avec précision leur
variable d’assignation.• Mot clé : Précision. ⇒ les individus proches du seuil sont comparables.
• Si les individus traités et non traités sont semblables près du seuil, lesdonnées peuvent être analysées comme s’il s’agissait d’une expériencerandomisée (conditionnelle) locale.
• Implication: si c’est vrai, alors les autres caractéristiques doivent êtresimilaires près de c (peut être vérifié empiriquement).
• L’effet estimé du traitement s’applique à ceux proche du seuil uniquement(validité externe).
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDD
Une RDD comment ça marche ?• L’intuition, c’est que le seuil est arbitraire. S’il était ailleurs (ou pas là), la
relation entre le résultat et la forcing variable serait continue à cet endroit.• Lorsque la variable de forçage passe au dela du seuil c, la probabilité de
traitement change de façon discontinue.• On suppose que les individus ne peuvent pas manipuler avec précision leur
variable d’assignation.• Mot clé : Précision. ⇒ les individus proches du seuil sont comparables.• Si les individus traités et non traités sont semblables près du seuil, les
données peuvent être analysées comme s’il s’agissait d’une expériencerandomisée (conditionnelle) locale.
• Implication: si c’est vrai, alors les autres caractéristiques doivent êtresimilaires près de c (peut être vérifié empiriquement).
• L’effet estimé du traitement s’applique à ceux proche du seuil uniquement(validité externe).
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDDHypothèse nécessaire à l’identification
1 Probabilité de traitement doit être discontinue au niveaudu seuil
• Il doit y avoir plus de personnes traité d’un côté que de l’autre• S’ils sont tous traités, c’est un sharp design, sinon c’est un
fuzzy design
2 Il n’y a pas de discontinuité des résultats potentiels ⇔ s’iln’y avait pas de cutoff, les résultats seraient continusautour du seuil.
• Cela revient aussi à dire qu’il n’y a pas d’autre interprétationspécifique de ce seuil.
• Heim (2018) utilise la discontinuité de la date de naissance au31/12 pour prédire l’accès en maternelle à 2 ans. Problème :Ce n’est pas la seule chose qui change autour du 31/12.
Plusieurs articles très précis offrent de bonnes instructions sur la manièrede mener une RDD. En particulier Imbens and Lemieux (2008), Lee andLemieux (2010), and Jacob et al. (2012)
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
L’intuition derrière les RDDHypothèse nécessaire à l’identification
1 Probabilité de traitement doit être discontinue au niveaudu seuil
• Il doit y avoir plus de personnes traité d’un côté que de l’autre• S’ils sont tous traités, c’est un sharp design, sinon c’est un
fuzzy design
2 Il n’y a pas de discontinuité des résultats potentiels ⇔ s’iln’y avait pas de cutoff, les résultats seraient continusautour du seuil.
• Cela revient aussi à dire qu’il n’y a pas d’autre interprétationspécifique de ce seuil.
• Heim (2018) utilise la discontinuité de la date de naissance au31/12 pour prédire l’accès en maternelle à 2 ans. Problème :Ce n’est pas la seule chose qui change autour du 31/12.
Plusieurs articles très précis offrent de bonnes instructions sur la manièrede mener une RDD. En particulier Imbens and Lemieux (2008), Lee andLemieux (2010), and Jacob et al. (2012)
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en RGénérer des données d’illustration
rm(list=ls())#Generate dataset.seed(378)
#Simple linear modelW
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Rdd en R
−1.0 −0.5 0.0 0.5 1.0
02
46
810
W
y
Treatment Effect
Figure: visualisation de RDD sharp
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en pratiqueModèles paramétriques ou non paramétriques
• Contrairement aux autres modèles, l’estimation repose surl’extrapolation, il n’y a pas de support commun dans uneRDD.
• La RDD repose sur la ”bonne” estimation de l’espéranceconditionnelle de part et d’autre du cutoff.
• Pour estimer les ”bras” des regressions, on peut définir unmodèle paramètrique (par exemple linéaire, ou polynomial)
Yi = α+ β1f(x) + ρDi + β2f(x)× Di + εi
• Avantages: Facile à estimer, permet d’ajouter facilement desvariables de contrôles, calculer les erreurs standards, tenircompte de cluster etc.
• Inconvénient: repose sur une forme fonctionnelle stricte (si pasle bon modèle, raisonnement faux).
• Inconvénient: peut être affecté par des observations lointainespar rapport au cutoff.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en pratiqueModèles paramétriques ou non paramétriques
• Contrairement aux autres modèles, l’estimation repose surl’extrapolation, il n’y a pas de support commun dans uneRDD.
• La RDD repose sur la ”bonne” estimation de l’espéranceconditionnelle de part et d’autre du cutoff.
• Pour estimer les ”bras” des regressions, on peut définir unmodèle paramètrique (par exemple linéaire, ou polynomial)
Yi = α+ β1f(x) + ρDi + β2f(x)× Di + εi
• Avantages: Facile à estimer, permet d’ajouter facilement desvariables de contrôles, calculer les erreurs standards, tenircompte de cluster etc.
• Inconvénient: repose sur une forme fonctionnelle stricte (si pasle bon modèle, raisonnement faux).
• Inconvénient: peut être affecté par des observations lointainespar rapport au cutoff.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Estimation par modèle linéaire
#### Call:## lm(formula = y ~ W + t * W + t)#### Residuals:## Min 1Q Median 3Q Max## -2.8210 -0.6812 0.0126 0.6166 3.5740#### Coefficients:## Estimate Std. Error t value Pr(>|t|)## (Intercept) 3.03515 0.09235 32.864
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
La forme de la fonctioncompte !
−1.0 −0.5 0.0 0.5 1.0
−2
02
46
W
y2
Figure: Fausse RDD, mauvais modele parametrique
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Données plus réalistes
−2.5
0.0
2.5
5.0
−1.0 −0.5 0.0 0.5 1.0W
Yne
w
as.factor(t)
0
1
Figure: Nouvelles donnees RDD
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Données plus réalistes
−2.5
0.0
2.5
5.0
−1.0 −0.5 0.0 0.5 1.0W
Yne
w
as.factor(t)
0
1
Figure: Regressions avec polynomes degres 1 - 7
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Comparaison des estimations
t
0 1 2
Value
Coe
ffici
ent
Model
Model1
Model2
Model3
Model4
Model5
Model6
Model7
Coefficient Plot
Figure: Resultats des estimations par RDD
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en pratique
Modèles paramétriques ou non paramétriques• L’autre façon de faire est d’estimer les espérances
conditionnelles locales de façon non paramètrique.• L’idée c’est de définir un intervalle (comme un histogramme) et
de calculer les moyennes dans ces intervalles
• avantage: pas d’hypothèse sur la forme du bras, 100% flexible• inconvénient: la définition de la taille des intervalles introduit
un arbitrage entre biais et précision.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en pratique
Modèles paramétriques ou non paramétriques• L’autre façon de faire est d’estimer les espérances
conditionnelles locales de façon non paramètrique.• L’idée c’est de définir un intervalle (comme un histogramme) et
de calculer les moyennes dans ces intervalles• avantage: pas d’hypothèse sur la forme du bras, 100% flexible• inconvénient: la définition de la taille des intervalles introduit
un arbitrage entre biais et précision.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
RDD en pratique
Quand les résultats peuvent être différents ?
• Si les effets sont faibles, les résultats peuvent être plus oumoins sensible à l’erreur de mesure
• Si la relation entre Y et X est différente loin du cutoff• Si la relation est déformée par trop de liberté pour le
polynôme.• C’est plus simple d’utiliser les méthodes paramétriques
(car on peut facilement ajouter des variables de contrôle,calculer les erreurs standards par cluster etc.)
• En pratique, on fait les 2 et on compare les résultats.Si les résultats sont différents, il faut s’inquiéter !Beaucoup !
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
−1.0 −0.5 0.0 0.5 1.0
−2
02
4
d$W
d$Y
new
Figure: Smoothing par fonction kernel, bins [.5 ; .05 ; .01]
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
−1.0 −0.5 0.0 0.5 1.0
0.0
0.5
1.0
forcing variable
Out
com
e
h=0.0752,\tn bins=28
Figure: visualisation de RDD sharp, bandwidth optimale
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Estimation non paramètrique
0.0 0.2 0.4 0.6 0.8 1.0
−1
01
23
bandwidth
LAT
E
Sensitivity to bandwidth choice
Figure: Resultats en fonction de la taille de l’intervalle
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Comparaison des estimationsparamétriques et non
paramétriques
Le vrai effet généré est de 1.
Coef. Robust SE Z-stat. pr(> |z|)
RDD non parametrique 1.026 (0.182) 5.643 0RDD linéaire 0.96 (0.143) 6.703 0RDD p(2) 1.189 (0.203) 5.863 0RDD p(3) 0.918 (0.262) 3.498 0RDD p(4) 1.569 (0.322) 4.872 0RDD p(7) 1.664 (0.503) 3.309 0.001
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Le cas des modèles fuzzyFuzzy is IV !
• Dans un modèle fuzzy, ce n’est pas le traitement qui estdiscontinu mais sa probabilité.
• une fraction de personnes va réagir à l’éligibilité ouvertepar le seuil.
• Situation semblable au LATE ⇒ mesurer l’effet sur lescompliers avec les mêmes hypothèses qu’une variableinstrumentale.
• La first stage consiste à prédire le traitement en utilisantla discontinuité comme instrument. si Di est le traitementet Ci = 1(Xi ≥ c),
Di =α1 + β1f(Xi) + πCi + β2f(Xi)× Ci + εi,1Yi =α2 + β′1f(Xi) + ρDi + β2f(Xi)× Ci + εi,2
•
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Fuzzy design
−3 −2 −1 0 1 2 3
−2
02
4
W
Y
Figure: Fuzzy RDD illustration
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regressionL’intuition derrièreles RDD
Illustration sur R
RDD en pratique
Le cas des modèlesfuzzy
Validité des RDD
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Validité des RDD
Tests à faire pour rendre crédible
• RDD Porn: Une RDD doit se voir, les graphs sontindispensables !
• McCarry test: Les individus ne doivent pas pouvoirmanipuler leur position ⇒ la densité des observations doitêtre continue de part et d’autre de la discontinuité
• PLacebo tests Les variables de contrôles ne doivent pasêtre discontinues non plus autour du seuil.
• Forme fonctionnelle et taille d’intervalle: tester lasensibilité des résultats à la taille des intervalles, à lafenêtre autour du seuil, et à la relation entre la forcingvariable et le résultat (linéaire, polynomiale,non-paramétrique etc.)
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regression
3 Presentation Fack and Grenet (2015)
4 Double différences
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regression
3 Presentation Fack and Grenet (2015)
4 Double différencesPourquoi des doubles différences ?You know something John Snow !Cas standard 2 périodes 2 groupesCas avec plusieurs périodes
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Pourquoi des doublesdifférences ?
Comparaisons intuitives
1 Comparer les participants (” traités ”) et les non-participants (” nontraités ”) (en coupe transversale) : estimateur de simple différence(MCO)
• Problème: possibles différences non observées entre les traitéset non traitées qui sont corrélés avec les résultats (Besoin d’uninstrument dans ce cas).
• Exemple : Effet du soutien scolaire privé sur les résultats desélèves :
• Peut être déterminé par l’ambition, ou une tendance de baissede niveau
2 Comparer l’évolution des résultats avant et après le traitement• Problème: Évolution ”spontanée” indépendante du traitement
• Les élèves progressent au cours du temps et donc lacomparaison avant après mélangera l’effet du traitement aveccette évolution
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Pourquoi des doublesdifférences ?
Comparaisons intuitives
1 Comparer les participants (” traités ”) et les non-participants (” nontraités ”) (en coupe transversale) : estimateur de simple différence(MCO)
• Problème: possibles différences non observées entre les traitéset non traitées qui sont corrélés avec les résultats (Besoin d’uninstrument dans ce cas).
• Exemple : Effet du soutien scolaire privé sur les résultats desélèves :
• Peut être déterminé par l’ambition, ou une tendance de baissede niveau
2 Comparer l’évolution des résultats avant et après le traitement• Problème: Évolution ”spontanée” indépendante du traitement
• Les élèves progressent au cours du temps et donc lacomparaison avant après mélangera l’effet du traitement aveccette évolution
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Pourquoi des doublesdifférences ?
Solution: double différence• Si les traités et non traités ont une évolution similaire dans le temps• Dit autrement, si les différences entre les groupes sont constantes
dans le temps• Alors la différence avant après élimine l’évolution dans le temps, la
différence entre les groupes élimine les différences constantes dans letemps ; il ne reste que l’effet du traitement
• Conditions: disposer de données avant et après pour les groupestraités et non-traités, données de panel ou données en coupe répetées.
• Vigilence:• Tout devient plus compliqué en cas d’effet hétérogène et en cas
d’effet dynamique (Goodman-Bacon 2018; de Chaisemartin andD’Haultfœuille 2019)
• Les situations ”fuzzy” sont mal identifiées avec des modèles”classiques” (Chaisemartin and D’Haultfœuille 2017)
• Prudence en dehors du cas 2 groupes - 2 périodes.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
You know something JohnSnow !
Première idée de DiD• 1849 : La pire épidémie de choléra de Londres fait 14 137 victimes• Deux compagnies ont fourni de l’eau à une grande partie de Londres :
• Lambeth Waterworks Co.• Southwark and Vauxhall Water Co.
• Les deux ont puisé leur eau dans la Tamise.• John Snow fait l’hypothèse que le choléra se propageait par l’eau
contaminée• 1852 : Lambeth Waterworks a déplacé sa prise d’eau en amont de la
rivière• Tout le monde savait que la Tamise était sale sous le centre de
Londres.• 1853 : Londres a une autre épidémie de choléra• Les clients de Lambeth Waterworks sont-ils moins susceptibles d’être
malades ?
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
You know something JohnSnow !
Figure: Carte de Londres de l’époque et zone des compagnies d’eau
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
You know something JohnSnow !
Résultats• Les données sur la mortalité ont montré que très peu de décès dus au
choléra ont été signalés dans des quartiers de Londres qui n’étaientalimentés que par la station d’épuration de Lambeth.
• Snow a embauché John Whiting pour visiter les résidences de lapersonne décédée afin de déterminer quelle entreprise (s’il y a lieu)fournissait son eau potable.
• En utilisant les données de Whiting, Snow a calculé le taux demortalité
• Southwark et Vauxhall : 71 décès dus au choléra/10 000 foyers• Lambeth : 5 décès dus au choléra/10 000 foyers
• Southwark et Vauxhall responsables de 286 des 334 morts Southwarket Vauxhall ont déplacé leur prise d’eau en amont de la rivière en1855.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Cas standard 2 périodes 2groupes
L'estimateur de Differences−in−Differences
Periode
Y
Avant Apres
β̂1DID
s. mean control
s. mean treatment
s. mean control
s. mean treatment
Figure: illustration de DID
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Simulations sur R
# set sample sizen
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Représentation graphique
05
1015
Artificial Data for DID Estimation
Period
Y
before after
Figure: DID simulee
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Estimations
didhand
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Cas standard 2 périodes 2groupes
Validité• La DID suppose que le biais de sélection est additif est constant dans
le tempsCas des programmes ciblés : DID valide ?
• Si la composition des groupes change au cour du temps, le modèlen’est pas identifié sans hypothèse supplémentaire.
• Il est possible d’étendre ce cas à la situation ”fuzzy” mais il fautpondérer les groupes différemment (Chaisemartin and D’Haultfœuille2017)
• Tout repose sur l’hypothèse de tendance parallèles qui ne peut setester directement
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Défendre l’hypothèse detendance parallèle
Trois approches pour défendre la parallel trendassumption
1 Un graphique convaincant (DiD Porn)2 Un test de falsification ou, par analogie, un test direct
dans les données de panel3 Contrôler directement les tendances temporelles
Inconvénient : l’identification vient de l’hypothèse deforme fonctionnelle
Aucune de ces approches n’est possible avec deux périodes.S’il y a un choc spécifique au groupe traité à la période où ilest traité, qu’est-ce qui est identifié ?
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Cas avec plusieurs périodes
DID dans un modèle de regression• On estime l’équation suivante:
Yg,t = α+ βDg +∑
tγt +
∑t
δt(Dg × γt) + εg,t
• g indice le groupe, mais on peut bien-sur utiliser des données depanel individuelles
• γt est une dummy pour la date t• δt sont les coefficients de dif in dif spécifique à la date t.• Le principal problème de ces données est qu’il y a un problème de
corrélation des résidus par groupe (Bertrand, Duflo, andMullainathan 2004).
• Le problème est semblable au problème de clustering dans une RCT.Et se gère de la même façon en corrigeant les erreurs standards.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Examples d’applications
Méthode très TRÈS populaire• Marche aussi très bien avec une expérimentation (permet de gagner
en puissance en utilisant les données avant le programme)• Evaluation de la ”Garantie Jeune” en France• Evaluation des zone d’éducation prioritaires• Evaluation de l’effet du salaire minimum ;• Evaluation de l’effet de l’arrivée de migrants ;• Effets de réformes affectant qu’une partie de la population ;• Effet de l’arrivée d’un enfant sur les inégalités H/F
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Quelques DID PORNGRAPHS
Examples d’après Kleven, Landais, and Søgaard (2016)
Figure: Effet de l’arrivée d’un enfant chez les femmes au Danemark
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Quelques DID PORNGRAPHS
Examples d’après Kleven, Landais, and Søgaard (2016)
Figure: Effet de l’arrivée d’un enfant chez les hommes au Danemark
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Quelques DID PORNGRAPHS
Examples d’après Andresen and Nix (2019)
Figure: Effet de l’arrivée d’un enfant entre couples hétéro ouhomosexuels
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
DoubledifférencesPourquoi desdoubles différences ?
You know somethingJohn Snow !
Cas standard 2périodes 2 groupes
Cas avec plusieurspériodes
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Le mot de la fin sur les DID
Ça marche bien, maiiiiis...• Les DID sont très populaires et très instinctives• Dans sa version simple, tout marche très bien mais on ne peut pas
tester la parallel trend assumption• Avec plusieurs périodes on peut la défendre avec les périodes avant
ou des tests placebo.• En présence d’hétérogénéité, le modèle n’est pas aussi simplement
identifié (non traité ici)• Pour les comparaisons multi-groupes, multi-périodes, l’estimation par
des modèles à effet fixe est biaisé ; il faut corriger ou faire d’autreshypothèses (Goodman-Bacon 2018; de Chaisemartin andD’Haultfœuille 2019)
• Des travaux récents ont défini les conditions d’estimations dans le casde modèles ”fuzzy” (Chaisemartin and D’Haultfœuille 2017)
• Vous pouvez en savoir plus sur le site de Clement De Chaisemartin(UCSB)
mailto:[email protected]://sites.google.com/site/clementdechaisemartin/https://sites.google.com/site/clementdechaisemartin/
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regression
3 Presentation Fack and Grenet (2015)
4 Double différences
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Le grand saut: discontinuités de regression
3 Presentation Fack and Grenet (2015)
4 Double différences
5 Présentation Nafilyan (2016)
6 Conclusion
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Conclusion
Que retenir sur l’évaluation d’impact ?• ”C’est des méthodes d’économiste, c’est pas pour moi”.
WRONG.• La définition de la causalité à la Rubin permet d’appréhender dans un
cadre simple les enjeux d’identification, oblige à faire attention àcomparer ce qui est comparable ;
• Grace au contenu présenté ici, vous pouvez quantifier les effets d’unepolitique et compléter votre analyse.
• Ce cours introduisait les principales méthodes ; ce ne sont pas lesseules mais ce sont les mieux balisées et les plus simples à mettre enoeuvre dans votre vie professionnelle future.
• Les fichiers partagés contiennent les codes pour le faire vous même.Reprenez-les, adaptez-les !
• N’ayez pas peur d’avoir du quanti dans votre boite à outil !
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Conclusion
Que retenir sur l’évaluation d’impact ?• ”C’est des méthodes d’économiste, c’est pas pour moi”. WRONG.• La définition de la causalité à la Rubin permet d’appréhender dans un
cadre simple les enjeux d’identification, oblige à faire attention àcomparer ce qui est comparable ;
• Grace au contenu présenté ici, vous pouvez quantifier les effets d’unepolitique et compléter votre analyse.
• Ce cours introduisait les principales méthodes ; ce ne sont pas lesseules mais ce sont les mieux balisées et les plus simples à mettre enoeuvre dans votre vie professionnelle future.
• Les fichiers partagés contiennent les codes pour le faire vous même.Reprenez-les, adaptez-les !
• N’ayez pas peur d’avoir du quanti dans votre boite à outil !
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Conclusion
Que retenir sur l’évaluation d’impact ?• ”C’est des méthodes d’économiste, c’est pas pour moi”. WRONG.• La définition de la causalité à la Rubin permet d’appréhender dans un
cadre simple les enjeux d’identification, oblige à faire attention àcomparer ce qui est comparable ;
• Grace au contenu présenté ici, vous pouvez quantifier les effets d’unepolitique et compléter votre analyse.
• Ce cours introduisait les principales méthodes ; ce ne sont pas lesseules mais ce sont les mieux balisées et les plus simples à mettre enoeuvre dans votre vie professionnelle future.
• Les fichiers partagés contiennent les codes pour le faire vous même.Reprenez-les, adaptez-les !
• N’ayez pas peur d’avoir du quanti dans votre boite à outil !
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Bibliography I▶ Abdulkadiroglu, Atila, Joshua D. Angrist, and Parag Pathak. 2014. “The Elite Illusion: Achievement Effects
at Boston and New York Exam Schools.” Econometrica 82 (1): 137–196.
▶ Andresen, Martin Eckho, and Emily Nix. 2019. “What Causes the Child Penalty? Evidence from Same SexCouples and Policy Reforms”: 69.
▶ Bertrand, Marianne, Esther Duflo, and Sendhil Mullainathan. 2004. “How Much Should We TrustDifferences-in-Differences Estimates?” The Quarterly Journal of Economics 119 (1): 249–275.
▶ Chaisemartin, Clément De, and Xavier D’Haultfœuille. 2017. “Fuzzy Differences-in-Differences.” The Reviewof Economic Studies: 30.
▶ Chaplin, Duncan D., Thomas D. Cook, Jelena Zurovac, Jared S. Coopersmith, Mariel M. Finucane,Lauren N. Vollmer, and Rebecca E. Morris. 2018. “The Internal and External Validity of theRegression Discontinuity Design: A Meta-Analysis of 15 Within-Study Comparisons.” Journal ofPolicy Analysis and Management 37 (2): 403–429.
▶ De Chaisemartin, Clément, and Xavier D’Haultfœuille. 2019. “Two-Way Fixed Effects Estimators withHeterogeneous Treatment Effects” (October 30).
▶ Fack, Gabrielle, and Julien Grenet. 2015. “Improving College Access and Success for Low-Income Students:Evidence from a Large Need-Based Grant Program.” American Economic Journal: AppliedEconomics 7, no. 2 (April): 1–34.
▶ Goodman-Bacon, Andrew. 2018. Difference-in-Differences with Variation in Treatment Timing w25018.Cambridge, MA: National Bureau of Economic Research, September.
▶ Heim, Arthur. 2018. Quand La Scolarisation à 2 Ans n’a Pas Les Effets Attendus: Des Evaluations SurDonnées Françaises. France Stratégie.
mailto:[email protected]
-
Séance VII:Principalesméthodes
quasi-expérimentales
Arthur Heim
Introduction
Le grand saut:discontinuitésde regression
PresentationFack andGrenet (2015)
Doubledifférences
PrésentationNafilyan(2016)
Conclusion
References
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Bibliography II
▶ Imbens, Guido W., and Thomas Lemieux. 2008. “Regression Discontinuity Designs: A Guide to Practice.”Journal of Econometrics 142, no. 2 (February): 615–635.
▶ Jacob, Robin Tepper, Pei Zhu, Marie-Andrée Somers, and Howard S Bloom. 2012. A Practical Guide toRegression Discontinuity. Citeseer.
▶ Kleven, Henrik Jacobsen, Camille Landais, and Jakob Egholt Søgaard. 2016. “Children and GenderInequality: Evidence from Denmark”: 55.
▶ Lee, David S., and Thomas Lemieux. 2010. “Regression Discontinuity Designs in Economics.” Journal ofEconomic Literature 48, no. 2 (June): 281–355.
▶ Nafilyan, Vahé. 2016. Lost and Found?: The Cost of Job Loss in France. OECD Social, Employment andMigration Working Papers 194. August 26.
▶ Rubin, Donald B. 1974. “Estimating Causal Effects of Treatments in Randomized and NonrandomizedStudies.” Journal of Educational Psychology 66(5):688–701.
mailto:[email protected]
IntroductionLe grand saut: discontinuités de regressionL'intuition derrière les RDDIllustration sur RRDD en pratiqueLe cas des modèles fuzzyValidité des RDD
Presentation FackGrenet2015Double différencesPourquoi des doubles différences ?You know something John Snow !Cas standard 2 périodes 2 groupesCas avec plusieurs périodes
Présentation Nafilyan2016Conclusion