r aux enquêtes de conjoncture

La production des enquêtes de conjonctureLa constitution et mise en forme des données

Réalisation des cahiers d’étalonnages

Les informations rapidesLes cahiers d’étalonnagesPourquoi passer à R ?

R aux enquêtes de conjoncture

Jean-François Eudeline

INSEE

17 avril 2013

Jean-François Eudeline R aux enquêtes de conjoncture




1 La production des enquêtes de conjonctureLes informations rapidesLes cahiers d’étalonnagesPourquoi passer à R ?

2 La constitution et mise en forme des données

3 Réalisation des cahiers d’étalonnages





Une production répétitive

9 enquêtes12 informations rapides différentes84 IR par an, aux formats similaires, à partir d’une base dedonnées commune.





Pour chaque information rapide

Une page sur insee.frUn document PDFun fichier excel (séries longues)un fichier XML pour la banque de donnéesmacroéconomiques (BDM)





Les cahiers d’étalonnage

Préparation de la note de conjoncture trimestrielle5 cahiers : production, emploi, investissement,consommation, constructiondes outils communs : étalonnages, calculs en temps réel,VAR, VECMDes présentations communes : tableaux, graphiques,résultats de modèles





Avant R

Chaque chargé d’enquête constitue ses données ettravaille individuellement à sa partie de cahier.Calcul des modèles par des programmes personnelséventuellement différents : non cohérence éventuelle descalculs ou paramètres entre les différentes parties d’uncahier.hétérogénéité de la présentation des différentes parties ducahier.Multitude des outils utilisés : SAS, R, Rats, Gauss, Excel...Nombreuses manipulations manuelles (copier-coller...)sources d’erreurs.





Objectifs du passage à R

Mettre en commun la constitution des donnéesAutomatiser le plus possible la réalisation des InformationsRapides.Constituer une banque d’outils de calcul de modèles.Générer automatiquement les cahiers d’étalonnages.





Des contraintes

Deux contraintes a priori contradictoires :mutualisation et centralisation des outils.responsabilité des agents sur leur enquête et leur partie decahier

Deux solutions apportées :partage du développement avec SVNconception modulaire des outils




1 La production des enquêtes de conjoncture


3 Réalisation des cahiers d’étalonnages




Architecture du système

prog1.Rsource1 data1.RData

prog2.Rsource2 data2.RData

......

...

sourceN progN.R dataN.RData

dataEtal .R donnees.RData

IndSynth.R

IR.R

soldes

IndSynth.RData

SeriesLongues.xls

BDM.xml




Mise à jour des données

Un programme unique MaJdonnees.R met à jour tout oupartie des données (dispose d’un menu pour choisir lesdonnées à mettre à jour.Les programmes sont petit donc faciles à maintenir.Chaque programme possède un mainteneur.Un bug dans un programme n’empèche pas les autresmises à jour de se faire correctement.Ajouter des nouvelles données est facile. Il suffit de créerun nouveau programme progN+1.R qui va chercher desdonnées (sur internet, dans un fichier excel...), le traite,puis exporte vers dataN+1.RData. Puis on modifiedataEtal.R pour qu’il importe ces nouvelles données.




Les fonctionsLes cahiers

1 La production des enquêtes de conjoncture


3 Réalisation des cahiers d’étalonnagesLes fonctionsLes cahiers





Des bibliothèques de fonctions I

ts-utils.R contient des fonctions de manipulation des sériestemporelles, ces fonctions complètent celles présentesdans le package facts développé et maintenu par ladivision des comptes trimestriels.prev-utils.R contient les fonctions de calcul statistique. Legros morceau est le calcul de prévisions des modèles entemps réel.graph-util.R contient la fonction de création de graphiques(avec un choix d’options modifiables par défaut)format-2tex.R et format2html.R sont des bibliothèques defonctions d’affichage de bas niveau. Ils contiennent lesmême fonctions, on fait appel à l’un ou l’autre suivant leformat de sortie que l’on souhaite.





Des bibliothèques de fonctions II

format-macro.R contient des fonctions d’affichage de hautniveau. Il utilise abondamment les fonctions deformat-2tex.R et format2html.R, et ne contient aucunformatage direct en LATEXou HTML.





la fonction nouvellePartie dans format-2tex.R

nouvellePartie <- function(...,sep=" ",commencerPage=TRUE,numerotation=TRUE) {cat( "\\FloatBarrier \n")if (commencerPage) sautDePage()titre <- paste(...,sep="")cat( "\\subsection")if(numerotation==F) cat("*")cat("{" , sanitizeTexString(titre) , "}\n\n",sep="" )}





la fonction nouvellePartie dans format-2html.R

nouvellePartie <- function(...,sep=" ",commencerPage=TRUE) {

if (commencerPage) sautDePage()titre <- paste(...,sep="")cat( "<h2>" , titre , "</h2>\n\n" , sep=sep )}





La fonction afficheSerie (extrait)

afficheSeries <- function(..

filePath <- paste("img/enq-",idgraph,sep="")creerFichierImage(filePath)timeSeriesPrettyPlot(donnees,ylab=titreOrdonnees,xlab=titreAbscisses,

main=titreGraph,legende=nomsVariables,hline=hline,reencoder=reencoder,afficheMoyennes=afficheMoyennes,Moyennes=Moyennes,datePrev=datePrev)

dev.off()..





La fonction creerFichierImage version LATEX

creerFichierImage <- function(racineNom,width=7,height=4) {fileName<-paste("Output/",racineNom,".tex",sep="")tikz(file=fileName,width=.8*width,height=.8*height,sanitize=TRUE)#pdf(file=fileName,width=.8*width,height=.8*height)#Marges des graphiquespar(mar=c(3,2,1,0))

}





La fonction creerFichierImage version HTML

creerFichierImage <- function(racineNom,width=7,height=4) {

fileName<-paste("Output/",racineNom,".wmf",sep="")win.metafile(file=fileName,width=width,

height=height)par(mar=c(2.5,2,1.5,0.5))}





Un exemple minimal fictif de cahier I

load("donnees.RData")source("prev-util.R")

modele_exemple <- modele(titreEtalonnage = "Exemple de modèle",titreCourt = "Mod_ex",formule = cprodbtp_ch ~ 1 + fbcf_btp_prl ,startEst=date_deb,endEst=date_fin)

result_exemple <- previsions(modele_exemple,donnees,tempsReel=TRUE,centrerContrib=T)





Un exemple minimal fictif de cahier II

source("format-2tex.R")source("format-macro.R")

sink("Output/exemple.tex")debutDocument()tableDesMatieres()nouvellePartie("titre")

afficheSeries(donnees=data[,1:2],nomsVariables=c("Commerce","Services"),titreGraph="Soldes d’opinion",table=FALSE,





Un exemple minimal fictif de cahier III

imageHeight=3.5)

affichePrevisions(result_exemple,contributions=TRUE,detailCoefficients=TRUE,afficherRMSE=TRUE)finDocument()sink()





Un vrai exemple de document maître I

rm(list = ls())

prev_indus=-0.3prev_const=-0.3prev_termhi=-0.2prev_interim=-2.4prev_smna=-0.4

source("utilitaires/format-2tex.R")source("utilitaires/format-macro.R")

source("cahier-emploi/prev-emploi-france.R")source("cahier-emploi/prev-emploi-industrie.R")





Un vrai exemple de document maître IIsource("cahier-emploi/prev-emploi-btp.R")source("cahier-emploi/prev-emploi-tertiaire.R")

sink("Output/flash-emploi.tex")debutDocument()source("cahier-flash-emploi/flash-emploi-modele.R")finDocument()sink()





Un vrai exemple de document maître III

Un responsable par partie de cahier. Il maintient leprogramme prev-emploi-secteur.R.

Ce programme choisit automatiquement les modèles àestimer en fonction de la dernière valeur de la séried’emploi et des séries de soldes. Puis il estime cesmodèles.

Le programme flash-emploi-modele.R écrit le cahier.





Merci de votre attention


r aux enquêtes de conjoncture

Documents