présentation edf consommation par y. goude
TRANSCRIPT
beamer-logoEDF
Modele GAM et modele GAM
adaptative pour la prevision de
consommation electrique francaise a
court terme
Yannig GoudeEDF R&D, France
(EDF R&D, France) 19/11/2010 1 / 44
beamer-logoEDF
1 La prevision de consommation electrique
2 Les donnees de consommationCycles et proprietes temporelles du signal de conso. FranceDependance aux variables meteorologiquesDependance aux variables tarifaires/economiquesEvenements atypiques
3 Le modele parametrique utilise par EDF
4 La methodologie GAMcadre theoriqueStatistiques interessantes pour la pratique
5 Application 1: un modele de la consommation electrique Francaise
6 Application2: un modele unique
(EDF R&D, France) 19/11/2010 2 / 44
beamer-logoEDF
La prevision de consommation electrique
Une activite essentielle pour EDF:
(presque) pas de stockage: necessited’adequation offre-demande en tempsreel
eviter les black outs
eviter les penalites financieresresultant d’un desequilibreoffre-demande
→ La prevision de conso. est une activite cledu management d’energie:
la consommation est la variabled’entree pour le programme d’appel
le management d’un grand nombre de
moyens de production electrique en
depend:
centrales nucleaire,thermiquesbarrages, heoliennes
(EDF R&D, France) 19/11/2010 3 / 44
beamer-logoEDF
La prevision de consommation electrique
La prevision de consommation est donc necessaire a plusieurs horizons:
tres court terme (infra-journalier): de 1h a 24h
court terme: de 1 jour a 2 semaines
programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)
moyen terme:de 2 semaines a 5 ans
maintenancepolitique de gestion de risque
long terme: de 5 a 50 ans
strategie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44
beamer-logoEDF
La prevision de consommation electrique
La prevision de consommation est donc necessaire a plusieurs horizons:
tres court terme (infra-journalier): de 1h a 24h
court terme: de 1 jour a 2 semaines
programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)
moyen terme:de 2 semaines a 5 ans
maintenancepolitique de gestion de risque
long terme: de 5 a 50 ans
strategie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44
beamer-logoEDF
La prevision de consommation electrique
La prevision de consommation est donc necessaire a plusieurs horizons:
tres court terme (infra-journalier): de 1h a 24h
court terme: de 1 jour a 2 semaines
programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)
moyen terme:de 2 semaines a 5 ans
maintenancepolitique de gestion de risque
long terme: de 5 a 50 ans
strategie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44
beamer-logoEDF
La prevision de consommation electrique
La prevision de consommation est donc necessaire a plusieurs horizons:
tres court terme (infra-journalier): de 1h a 24h
court terme: de 1 jour a 2 semaines
programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)
moyen terme:de 2 semaines a 5 ans
maintenancepolitique de gestion de risque
long terme: de 5 a 50 ans
strategie d’investissement
(EDF R&D, France) 19/11/2010 4 / 44
beamer-logoEDF
Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France
Une tendance:
(EDF R&D, France) 19/11/2010 5 / 44
beamer-logoEDF
Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France
Un cycle annuel:
(EDF R&D, France) 19/11/2010 6 / 44
beamer-logoEDF
Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France
Un cycle hebdomadaire:
(EDF R&D, France) 19/11/2010 7 / 44
beamer-logoEDF
Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France
Un cycle journalier:
(EDF R&D, France) 19/11/2010 8 / 44
beamer-logoEDF
Les donnees de consommation Dependance aux variables meteorologiques
La temperature:
(EDF R&D, France) 19/11/2010 9 / 44
beamer-logoEDF
Les donnees de consommation Dependance aux variables meteorologiques
La nebulosite:
(EDF R&D, France) 19/11/2010 10 / 44
beamer-logoEDF
Les donnees de consommation Dependance aux variables tarifaires/economiques
Jours Effacements Jour de Pointe:
(EDF R&D, France) 19/11/2010 11 / 44
beamer-logoEDF
Les donnees de consommation Dependance aux variables tarifaires/economiques
Activite Economique (IPI...)
(EDF R&D, France) 19/11/2010 12 / 44
beamer-logoEDF
Les donnees de consommation Evenements atypiques
Coupe du monde de foot:
(EDF R&D, France) 19/11/2010 13 / 44
beamer-logoEDF
Les donnees de consommation Evenements atypiques
Un exemple de l’effet greve:
(EDF R&D, France) 19/11/2010 14 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 15 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 16 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 17 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 18 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 19 / 44
beamer-logoEDF
Le modele parametrique utilise par EDF
(EDF R&D, France) 19/11/2010 20 / 44
beamer-logoEDF
La methodologie GAM cadre theorique
Cadre theorique:
soit y une v.a.r
les variables explicatives associees: x1, ..., xp, et X ∗ = x∗1 , ..., x∗k
Un modele GAM correspond au type de modele suivant:
yi = X ∗i β
∗ + f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ...+ εi
Ou (εi )i=1,...,n:
iid
E(εi ) = 0,V (εi ) = σ2
les fonctions fj sont supposees suffisemment ”lisses” (estimable par regressionspline penalisee...)
(EDF R&D, France) 19/11/2010 21 / 44
beamer-logoEDF
La methodologie GAM cadre theorique
Plus precisement:
yi = X ∗i β
∗ + f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ...+ εi
on suppose que∫
f′′
(x)2dx est faible (cubic splines)
cette notion de regularite etant parametrable: parametre λ= (λ1, λ2, ...)
# cela conduit au probleme d’optimisation suivant:
minβ∗,fj
n∑i=1
(yi − X ∗i β
∗ − f1(x1,i )− f2(x2,i ) + ...)2
︸ ︷︷ ︸MSE
+λ1
∫f′′
1 (x)2dx + λ2
∫f′′
2 (x)2dx︸ ︷︷ ︸penalite
+...
(EDF R&D, France) 19/11/2010 22 / 44
beamer-logoEDF
La methodologie GAM cadre theorique
(EDF R&D, France) 19/11/2010 23 / 44
beamer-logoEDF
La methodologie GAM cadre theorique
Projection lineaire dans une base de fonction:
fj(x) =
k1∑q=1
a1,q(x)β1,q
le probleme devient:
minf ,g
n∑i=1
(yi−X ∗i β
∗−k1∑
q=1
a1,q(xi )β1,q−k2∑
q=1
a2,q(xi )β2,q...)2+λ1β
t1S1β1+λ2β
t2S2β2+...
Ou: Sj est une matrice connue, dependant de la base choisie
connaissant λ le probleme se ramene a un probleme de ridge regression
les solutions: on note F := [X ∗, a1(X1), a2(X2), ..., ap(Xp)]
β = (FTF + λ1S1 + λ2S2 + ...)−1FT yA = F (FTF + λ1S1 + λ2S2 + ..)−1FT , µ = Ay
(EDF R&D, France) 19/11/2010 24 / 44
beamer-logoEDF
La methodologie GAM cadre theorique
Choix de λ
Validation croisee: OCV
enlever une observationestimer le modele sur le nouveau jeu de donneeprevoir l’observation en question, mesurer l’erreur quadratiqueiterer le processus sur toutes les observationschoisir le λ qui minimise l’erreur moyenne (OCV score)
# Pb: temps de calcul
Validation croisee generalisee: GCV
V = n‖y − Ay |2/(n − tr(A))2
Avantage du GCV:
temps de calcul: formule explicite, permet d’appliquer un algo d’optim numerique(package mgcv de R: Newton multidimension)
resultats theoriques (voir [Wahba (1990)]): asymptotique (minimise l’erreur quad.de prevision), stabilite au choix de la base de splines
(EDF R&D, France) 19/11/2010 25 / 44
beamer-logoEDF
La methodologie GAM Statistiques interessantes pour la pratique
degres de liberte estime: tr(A)
R2 = 1−∑
(yi − µi )2/
∑(yi − y)2, ajusted-R2 = 1− 1
n−p
∑(yi − µi )
2/∑
(yi − y)2
GCV scoreV = n‖y − Ay |2/(n − tr(A))2
tests (Fisher, Student) (hyp. de normalite)
Outil informatique: R, package mgcv (Simon Wood, voir [Wood (2001)] et[Wood (2006)])
(EDF R&D, France) 19/11/2010 26 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Pourquoi un modele GAM a EDF:
deformation de la courbe de charge (modification des usages)
modele parametrique couteux en donnee, hypothese rigides
prevision d’un intervalle de confiance...
(EDF R&D, France) 19/11/2010 27 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Les donnees:
la consommation electrique (donnees consolidees horaires): P en MW
la temperature T en ◦C
la temperature ressentie Tl , provenant de la modelisation parametriqueoperationnelle
T23 (resp. T23), la temperature maximale (resp. minimale) des dernieres 24 heures
la nebulosite N en Octet (0 pas de nuage, 1 1/8 du ciel couvert...,1 ciel totalementcouvert)
la vitesse du vent V (en m/s)
le calendrier
posant : quantieme du jour de l’observation t dans l’annee (1/365.25pour le 01/01, 2/365.25 le 02/01...)tdjt : variable qualitative, dans 1, ..., kswe:variable qualitative, dans 0, 1, pour weekend/ semaine
Les variables meteo. sont des moyennes ponderees (prise en compte de la population,l’industrialisation...) de 26 stations du territoire. La periode d’estimation s’etend du 1erseptembre 2000 au 31 aout 2005. Pour prendre en compte le cycle journalier de la
conso., ainsi que pour des raisons de temps de calcul, nous considerons un modeledifferent par instant de la journee (ici l’heure), soit 24 modeles
(EDF R&D, France) 19/11/2010 28 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Modeles testes
Modele R2 GCV Effets pris en compte
mod1 0.904 6.63 ∗ 106 f (Tl ), f (Pt−24), f (Pt−168), f (posant ), f (Nt )
mod2 0.911 5.69 ∗ 106 f (Tt ), f (Tt−1), f (Tt−24), f (Pt−24),f (Pt−168),f (posant )
mod3 0.911 5.69 ∗ 106 f (Tt ), f (Tt−24), f (Tt−48), f (Tt−24+Tt−48
2), f (Pt−24), f (Pt−168),f (posant )
mod4 0.978 1.43 ∗ 106 mod1 +swet
mod5 0.979 1.41 ∗ 106 mod2 +swet
mod6 0.979 1.38 ∗ 106 mod3 +swet
mod7 0.987 8.83 ∗ 106 mod6 +trend
mod8 0.994 3.94 ∗ 105 mod7 -swet + tdjtmod9 0.994 3.22 ∗ 105 mod8 +gestion lag/jours feries
mod10 0.994 3.19 ∗ 105 mod9 +f (Pt−24, by = tdjt )
mod11 0.994 2.9 ∗ 105 mod10 -f (Pt−168)+f (Pt−168, posan)
mod12 0.994 2.67 ∗ 105 mod11 -f (Tt )+f (Tt , Vt )
mod13 0.996 2.66 ∗ 105 mod12 + invalid. outliers
mod14 0.996 2.74 ∗ 105 mod13+ rupture d’ete
mod15 0.997 2.52 ∗ 105 mod14-f (posant )+f (posant , by = swe)
mod16 0.997 2.44 ∗ 105 mod15-f (Pt−168, posan)
mod17 0.997 2.35 ∗ 105 mod16-f (Tt−24+Tt−48
2)+f (T23)+f (T23) rupture d’ete
Possibilite d’inclure la rupture d’ete, mais pas la rupture d’hiver dans le modele (pas assez de donnees)
(EDF R&D, France) 19/11/2010 29 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Le modele retenu: modele 17 (93 degres de liberte par heure)
(EDF R&D, France) 19/11/2010 30 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Qualite du modele retenu sur la periode d’estimation:
(EDF R&D, France) 19/11/2010 31 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
(EDF R&D, France) 19/11/2010 32 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
40000 50000 60000 70000 80000
−10
000
010
000
2000
030
000
lag load
lag
load
effe
ct, f
riday
40000 50000 60000 70000 80000
−10
000
010
000
2000
030
000
lag load
lag
load
effe
ct, s
unda
y
0 5 10 15 20 25 30
−10
000
010
000
2000
030
000
Temperature
tem
pera
ture
effe
ct
0.0 0.2 0.4 0.6 0.8 1.0
−10
000
010
000
2000
030
000
Day j, year n
year
ly s
easo
nnal
ity, d
ays
of w
eek
(EDF R&D, France) 19/11/2010 33 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
(EDF R&D, France) 19/11/2010 34 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
Performance en prevision: sur la periode du 01/09/2005 au 31/08/2006
(EDF R&D, France) 19/11/2010 35 / 44
beamer-logoEDF
Application 1: un modele de la consommation electrique Francaise
comparaison avec le modele operationnel:
(EDF R&D, France) 19/11/2010 36 / 44
beamer-logoEDF
Application2: un modele unique
Plusieurs points sont non resolus par le precedent modele:
24 modeles independants: perte d’information, besoin d’un grand nombre dedonnees
jours feries
rupture d’hiver
effets ”fixes” au cours de l’annee de prevision
⇒ une modification du package R mgcv a ete realise pour pouvoir prendre en compteun plus grand nombre de donnees, cela permet:
l’estimation d’un modele unique pour les 48 demi-heures
la re-estimation du modele en ligne, chaque jour
prise en compte d’une correlation demi-horaire
(EDF R&D, France) 19/11/2010 37 / 44
beamer-logoEDF
Application2: un modele unique
Le modele:
Pt = tdjt + g1(tdjt , Pt−48)I1 + ...+ g4(tdjt , Pt−48)I4 + f1(t) + f2(posant ) + f3(Nt ) + f4(Tt , instt ) + f5(Tt−48,Tt−96) + εt
Ou:
instt est l’heure de la journee (pas demi-heure)
εt est un processus AR(1)
(Ij )j=1,..,4 correspond a une classe de type de jour modelisant le transition vacances-jour ouvrables (hh,hw,wh,ww)
Le modele est estime sur 2002-2007, la prevision se fait ensuite sur l’annee 2007.Ce travail s’est effectue en 2 etapes:
selection de modele sans prendre en compte la dependance temporelle de εt
estimation de l’AR(1) optimal (grille sur ρ)
Temps de calcul:
estimation du modele (incluant ρ): 10 heures
re-estimation en ligne: 10 min
Degres de liberte:
48 modeles demi-horaire: 93 ∗ 48 = 4464
modele unique: 775
(EDF R&D, France) 19/11/2010 38 / 44
beamer-logoEDF
Application2: un modele unique
(EDF R&D, France) 19/11/2010 39 / 44
beamer-logoEDF
Application2: un modele unique
(EDF R&D, France) 19/11/2010 40 / 44
beamer-logoEDF
Application2: un modele unique
Performance en prevision sur 2007: RMSE de 1004-886MW en estimation,1077-852MW en prevision
(EDF R&D, France) 19/11/2010 41 / 44
beamer-logoEDF
Application2: un modele unique
(EDF R&D, France) 19/11/2010 42 / 44
beamer-logoEDF
Application2: un modele unique
(EDF R&D, France) 19/11/2010 43 / 44
beamer-logoEDF
Application2: un modele unique
Ameliorations possibles:
les ponts (nouveau type de jour: hwh)
les changements d’heure
periode du 24/12 au 01/01 (idem ponts?)
modelisation de la dependance temporelle (MA?)
(EDF R&D, France) 19/11/2010 44 / 44
beamer-logoEDF
Application2: un modele unique
Green and Silverman (1994) ”Nonparametric Regression and Generalized Linear Models”. Chapman and Hall.
Hastie and Tibshirani (1990) ” Generalized Additive Models”. Chapman and Hall.
Wahba (1990) ”Spline Models of Observational Data”. SIAM
Wood (2001) mgcv:GAMs and Generalized Ridge Regression for R. R News 1(2):20-25
Wood and Augustin (2002) ”GAMs with integrated model selection using penalized regression splines and applications to
environmental modelling”. Ecological Modelling 157:157-177
Wood (2006)Generalized Additive Models, An Introduction with R (Chapman and Hall, 2006)
(EDF R&D, France) 19/11/2010 44 / 44