séminaire sieste: optimisation et transport de l'électricité

Optimisation & systèmes électriquesolivier.teytaud@inria.fr

I. La question la plus importante de l'univers

II. Exemples à suivre ou ne pas suivre

III. Le problème: ce qu'on ne sait pas

IV. Alors, comment on fait ?

L'énergie c'est trop cool!

Les 30 glorieuses ● Plein emploi● Croissance● Baby boom

s'arrêtent au choc pétrolier.

Corrélations éco/énergie.

La pollution c'est compliqué: leschiffres de nextbigfuture

Ces chiffres sont là pour être contestés.Et le nombre de morts n'est pas forcément le seul critère.

Le charbon estplus radioactif

que le nucléaire.

Coûts● Coûts économiques

● Coûts écologiques

● Air● CO2 (et assimilés)● Eau● Stockage déchets● ...

● Toute autre “externalité”

● Mortalité de maintenance● Défaillance

L'énergie c'est cher!

Desertec = centaines de milliards d'euros pourmettre des renouvelables en Afrique.

Ca vaut la peine de bien réfléchir à ce qu'on fait.

L'énergie ça pollue

Changement climatique: oui c'est important... mais on ne fait rien. (changera ?)

Pollution de l'air: tue plus que sida + paludisme ?

Le charbon = pas cher + encore abondant.

Nucléaire: demandez aux japonais

Pollution CO2 et équation de Kaya

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

Le génociden'est pas une

solutionacceptable

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

solutionacceptable

Icipeut-être ?

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

solutionacceptable

Icipeut-être ?

Ou là ?(certaines formes

de télétravail)

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

solutionacceptable

Icipeut-être ?

Ou là ?

Ici la questionest plus

technique.

L'électricité c'est compliqué

Trop de production ==> on casse tout.

Pas assez de production ==> on casse tout.

==> équilibre instantané.

==> mais certaines centrales font ce qu'elles veulent (éoliennes) ou sont lentes à la réaction

(certains nucléaires) ou coûtent cher à manipuler.

Comparer centrales seulement du point de vue du prix au MWh = dire n'importe quoi.

Payer des gens à ne rien faire ?

Équilibre prod./demande + éolien non allumable =

Besoin de centrales pour moments sans vent.

Au prix de marché, ces centrales sont déficitaires.

==> Marché de capacité ?

==> Payer les centrales même si elles ne travaillent pas ==> modèle économique

complexe dans contexte dérégulé

L'énergie c'est politique

En France en général l'optimisation académique d'investissements est bien perçue.

Parfois on croise des militants 100% marché ==> opt. acad. inv. = ingérence.

(on n'a pas l'impression que nos travaux soient communistes...)

L'énergie c'est polémique

Incluez le nucléaire ==> faites vous injurier.

Le charbon déchaîne moins les passions (pourtant qu'est-ce que ça tue, et qu'est-ce que

c'est radioactif).

Optimisation & énergie

DanemarkEoliennes offshore (faible prof).

33.2% de la conso. dom.

Besoin de ● connections, pour “éponger” la variabilité● ou de centrales thermiques pour compléter.==> parfois prix négatifs !

==> 8.4 t CO2 per person (France 6.1, Usa 17.2)

Stockage: ajouter des véhicules électriques ?

ChinePollution de l'air

Pollution des eaux.

Pourtant:● Immense producteur de panneaux photovoltaiques (écologie à la production ?)

● Plein d'éolien● Grandes connections électriques HVDC

==> tuer des bébés chinois plutôt que des bébés européens ? Analyses “tout compris”

France

● Plein de nucléaire● Exportations● On achète

du charbon et

du renouvelable

à l'Allemagne● Chauffage

électrique

(grosses pointes = imports chers)

France

Plein de nucléaire.

Peu de CO2 par habitant(aussi grâce au format des villes).

Risque-t-on un Fukushima à côté de Paris ?Risque terroriste ?

Allemagne

==> arrêt progressif du nucléaire

==> échanges avec la France (comme Belgique)

==> 9.6 t CO2 par an et par hab. (> France)

Kerguélen: soyons fous ?

Grande surface.

Vent 35 km/h en continu, 150 km/h courant, parfois 200 km/h.

Idéal pour éoliennes.

Mais rien aux alentours pour consommer.

Fabriquer du carburant de synthèse ?

Réserve naturelle.

Groënland: encore plus fou ?

Couvrir les côtes d'éoliennes ?Connecter aux Amériques et à l'Europe ?

(décalage des heures de pointe)

==> faut un gros bâteau pour porter les câbles

Scandinavie

En France on n'a plusla place pour mettrede l'hydroélectrique;

en Scandinavie on peut.

On tire des câbles ?

Le stockage hydro est pratique pour “lisser” les renouvelables.

Ou stockage dihydrogène ?

Desertec / Medgrid

Asie (pas pour demain!)

Les connections sont importantes,la bonne entente aussi.

● Si mon thermique est moins polluant que le tien,

● Et si tes éoliennes ont besoin de contrepartie thermique,

● Tu peux acheter mon électricité.● Mais si tu démontes tes usines,● Je peux te vendre l'électricité 10x plus cher.

==> importance d'une bonne entente.

(cf Chili/Argentine)

III. Le problème (technique): ce qu'on ne sait pas

On ne sait pas

La météo.

Le photovoltaïque dans 30 ans.

L'économie d'énergie dans 30 ans.

La prise de conscience écologique dans 30 ans.

On ne sait pasLa météo <== on sait estimer la probabilité de

telle ou telle météo.

Le photovoltaïque dans 30 ans <== alors là par contre on ne sait pas grand chose.

L'économie d'énergie dans 30 ans.

La prise de conscience écologiquedans 30 ans <== on prend les paris ?

Probabilités et autres incertitudes

Quand on a des probabilités, on peut discuter:

● La solution la meilleure en moyenne ?

● La solution la meilleure avec proba 95% ?

Mais décider face à des aléas sans probas ?

Plusieurs scénarios: le PV décolle, ou le stockage s'améliore ?

● Demain = aujourd'hui ? (pas très réaliste...)

● La solution au pire cas ? (Wald)● Pire cas = tout cassé par guerre nucléaire ==> autant se contenter de pédaliers

● Pas très satisfaisant

● Le regret ? (Savage)● Dieu = omniscient ==> décision parfaite● Regret = pire perte par rapport à Dieu

choix= argmin max coût(choix,cas) – coûtDieu(cas) choix cas

Et si on s'autorise des solutions stochastiques ?

●Optimiser Wald ou Savage en autorisant des stratégies stochastiques améliore le critère

● Un peu comme dans pierre/feuille/ciseaux (au pire cas sur l'adversaire, je joue aléatoire)

● Vous vous voyez proposer aux japonais de construire une centrale nucléaire avec probabilité 73% ?

choix= argmin max coût(choix,cas) – coûtDieu(cas) choix cas

L'investissement et la gestion

Gère lescentrales

Décide des achats(centrales, réseaux)

Décision stratégiquepuis décisions tactiques

Bigdecision

Dec. Dec. Dec. Dec. Dec. Dec. … ...

Ou décision stratégique puisdécisions tactiques

Bigdecision

Dec. Dec. Dec. Dec. Dec. Dec.

… ...

Bigdecision

Décisions tactiques

● Regardons déjà la partie tactique.

● Les centrales sont là, comment les gère-t-on ?

Pour chaque pas de temps, pour chaque centrale, décider puissance

Version simple

Courbe dedemandeélectrique

Ici, on ne regarde pas les prix de construction;

les centrales sontdéjà là, on regarde le

coût d'utilisation(coût marginal + démarrage...).

Version simple

Row 1 Row 2 Row 3 Row 40

Column 1

Column 2

Column 3

Coût marginalquasi nul

Courbe dedemandeélectrique

USINE MAREMOTRICE

Version simple

Coût marginalquasi-nul

Coût marginalfaible

Version simple

Coût marginalfort

Version simple

Coût marginalfort

Coût marginalSuper fort

Version simple (si on pénalise le charbon...)

Coût marginalgéant

Coût marginalSuper fort

Alors comment on fait ?

● Version très très très simplifiée ( tri, N log(N) ):● Je connais la demande (courbe rouge)● J'allume “pile” pour la satisfaire, dans l'ordre des

coûts croissants ==> chaque pas de temps géré séparément

● Version moins simplifiée (non séparée)● Je prends en compte les coûts d'allumage● J'ajoute plein de trucs (oui je saute les détails)● J'écris f(x) = coût total si décision x● Je cherche “argmin f”, le x qui minimise f(x)

Malheureusement c'est (encore) plus compliqué que ça!

● Tout ça est stochastique● Pannes● Météo● Consommation● …

● Et il y a des stockages (actions supplémentaires possibles)

● Et je peux demander à des entreprises de consommer moins (arrangements économiques)

Information cachée

● Intensité de l'impact du réchauffement climatique ? (impact sur pénalisation CO2)

● Stockages, maintenances adversariaux

● Décisions politiques (interdiction nucléaire ?)

Optimiser des décisions

10h: j'allume certaines centrales, je les règle10h15: j'observe météo et consommation

10h30: je rerègle mes centrales10h45: j'observe météo et consommation

11h00: je rerègle mes centrales11h15: j'observe

= ...j'agis, j'observe, j'agis, j'observe...

Et au bout de 72h j'observe mes coûts.

Optimiser des décisions

= ...j'agis, j'observe, j'agis, j'observe...= je joue, mon adversaire joue,je joue, mon adversaire joue,

Et en fin de partie, je vois combien j'ai gagné.

==> mêmes outilsque pour les jeux!

==> et info cachée

Out l ine

● Complexity and ATM

● Complexity and games (incl. planning)

● Bounded horizon games

Complex i ty and a l te rnat ing Tur ing mach ines

● Turing machine (TM)= abstract computer● Non-deterministic Turing Machine (NTM)

= TM with “for all” states (i.e. several

transitions, accepts if all transitions accept)

● Co-NTM: TM with “exists” states (i.e. several transitions, accepts if at least one transition accepts)

● ATM: TM with both “exists” and “for all” states.

= TM with “exists” states (i.e. several

transitions, accepts if at least one accepts)

● Co-NTM: TM with “exists” states (i.e. several transitions, accepts if at least one transition accepts)

● Co-NTM: TM with “for all” states (i.e. several transitions, accepts if all lead to accept)

Non-determin i sm

A l te rna t ion

Out l ine

● Complexity and ATM

● Complexity and games (incl. planning)

● Bounded horizon games

Sta te o f the a r t

EXPTIME-complete in the generalfully-observable case

EXPT IME-comp le te fu l l y observab le games

- Chess (for some nxn generalization)

- Go (with no superko) (!!)

- Draughts (international or english)

- Chinese checkers

- Shogi

PSPACE-comp le te fu l l y observab le games (po ly . hor i zon )

- Amazons- Hex- Go-moku- Connect-6- Qubic- Reversi- Tic-Tac-Toe

Many games with filling of each cell once and only once

EXPSPACE-comple te unobservab le games ( H a s s l u n & J o n n s s o n )

The two-player unobservable case is

EXPSPACE-complete (games in succinct form).

The two-player unobservable case is EXPSPACE-complete (games in succinct form).

PROOF: (I) First note that strategies are just sequences of actions (no observability!) (II) It is in EXPSPACE=NEXPSPACE, because of the following algorithm: (a) Non-deterministically choose the sequence of Actions (b) Check the result against all possible strategies (III) We have to check the hardness only.

PROOF: (I) First note that strategies are just sequences of actions (no observability!) (II) It is in EXPSPACE=NEXPSPACE, because of the following algorithm: (a) Non-deterministically choose the sequence of actions (b) Check the result against all possible strategies (III) We have to check the hardness only.

PROOF of the hardness: Reduction to: is my TM with exponential tape going to halt ?

Consider a TM with tape of size N=2n.

We must find a game - with size n ( n= log2(N) )- such that the first player has a winning strategy for player 1 iff the TM halts.

Encoding a Turing machine with a tape of size Nas a game with state O(log(N))

Player 1 chooses the sequence of configurations of the tape (N=4):

x(0,1),x(0,2),x(0,3),x(0,4) ==> initial statex(1,1),x(1,2),x(1,3),x(1,4) x(2,1),x(2,2),x(2,3),x(2,4) x(3,1),x(3,2),x(3,3),x(3,4) .....................................

x(N,1), x(N,2), x(N,3), x(N,4)

Wins byfinal state !

x(N,1), x(N,2), x(N,3), x(N,4)

Wins byfinal state !

Except if P2 finds an illegal transition!

==> P2 can check the consistency of one 3-uple per line

==> requests space log(N) ( = position of the 3-uple)

2EXPT IME-comple te PO games

The two-player PO case is 2EXP-complete (games in succinct form).

Hummm ?

Do you know a PO game in which you can ensure a win with probability 1 ?

Another fo rma l i za t ion

==> beaucoup plus satisfaisant

Madan i e t a l .

1 player + random = undecidable.

Madan i e t a l .

1 player + random = undecidable.==> answers a (related) question by Papadimitriou and Tsitsiklis.

Proof ?

Based on the emptiness problem for probabilistic finite automata (see Paz 71):

Given a probabilistic finite automaton,is there a word accepted with proba at least c ?==> undecidable

Consequence

1 player + random = undecidable==> 2 players = undecidable.

P r o o f o f “ u n d e c i d a b i l i t y w i t h 1 p l a y e r a g a i n s t r a n d o m ” = = > “ u n d e c i d a b i l i t y w i t h 2 p l a y e r s ”

How to simulate 1 player + random with 2 players ?

A random node to be rewr i t ten

Rewritten as follows:● Player 1 chooses a in [[0,N-1]]● Player 2 chooses b in [[0,N-1]]● c=(a+b) modulo N

● Go to tc

Each player can force the game to be equivalent to the initial one (by playing uniformly)==> the proba of winning for player 1 (in case of perfect play) is the same as for for the initial game==> undecidability!

Impor tan t remark

Existence of a strategy for winning with

proba 0.5 = also undecidable for the

restriction to games in which the proba

is >0.6 or <0.4 ==> not just a subtle

precision trouble.

So what ?

We have seen that

unbounded horizon

+ partial observability

+ natural criterion (not sure win)

==> undecidabilitycontrarily to what is expected from usual definitions.

What about bounded horizon ?● Clearly decidable● Complexity ?● Algorithms ?

3 a lgor i thmes

● Model Predictive Control

● Stochastic Dynamic Programming

● Direct Policy Search

S'ils sont en complexité inférieure à la borne, c'est qu'il y a un truc louche (e.g., probas massacrées).

● Anticipative solutions:● Maximum over strategic decisions

● Of pessimistic forecasts (e.g. quantile)● Of optimized decisions, given forecasts &

strategic decisions

● Pros/Cons● In real life you can not guess November rains in

January ==> at least test on real case

● Not so optimistic, convenient, simple

MODEL PREDICTIVE CONTROL

● Anticipative solutions:● Maximum over strategic decisions

● Of pessimistic forecasts (e.g. quantile)● Of optimized decisions, given forecasts &

strategic decisions

● Pros/Cons● In real life you can not guess November rains in

January ==> at least test on real case

● Not so optimistic, convenient, simple

MODEL PREDICTIVE CONTROL

1) done

model predictiveControl.

How to solve, simple case, binary stock, one day

It is December

30th and I havewater

I do not use

No more water, december 31st

I have water, december 31st

How to solve, simple case, binary stock, one day

It is December

30th and I havewater:

FutureCost = 0

I do not use

No more water, december 31st

I have water, december 31st

How to solve, simple case, binary stock, 3 days, no random process

This was deterministic

● How to add a random process ?● Just multiply nodes :-)

How to solve, simple case, binary stock, 3 days, random parts

1 1 2322 22

3 2 33

1 1 2322 22

3 2 33

1 1 2322 22

3 2 33

Probability 1/3

Probability 2/3

états correspondant à des transitionsaléatoires ==> moyennes pondérées

Markov solution: ok you have understood stochastic dynamic programming (Bellman)

Representation as a Markov decision process:

Markov solution: ok you have understood stochastic dynamic programming (Bellman)

Representation as a Markov decision process:

2) done

stochastic dynamicprogramming

Overfitting● Representation as a Markov process (a tree):

How do you actually make decisions when the random values are not exactly those observed ? (heuristics...)

● Check on random realizations which have not been used for building the tree.

● Does it work correctly ?

● Overfitting = when it works only on scenarios used in the optimization process.

Direct Policy Search

● Requires a parametric controller● Principle: optimize the parameters on

simulations● Unusual in large scale Power Systems

(we will see why)● Usual in other areas (finance, evolutionary

robotics)

Stochastic Control

SystemController

withmemory

commands

Random values

Randomprocess

Optimize the controller thanks to a simulator:● Command = Controller(w,state,forecasts)● Simulate( w ) = stochastic loss with parameter w● w* = argmin [Simulate(w)]

Stochastic Control

SystemController

withmemory

commands

Random values

Randomprocess

Optimize the controller thanks to a simulator:● Command = Controller(w,state,forecasts)● Simulate( w ) = stochastic loss with parameter w● w* = argmin [Simulate(w)]

3) done

Direct policy search.

Décision stratégique

Bonne décision

= décision minimisant les coûts

Mais comment calculer les coûts ?

Bonne décision

= décision minimisant les coûts

Mais comment calculer les coûts ? Dépendent de:

● La météo (modèle aléatoire) ==> moyenne● La politique (les pénalisations)● … et les décisions tactiques!

Simule le cas où on neconstruit rien de neuf

Simule la constructionde connectionsEurope-Afrique

Simule la constructionde connections

Europe-Groënland-Amérique

Simule la constructionde connections

Europe-Groënland-AmériqueCentralesnucléaires

partout

Stratégie, version simple

● Chacun des esclaves dépense 10h de calcul pour simuler son cas

● On prend l'esclave qui a les meilleurs résultats

==> ça se parallélise bien

==> évidemment si on a une infinité de cas

c'est plus compliqué, or en général c'est le cas (continu)

Exemple:

● f(x) se calcule en 12h, boîte noire

● On veut calculer “ argmin f ”

Exemple:

● f(x) se calcule en 12h, boîte noire

● On veut calculer “ argmin f ”

Descentes de gradient,différences ffinies,

algorithmes évolutionnaires,Quasi-newton...

Pas de détails ici!

Disons que les esclaves renvoient des réponses constantes

Dans le continu

Nombre d'appel aux esclaves

Pente = - C / d

Dans le continu

Pente = - C / d Parallélisme linéaire jusqu'à d,

logarithmique au delà

(preuve à base deVC-dimension)

Dans le continu

Pente = - C / d Parallélisme linéaire jusqu'à d,

logarithmique au delà

(preuve à base deVC-dimension)Parallélisme linéaire:

Vitesse multipliée par lenombre de

processeurs

Et si les esclaves sont stochastiques ?

Dans le continu

Log( Nombre d'appel aux esclaves )

Pente = - 1/2

Et si les esclaves sont stochastiques

Dans le continu

Log( Nombre d'appel aux esclaves )

Pente = - 1/2Très parallèle

Résumé

● 3 algorithmes pour les problèmes “avec temps”:– Programmation dynamique stochastique– Recherche directe de police– Contrôle par modèle prédictif

bien voir que SDP ==> Markov

● Décidabilité / complexité (observation partielle):– Stratégie garantissant “Proba=1”: 2EXPTIME complet– Unobservable ==> PSPACE complet– Fully observable ==> EXPTIME complet– Stratégie garantissant “Proba > c”: indécidable

● Phantom-Go est il décidable ?

Conclusion

● Nos algos: un mélange de SDP/DPS/MPC (fréquent)

● Est-il utile de faire plein de maths pour travailler sur ça ?

● – – –

olivier.teytaud@inria.fr

Conclusion

● Nos algos: un mélange de SDP/DPS/MPC (fréquent)

● Est-il utile de faire plein de maths pour travailler sur ça ?

● Définitivement oui:– Trop d'approximations dans beaucoup de travaux– Concept d'erreur de modèle (convexité, markovianité, ...)– Compréhension de la contrainte de Markovianité

● Les grandes décisions dans l'énergie sont politiques ==> rôle des scientifiques ?

olivier.teytaud@inria.fr

séminaire sieste: optimisation et transport de l'électricité

Engineering

les bases de l'électricité (1)

l'électricité n'a pas été inventée, c'est un...

statistique suisse de l'électricité en 2008

Évolution de l'électricité et de l'électromagnétisme

lundi 10 juillet mardi 11 juillet mercredi 12 juillet...

musical nap in library / sieste musicale en bibliothèque

produire de l'électricité grâce à l'énergie solaire

…dodo. -...

synonyme de bien-être et de quiétude définition mode...

d'où vient l'électricité de la maison

panorama de l'électricité renouvelable

l'électricité dynamique

référentiel baccalauréat professionnel métiers de...

l'électricité de la centrale à la maison

coûts selon l'office de l'électricité

accueil - brocéliande - communauté de communes ·...

l’heure de la sieste

les fondamentaux de l'électricité

la sieste pour tous à l’école...

le chauffage à l'électricité