séminaire sieste: optimisation et transport de l'électricité

Optimisation & systèmes é[email protected]

I. La question la plus importante de l'univers

II. Exemples à suivre ou ne pas suivre

III. Le problème: ce qu'on ne sait pas

IV. Alors, comment on fait ?

L'énergie c'est trop cool!

Les 30 glorieuses ● Plein emploi● Croissance● Baby boom

s'arrêtent au choc pétrolier.

Corrélations éco/énergie.

La pollution c'est compliqué: leschiffres de nextbigfuture

Ces chiffres sont là pour être contestés.Et le nombre de morts n'est pas forcément le seul critère.

Le charbon estplus radioactif

que le nucléaire.

Coûts● Coûts économiques

● Coûts écologiques

● Air● CO2 (et assimilés)● Eau● Stockage déchets● ...

● Toute autre “externalité”

● Mortalité de maintenance● Défaillance

L'énergie c'est cher!

Desertec = centaines de milliards d'euros pourmettre des renouvelables en Afrique.

Ca vaut la peine de bien réfléchir à ce qu'on fait.

L'énergie ça pollue

Changement climatique: oui c'est important... mais on ne fait rien. (changera ?)

Pollution de l'air: tue plus que sida + paludisme ?

Le charbon = pas cher + encore abondant.

Nucléaire: demandez aux japonais

Pollution CO2 et équation de Kaya

CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )


CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )

Le génociden'est pas une

solutionacceptable


CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )


solutionacceptable

Icipeut-être ?


CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )


solutionacceptable

Icipeut-être ?

Ou là ?(certaines formes

de télétravail)


CO2 = Population

x(PIB / person)

x( énergie/PIB )

x( CO2/énergie )


solutionacceptable

Icipeut-être ?

Ou là ?

Ici la questionest plus

technique.

L'électricité c'est compliqué

Trop de production ==> on casse tout.

Pas assez de production ==> on casse tout.

==> équilibre instantané.

==> mais certaines centrales font ce qu'elles veulent (éoliennes) ou sont lentes à la réaction

(certains nucléaires) ou coûtent cher à manipuler.

Comparer centrales seulement du point de vue du prix au MWh = dire n'importe quoi.

Payer des gens à ne rien faire ?

Équilibre prod./demande + éolien non allumable =

Besoin de centrales pour moments sans vent.

Au prix de marché, ces centrales sont déficitaires.

==> Marché de capacité ?

==> Payer les centrales même si elles ne travaillent pas ==> modèle économique

complexe dans contexte dérégulé

L'énergie c'est politique

En France en général l'optimisation académique d'investissements est bien perçue.

Parfois on croise des militants 100% marché ==> opt. acad. inv. = ingérence.

(on n'a pas l'impression que nos travaux soient communistes...)

L'énergie c'est polémique

Incluez le nucléaire ==> faites vous injurier.

Le charbon déchaîne moins les passions (pourtant qu'est-ce que ça tue, et qu'est-ce que

c'est radioactif).

Optimisation & énergie





DanemarkEoliennes offshore (faible prof).

33.2% de la conso. dom.

Besoin de ● connections, pour “éponger” la variabilité● ou de centrales thermiques pour compléter.==> parfois prix négatifs !

==> 8.4 t CO2 per person (France 6.1, Usa 17.2)

Stockage: ajouter des véhicules électriques ?

ChinePollution de l'air

Pollution des eaux.

Pourtant:● Immense producteur de panneaux photovoltaiques (écologie à la production ?)

● Plein d'éolien● Grandes connections électriques HVDC

==> tuer des bébés chinois plutôt que des bébés européens ? Analyses “tout compris”

France

● Plein de nucléaire● Exportations● On achète

du charbon et

du renouvelable

à l'Allemagne● Chauffage

électrique

(grosses pointes = imports chers)

France

Plein de nucléaire.

Peu de CO2 par habitant(aussi grâce au format des villes).

Risque-t-on un Fukushima à côté de Paris ?Risque terroriste ?

Allemagne

==> arrêt progressif du nucléaire

==> échanges avec la France (comme Belgique)

==> 9.6 t CO2 par an et par hab. (> France)

Kerguélen: soyons fous ?

Grande surface.

Vent 35 km/h en continu, 150 km/h courant, parfois 200 km/h.

Idéal pour éoliennes.

Mais rien aux alentours pour consommer.

Fabriquer du carburant de synthèse ?

Réserve naturelle.

Groënland: encore plus fou ?

Couvrir les côtes d'éoliennes ?Connecter aux Amériques et à l'Europe ?

(décalage des heures de pointe)

==> faut un gros bâteau pour porter les câbles

Scandinavie

En France on n'a plusla place pour mettrede l'hydroélectrique;

en Scandinavie on peut.

On tire des câbles ?

Le stockage hydro est pratique pour “lisser” les renouvelables.

Ou stockage dihydrogène ?

Desertec / Medgrid

Asie (pas pour demain!)

Les connections sont importantes,la bonne entente aussi.

● Si mon thermique est moins polluant que le tien,

● Et si tes éoliennes ont besoin de contrepartie thermique,

● Tu peux acheter mon électricité.● Mais si tu démontes tes usines,● Je peux te vendre l'électricité 10x plus cher.

==> importance d'une bonne entente.

(cf Chili/Argentine)




III. Le problème (technique): ce qu'on ne sait pas


On ne sait pas

La météo.

Le photovoltaïque dans 30 ans.

L'économie d'énergie dans 30 ans.

La prise de conscience écologique dans 30 ans.

…

On ne sait pasLa météo <== on sait estimer la probabilité de

telle ou telle météo.

Le photovoltaïque dans 30 ans <== alors là par contre on ne sait pas grand chose.

L'économie d'énergie dans 30 ans.

La prise de conscience écologiquedans 30 ans <== on prend les paris ?

…

Probabilités et autres incertitudes

Quand on a des probabilités, on peut discuter:

● La solution la meilleure en moyenne ?

● La solution la meilleure avec proba 95% ?

Mais décider face à des aléas sans probas ?

Plusieurs scénarios: le PV décolle, ou le stockage s'améliore ?

● Demain = aujourd'hui ? (pas très réaliste...)

● La solution au pire cas ? (Wald)● Pire cas = tout cassé par guerre nucléaire ==> autant se contenter de pédaliers

● Pas très satisfaisant

● Le regret ? (Savage)● Dieu = omniscient ==> décision parfaite● Regret = pire perte par rapport à Dieu

choix= argmin max coût(choix,cas) – coûtDieu(cas) choix cas

Et si on s'autorise des solutions stochastiques ?

●Optimiser Wald ou Savage en autorisant des stratégies stochastiques améliore le critère

● Un peu comme dans pierre/feuille/ciseaux (au pire cas sur l'adversaire, je joue aléatoire)

● Vous vous voyez proposer aux japonais de construire une centrale nucléaire avec probabilité 73% ?

choix= argmin max coût(choix,cas) – coûtDieu(cas) choix cas

L'investissement et la gestion

Gère lescentrales

Décide des achats(centrales, réseaux)

Décision stratégiquepuis décisions tactiques

Bigdecision

Dec. Dec. Dec. Dec. Dec. Dec. … ...

Ou décision stratégique puisdécisions tactiques

Bigdecision

Dec. Dec. Dec. Dec. Dec. Dec.

… ...

Bigdecision


Bigdecision


Décisions tactiques

● Regardons déjà la partie tactique.

● Les centrales sont là, comment les gère-t-on ?

Pour chaque pas de temps, pour chaque centrale, décider puissance

Version simple

Courbe dedemandeélectrique

Ici, on ne regarde pas les prix de construction;

les centrales sontdéjà là, on regarde le

coût d'utilisation(coût marginal + démarrage...).

Version simple

Row 1 Row 2 Row 3 Row 40

2

4

6

8

10

12

Column 1

Column 2

Column 3

Coût marginalquasi nul

Courbe dedemandeélectrique

USINE MAREMOTRICE

Version simple

Coût marginalquasi-nul

Coût marginalfaible

Version simple



Coût marginalfort

Version simple



Coût marginalfort

Coût marginalSuper fort

Version simple (si on pénalise le charbon...)



Coût marginalgéant

Coût marginalSuper fort

Alors comment on fait ?

● Version très très très simplifiée ( tri, N log(N) ):● Je connais la demande (courbe rouge)● J'allume “pile” pour la satisfaire, dans l'ordre des

coûts croissants ==> chaque pas de temps géré séparément

● Version moins simplifiée (non séparée)● Je prends en compte les coûts d'allumage● J'ajoute plein de trucs (oui je saute les détails)● J'écris f(x) = coût total si décision x● Je cherche “argmin f”, le x qui minimise f(x)

Malheureusement c'est (encore) plus compliqué que ça!

● Tout ça est stochastique● Pannes● Météo● Consommation● …

● Et il y a des stockages (actions supplémentaires possibles)

● Et je peux demander à des entreprises de consommer moins (arrangements économiques)

Information cachée

● Intensité de l'impact du réchauffement climatique ? (impact sur pénalisation CO2)

● Stockages, maintenances adversariaux

● Décisions politiques (interdiction nucléaire ?)

Optimiser des décisions

10h: j'allume certaines centrales, je les règle10h15: j'observe météo et consommation

10h30: je rerègle mes centrales10h45: j'observe météo et consommation

11h00: je rerègle mes centrales11h15: j'observe

= ...j'agis, j'observe, j'agis, j'observe...

Et au bout de 72h j'observe mes coûts.

Optimiser des décisions

= ...j'agis, j'observe, j'agis, j'observe...= je joue, mon adversaire joue,je joue, mon adversaire joue,

Et en fin de partie, je vois combien j'ai gagné.

==> mêmes outilsque pour les jeux!

==> et info cachée

Out l ine

● Complexity and ATM

● Complexity and games (incl. planning)

● Bounded horizon games

Complex i ty and a l te rnat ing Tur ing mach ines

● Turing machine (TM)= abstract computer● Non-deterministic Turing Machine (NTM)

= TM with “for all” states (i.e. several

transitions, accepts if all transitions accept)

● Co-NTM: TM with “exists” states (i.e. several transitions, accepts if at least one transition accepts)

● ATM: TM with both “exists” and “for all” states.



= TM with “exists” states (i.e. several

transitions, accepts if at least one accepts)

● Co-NTM: TM with “exists” states (i.e. several transitions, accepts if at least one transition accepts)




= TM with “exists” states (i.e. several

transitions, accepts if at least one accepts)

● Co-NTM: TM with “for all” states (i.e. several transitions, accepts if all lead to accept)


Non-determin i sm

A l te rna t ion

Out l ine

● Complexity and ATM

● Complexity and games (incl. planning)

● Bounded horizon games

Sta te o f the a r t

EXPTIME-complete in the generalfully-observable case

EXPT IME-comp le te fu l l y observab le games

- Chess (for some nxn generalization)

- Go (with no superko) (!!)

- Draughts (international or english)

- Chinese checkers

- Shogi

PSPACE-comp le te fu l l y observab le games (po ly . hor i zon )

- Amazons- Hex- Go-moku- Connect-6- Qubic- Reversi- Tic-Tac-Toe

Many games with filling of each cell once and only once

EXPSPACE-comple te unobservab le games ( H a s s l u n & J o n n s s o n )

The two-player unobservable case is

EXPSPACE-complete (games in succinct form).


The two-player unobservable case is EXPSPACE-complete (games in succinct form).

PROOF: (I) First note that strategies are just sequences of actions (no observability!) (II) It is in EXPSPACE=NEXPSPACE, because of the following algorithm: (a) Non-deterministically choose the sequence of Actions (b) Check the result against all possible strategies (III) We have to check the hardness only.



PROOF: (I) First note that strategies are just sequences of actions (no observability!) (II) It is in EXPSPACE=NEXPSPACE, because of the following algorithm: (a) Non-deterministically choose the sequence of actions (b) Check the result against all possible strategies (III) We have to check the hardness only.



PROOF of the hardness: Reduction to: is my TM with exponential tape going to halt ?

Consider a TM with tape of size N=2n.

We must find a game - with size n ( n= log2(N) )- such that the first player has a winning strategy for player 1 iff the TM halts.


Encoding a Turing machine with a tape of size Nas a game with state O(log(N))

Player 1 chooses the sequence of configurations of the tape (N=4):

x(0,1),x(0,2),x(0,3),x(0,4) ==> initial statex(1,1),x(1,2),x(1,3),x(1,4) x(2,1),x(2,2),x(2,3),x(2,4) x(3,1),x(3,2),x(3,3),x(3,4) .....................................





x(N,1), x(N,2), x(N,3), x(N,4)

Wins byfinal state !





x(N,1), x(N,2), x(N,3), x(N,4)

Wins byfinal state !

Except if P2 finds an illegal transition!

==> P2 can check the consistency of one 3-uple per line

==> requests space log(N) ( = position of the 3-uple)

2EXPT IME-comple te PO games

The two-player PO case is 2EXP-complete (games in succinct form).

Hummm ?

Do you know a PO game in which you can ensure a win with probability 1 ?

Another fo rma l i za t ion

==> beaucoup plus satisfaisant

c

Madan i e t a l .

1 player + random = undecidable.

c

Madan i e t a l .

1 player + random = undecidable.==> answers a (related) question by Papadimitriou and Tsitsiklis.

Proof ?

Based on the emptiness problem for probabilistic finite automata (see Paz 71):

Given a probabilistic finite automaton,is there a word accepted with proba at least c ?==> undecidable

Consequence

1 player + random = undecidable==> 2 players = undecidable.

c

P r o o f o f “ u n d e c i d a b i l i t y w i t h 1 p l a y e r a g a i n s t r a n d o m ” = = > “ u n d e c i d a b i l i t y w i t h 2 p l a y e r s ”

How to simulate 1 player + random with 2 players ?

A random node to be rewr i t ten

A random node to be rewr i t ten

Rewritten as follows:● Player 1 chooses a in [[0,N-1]]● Player 2 chooses b in [[0,N-1]]● c=(a+b) modulo N

● Go to tc

Each player can force the game to be equivalent to the initial one (by playing uniformly)==> the proba of winning for player 1 (in case of perfect play) is the same as for for the initial game==> undecidability!

Impor tan t remark

Existence of a strategy for winning with

proba 0.5 = also undecidable for the

restriction to games in which the proba

is >0.6 or <0.4 ==> not just a subtle

precision trouble.

So what ?

We have seen that

unbounded horizon

+ partial observability

+ natural criterion (not sure win)

==> undecidabilitycontrarily to what is expected from usual definitions.

What about bounded horizon ?● Clearly decidable● Complexity ?● Algorithms ?

3 a lgor i thmes

● Model Predictive Control

● Stochastic Dynamic Programming

● Direct Policy Search

S'ils sont en complexité inférieure à la borne, c'est qu'il y a un truc louche (e.g., probas massacrées).

● Anticipative solutions:● Maximum over strategic decisions

● Of pessimistic forecasts (e.g. quantile)● Of optimized decisions, given forecasts &

strategic decisions

● Pros/Cons● In real life you can not guess November rains in

January ==> at least test on real case

● Not so optimistic, convenient, simple

MODEL PREDICTIVE CONTROL

● Anticipative solutions:● Maximum over strategic decisions

● Of pessimistic forecasts (e.g. quantile)● Of optimized decisions, given forecasts &

strategic decisions

● Pros/Cons● In real life you can not guess November rains in

January ==> at least test on real case

● Not so optimistic, convenient, simple

MODEL PREDICTIVE CONTROL

1) done

model predictiveControl.

How to solve, simple case, binary stock, one day

It is December

30th and I havewater

I do not use

I use

water

(cost

= 0)

No more water, december 31st

I have water, december 31st

How to solve, simple case, binary stock, one day

It is December

30th and I havewater:

FutureCost = 0

I do not use

I use

water

(cost

= 0)

No more water, december 31st

I have water, december 31st

How to solve, simple case, binary stock, 3 days, no random process

1 12

32

2 2

2

32 3

3

3

3

3

4

1


2

2

2

1 12

32

2 2

2

32 3

3

3

3

3

4

1


4

5

7

3

4

6

2

2

2

1 12

32

2 2

2

32 3

3

3

3

3

4

1

This was deterministic

● How to add a random process ?● Just multiply nodes :-)

How to solve, simple case, binary stock, 3 days, random parts

4

5

7

3

4

6

2

2

2

1 1 2322 22

3 2 33

333

41

4

5

7

3

4

6

2

2

2

1 1 2322 22

3 2 33

333

41

4

5

7

3

4

6

2

2

2

1 1 2322 22

3 2 33

333

41

Probability 1/3

Probability 2/3

états correspondant à des transitionsaléatoires ==> moyennes pondérées

Markov solution: ok you have understood stochastic dynamic programming (Bellman)

Representation as a Markov decision process:

Markov solution: ok you have understood stochastic dynamic programming (Bellman)

Representation as a Markov decision process:

2) done

stochastic dynamicprogramming

Overfitting● Representation as a Markov process (a tree):

How do you actually make decisions when the random values are not exactly those observed ? (heuristics...)

● Check on random realizations which have not been used for building the tree.

● Does it work correctly ?

● Overfitting = when it works only on scenarios used in the optimization process.

Direct Policy Search

● Requires a parametric controller● Principle: optimize the parameters on

simulations● Unusual in large scale Power Systems

(we will see why)● Usual in other areas (finance, evolutionary

robotics)

Stochastic Control

SystemController

withmemory

commands

State

Cost

State

Random values

Randomprocess

Optimize the controller thanks to a simulator:● Command = Controller(w,state,forecasts)● Simulate( w ) = stochastic loss with parameter w● w* = argmin [Simulate(w)]

Stochastic Control

SystemController

withmemory

commands

State

Cost

State

Random values

Randomprocess

Optimize the controller thanks to a simulator:● Command = Controller(w,state,forecasts)● Simulate( w ) = stochastic loss with parameter w● w* = argmin [Simulate(w)]

3) done

Direct policy search.

Décision stratégique

Bonne décision

= décision minimisant les coûts

Mais comment calculer les coûts ?


Bonne décision

= décision minimisant les coûts

Mais comment calculer les coûts ? Dépendent de:

● La météo (modèle aléatoire) ==> moyenne● La politique (les pénalisations)● … et les décisions tactiques!


Simule le cas où on neconstruit rien de neuf



Simule la constructionde connectionsEurope-Afrique




Simule la constructionde connections

Europe-Groënland-Amérique




Simule la constructionde connections

Europe-Groënland-AmériqueCentralesnucléaires

partout

Stratégie, version simple

● Chacun des esclaves dépense 10h de calcul pour simuler son cas

● On prend l'esclave qui a les meilleurs résultats




==> ça se parallélise bien

==> évidemment si on a une infinité de cas

c'est plus compliqué, or en général c'est le cas (continu)







Exemple:

● f(x) se calcule en 12h, boîte noire

● On veut calculer “ argmin f ”







Exemple:

● f(x) se calcule en 12h, boîte noire

● On veut calculer “ argmin f ”

Descentes de gradient,différences ffinies,

algorithmes évolutionnaires,Quasi-newton...

Pas de détails ici!

Disons que les esclaves renvoient des réponses constantes

Dans le continu

Nombre d'appel aux esclaves

log(

dist

ance

à l'

optim

um)

Pente = - C / d


Dans le continu


log(

dist

ance

à l'

optim

um)

Pente = - C / d Parallélisme linéaire jusqu'à d,

logarithmique au delà

(preuve à base deVC-dimension)


Dans le continu


log(

dist

ance

à l'

optim

um)

Pente = - C / d Parallélisme linéaire jusqu'à d,

logarithmique au delà

(preuve à base deVC-dimension)Parallélisme linéaire:

Vitesse multipliée par lenombre de

processeurs

Et si les esclaves sont stochastiques ?

Dans le continu

Log( Nombre d'appel aux esclaves )

log(

dist

ance

à l'

optim

um)

Pente = - 1/2

Et si les esclaves sont stochastiques

Dans le continu

Log( Nombre d'appel aux esclaves )

log(

dist

ance

à l'

optim

um)

Pente = - 1/2Très parallèle

Résumé

● 3 algorithmes pour les problèmes “avec temps”:– Programmation dynamique stochastique– Recherche directe de police– Contrôle par modèle prédictif

bien voir que SDP ==> Markov

● Décidabilité / complexité (observation partielle):– Stratégie garantissant “Proba=1”: 2EXPTIME complet– Unobservable ==> PSPACE complet– Fully observable ==> EXPTIME complet– Stratégie garantissant “Proba > c”: indécidable

● Phantom-Go est il décidable ?

Conclusion

● Nos algos: un mélange de SDP/DPS/MPC (fréquent)

● Est-il utile de faire plein de maths pour travailler sur ça ?

● – – –

●

[email protected]

Conclusion

● Nos algos: un mélange de SDP/DPS/MPC (fréquent)

● Est-il utile de faire plein de maths pour travailler sur ça ?

● Définitivement oui:– Trop d'approximations dans beaucoup de travaux– Concept d'erreur de modèle (convexité, markovianité, ...)– Compréhension de la contrainte de Markovianité

● Les grandes décisions dans l'énergie sont politiques ==> rôle des scientifiques ?

[email protected]

séminaire sieste: optimisation et transport de l'électricité

Engineering