Un algorithme de Nelder-Mead globalisé et borné pour les
problèmes de l'ingénieur : GBNM
Marco Luersen- Centre Fédéral d’Education Technologique du Paraná CEFET-PR - Brésil- Doctorant au Lab. de Mécanique – INSA de Rouen
Rodolphe Le Riche
– CNRS URA 1884 et SMS, Ecole des Mines de Saint Etienne
Motivation
Caractéristiques des problèmes d’optimisation en conception mécanique :
plusieurs optima locaux variables bornées calcul de sensibilités souvent laborieux,
coûteux où n’existent pas temps de calcul limité à quelques milliers
d’analyses de la fonction coût
optimisation globale souhaitée, mais sa faisabilité est incertaine.
La méthode de Nelder-Mead classique
Proposée par Nelder & Mead (1965)
(variables continues)
Méthode d’ordre zéro : ne requiert pas le calcul du gradient
Méthode rapide, relativement aux méthodes d’ordre zéro
Méthode locale
)(fmin xx
nx
La méthode de Nelder-Mead classique (2)
Basée sur la comparaison des valeurs de la fonction aux (n+1) sommets d’un simplexe
Le minimum est cherché en modifiant le simplexe à travers des opérations : réflexion, réflexion/expansion et contractions
réflexion
réflexion/expansion
contractions
plus haut coût
(2 variables, n=2)
plus bas coût
La méthode de Nelder-Mead classique (3)
Inconvénients :
S’applique à des problèmes sans bornes
Dégénérescence du simplexe (perte d’une dimension), est un cas d’échec de la méthode
Méthode locale : s’arrête quand un minimum local est trouvé
Amélioration de la méthode de Nelder-Mead
• Prise en compte des bornes
• Détection des simplexes dégénérés et ré-initialisation
• Test d’optimalité sur les bornes
Prise en compte des bornes
Prise en compte de bornes par projection :
Dégénérescence
Dans le domaine ré-initialisation au point courant
Si la dégénérescence est sur les bornes on l’accepte
Si xi < xi min xi = xi min (i = 1, n)
Si xi > xi max xi = xi max (i = 1, n)
Dégénérescence (2)
Critères :
Cas 1 Cas 2
Si
ou Si
simplexe dégénéré
c1
c2
c1
c2
2
ii
n1
c
])c,...,cdet([
1ii
cmin
Test d’optimalité sur les bornes
Ex. : Fonction test de Rosenbrock bidimensionnel
2122
12 x1xx100y 20,0x,x 21
- fonction uni-modale
- le minimum se trouve en x1= x2=1
- sans le test d’optimalité, souvent la recherche s’arrête sur les bornes (point x1= x2=0) car
dégénérescence sur les bornes
min
Test d’optimalité sur les bornes (2)
0 2 4 6 8 10 12 14 16 18 200
2
4
6
8
10
12
14
16
18
20
12
3
4
5
6
7=8=9
simplexe initial
Point de convergence, mais pas un minimum
Sans test d’optimalité :
UN TEST D’OPTIMALITÉ EST NÉCESSAIRE !
Test d’optimalité sur les bornes (3)
les conditions de Kuhn et Tucker ne sont pas applicables : fonctions pas dérivables
conditions de point-col numériquement non vérifiables
test d’optimalité : une recherche locale, avec un «petit» simplexe initial
on considère que le simplexe initial est plus petit que le bassin d’attraction
coût : pour la fonction de Rosenbrock : ~20% (ça marche toujours !)
Globalisation : recherche du minimum global
Point de vue Ré-initialisation : GBNM Évolutionnaire :
Pas de recherche locale
“Hybridation” Recherche globale/locale
1
1 112
3
2 2
3
3
2 3
1
1
2
23
3
Globalisation par ré-initialisation probabilisée
chaque fois q’un minimum local est trouvé il est enregistré
le prochain point initial est choisit de tel sorte à ne pas échantillonner des régions déjà connues : visiter différents bassins d’attraction, sans connaître le nombre de redémarrages à priori
travail à coût fixé redémarrage avec une caractéristique
aléatoire-biaisée
Estimation de la probabilité de ne pas avoir échantillonné un point (x)
)(pN1)(p
N
1i xx
i1T
i2/12/ni 2
1exp
det2
1)(p xxΣxx
Σx
Noyaux de Parzen gaussiens
N = nombre de points déjà échantillonnésn = dimension (nombre de variables)
probabilité d’avoir échantillonné un point
p(x)p(x)
xmin xmax
(x)= H – p(x)H
xH
2n
21
0
0
Σ 2min
jmaxj
2j xx
= matrice de covariance
= paramètre qui contrôle l’étalement des gaussiennes
Estimation de la probabilité de ne pas avoir échantillonné un point (x) (2)
Dans les exemples présentés on utilisera = 0,01, ce qui veut dire qu’un écart-type de la gaussienne couvre 20% du domaine.
Ré-initialisation probabilisée
pour le calcul de la probabilité pi , on ne garde
comme xi que les points initiaux
maximisation de par tirage aléatoire de nb_random_points : parmi nb_random_points aléatoires, trouver celui qui a la plus haute probabilité de n’avoir pas été échantillonné auparavant
si nb_random_points=1 : aléatoire si nb_random_points=grand : motif régulier
(si on connaît le nb. de redémarrages grille)
si nb_random_points petit, > 1 (3 à 10) : aléatoire/biaisée
Points initiauxnb_random_points = 1000 10 1
motif régulier (grille) aléatoire
Ré-initialisation probabilisée (2)
Articulation de :• 3 tests de
convergence :- Small- Flat- Degenerated
• 3 formes de ré-initialisation :
- Probabilistic- Large Test- Small Test
GBNM
Globalized Bounded
Nelder-Mead Method
GBNM – Résumé(sans prise en compte de contraintes)
Caractéristiques des recherches locales : vitesse, précision Nelder-Mead
Amélioration de la méthode de N-M : Prise en compte de bornes par projection Détection et traitement des dégénérescences du
simplexe pendant la recherche Test d’optimalité sur les bornes
Globalisée par ré-initialisation stratégie hybride en série : local-global
Applications : Fonctions tests multi-modales bidimensionnelles (3)
4 minima 6 minima 3 minima
f1 f2 f3
Fonctions tests multi-modales bidimensionnelles (4)
Probabilité de ne PAS trouver un des minima locaux (500 analyses ; 01,0 ; 1.000 essais)
nb_random_points P_erreur f1 P_erreur f2 P_erreur f3 1
(re-initialisation aléatoire) 0,9913007 0,99886339 0,501544
2 0,9838697 0,9989873 0,424360
3 0,9678721 0,9987674 0,268126
10 0,9175351 0,9998730 0,096556
20 0,9226868 0,9999903 0,036700
50 0,9691897 0,9999766 0,007000
1000 0,9936665 0,9999956 0,006995
Par la suite, on utilisera nb_random_points = 10
Fonction test de Griewank (n = 12)(fonction très multi-modale)
n
1i
in
1i
2n1 i
xcosx
n4001)x,...,x(F
i 1000,1000xi
le minimum global est –1, et se trouve en xi=0
Graphique de la fonction de Griewank uni-dimensionnel (n=1) dans le domaine [-20,20] :
-20 -15 -10 -5 0 5 10 15 20-1
-0.5
0
0.5
1
1.5
2
min
Fonction test de Griewank (n = 12)
Comparaison : GBNM / Algorithme Evolutionnaire (EA)
(*) probabilité de croisement = 0,5 ; prob. de mutation = 0,15 ; taille de la population = 500
(**) critère pour considérer que le EA converge sur le minimum global : 1ˆn1 * xx
GBNM avec nb_random_points = 10
5.000 appels de la fonction coût.
fmin (moyenne)
écart type fmin
Probabilité de trouver le min. global
GBNM -0,8106 0,2520 9/100
EA(*) 1,9028 0,6423 0 (**)
50.000 appels de la fonction coût.
fmin (moyenne)
écart type fmin
Probabilité de trouver le min. global
GBNM -0,9992 0,0025 89/100
EA(*) -0,4607 0,1947 23/100 (**)
10.000 appels de la fonction coût.
fmin (moyenne)
écart type fmin
Probabilité de trouver le min. global
GBNM -0,9688 0,0454 17/100
EA(*) 0,4194 0,1568 0 (**)
Prise en compte des contraintes parpénalisation linéaire adaptative
m
1iiip )(g,0max)(f,F xxλx m
λx ,Fp
Soit le problème :
0)(gi x
nS x)(fmin xx
m,1i .q.t
f(x) est modifiée par pénalisation :
problème sans contraintesx
min
Prise en compte des contraintes parpénalisation adaptative (2)
Les sont actualisés à chaque itération de N-M,
Si ,
mise à jour de .
s = incrément de pas.
i
0),(gmaxs iki
1ki x
00i (stabilisé)... i
1ji
ji ...
bestx
),(F),(F kbestp
kp λxλx
Prise en compte des contraintes par pénalisation adaptative (3)
Interprétation de la pénalisation adaptative linéaire :
Un Lagrangien généralisé, qui possède un point-col plus souvent que les Lagrangiens ordinaires ;
Mise à jour des : un gradient à pas fixe pour maximiser la fonction duale, calcul du gradient approché ;
Convergence possible pour des finis (contrairement aux pénalisations quadratiques).
i
i
Applications aux composites
Séquence d’empilement de couches
= orientationtion des fibres = ?
Critères :- max (Ex, Ey, Gxy, charge de rupture, charge de flambement, etc.)
- min (def. x, def. y, coef. dilatation thermique, etc.) Contraintes :
- Ex, Ey, Gxy, rupture, def. x, def. y, coef. dilatation thermique, etc.
Applications aux composites
Maximisation du module d’élasticité Ex min (1 – Ex/Ex_ref)
plaque composite symétrique et équilibrée à 16 couches
4 variables : les orientations des fibres :
matériau : verre-époxyde
contraintes :
utilisation de la théorie classique des stratifiés (CLT)
90,0i
GPa 0,31 GPa 4,5 G
GPa 10 EGPa 45 E
12
12
2
1
0,5 GPa 12 G
xy
xy
Maximisation de Ex : plaque composite stratifiée
Paramètres stabilisés de pénalisation :
en 44 (min) à 431 (max) analyses, avec s = 1
18,124,6
2
1
100 analyses 200 analyses 500 analyses
P lus hau t E x adm issib le
type.ecmoyenne [G Pa]
P robab . de trouver un op tim um
adm issib le
P lus hau t E x adm issib le type.ecmoyenne
[G Pa]
P robab . de trouver un op tim um
adm issib le
P lus hau t E x adm issib le
type.ecmoyenne [G Pa]
P robab . de trouver un op tim um
adm issib le
G B N M 0,086214,4906 47/100 0,00595302,41 97/100 0,00005311,14 99/100 E A (*) 0,328713,9060 47/100 0,20902502,41 56/100 0,09654550,14 70/100
(*) taille de la popu lation = 20 ; p robab ilité de m utation = 0 ,2 ; p robab ilité de cro isem en t = 0 ,4
Maximisation de Ex : plaque composite stratifiée (2)
Exemples d’optima locaux possibles trouvés par le GBNM, 2000 évaluations de la fonction coût, 1 exécution
c o n t r a i n t e s
s é q u e n c e d ' e m p i l e m e n t E x [ G P a ] G x y [ G P a ] x y
s9,54/1,50/1,43/6,36 1 4 , 5 4 1 2 , 0 0 0 , 5 0
s5,39/2,46/7,57/7,41 1 4 , 5 3 1 2 , 0 0 0 , 5 0
s8,57/1,39/2,45/0,43 1 4 , 5 3 1 2 , 0 0 0 , 5 0
s9,53/4,47/9,34/5,48 1 4 , 5 3 1 2 , 0 0 0 , 5 0
s2,54/4,35/4,45/7,49 1 4 , 5 3 1 2 , 0 0 0 , 5 0
s1,35/5,45/1,52/9,51 1 4 , 5 3 1 2 , 0 0 0 , 5 0
s6,43/0,45/8,38/7,57 1 4 , 5 2 1 2 , 0 0 0 , 5 0
Maximisation de la charge critique de flambement
plaque rectangulaire simplement supportée
48 couches,
symétrique et équilibré,
chargement de membrane : Nx et Ny
matériau : carbone-époxyde
90,0i
GPa 0,35 GPa 5 GGPa 5 EGPa 115 E
12
12
2
1
MPa94SMPa100Y
MPa50YMPa895XMPa964X
c
t
c
t
C/10x20
C/10x5,0o6
2
o61
mm125,0ti
contraintes :
- critère de rupture de Hoffman
- coef. de dilatation thermique :
théorie classique des stratifiés et flambement linéaire
Maximisation de la charge critique de flambement (2)
C/1x10
C/1x10 o-6
y
o-6x
Maximisation de charge critique de flambement 48 couches : 12 variables
Paramètres stabilisés de pénalisation :
en 116 (min) à 978 (max) analyses, avec s = 0,001
4048,00598,00062,0
3
2
1
500 analyses 1000 analyses 2000 analyses
P lus haut facteur de sécurité au flambement
admissible type.ecmoyenne
P robab. de trouver un optimum
admissible
P lus haut facteur de sécurité au flambement
admissible type.ecmoyenne
P robab. de trouver un optimum
admissible
P lus haut facteur de sécurité au flambement
admissible type.ecmoyenne
P robab. de trouver un optimum
admissible
GBNM 0513,04260,1 89/100 0145,04883,1 89/100 0125,04959,1 97/100
EA(*) 0134,04557,1 77/100 0073,04806,1 85/100 0035,04919,1 92/100
(*) taille de la population = 50 ; probabilité de mutation = 0,15 ; probabilité de croisement = 0,5
Conclusions GBNM : un algorithme pratique pour les problèmes de
l’ingénieur :
travail à coût fixé : nombre d’analyses défini a priori ;
globalisation par ré-initialisation probabilisées, pour ne pas échantillonner des régions déjà connues, sans connaître le nombre de redémarrages à priori ;
Nelder-Mead amélioré pour les recherches locales : méthode d’ordre zéro, locale et sans bornes vitesse,
précision ;
détection et ré-initialisation en cas de dégénérescence ;
prise en compte des bornes par projection et des contraintes par pénalisation adaptative ;
test d’optimalité, sur les bornes.
Conclusions (2)
La stratégie la plus robuste de ré-initialisation probabilisée est un compromis entre ré-initialisation aléatoire et ré-initialisation à intervalles réguliers ;
Pour les problèmes de taille moyenne à bas coût, la méthode GBNM a une plus haute précision que les algorithmes évolutionnaires ;
La globalisation par ré-initialisation probabilisée n'est pas restrictive à l’algorithme de Nelder-Mead. Elle peut être appliquée à d’autres optimiseurs locaux.