recherche de pas par majoration-minimisation pour...

Recherche de pas par Majoration-Minimisationpour les fonctions a barrieres logarithmiques

Emilie [email protected]

Institut de Recherche en Communication et Cybernetique de Nantes (FRANCE)

Ecole de Printemps, Porquerolles, 5 mai 2010

Emilie Chouzenoux (IRCCyN) Recherche de pas par MM Porquerolles, 5 mai 2010 1 / 23

[email protected]

Probleme inverse

+K

x

ε

z = Kx + ε

Modèle direct

Problème inverse

Signal

Perturbation

Mesures

Rechercher x minimisant un critere J(x)

J : Adequation aux donnees + a priori

Minimisation dans RN ou sous contraintes.


Algorithmes de Majoration-Minimisation (MM) [Hunter04]

Objectif: Trouver x, minimiseur de J

Pour tout y, soit H(., y) une Approximation Majorante (AM) de J en y

i.e.,

H(x, y) > J(x), ∀x,

H(y, y) = J(y)

Algorithme MM :

xj+1 = arg minx

H(x, xj)

xj xj+1

J

H(., xj)


Approximation Majorante Quadratique (AMQ) :

H(x, y) = J(y) +∇J(y)T (x− y) +1

2(x− y)TA(y)(x− y)

avec A(.) definie positive telle que H(., y) soit une AM de J en y.

Recherche de pas MM quadratique [Labat08] :

Minimisation de J(.) par le schema xk+1 = xk + αkdk

dk direction de descente (Gradient, Newton,...)

αk > 0 pas obtenu par minimisation de f (α) = J(xk + αdk)

h(α, αjk) : AMQ de f en αj

k de courbure

ajk = dkA(xk + αj

kdk)dk

Minimisation par MM scalaire:

αj+1k = arg min

αh(α, αj

k) = αjk − f (αj

k)/ajk .


PLAN

1 Position du probleme

2 Recherche de pas par approximation majorante

3 Applications

4 Conclusion


Fonction barriere

Definition

B strictement convexe est appelee fonction barriere associee auxcontraintes x ∈ C si B est non bornee a la frontiere de C

Ex : Barriere logarithmique pour lescontraintes de positivite

B(x) = −∑

n

log(xn)

C = {x > 0}

0

1

2

3 0

1

2

3

−5

0

5

B(x) = − log(x1)− log(x2)

1

x2

1

x1

1

⇒ Si un critere contient une fonction barriere, ses minimiseurs vontappartenir au domaine C.


Criteres contenant des fonctions barrieres

① Tomographie d’emission : Modele de bruit Poisson

J(x) =∑

m

[Kx]m−zm log[Kx]m

② Contrainte de positivite :

minx>0‖Kx− z‖2 ⇔ min J(x) = ‖Kx− z‖2−µ

∑

n

log(xn), {µ} → 0

③ Resonance magnetique nucleaire : Penalisation par maximumd’entropie

J(x) = ‖Kx− z‖2 + λ∑

n

xn log xn


Formulation generale du probleme

Problemes d’optimisation de la forme :

min (J(x) = P(x) + µB(x)) , µ > 0 (1)

P(x) : Possibilite de construire des AM quadratiques

B(x) =∑I

i=1 bi (cTi x + ρi ): fonction barriere,e.g., bi (u) = − log u ou u log u

Algorithme iteratif

xk+1 = xk + αkdk , pour k = 1, . . . , K

dk direction de descente (Gradient, Newton, Newton tronque,gradient conjugue ...)

αk > 0 pas obtenu par minimisation de f (α) = J(xk + αdk).


Problematique

f (α) = J(xk + αdk) = P(xk + αdk) + µ B(xk + αdk)︸︷︷︸

barriere b(α)

b non definie pour α > α si il existe i tel que cTi (xk + αdk) + ρi = 0.

Restriction de la recherche de pas a α ∈ [0, α)

Prise en compte de l’asymptote verticale en α

Methodes classiques peu efficaces


PLAN



3 Applications

4 Conclusion


Rappel : Recherche de pas MM quadratique

Objectif : trouver αk minimisant f (α) = J(xk + αdk)

Pour tout β, on construit h(., β) une AMQ de f en β :

h(α, β) = f (β) + (α− β)f (β) +1

2aβ(α− β)2

Pas issu de l’AMQ :

αj+1k = arg min

αh(α, αj

k), j < J

= αjk − f (αj

k)/ajk , j < J

αk = αJk

αjk αj+1

k

f

h(., αjk)


Recherche de pas MM non quadratique

La courbure du terme de barriere est non bornee en α

⇒ Il n’existe pas d’AMQ de f .αj

k α

f

Construction d’approximations majorantes de f de la forme

h(α, αjk) = p0 + p1α + p2α

2 − p3 log(α− α)

Choix des pi pour les barrieres −log et “entropiques”

arg minα h(α, αjk) est la racine d’un polynome d’ordre 2


Toy Example

f (α) = (α− 5)2 −

10∑

i=1

log(i − α)

α = 1m0 = 2, γ0 = 1.55α1 = 0.7805a comparer avec α∗ = 0.8258

0 0.2 0.4 0.6 0.8 14

6

8

10

12

14

α

f (α)

1

h(α, 0)

1

α

1


Analyse de convergence [Chouzenoux09]

Objectif : Etudier la convergence du schema iteratif

xk+1 = xk + αkdk , k = 1, . . . , K

Proprietes

Quelque soit le nombre de sous-iterations MM,

Les conditions d’Armijo et de Zoutendijk sont verifiees

Le pas est ‘suffisament grand’

⇒ Convergence de nombreux algorithmes demontree :

Gradient, Gradient conjugue, Newton, Quasi-Newton ...


PLAN



3 Applications

4 Conclusion


Resonance Magnetique Nucleaire 1D

Modele direct

z(τ) =

∫ Tmax

Tmin

e−τ/T x(T ) dT

T : Temps de relaxationτ : Temps d’echoz(τ) : Echo mesurex(T ) : Spectre a estimerApres discretisation,

z = Kx + ε

avec K ∈ RM×N , z ∈ R

M , x ∈ RN



Modele direct

z(τ) =

∫ Tmax

Tmin

e−τ/T x(T ) dT

T : Temps de relaxationτ : Temps d’echoz(τ) : Echo mesurex(T ) : Spectre a estimerApres discretisation,

z = Kx + ε

avec K ∈ RM×N , z ∈ R

M , x ∈ RN

Objectif : Estimer x a partir de z sous la contrainte x > 0



Reconstruction par maximum d’entropie

minx>0

J(x) = P(x) + µB(x)

Adequation aux donnees : Moindres carres P(x) = ‖Kx− y‖2

Regularisation : Entropie de Shannon B(x) =∑

n xn ln xn

Fonction barriere ⇒ Assure la positivite

Strategie d’optimisation

Algorithme de Newton tronque

Preconditionnement base sur la SVD

Comparaison de la recherche de pas de Wolfe [More94] avec lastrategie MM proposee.


Resonance Magnetique Nucleaire 1DM

T

c1 c2 Iter Tps(s)

10−3 0.5 34 12

10−3 0.9 42 13

10−3 0.99 71 20

MM

J Iter Tps(s)

1 36 8

2 40 9

5 40 10

10 40 14

(c1, c2): Parametres de WolfeJ: Nombre de sous-iterations MM

0 1 2 30

0.5

1

1.5

2

T

1

Simulated x(T )

1

Estimated x(T )

1

Figure: Reconstruction RMN de donneessimulees avec RSB = 25dB


Points interieurs pour la programmation quadratique

Probleme quadratique contraint

minx∈RN

J0(x) = ρ0 + cT0 x +

1

2xTC0x

s.t. : Ci (x) = cTi x + ρi > 0, 1 6 i 6 I

Critere augmente

Jµ(x) = J0(x)− µI∑

i=1

log(Ci (x))

Points interieurs: Resoudre arg min Jµ pour une suite {µ} → 0.



Algorithme de points interieurs [Nesterov94]

1) Fixer µ = 1, des tolerances ε, τ et x tel que Ci (x) > 0

2) TANTQUE |dT∇Jµ| > τ ,

Calculer la direction de Newton d de Jµ en x

Determiner le pas αMettre a jour x← x + αd

3) SI µ < ε, FINSINON Diminuer µ et RETOUR a l’etape 2.



Algorithme de points interieurs [Nesterov94]

1) Fixer µ = 1, des tolerances ε, τ et x tel que Ci (x) > 0

2) TANTQUE |dT∇Jµ| > τ ,

Calculer la direction de Newton d de Jµ en x

Determiner le pas αMettre a jour x← x + αd

3) SI µ < ε, FINSINON Diminuer µ et RETOUR a l’etape 2.

Resultats

100 problemes aleatoires de taille N = 400, I = 200

Rebroussement 151 iter 13.6 sMethode de [Nesterov94] 310 iter 19.6 sMethode proposee 75.9 iter 5 s


PLAN



3 Applications

4 Conclusion


Conclusion

Principale contribution

Recherche de pas MM pour les criteres contenant une fonction barriere

Methode simple

Resultats de convergence

Efficacite pratique

Application en reconstruction RMN 2D [Chouzenoux2010]

Perspectives

Contraintes non lineaires

Autres fonctions barrieres

AM multi-dimensionnelle


Bibliographie

P. D. BertsekasNonlinear Programming.Athena Scientific, 1999.

Y. Nesterov and A. NemirovskiiInterior point polynomial algorithms in convex programming.Studies in Applied and Numerical Mathematics, 1994.

E. Chouzenoux and S. Moussaoui and J. Idier

A Majorize-Minimize line search algorithm for barrier function optimizationSoumis a Computational Optimization and Applications. Novembre 2009http://hal.archives-ouvertes.fr/hal-00362304/fr/

E. Chouzenoux and S. Moussaoui and J. Idier and F. Mariette

Efficient maximum entropy reconstruction of nuclear magnetic resonance T1-T2 spectraSoumis a IEEE Signal Processing. Mars 2010http://hal.archives-ouvertes.fr/hal-00455477/fr/

C. Labat and J. Idier.

Convergence of conjugate gradient methods with a closed-form stepsize formula.Journal of Optimization Theory and Applications, 136(1):43–60, 2008.

J. J. More and D. J. Thuente.

Line search algorithms with guaranteed sufficient decrease.ACM Transactions on Mathematical Software, 20(3):286–307, 1994.


recherche de pas par majoration-minimisation pour...

Documents