cmn

Cours Calculet MéthodesNumériques

M. Berrada

Introduction

Existence etunicité

MéthodesdirectesMatrices particulières

Gauss

Gauss-Jordan

Décomposition LU

Cholesky

MéthodesitérativesGénéralités

Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Cours Calcul et Méthodes NumériquesRésolution des systèmes linéaires

Mohamed Berrada

Ecole Nationale Supérieure des Arts et Métiers de MeknèsUniversité Moulay Ismail

Décembre 2014


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire

1 Quesqu’un système linéaire ?2 Existence et unicité de la solution3 Méthodes directes

Matrices particulièresMéthode de GaussMéthode de Gauss-JordanDécomposition LUDécomposition de Cholesky

4 Méthodes itérativesPrincipe généralConvergenceMéthode de JacobiMéthode de Gauss-SeidelMéthode de Relaxation

5 Conditionnement d’un système linéiare


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Quesqu’un système linéaire ?

DéfinitionUn système linéaire est un ensemble d’équations portant sur lesmêmes inconnues

Un système linéaire de m équations à n inconnues s’écrita1,1x1 + a1,2x2 + · · ·+ a1,nxn = b1a2,1x1 + a2,2x2 + · · ·+ a2,nxn = b2

...am,1x1 + am,2x2 + · · ·+ am,nxn = bm

où les xi , i = 1, · · · , n sont les inconnues.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Quesqu’un système linéaire ?Forme matricielle

Le système linéaire peut s’écire sous la forme matricielle

AX = b

où

A =

a1,1 a1,2 · · · a1,na2,1 a2,2 · · · a2,n...

......

am,1 am,2 · · · am,n

, X =

x1x2...

xn

, et b =

b1b2...

bm

A ∈Mm,n(R) est une matrice à m lignes et n colonnesSi m = n, on noteMn(R) =Mn,n(R) et on dit que lamatrice A est une matrice carrée


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Existence et unicité de la solution

Si m > n, il y a plus d’équations que d’inconnues. Lesystème est dit sur-déterminé. En général, le systèmen’aura pas de solutionSi m < n, il y a moins d’équations que d’inconnues. Lesystème est dit sous-déterminé. Le système aura uneinfinité de solutions.Si m = n, il y a autant d’équations que d’inconnues. Lamatrice A, dans ce cas, est une matrice carrée A ∈Mn.L’existence et l’unicité de la solution dépend de la valeurdu déterminant D de A.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Existence et unicité de la solution

Quelles que soient les dimensions, il y aura trois situations1 si b 6∈ Im(A), le système n’a pas de solution2 si b ∈ Im(A), et si le noyau est réduit à {0}, le système a

une solution unique.3 si b ∈ Im(A), et si le noyau n’est pas réduit à {0}, le

système a une infinité de solutionPour A ∈Mn, on calcul le déterminant D de la matrice A

1 Si D 6= 0, le système admet une solution unique2 Si D = 0, alors le noyau n’est pas réduit à {0} et on aura

1 si b 6∈ Im(A), le système n’a pas de solution2 si b ∈ Im(A), le système a une infinité de solution


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Existence et unicité de la solutionExemples

1 Exemple 1 : une infinité de solutions{2x1 + 6x2 = 4−4x1 − 12x2 = −8 , A =

(2 6−4 −12

)

2 Exemple 2 : une solution unique{x1 + 3x2 = 72x1 − x2 = 0 , A =

(1 32 −1

)

3 Exemple 3 : pas de solution{4x1 − 3x2 = 1416x1 − 12x2 = 2 , A =

(4 −316 −12

)


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes directes

On se limite ici au cas des systèmes carrés (A ∈Mn)Pour les méthodes directes : la solution est obtenue defaçon exacte, aux erreurs d’arrondis machine près, en unnombre fini d’opérations


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes directesMatrices particulières

DéfinitionSoit A ∈Mn(R) (une matrice carrée)

1 A est dite triangulaire supérieure ssi ai,j = 0, ∀i > j2 A est dite triangulaire inférieure ssi ai,j = 0, ∀i < j3 A est dite diagonale ssi ai,j = 0, ∀i 6= j

triangulaire supérieure triangulaire inférieurea1,1 a1,2 · · · a1,n

0 a2,2 · · · a2,n...

.... . .

...0 0 · · · an,n

a1,1 0 · · · 0a2,1 a2,2 · · · 0

......

. . ....

an,1 an,2 · · · an,n

a1,1 0 · · · 00 a2,2 · · · 0...

.... . .

...0 0 · · · an,n

diagonale


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes directesMatrices particulières

RemarqueLes systèmes linéaires à matrice diagonale, triangulaire supérieure outriangulaire inférieure, sont facile à résoudre

Pour un système linéaire à matrice diagonale telle que ai,i 6= 0,i = 1, · · · , n, la solution est xi = bi

ai,i, i = 1, · · · , n

Pour un système linéaire à matrice triangulaire supérieure telleque ai,i 6= 0, i = 1, · · · , n, la solution est xn = bn

an,n

xi =bi−∑n

j=i+1ai,j xj

ai,i

Pour un système linéaire à matrice triangulaire inférieure telleque ai,i 6= 0, i = 1, · · · , n, la solution est x1 = b1

a1,1

xi =bi−∑i−1

j=1ai,j xj

ai,i


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes directesAlgorithme de remontée

Algorithme de remontéeSoit A une matrice triangulaire supérieure. La solution deAx = b est donnée par l’algorithme, dit de remontée, suivant :|x = b|pour i = n : −1 : 1 faire| pour j = i + 1 : n faire| xi = xi − ai ,j × xj| fin pour j| xi = xi

ai,i|fin pour i

Nombre d’opérations :∑n

i=1(n − i) = n2−n2 (−,×)

Exemple : 2x1 + x2 − x3 = 3

5x2 + x3 = 82x3 = 5


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes directesAlgorithme de descente

Algorithme de descenteSoit A une matrice triangulaire inférieure. La solution deAx = b est donnée par l’algorithme, dit de descente, suivant :|x = b|pour i = 1 : n faire| pour j = 1 : i − 1 faire| xi = xi − ai ,j × xj| fin pour j| xi = xi

ai,i|fin pour i

Nombre d’opérations :∑n

i=1(i − 1) = n2−n2 (−,×)

Exemple : 2x1 = 1x1 − 5x2 = 2x1 + x2 + 2x3 = 4


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussPrincipe générale

La méthode de Gauss dite aussi d’élimination de Gauss estune méthode de résolution de systèmes linéairesL’idée de cette méthode est de se ramener à un systèmelinéaire dont la matrice est triangulaire supérieure, onobtient ensuite la solution par l’algorithme de remontée.Elle se base sur les principes fondamentales suivantes : Onne change pas la solution lorsqu’on :

permute deux lignespermute deux colonnesmultiplie une ligne par une constante 6= 0ajoute à une ligne une autre ligne multipliée par uneconstante


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussExemple

On cherche à résoudre le système suivant :2x1 + 3x2 + 3x3 + x4 = 15−4x1 − 6x2 + 3x3 + 2x4 = 3−x1 + x2 + x3 + x4 = 5−2x1 − x2 + x3 + x4 = 1

La méthode de Gauss, consiste à éliminer x1 des lignes 2, 3 et4, puis x2 des lignes 3 et 4, puis x3 de la ligne 4. La formematricielle

2 3 3 1−4 −6 3 2−1 1 1 1−2 −1 1 1

x1x2x3x4

=

15351


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussExemple : Matrice augmentée

On note par

A =

2 3 3 1−4 −6 3 2−1 1 1 1−2 −1 1 1

et b =

15351

On nomme B1 la matrice A augmentée de b. Ainsi on auraB1 =

(b1

i ,j

), 1 ≤ i ≤ n, 1 ≤ j ≤ n + 1

B1 =

2 3 3 1−4 −6 3 2−1 1 1 1−2 −1 1 1

∣∣∣∣∣∣∣∣∣15351


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussExemple : Etape 1

On a b11,1 6= 0, on le nomme pivot de la 1ere étape

On pose mi,1 =b1

i,1b0

1,1et on effectue pour toute ligne

li , i = 2, 3, 4 :li ← li −mi,1l1

On obtient

B2 =

2 3 3 10 0 9 40 5

252

32

0 2 4 2

∣∣∣∣∣∣∣∣153325216

On peut montrer que B2 = E1B1 avec

E1 =

1 0 0 0

−m2,1 1 0 0−m3,1 0 1 0−m4,1 0 0 1

Pour obtenir E−1

1 , il suffit de remplacer −mi,1 dans E1 par mi,1


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Le pivot b22,2 est nul. On échange la deuxième et la

troisième ligne. On obtient une nouvelle matrice B′2La matrice B′2 est la multiplication de B2 par une matricede permutation P2

B′2 =

1 0 0 00 0 1 00 1 0 00 0 0 1

2 3 3 10 0 9 40 5

252

32

0 2 4 2

∣∣∣∣∣∣∣∣∣153325216

=

2 3 3 10 5

252

32

0 0 9 40 2 4 2

∣∣∣∣∣∣∣∣∣152523316

Le pivot devient b2

2,2 = 52 ,


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


On note m3,2 =b2

3,2b2

2,2= 0 et m4,2 =

b24,2

b22,2

= 45

La ligne l3 ne sera pas changée et on effectue pour la lignel4 :

l4 ← l4 −m4,2l2On obtient

B3 =

2 3 3 10 5

252

32

0 0 9 40 0 2 4

5

∣∣∣∣∣∣∣∣∣15252336

On aura l’écriture matricielle B3 = E2B′2 = E2P2B2 avec

E2 =

1 0 0 00 1 0 00 −m3,2 1 00 −m4,2 0 1


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Le pivot b33,3 = 9. On note m4,3 =

b34,3

b33,3

= 29 , et on effectue pour

la ligne l4 : l4 ← l4 −m4,3l3On obtient, au finale

B4 =

2 3 3 10 5

252

32

0 0 9 40 0 0 − 4

45

∣∣∣∣∣∣∣∣1525233− 4

3

On aura B4 = E3B3 = E3E2P2E1B1 avec

E3 =

1 0 0 00 1 0 00 0 1 00 0 −m4,3 1

Dans le cas général, on aura Bk+1 = EkPkBk et doncBn = En−1Pn−1 · · ·E1P1B1


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussExemple : résolution par remontée

Le système linéaire obtenu est à matrice triangulairesupérieure ( résolution par remontée)

2 3 3 10 5

252

32

0 0 9 40 0 0 − 4

45

x1x2x3x4

=

1525233−4

3

On obtient la solution suivante

x1x2x3x4

=

6−1−315


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussNombre d’opérations

Pour comparer l’efficacité de deux algorithmes, oncompare leur nombre d’opérationsLes opérations multiplication et division demandent le plusgrand temps de cacul à l’ordinateur en comparaison del’addition et soustractionPour l’algorithme de Gauss, il faut

2n3+3n2−5n6 (×,÷) pour la première étape

n2+n2 (×,÷) pour la remontée

Au total, il faut 2n3+6n2−2n6 opérations (×,÷)

Pour n assez grand, on a 2n3+6n2−2n6 ≈ n3

3

On dit que le nombre d’opérations pour l’algorithme deGauss est de l’ordre 3


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de GaussStratégie du choix du pivot : Pivot partiel et Pivot total

Le choix du pivot est très important pour éviter les erreursd’arrondisSi un pivot est nul, on permute deux lignes ou deuxcolonnesSi tous les pivots restant sont nuls alors la matrice estsingulière (n’admet pas de solution unique)Pour minimiser les erreurs d’arrondis, on choisi le plusgrand pivot possible (en valeur absolue)

on permute uniquement les lignes (Pivot partiel)on permute les lignes et les colonnes (Pivot total)


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de Gauss-Jordan

On considère le système suivant4x1 − 2x2 + x3 = 10x1 + x2 + x3 = −8

9x1 + 3x2 + x3 = 0

Nous écrivons la matrice augmentée par b 4 −2 11 1 19 3 1

∣∣∣∣∣∣∣10−80


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de Gauss-JordanEtape 1

B0 =

4 −2 11 1 19 3 1

∣∣∣∣∣∣∣10−80

L1 ←14L1 : B1 =

1 −12

14

1 1 19 3 1

∣∣∣∣∣∣∣52−80

L2 ← L2 − L1 etL3 ← L3 − 9L1

: B2 =

1 −12

14

0 32

34

0 152

−54

∣∣∣∣∣∣∣52−21

2−45

2


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


L2 ←23L2 : B3 =

1 −12

14

0 1 12

0 152

−54

∣∣∣∣∣∣∣52−7−45

2

L3 ← L3 −152 L2 : B4 =

1 −12

14

0 1 12

0 0 −5

∣∣∣∣∣∣∣52−730

L3 ←−15 L3 : B5 =

1 −12

14

0 1 12

0 0 1

∣∣∣∣∣∣∣52−7−6


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


L2 ← L2 − 12L3 et

L1 ← L1 − 14L3

: B6 =

1 −12 0

0 1 00 0 1

∣∣∣∣∣∣∣4−4−6

L1 ← L1 +12L3 : B7 =

1 0 00 1 00 0 1

∣∣∣∣∣∣∣2−4−6

La solution est alors x1

x2x3

=

2−4−6


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LU

La factorisaion LU consiste à décomposer la matrice sousla forme

A = LU

où L est une matrice triangulaire inférieure à digonaleunité et U est une matrice triangulaire supérieure

L =

1 0 · · · 0

l2,1 1 · · · 0...

.... . .

...ln,1 ln,2 · · · 1

, et U =

u1,1 u1,2 · · · u1,n0 u2,2 · · · u2,n...

.... . .

...0 0 · · · un,n


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LUAlgorithme de factorisation LU

On aa1,1 a1,2 · · · a1,na2,1 a2,2 · · · a2,n...

.... . .

...an,1 an,2 · · · an,n

=

1 0 · · · 0

l2,1 1 · · · 0...

.... . .

...ln,1 ln,2 · · · 1

×

u1,1 u1,2 · · · u1,n0 u2,2 · · · u2,n...

.... . .

...0 0 · · · un,n

Par identification, on peut déduire l’algorithme


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LUStockage dans la matrice

Pour faire la factorisation A = LU en stockant le résultat dansla matrice A, on suit les étapes suivantes :

1 La première ligne reste inchanger2 La première colonne est divisée par a1,1, aj,1 =

aj,1a1,1

, j ≥ 23 Les éléments du block restant sont remplacés par la

formule aj,k = aj,k − aj,1 × a1,k , j , k ≥ 2Le block restant obtenu est une matrice (n− 1)× (n− 1).

4 On refait les mêmes opérations sur la matrice(n − 1)× (n − 1) obtenue...


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement



1 La première ligne reste inchanger

2 La première colonne est divisée par a1,1, aj,1 =aj,1a1,1





M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement




aj,1a1,1

, j ≥ 2

3 Les éléments du block restant sont remplacés par laformule aj,k = aj,k − aj,1 × a1,k , j , k ≥ 2Le block restant obtenu est une matrice (n− 1)× (n− 1).



M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement




aj,1a1,1





M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Au final, on récupère la factorisation LU dans la matriceelle-même :


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LURésolution

Après factorisation de la matrice A, le système est résoluen deux étapes

1 Une descente : Trouver y solution de Ly = b2 Une remontée : Trouver x solution de Ux = y

La solution x trouvée à la deuxième étape sera la solutiondu système Ax = b


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LUMatrice de permutation

RemarqueL’existence de la factoristation LU d’une matrice carrée n’est pasforcément assurée même si la matrice est inversible

Exemple :(0 1−1 2

)=

(1 0

l2,1 1

)×(

u1,1 u1,20 u2,2

)=

(u1,1 u1,2

l2,1u1,1 u2,2 + l2,1u1,2

)On aura l2,1u1,1 = −1 et u1,1 = 0.Par contre, si on permute les deux lignes de la matrice, on obtient(

0 11 0

)(0 1−1 2

)=

(−1 20 1

)qui est une matrice factorisable.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LUMatrice de permutation

PropositionSi A est une matrice inversible alors il existe une matrice depermutation P, telle que PA = LU

Le système Ax = b est équivalent à PAx = Pb et donc LUx = PbLa démonstration se base sur le résultat de l’algorithme de Gauss :

Bn = En−1Pn−1 · · ·E1P1B1.

On note U la première partie de Bn, qui est une matrice triangulairesupérieure, et on a P−1

k = Pk donc Pk+1Ek = Pk+1Ek︸︷︷︸E ′k

Pk+1Pk+1.

On aura alors

U = En−1E ′n−2 · · ·E ′1︸︷︷︸M

Pn−1Pn−2 · · ·P1︸︷︷︸P

A

La matrice M est inversible et triangulaire inférieure à diagonaleunité. En posant L = M−1, on aura PA = LU


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition LUMatrice tridiagonale

Une matrice tridiagonale est une matrice sous la forme

A =

e1 c1 · · · 0a1 e2 · · ·

......

... . . . cn−10 · · · an−1 en

La factorisation LU de A est donnée par les deux matrices :

L =

1 0 · · · 0l1 1 · · · 0...

.... . .

...0 · · · ln−1 1

, et U =

d1 u1 · · · 0

0 d2 · · ·...

......

. . . un−10 0 · · · dn


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition de CholeskyPrincipe général

Supposons que la matrice A est sysmétrique et définiepositive,La méthode de Cholesky conduit à une factorisation detype

A = LLT

ThéorèmeSi A est une matrice symétrique définie positive, il existe unematrice réelle triangulaire inférieure L telle que : A = LLT .

La matrice L est triangulaire inférieure, mais n’est plus àdiagonale unité


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Décomposition de CholeskyAlgorithme

On cherche la matrice L vérifiant l’égalité A = LLT telle que

L =

l1,1l2,1 l2,2...

... . . .ln,1 ln,2 · · · ln,n

Par identification, on obtient

ai ,j =(LLT

)i ,j

=n∑

k=1li ,k lj,k =

min{i ,j}∑k=1

li ,k lj,k , 1 ≤ i , j ≤ n

Puisque A est symétrique, il suffit de considérer ai ,j pour i ≤ j

ai ,j =i∑

k=1lik ljk , 1 ≤ i , j ≤ n


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Pour i = 1, on détermine la première colonne de L :

a1,1 = l1,1l1,1 d’où l1,1 =√a1,1

a1,j = l1,1lj,1 d’où lj,1 =a1,jl1,1, 2 ≤ j ≤ n

Pour i = 2 · · · n :

ai ,i =∑i

k=1 li ,k li ,k d’où li ,i =√

ai ,i −∑i−1

k=1 l2i ,k

ai ,j =∑i

k=1 lik ljk d’où lj,i =ai,j−

∑i−1k=1 li,k lj,kli,i , i + 1 ≤ j ≤ n


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Conclusion

Les méthodes directes fournient la solution exacte auxerreurs d’arrondis machine prèsElles nécessitent un nombre fini d’opérations (de l’ordre den3

3 pour Gauss)La méthode de Gauss s’applique à tout système linéiareinversible

Les méthodes directes ont un coût important en stockagemémoire (des techniques d’optimisation de stockageexistent)


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthodes itérativesPrincipe général

La solution du système est la limite d’une suite itérative devecteursOn décompose A sous la forme A = M − N où M est unematrice inversible facilement (M diagonale, triangulaire,...)

AX = b ⇔ MX = NX + b ⇔ X = M−1N︸︷︷︸C

X + M−1b︸︷︷︸d

La solution du système est la limite de la suite{X 0 donnéX k+1 = CX k + d

où C ∈Mn(R) dite matrice d’itération et d ∈ Rn

Si la méthode converge on aura (équation de type point-fixe)

X = MX + C

Nécessite la convergenceLa convergence ne doit pas être lente


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

ConvergenceNorme matricielle

DéfinitionOn appel norme matricielle une norme définie surMn(R) par :

‖.‖ : Mn(R) → R+

A 7→ ‖A‖

telle que ∀A,B ∈Mn(R) et ∀λ ∈ R :Séparation : ‖A‖ = 0⇔ A = (0),Homogénéité : ‖λA‖ = |λ|.‖A‖,Inégalité triangulaire : ‖A + B‖ ≤ ‖A‖+ ‖B‖,‖A.B‖ ≤ ‖A‖.‖B‖.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

ConvergenceNorme subordonnée

Proposition (Norme subordonnée)Soit ‖.‖V une norme vectorielle définie sur Rn. La fonction quià A ∈Mn(R) associe

‖A‖ = maxx∈Rn,x 6=0

‖Ax‖V‖x‖V

est une norme matricielle dite norme subordonnée ou induite.

Exemple :Soit la norme vectorielle ‖.‖∞ :

‖x‖∞ = max1≤i≤n

|xi |.

Cette norme induit la norme matricielle ‖.‖ surMn(R)

‖A‖∞ = max1≤i≤n

n∑j=1|ai ,j |.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

ConvergenceRayon spectral

DéfinitionSoit A ∈Mn(R), on appel rayon spectral de la matrice A lenombre réel :

ρ(A) = max1≤i≤n

|λi |

où λi sont les valeurs propres de A.

ρ(.) n’est pas une norme matriciellePour toute norme matricielle ‖.‖ et toute matrice A :

ρ(A) ≤ ‖A‖


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Convergence

Théorème∀C ∈Mn(R), s’il existe une norme matricielle subordonnée ‖.‖telle que ‖C‖ < 1, alors :

1 L’équation x = Cx + d admet une solution unique x̄2 La suite xk converge vers x̄ quelle que soit x0.

1 On a ρ(C) ≤ ‖C‖ < 1, donc les |λi | < 1.Ceci implique que I − C est inversible. Donc il existe unesolution unique à l’équation x = Cx + d qu’on note x̄ .

2 On note ek = xk − x̄ . On peut montrer que ek = Cek−1

et donc ek = Cke0, on aura alors

‖ek‖V ≤ ‖C‖k‖e0‖V

Donc ek → 0 et xk → x̄


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Convergence

ThéorèmeOn a équivalence entre les trois conditions suivantes :

1 ρ(C) < 12 il existe une norme matricielle subordonnée ‖.‖ telle que‖C‖ < 1

3 Cke0 tend vers 0 pour tout vecteur e0 ∈ Rn

4 la suite xk converge vers la solution du système Ax = b

On note ek = xk − x ,On a xk+1 = Cxk + d et x = Cx + d , donc ek+1 = Cek , puisek = Cke0

ThéorèmeSoit A sysmétrique définie positive telle que A = M − N SiMt + N est définie positive, Alors la suite xk converge.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

ConvergenceVitesse de convergence

Le rayon spectral ρ(C) donne une estimation de vitesse deconvergenceSi ρ(C) ≤ ρ(C̃) < 1 alors le processus itératif à matriced’itération C converge plus viteOn suppose que ρ(C) < 1 donc pour un x0 donné, la suitexk → x quand k → +∞, alors on a l’estimation suivante

‖xk+1 − x‖‖xk − x‖ → ρ(C)

Si on ne connait pas la solution x , on utilise l’estimation

‖xk+1 − xk‖‖xk − xk−1‖

→ ρ(C)


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

ConvergenceConclusion

Pour résoudre le système Ax = b, il faut que :A soit décomposable sous la forme A = M − NM soit inversible facilementl’une des deux conditions suivantes soit vérifiée

Le rayon spectral de C = M−1N est <1 (ρ(C) < 1)Pour A symétrique définie positive, il faut que Mt + N soitdéfinie positive.

Comment choisir les matrices M et N qui assurent laconvergence


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de JacobiExemple

On note x̄ = (x̄1, x̄2, x̄3) la solution exacte du système linéaire 2 1 0−1 −3 10 1 4

× x1

x2x3

=

567

On aura

1 2× x̄1 + 1× x̄2 + 0× x̄3 = 5,2 −1× x̄1 − 3× x̄2 + 1× x̄3 = 6,3 0× x̄1 + 1× x̄2 + 1× x̄3 = 7,

Solution exacte1 x̄1 = 5−1×x̄2−0×x̄3

22 x̄2 = 6+1×x̄1−1×x̄3

−33 x̄3 = 7−0×x̄1−1×x̄2

4

Itération Jacobi1 xk+1

1 =5−1×xk

2−0×xk3

2

2 xk+12 =

6+1×xk1−1×xk

3−3

3 xk+13 =

7−0×xk1−1×xk

24


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de JacobiForme matricielle

Soit A ∈Mn(R), on note par :D la matrice des éléments diagonaux de AE la matrice des éléments sous-diagonaux de AF la matrice des éléments sur-diagonaux de A

On peut écrire alors

A = D + E + F = D − (−E − F )

On considère alors la décomposition A = M − N avec{M = DN = −E − F

DéfinitionOn appel matrice de Jacobi la matrice

J = M−1N = D−1(−E − F )


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de JacobiConditions de convergence

La méthode de Jacobi est convergente ssi1 Les éléments diagonaux de A sont tous non nuls2 ρ(J) < 1

ThéorèmeSi A est à diagonale strictement dominante (c-à-d|ai ,i | >

∑nj=1,j 6=i |ai ,j |) alors la méthode de Jacobi converge

pour tout vecteur initial x0.

ThéorèmeSupposons A symétrique définie positive. Si 2D − A estsymétrique définie positive alors la méthode de Jacobi converge.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de Gauss-SeidelExemple

Dans l’algorithme de Gauss-Seidel, on utilise les éléments del’itéré qui sont déjà calculésOn revient à l’exemple précédent.Solution exacte

1 x̄1 = 5−1×x̄2−0×x̄32

2 x̄2 = 6+1×x̄1−1×x̄3−3

3 x̄3 = 7−0×x̄1−1×x̄24

Itération Gauss-Seidel1 xk+1

1 =5−1×xk

2−0×xk3

2

2 xk+12 =

6+1×xk+11 −1×xk

3−3

3 xk+13 =

7−0×xk+11 −1×xk+1

24


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de Gauss-SeidelForme matricielle

L’algorithme de Gauss-Seidel consiste à décomposer la matriceA = M − N telle que {

M = D + EN = −F

On aura alors

A = M − N = D + E − (−F )

et la suitexk+1 = M−1Nxk + M−1b

DéfinitionOn appel matrice de Gauss-Seidel la matrice

GS = M−1N = (D + E )−1(−F )


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de Gauss-SeidelConditions de convergence

La méthode de Gauss-Seidel est convergente ssi1 Les éléments diagonaux de A sont tous non nuls (D + E

inversible)2 ρ(GS) < 1

ThéorèmeSi A est à diagonale strictement dominante alors la méthode deGauss-Seidel converge pour tout vecteur initial x0.

ThéorèmeSi A est symétrique définie positive alors la méthode deGauss-Seidel converge pour tout vecteur initial x0.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de RelaxationForme matricielle

La méthode de relaxation est une amélioration de G-SDiminuer ρ(C) pour améliorer la vitesse de convergenceSoit ω ∈ R, on décompose A = Mω − Nω telle que{

Mω = Dω + E

N = 1−ωω D − F

On aura le processus itératif :

xk+1 = (Dω

+ E )−1(1− ωω

D − F )xk + (Dω

+ E )−1b

DéfinitionOn appel matrice de relaxation la matrice

Rω = M−1ω Nω = (

Dω

+ E )−1(1− ωω

D − F )

Si ω = 1 on retrouve G-S


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de relaxationConditions de convergence

La méthode de relaxation est convergente ssi1 Les éléments diagonaux de A sont tous non nuls (D

ω + Einversible)

2 ρ(Rω) < 1

ThéorèmeSoit Rω la matrice de relaxation associé à A. Alors :

ρ(Rω) ≥ |ω − 1|.

En particulier, si la méthode converge, alors nécessairement0 < ω < 2

ThéorèmeSoit A une matrice symétrique définie positive.Alors la méthode de relaxation converge ssi 0 < ω < 2.En particulier, pour ω = 1, la méthode de G-S converge.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de relaxationAlgorithme

Algorithme de la méthoe de relaxation|For i = 1 : n do| xnew

i = x0i


i = xnewi | End for

| For i = 1 : n do| xnew

i = ωai,i

(bi −

∑i−1j=1 ai ,jxnew

j −∑n

j=i+1 ai ,jxoldj

)+

(1− ω)xoldi

| End for|End while


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Méthode de relaxationComparaison Jacobi et G-S pour une matrice tridiagonale

ThéorèmeSi A est une matrice tridiagonale. Alors on a ρ(GS) = [ρ(J)]2

Si de plus A est symétrique définie positive alors on a un choixoptimal de ω

ω∗ =2

1 +√1− ρ(J)2

et ρ(Rω∗) = ω∗ − 1

On peut en déduire que dans ce cas :G-S converge ⇔ Jacobi convergeEn cas de convergence, la méthode de G-S converge plus viteque la méthode de Jacobi


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Sommaire






M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Conditionnement d’un système linéiare

DéfinitionLe conditionnement d’une matrice inversible A relativement àune norme subordonnée, notée || · || est donné

κ(A) = ‖A−1‖ ‖A‖.

Et on a κ(A) > 1.

Le conditionnement d’une matrice donne une borne del’erreur relative commise sur la solution x lorsque lesdonnées A ou b sont perturbées.Si cette borne est très grande, l’erreur qui pourrait endécouler rende la solution numérique inexploitable


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Soient x , y et z solutions respectivement des trois systèmes :Ax = bAy = (b + ∆b)

(A + ∆A)z = bExemple :

A =

10 7 8 77 5 6 58 6 10 97 5 9 10

b =

32233331

A + ∆A =

10 7 8.1 7.27.08 5.04 6 58 5.98 9.89 9

6.99 4.99 9 9.98

b + ∆b =

32.0122.9933.0130.99

Les solutions : x =

1111

y =

1.82−0.361.350.79

z =

−81137−3422


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Théorème (second membre perturbé)Soit A une matrice inversible et b 6= 0 un vecteur de Rn. Soientx et x + ∆x les solutions respectives de Ax = b etA(x + ∆x) = b + ∆b, alors l’erreur relative théorique x estmajorée par

‖∆x‖‖x‖ 6 κ(A)

‖∆b‖‖b‖

Théorème (matrice perturbée)Soit A inversible. Soient x et x + ∆x les solutions respectivesde Ax = b et (A + ∆A)(x + ∆x) = b, alors l’erreur relativethéorique x est majorée par

‖∆x‖‖x + ∆x‖ 6 κ(A)

‖∆A‖‖A‖


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Lorsque l’on veut résoudre un système linéaire Ax = b avec unematrice mal conditionnée, il peut être intéressant de demultiplier à gauche par une matrice K telle KA soit mieuxconditionnée.K est une approximation de A−1

L’exemple le plus simple est le préconditionnement diagonal, oùla matrice K est la matrice diagonale constituée des inversesdes éléments diagonaux de A


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Pour avoir une rapidité de convergence, il faut que κ(A)soit petitPréconditionner un système linéaire revient à le remplcerpar un système équivalent avec une matrice deconditionnement plus petitLe principe est de remplacer le système par

KAx = Kb (préconditionnement à gauche)

ou par

AKy = b (préconditionnement à droite)

avec K une matrice inversible "préconditionneur" ety = K−1x et .Mais aussi, on peut faire KgAKdy = Kgb (cas général)


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement


Si A est symétrique définie positive, K doit l’être aussi.Mais KA n’est plus symètriqueSi K admet une factorisation K = LLt alors les valeurspropores de KA et LtAL sont les mêmes. On peut alorsécrire le système équivalent suivant

LtALx̃ = Ltb

où x = Lx̃On cherche une solution approchée x̃k du systèmeprécédent.


M. Berrada

Introduction



Gauss

Gauss-Jordan

Décomposition LU

Cholesky


Convergence

Jacobi

Gauss-Seidel

Relaxation

Conditionnement

Fin Chapitre Système linéaire

cmn

Documents