Naouel ZRELLI Résolution des systèmes linéaires

Résolution des systèmes linéaires

I Méthodes directes

I.1 Méthode de Gauss

I.2 Méthode LU

Cette partie a déjà été faite

Pour la deuxème partie, allez à la page suivante

Page 1
Naouel ZRELLI Résolution des systèmes linéaires

II Méthodes itératives

Problématique :
Les méthodes directes (Gauss et LU) donnent la solution exacte d'un système linéaire et elles sont considérées
trés ecaces. Cependant, si la plupart des coecients de la matrice d'un tel système linéaire sont non nuls,
les méthodes directes nécessitent une assez grande place mémoire pour stocker la matrice en mémoire de l'or-
dinateur. Lorsqu'on a aaire à de très gros systèmes issus par exemple de l'ingénierie (calcul des structures,
mécanique des uides, ...), où la taille des matrices peut être de l'ordre de plusieurs milliers, on cherche à
utiliser des méthodes nécessitant le moins de mémoire possible. On a intérêt dans ce cas à utiliser des méthodes
itératives. Ces méthodes ne font appel qu'à des produits matrice vecteur, et ne nécessitent donc pas le stockage
de la matrice mais uniquement des termes non nuls.

II.1 Principe des méthodes itératives

Construire une suite de vecteurs (Xk )k∈N qui converge vers le vecteur X, solution du système AX = b tel que
X = lim Xk
k→+∞

la suite Xk vérie :
X0 donnée

Xk+1 = BXk + c
Avec :
1. X0 ∈ Rn vecteur initial à choisir arbitrairement ("le plus simple" vecteur nul)
2. B : matrice à déterminer tel que
J matrice de Jacobi

B=
G matrice de Gauss-Seidel

3. c : vecteur à déterminer tel que

pour la méthode de Jacobi

cJ
c=
cG pour la méthode de Gauss-Seidel
ˆ Avantages des méthodes itératives : simples à programmer et nécessitent moins de place en mémoire.
ˆ Inconvénient des méthodes itératives : temps de calcul est souvent plus long.

Proposition 1 :( Résultat de convergence)

∀X0 ∈ Rn , la suite (Xk )k∈N converge vers le vecteur X ssi ρ(B) < 1 (Rayon spectral).

Proposition 2 :(Vitesse de convergence)

Soient deux méthodes itératives de matrices associées respectivement B1 et B2

ˆ Si ρ(B1 ) < ρ(B2 ) alors la première méthode converge plus vite que la deuxième

ˆ Si ρ(B2 ) < ρ(B1 ) alors la deuxième méthode converge plus vite que la première

Page 2
Naouel ZRELLI Résolution des systèmes linéaires

II.2 Construction de la matrice B et le vecteur c

On décompose la matrice A sous la forme A = D − E − F , où
ˆ D représente la diagonale de la matrice A
ˆ (−E) la partie triangulaire inférieure de A
ˆ (−F ) la partie triangulaire supérieure de A
Exemple 1 :
2 -1
 
A=
-1 2
2 0 0 0 0 1
     
D= E= F =
0 2 1 0 0 0
Exemple 2 :
3 -1 0
 

A =  -1 3 -1 
0 -1 3
3 0 0 0 0 0 0 1 0
     

D= 0 3 0  E= 1 0 0  F = 0 0 1 
0 0 3 0 1 0 0 0 0
On écrit le système AX = b sous la forme (D − E − F )X = b

II.2.1 Méthode de Jacobi

(D − E − F )X = b ⇐⇒ DX − (E + F )X = b ⇐⇒ DX = (E + F )X + b (1)
Si D est inversible (tous les c÷cients diagonaux sont non nuls) alors D−1 existe.
On multiplie l'équation (1) par D−1 de part et d'autre :
D−1 DX = D−1 (E + F )X + D−1 b ⇐⇒ X = D−1 (E + F )X + D−1 b

On note
J = D−1 (E + F ) : matrice de Jacobi
cJ = D−1 b : le nouveau vecteur
La méthode de Jacobi s'écrit donc :
X0 donnée

Xk+1 = JXk + cJ

Exemple 1 :
 
1

2 0
 0   1

ˆ D= inversible =⇒ D−1  2
= : car D diagonale
0 2 0
1  les c÷cients diagonaux
2
   
1 1
0  0 1

 0
ˆ J = D (E + F ) = 
−1  2 2 
= 1
0
1  1 0 0

2 2
   
1 3

3
 0  3  
ˆ Soit b = alors cJ = D b = 
 2
−1
=  23 

-3 0
1  -3 −
2 2

Page 3
Naouel ZRELLI Résolution des systèmes linéaires

Résultat de convergence :

∀X0 ∈ Rn , la suite (Xk )k∈N converge vers le vecteur X ssi ρ(J) < 1 (Rayon spectral).

ˆ Etude convergence :
calcul des valeurs propres :
 

 −λ 1 
2
 1 1 1
det(J − λI2 ) = 0 =⇒  1  = 0 =⇒ λ2 − = 0 =⇒ {λ1 = ; λ2 = − }
 
 −λ  4 2 2
2
 

1
ρ(J) = M ax{|λ1 |, |λ2 |} = < 1 donc la méthode de Jacobi converge.
2
ˆ Calcul des Xk :
0
 
1. X0 =
0
3 3
     
1
0 
0

2 = 2 
2. X1 = JX0 + cJ =  2  +

 1
0
 0 3   3 
2 − −
2 2
3 3 3
      
1
0 2   2   4 
3. X2 = JX1 + cJ = 
 1 2  
+ 3 = 3 
0
 3
2 − − −
2 2 4
3 3 9
      
1
0 4   2   8 
4. X3 = JX2 + cJ = 
 1 2  
+ 3 = 9 
0
 3
2 − − −
4 2 8
9 3 15
      
1
0 8   2   16 
5. X4 = JX3 + cJ = 
 1 2  
 +  3  =  15 
0
 9
2 − − −
8 2 16
Pour voir la convergence des Xk vers X, on calcule la solution exacte de AX = b
2 1 3 1
! ! !
−1 1
X=A b= =
3 1 2 -3 -1
Remarque : C'est un choix si l'on a arrêté le calcul jusqu'à k = 4. En pratique, la question de
l'exercice qui demande que le calcul des vecteurs Xk doit s'arréter jusqu'à quel ordre (k=0,1.. ?)

II.2.2 Méthode de Gauss-Seidel

(D − E − F )X = b ⇐⇒ DX − EX − F X = b ⇐⇒ (D − E)X = F X + b (2)
(D − E) est une matrice triangulaire inférieure inversible ssi tous les c÷cients diagonaux sont non nuls c'est
la même condition que D est inversible. Par suite si D est inversible alors (D − E)−1 existe.
On multiplie l'équation (2) par (D − E)−1 de part et d'autre :
(D − E)−1 (D − E)X = (D − E)−1 F X + (D − E)−1 b ⇐⇒ X = (D − E)−1 F X + (D − E)−1 b

On note
G = (D − E)−1 F : matrice de Gauss-Seidel
cG = (D − E)−1 b : le nouveau vecteur

Page 4
Naouel ZRELLI Résolution des systèmes linéaires

Exemple 1 :

2 0 2 0
   
ˆ D= inversible =⇒ (D − E) = inversible et det(D − E) = 2 × 2 = 4
0 2 -1 2
1
 
1 t
 2
0 
(D − E)−1 = Com(D − E) = 
det(D − E) 1 1 
4 2
avec det(D − E) = 2 × 2 car la matrice est triangulaire inférieure.
1 1
   
 2
0  0 1
 0
ˆ G = (D − E) F = 
−1
=
 2 
1 1  0 0 1 
0
4 2 4
1 3
   

3

 2
0  3  
ˆ Soit b = alors cG = (D − E) −1
b= = 2 

-3 1 1  −3 3
−
4 2 4
Résultat de convergence :

∀X0 ∈ Rn , la suite (Xk )k∈N converge vers le vecteur X ssi ρ(G) < 1 (Rayon spectral).

ˆ Etude convergence :
calcul des valeurs propres :
 

 −λ 1 
2
 1 1
det(G − λI2 ) = 0 =⇒   = 0 =⇒ λ2 − λ = 0 =⇒ {λ1 = 0; λ2 = }
 
 0 1 4 4
−λ 
4
 

1
ρ(G) = M ax{|λ1 |, |λ2 |} = < 1 donc la méthode de Gauss-seidel converge.
4
ˆ Calcul des Xk
0
 
1. X0 =
0
3 3
     
1
0 
0

2. X1 = GX0 + cG =  2 + 2 = 2 
    

0
1  0 3 3
4 − −
4 4
3 3 9
      
1
0 2 + 2 = 8 
3. X2 = GX1 + cG =  2
1


0
 3   3   15 
4 − − −
4 4 16
9 3 33
      
1
0 8  +  2  =  32 
4. X3 = GX2 + cG =  2
1


0
 15   3   63 
4 − − −
16 4 64
33 3 129
      
1
0 32  +  2  =  128 
5. X4 = GX3 + cG =  2
1


0
 63   3   255 
4 − − −
64 4 256
Pour voir la convergence des Xk vers X, on calcule la solution exacte de AX = b
2 1 3 1
! ! !
−1 1
X=A b= =
3 1 2 -3 -1

Page 5
Naouel ZRELLI Résolution des systèmes linéaires

Comparaison des deux méthodes

Méthode de Jacobi Méthode de Gauss-Seidel

1 1
! !
X − X0
-1 -1

1 1
   
− −
X − X1
 2   2 
 1   1 
−
2 4

1 1
   
−
 4  8 
X − X2

 1   1 
− −
4 16

1 1
   
− −
X − X3
 8   32 
 1   1 
−
8 64

1 1
   
−
 16   128 
X − X4  1   1 
− −
16 256

Méthode de Jacobi Méthode de Gauss-Seidel

kX − X0 k∞ 1 1

1 1
kX − X1 k∞ = 0.5 = 0.5
2 2

1 1
kX − X2 k∞ = 0.25 = 0.125
4 8

1 1
kX − X3 k∞ = 0.125 = 0.03125
8 32

1 1
kX − X4 k∞ = 0.0625 = 0.0078125
16 128

Interpretation : La méthode de Gauss-Seidel converge plus vite que celle de Jacobi car

1 1
ρ(G) = < ρ(J) =
4 2

Page 6
Naouel ZRELLI Résolution des systèmes linéaires

Travail
 à faire
 : Reprendre la matrice A de l'exemple 2 :
3
Soit b =  −2 
3
1. Montrer que la matrice A est inversible et calculer son inverse.

2. En déduire la solution de AX = b.
3. Déterminer les matrices de Jacobi et de Gauss-seidel notées respectivement J et G.

4. Etudier la convergence des deux méthodes itératives (calculer les valeurs propres et les
rayons spectral) et comparer les vitesses de convergence.

5. Calculer les itérées Xk tel que k = 0, . . . 3 pour les deux méthodes itératives et comparer les
résultats.

Page 7