Capitolul 2

SISTEME DETERMINATE DE ECUAII

ALGEBRICE LINIARE
2.1

Metode iterative

2.1.1 Principiul i convergena metodelor iterative

Fie sistemul de ecuaii algebrice liniare:
A x = b, A nn , b n1 ,

(2.1)

n care A este o matrice nesingular.

Metodele iterative se bazeaz pe construcia unui ir de aproximaii ale
[k]
soluiei, x , k = 0,1,... , convergent la soluia adevrat:

lim x

[k]

= x , x

[ 0]

Pentru construcia acestui ir, se consider rescrierea sau descompunerea

matricei A a sistemului sub forma: A = N P , n care N este o matrice
nesingular. De regul, se alege matricea N cu o form simpl. Ecuaia (2.1)
devine:
( N P) x = b N x = P x + b .

(2.2)

irul de aproximaii se construiete cu ajutorul relaiei:

Nx
n care estimaia iniial x

[ k +1]

[ 0]

=Px

[k ]

+ b, k = 0,1,...

(2.3)

este dat (cunoscut). n particular, x [ 0 ] = 0 n .

Din relaia (2.3) rezult:

x

[ k +1]

= N 1 P x

[k ]

+ N 1 b, k = 0,1,... .

(2.4)

Se face urmtoarea notaie:

G = N 1 P, G nn .
Matricea G are valori proprii n general complexe, i (G ) C , care formeaz
mulimea numit spectrul matricei G.

2.

Sisteme determinate de ecuaii algebrice liniare

Definiie:
Se numete raz spectral a matricei G mrimea:
(G ) = max{| i (G ) |} .
1 i n

n cele ce urmeaz, se enun i demonstreaz urmtorul rezultat.

Propoziie:
Condiia necesar i suficient ca irul de soluii aproximative, defint prin
relaia (2.4), s fie convergent ctre soluia adevrat a sistemului de ecuaii
(2.1) este ca matricea G = N 1 P s aib toate valorile proprii n modul
subunitare sau, altfel spus, raza spectral a matricei G s fie subunitar.
Demonstraia pornete de la expresia erorii la iteraia [k], care este:
[k]
[k]
e = x x , k = 0,1,... . Eroarea la pasul [ k + 1 ] este:
e

[ k +1]

=xx

[ k +1]

=x Gx

[k]

N 1 b .

(2.5)

nlocuind n relaia (2.5) expresia vectorului b din relaia (2.2), se obine:

e

[ k +1]

=x Gx

[k]

N 1 ( N x P x ) = G ( x x

[k]

)= Ge

[k]

. (2.6)

Exprimnd eroarea la pasul [k] n funcie de eroarea la pasul [k-1], prin

folosirea repetat a relaiei (2.6), se obine urmtorul rezultat:
e

[ k +1]

= G e

[k]

= G2 e

[ k 1]

= K = G k +1 e

[ 0]

Cum e [ 0 ] 0 n n general, atunci condiia referitoare la limita irului de

aproximaii, prezentat la nceput, este ndeplinit dac i numai dac
lim G k = 0 nn . Aceast condiie este satisfcut dac matricea G are valorile
k

proprii subunitare n modul, altfel spus, dac raz spectral a matricei G este
subunitar.

Observaii:
1. Cu ct raza spectral subunitar a matricei G este mai mic, cu att viteza de
convergen a irului de soluii aproximative (2.4) va fi mai mare.
2. n practic, de multe ori, condiia necesar i suficient prezentat anterior se
verific (nlocuiete) printr-o condiie suficient, dac este posibil, i anume:
dac || G || < 1 atunci (G ) < 1 .
De regul se folosete norma matricial infinit, rezultnd condiia:

2.1

Metode iterative

|| G || = max{ | g i, j |} < 1 .
1i n j=1

Dac aceast ultim condiie este ndeplinit, atunci metoda iterativ este
sigur convergent i nu mai este necesar s se calculeze valorile proprii ale
matricei G de caracterizare a convergenei. Dac, ns, condiia suficient nu
este satisfcut, atunci nu se poate afirma nimic n ceea ce privete
convergena metodei i se recurge la calculul valorilor proprii ale matricei G,
n scopul verificrii condiiei necesare i suficiente.
n continuare se consider urmtoarea descompunere a matrcii A a
sistemului (2.1):
A =L+ D+ U,

n care L este o matrice inferior triunghiular cu diagonala principal nul avnd

elementele de sub diagonala principal egale cu elementele matricei A de
acelai rang, D este o matrice diagonal avnd elementele de pe diagonala
principal egale cu elementele de pe diaonala principal a matricei A, iar U este
o matrice superior triunghiular avnd elementele de deasupra diagonalei
principale egale cu elementele matricei A de acelai rang.
Se mai face presupunerea c elementele diagonalei principale a matricei A
sunt nenule. n caz contrar, se pot face permutri de linii i/sau coloane astfel
nct s fie ndeplinit i aceast condiie.

2.1.2 Metoda Jacobi i metoda Gauss-Seidel

n cazul metodei Jacobi, matricele N i P sunt:
N = D, P = (L + U ) .

(2.7)

Din relaia (2.3), folosind relaia (2.7), rezult:

Dx

[ k +1]

= ( L + U ) x

[k]

+ b, k = 0,1,... .

(2.8)

a i ,i x [i k +1] = a i , j x [jk ] + b i , i = 1,..., n .

(2.9)

Relaia (2.8) se poate scrie pe linii astfel:

n

j=1
j i

Dac elementul a i,i 0 , atunci relaia (2.9) se poate rescrie sub forma:

2.

Sisteme determinate de ecuaii algebrice liniare

x [i k +1] = ( b i / a i ,i ) (a i , j / a i ,i ) x [jk ] , i = 1,..., n .

(2.10)

j=1
j i

Matricea G corespunztoare metodei Jacobi este:

G Jacobi = N 1 P = D 1 ( L + U) = [g i, j ]1i, jn ,
i= j
0,
n care g i , j =
.
a i , j / a i ,i , i j
Condiia suficient care se impune pentru ca metoda Jacobi s fie convergent
este:
n

max{ | g i , j |} = max{ | a i , j / a i ,i |} < 1 .

1 i n j=1

1 i n j=1
j i

(2.11)

n relaia (2.11) fiind implicate doar numere pozitive, dac maximul lor este mai
mic dect 1, atunci toate sunt subunitare:
n

| a i , j / a i ,i | < 1
j=1
j i

| a i ,i |> | a i , j | .

(2.12)

j=1
j i

O matrice care satisface relaia (2.12) se numete matrice diagonal dominant

pe linii.

Propoziie:
Dac matricea A este diagonal dominant pe linii, atunci metoda Jacobi
este convergent, oricare ar fi estimaia iniial a soluiei sistemului de ecuaii
(2.1).
Observaie:
Condiia (2.12) nseamn c i = 1,..., n , j = 1,..., n , i j , | a i , j / a i ,i |< 1 .
Revenind la relaia (2.10), se observ c a i , j / a i ,i sunt coeficienii care
multiplic estimaiile anterioare, deci erorile ce afecteaz aceste estimaii sunt
micorate pe msur ce procesul iterativ avanseaz. Ca urmare, dac matricea A
este diagonal dominant pe linii, atunci procedura este sigur stabil numeric.

Metoda Gauss-Seidel pornete de la descompunerea A = N P n care:

N = L + D, P = U .
Relaia (2.3) se poate rescrie, n acest caz, sub forma:
( L + D) x

[ k +1]

= U x

[k]

+ b, k = 0,1,... .

(2.13)

2.1

Metode iterative

Relaia (2.13) se poate scrie, pe linii, sub forma:

i

j=1

j=i +1

a i , j x [jk +1] = a i, j x [jk ] + b i ,

i = 1,..., n ,

din care rezult, dac a i,i 0 :

i 1

x [i k +1] = (b i / a i ,i ) (a i, j / a i,i ) x [jk +1] +

j=1

(a i, j / a i,i ) x [jk ] ,

i = 1,..., n .

j=i +1

Se poate demonstra c, i n cazul metodei Gauss-Seidel, dac matricea A

este diagonal dominant pe linii, atunci metoda este convergent.
n general, se demonstreaz c ntre raza spectral subunitar a matricei
G Jacobi = D 1 (L + U )
i raza spectral subunitar a matricei
G Gauss Seidel = (L + D) 1 U exist relaia:
2 (G Jacobi ) (G Gauss Seidel ) < 1 .
Rezult, n general, c dac metoda Gauss-Seidel este convergent, atunci
viteza sa de convergen este mai mare dect cea corespunztoare metodei
Jacobi.
Exist situaii n care, pentru ambele metode, razele spectrale sunt
subunitare, dar apropiate de valoarea 1. n acest caz, convergena ambelor
metode este extrem de lent, recomandndu-se ca n descompunerea matricei A
s se utilizeze unul sau mai muli parametri de accelerare a convergenei.

2.1.3 Metoda relaxrilor succesive - tem

Se pornete de la descompunerea matricei A corespunztoare metodei
Gauss-Seidel. Relaia (2.13) se poate scrie sub forma:
[ k +1]
[k]
x
= (L + D) 1 U x + (L + D) 1 b, k = 0,1,... .
n acest relaie, n membrul drept se adun i se scade cantitatea x

innd cont de faptul c I n = (L + D)

x

[ k +1]

=x

[k]
[k]

(L + D)

1
1

(L + D) rezult:

[U x

[k ]

+ ( L + D) x

[k]

= x (L + D) [A x b]
Se face urmtoarea notaie:
[k ]
[k]
r =bAx ,
[k]

n care r se numete reziduu corespunztor iteraiei [k].

n acest caz, se poate scrie:

[k]

b]

[k]

2.

Sisteme determinate de ecuaii algebrice liniare

[ k +1]

=x

[k]

+ (L + D) 1 r

[k ]

(2.14)

Se transform relaia (2.14), nmulind termenul care conine reziduul cu un

parametru de accelerare a convergenei:
x

[ k +1]

=x

[k]

+ (L + D) 1 r

[k ]

(2.15)

Al doilea termen din suma exprimat n relaia (2.15) poate fi interpretat ca

un factor de corecie pentru estimaia de la iteraia [k]. Astfel, soluia de la
iteraia [ k + 1 ] se obine prin corectarea soluiei de la iteraia anterioar [k],
[k]
corecia realizndu-se n funcie de reziduul r .
Relaia (2.15) se poate rescrie sub forma:
x

[ k +1]

=x

[k ]

(L + D) 1 (L + D) x

+ [(L + D) 1 U x

[k]

[k ]

(2.16)

+ (L + D) 1 b]

Paranteza dreptunghiular pune n eviden aproximaia la iteraia [ k + 1 ],

obinut prin metoda Gauss-Seidel. Relaia (2.16) devine:
x

[ k +1]

= (1 ) x

[k ]

[ k +1]

+ x Gauss Seidel .

(2.17)

Se demonstreaz c irul de aproximaii obinut cu ajutorul relaiei de recuren

(2.17) este convergent pentru (0,2) . Dac (0,1) metoda se numete a
subrelaxrilor succesive, iar dac (1,2) ea se numete a suprarelaxrilor
succesive. Dac = 1 , se obine metoda Gauss-Seidel.
n general, dac metoda este convergent, atunci numrul de iteraii ca
funcie de parametrul atinge un punct de minim corespunztor unei valori
optim (a se vedea Figura 2.3). Se poate arta c optim i optim au aproximativ
valorile:
optim

2
1 + 1 2Jacobi

; optim

Jacobi
1 + 1 2Jacobi

Gauss Seidel

2
optim

n practic, la nivelul fiecrei componente, se pot folosi relaiile de calcul

(2.17):
i 1

x [i k +1] = (1 ) x [i k ] + [(b i a i, j x [jk +1]

j=1

a i, j x [jk ] ) / a i ,i ] .

j=i +1

Relaiile prezentate corespund unei descompuneri a matricei A care depinde

de parametrul , i anume:
A x = b;
A x = b A = N () P ()
n care N () = L + D i P() = (1 ) D U .

2.1

Metode iterative

numar iteratii

numar minim
iteratii

optim

Fig. 2.3 Metoda suprarelaxrii succesive

Tema: S se realizeze scriptul MATLAB care studiaz performanele metodei

relaxrilor succesive (numrul de iteraii) n raport cu valorile parametrului de
accelerare din intervaulu [1,2] (obinerea figurii 2.3). Prin program se vor
verifica si relaiile de calcul pentru optim i optim .

2.

Sisteme determinate de ecuaii algebrice liniare

Capitolul 3
REZOLVAREA SISTEMELOR DE ECUAII
ALGEBRICE LINIARE N SENSUL CELOR MAI
MICI PTRATE
3.1

Formularea problemei

Se consider sistemul cu m ecuaii algebrice liniare cu n necunoscute:

A x = b, A mn , b m1 , x n1 .

(3.1)

Problema general de calcul este determinarea unei soluii x care s satisfac la

relaia (3.1).
Dac m > n , atunci se spune c sistemul de ecuaii este supradeterminat, iar
dac m < n , atunci se spune c sistemul de ecuaii este subdeterminat.
n cele ce urmeaz, discuia se refer la sisteme supradeterminate de ecuaii.
n final, este tratat i cazul sistemelor subdeterminate de ecuaii algebrice
liniare.

Exemplul 3.1:
Se reia Exemplul 2.1 referitor la identificarea modelului de regim staionar
al unui proces dinamic. De aceast dat, funcia care descrie comportarea
procesului este:
p

p 1

y = f (u 1 , K , u p ) = c 0 + c i u i +
i =1

c i, j u i u j + c i,i u i2 .

i =1 j=i +1

i =1

Pentru intrrile i ieirea procesului se consider m valori experimentale

prezentate n tabelul urmtor:
nr. experiment

u1

up

a11

a1p

b1

am1

amp

bm

n continuare se realizeaz urmtoarele notaii:

3.1

Formularea problemei

b = [b1 K b m ] T ;

x = [c 0 K c p

c1, 2 K c1,p

1 a 11 K a 1p

A = M M O M
1 a m1 K a mp

c 2,3 K c 2,p K c p 1, p

a 11 a 12

a 1,p 1 a 1,p

2
a 11

a m1 a m 2

K a m ,p 1 a m , p

a m2 1

c1,1 K c p, p ]T
K a 12p

O M ,
K a 2mp

unde se numesc: A matricea de date, vectorul b - vectorul msurtorilor

(observaiilor) care, n general, este afectat de eroare i x - vectorul
coeficienilor care trebuie determinat. Rezult aadar o problem de tipul (3.1),
numrul de necunoscute fiind, n acest caz, n = 1 + p + p (p 1) / 2 + p .
Se rescrie matricea de date A, din ecuaia (3.1), sub o alt form punnd n
eviden vectorii coloan ai si:
A = [a 1 K a j K a n ], a j m1 , j = 1, K n .

Definiii:
Matricea A mn se spune c are coloanele liniar independente sau c
este monic, dac vectorii colan ai si sunt liniar independeni:
n

j a j = 0m
j=1

j = 0, j = 1, K , n .

Se numete subspaiu imagine al matricei A, notat cu Im(A), mulimea:

Im(A) = {y m1 / y = A x, x n1 } m1 .
Se numete subspaiu nul (nucleu) al matricei A i se noteaz cu nul(A) sau
N(A), mulimea:
N ( A ) = {x n1 / A x = 0 m } n1 .
Pornind de la aceste definiii, se poate scrie urmtoarea relaie:
dim( N (A )) + rang(A ) = n ,
unde dim(.) reprezint dimensiunea spaiului implicat, iar rang(.) semnific
rangul matricei considerate.

Propoziie:
Pentru orice matrice A mn , m > n , urmtoarele afirmaii sunt
echivalente:
i.)
A este o matrice monic;
ii.)
rang(A ) = n ;
N(A) = {0 n } ;
iii.)

10

iv.)

2.

Sisteme determinate de ecuaii algebrice liniare

matricea A T A este pozitiv definit, deci inversabil (nesingular).

Concluzia care se desprinde este aceea c problema (3.1) va avea o soluie

unic dac vectorul b 0 m aparine subspaiului imagine al matricei A,
b Im( A ) , sau, altfel spus, vectorul b este o combinaie liniar a coloanelor
matricei A, acesta n ipoteza c rang(A ) = n .

Este posibil, ns, ca vectorul b s fie (uor) perturbat, deci s nu mai

aparin subspaiului imagine al matricei A. i n astfel de cazuri se dorete
determinarea unei soluii pentru problema de calcul (3.1). De aceea, pentru
rezolvarea n orice condiii a problemei (3.1), este nevoie de un criteriu pentru
determinarea unei soluii unice. Principiul folosit este minimizarea unei funcii
criteriu de tipul:
V ( x ) =|| b A x || .

(3.2)

Astfel, se consider c vectorul x este o pseudosoluie a problemei (3.1) dac

acesta minimizeaz funcia criteriu dat de relaia (3.2):
*

V ( x ) = minim.
Mrimea b A x se noteaz cu r i se numete reziduu asociat vectorului x .
Pentru funcia criteriu aleas, cele mai utilizate sunt normele 1, infinit i
norma euclidian. n funcie de norma folosit, va rezulta o pseudosoluie
diferit.
Problema determinrii unei pseudosoluii care minimizeaz criteriul dat prin
relaia (3.2) este n fond o problem de optimizare. Astfel, pentru o funcie
criteriu scalar, minimul se obine pentru acel argument care anuleaz derivata
de ordinul nti a funciei (criteriu), iar derivata de ordinul al doilea este
pozitiv.
n cazul de fa, argumentul fiind un vector, se vor lua n discuie gradientul
i hesianul funciei criteriu V , n raport cu argumentul su x , i anume:
T

V ( x )
V ( x )
n1
K
gradient: x {V ( x )} =
,
x n
x 1
not

hesian: x x {V ( x )} = x {V ( x )} = x { Tx {V ( x )}} nn .
Din cele enunate, rezult condiia esenial ca funcia criteriu V s fie
difereniabil n raport cu vectorul x . Astfel, dac se folosete norma 1 sau
infinit n definirea funciei criteriu, atunci aceasta nu satisface condiia de
difereniabilitate, deoarece normele respective se exprim n raport cu funcia
modul, la rndul ei nedifereniabil:

3.1

Formularea problemei

11

V1 ( x ) = | ri | , V ( x ) = max{| ri |} , ri = b i ( A x ) i , i = 1, K , m .
1i n

i =1

Ca urmare, se folosete norma 2 (euclidian), rezultnd urmtoarea funcie

criteriu de minimizat:
V( x ) =

1
1
1 T
1 m
|| b A x || 22 = || r || 22 = r r = ri2 .
2
2
2
2 i =1

(3.3)
*

Ca urmare, problema de calcul este determinarea unei pseudosoluii x a

sistemului (3.1), care s aib proprietatea:
*

|| b A x || 22 = min
{|| b A x || 22 } .
n 1

(3.4)

Pseudosoluia care ndeplinete condiia (3.4) se numete pseudosoluie n

sensul celor mai mici ptrate, deoarece ea determin producerea unui reziduu
cu norma euclidian minim. Cu alte cuvinte, se minimizeaz suma ptratelor
componentelor reziduului sau suma ptratelor diferenelor dintre observaiile b i
i estimaiile ( A x ) i .
*

Determinarea vectorului x care minimizeaz funcia criteriu V ( x ) implic

satisfacerea urmtoarelor condiii:
*

x {V( x )} = 0 n i x {V( x )} > 0 .

(3.5)

n continuare se folosesc urmtoarele rezultate. Considernd matricea

C n m i vectorii w n1 , z m1 , atunci se poate scrie relaia:
T

w {w C z} = C z .

(3.6)

Considernd matricea C nn i vectorul w n1 , atunci se poate scrie

relaia:
T

w {w C w} = (C + C T ) w .

(3.7)

Ca urmare, condiiile de minim (3.5) se rescriu, folosind relaiile (3.6) i

(3.7), sub forma:
x {V( x )} = (1 / 2) 2 (A T A x A T b) = 0 n
x {V ( x )} = (1 / 2) 2 (A T A ) > 0

Din relaiile (3.8) rezult:

A T A x = A T b i A T A - matrice pozitiv definit.

(3.8)

12

2.

Sisteme determinate de ecuaii algebrice liniare

Definiie:
Sistemul de ecuaii algebrice liniare:
AT A x = AT b

(3.9)

se numete sistem de ecuaii normale asociat problemei (3.1).

Sistemul (3.9) este un sistem determinat, de ordinul n. n cele ce urmeaz se
enun i se demonstreaz urmtorul rezultat.

Teorem de existen i unicitate:

Dac matricea A mn , m > n , este monic, atunci oricare ar fi vectorul
*

b m1 exist i este unic o pseudosoluie x n1 a sistemului (3.1),

numit i soluie generalizat n sensul celor mai mici ptrate. Aceasta se scrie
sub forma:
*
x = A+ b ,

unde matricea A + nm este numit pseudoinvers sau invers generalizat

i este teoretic egal cu:
A + = ( A T A ) 1 A T .
Demonstraia (nu intra pentru examen) teoremei se bazeaz pe propoziia
precedent i cele enunate anterior, materializate n relaiile (3.8). n plus,
pentru suportul intuitiv, se poate apela la reprezentarea geometric din Figura
3.1.

r =bAx

r =bAx

Im(A)

y=Ax

y =Ax

Im(A)

Fig. 3.1. Interpretarea geometric a soluiei n sensul celor mai mici ptrate
(lema proieciei ortogonale)

3.1

Formularea problemei

13

Astfel, conform Lemei proieciei ortogonale, reziduul asociat pseudosoluiei

*
*
x , r = b A x , trebuie s fie ortogonal pe subspaiul Im(A) pentru ca el s
fie de norm euclidian minim. Aceasta conduce la relaia:
*

(A x ) T r = 0, x n1 ,
ceea ce implic:
T

x A T (b A x ) = 0, x n1 .
De aici rezult:
*

( A T A) x = A T b ,
ceea ce pune n eviden existena soluiei n sensul celor mai mici ptrate, x
.

Observaie:
Conform celor prezentate n capitolul 2, pentru sistemul determinat de
*
ecuaii normale (3.9), pseudosoluia x este unic determinat dac matricea
acestui sistem, A T A , este inversabil. Aceast condiie este ndeplinit dac
matricea A T A este pozitiv definit.
n practic, ns, nu se recomand rezolvarea sistemului de ecuaii normale
(3.9) deoarece matricea A T A , dei teoretic este pozitiv definit, prin calcul,
datorit erorilor de rotunjire, ea poate deveni pozitiv semidefinit, deci
neinversabil. Astfel, n general, matricea A T A este prost condiionat
deoarece calculul su este afectat de erori de rotunjire deseori cu caracter
catastrofal.

Exemplul 3.2:
Fie o matrice A de forma:
1 1 +
A = 1 1 , cu 2 < m < , fl(1 + m ) > 1 , fl(1 + 2 ) = 1 .
1 1

Matricea A are, evident, coloanele liniar independente, la precizia mainii m .

n schimb, efectund calculele n virgul mobil, matricea fl(A T A) nu este
pozitiv definit, ci pozitiv semidefinit, deci neinversabil:

14

2.

Sisteme determinate de ecuaii algebrice liniare

3+
3+

3
3
, fl(A T A) =
AT A =
.
2
3 + 3 + 2 +
3 + 3 + 2
T

Exist un vector x = [1 1]T [0 0] T , astfel nct fl( x A T A x ) = 0 .

Calculul numeric automat pentru rezolvarea problemei (3.1), n sensul celor
mai mici ptrate, folosete alte proceduri care sunt descrise n continuare. Ele
apeleaz la triangularizarea ortogonal a matricei sistemului (3.1).