Capitolul 5

DESCOMPUNEREA VALORILOR SINGULARE

5.1 Formularea problemei

Se consider o matrice A mn i fie p = min{m, n} . Se noteaz cu r

rangul matricei A. Acesta satisface la relaia: r p . Dac r < p , se spune c
matricea este deficient de rang, iar dac r = p , atunci se spune c matricea
este de rang complet.
Teorem:
~
Oricare ar fi matricea A mn , exist dou matrice ortogonale U mm
~
i V nn , astfel nct:
~ ~ ~ ~
U T A V = sau A = U V T , (5.1)
unde mn este o matrice pseudo-diagonal, elementele nenule ale acesteia
satisfcnd relaia:
= diag{1 , , p }, 1 2 p 0 . (5.2)

Definiie:
Numerele 1 , , p + (relaiile (5.1) i (5.2)) se numesc valori singulare
ale matricei A. Matricea mn (relaia (5.1)) se numete forma canonic
pseudodiagonal a matricei A. A doua expresie din (5.1) se numete
descompunerea valorilor singulare a matricei A..
Demonstraia teoremei constituie nsui algoritmul de descompunere a
valorilor singulare care va fi prezentat ntr-un subcapitol urmtor.
Teorema arat c orice matrice este ortogonal echivalent bilateral cu o
matrice pseudodiagonal. Detaliind structura matricei mn , pot apare
urmtoarele situaii:
a.) m n i rang(A) = r = p = n . n acest caz, matricea are structura:
138 5. Descompunerea valorilor singulare

1

= , 1 = diag{1 , , n } ,
0 ( m n )n

iar dac rang( A ) = r < p , atunci matricea are forma:
1 0 r ( n r )
r r
= , 1 , 1 = diag{1 , , r } ;
0 ( m r )r 0 ( m r )( n r )

b.) m < n i rang(A) = r = p = m . n acest caz, matricea are structura:

= [ 1 0 m( n m ) ], 1 = diag{1 , , m } ,

iar dac rang( A ) = r < p , atunci matricea are forma:

1 0 r ( n r )
r r
= , 1 , 1 = diag{1 , , r } .
0 ( m r )r 0 ( m r )( n r )

n general, valorile singulare pot fi dispuse n ordine descresctoare pe
diagonala principal a formei canonice pseudodiagonale, satisfcnd relaia:
1 2 r > 0, r +1 = = p = 0 .
Din cele prezentate, rezult c rangul matricei A este egal cu rangul matricei
mn , care este egal cu r. Altfel spus, rangul acestor matrice este egal cu
numrul valorilor singulare nenule.
Relaia (5.1) se poate scrie i sub forma:
~ ~
AV = U. (5.3)
~
Notnd cu ~ v i vectorii coloan ai matricei V i cu ~ u i vectorii coloan ai
~
matricei U , atunci relaia (5.3) se mai poate scrie sub forma:
A~
v i = i ~
ui ~
u i A = i ~
T T
v i , i = 1,..., p .

Definiie:
~
Coloanele matricei V se numesc vectori singulari la dreapta ai matricei A,
~
iar coloanele matricei U se numesc vectori singulari la stnga ai matricei A.
n cele ce urmeaz se enun o serie de proprieti ale valorilor singulare:
P1. valorile singulare ale matricei A sunt egale cu rdcina ptratic pozitiv
a valorilor proprii ale matricei A T A :
5.1 Formularea problemei 139

i (A) = + i ( A T A) , i = 1,..., n ;
P2. dac A nn este o matrice simetric i pozitiv semidefinit, atunci
valorile proprii ale matricei A sunt reale, pozitive, iar valorile singulare
ale matricei A sunt egale cu valorile ei proprii:
i ( A ) = i ( A ), i = 1,..., n .
Vectorii proprii ai matricei A sunt, n acest caz, egali cu vectorii singulari
la dreapta ai matricei A:
x i ( A) = ~v i (A), i = 1,..., n ;
P3. descompunerea valorilor singulare are urmtoarea interpretare
geometric: valorile singulare ale unei matrice A sunt excat semiaxele
unui hiperelipsoid definit de:
E = {A x , || x || 2 = 1} .

Exemplul 5.1:
Se consider A 22 . Mulimea punctelor aflate pe cercul de raz
egal cu 1 (care reprezint mulimea vectorilor din 21 cu norma
euclidian egal cu 1) este transformat n mulimea punctelor aflate pe o
elips ale crei semiaxe sunt egale cu valorile singulare ale operatorului
matricial A, care realizeaz proiecia (a se vedea Figura 5.1). Punctele de
pe elips reprezint mulimea vectorilor din 21 descrii de relaia
y = A x, || x || 2 = 1 .

x2 y2

y = Ax
1
x1 2 y1

||x||2 = 1
E = {Ax / ||x||2 = 1

Fig. 5.1. Interpretarea geometric a valorilor singulare ale unei matrice

~ ~
P4. scriind matricele U i V sub forma:
~ ~ ~
U = [~
u1 ~
ur ~
u r +1 ~
u m ] = [U1 U2 ] ,
~ ~ ~ ~v ~ ~ ~
V = [v
1 vr r +1 v ] = [V
n 1 V2 ] ,
atunci relaia (5.1) mai poate fi scris sub forma:
140 5. Descompunerea valorilor singulare

~
1 0 r( n r ) V1T
~ ~ ~ ~
A = U V T = [U1 U2 ] . (5.4)
~
0 ( m r )r
0 ( m r )( n r ) V2T
Efectund calculele, relaia (5.4) devine:
~ ~ r
A = U 1 V1T = i ~ ui ~
T
vi ;
i =1
~
P5. primele r coloane ale matricei U , unde r = rang(A ) , formeaz o baz
ortogonal pentru subspaiul imagine al matricei A:
Im(A) = {y / y = A x , x n1 },
r r .
y = Ax = ~
u i ( i ~
v i x) = i ~
T
ui
i =1 i =1
~
P6. ultimele n r coloane ale matricei V formeaz o baz ortogonal
pentru subspaiul nul al matricei A:
N ( A ) = {x / A x = 0 m , x n1 } ,
~ ~ ~ ~ ~ ~
A V = U A [V1 V2 ] = [ U 1 U2 ] .
~ ~ ~
A V1 = U1 1 , A V2 = 0 m( n r )
Din relaiile scrise mai sus i formele pe care le poate lua matricea ,
~
rezult c ultimele n r coloane ale matricei V pot constitui o baz
pentru N(A) . Subspaiul nul astfel determinat conine doar vectorul 0 n
numai dac matricea A este de rang complet i m > n .

5.2 Norma matricial euclidian i numrul de condiie

Norma euclidian a unei matrice A mn este definit ca fiind:

|| A x || 2
|| A || 2 = max ,
x || x || 2
n 1
x 0n

iar numrul de condiie al matricei A, folosind norma euclidian, este:

|| A x || 2 || A x || 2
k 2 (A) = max / min .
x || x || 2 x || x || 2
n 1 n 1
x 0 n x 0 n

innd cont de relaia (5.1), norma euclidian a vectorului A x este:

5.2 Norma matricial euclidian i numrul de condiie 141

~ ~ ~ ~
|| A x || 2 =|| U V T x || 2 =|| U y || 2 =|| U z || 2 , (5.5)
~
n care s-a notat cu y produsul V T x i cu z produsul y . innd cont de
~
faptul c U este o matrice ortogonal, atunci relaia (5.5) devine:
~
|| A x || 2 =|| U z || 2 =|| z || 2 =|| y || 2 . (5.6)
~
Pe de alt parte, innd cont de faptul c V este o matrice ortogonal, norma
euclidian a vectorului x este egal cu:
~
|| x || 2 =|| V T x || 2 =|| y || 2 . (5.7)

Cum = diag{1 , , p } , atunci relaia (5.6) devine:

|| A x || 2 =|| y || 2 = 12 y12 + + 2p y 2p . (5.8)

innd cont de relaia 1 2 p 0 , se definesc mrimile:

max = 1 i min = p . Ca urmare, minornd i majornd expresia (5.8), se
obine:
p || y || 2 12 y12 + + 2p y 2p 1 || y || 2 . (5.9)

Folosind relaiile (5.7) i (5.9), precum i relaiile de definiie pentru norma

matricial euclidian i pentru numrul de condiie al unei matrice, se obin
expresiile:
x 0 n || x || 2 0 min = p || A x || 2 / || x || 2 1 = max ,
|| A || 2 = 1 = max i k 2 (A ) = 1 / p = max / min .
tiind c sunt ndeplinite relaiile:
k 2 (A) =|| A || 2 || A 1 || 2 , || A || 2 = 1 , k 2 (A) = 1 / p ,
atunci se poate calcula norma euclidian a matricei A 1 astfel:
1 1
|| A 1 || 2 = = .
p min
Studiile efectuate au artat c norma euclidian matricial reprezint cea mai
mic valoare dintre toate normele matriciale uzuale. Pe de alt parte, abordrile
care calculeaz numrul de condiie al unei matrice se bazeaz pe determinarea
unui estimant al cantitii || A 1 || 2 i, astfel, ansa de eroare n estimarea
numrului de condiie este mai mare. Abordarea bazat pe descompunerea
valorilor singulare furnizeaz, din acest punct de vedere, cel mai sigur rezultat
referitor la numrul de condiie al unei matrice, valorile max i min rezultnd
direct din calculul numeric al descompunerii.
142 5. Descompunerea valorilor singulare

n plus, dac rang( A ) = r < p , unde p = min{m, n} , atunci p = 0 i rezult

k 2 ( A ) = , ceea ce nseamn c matricea A este o prost condiionat
(deficient de rang).
Alt rezultat se refer la norma Forbenius a unei matrice A, definit ca fiind:
m n
|| A || F = a ij2 .
i =1 j=1

~ ~
Matricele U i V fiind matrice ortogonale, acestea pstreaz norma Frobenius
i atunci:
~ ~
|| A || F =|| U A V T || F = 12 + + 2p .

5.3 Algoritmul SVD

Algoritmul SVD (SVD este abrevierea consacrat din limba englez de la
Singular Value Decomposition; n traducere: descompunerea valorilor
singulare) const n construirea unui ir de matrice ortogonal echivalente
bilateral, ir convergent ctre forma canonic pseudo-diagonal a unei
matrice.
Se consider matricea A mn . Algoritmul SVD se bazeaz pe faptul c:

i (A) = + i (A T A) ,

cum s-a prezentat n subcapitolul 5.1. ns nu se calculeaz matricea A T A i

apoi valorile ei proprii, deoarece procesul de calcul ar putea fi afectat de erori
de rotunjire care s depeasc limite acceptabile, att timp ct matricea A T A
este prost condiionat, n general.
Principiul de calcul este de a aplica mascat, anume direct asupra matricei
A, algoritmul QR pentru obinerea formei canonice Schur a matricei
B = A T A . Altfel spus, se aplic matricei iniiale A, transformrile
corespunztoare celor care s-ar aplica matricei B n cadrul algoritmului QR de
aducere la forma canonic Schur. Masca este dat de corespondena:
A B = A T A, B = B T , B n n .

n cele ce urmeaz, fr a restrnge generalitatea, se face presupunerea c

m > n . Algoritmul comport dou faze, dup cum este descris n continuare.
Faza I-a este una pregtitoare, de aducere a matricei A la forma superior
bidiagonal, cum este prezentat principial n Figura 5.2.
5.3 Algoritmul SVD 143

L1
0
Lk
Ln-2
A= J=
0

c1 ck cn

Fig. 5.2. Algoritmul descompunerii valorilor singulare: faza I-a

n aceast faz, se folosesc reflectori Householder, att pentru coloane ct i

pe linii. Reflectorii care acioneaz pe coloane au rolul de a anula elementele
situate sub diagonala principal a matricei A, iar cei care acioneaz pe linii au
rolul de a zeroriza elementele aflate deasupra primei supradiagonale:
U k mm , k = 1,..., n sunt reflectori de ordin m i indice k care
acioneaz pe coloane;
Vk +1 nn , k = 1,..., n 2 sunt reflectori de ordin n i indice k + 1
care acioneaz pe linii.
Tabloul general al transformrilor aplicate matricei A este urmtorul :
U n U k U 1 A V2 Vk +1 Vn 1 = J .
Facnd urmtoarele notaii:
U = U n U k U 1 , V = V2 Vk +1 Vn 1 ,
se obine:
UAV = J. (5.10)
Observaie:
Dac s-ar fi aplicat algoritmul QR, de aducere la forma canonic Schur,
asupra matricei B = A T A , matrice care teoretic este simetric, atunci dup
prima faz de lucru s-ar fi obinut:
U n 1 U 2 B U 2 U n 1 = H ,

unde H este forma superior Hessenberg corespunztoare matricei B. n acest

caz, matricea H rezult o matrice tridiagonal, ntre ea i matricea J obinut la
finalul primei faze a algoritmului SVD putnd fi scris relaia:
H = JT J .
144 5. Descompunerea valorilor singulare

Faza a II-a const ntr-o procedur iterativ, de construcie a unui ir de

matrice ortogonal echivalente bilateral, convergent ctre forma canonic
pseudo-diagonal a matricei A. n cadrul acestei faze, se urmrete zerorizarea
elementelor de pe prima supradiagonal a formei superior bidiagonale J,
obinut la sfritul primei faze de lucru, aa cum este prezentat principial n
Figura 5.3.

0 0
J= = 0
0
0
Fig. 5.3. Algoritmul descompunerii valorilor singulare: faza a II-a

Astfel, se regsesc cele apte etape de la algoritmul QR cu deplasare

explicit, algoritm prezentat n cadrul capitolului 4, dup cum urmeaz.
Etapa 1 const n determinarea deplasrii . n cadrul algoritmului QR de
aducere la forma canonic Schur, transformrile ortogonale de asemnare s-ar fi
aplicat, n cadrul fazei a doua, asupra matricei H, iar deplasarea s-ar fi ales de
forma: = h n ,n . n cazul de fa, H = J T J i atunci se alege:
= h n , n = j 2n 1,n + j n2 , n , J = [ ji ,k ]1i m .
1 k n

n cadrul etapei 2, se scade deplasarea din elementele de pe diagonala

principal a matricei J, cu scopul mririi vitezei de convergen a algoritmului:
atribuie ji ,i ji,i , i = 1,..., n .

Etapele 3 i 4 urmresc zerorizarea elementelor supradiagonalei matricei J

rezultate: ji ,i +1 = 0, i = 1,..., n 1 . Pentru aceasta se folosesc matrice de rotaie
plan Givens, similar algoritmului QR pentru calculul formei canonice Schur.
Principial, au loc transformrile:

j i ,i ji,i +1 Pi ji' ,i 0 i ( JPi )

j"i,i j"i,i +1
J
' R .
0 ji +1,i +1 ji +1,i ji' +1,i +1 0 "
ji +1,i +1

Matricea Pi este o matrice de rotaie plan Givens de forma:

5.3 Algoritmul SVD 145

I i 1 0 (i 1)1 0 (i 1)1 0 (i 1)( n i 1)

01(i 1) ci di 01( n i 1)
Pi = nn ,
01(i 1) di ci 01( n i 1)


0 ( n i 1)(i 1) 0 ( n i 1)1 0 ( n i 1)1 I n i 1

c i = jii / jii2 + ji2,i +1 , d i = ji ,i +1 / jii2 + ji2,i +1 .

Matricea R i este o matrice de rotaie plan Givens de forma:

I i 1 0 (i 1)1 0 (i 1)1 0 (i 1)( m i 1)

01(i 1) ai bi 01( m i 1)
Ri = m m ,
01(i 1) bi ai 01( m i 1)


0 ( m i 1)(i 1) 0 ( m i 1)1 0 ( m i 1)1 I m i 1

a i = ji' ,i / ( jii' ) 2 + ( ji' ,i +1 ) 2 , b i = ji' ,i +1 / ( jii' ) 2 + ( ji' ,i +1 ) 2 .

n final se obine | j"i ,i +1 |<| ji ,i +1 | . Aceasta nseamn c, n urma transformrilor

aplicate n cadrul unei iteraii a alogoritmului, nu se zerorizeaz elementul de pe
supradiagonal, dar se obine o valoare mai mic n modul dect a fost anterior.
Aceasta se obine deoarece forma superior Hessenberg este invariant la
algoritmul QR de obinere a formei canonice Schur.
n cadrul etapei 5 se reface deplasarea pe diagonala principal a matricei
J, pentru a nu altera forma canonic pseudo-diagonal:
atribuie ji ,i ji,i + , i = 1,..., n .

Etapa 6 const n corecia elementelor de pe supradiagonal. Aceste

elemente se micoreaz n modul dup parcurgerea etapelor 2 i 3 i este posibil
ns, datorit erorilor de rotunjire, ca ele s nu rezulte nule ci foarte mici n
modul. Ca urmare, se aplic urmtorul test:
dac | j"i ,i +1 |< (| j"i ,i | + | j"i +1,i +1 |) atunci
atribuie j"i ,i +1 0

146 5. Descompunerea valorilor singulare

Parametrul caracterizeaz precizia descompunerii.

n cadrul etapei 7 se realizeaz un test asupra matricei J pentru a vedea dac
aceasta este n forma canonic pseudo-diagonal:
dac ( i {1,..., n 1} pentru care ji,i +1 0 ) atunci
* J nu este n forma canonic pseudo-diagonal
* reluare de la Etapa 1
altfel
atribuie J
* stop algoritm

Tabloul general al transformrilor efectuate n faza a II-a este:
[R [n]1 R 1[ ] ] [R [n1] 1 R 1[1] ] J [P1[1] Pn[1]1 ] [P1[ ] Pn[ 1] ] = .
n relaia anterioar, [] reprezint numrul iteraiei n care s-a obinut forma
canonic pseudo-diagonal, cu precizia . Notnd cu R produsul de matrice
care nmulete la stnga matricea J i cu P produsul de matrice care nmulete
la dreapta matricea J, se obine: R J P = .
~ ~
Cele dou matrice, U i V , se obin multiplicnd matricele de transformare
care se aplic asupra matricei iniiale A, n cele dou faze ale algoritmului SVD:
R UAVP = . (5.11)
~ ~
Matricele U i V sunt urmtoarele:
~ ~
U T = R U i V = V P ,
i atunci relaia (5.11) se scrie:
~ ~
UT A V = .
Ordonarea descresctoare a elementelor de pe pseudo-diagonala matricei
se realizeaz prin permutri adecvate de linii i coloane. Astfel, permutrile de
~
coloane n matricea vor determina permutri de coloane n matricea V .
Permutrile de linii n matricea vor determina permutri de linii n matricea
~ ~
U T sau, altfel spus, permutri de coloane n matricea U .

5.4 Aplicaii ale descompunerii valorilor singulare

Fie matricea A mn i fie q = min{m, n} , r = rang(A ) . Rezultatul

algoritmului de descompunere a valorilor singulare (SVD) este aducerea
matricei A la forma canonic pseudo-diagonal. n urma calculelor efectuate,
5.4 Aplicaii ale descompunerii valorilor singulare 147

rezult matricea ca fiind un aproximant pentru forma canonic pseudo-

diagonal exact a matricei A: .
Se demonstreaz c, n urma aplicrii algoritmului SVD, valorile singulare
calculate i , i = 1,..., q i valorile singulare exacte i , i = 1,..., q sunt n relaia:
| i i |< ' . Mrimea ' reflect erorile de reprezentare ale datelor iniiale
(matricea A), precum i erorile de calcul n virgul mobil. Aceast mrime
poate fi calculat ca o funcie de dimensiunea matricei A i de precizia m a
mainii.
Studiile referitoare la precizia matricei calculate, , au condus la concluzia
c aceast matrice coincide cu forma canonic pseudo-diagonal exact a
matricei A uor perturbat, A = A + E :
A A + E , || E || 2 <<|| A || 2 .

Ca urmare, datorit transformrilor ortogonale folosite, valorile singulare

obinute sunt puin sensibile la perturbaii. Altfel spus, valorile singulare sunt
bine condiionate n raport cu perturbaiile care afecteaz matricea A, anume
erorile de reprezentare i erorile datorate calculului n virgul mobil.
Principalele aplicaii ale descompunerii valorilor singulare sunt:
a) calculul rangului unei matrice;
b) rezolvarea sistemelor de ecuaii algebrice liniare n sensul celor mai mici
ptrate generalizate;
c) rezolvarea sistemelor de ecuaii algebrice liniare n sensul celor mai mici
ptrate totale.
Acestea vor fi prezentate n cele ce urmeaz.

5.4.1 Calculul rangului unei matrice

n urma aplicrii algoritmului SVD asupra matricei A, se obin valorile

singulare ale acesteia: 1 2 q 0 .

Definiie:
Se numete rang efectiv sau numeric, notat cu p , al matricei A, acel index
pentru care are loc relaia de ordine:
p p +1
' > , (5.12)
1 1
ceea ce este echivalent cu:
148 5. Descompunerea valorilor singulare

p 1 ' > p +1 . (5.13)

Bibliotecile performante de programe consider mrimea ' ca fiind egal cu:

' = max{m, n} m , unde m reprezint precizia mainii de calcul.
Mrimea 1 ' se noteaz cu . Rezult, aadar:

= 1 ' = max{m, n} m 1 .

Folosind relaia (5.13), rezult urmtoarea relaie de ordine:

1 p > p +1 q 0 .

Ca urmare, se consider indexul p drept rang efectiv al matricei A, valorile

i 0, i = 1,..., p drept valori singulare nenule i i = 0, i = p + 1,..., q drept
valori singulare nule. n acest fel, se corecteaz eventualele erori de
reprezentare i de calcul n virgul mobil. n consecin, norma euclidian a
matricei A este:
|| A || 2 = max = 1 ,
iar numrul de condiie este:
k 2 (A ) = max / min = 1 / q .
Astfel, dac p = q , numrul de condiie este finit, iar dac p < q , atunci
numrul de condiie este infinit. n acest din urm caz, matricea A este o matrice
prost condiionat.
Aplicaie:
Se subliniaz faptul c modalitatea prezentat pentru determinarea rangului
unei matrice reprezint singurul procedeu sigur i eficient pentru calculul
automat al acestei mrimi. Aceast problem are o deosebit importan n
analiza i sinteza sistemelor automate, atunci cnd sunt investigate proprietile
structurale de controlabilitate i observabilitate, pentru procese dinamice
descrise prin modele bazate pe sisteme de ecuaii difereniale ordinare, cu
condiii iniiale. Principial, aceste modele sunt introduse n capitolul 8 al acestei
lucrri.
Fr a intra n detalii care nu constituie obiectul crii de fa, doar se
menioneaz aceast aplicaie. Astfel, investigarea proprietilor structurale
menionate anterior necesit construirea unor matrice cu structur special,
urmat de ctre calculul rangului efectiv al acestora. n acest sens, se recomand
abordarea problemei propuse P5.9 aflat la finele acestui capitol.
5.4 Aplicaii ale descompunerii valorilor singulare 149

5.4.2 Rezolvarea sistemelor de ecuaii algebrice liniare n sensul

celor mai mici ptrate generalizate

Fie sistemul de ecuaii:

A x = b, A mn , b m1 , x n1 , (5.14)
n care vectorul x trebuie determinat, cunoscnd matricea sistemului A i
termenul liber b .
Dac A este o matrice de rang complet, atunci sistemul are o pseudosoluie
n sensul celor maii mici ptrate: soluia este unic pentru m n i exist o
infinitate de pseudosoluii dac m < n .
Dac A este o matrice deficient de rang, atunci exist o infinitate de
*
pseudosoluii. Pentru m n se poate determina pseudosoluia de baz x B
apelndu-se la triangularizarea ortogonal a matricei A i pivotarea de coloane.
Pentru cazul n care m < n , se pot alege p = rang( A) ecuaii liniar
independente, existnd o infinitate de soluii. Aceste aspecte au fost detaliate,
corespunztor, n capitolul 3 al prezentei lucrri.
Descompunerea valorilor singulare ofer posibilitatea determinrii unei
pseudosoluii unice, n sensul celor mai mici ptrate (generalizate), indiferent
*
de rangul matricei A. Aceast pseusosoluie se noteaz cu x SVD i este
caracterizat de urmtoarele proprieti:
minimizeaz norma euclidian a reziduului:
*
r = b A x x = arg min
n1
{|| r || 22 } ; (5.15)
x

dac exist o infinitate de pseudosoluii care satisfac (5.15), atunci se

*
alege x SVD ca fiind pseudosoluia cu norma euclidian minim:
* *
|| x SVD || 2 = *minn1{|| x || 2 } .
x

Aceasta se numete pseudosoluie normal sau pseudosoluie n sensul celor

* *
mai mici ptrate generalizate. Se demonstreaz c || x SVD || 2 || x B || 2 .

Teorem:
Oricare ar fi matricea A mn i vectorul b m1 , problema (5.14) are
o soluie unic, aceasta fiind pseudosoluia normal obinut pe baza
descompunerii valorilor singulare.
Aceast pseudosoluie se scrie: x SVD = A + b, A + nm , unde A + se
*

numete pseudoinvers normal (Moore-Penrose) i este egal cu:

150 5. Descompunerea valorilor singulare

p ~v ~
u
T
~ ~
A + = V1 11 U 1T = i i .
i =1 i
Ca urmare, pseudosoluia este:
p ~v i ~
u i
T

=
*
x SVD b.
i =1 i

Demonstraia teoremei pornete de la ecuaia (5.14) care este nmulit la
~
stnga cu matricea U T din descompunerea valorilor singulare a matricei A. n
~ ~
plus, se insereaz produsul V V T = I n , rezultnd:
~ ~ ~ ~
UT A V VT x = UT b . (5.16)
~ ~
Dar U T A V = i atunci ecuaia (5.16) devine:
y=d, (5.17)
~T ~T
unde y = V x i d = U b . Matricea are forma general:

1 0 p ( n p )
p p
= , 1 , 1 = diag{1 , , p } .
0 ( m p )p 0 ( m p )( n p )

y
1 ~ ~
Scriind vectorul y = , y1 = V1T x p1 , y 2 = V2T x ( n p )1 i
y
2
d1
~ ~
vectorul d = , d 1 = U 1T b p1 , d 2 = U T2 b ( m p )1 , atunci ecuaia
d 2
(5.17) devine:

1 0 p( n p ) y1 d 1 1 y1 d 1
( n p )1
= = , y 2 .
0 ( m p )p
0 ( m p )( n p ) y 2 d 2 0 ( m p )1 d 2

Pseudosoluia n sensul celor mai mici ptrate se obine minimiznd norma

~
euclidian a reziduuluui. Astfel, innd cont de faptul c matricea U este
ortogonal i, n consecin, pstreaz norma euclidian vectorial, se obine:
~ ~ ~ ~ ~ ~
|| r || 22 =|| U T r || 22 =|| U T (b A x ) || 22 =|| U T b U T A V V T x || 22
=|| d y || 22 =|| d 1 1 y1 || 22 + || d 2 || 22 .
5.4 Aplicaii ale descompunerii valorilor singulare 151

n general d 2 0 m p , deci || d 2 || 22 0 i atunci singura minimizare posibil

este:
* * *
|| d 1 1 y1 || 22 = 0 d 1 1 y1 = 0 p
1 y1 = d 1 . (5.18)
~
Din ecuaia (5.18) se obine soluia: y1 = 11 d 1 = 11 U T b .
*

Dar, conform notaiilor fcute anterior, se obine:

y*
~T ~ ~ 1
V x = y x = V y = V , y 2 ( n p )1 .
* *

y
2
Aadar, exist o infinitate de pseudosoluii care minimizeaz mrimea || r || 22 .
*
Un criteriu de alegere a unei pseudosoluii unice este acela ca || x || 22 = minim.
~
innd cont c matricea V este ortogonal, se obine:
* ~ * * *
|| x || 22 =|| V T x || 22 =|| y || 22 =|| y1 || 22 + || y 2 || 22 .
~
n general, y1 = 11 U T b 0 p i atunci singura minimizare posibil este
*

* *
|| y 2 || 22 = 0 , adic y 2 = 0 n p . Atunci pseudosoluia normal este:
~T
11 U 1 b

* ~ * ~ ~ ~ 1 ~ T
x SVD = V y SVD = [V1 V2 ] = V1 1 U 1 b =
0
n p
p ~vi ~
ui
T

= b.
i
i =1


Definiie:
Oricare ar fi matricea A mn , matricea X nm se numete
pseudoinvers Moore-Penrose dac satisface urmtoarele condiii:
(i) AXA =A ;
(ii) XAX =X ;
(iii) A X este o matrice simetric;
(iv) X A este o matrice simetric.
Observaii:
1. Dac A este o matrice de rang complet i m = n , atunci X = A 1 .
2. Dac A este o matrice de rang complet i m > n , atunci X = X L se numete
pseudoinvers la stnga:
X L A = I n , X L = (A T A) 1 A T .
152 5. Descompunerea valorilor singulare

3. Dac A este o matrice de rang complet i m < n , atunci X = X R se numete

pseudoinvers la dreapta:
A X R = I m , X R = A T ( A A T ) 1 .
4. Dac A este o matrice deficient de rang, atunci X este pseudoinversa
Moore-Penrose:
p ~ v ~
u
T
~ ~
X = A + = V1 11 U1T = i i .
i
i =1
n acest ultim caz sunt ndeplinite condiiile (ii) (iv) din definiia
anterioar, condiia (i) devenind:
|| A X A A || 2 ' ,
n care ' este mrimea care caracterizeaz calitatea descompunerii valorilor
singulare, cum este prezentat n paragraful anterior.
Pentru rezolvarea sistemelor de ecuaii algebrice n sensul celor mai mici
ptrate, se poate formula urmtoarea interpretare general. Fie sistemul:
A x = b , n care matricea A este matricea de date i b este vectorul de
observaii. Pseudosoluia n sensul celor mai mici ptrate a acestui sistem se
obine minimiznd norma euclidian la ptrat a reziduului asociat: || r || 22 .
Aceasta nseamn c, de fapt, sistemul de ecuaii exact care se rezolv este:
A x + r = b . Notnd e = r se obine: A x + e = b , unde vectorul e este numit
eroare de ecuaie, acest vector urmrindu-se a se minimiza n norm euclidian.
O astfel de abordare caracterizeaz clasa metodelor care gsesc soluia x pe
baza erorii de ecuaie, metode care intervin n identificarea sistemelor dinamice
(a se vedea Exemplul 3.1). Aadar, se poate scrie: A x = b e . Notnd
b = e , atunci se obine: A x = b + b .
*
n concluzie, soluia n sensul celor mai mici ptrate x CMMP se determin
minimiznd mrimea || b || 22 . Aceasta reprezint, de fapt, funcia criteriu:
J CMMP =|| b || 22 .
Altfel spus, matricea A i termenul liber b conin date achiziionate n urma
unor experimente. Soluia n sensul celor mai mici ptrate se gsete
minimiznd suma ptratelor perturbaiilor (abaterilor) n vectorul
observaiilor b , considernd implicit c matricea de date A este exact.

Exemplul 5.2:
Se prezint o ilustrare geometric intuitiv pentru cazul n = 1 . Astfel, avnd
setul de date (a i , b i ) i =1,...,m , se gsete necunoscuta x astfel nct irul de date s
fie aproximat de ctre dreapta din plan: b = x a . Pseudosoluia gsit x *CMMP
5.4 Aplicaii ale descompunerii valorilor singulare 153

definete, astfel, dreapta care aproximeaz n sensul celor mai mici ptrate setul
de date experimentale (a i , b i ) i =1,...,m , aa cum este artat n Figura 5.4.

b J CMMP = e i2 = min
i

e = b
2
i
2
i

~ (ai, bi)
b i + b i = b i
ei
~ b = ax
bi
tg () = x = ?
a
~
ai = a i

Fig. 5.4. Aproximarea n sensul CMMP: minimizarea sumei ptratelor

abaterilor pe vertical
Mai mult, se poate realiza o interpretare geometric generalizat, aa cum
este ilustrat n Figura 5.5.

a2
*
r
Im(A)
b a1
*
b Ax = b
A = [a 1 a 2 ]
* * *
b Im(A) A x = b

Fig. 5.5. Interpretare geometric generalizat a aproximrii n sensul CMMP

154 5. Descompunerea valorilor singulare

Astfel, metoda celor mai mici ptrate conduce la o soluie care verific, n
fapt, ecuaia:
* *
Ax =b . (5.19)
*
Metoda ncearc s gseasc cea mai bun aproximaie b a vectorului b , care
*
s verifice ecuaia (5.19). Aceasta se ntmpl dac i numai dac b Im(A ) ,
*
b fiind proiecia vectorului b pe subspaiul imagine al matricei A.
Concluzia final care se desprinde este aceea c soluia n sensul celor mai
mici ptrate este gsit prin proiectarea termenului liber b pe subspaiul
*
imagine Im(A ) i apoi se rezolv sistemul compatibil (5.19). Aici, vectorul b
este o combinaie liniar de coloanele (liniar independente ale) matricei A.