3.1.

Introduccin o

Como tantas veces en matemticas, no fue la necesidad prctica (derivada, por a a ejemplo, del clculo numrico) sino la necesidad de profundizar en el conocimiento lo a e que produjo el surgimiento de los valores singulares. Por otra parte, no ha sido hasta el reciente desarrollo del algebra lineal numrica cuando tal concepto ha adquirido la e importancia que actualmente tiene e incluso la denominacin que ahora le estamos o dando. En efecto, fue en la segunda parte del siglo XIX cuando algunos gemetras se o preguntaron, utilizando lenguaje actual, por la posibilidad de reducir unitariamente una forma cuadrtica a forma diagonal. Entre los matemticos que contribuyeron a a
ww w.

M at

em

at ic

a1

Los valores singulares juegan un papel central en el algebra lineal numrica e actual. Son esenciales para calcular de forma able cantidades tan importantes como el rango de una matriz o la distancia de una matriz no singular al conjunto de las matrices singulares.
.c o m

a la solucin de este problema se encuentran nombres tan famosos como Eugenio o Beltrami, Camille Jordan, James Joseph Sylvester, Erhard Scmidt o Hermann Weyl. Una breve e interesante historia de los valores singulares puede encontrarse en el report de G. W. Stewart: On the early history of the Singular Value Decomposition que se puede obtener en la direccin o http://citeseer.ist.psu.edu/stewart92early.html o mediante ftp annimo en thales.cs.umd.edu en el directorio pub/reports. o En nuestro proceso hacia la denicin de los valores singulares y del teorema o central de este cap tulo (El Teorema SVD) necesitamos recordar el concepto de matriz unitaria. A ello dedicamos la primera seccin. o

3.2.

Matrices Ortogonales y Unitarias

Por lo general supondremos que F  C de modo que el producto escalar de x y y lo escribiremos como un producto de matrices; i.e. y x. Deberemos entender que en el caso en que los vectores sean reales y hablemos del producto escalar en Rn entonces se debe sustituir por T . Debe observarse que para todo x Cn
x x  |xi|2  }x}2. 2 i1
n

Esta forma de expresar la norma eucl dea de un vector, la usaremos muy a menudo. Un vector diremos que es unitario si su norma es 1. Dos vectores se dice que son ortogonales si su producto escalar es cero: xuy

ww

w.

at e
i 1

x, y  9

i 1 n

m
y i xi

6 n 9 y i xi 8

 yT x  yx

ic

Comenzamos repasando los conceptos de producto escalar y ortogonalidad. Si x, y Fn entonces el producto escalar de y y x es

at

yx  0.

a1

si F  R, si F  C

.c om

Ntese que y x y x y son nmeros complejos conjugados: o u x y pero si x, y

 yx,

Rn entonces xT y  yT x. Dos conjuntos X, Y Fn son ortogonales si cada vector de X es ortogonal a cada vector de Y . Escribiremos, en tal caso, X u Y . Si S Fn es un subconjunto
denotaremos Su Independientemente de si S es un subespacio vectorial o no, S u siempre lo es, y lo llamaremos el subespacio ortogonal de S. Abusando de lenguaje diremos que un conjunto de vectores no nulos es ortogonal si cada vector es ortogonal a todos los dems: a S ortogonal dx, y S, x y  0.
.c om

 ty Fn|xy  0, dx S u.

Si, adems, todos los vectores del conjunto son unitarios entonces el conjunto se dice a que es ortonormal :

at

ic

S ortonormal

S ortogonal y dx S, }x}2  1.  tv1, . . . , vtu ortogonal son

ww

w.

M
Demostracin.- Si o
t i 1 t

a v  a pv v q  c pv v q  c }x }. 0  vj i i i j i j j j j j i1 i1
t

Por lo tanto, cj

 0.

Denicin 3.2 (a) Una matriz U Cnn es unitaria si sus columnas forman o una base ortonormal de vectores de Cn . (b) Una matriz P Rnn es ortogonal si sus columnas forman una base ortonormal de vectores de Rn .

at e
ai vi

Proposicin 3.1 Todos los vectores de un conjunto S o linealmente independientes.

 0, entonces para j  1, . . . , t

a1

Hay algunas condiciones equivalentes a ser unitaria (aplicado a F para matrices ortogonales): Proposicin 3.3 Para U o (i) U es unitaria. (ii) U es no singular y U (iii) U U

 R sirven

Cnn las siguientes condiciones son equivalentes:  U 1 .

 In.

(iv) U es unitaria. (v) Las las de U forman un sistema ortonormal de vectores de Cn .

.c om

(vi) Para todo x Cn se tiene }x}2

 }U x}2

donde hemos usado las condiciones (iv) y (iii) equivalentes a ser U unitaria (i.e. U U  In ). El rec proco se puede demostrar siguiendo las siguientes ideas: Si }U x}2  }x}2 entonces xU U x  xx, que equivale a xpU U Inqx  0. Teniendo en cuenta que U U In es herm tica (simtrica en el caso real de matrices ortogonae pU U In qx  0 implica U U In  0. En efecto, si ponemos les) es fcil ver que x a U In , x Ax  0 para todo x Fn implica que si ei  p0, . . . , 1, . . . , 0q es el AU i-simo vector cannico entonces e o e Aei  0 aii  0 i pei ej qApei ej q  0 Repaij q  0. pei iej qApei iej q  0 Impaij q  0 Las matrices unitarias forman un subgrupo multiplicativo del Grupo General Lineal, llamado Grupo Unitario. La condicin (vi) de la Proposicin 3.3 indica que o o el grupo unitario es el grupo de isometr para la norma eucl as dea.
ww w.

at e

}U x}2  pU xqU x  xU U x  xx  }x}2 2 2

at

La demostracin de estas propiedades es ms o menos inmediata salvo, quiz, o a a la condicin (vi). Desde luego, si U es unitaria entonces o

ic

a1

Denicin 3.4 Una norma } } en Cmn se dice que es unitariamente invariantes o si dA Cmn y para todo par de matrices unitarias U Cmm y V Cnn se cumple que }U AV }  }A}. Proposicin 3.5 Las normas o invariantes.

} }2 y } }F

denidas en Cnn son unitariamente

Demostracin.- Recordemos que }A}2  trpA Aq  trpAA q. As si U es o , F unitaria }U A}2  trpAU U Aq  trpAAq  }A}2 . F F De la misma forma, si V es unitaria

}AV }2  trppAV qpAV qq  trpAV V Aq  trpAAq  }A}2 . F F }U AV }F  }U A}F  }A}F .

at e
2

Pero por ser U unitaria, }U x}2

 }x}2, de modo que }U Ax}2  }Ax}2 y }U A}2  }m1 }U Ax}2  }m1 }Ax}2  }A}2. ax ax x} x}
2

Tambin, si V es unitaria los conjuntos e

tx Cn|}x}2  1u  tV x Cn|}V x}2  1u

son iguales. Entonces

}AV }2  }m1 }AV x}2  }Vmx 1 }AV x}2  }m1 }Ay}2  }A}2. ax a ax x} x}  y}
2 2 2

En consecuencia }U AV }2

ww

w.

}U A}2  }m1 }U Ax}2. ax x}

2

 }A}2.

Por otra parte, }A}2

 }m1 }Ax}2. Entonces, si U es unitaria ax x}

at

ic

a1

.c om

Por lo tanto, si U y V son unitarias:

3.3.

Valores singulares

Hay varias formas de introducir los valores singulares de una matriz. Tal y como se ha mencionado en la Introduccin de esta Leccin, histricamente los vao o o lores singulares son el resultado de la bsqueda de una forma de reducir las formas u cuadrticas a forma diagonal mediante cambios de base ortonormales. Este hecho, a sin embargo tiene un signicado geomtrico que no debe pasar desapercibido: e Las aplicaciones lineales transforman las esferas unidad en hiperelipses. Una hiperelipse es la generalizacin a m dimensiones de una elipse. Podr o amos denirla como la supercie que se obtiene al estirar o comprimir la esfera unidad en m direcciones ortogonales por factores 1 , 2 ,. . . , m (posiblemente cero). Es decir, si jamos m vectores ortonormales u1 , . . . , um Fm , los vectores 1 u1 ,. . . , m um son los semiejes de la hiperelipse con longitudes 1 ,. . . , m .

ww

w.

v1

at e

 tx Fn|}x}2  1u es la esfera unidad y A Fmn entonces ApS n1 q es una hiperelipse. La Figura 3.1 representa el caso n  m  2 y F  R.

Si

at
A

ic

S n1

a1

v2

Figura 3.1: Las matrices transforman esferas en elipses El hecho de que las aplicaciones lineales (o matrices) transformen la esfera unidad en hiperelipses no es obvia y quedar demostrada cuando probemos el llamado a

.c om

s2 u 2 s1 u 1

Teorema SVD. Por ahora aceptmosla y veamos qu signica en trminos de mae e e trices. Supongamos que la matriz de la aplicacin lineal es A Fmn y que, por o sencillez, rangpAq  n m. Notemos que, como aplicacin lineal, A : Fn Fm . o Tal y como hemos mencionado, la hiperelipse queda determinada, en principio, por m vectores ortonormales tu1 , . . . , um u y las correspondientes longitudes de los semiejes 1 ,. . . , m que los vamos a suponer ordenados de forma que 1 2 m 0. As iui es el i-simo semieje ms largo de ApS n1q. As pues, e a para i  1, . . . , m i ui ApS n1 q Im A. Pero como los vectores tu1 , . . . , um u son ortonormales, y por lo tanto son linealmente independientes, si rangpAq  r debe haber a lo sumo r vectores i ui linealmente independientes. De todo ello se sigue que hay r de los i que son distintos de cero a lo m. En otras palabras, si la hiperelipse a es la imagen por A de la esfera unidad, debe estar en Im A as que slo puede o contener r vectores linealmente independientes. Finalmente sean tv1 , . . . , vn u S n1 las anteimgenes de los semiejes no nulos de la hiperelipse: a
.c om

Avi

 i ui ,

i  1, . . . , r.

at e

La condicin Avi  i ui , i  1, . . . , r, se puede escribir en forma matricial: Si o  $  $  u1 ur y V  v1 vr tenemos que ponemos U

w.

AV

 U ,

siendo U Fmn y V Fnn matrices cuyas columnas son vectores ortonormales. Si escogemos base ortonormal de Ker A y que sean ortogonales a los de V podemos  $ $ V que es unitaria y AV  U 0 . Por formar una matrix unitari V  V consiguiente  $ A  U 0 V  U V . A esta factorizacin de A se le llama Descomposicin en Valores Singulares Reducida o o o Econmica de A. O, ms abreviadamente, SVD Reducida de A. o a Hay tambin una Descomposicin en Valores Singulares Completa de A, que es e o la que aparece en la mayor de los libros que tratan el tema, aunque en la mayor a parte de las aplicaciones es la descomposicin reducida la que se utiliza. Pasar de o una descomposicin a la otra es muy fcil: Si m n, U no es una matriz unitaria y o a no tiene el tamao de A. Una descomposicin completa es una que cumpla estos dos n o

ww

at

ic

En este momento no es claro por qu pero admitamos que los vectores vi son ortoe gonales (y, por lo tanto, ortonormales porque estn en la esfera unidad). a

 Diagp1 , . . . , r q.

a1

requisitos. Para ello basta ampliar el sistema de vectores ortonormales tu1 , . . . , un u hasta una base ortonormal de Cm . Tal cosa siempre es posible porque los vectores u1 , . . . , un son linealmente independientes y se pueden ampliar hasta una base de Cn . Luego basta aplicar el mtodo de Gram-Schmidt para obtener la base ortonormal. e Sea entonces tu1 , . . . , un , un1 , . . . , um u una base ortonormal de Cm y pongamos U Entonces

u1

un un1


um
&

y 

0mnn

&

 $ U V  U U

Por lo tanto, A  U V es una descomposicin en valores singulares completa de o A. Ntese que de una descomposicin en valores singulares completa de A se obtiene o o una reducida sin ms que suprimir las las cero de y las correspondientes columnas a de U y V . Denicin 3.6 Sea m, n enteros positivos y A Cmn . Una descomposicin en o o valores singulares (completa) de A es una factorizacin o
.c om

0mnn

 U V  A.

donde U

En reales no negativos ordenados de mayor a menor y se llaman valores singulares de A. Adems, a los vectores u1 , . . . , um y v1 , . . . , vn que forman las columnas de U y V se a les llama vectores singulares de A por la izquierda y por la derecha, respectivamente. Si A Rmn basta cambiar matriz unitaria por matriz ortogonal. Nos queda establecer de manera rigurosa que tal descomposicin es siempre o posible y que los valores singulares estn determinados de forma unica por A. Ada mitindolo, deber ya ser claro que, en efecto, la imagen de la esfera unidad en e a

Cmm y V Cnn son unitarias y es diagonal. Adems, a 6  & 9 Diagp1 , . . . , n q 9 si m n 8 0mnn  9  9 $ 7 Diagp1 , . . . , m q 0mnm si n m cualquier caso, 1 p 0, p  m tm, nu son nmeros n u
ww w.

at e

A  U V

at

ic

a1

Fn por A  U V es una hiperelipse:V por ser unitaria preserva la esfera, la deforma estirando o encogiendo la esfera en direcciones ortogonales y U , de nuevo unitaria, la gira o reeja. Todo lo anterior tiene sentido una vez que demostremos el siguiente resultado fundamental Teorema 3.7 (Teorema SVD) Toda matriz A Fmn admite una descomposicin en valores singulares. Adems, los valores singulares estn determinados de o a a forma unica, y, si A es cuadrada y sus valores singulares son todos distintos, enton ces los vectores singulares estn tambin determinados de forma unica salvo producto a e por un nmero complejo de mdulo 1. u o Demostracin.- Supondremos F  C y todo lo que vamos a decir es de aplicao cin a matrices de nmeros reales cambiando la palabra unitaria por ortogonal. o u Dado que el caso de A  0 es trivial, supondremos que A $ 0 y procederemos por induccin sobre n, el nmero de columnas de A. Supondremos, adems, que m n. o u a Si fuera n m, y una vez demostrado el Teorema con m n, lo aplicar amos . As existir matrices unitarias U y V tales que A  U V Entonces a A , an A  pA q  V U . Como los valores singulares son nmeros reales  y u con U y V unitarias. A  V U

at e

at

ic
2

a1

ww

Sea entonces n  1 y m 1. Ponemos U

w.

.c om

 }A1} A,  }A}2 y V  1. As
2

U V

1  }A} A }A}2 1  A.

Para n  1, A Cm1 es un vector columna y por lo tanto U es un vector columna V es una descomposicin reducida de A que puede extenderse unitario. As A  U o a una descomposicin completa tal y como hemos visto ms arriba. o a Consideremos ahora que el Teorema ha sido demostrado para matrices de tamao m p (p n 1). Sea A Cmn y 1  }A}2 . Como }A}2  mx }Ax}2 n a

existe un vector unitario v1 Cn , }v1 }2  1, tal que 1  }A}2  }Av1 }2 . Sea 1 u1  }Av1 }2 Av1 . As }u1 }2  1 y Av1  1 u1 . Extendamos u1 y v1 hasta bases ortonormales de Cm y Cn , respectivamente, y sean U1 y V1 las matrices, unitarias, cuyas

}x}2 1

columnas son los vectores de esas bases. Escribamos U1 Entonces U AV

1

u1 U 1 ,

V1




u1 V 1 .
&

Por una parte Av1  1 u1 implica que u Av1  1 (recordemos que u u1  1 porque 1 1 u1 es un vector unitario). Adems U 1 Av1  1 U 1 u1 . Pero las columnas de U 1 son a ortogonales a u1 y esto equivale a U 1 u1  0. As pues U AV
1 1

 $ u u Av u AV 1 A v1 V 1  1 1 1 1 . U1 U 1 Av1 U 1 AV 1

&

u Av1 u AV 1 1 1 . U 1 AV 1 0

&

2 As pues, }S }2 p1 w wq1{2 . Pero la norma espectral es unitariamente invariante 2 (Proposicin 3.5); por lo tanto 1  }A}2  }S }2 p1 w wq1{2 ; lo cual implica o que w  0 tal y como quer amos demostrar.

En consecuencia

ww

w.

at e

 p

2 1

  wwq1{2  1 

 w  2



&

2  p1 wwq1{2}z}2.

at

U AV
1

ic

}S }2}z}2 }Sz}2 

 &  &  1 w 1     0 B w 

 &  2 w w   1    Bw 2

a1

.c om

Veamos que tambin u AV 1  0. Pongamos w  u AV 1 y B  U 1 AV 1 , S  1 1  &e AV1 y z  1 . Como la norma espectral es consistente con la norma eucl U1 dea w

2 p1 wwq 

Debe notarse que B es la restriccin de A al subespacio ortogonal a u1 ; i.e. o u1 u . Adems B Cpm1qpn1q . Por la hiptesis de induccin, B admite una a o o con U2 Cpm1qpm1q y V2 descomposicin en valores singulares: B  U2 2 V2 o  & pn1qpn1q unitarias y 2  Diagp2 , . . . , n q . As C 0


1 0 . 0 B

&

1 0 1 0 U1 AV1 0 V2 0 U2

&

&

1 0 0 U2

&

1 0 0 B

&

1 0 0 V2

&

Diagp1 , 2 , . . . , n q . 0

&

Si ponemos

1 U 

tenemos que U AV  y A  U V . Esto prueba la existencia de la descomposicin de A en valores singulares, excepto el ordenamiento de los valores singulares. o Segn la hiptesis de induccin los valores singulares de B estn ordenados de mayor u o o a a menor. Basta entonces demostrar que 1 pAq 1 pB q. Es decir, }A}2 }B }2 , o bien, mx }Ax}2 mx }Bx}2 . Adems, como la norma espectral es unitariamente a a a invariante podemos suponer que A Sea x0


0 U1 0 U2

&

y V

 V1

1 0 , 0 V2

&

}x}2 1

}x}2 1

1 0 . 0 B

&

Cn1 un vector unitario para el que }Bx0}  }m1 }Bx}2 y sea ax x}

2

y Claramente y y
2

La unicidad de los valores singulares as como el resto del teorema lo demos traremos una vez analizadas unas cuantas propiedades importantes de los valores singulares. Observaciones 3.8 Si A Rmn entonces existen matrices ortogonales P y Q Rnn tales que A  P QT con 
6  & 9 Diag 1 , . . . , n 9 8 9  9 7

ww

w.

tal y como se deseaba demostrar.

at e

 xx0  1, de modo que 0 mx }Ax}2 }Ay }  y A Ay  x B Bx0  }Bx0 }  mx }Bx}2 , a a 0 }x} 1 } x}  1

at

ic

a1

0 x0

&

Cn.

.c om

Rmm

0mnn

si m n
$

Diagp1 , . . . , m q 0mnm p

si n m.

En cualquier caso, 1 negativos.

0, p

m tm, nu son nmeros reales no n u

3.4.

Propiedades de los valores singulares

A continuacin analizamos algunas propiedades que se derivan del Teorema o SVD. Proposicin 3.9 Si r es el nmero de valores singulares de A distintos de cero, o u entonces rang A  r. La demostracin es una consecuencia inmediata de que el rango de una matriz no o var si la multiplicamos por matrices invertibles. a Proposicin 3.10 Si A  U V es una descomposici de A o on  $ singulares, r  rang A, y U  u1 u2 um y V  v1 v2 Im A  u1 , . . . , ur y Ker A  vr1 , . . . , vm .

Cmn $ valores en vn entonces

 u1, . . . , ur . Por otra parte, como tv1 , . . . , , vm u es una base ortonormal de Cn , si x Cn entonces m x ci vi  V c con c  pc1 , . . . , cm q. As
i 1

ici  0, 1 i r x 

x KerpAq Ax  0 AV c  0 U AV c  0 c  0
m i r 1

ww

w.

ImpAV q  ImpU q  1 u1 , . . . r ur

at e

m

ci vi .

Ahora bien,

Esto signica que KerpAq  vr1 , . . . , vm De forma similar se prueba

Proposicin 3.11 Si A  U V es una descomposici de A o on  $ singulares, r  rang A, y U  u1 u2 um y V  v1 v2 Im A  v1 , . . . , vr y Ker A  ur1 , . . . , um .

at
.

ImpAV q  ImpAq y

KerpU Aq  KerpAq.

ic

a1

Demostracin.- Sobre la base de que V y U son invertibles es fcil ver que o a

.c om

Cmn $ valores en vn entonces

Esta proposicin tambin se puede ver como una consecuencia inmediata de la o e anterior teniendo en cuenta las siguientes propiedades cuya demostracin es muy o simple pIm Aqu  Ker A y pKer Aqu  Im A La siguiente proposicin nos proporciona una forma prctica de calcular los o a valores singulares de una matriz: Proposicin 3.12 Los valores singulares de A Cmn distintos de cero son las o races cuadradas positivas de los valores propios distintos de cero de A A y tambin e de los de AA . Demostracin.- Probaremos que los valores singulares de A son las ra cuao ces dradas positivas de los valores propios de A A. Que tambin son los de AA se e demuestra igual. Tambin es consecuencia de la siguiente propiedad: Si A Fmn y e B Fnm entonces los valores propios distintos de cero de AB y BA son los mismos. La explicacin de esta propiedad est contenida en la siguiente ecuacin: o a o Im 0


Si A  U V es una descomposicin de A en valores singulares entonces o A A  V U U V

ww

I A Como m 0 In

AB 0 0 0  , las matrices y son semejantes; In B 0 B BA & Im AB 0 i.e. tiene los mismos valores propios. Adems, det a  n detpIm B In  & Im 0 m AB q y det B In BA  detpIn BAq. Por lo tanto, las matrices AB y BA tienen los mismos valores propios distintos de cero. Im 0
w.

&1

at e

In

AB 0 B 0

at

&

ic

a1
&

.c om

Im A 0 In


&

0 0 . B BA
 &

&

&

&

 V T V

porque es una matriz de nmeros reales. Como V es unitaria V  V 1 , por lo u que A A y T son semejantes. Es decir, tienen los mismos valores propios. Pero
2 2 T  Diagp1 , . . . , r , 0, . . . 0q Rnn

2 con r  rangpAq. Por lo tanto 1 A A. .

r2 son los valores propios de T y de

Recordemos ahora que los valores propios son unicos para cada matriz. Esto demuestra la segunda parte del Teorema SVD Corolario 3.13 Los valores singulares de A estn determinados de forma unica. a Para probar la ultima parte del Teorema SVD; es decir, que si A es cuadrada y sus valores singulares son todos distintos, entonces los vectores singulares estn a tambin determinados de forma unica salvo producto por un nmero complejo de e u mdulo 1, debemos recordar lo siguiente sobre los valores propios de una matriz: Si o M Cnn y sus valores propios son distintos dos a dos entonces admite un sistema completo de vectores propios linealmente independientes. Esto es una consecuencia de que a valores propios distintos corresponden vectores propios linealmente independientes. Si M tiene n valores propios distintos hay n vectores propios linealmente independientes; y como estn en un espacio de dimensin n deben ser una base. Ahoa o ra bien, si vi es un vector propio asociado al valor propio i entonces M vi  i vi . Y cualquier otro vector propio wi asociado al mismo valor propio debe ser propor$ cional a vi ; es decir, existe C tal que wi  vi . Ahora, si T  v1 v2 vn entonces T Cnn es invertible y
ww w.

T 1 M T

at e

 Diagp1, . . . , nq

at

ic

a1

.c om

(3.1)

Y rec procamente, si T Cnn es una matriz invertible que verica (3.1) con i $ j , entonces la i-sima columna de T es un vector propio asociado al valor propio i . e Aplicando todo esto a la matriz A A y teniendo en cuenta la demostracin de o la Proposicin 3.12 tenemos que o V A AV y tambin e U AA U
2 2 2  Diagp1 , 2 , . . . , nq, 2 2 2  Diagp1 , 2 , . . . , nq.

Esto quiere decir que las columnas de V son una base ortonormal de vectores propios de Cn respecto de A A; y las de U son una base ortonormal de vectores propios de Cn respecto AA . Y, adems, si A  U1 V1 es otra descomposicin de A en valores a o

1 singulares, entonces vi  vi (i-simas columnas de V y V1 ). Como en este caso son, e 1 1 adems, vectores unitarios, tenemos que 1  vi vi  ||2 vi vi  ||. Es decir, es a un escalar de mdulo 1. Para las columnas de U sirve un razonamiento similar. o

La unicidad de los valores singulares produce la siguiente consecuencia: Proposicin 3.14 Si A Cmn y 1 p 0, p  m tm, nu, son sus valores o n 2 2 singulares, entonces }A}2  1 y }A}F  1 p . Demostracin.- En efecto si A  U V es una descomposicin en valores o o singulares de A, como las normas }}2 y }}F son unitariamente invariantes tenemos

}A}2  }}2

}A}F  }}F .
.c om

w.

donde hemos utilizado que 1 e1  p1, 0, . . . , 0q Cn entonces }e1 }2

ww

}x}2 

2 2 1 |x1 |2 n |xn |2

at e
1

 }m1 }x}2  }}2. ax x}

2

Proposicin 3.15 Si A Cnn y 1 o

| detpAq|  1 . . . n
res, Demostracin.- Si A  U V es una descomposicin de A en valores singulao o detpAq  detpU q detpq detpV q.

Pero U y V son unitarias. Entonces, por una parte, U U  In y por otra detpU q  detpU q porque el conjugado de cualquier suma y producto de nmeros complejos es u

at

ic

n y que }x}2  1. Adems, resulta que si a  1 y }e1}2  1. Esto prueba que

n son sus valores singulares entonces

a1

2 2 Basta probar que }}2  1 y }}F  1 p . Lo segundo es inmediato por la propia denicin de la norma de Frobenius. En cuanto a lo primero, supongamos o por sencillez que m n y sea x Cn un vector arbitrario de norma eucl dea 1. Entonces

1 |x1|2 |xn|2  1}x}2  1,

la suma o producto de los conjugados de dichos nmeros. As pues, 1 u q  detpU qdetpU q  | detpU q|2 . En conclusin, detpU q detpU o

 detpInq 

| detpU q|  | detpV q|  1,
y

| detpAq|  | detpq|  1 . . . n.
Cnn es invertible y 1

n son sus valores 1 1 singulares entonces los valores singulares de A1 son . En particular, n 1 1 }A1}2  .
Proposicin 3.16 Si A o
n

at e

y que

1 1

1 . Existe una matriz de permutacin o

0 "0 " P  ". !. . 1


at

w. ww

ic
0 1 . . .

1  Diag

1 1 ,..., 1 n

0 0

tal que P 1 P T

1  Diag 1 , . . . , . Si ponemos V1  V P T y U1  U P T resulta n 1 que U1 y V1 son unitarias, porque el producto de matrices unitarias es una matriz unitaria, y A1  V1 P 1 P T U1 es una descomposicin en valores singulares de A1 . o Como }A1 }2 es el mayor valor singular de A1 la conclusin es inmediata. o La descomposicin de A en valores singulares nos proporciona una forma espeo cialmente util de escribir A como suma de matrices de rango 1:

a1
1 00 0 .0 .) .
(

.c om


Demostracin.- Si A  U V es una descomposicin en valores singulares de o o 1  V 1 U . Notemos que A y es invertible, entonces A

Proposicin 3.17 Si A  U V o singulares y rangpAq  r entonces

Cmn es una descomposicin de A en valores o

A
r i 1

donde U  u1 um , V singulares positivos de A.

v1

i ui vi
vn y 1
$

r 0 son los valores

&

Demostracin.- Basta poner o  1 2 r , i

Diagp0, . . . , i , . . . , 0q 0 0 0

donde Diagp0, . . . , i , . . . , 0q Crr y i aparece en la i-sima posicin. e o Es claro que A  Debe notarse que
 $ 
r i 1

U i V y que U i V
r i 1

 iuivi.

3.5.

Aproximacin a matrices de menor rango o

Una de las aplicaciones ms interesantes del Teorema SVD es que nos permite a calcular el rango de una matriz con bastante abilidad. De hecho, el Teorema SVD nos da mucho ms que eso, nos proporciona una medida de esa abilidad. Ello es a consecuencia del siguiente teorema que nos proporciona una cota de la distancia que hay de una matriz al conjunto de las matrices de rango menor que ella. Teorema 3.18 .- Sea A negativo. Entonces donde 1

ww

w.

at e

con Ur  u1 ur , Vr  v1 vr y r posicin reducida en valores singulares de A. o

at

ic

i ui vi

a1
$

 Ur r Vr  Diagp1, . . . , r q, es una descom-

Fmn una matriz de rango r; y sea k r un entero no

rang B

m n

2 . . . r 0 son los valores singulares no nulos de A.

p qk

}A B }2  k1

.c om

Demostracin.- Tal y como viene siendo habitual demostraremos que k1 es o una cota superior alcanzable del conjunto de nmeros u

t}A B }2 : rangpB q ku; es decir, que para cualquier matriz B Fmn con rangpB q k se tiene que }A B }2 k1 y que existe una matriz Ak Fmn con rangpAk q  k tal que }A Ak1 }2  k1 .
Sean U

Cmm y V Cnn matrices unitarias tales que

U AV

D

r 0 0 0

&

con r

 Diagp1, 2, . . . , r q.
.c om

}A B }2 }pA B qx}2  }Ax Bx}2  }Ax}2  }U V x}2  }V x}2 2 2 2 2 2 2 porque x Ker B y U es unitaria. Dado que x Im Vk1 es ortogonal a las ultimas x  0 para i  k 2, . . . , n. Por lo tanto, n k 1 columnas de V . Es decir, vi si y  V x entonces las n k 1 ultimas componentes de y son iguales a cero. As pues, teniendo en cuenta que k r 2 2 }V x}2  1 |y1|2 k1|yk1|2. 2 Como 1 k1 deducimos que 2 }V x}2 k1p|y1|2 |yk1|2q  k1}y}2 2 2 porque yk2   yn  0. Finalmente, }y }2  }V x}2  }x}2  1 porque V es
una matriz unitaria y x un vector de norma eucl dea igual a 1. En consecuencia, }A B }2 k1, tal y como se deseaba demostrar. 2
ww w.

Sea ahora B Fmn una matriz cualquiera tal que rang B k. Esto signica que dim KerpB q  n rangpB q n k. Tanto Ker B como Im Vk1 son subespacios vectoriales de Fn , pero dim Ker B dim Im Vk1 n 1. Esto signica que Ker B Im Vk1 $ t0u y, en consecuencia, hay un vector x Ker B Im Vk1 no nulo que podemos tomarlo de norma 1: x 2  1. Ahora

at e

at

ic

a1

Observemos que como m tn, mu r k tenemos que k 1 n. Sea Vk1 la n submatriz de V formada por sus primeras k 1 columnas. Como las columnas de Vk1 son ortonormales, dim Im Vk1  k 1.

Veamos ahora que existe una matriz Ak de rango k tal que }A Ak }2 Pongamos Ak  U Dk V , siendo Dk

 k1.

Diagp1 , . . . , k q 0 0 0

&

Cmn.

Teniendo en cuenta que la norma espectral es unitariamente invariante, resulta que

}A Ak }2  }U pD Dk qV }2  }D Dk }2.
Pero D Dk

cuyos valores singulares no nulos son k1 . . . r porque existe una matriz de permutacin -y en consecuencia unitaria- Q tal que o Q pD Dk qQ 
T

Diagp0, . . . , 0, k1 , . . . , r q 0 0 0

&

lo que concluye la demostracin. o

Corolario 3.19 .- Si A Cnn es una matriz no singular y 1 son sus valores singulares, entonces
det B

ww

Este teorema nos proporciona, como corolario, la distancia de una matriz no singular a la matriz singular ms prxima en la norma espectral: el valor singular a o ms pequeo de la matriz no singular. a n
w.

at e

at

ic

}A Ak }2  }D Dk }2  k1,

a1

Por lo tanto

.c om

Diagpk1 , . . . , r q 0 0 0

&

2 . . . n 0

m n

p q0

}A B }2  n.

Demostracin.- det B o

 0 si y slo si rangpB q n 1. Por el teorema anterior o m }A B }2  n m n }A B }2  n. detpB q0 rangpB qn1

Una consecuencia inmediata de este Corolario es el siguiente

Corolario 3.20 El conjunto de las matrices de rango completo de Cmn es abierto. Demostracin.- En efecto, suponiendo, por sencillez que m n, tenemos que si o mn AF y rangpAq  n entonces las matrices de rango menor que n ms prximas a a o A estn a una distancia n , medida en la norma espectral. En consecuencia, cualquier a bola abierta con centro en A y radio r n est completamente contenida en el a conjunto de las matrices de rango completo. Esto demuestra que este conjunto es abierto.

3.6.

La inversa de Moore-Penrose
A  U V ,  Diagp1 , . . . , n q
.c om

Ya hemos visto en la Proposicin 3.16 que si o es una descomposicin en valores singulares de A Cnn y sta es invertible entonces o e

Podemos usar esta idea para generalizar el concepto de inversa a inversa generalizada (o pseudoinversa) que juega un papel fundamental en varias partes de la matemtica y en particular en la solucin del problema de m a o nimos cuadrados. Hay varias inversas generalizadas (ver [1]). Aqu slo trataremos de la llamada inversa o generalizada de Moore-Penrose o, simplemente, inversa de Moore-Penrose o pseudoinversa de Moore-Penrose. En MATLAB se utiliza el comando pinv para calcularla. Supongamos que A singulares no nulos y

Cmn y r  rangpAq. Sean 1 r 0 sus valores




ww

w.

at e

con V  V P y U  U P , P una matriz de permutacin, es una descomposicin en o o 1 . valores singulares de A

at

ic

A1  V U ,

 Diag

a1


1 1 ,..., n 1

A  U V ,

Diagp1 , . . . , r q 0 0 0
(

&

una descomposicin de A en valores singulares. Pongamos o X

 !Diag

1 1 ,..., 1 r 0

0) 0

y denamos

AX

 V XU .

Denicin 3.21 A la matriz AX se le llama inversa generalizada o pseudoo inversa de Moore-Penrose de A. En los ejercicios se presentan algunas propiedades importantes de la inversa de Moore-Penrose. En particular, la denicin dada aqu no es la que aparece habitualo mente en los libros clsicos, aunque es la que mejor se adapta a nuestras circunsa tancias. La denicin habitual es la siguiente: Es la unica matriz que cumple las o siguientes cuatro propiedades:

piq piiiq

AAX A  A, AX A  pAX Aq ,

piiq pivq
.c om

AX AAX  AX , AAX  pAAX q .

Proposicin 3.22 Para cada A Cmn hay una unica inversa de Moore-Penrose. o Demostracin.- Sea o A  U V , 
ww w.
 &

at e

Se puede demostrar que la Denicin 3.21 es equivalente a estas cuatro condicioo nes. En cualquier caso, a primera vista en la Denicin 3.21 no parece que se pueda o asegurar que hay una unica inversa de Moore-Penrose para cada A. En efecto, la denicin depende de la eleccin de las matrices U y V en la descomposicin de A en o o o valores singulares y stas no son, en general, unicas. Nos proponemos demostrar que, e a pesar de la arbitrariedad en la eleccin de los vectores singulares por la izquierda o y por la derecha, la inversa de Moore-Penrose es unica:

at

ic

una descomposicin en valores singulares de A, r  rangpAq. Y sea AX  V X U la o correspondiente inversa de Moore-Penrose. Por la Proposicin 3.10 las r primeras o columnas de U y V forman bases ortonormales de $ pAq y de ImpA q, respectivaIm  $ mente. De acuerdo con esto escribimos V  V1 V2 y U  U1 U2 con V1 Cnr y U1 Cmr . Si adems, ponemos a r

a1

Diagp1 , . . . , r q 0 0 0

 Diagp1, . . . , r q

entonces 1  Diag r

1 1 ,..., 1 r

A  U1 r V1

y AX

 V11U1. r

Ahora, si hubiera otra descomposicin de A en valores singulares, como stos son o e unicos, existir matrices unitarias U Cmm y V Cnn tales que A  U V . an y V como U y V tendr 1 r V1 con U1 y V1 matrices Partiendo U amos que A  U cuyas columnas forman bases ortonormales de ImpAq y ImpA q, respectivamente. Para esta descomposicin de A, la inversa de Moore-Penrose correspondiente o X  V1 1 U1 . Debemos demostrar que AX  AX . r ser A a: Por una parte, las columnas de U1 y U1 forman bases ortonormales de ImpAq y las columnas de V1 y V1 forman bases ortonormales de ImpA q. Por lo tanto, existen matrices unitarias P, Q Crr tales que U1

 U1P
U1 r V1

y V1

 V1Q.
.c om

(P y Q son las matrices de cambio de bases ortonormales; por lo tanto, unitarias).

w.

Pero U1 U1

 V1V1  Ir , as que

M
P r Q

at e

U1 P r Q V1

Y como r es invertible y tambin e Es decir, AX

ww

Q1 P r

V1 Q1 P U1 r

 V11U1  V1Q1P U1  V11U1  AX, r r r

tal y como se deseaba demostrar.

de modo que

at

 U1r V1.  r .  1, r  V11U1. r

ic

Por otra parte,

 U1r V1,

a1