PCA si LDA

Procesul de recunoatere presupune dou etape: selecia caracteristicilor i clasificarea. n aceast lucrare sunt prezentate dou metode de selecie a caracteristicilor (transformata Karhunen-Love i analiza discriminatorie liniar) i dou metode de clasificare (clasificarea convenional bazat pe distana Euclidian i clasificare utiliznd o reea cu auto-organizare). Cele patru combinaii au fost testate pe o baz de date de imagini alb-negru, fiind realizat i un experiment pe o baz de date color folosind transformata Karhunen-Love n combinaie cu clasificarea convenional.

Portret

Selecia caracteristicilor

Clasificare

Decizie

Figura 1.1 Sistem de recunoaterea formelor

1. Metode de selecie a caracteristicilor

Selecia caracteristicilor este o problem cheie n recunoaterea imaginilor, afectnd puternic performanele clasificrii statistice. Selecia caracteristicilor este considerat ca un proces de transformare liniar sau neliniar a spaiului iniial al observaiilor ntr-un spaiu cu dimensionalitate redus. Aceast transformare este necesar deoarece unii algoritmi care sunt eficieni ntr-un spaiu cu un numr redus de dimensiuni pot deveni nepractici ntr-un spaiu cu mai multe dimensiuni. Pentru o singur clas, criteriul de selecie reflect eficiena transformrii n reducerea dimensiunii concomitent cu conservarea informaiei originale. n cazul mai multor clase, selecia caracteristicilor este funcie de eficiena lor privind separabilitatea claselor. Aceast separabilitate depinde att de repartiia claselor ct i de clasificatorul utilizat. Cele mai multe transformri utilizate pentru selecia caracteristicilor sunt liniare. Transformrile neliniare, dei mai dificil de implementat, promit s realizeze o eficien mai ridicat, exprimnd mai bine natura dependenei dintre caracteristicile semnificative i datele observate.

1.1. Analiza componentelor principale (PCA)

Analiza componentelor principale (Principal Component Analysis PCA) cunoscut i sub numele de Transformata KarhunenLove este o metod veche de peste un deceniu care realizeaz o decorelare a datelor. Este o metod eficient de selecie a caracteristicilor i n decursul timpului a devenit o metod de referin n recunoaterea imaginilor. Se consider cazul seleciei caracteristicilor pentru o singur clas. Selecia caracteristicilor unor repartiii individuale ajut la separarea acestor repartiii.

Fie X un vector aleator n-dimensional. Se caut o transformare ortogonal care s permit reprezentarea optim a vectorului X n raport cu criteriul erorii medii ptratice minime.

Fie K transformarea cutat:

K =(1, 2 ,..., n )T

(2.1)

unde i sunt vectori n-dimensionali, deocamdat nedeterminai. Se presupune n plus c vectorii coloan ai lui K formeaz un sistem ortonormat, adic:
1, T i j = 0, i = j i j

(2.2)

Fiecare vector X se transform n:

Y = K X = ( y 1, y 2 ,..., y n )T (2.3),

cu

yi = i X .
T

Relaiile (2.1) i (2.2) conduc la K K = K K

T

= In,

unde I n este matricea unitate n x n; rezult:

X = K Y = y i i
T i =1

(2.4).

Se vor reine numai m < n componente ale lui Y , restul de n - m componente fiind nlocuite cu constantele preselectate bi , astfel c se estimeaz X ca:

X (m ) = y i i +
i =1

i = m +1

i .

Eroarea corespunztoare acestei estimri este:

X (m ) = X X (m ) =

i = m +1

(y

bi ) i .

Vom considera criteriul erorii ptratice medii: Vom considera criteriul erorii ptratice medii:

2 (m) = E { X (m) } = E
2

i =m +1 j =m +1

(y

T bi ) ( y j b j ) i j

care, innd cont de relaia (2.2), devine 2 (m ) = E {( y i bi ) 2 } . Funcia eroare 2 (m ) se minimizeaz alegnd n mod adecvat i i

bi . Acest proces se realizeaz n dou etape:

A) Se minimizeaz 2 (m ) n raport cu bi , punnd condiia necesar

E {( y i b i ) 2 } = 2[E { y i } bi ] = 0 , b i
T

de

unde,

conform relaiei (2.3), deducem bi = E { y i } = i E { X } cu 1 i n . Atunci eroarea ptratic medie devine:

 2 (m ) =

i = m +1

T i

X i ,

unde X este matricea de covariaie a vectorului X , adic:

X = E {( X E ( X )) ( X E ( X ))T } .
B) Pentru a determina i optimali, se minimizeaz
T 2 ( m ) n raport cu i , adugnd restriciile i i = 1 pentru

1 i n . Se utilizeaz metoda multiplicatorilor Lagrange, care cere

minimizarea expresiei:

(m ) = 2 (m )

i = m +1

i ( i i 1) =
T

i =1+ m

T i

X i i ( i i 1)]
T

(2.5), n raport cu i , unde i sunt multiplicatorii Lagrange.

Se
T

ine

seama

i ( i X i ) = 2 X i
T

i ( i i ) = 2 i . Atunci din condiia i (e(m )) = 0 , rezult

X i = i i (2.6)
Ecuaia (2.6) arat c i este un vector propriu al matricei de covariaie

X ,

iar

este

valoarea

proprie

corespunztoare, pe care o notm cu i unde 1 i n . Introducnd relaia (2.6) n relaia (2.5), rezult

[ 2 ( m )] min =

i = m +1

(2.7)

Formula (2.4) se mai numete dezvoltarea KarhunenLove, iar transformarea definit de relaia (2.3) se numete transformarea Karhunen-Love. Problema minimizrii lui 2 ( m ) se numete n statistic analiz factorial (sau analiza componentelor principale). Observaii: a) Importana fiecrei caracteristici este determinat de valoarea proprie corespunztoare. Dac o caracteristic, de exemplu y i , este eliminat, atunci eroarea ptratic medie crete cu i . Aadar caracteristicile cu cele mai mici valori proprii trebuie eliminate primele. Dac valorile proprii (care sunt reale i pozitive deoarece matricea X este simetric) sunt indexate astfel: 1 > 2 > ... > n > 0 , atunci prioritatea reinerii caracteristicilor y i este n ordinea natural a indicilor; Dac Y = K X , atunci ntre matricile de X covariaie ale lui i Y exist relaia
Y = K X K . Pentru transformarea KarhunenLove deducem c Y are componentele necorelate, adic Y este o matrice diagonal i anume:
T

b)

Y = diag ( , ,..., n ) ; 1 2

c)

Vectorii proprii ai lui X minimizeaz 2 ( m ) pentru orice alegere a unor baze ortonormate de vectori.

Algoritmul de selecie a caracteristicilor este urmtorul: (1) Se determin matricea de covariaie

1 L T X i Rn unde Xi x Xi x , L i =1 imaginile de intrare aranjate sub forma unor vectori 1 L n-dimensionali (i = 1,..,L) i x = X i media L i =1 vectorilor de intrare; x =
(2) Se determin valorile proprii i (i = 1,..,L) ale matricii x (soluiile ecuaiei de mai jos) i se ordoneaz descresctor, se rein cele mai mari m valori dintre ele.

)(

x I n = 0 unde I n este matricea unitate ndimensional i este necunoscut; (3)

1, i = j T Fie ecuaiile x i = i , i j = i 0, i j cu 1,.., m , m+1,.., n vectorii proprii ai matricii x corespunznd valorilor proprii n ordine T K = (1 .. n ) descresctoare i matricea ortogonal corespunztoare. n urma reducerii la m T elemente, se obine matricea K ' = (1 .. m ) . Prin transformarea Karhunen-Love se obin vectorii Y ' i = K ' X i care sunt m-dimensionali, m < n dimensiunea iniial.
informaiei se poate bine

Eroarea de compresie a aproxima cu formula

m i =1 i 100% (2.8), = n i =1 i

unde

sunt valorile proprii ordonate descresctor, factorul de i conservare a energiei.

Analiza Componentelor Principale (PCA) este o metod statistic simpl pentru reducerea dimensionalitii (compresie) care a devenit probabil cea mai frecvent utilizat pentru realizarea recunoaterii portretelor. Vectorii proprii ar putea fi privii ca fiind un set de caracteristici generale ale variaiilor imaginilor din baza de date. Odat ce portretele sunt normalizate (aduse la o dimensiune standard), ele pot fi tratate ca vectori unidimensionali de valori de pixeli. Fiecare imagine are o reprezentare exact printr-o

combinaie liniar a acestor vectori proprii.

Aceast metod este sensibil la variaii ca scalare, iluminare, rotaie sau translaie i necesit o renvare complet a datelor de antrenare pentru a aduga noi subieci n baza de date.

1.2. Analiza discriminatorie liniar (LDA)

Analiza discriminatorie liniar (Fishers Linear Discriminant, Linear Discriminant Analysis - LDA), ca i analiza componentelor principale, este o metod statistic de selecie a caracteristicilor. Spre deosebire de PCA, unde se urmrete o proiecie n sensul maximizrii matricii totale de covariaie, aici se caut o proiecie n sensul maximizrii matricii de covariaie interclase SB i minimizrii matricii de covariaie cumulat din interiorul claselor SW. Mai exact LDA ncearc s gseasc cea mai bun direcie de proiecie n care vectorii de antrenare aparinnd n clase diferite sunt cel mai bine separai. Estimrile celor dou matrici sunt:
S B = Pr ( i ) i i
i =1 C

)(

(2.9)

S W = Pr ( i )
i =1

1 Ni

(X
Ni j =1

ij

i X ij i

)(

(2.10)

unde Pr(i) este probabilitatea apriori a clasei i, i este media clasei i, este media tuturor eantioanelor de antrenare, Ni este numrul eantioanelor din clasa i, Xij este eantionul j din clasa i, C este numrul de clase.

det (S B ) sau gsirea unei proiecii optimale astfel nct: det (S W )

Prin acest algoritm se urmrete maximizarea raportului

W opt = arg max

W S BW W SW W
T

= [W 1 W 2 ... W m ] (2.11)

Se demonstreaz n [1] c proiecia optimal se obine prin rezolvarea problemei de valori proprii:
S B W = S W W (2.12)

sau altfel spus gsirea valorilor proprii ale matricii S W S B . Algoritmul cedeaz atunci cnd matricea SW este degenerat (singular). O matrice degenerat este o matrice a crei determinant este zero. Acest lucru se ntmpl atunci cnd numrul vectorilor din lotul de antrenare este mai mic dect dimensiunea lor. Condiia care este necesar pentru ca Sw s nu degenereze este n + C N ; cu n dimensiunea vectorilor de antrenare, C clase i N vectori de antrenare. Aceast condiie nu este ndeplinit n majoritatea cazurilor reale. Exist mai multe metode pentru evitarea problemei singularitii printre care: metoda pseudo-inversei [2] prin care se nlocuiete SW cu pseudo-inversa sa; metoda perturbaiei se utilizeaz n [3] i [4] unde o matrice de perturbare este adugat la SW pentru a depii problema singularitii; n [5] este propus o metod de descompunere pe nivele bazat pe descompuneri proprii succesive ale matricei de covariaie totale ST i a matricei de covariaie ntre clase SB; n [6] i [7] se propune metoda spaiului nul, prin care spaiul iniial este proiectat n spaiul nul al lui SW, rezultnd o nou matrice de covariaie a fiecrei clase i apoi se aplic PCA pentru obinerea proieciei optimale s-a demonstrat n [8] c metoda este puternic dependent de dimensiunea spaiului nul a lui SW n sensul c o dimensiune mai mare duce la rezultate mai bune, rezultnd deci ca orice metod de reducere a dimensionalitii iniiale nu este recomandat. O metod foarte des utilizat pentru evitarea acestei probleme este metoda Fisherfaces.

Prin metoda Fisherfaces mai nti se aplic analiza componentelor principale pentru reducerea dimensionalitii, astfel nct n + C N , i apoi se aplic analiza discriminatorie liniar. Matricea de proiecie se obine deci:

W opt = W LDAW PCA (2.13),

W S BW W SW W
T T

unde W PCA = arg max W S T W i W LDA = arg max

T

Algoritmul de selecie a caracteristicilor Fisherfaces este urmtorul: (1) Se calculeaz mai nti matricea total de 1 L T ST = X i x X i x , unde covariaie L i =1 X i R n imaginile de intrare aranjate sub forma

)(

(2)

vectori n-dimensionali (i = 1,..,L) i 1 L x = X i media vectorilor de intrare; L i =1 Se determin valorile proprii i (i = 1,..,L) ale matricii S T (soluiile ecuaiei de mai jos) i se ordoneaz descresctor, se rein cele mai mari m valori dintre ele. S T I n = 0 unde I n este matricea unitate necunoscut; n-dimensional i

unor

este

(3)

1, i = j T Fie ecuaiile S T i = i i , i j = 0, i j cu 1,.., m , m+1,.., n vectorii proprii ai matricii ST corespunznd valorilor proprii n ordine T K = (1 .. n ) descresctoare i matricea ortogonal corespunztoare. n urma reducerii la m T elemente, se obine matricea K ' = (1 .. m ) .
Prin transformarea Karhunen-Love se obin vectorii Y ' i = K ' X i care sunt m-dimensionali, m < n dimensiunea iniial; Se determin matricea de covariaie inter clase

(4)

S B = Pr ( i ) i i
i =1

)(

i matricea de covariaie

cumulat

din

interiorul
ij

claselor

S W = Pr ( i )
i =1

1 Ni

(X
Ni j =1

i X ij i

)(

(5)

Se determin valorile proprii `i (i = 1,..,L) ale

matricii S W 1 S B (soluiile ecuaiei de mai jos) i se

ordoneaz descresctor, se rein cele mai mari m valori dintre ele. matricea unitate necunoscut; (6) Fie
S W 1 S B I m = 0 unde I m

este

n-dimensional

este

ecuaiile

S W 1 S B i = ` i , i

, 1 j = 0,

i= j i j

cu

` 1 ,.., `m ' , `m ' +1 ,.., `m

vectorii

proprii ai matricii

SW1 S B

corespunznd valorilor
T

proprii n ordine descresctoare i L = 1 .. 'm ` matricea ortogonal corespunztoare. n urma reducerii la m elemente, se obine matricea

L` = 1 .. 'm ' . Prin algoritmul Fisherfaces se ` obin vectorii Z 'i = L' Y i care sunt m-dimensionali, m < m dimensiunea iniial
Analiza discriminatorie liniar este o metod sensibil la variaiile de fundal, scalare, rotaie sau translaie ale imaginilor, descurcndu-se mai bine n cazul variaiilor de iluminare.