Curs 4

Modelul matematic al componentelor principale

Matematic, daca considerăm un vector de n variabile
originale , ACP constă în identificarea unei
transformări liniare maximizatoare de varianță prin aplicarea
căreia să se poată trece la un vector de p componente
principale care să conserve o
cantitate satisfăcător de mare din variabilitatea inițială.

Componentele principale pot fi scrise:

Matriceal, aceste relații pot fi transpuse în

ceea ce poate fi sintetizat prin:

,

Identificarea componentelor principale pornește de la

formularea problemei de maximizare a varianței acestora.
Daca matricea de covarianță a variabilelor inițiale este Σ,
atunci varianța componentei principale zi, poate fi scrisă:
,

unde este al i-lea vector coloana al matricei A.

- pentru construirea lui zi, este nevoie de identificarea

vectorului care îi asigură un nivel maxim de
variabilitate.
- întrucât multiplicarea lui cu un scalar ar duce la
obținerea unui nou nivel maxim, este necesară
impunerea unei condiții pentru identificare:
 - componenta principală continuă însă să nu fie unic
identificată din perspectiva semnului
.
- Impunerea acestei condiții implică de fapt considerarea
unor vectori de lungime unitară – cu norma egala cu
1.

Problema de maximizat poate fi descrisă astfel:

Pentru rezolvarea acesteia, se construiește Lagrangeanul:

 și se impun condițiile necesare de extrem:

Calculând derivatele parțiale se obține:

și deci
 - Întrucât Σ este o matrice pătratică, iar λi un scalar,
(diferit de vectorul nul) este vector propriu al matricei de
varianță-covarianță Σ.
- Așadar, λi este valoarea proprie asociată vectorului
propriu și este rădăcină a ecuației caracteristice

- λi reprezintă și varianța componentei principale zi.

Pornind de la relația de mai sus și înmulțind cu la
stânga, se obține:

Aranjând descrescător valorile proprii, λ1> λ2>.....> λn,

componenta principala Z1 se construiește cu ajutorul
vectorului propriu asociat valorii proprii celei mai mari, λ1.
 - Vectorii proprii sunt ortogonali doi cîte doi,
, și astfel si componentele principale construite cu
ajutorul lor moștenesc această proprietate:
.
- Matricea A, care are pe coloane vectorii proprii, α(i),
ortogonali și de normă 1, este o matrice ortonormală,
având proprietatea că și .
- Matricea de covarianță a componentelor principale,

poate fi scrisă ca
 sau
Pornind de la teoria vectorilor și valorilor proprii pot fi
enunțate două proprietăți referitoare la relația dintre
matricea Σ și valorile proprii:
(i) urma matricei Σ este egală cu cu suma valorilor proprii
și;
(ii) determinantul matricei Σ este egal cu produsul valorilor
proprii .
Aceste proprietăți ilustrează capacitatea componentelor
principale de a conserva variabilitatea spațiului inițial de
variabile:
- urma matricei Σ este egala cu suma elementelor de pe
diagonala sa, deci reprezintă varianța totala a variabilelor
 inițiale și determinantul ei reprezintă varianța
generalizată iar,
- varianța totală a componentelor principale este egală cu
suma valorilor proprii, și varianța lor generalizată este
determinantul matricei Λ, deci produsul lor.
 - Cantitatea de informație descrisă de o componentă
principală zi este egală cu raportul dintre valoarea proprie
asociată ei și varianța totală a componentelor principale
sau, implicit, a variabilelor inițiale.

Iar procentului din varianță reținut de cele p componente

principale:
Proprietățile componentelor principale
1. Sunt combinații liniare de variabile inițiale;
2. Dacă variabilele inițiale sunt distribuite după legea
normală și componentele principale vor avea aceeași
distribuție; ,Z
3. Numărul lor este egal cu cel al variabilelor inițiale;
4. Au varianțele distribuite descrescător (λ1> λ2>.....> λn),
prima componentă principală având varianța maximă, iar
ultima, varianța cea mai mică;
5. Conservă varianța totală și varianța generalizată a
variabilelor originale (VTz=VTx și VGz=VGx);
6. Sunt necorelate între ele ( ,
iar în termeni vectoriali formează un sistem ortonormal
(sunt ortogonale și suma pătratelor coeficienților cu
ajutorul cărora sunt construiți este egală cu 1).

Valorile pe care le iau variabilele zi poartă denumirea de

scoruri principale și ele reprezintă coordonatele obiectelor
în sistemul de axe format de componentele principale.

Aplicarea analizei componentelor principale

ACP se aplică asupra matricei de covarianță a variabilelor
inițiale este comună aplicarea sa și asupra matricei
coeficienților de corelație dintre acestea.
- Utilizarea matricei de corelație este justificată de
existența unor variabile cu unități de măsură diferite
acestea afectând covarianța și varianța, iar componentele
obținute ar fi lipsite de semnificație, însă nu și coeficienții
de corelație.
- Folosirea matricei de corelație este utilă atunci când
unele dintre variabile au varianțe ridicate și astfel ar fi
dominante în construirea componentelor principale pe
baza matricei de covarianță.
- Echivalentul utilizării matricei de corelație este
standardizarea în prealabil a variabilelor inițiale, și
aplicarea ACP asupra matricei de covarianță a acestora
(pentru variabile standardizate covarianța și coeficienții
de corelație sunt egali).
Rezultatele ACP vor fi diferite în funcție de matricea
folosită, vectorii și valorile proprii diferind între cele două
matrice. Dacă ACP se aplică asupra datelor standardizate,
rezultatul său poartă numele de componente principale
normalizate.
Alegerea numărului de componente principale
Criterii:
1. Criteriul cantității de informație – alegerea unui
număr mic de variabile care să asigure o bună
reprezentare a variabilelor inițiale cu condiția ca
procentul din varianța totală reținut de acestea să fie
suficient de mare. Alegerea pragului peste care varianța
 conservată este considerată satisfăcătoare este la
latitudinea celui care realizează analiza, o cantitate de 70-
75% din informații fiind uneori suficientă, alteori
pierderea a 25-30% din variabilitate fiind considerată
prea mare;
2. Criteriul lui Kaiser – păstrarea acelor componente
principale ale căror varianțe sunt mai mari decât media.
În cazul folosirii datelor standardizate sau a aplicării ACP
asupra matricei de corelație, nivelul cu care vor fi
comparate valorile proprii este 1 (nivelul mediu al
varianței);
3. Criteriul granulozității (Screeplot) – acest criteriu
presupune analizarea graficului construit pe baza valorilor
proprii ale matricei de varianță-covarianță Σ și
 identificarea unui punct de inflexiune. Spre exemplu,
dacă până la valoarea proprie λ3 graficul a avut o pantă
lent descendentă, dar între λ3 și λ4 coborârea este
abruptă și urmată de o evoluție relativ constantă între
următoarele valori proprii, numărul de componente
principale selectate va fi egal cu 3. Explicația pentru
această alegere este că plusul informațional adus
începând cu componenta 4 este foarte mic, aproape
nesemnificativ, în comparație cu variabilitatea conservată
de primele 3 componente.

Corelația dintre variabilele inițiale și componentele

principale
- Analiza corelațiilor dintre variabilele inițiale oferă un indiciu
cu privire la numărul de componente principale prin care
poate fi sumarizat eficient setul de date - nr de
componente principale reținut va fi egal cu numărul de
grupe de variabile puternic corelate.
- prin investigarea corelațiilor dintre componentele
principale și variabilele inițiale, și prin examinarea
coeficienților cu care variabilele inițiale intră în construcția
lor, componentelor principale li se poate atribui un sens
concret.

Matricea factor
- ilustrează intensitatea legăturii dintre variabilele inițiale
și componentele principale
- conține coeficienții de corelație dintre vectorii x și z fiind
utilă în interpretarea componentelor principale.
Matricea factor poate fi scrisă ca:

iar,

unde și , variabilele fiind centrate

înainte de aplicarea ACP.
Așadar,
.
vectorul z este:
unde A este o matrice ortogonală, asa încât și
deci z
Înmulțind cu A la dreapta, x poate fi scris drept:
.
Înlocuindu-l mai sus, obținem:
,
iar matricea factor poate fi scrisă ca:
 = coeficienții de corelație dintre variabilele
inițiale și componentele principale, sunt importante în
contextul identificării semnificației componentelor
principale.
- Cu cât un coeficient este mai ridicat, cu atât contribuția
variabilei respective la construcția componentei
principale este mai importantă.
- când ACP se aplică pe variabile standardizate, matricea
de varianță a variabilelor inițiale va fi matricea identitate
și, astfel, matricea factor (Fs pentru variabilele
standardizate) poate fi scrisă drept:

iar elementele sale sunt de forma ,

- suma pătratelor acestor coeficienți pe fiecare coloană
este egală cu varianța componentei principale respective:
Valorile arată intensitatea legăturii dintre fiecare
variabilă și componentele principale, iar contribuția pe
care variabilele o au la construcția componentelor
principale este ilustrată de coeficienții (vectorii proprii
ai matricei de covarianță Σ) – acestea fiind cele două
categorii de elemente a căror analiză oferă componentelor
principale interpretabilitate.