Sisteme de Recunoatere a Formelor

- curs -

CUPRINS
1. CONCEPTE FUNDAMENTALE ALE TEORIEI RECUNOATERII FORMELOR.................................................3
1.1. CE ESTE RECUNOATEREA FORMELOR?............................................................................................................................3
1.2. SPAIUL FORMELOR..........................................................................................................................................................3
1.3. MODURI DE ABORDARE A PROBLEMATICII RECUNOATERII FORMELOR...........................................................................3
1.4. CARACTERISTICILE UNUI SISTEM GENERAL DE RECUNOATEREA FORMELOR..................................................................4
1.4.1. Translatorul..............................................................................................................................................................4
1.4.2. Selectorul de caracteristici.......................................................................................................................................5
1.4.3. Clasificatorul............................................................................................................................................................5
2. PRINCIPIILE GENERALE ALE TEHNICILOR DE RECUNOATERE A FORMELOR.......................................7
2.1. INTRODUCERE...................................................................................................................................................................7
2.2. METODE TEORETICE DECIZIONALE...................................................................................................................................8
2.2.1. Vectori de form i spaiul formelor.........................................................................................................................8
2.2.2. Tehnici de decizie i clasificare................................................................................................................................9
2.3. RECUNOATEREA NECONTROLAT. TEHNICI DE GRUPARE.............................................................................................15
2.4. TEHNICI DE NVARE....................................................................................................................................................17
3. METODE DE CLASIFICARE BAZATE PE OPTIMIZAREA UNEI FUNCII CRITERIU...................................19
3.1. GENERALITI................................................................................................................................................................19
3.2. DISIMILARITATE. NORMALIZAREA DATELOR..................................................................................................................19
3.2.1. Msuri de disimilaritate.........................................................................................................................................19
3.2.2. Normalizarea datelor..............................................................................................................................................22
3.3. MSURI DE SIMILARITATE...............................................................................................................................................22
3.3.1. Msuri de similaritate pentru vectori binari..........................................................................................................23
3.4. FUNCIA CRITERIU.........................................................................................................................................................24
3.5. ALGORITMI DE CLASIFICARE ITERATIV.........................................................................................................................25
3.5.1. Algoritmul n-medii..................................................................................................................................................25
3.5.2. Algoritmul ISODATA..............................................................................................................................................28
4. ANALIZA DISCRIMINANT..........................................................................................................................................31
4.1. AXE DISCRIMINANTE.......................................................................................................................................................31
4.2. MATRICI DE IMPRTIERE PENTRU N CLASE...................................................................................................................34
4.3. AXE DISCRIMINANTE PENTRU N CLASE...........................................................................................................................35
4.4. ANALIZA COMPONENTELOR PRINCIPALE.........................................................................................................................37
5. PARTIII NUANATE FUZZY.......................................................................................................................................42
5.1. CONCEPTE.......................................................................................................................................................................42
5.2. CLASIFICARE CU PARTIII FUZZY. PRINCIPII...................................................................................................................43
5.3. FUNCTIA CRITERIU. ALGORITMUL N-MEDII FUZZY.........................................................................................................43
5.3.1. Interpretarea unei partiii fuzzy..............................................................................................................................46

Capitol 1
1. Concepte fundamentale ale teoriei recunoaterii formelor
1.1. Ce este recunoaterea formelor?
Prin recunoaterea formelor se nelege n mod obinuit acel ansamblu de metode i tehnici cu
ajutorul cruia se poate realiza o clasificare n cadrul unei mulimi de obiecte, procese sau fenomene.
Setul de obiecte, procese sau fenomene care urmeaz a fi clasificate pot fi obiecte (fenomene) fizice
sau structuri intelectuale, prin acestea nelegnd ansamblul concretizat de procese legate de o activitate
intelectual coerent (scris, vorbit, etc)
Scopul recunoaterii formelor const n determinarea clasei din care face parte o colecie de
observabile. Metoda este deosebit de util atunci cnd abordarile directe sunt imposibile sau cnd
inferenele teoretice lipsesc.
Stabilirea numrului de clase n care se mpart formele este o problem particular care depinde
exclusiv de aplicaiile concrete ale metodei.
1.2. Spaiul formelor
Conceptul fundamental al teoriei recunoaterii formelor este urmtorul:
Un obiect sau un fenomen variabil, Xj, este descris (caracterizat) printr-un set de n caracteristici
xij (i=1,,n). Toate aceste n caracteristici ale unui obiect formeaz o form.
Mulimea x={Xj}j=1,m poart denumirea de spaiul formelor. Deci un obiect (form) X poate fi
reprezentat printr-un punct X(x1,,xn) n spaiul formelor.
O problem este aceea a raportului dintre numrul de forme luate n considerare, m, i numrul
de dimensiuni al spaiului formelor, n, adic raportul m/n dintre numrul maxim de obiecte din setul
respectiv, m, i numrul de caracteristici, n, aferent fiecruia dintre obiecte. Dac numrul de forme, m,
este mai mic, egal sau numai puin mai mare dect numrul de caracteristici atunci discriminarea dintre
forme i atribuirea lor la diferitele clase posibile este un proces pur aleator.
n general, se consider c acest raport m/n, pentru orice aplicaie de recunoaterea formelor,
trebuie s ndeplineasc urmtoarele condiii:
(i)
(ii)

m
3,
n
m
10, ,
n

(1.1)

unde m reprezint numrul de forme, iar n este numrul de caracteristici independente (numr de
dimensiuni).
Condiia (i) reprezint minimum necesar pentru o clasificare binar, n timp ce condiia (ii) este
de dorit n aplicaiile concrete ale tehnicilor de recunoaterea formelor.
1.3. Moduri de abordare a problematicii recunoaterii formelor
Pentru rezolvarea problemelor de recunoatere a formelor au fost propuse i utilizate o mare
varietate de tehnici matematice din teoria informaiei, statistica matematic, teoria deciziei, geometrie,
etc. , de fapt dou maniere diferite de abordare a problematicii acestui domeniu:
1. Abordarea statistic (numit i decizional - teoretic) i
3

2. Abordarea sintactic (sau lingvistic).

n cadrul metodelor de recunoaterea formelor decizional-teoretice, din forme sunt extrase un
set de msurtori caracteristice, denumite caracteristici. Recunoaterea fiecrei forme (atribuirea
formei la o clas specific) se face, de obicei, prin partiionarea spaiului formelor, denumit i spaiu
caracteristicilor.
Clasificarea formei de intrare se face pe baza unor caracteristici ale formei astfel nct s se
poat presupune, cu un coeficient de siguran ct mai mare, c ele sunt invariante, independente una
fa de alta i mai puin sensibile la variaii i deformri. n legtur cu acestea se pune problema
selectrii obiective a celor mai semnificative caracteristici precum i cea a clasificrii (adic a lurii
deciziei pentru a atribuii claselor formelor de intrare respective).

1.4. Caracteristicile unui sistem general de recunoaterea formelor

Un sistem de recunoatere a formelor trebuie s asigure, corect i eficient observarea,
transformarea, prelucrarea preliminar (selectarea) i clasificarea eantionului de date.
Elementele eseniale ale unui sistem general de recunoaterea formelor sunt urmtoarele:
translatorul, selectorul de caracteristici (care realizeaz o prelucrare preliminar) numit i preprocesor,
sau extractor de caracteristici i clasificatorul (Fig. 1.4-1). Dei aceste 3 subuniti sunt
interdependente, n cele ce urmeaz le vom prezenta separat.

INTRARE

TRANSLATOR

Fig. 1.4-1 Sistem

Selector de
caracteristici

Clasificator

IEIRE

general de recunoatere a formelor

1.4.1. Translatorul
Translatorul transform i transfer informaiile din lumea real n spaiul formelor ntr-o form
compatibil cu modul de reprezentare din calculatoarele electronice. n consecin datele primare,
rezultat al observaiei sunt transformate ntr-un ir de mrimi scalare care formeaz vectorul de form
n-dimensional. Fiecare component xi a vectorului de form X reprezint o cantitate fizic msurabil;
este foarte important ca ea s surprind esena datelor primare.
Modul de implementare al translatorului depinde exclusiv de natura datelor primare. Dac
acestea sunt constituite dintr-o succesiune de valori msurate la intervale de timp, cum sunt traseele
EEG, atunci sunt necesare procedee de eantionare n timp, pe cnd dac ele sunt funcie de frecven,
cum sunt de exemplu spectrele n infrarou ale compuilor chimici, atunci trebuie dezvoltate procedeele
de eantionare a frecvenei (respectiv numerelor de und). n cazul imaginilor sunt luate n considerare
suprafeele mai luminoase sau mai ntunecate, muchiile sau formele geometrice. Aceasta este o
problem ceva mai complicat i, de aceea , au fost propuse o serie de metode pentru reducerea
complexitii imaginilor la un ir de msurtori.
O situaie fericit, n care translatorul nu mai este necesar, apare atunci cnd informaiile din
lumea real sunt exprimate numeric (de exemplu, n cazul spectrelor de mas).
4

Vectorii de form dezvoltai de translator constituie mrimile de intrare pentru selectorul de

caracteristici.
1.4.2. Selectorul de caracteristici
Scopul selectorului de caracteristici const n prelucrarea vectorilor de form n aa fel nct
procedeul de clasificare s fie optimizat.
Selectorul de caracteristici (denumit i extractor de caracteristici sau preprocesor) accept ca
mrimi de intrare vectorii de form produi de translator i opereaz asupra lor transformndu-i pentru
a elimina sau, cel puin, pentru a reduce cantitatea de informaie irelevant sau ambigu meninnd n
vectori suficient informaie pentru a putea discerne ntre diferitele clase de forme i descoperi
invarianele dintre formele aceleiai clase.
Pentru realizarea acestor deziderate au fost propuse i utilizate o mare varietate de metode.
Una dintre cele mai simple metode pentru prelucrarea vectorilor de form const n normarea
acestora. O astfel de normare implic egalarea sumei componentelor fiecrui vector de form (respectiv
suma ptratelor componentelor lor) cu o constat arbitrar convenabil aleas. Un alt procedeu, mult mai
sofisticat, care utilizeaz matricea de covarian duce, n final, la o ecuaie matricial din care se obin
vectorii proprii i valorile proprii ( procedeul numit analiza componentelor principale sau analiza
Karhuneu-Loeve).
Pentru prelucrarea vectorilor de form i selectarea celor mai reprezentative caracteristici au
fost utilizate i o serie de transformri mult mai complexe, cum ar fi transformata Fourier.
Pentru identificarea caracteristicilor mai importante au fost utilizate forme model sau prototip,
s-au dezvoltat i implementat tehnici interactiv, implicnd repreyentri grafice i rutine speciale de
comparare, s-au calculat parametrii statistici, cum sunt momentele sau histogramele direct din forme.
Aceast etap este esenial, de ea depinde succesul sau insuccesul oricrui studiu de
recunoatere a formelor.
1.4.3. Clasificatorul
Sarcina oricrui clasificator este, n general, urmtoarea: avnd dat o mulime de vectori de
form prelucrai corespunztor, numit set de formare, se pune problema determinrii unei funcii de
decizie f(X) astfel nct dac:
f(X) > 0 atunci X aparine clasei 1
f(X) >= 0 atunci X aparine clasei 2

(1.2)

Aceast etap n care este determinat funcia de decizie f(X) este cunoscut sub numele de faz
de formare (formarea), de adaptare sau uneori de nvare. Scopul urmrit este minimalizarea
probabilitii de eroare n procesul de clasificare.
Conceptul de clasificare a formelor poate fi neles ca o partiionare a spaiului formelor, x
={X} prin atribuirea fiecrui vector X sau punct X (x1, ,xn) la o clas de forme corespunztoare n
regiuni reciproc exclusive, fiecare regiune corespunznd unei clase de forme particular. Din punct de
vedere matematic problema clasificrii poate fi formulat sub forma funciilor de decizie discriminate.
Fie 1, 1,.p cele p clase distincte posibile care urmeaz a fi recunoscute cu
X = 1 U 2 U .Up,
1 2 p = Fd
(1.3.)

i fie X=|xi |i=1,n vectorul de form, xi reprezentnd a i-a caracteristic reprezentativ. Atunci funcia de
decizie discriminant f(X)=Dj (X) asociat clasei de forme j, j=1,,p, astfel nct dac forma de intrare
reprezentat prin vectorul X, respectiv punctul X, este n clasa i, fapt pe care-l vom nota prin Xi ,
valoarea lui Di(X) trebuie s fie cea mai mare, adic pentru toi Xi vom avea satisfcut relaia:
Di(X) > Dj(X),

i, j =1,,p.

(1.4)

n felul acesta, n spaiul formelor x frontiera partiiei, denumit limita de decizie, dintre
regiunile corespunznd claselor i i respectiv, j, poate fi definit prin urmtoarea relaie:
Fd= Di(X)-Dj(X) = 0
(1.5)
n figura 2.8. este reprezentat modelul unui clasificator care utilizeaz funciile discriminant.
Forma de intrare este analizat conform relaiei (1.4), clasificatorul furniznd drept ieire indicele k
aparine {1,2,,p} corespunztor clasei k din care face parte forma respectiv X.
D1
X

MAX

D2

Dp
Fig. 1.4-2 Modelul clasificatorului ce utilizeaz funcia discriminant
Pentru determinarea funciilor discriminant neparametrice setul de formare trebuie s fie mare
i, de asemenea, reprezentativ pentru a permite estimarea acestora din funciile de probabilitate.

Capitol 2
2. Principiile generale ale tehnicilor de recunoatere a formelor
2.1. Introducere
Recunoaterea formelor are ca obiect clasificarea unui set (mulime) de obiecte, procese sau
evenimente, indiferent care ar fi natura lor. De exemplu, acestea pot fi obiecte i fenomene fizice sau
stri fiziologice i mintale. Setul de msurtori indirecte cu ajutorul creia este descris sau caracterizat
un obiect poart numele de form. Numrul de tipuri (clase) de forme este determinat de aplicaia
concret, particular. Astfel, dac de exemplu se pune problema recunoaterii caracterelor alfabetice
(alfabetul romn) vom avea o problem de clasificare cu 27 de clase, pe cnd n cazul n care se
urmrete discriminarea ntre caracterele latine i cele chirilice problema de clasificare va avea doar
dou clase. De fapt clasificarea formelor constituie un proces fundamental care apare att n cadrul
activitilor umane curente ct i n majoritatea ramurilor tiinei.
Modelele matematice utilizate pentru rezolvarea problemelor de recunoatere a formelor pot fi
grupate n dou mari categorii:
metode teoretice-decizionale (sau statistice)
metode sintactice (sau lingvistice).
n cazul metodelor teoretice-decizionale procesul de clasificare se bazeaz pe un set de
msurtori selectate din forma de intrare, numite caracteristici.
n cazul metodelor sintactice de recunoatere a formelor, numit uneori i recunoatere
structural, procesul de clasificare ine cont i de informaia structural care caracterizeaz fiecare
form. Ca urmare procesul de recunoatere nu se limiteaz doar la clasificarea formei respective ci el
include i metode capabile s descrie acele aspecte ale formelor care le fac s nu poat fi atribuite altor
clase.
Recunoaterea formelor const din urmtoarele dou aspecte importante:
1. Extragerea caracteristicilor eseniale pentru procesul particular de clasificare. n mod
obinuit decizia care se ia n aceast etap este relativ subiectiv i depinde de considerente
practice cum ar fi: accesibilitatea execuiei msurtorilor, costul acestora, etc. Din
nefericire, la ora actual nu exist o teorie ct de puin general asupra procesului de selecie
a celor mai reprezentative caracteristici. Criteriile care stau la baza procesului de selectare a
caracteristicilor i de ordonare a acestora se bazeaz fie pe importana lor n caracterizarea
formelor, fie pe contribuiile pe care le aduc la performanele recunoaterii (de exemplu
acurateea clasificrii).
2. Clasificarea propriu-zis, adic luarea deciziei privind apartenena formelor la o clas.
Metodele matematice folosite n acest scop sunt adeseori denumite clasificatori. n figura
Fig.2.1. prezentm schema bloc a unui sistem de recunoatere a formelor.

r1
r2

LUMEA
FIZIC
(REAL)

X1

X1

rR

X2

SELECTOR

X2

TRANSLATOR

XR

CLASIFI
CATOR
IEIRE

XNj

Fig.
Error
! No
text

Nj<R

Fig 2.1. Schema bloc a unui sistem de recunoatere a formelor.

Din figur se observ existena unei reacii utilizate pentru reluarea procesului de selectare a
caracteristicilor i clasificare pn cnd este ndeplinit un anumit criteriu ales de utilizator.
2.2. Metode teoretice decizionale
Sunt cunoscute dou moduri de abordare a procesului de recunoatere a formelor. Primul mod
cunoscut sub numele de recunoatere controlat presupune existena unui set de forme a cror
apartenen la clas este cunoscut. Acest set este mprit n dou pri: setul de formare utilizat pentru
a dezvolta un clasificator (ce utilizeaz, de exemplu, matricea distanelor dintre forme) care s
recunoasc ct mai bine apartenena formelor din set la clasele corespunztoare i setul de predicie pe
care clasificatorul format este evaluat (testat). Clasificatorul astfel dezvoltat este utilizat n continuare
pentru stabilirea apartenenei unei forme necunoscute la o clas.
Cel de-al doilea mod cunoscut sub numele de recunoatere necontrolat nu face apel la o
cunoatere prealabil a apartenenei formelor la o clas. Metoda dezvolt algoritmi care permit n
cursul execuiei acestora construirea claselor pe msur ce formele analizate sunt luate n considerare.
Un caz particular al metodelor teoretice decizionale l constituie tehnicile de nvare. Acestea
utilizeaz un set de forme a cror apartenen la clase este cunoscut. Setul este utilizat n mod iterativ
de un algoritm care construiete coeficienii clasificatorului, corespunztor tipului de problem (fr a
utiliza matricea distanelor dintre forme).
2.2.1. Vectori de form i spaiul formelor
Fiecare caracteristic poate fi considerat ca fiind o variabil ntr-un spaiu n-dimensional unde
fiecare caracteristic este atribuit unei dimensiuni. Fiecare form apare ca un punct n spaiul formelor.
Cnd o form este descris de mai multe caracteristici ea poate fi privit ca un vector X, denumit
vectorul de form. Acest vector este dat de relaia:

x1
x
2

(2.1)

..

xn

unde xi, i= 1,, n reprezint cele n caracteristici.

Spaiul formelor notat cu X poate fi descris cu ajutorul relaiei

X x x . x
'
X2 x21 x2 . x2n ,
X
. .

' x x .x
Xm m1 m2 mn
'
1 1 12 1n

(2.2)

unde Xi desemneaz vectorul transpus al lui X, iar m numrul de forme.

2.2.2. Tehnici de decizie i clasificare
Conceptul de clasificare al formelor poate fi neles ca o partiionare a spaiului caracteristicilor
acestuia. Clasificarea formelor, adic atribuirea fiecrui vector posibil sau punct din spaiul
caracteristicilor clasei din care face parte, poate fi interpretat ca o partiionare a acestuia n regiuni
(domenii) reciproc exclusive, fiecare domeniu aparinnd unei clase de forme particulare. Din punct de
vedere matematic acest gen de problem de clasificare poate fi definit sub forma unei funcii
discriminant. Astfel fie 1, 2,m cele m clase de forme posibile cu proprietile:
9

1
i

2 m= X,

(2.3)

1 2 m = F.
Unde cu F s-a notat mulimea care constituie frontierele dintre clase, iar cu X s-a notat vectorul
de form. n acest caz funcia discriminant Dj(X) asociat clasei de forme j, j =1,, m are proprietatea
c dac forma reprezentat prin vectorul X face parte din i, fapt pe care-l vom simboliza Xi, cu i
specificat, atunci valoarea lui Di(X) trebuie s fie cea mai mare, adic pentru toi Xi va fi ndeplinit
condiia
Di(X) > Dj(X); i,j = 1, , m, ij.
(2.4)
n felul acesta limitele de partiionare ale spaiului caracteristicilor (desemnate anterior cu F),
denumite i limite de decizie, pot fi exprimate cu ajutorul relaiei
F = Di(X) Dj(X) = 0; i, j=1,,m, ij
(2.5)
Au fost propuse foarte multe forme pentru funcii discriminant D i(X), forme ce satisfac condiia
(2.4). dintre acestea vom meniona n continuare doar pe cele mai importante.
2.2.2.1.Funcii discriminant liniare
ntr-un spaiu bidimensional aceste funcii sunt liniare i pot fi scrise sub forma:
x1-mx2-b=0,
sau
W1x1+W2x2+W3x3=0
(2.6)
unde:
m - este coeficientul unghiular,
b - termenul liber,
iar W1= 1, W2= -m i W3= -b.
ntr-un spaiu n- dimensional funciile sunt hiperplane de forma:
W1x1+W2x2+.+Wnxn+Wn+1= 0

(2.7)

n acest caz funcia discriminant Di(X) asociat clasei de forme i reprezint o combinaie
liniar a caracteristicilor xi, i =1,,m, dat n relaia:
n

Di(X)=

k 1

Wi,kxk+ Wi,n+1 , I =1,,m

(2.8)

Ecuaiile hiperplanelor date de relaia (1.8), pentru m clase de forme, pot fi scrise matriceal
astfel:

D(X)= W X

Unde:

10

 x1
x
2

W1,1 . . W1,n1

Wm,1 . . Wm,nm

X

xn
1

(2.9)

n vectorul X s-a introdus suplimentar termenul 1 pentru a da posibilitatea efecturii operaiei

de nmulire.
Limita de decizie dintre regiunile x corespunztoare claselor i i j este de forma:
n

Di(X) Dj(X) =

Wkxk+Wn+1 ; k = 1...n;

(2.10)

k 1

unde:
Wk=Wi,k Wj,k
i
Wn+1=Wi,n+1-Wj,n+1.
Ecuaia (2.10) reprezint ecuaia unui hiperplan din spaiul caracteristicilor x, numit i plan de
decizie. Pentru a ilustra modul de utilizare a funciilor discriminant liniare prezentm un exemplu n
care avem dou forme ntr-un spaiu bi-dimensional. Fie formele X1 i X2 date de:

1
4
X1 X 2
4
2
i

i funcia de decizie D(X) = 0 dat de relaia:

D( X ) x1 0,5 x2 2 0
Relaia de mai sus poate fi scris sub forma:

11

 x1

D( X ) W X 1;0,5;2 x2 0
1
Dac nlocuim pe X1 i X2 n D(X), obinem:

D( X1) W X ;1 0,5;2 4 1 2 3 3
1
i respectiv

D( X 2 ) W X 1;0,5;2 2 4 1 2 1
1
Pentru orice punct aflat deasupra lui D(X) = 0, D(X) este pozitiv i negativ pentru punctele de
sub dreapt. Astfel, pentru cazul a dou clase, polaritatea n evaluarea lui D(X) determin la care clas
aparine forma dat (Fig. 1.2-1).

12

X2
4

D(X)=0
3

X1

2
1

Fig. 2.2-3Funcia de decizie liniar n dou dimensiuni.

n cazul n care este necesar discriminarea pentru mai mult de dou forme sunt necesare dou
sau mai multe funcii de decizie. Pentru aceast situaie exist trei tipuri de clasificatori.
i)
Tipul 1 utilizeaz o funcie de decizie care mparte spaiul formelor n dou clase. Prima
clas notat cu i conine o singur form, iar cea de a doua clas conine restul
formelor. Pentru a asigura apartenena unei forme la clasa i este suficient s fie
ndeplinit condiia Di(X)>0 i Dj(X)<0 pentru toi i, j. Pentru n clase sunt necesare n
funcii de decizie.
ii)

Tipul 2 utilizeaz funcii de decizie care separ spaiul formelor n dou regiuni. Prima
regiune conine dou clase, iar cea de-a doua restul claselor. Separarea celor dou clase
i i j se face cu ajutorul unei funcii de decizie de forma Dij(X) = 0. Apartenena unei
forme la clasa i sau j este asigurat dac Dij(X) > 0.

iii)

Tipul 3 reprezint un caz special al tipului 2 de clasificare. Din analiza figurilor 2.2-2a i
2.2-2b se observ prezena unui spaiu nedeterminat care apare n interiorul triunghiului
format din cele trei drepte corespunztoare funciei de decizie. Punctele din interiorul
acestui triunghi nu pot fi atribuite la nici una din cele trei clase. Pentru a elimina aceast
nedeterminare, funcia de decizie de tipul 2, Dij(X) = 0 este nlocuit cu Di(X)-Dj(X) = 0,
unde Di(X) i Dj(X) sunt funcii de decizie de tipul 1. Pentru ca o form s fie atribuit
clasei i este necesar, n acest caz, ndeplinirea condiiei D i(X)>Dj(X) pentru toi ji
(vezi fig. 2.2-2c).

13

X1

- +

+Fi

g.
Er
ro
r!
N
o

X1

D3=0

Fi
g.
1 Er
ro
r!
N
o
2te
xt
of
sp
aec

+
-

D23=0

D23=0

D1=0

D13=0

D12=0

1
D12=0

3
D2=0

Fig. 2.2-4 Funcii

X2

D13=0

X2

X2

de decizie multi-categorie: a-tipul 1; b-tipul 2; c-tipul 3.

Dac clasele pot fi separate utiliznd tipul 1 de clasificare, regiunile n care este prezent
clasele vor fi mai compacte, fapt care conduce la o mai bun identificare a claselor dect n cazul
utilizrii tipului 2 sau 3 de clasificare. In schimb, ns, regiunea de nedeterminare este mare. Dac n
aplicaia practic apar forme n regiunea de nedeterminare rezultate n urma aplicrii tipului 1 de
clasificare, poate fi ncercat utilizarea tipului 2 de clasificare, n care regiunea de nedeterminare este
mai mic sau a tipului 3 (tipul 3 de clasificare are dezavantajul c timpul de calcul este mare)
2.2.2.2.Clasificatorul de distan minim
O important clas de clasificatori se bazeaz pe valoarea distanelor dintre forma de intrare i
un set de vectori de referin sau puncte prototip din spaiul caracteristicilor (prototipurile sunt forme a
cror apartenen la clase este cunoscut). Dac vom presupune c sunt cunoscui m vectori de
referin, notai cu R1, R2,Rm, cu Rj asociat clasei j , atunci clasificatorul de distan minim va
atribui forma de intrare X clasei i dac distana dintre aceasta i vectorii de referin este minim,
adic X i dac d = X-Ri = minim.
(2.11)
Considerm dou grupe de puncte distincte n spaiul formelor i ne propunem s determinm
funcia de decizie care va putea separa spaiul formelor n dou regiuni care vor corespunde celor dou
clase. Iniial vom determina vectorii de referin pe care i vom considera reprezentnd centrele celor
dou grupri de puncte. Valoarea punctelor prototip poate fi calculat cu o relaie de forma :
N

R 1 / N X i

(2.12)

i 1

unde N reprezint numrul de forme dintr-o grupare. Distana dintre o form X i centrul gruprii R (R
este de forma R = (r1, r2,,rm)) este dat de relaia d = X-R. Dac considerm c cele dou grupri se
afl ntr-un spaiu bi-dimensional, atunci d va avea urmtoarea form :
d2 = (x1 - r1)2 +(x2 - r2)2 = x12 - 2x1r1 + r12 + x22 - 2x2r2 + r22.
In cazul cnd avem mai mult de dou clase, distana dintre o form X i R i al gruprii i este dat
de :

d i2 X Ri X X 2 X Ri Ri Ri
2

(2.13)
Deoarece X X este aceeai pentru toate clasele, el poate fi eliminat. Dac nmulim relaia
(1.13) cu 0.5, vom obine :
Di ( X ) X Ri 0,5 Ri Ri
(2.14)
14

Deoarece di2 a fost nmulit cu un numr negativ rezult c cea mai mare funcie de decizie
(max Di(X)) identific distana minim i deci clasa lui X.
Pentru determinarea termenilor W, din funcia de decizie D( X ) W X se utilizeaz relaia
(2.14) i rezult Wi Ri , pentru i = 1,.., n i WN 1 0,5 Ri Ri .
Din cele spuse anterior rezult c un clasificator de distan minim este un clasificator liniar.
Performana unui astfel de clasificator depinde evident de modul cum sunt alei vectorii de referin dar
i de felul cum sunt evaluate distanele. Cele mai frecvente distane utilizate sunt cele derivate de
distana general Minkovski.

d Minkovski

x r
i

i 1

1/ k

(2.15)

Astfel, pentru k = 2 se obine binecunoscuta distan Euclidian.

d Euclid

x r
i

i 1

1/ 2

(2.16)

Pentru k = 1 se obine distana Manhattan.

n

d Manhat tan xi ri

(2.17)

i 1

Dac toate caracteristicile xi i ri, i =1,,n sunt codificate binar (au doar valorile 0 sau 1), atunci
distana Manhattan poart numele de distana Hamming. Distana Hamming este echivalent cu
numrul de caracteristici care sunt diferite n X i R. Aplicarea lui SAU EXCLUSIV, simbolizat aici
prin XOR, permite calcului foarte rapid al distanei Hamming conform relaiei:
n

d Ham min g XOR( xi , ri )

(1.18)

i 1

2.2.2.3. Alte tipuri de clasificatori

In literatura de specialitate sunt dezvoltai un numr mare de clasificatori, majoritatea avnd ca
punct de plecare clasificatorul distanei minime prezentat anterior. Dintre acetia cei mai importani
sunt:
i)
Clasificatorul vecinului cel mai apropiat. Acesta dezvolt un clasificator de distan
minim n raport cu mai multe seturi de vectori de referin. Astfel, fie R1, ,Rm cele m
seturi de vectori prototip asociate, respectiv, claselor 1,,m i Rj(k) setul de vectori de
referin din setul Rj, care aparin clasei j. n acest caz distana dintre forma de intrare
reprezentat prin vectorul X i setul de vectori de referin Rj se definete astfel:
d ( X , Rj )

min( n , m )

k 1,...,U

X R (j k ) ,

j = 1,,m

(2.19)

Uj fiind numrul de vectori de referin din setul R j. Clasificatorul ce utilizeaz acest tip
de distan va fi de forma
15

Di ( X )

D
m

k 1,...,U

(k )
i

( X ) , i =1, , m

(2.20)

Aceti clasificatori sunt adesea denumii clasificatori liniari pe poriuni sau clasificatori
bazai pe cei mai apropiai U vecini.
ii)

Funcii discriminant polinomiale.

Acestea dezvolt un clasificator de forma:
L

Di ( X ) Wi , k f k X Wi , L 1 ,

(2.21)

k 1

unde:
k1, k2,.kr = 1,,n

f k ( X ) x x .... x pentru
n1
k1

n2
k2

nr
kn

i
n1, n2,,nr = 0 i 1.
Limita de decizie dintre oricare 2 clase are forma unui polinom de ordinul r. n mod
particular, pentru r = 2 obinem o funcie discriminant ptrat cu

f k ( X ) xkn11 xkn22 pentru

iii)

k1, k2= 1,,n; n1, n2 = 0 i 1 (2.22)

i L = (1/2) n (n+3).
n aceast situaie limita de decizie este un hiper-hiperboloid (n unele cazuri speciale
aceste limite pot fi hipersfere sau hiperelipsoizi).
Clasificatorul Bayes.
Se folosete atunci cnd distribuia formelor nu este total disjunct i exist suprapuneri
semnificative ale valorilor trsturilor diferitelor clase de forme.
n abordarea Bayesian se folosesc cunotine probabilistice despre trsturile formelor
i despre frecvena lor de apariie.
Se presupune c probabilitatea formelor clasei i este P(i). Acesta nseamn c apriori
cunoatem probabilitatea de apariie a unei forme din clasa I i, n absena oricror alte
cunotine, putem minimiza probabilitatea erorii de decizie presupunnd c forma
necunoscut aparine clasei cu probabilitatea P(i) maxim. n luarea unei decizii de
apartenen se ine seama i de observaii asupra formelor.
Comportarea unei clase de forme este descris de probabilitatea condiionat p(x/i).
Probabilitatea p(x/i) ne spune c o trstur msurat a unei forme aparinnd clasei I
are valoarea x cu probabilitatea p(x/I).Bazat pe aceste cunotine se poate calcula
probabilitatea a posteriori p(j /x) pentru o form necunoscut. Probabilitatea a
posteriori p(j /x) a unei forme necunoscute ne spune c dac o msurtoare fcut
asupra formei necunoscute are valoarea x forma aparine clasei j cu probabilitatea
p(j /x). Calculul probabiliti condiionate p(j /x) se face pe baza formulei lui Bayes:
p x / j P j
p j / x
,
(2.23)
p x
unde:
p x p( x / j ) P j ,
m

j 1

reprezint numrul de clase.

16

Forma necunoscut trebuie asignat clasei cu p(j /x) maxim. Formula poate fi
generalizat pentru cazul unor vectori de trsturi n dimensionali.

p j / X

p X / j P j
,
p X

(2.24)

unde:
X
este vectorul de form n-dimensional.
Clasificarea Bayes este de forma:
Di(X) = P(i)*p(X/i), i =1,,n

(2.25)

2.3. Recunoaterea necontrolat. Tehnici de grupare

Tehnicile de grupare const dintr-un set de algoritmi care asigur mprirea spaiului formelor
n clase, grupe de forme, fr a face apel la existena prealabil a unui set de predicie cunoscut.
Conceptul de grupare poate fi neles cel mai bine prin prezentarea celui mai simplu algoritm de
grupare (denumit algoritm de tip prag). Algoritmul presupune existena n spaiul formelor a unui set de
forme i stabilirea iniial a unei distane minime (numit distana de prag) dintre dou forme. Dac
distana dintre dou forme este mai mic dect distana de prag, cele dou forme fac parte din aceeai
clas. Notm cu T distana prag. Iniial se stabilete aleatoriu un prim centru de grup pe care-l notm cu
Z1(Z1 corespunde cu una din cele N forme). Se calculeaz distana dintre acest centru i toate celelalte
forme. Dac distanele calculate sunt mai mici dect T, formele respective sunt atribuite clasei 1 , a
crei centru este Z1. Prima form situat la o distan mai mare dect T conduce la crearea unei noi
grupri (clase) i cu centrul definit de forma respectiv. Se reia calculul distanelor pentru formele
rmase, lund n considerare noua grupare creat.
Procesul de obinere de noi grupri i de atribuire a formelor la aceste grupri continu pn n
momentul n care sunt clasificate toate formele. Algoritmul este prezentat n figura Fig. 2.3-1.

17

start

Iniializeaz X (centrul
gruprii)

Calculeaz Dj

Dj < T
Creeaz un nou
centru al gruprii

Asigneaz Xjj

Au fost
clasificati
toi X

STOP

Citete noul Z

Fig. 2.3-5Algoritm de tip prag.

Studiind acest algoritm pot fi determinate o serie de caracteristici ale tehnicilor de grupare.
1. Alegerea centrelor claselor (gruprilor).
Modul de alegere afecteaz viteza de clasificare ca i numrul de grupe (clase) care rezult n
urma executrii procedurii de clasificare. Din acest motiv se recurge, de obicei, la calculul
continuu a unui centru al clasei pe msur ce la acesta se atribuie noi forme. n acest caz,
centrul gruprii poate s nu corespund cu o forma existent.
2. Alegerea criteriului de clasificare.
n cazul exemplului dat, criteriul de clasificare este o distan. Se observ c valoarea lui T
afecteaz rezoluia procesului de clasificare. Dac T este prea mare, dou sau mai multe clase
distincte pot fi grupate n una singur. n cazul n care T este prea mic, o grupare poate fi
mprit n mod artificial n cteva grupe. Pentru determinarea valori lui T se ine cont de
efectul pe care-l va avea aceast valoare asupra numrului de grupri. n cazul general se
utilizeaz criteriile de similaritate i nesimilaritate prin care se asigur apartenena unei forme la
o clas. Acestea pot fi distane sau ali parametri.
n figura Fig 2.3-2 se prezint un algoritm general de grupare care ia n considerare criteriile de
grupare specificate anterior.

18

START

Iniializeaz numrul de
clase (valori maxime, limite)

Selecteaz forma X calc. Dj

pentru gruparea cu centrul n Zj

Determin ce
face cu X

O nou
grup

NU

XZj

Atribuie X la
clasa j

DA

Construiete
gruparea

S-au luat n
considerare
toi X

NU

DA

Combin noile
centre modific
parametrii

Reclasific

DA

NU

STOP

Fig. 2.3-6 Algoritm de grupare

2.4. Tehnici de nvare

Aceste tehnici dezvolt algoritmi prin care sunt construii coeficienii funciei de decizie
utiliznd o metod tip feed-back. Algoritmii opereaz asupra unui set de forme a cror apartenen la
clas este cunoscut. Determin coeficienii funciei de decizie conform unuia din cele trei criterii de
clasificare (specificate anterior), interativ, pn la satisfacerea condiiilor impuse.
Pentru a ilustra cele menionate presupunem un set de N forme mprit n dou clase 1 i 2.
Ne propunem s determinm coeficienii vectorului pondere W. Funcia de decizie dat de relaia (1.9),
pentru un spaiu n-dimensional, are forma
D(X)=[W1, ,Wn,Wn+1]X, unde X=[x1I,x2I] pentru i=1,,n.
Pentru formele x1i aprine 1, funcia de decizie este pozitiv i negativ dac x 2I aparine 2
(vezi paragraful 1.2.2.a). Prin urmare criteriul care se urmrete a fi atins este D(X)>0. Algoritmul
alege o form i calculeaz funcia sa de decizie. Dac D(X)>0, vectorul pondere este satisfctor i nu
se modific. Se trece la urmtoarea form. Dac D(X)<0, vectorul de ponderi trebuie s fie modificat
19

astfel nct funcia de decizie s devin pozitiv. Dac aceast condiie a fost ndeplinit pentru toate
formele din clasa 1 se repet operaia pentru formele din clasa 2 (care au fost nmulite n prealabil
cu 1 pentru ca funcia de decizie s fie pozitiv). Operaia presupune:
i)
stabilirea unei valori iniiale pentru vectorul de ponderi;
ii)
stabilirea unei modaliti de modificare a lui W.

20

Capitolul 3
3. Metode de clasificare bazate pe optimizarea unei funcii criteriu
3.1. Generaliti
n acest capitol vor fi prezentate o serie de metode deterministe de clasificare. Aceste metode sunt n
esen proceduri de optimizare a unor funcii criteriu. Pentru construirea unei funcii criteriu se admite c fiecare
clas este reprezentat printr-un prototip geometric. Prototipurile pot fi punctuale, caz n care clasele au
aproximativ form sferic sau liniar, caz n care clasele au form alungit. Funcia criteriu reprezint o msur a
apartenenei sau a neapartenenei unei partiii a datelor la prototipurile claselor. Calitatea unei partiii este cu att
mai mare cu ct punctele fiecrei clase sunt mai grupate n jurul prototipului clasei.
O alt posibilitate pentru contruirea funciei criteriu este aceea de a utiliza matricile de mprtiere a
datelor. Clasificarea optim va fi aceea n care mprtierea n interiorul fiecrei clase este minim (clasele sunt
mai compacte) i mprtierea ntre clase este mai mare (clasele sunt ct mai separate una de alta) .
Se studiaz dou metode puternice de analiz a datelor : Analiza Discriminant (AD) i Analiza
Componentelor Principale (ACP) . Se evidenieaz faptul c AD i ACP pot servi pentru elaborarea unor tehnici
de clasificare.

3.2. Disimilaritate. Normalizarea datelor.

3.2.1. Msuri de disimilaritate.
Fie X o mulime de obiecte de clasificat. Cea mai general msur de disimilaritate pe care o putem
defini peste X este o funcie D: X*XR care satisface axiomele:
(1) D(x,y)0
x,yX
(2) D(x,x)=0
xX
(3) D(x,y)=D(y,x)
x,yX
Se admite c X este mulime de instruire (cunoatem pentru fiecare obiect din X clasa cruia el aparine)
iar D este o msur de disimilaritate adecvat. n aceste condiii este de ateptat ca disimilaritatea dintre
obiectele aceleiai clase s fie sensibil mai mic dect disimilaritatea dintre puncte aflate n clase diferite. n
cazul cnd datele sunt obiecte dintr-un spaiu euclidian vom considera metrica spaiului ca o msur a
disimilaritii.
Dac X i Y sunt puncte dintr-un spaiu euclidian d-dimensional
X = (x1, x2,...,xd),
Y =(y1, y2,...,yd),
atunci pentru orice numr real p1 se poate defini metrica:
d(X, Y)

1
p

(1)
xi yi
i 1
De fapt (1) reprezint o familie infinit de matrici. Pentru p = 1 din (1) se obine:
p

d(X, Y) xi yi

(2)

i 1

numit metrica absolut sau distana City Black.

Dac p = 2 se obine distana euclidian :

d(X, Y)

x
i 1

1
2

yi

(3)

21

iar pentru p se obine metrica valorii maxime :

d(X, Y) max xi yi

(4)

S considerm c valorile posibile ale caracteristicilor formelor de clasificat sunt n numr finit i fie d
acest numr. n acest caz ca msur de disimilaritate se pot utiliza distanele Hamming i Lee.
Distana Hamming dintre vectorii X i Y este dat de numrul componentelor (poziiilor) n care cei doi
vectori difer. Ponderea Hamming a vectorului X, notat cu WH(X), se definete ca fiind numrul de
componente nenule ale lui X. Rezult c distana Hamming dintre X i Y este egal cu ponderea Hamming a
diferenei lor :
dH (X, Y)= WH(X, Y)
(5)
Distana Lee
Fie q un numr ntreg, pozitiv, q2 i
X = (x1, x2,...,xd), cu xi{0,1, . . . ,q-1}.
Ponderea Lee a vectorului X, notat cu WL(X), se definete ca fiind:
WL(X)

i 1

unde:

dac 0 xi

xi

xi

q
2

q
q xi dac xi q 1
2

Distana Lee a vectorilor X i Y se definete ca fiind ponderea Lee a diferenei lor:

dL (X, Y)= WL(X- Y)
(6)
Pentru q = 2 i q = 3 distanele Hamming i Lee coincid. Pentru q>3 avem:
dL (X, Y) dH (X, Y),
X, Y
De asemenea pentru q = 2 avem
dH (X, Y)

x
i 1

yi

3.2.1.1. mprtierea datelor

n cele ce urmeaz vom considera c fiecare obiect de clasificat Xi se reprezint ca un vector ddimensional:
xi=( x1i, x2i, . . . ,xdi)
i
unde xj , specific componenta j a vectorului xi .
Considerm o mulime de obiecte X={x1, x2, . . . , xp}, xiRd.
Vom nota cu m vectorul medie a datelor:
m=

1 p i
x
p i 1

(7)

Componenta mk a vectorului m este :

1 p i
mk= x k
p i 1
i reprezint valoarea medie a caracteristicii k. Dac ne raportm din nou la mulimea de obiecte X atunci
caracteristica i a lui X este
Xi={ xi1, xi2, . . . , xip}
i deci vom putea scrie c :
22

mi= MX i
unde cu M am notat operatorul valoare medie.
Cu aceasta putem s definim dispersia valorilor n jurul valorii medii att pentru:
caracteristica i
i2 = ii= M(Xi - mi)2
(8)
caracteristicile i i k
ik= M(Xi - mi)(Xk - mk)
(9)
p
2
1
2
j
Relaia (8) se mai poate scrie i xi mi din care rezult imediat prin dezvoltarea termenului din
p j 1
sum
i2 M(Xi2)-mi2
(10)
i deci
1 p
i2 xij 2 mi2
(11)
p j 1
Cu aceste observaii se poate defini matricea C(d,d) de componente ik ca reprezentnd matricea de
dispersie pentru mulimea X de obiecte. n cadrul acestei matrici elementul ii va reprezenta mprtierea
(dispersia) norului de obiecte n direcia axei i a sistemului de coordonate .
S considerm acum un nor de obiecte
X={x1, x2, . . . , xp}
al crui vector medie coincide cu originea spaiului, adic M(X) = 0. Ne propunem s determinm dispersia
(mprtierea) norului n direcia vectorului u. Considernd c obiectele prezint 3 caracteristici de exemplu,
devine posibil reprezentarea norului de obiecte ntr-un spaiu tridimensional

Revenind ntr-un spaiu cu d dimensional Rd proiecia vectorului (a caracteristicilor obiectului i) xi pe

direcia u este matrice [yi] de forma:
[yi]=[u] T[xi]
unde:
[u]T
este transpusa matricii componentelor lui u
[xi]
este matricea componentelor lui x
Identificnd norul de obiecte X cu o matrice [X] de dimensiune d x p ale crei linii corespund
caracteristicilor iar coloane obiectelor:

x 11
1
x
X 2
:
1
xd

... x 1p

... x 2p
: :

... x dp

Putem calcula o matrice [Y] a proieciilor norului de obiecte X pe direcia u. Putem scrie c:
[Y] = [u]T[X]
(12)
23

mprtierea norului X n direcia u este dat de dispersia proieciilor punctelor sale pe u adic de
dispersia lui [Y]. Putem deci scrie:
2([Y]) = 2([u]T[X])=M([u] T[X])2 - (M([u] T[X]))2
dar cum M(X) = 0 , dispersia u2X a norului n direcia u se scrie:
2uX=2([Y])= M([u] T[X])2
(13)
care d mprtierea gruprii de obiecte n direcia u.

3.2.2. Normalizarea datelor

Caracteristicile unui obiect pot corespunde la mrimi fizice diferite i n consecin se exprim prin
uniti de msur diferite. Pentru calculul distanei ar trebui s adunm, de exemplu, centimetri i kilograme. Din
acest motiv nainte de aplicarea algoritmului de stabilire a apartenenei unui obiect la o clas este necesar s
efectum o uniformizare a diferitelor caracteristici. Aceast uniformizare se poate realiza ntr-o normalizare a
datelor, astfel nct toate caracteristicile s aib aceeai valoare medie i aceeai dispersie.
Transformarea

xi'

xi mi
i

i=1,...,d

(14)

este o transformare de normalizare, ce const dintr-o translaie i o transformare de scal. Prin aceast
transformare a axelor de coordonate, toate caracteristicile au media zero i dispersia unu. n adevr, media i
dispersia noii caracteristici i se pot scrie:
M(Xi')=

1 p j 1 p xii mi
0
xi p
p j 1
i
j 1

(15a)

i'2= 2(Xi') = M(Xi'-M Xi')2

innd cont c M(Xi')=0 rezult c :
i'2= M((Xi')2)
i deci
2

x mi
2
i2 1
= M i
(15b)
i
i
Normalizarea (14) este util i n cazul cnd caracteristicile au aceeai unitate de msur. n acest caz
normalizarea realizeaz o uniformizare a rolului diferitelor caracteristici, mpiedicnd anumite caracteristici s
devin dominante n calculul distanei numai datorit faptului c au valori numerice mari.
Dac valorile unei caracteristici sunt mici, atunci aceste proiecii ale obiectelor pe axa corespunztoare
se reprezint ca o singur clas omogen. Dispersia caracteristicii respective fiind mic , prin normalizare
valorile numerice ale proieciilor se mresc. Ca urmare norul proieciilor nu mai apare omogen ci structurat n
clase.
'2
i

3.3. Msuri de similaritate

O alternativ la folosirea unei msuri de disimilaritate este considerarea unei msuri a gradului n care
obiectele de clasificat sunt asemntoare.
O msur (coeficient) de similaritate peste X este o funcie S:X*XR , care satisface axiomele:
1) S(x, y)0, S(x, y)= S(y, x), x , y X
2) S(x, x)= S(y, y)> S(x, y)
, x , y X
Dac X este o submulime a spaiului Rd, atunci ca o msur a similaritii vectorilor (formelor) x i y din
X putem considera cosinusul unghiului dintre cei doi vectori. Avem deci msura de similaritate:

24

S1(x,y)=

x y

x y

xT y

(1)

x y

unde :
(x .y) - este produsul sacalar a doi vectori, pentru cazul dat avem x1y1+x2y2+...+xdyd
[x]T
- transpusa matricii componentelor formei x
||x||
- normala lui x : x x12 x22 ... xd2
Aceast msur de similaritate este util atunci cnd mulimea X a datelor este format din clusteri
liniari. O distan poate induce o msur de similaritate. Dac d este o distan peste X, atunci putem defini
distana normalizat d/dmax, unde:

d max max d ( x, y )
x , yX

Msura de similaritate indus de distana d se definete prin

d ( x, y )
S 2 ( x, y ) 1
d max

3.3.1. Msuri de similaritate pentru vectori binari

Admitem c toate caracteristicile sunt binare. Fiecare obiect (form) este reprezentat printr-un vector cu
d componente care nu pot fi dect 0 sau 1. Vom pune xi=1 dac obiectul x posed atributul i i xi=0 n caz
contrar. Dac atributul i este prezent simultan la obiectele x i y, atunci avem xi yi =1.
Msura de similaritate (1) poate fi reinterpretat pentru cazul caracteristicilor binare. n acest scop se
observ c numrul de atribute prezente simultan la x i y este
d

S=

x y
i

i 1

[ x ]T [ y ]

Rezult c x [ x ]T [ x ] d numrul de atribute pe care le posed x. Atunci

a numrului de atribute din x i din y i deci S ( x, y ) dat de
S1 ( x, y )

x y

este media geometric

[ x ]T
x y

este o msur relativ a numrului de atribute comune. Modificnd relaia (1) se pot obine diverse msuri de
similaritate. Se pot obine astfel:
nlocuind numitorul cu numrul de atribute a unui obiect avem:
[ x]T [ y ]
(2)
S 3 ( x, y )
d
coeficientul lui Tanimoto
[ x ]T [ y ]
S 4 ( x, y )
(3)
[ x ]T [ x ] [ y ]T [ y ] [ x ]T [ y ]
Aceast msur este mult utilizat n probleme ridicate de regsirea informaiei, biologie etc.
Se observ c dac atributul i lipsete simultan din x i y atunci (1-xi)(1-yI)=1 i deci
d

T=

(1 - x )(1 - y )
i 1

(4)

este numrul atributelor ce lipsesc simultan din x i

Analog

25

u=

x (1 - y )

(5)

(1 - x )y

(6)

i 1
d

v=

i 1

reprezint numrul atributelor prezente n x dar care lipsesc din y i respectiv numrul atributelor care sunt
prezente n y dar lipsesc din x .
Cu aceste notaii este uor de vzut c sunt adevrate urmtoarele egaliti
s+u+v+t = d
(7a)
T
[
x
]
[
x
]
s+u =
(7b)
s+v = [ y ]T [ y ]
(7c)
innd cont de considerentele anterioare, semnificaia msurilor de similaritate date mai jos este uor de intuit:
st
S5( x , y )=
,
(Kendal-Sokal)
(8)
d
s
y
S6( x , )=
1
,
(Dice)
(9)
s (u v )
2
s
S7( x , y )=
,
(Sokal-Sneath)
(10)
s 2(u v )
st uv
S8( x , y )=
(Yule)
(11)
su sv
S9( x ,

)=

st uv
( s u )( s v)(t u )(t v)

(Pearson)

(12)

3.4. Funcia criteriu

Fie X x1 , x 2 ,..., x p mulimea obiectelor de clasificat. Ne propunem s gsim o tehnic de

explorare a datelor, care s ne permit s descoperim structura natural de clasificare, sau structura de clusteri a
mulimii datelor. Vom admite c structura de clasificare a mulimii X este dat de o partiie
P A1 , A2 ,..., An a lui X.

Fiecare element Ai a partiiei P va corespunde unei clase (nor, cluster) de obiecte, astfel nct punctele unei
clase s fie mai asemntoare dect punctele din clase diferite. Asemnarea obiectelor este dat de o msura de
similaritate sau de o msur de disimilaritate. Pe baza unei astfel de msuri putem construi o funcie criteriu.
Problema de clasificare se reduce astfel la problema determinrii partiiei ce realizeaz optimul funciei criteriu
(obiectiv). Pentru a construi o funcie obiectiv al crei extrem s fie partiia cutat, avem nevoie s fixm o
anumit reprezentare a partiiei. Aceste reprezentri depind de scopul clasificrii ca i de structura datelor.
Structura se poate postula, bazndu-se pe anumite informaii apriorii, sau poate fi determinat prin aplicarea
unor metode de analiz preliminar a datelor (analiza componentelor principale, analiza factorial etc.)
S admitem faptul c fiecare clas Ai se poate reprezenta printr-un prototip Li dintr-un spaiu de
reprezentare L.
L = L1 , L 2 , L n
constituie reprezentarea partiiei P .
Fie D o msur de disimilaritate peste X. Admitem c pornim de la D se poate construi o disimilaritate
ntre un obiect din X i un prototip. Acest lucru este ntotdeauna posibil cnd D este o distan sau ptratul unei
distane. Vom nota cu Di aceast msur de disimilaritate indus de ctre D.
Di este aadar o funcie
Di: X R
i
26

Di(x, Li)
msoar gradul n care obiectul x difer de prototipul Li
Notm cu
I : P(X) qR
o funcie care masoar gradul de inadecvare al repezentrii unei clase printr-un prototip. Admitem c msura
I(Ai, Li) a inadecvrii clasei Ai prin prototipul Li este dat de
I(Ai, Li) =

Di(x,Li)

(1)

x Ai

dup care vom considera c inadecvarea reprezentrii partiiei P prin L este de forma:
n

J(P, L) =

I(Ai, Li)

(2)

I 1

sau innd cont de (1):

n

D
i

x, Li

J(P, L) = i 1 x A i
(3)
unde J reprezint funia criterie.
Problema de clasificare se reduce la determinarea partiiei P i a reprezentrii L care minimizeaz
aceast funcie criteriu. Deoarece mulimea partiiilor cu n clase ale lui X este finit, problema poate fi, teoretic,
rezolvat prin considerarea tuturor partiiilor. n realitate acest lucru nu este realizabil dect n situaii foarte
particulare. ntr-adevr numrul partiiilor cu n clase ce pot fi construite cu p obiecte este

1 n
np
nk
k
p
(

1
)
C
k

n
n! k 1
n!

(4)

Acest numr este foarte mare pentru cele mai multe cazuri practice. De exemplu, pentru 5 clase i 100
obiecte avem circa 10 67 partiii distincte.
Cele mai utilizate metode pentru rezolvarea problemei de minimizare a funciei criteriu sunt metodele
iterative. Ideea de baz este de a porni de la o partiie iniial, care poate fi aleas arbritar sau determinat printrun alt algoritm. Obiectele de clasificat sunt transferate dintr-o clas n alta, dac o astfel de mutare amelioreaz
valoarea funciei criteriu. Procedura se oprete cnd nici o schimbare nu mai mbuntete valoarea funciei
criteriu. Procedurile iterative de acest tip asigur atingerea unui optim local. Alegeri diferite ale partiiei iniiale
vor conduce n final dup un interval mai mare sau mai mic de timp n general la soluii identice ale problemei
de clasificare.

3.5. Algoritmi de clasificare iterativ

3.5.1. Algoritmul n-medii
Fie X ={x1, x2, xp} mulimea obiectelor de clasificat. Admitem c aceste obiecte reprezint vectori din
spaiul euclidian d-dimensional. Vom considera ca msur de disimilaritate ptratul distanei induse de norma,
adic
D(x ,y)= x y
(1)
Presupunem c mulimea X este alctuit din nori (clusteri) de puncte relativ compaci i bine separai,
de form aproximativ sferic. n aceste condiii un nor se poate reprezenta pritr-un punct, care constituie
prototipul clasei respective. Aadar prototipul Li al clasei Ai este un punct din Rd.
Disimilaritatea dintre un punct x din X i prototipul Li se poate interpreta ca fiind eroarea comis atunci
cnd punctul x se aproximeaz prin prototipul clasei Ai. Aceast disimilaritate se poate scrie
2
D(x ,Li)= x L i
(2)
Funcia criteriu considerat va fi:
2

27

D
i

i 1 x A i

J(P, L) =

x, Li

(3a)

de unde
n

x Li

J(P, L) = i 1 x Ai
(3b)
Pentru a determina minimul funciei criteriu, aceasta se va exprima ntr-o form uor modificat. Fie I Ai funcia
caracteristic a mulimii Ai. Folosind notaia:
Aij = IAi(xj) =

1 daca x j Ai

(4)

0 in caz contrar

S presupunem de exemplu c avem un numr de 6 obiecte i c partiionarea acestora iniial este 3.

Atunci Aij se va putea construi astfel:
Partiia
Obiect 1 2
1
1 0
2
1 0
3
1 0
4
0 1
5
0 1
6
0 0

4
2

3
0
0
0
0
0
1

n aceste condiii funcia criteriu este:

p

J ( P, L) Aij x L i

(5)

i 1 j 1

innd cont de faptul c ntr-un spaiu euclidian produsul scalar a doi vectori este
( x, y ) [ x ]T [ y ]

funcia criteriu apare sub forma

p

J ( P, L) Aij [ x L i ]T [ x L i ]
j

(6)

i 1 j 1

Pentru ca L s fie un minim pentru funcia J ( P, L) este necesar s avem:

J ( P, L)
0,
Li

i 1, n

(7)

de unde rezult c:
p

2 Aij [ x L i ] 0,
j

i 1, n

(8)

i 1, n

(9)

j 1

respectiv:
p

Aij x Aij Li 0,
j

j 1

j 1

de unde obinem:

28

Li

A
j 1
p

ij

, i 1, n

(10)

ij

j 1

Se observ c numitorul reprezint numrul de elemente din clasa A i . Notnd cu

p

p i Aij numrul de elemente din clasa Ai

(11)

j 1

expresia prototipului Li se va mai scrie

1
Li
(12)
x
p i xAi
Observm c prototipul L i este media sau centrul de greutate al clasei A i.
Reprezentarea
L i={ L 1, L 2, . . . , L n}
unde L i este dat de (10), induce o nou partiie. Aceast partiie se obine folosind regula celui mai apropiat
vecin. Un obiect (punct) xj este ataat clasei de centrul creia este cel mai apropiat. Avem deci urmtoarea regul
de decizie
j
j
j
x L i x L k , k 1, n; i k i
(13)
x Ai
Din punctul de vedere al programrii algoritmului, este mai util regula (13) s se exprime sub forma
Aij

x j L i x j L k , k i

1 dac

(14)

0 n caz contrar

Algoritmul n-medii const n aplicarea iterativ a formulelor (10), (14) sau (12), (13), plecnd de la o
partiie iniial a lui X. Aceast partiie iniial se poate alege arbitrar, se poate stabili folosind anumite informaii
asupra datelor sau poate constitui rezultatul aplicrii unui alt algoritm de clasificare.
Algoritmul n-medii const n executarea urmtorilor pai:

P1. Se alege o partiie iniial p0={A1, A2, . . . , An} a lui X.

P2. Se calculeaz prototipurile acestei partiii cu formula :
p

Li

A
j 1

A
j 1

ij

ij

1
pi

x Ai

P3. Se calculeaz noua partiie dup regula

j
j
x A i dac x L i x L k , k i
P4. Dac noua partiie coincide cu precedenta, atunci STOP. n caz contrar se merge la P2.

Observaii:
A) n loc de a alege o partiie iniial putem porni de la o alegere arbitrar a n centrii, care pot fi n puncte din
mulimea X a datelor.
B) Rezultatele algoritmului n-medii depind de numrul de clase considerate, de alegerea iniial a partiiei sau a
centrilor i de propietile geometrice ale datelor. Cnd datele conin grupri caracteristice, relativ
ndeprtate unele de altele, deci sunt constituite din clusteri compaci i bine separai, rezulatele algoritmului
sunt bune. Determinarea numrului optim de clusteri prezeni n mulimea datelor constituie aa numita
problem a validitii clusterilor. Aceast problem nu poate fi rezolvat n cadrul acestui algoritm. Dac
29

avem unele informaii despre date, putem ca prin experimentri succesive s determinm valoarea care d
cea mai bun concordan cu datele iniiale.
C) O alt problem dificil apare cnd datele conin clase ce prezint diferene mari ale numrului de puncte. S
considerm cazul cnd datele constau din doi clusteri inegali ca populaie i extindere. Este posibil ca unele
puncte aflate la periferia clusterului mare s fie mai apropiate de centrul clusterului mic. Funcia criteriu
considerat va favoriza o partiie ce despic clusterul mare, fa de una ce menine integritatea acestuia.
Dac se consider n=2, atunci clusterul mai mic va capta unele din punctele periferice ale clusterului mare.
Acest efect "pseudo-gravitaional" reprezint o perturbaie pentru procesul de clasificare. Este o dificulatate
major care se poate rezolva fcnd ca distana de la un obiect la prototipul unei clase s depind de
dimensiunea clasei respective. Considerarea unei astfel de distane adaptive presupune n general ca
algoritmul s fie aplicat de dou ori.
D) Alte dificulti sunt legate de existena punctelor izolate (considerate zgomote) i a podurilor ntre clustere.
De altfel aceste dificulti apar i n alte tehnici de clasificare.

3.5.2. Algoritmul ISODATA

Algoritmul ISODATA (Iterativ Self-Organizing Data Analyst Techniques) este n esen similar cu
algoritmul n-medii. Aceast asemnare a fcut ca algoritmul n-medii s fie deseori prezentat sub numele de
ISODATA. Asemnarea const n modul iterativ de calcul a centrilor. Deosebirea este dat de natura euristic a
algoritmului ISODATA. Algoritmul reprezint un bun exemplu relativ la avantajele i inconvenientele unor astfel
de metode care necesit definirea unor parametrii ce trebuie ajustai prin ncercri succesive.
Mai nti este necesar s se specifice k centri de clase. Aceti centri, al cror numr nu este neaparat egal
cu numrul claselor dorite, pot fi alei dintre punctele de clasificat. Fie m1,...,mk alegerea iniial arbitrar a
acestor centri.
Algoritmul ISODATA const n parcurgerea urmtorilor pai:
P1. Se specific valorile urmtorilor parametri:
n = numrul de clase dorite;
p = numrul minim de elemente dintr-o clas;
s = parametrul de dispersie standard;
c = distana maxim pentru fuzionare;
L = numrul maxim de perechi de centre ce pot fuziona la un moment dat;
I = numrul maxim de iteraii permise.
P2. Se distribuie cele p perechi din X n clasele determinate de centri, dup regula:

x Ai dac d x, m min d x, m , j 1, k

P3. Se suprim clasele avnd mai puin de p elemente i se repartizeaz obiectele n celelalte clase. Se
micoreaz k.
P4. Se recalculeaz centrii claselor dup formula
1
i
m
x , i 1, k
pi x Ai
P5. Se calculeaz diametrul mediu al fiecrei clase
1
i
Di
d x, m , i 1, k
p i x Ai
P6. Se calculeaz distana medie la care se afl obiectele fa de centrii claselor

1 k
1 k
i
d
x
,
m

pi Di
p i 1 xAi
p i 1

P7. 1) Dac aceasta este ultima iteraie atunci se pune c i se merge la P11
n
2) Dac k se merge la P8
2
30

3) Dac numrul iteraiei este par sau dac k 2n se merge la P11

P8. Se calculeaz dispersia clasei A i
1
2
i 2
i
x m , i 1, k

p i xAi
Componenta ij a lui i reprezint dispersia datelor n direcia j.
P9. Pentru fiecare clas se determin componenta maxim a dispersiei
ij max ij i 1, k

P10. Se consider succesiv toate clasele. Dac exist o clas A i astfel nct

ijm s
i

Di D , pi 2 p 1

sau
n
2
atunci se despic clasa Ai n dou clase i se claculeaz centrii acestora
i
m
i m i
k

i
se terge m i i se pune k : k 1 . Centrul m i se obine adugnd la componenta m j m (care corespunde

componentei maxime ale lui m i ) o cantitate ijm a (unde 0 a 1 ). Centrul m i se obine scznd aceast
i
cantitate din m j m . Parametrul trebuie astfel ales nct diferena distanelor de la orice punct arbitrar la noii

centri s fie sesizabil ( mai mare dect un convenabil ales), dar s nu schimbe n mod apreciabil ntreaga
configuraie a claselor.
Dac s-a produs despicarea vreunei clase la acest pas se merge la P2. n caz contrar se va continua.
P11. Se calculeaz toate distanele ntre centri claselor

d ij d m , m

m m

, i 1, k 1 , j i 1, k

P12. Se compar distanele dij cu parametrul c . Se aranjeaz primele L distane mai mici dect c n ordine
cresctoare.
P13. Pornind de la perechea de clase A i , A j avnd distana centrilor cea mai mic se modific centrii dup
urmtoarea regul: Dac att pentru A i ct i pentru A j centrul nu a fost modificat, se nlocuiesc centrii
m i , m j prin centrul
1

i
j
m
pi m p j m .
pi p j
i
Se terg m , m j i se pune k : k 1 . Dac fie Ai fie A j au centrul modificat atunci perechea (i, j) nu e
luat n considerare i se trece la urmtoarea pereche.
P14. Dac aceasta este ultima iteraie sau dac poziia i numrul centrilor coincid cu cele de la iteraia
precedent STOP. In caz contrar se merge la P2 ( sau P1 dac se modific datele iniale).

31

Capitol 4
4. Analiza discriminant
4.1. Axe discriminante
Pentru precizarea ideiilor s considerm o mulime X de date dintr-un spaiu bidimensional. Valorile
caracteristicilor C1 i C2 ale datelor sunt date de proieciile norului X pe axele de coordonate x1 i x2. Structura
de clusteri a lui X se poate n acest caz detecta prin simpla inspecie vizual. Diferii observatori pot indica
diferite moduri de grupare a datelor n clas. Acesta relev faptul c puterea c puterea de discriminare a
caracteristicilor este slab pentru datele considerate. Exist dou posibiliti:
fie nu s-au ales cele mai bune caracteristici ale datelor;
fie c datele prin natura lor sunt foarte asemntoare.
Este de dorit n acest caz s determinm un nou sistem de coordonate fa de care structura de clusteri a
norului X s fie mai evident dect n sistemul iniial. Axele noului sistem au deci o putere de discriminare a
claselor din X superioar celei a axelor iniiale. n unele situaii este suficient s determinm o singur ax
discriminant, astfel nct proieciile norului de obiecte X pe acest ax s conste din clase compacte i bine
separate.
Mrimea puterii discriminante a axelor poate fi aadar reclamat de datele problemei, pentru a putea
"vedea" o anumit structur a datelor. Determinarea axelor discriminante poate servi i ca o tehnic de reducere a
dimensiunii spaiului caracteristicilor, prin aceea c cunt selectate cele mai relevante caracteristici. Reducerea
dimensiunii poate fi impus i de necesitatea vizualizrii claselor ntr-un spaiu cu una sau dou dimensiuni. n
acest caz cerina fundamental este ca prin proiectarea datelor ntr-un spaiu de dimensiune redus, la clasele
compacte i bine separate din spaiul iniial s corespund clase compacte i bine separate din noul spaiu. n
acelai timp informaiile legate de mprtierea datelor servesc i la construirea unor criterii de clasificare.
Ne propunem:
Fie X x1 , x 2 ,..., x p cu x i R d mulimea datelor ( x i este o form care este definit printr-un
numr de d caracteristici- atribute). Dorim s determinm o dreapt care trece prin originea spaiului astfel nct
proieciile punctelor norului X pe aceast dreapt s formeze clase bine separate. n plus cerem ca structura de
clusteri a lui X s nu fie prea mult alterat prin proiectarea norului X pe acest dreapt.
Fie u vectorul unitar al dreptei cutate. Proieciile punctului x i pe dreapta de direcie u este:
i
i
T
i
y u , x u x
(1)
S considerm c n X sunt prezente clasele A1 i A 2 . Admitem c proieciile pe u ale punctelor clasei
A1 formeaz o clas B1 iar punctele din A 2 se proiecteaz pe u n clasa B2. Fie pi numrul de puncte din
clasa Ai i
1
i
m
(2)
x , i 1, 2
p i xAi

media (centrul de greutate) clasei A i . Media clasei B i este

i
1
m
y
pi yB i
care se mai poate scrie
i
1
m
u T x u T mi
pi x Ai

(3)

(3a)

Se definete mprtierea S i a clasei B i ca fiind dat de

2

Si

y m

yB i

i 2

(4)
2

Se observ c mprtierea clasei S i este proporional cu dispersia clasei B i .

32

mprtierea ntra-clase a proieciilor datelor se definete ca fiind

2

(5)

IP S 1 S 2

Separarea D B1 , B2 a claselor B 1 i B 2 se poate msura prin ptratul distanei "centrilor"

acestor clase

D B 1 , B 2 d 2 m , m
1

2 2

ai

(6)

Ne intereseaz determinarea direciei u pentru care :

separarea claselor este ct mai mare ;
mprtierea fiecrei clase n direcia u este ct mai mic
Se impune deci s cutm maximul funciei criteriu

m
J u

2 2

(7)

S1 S 2

Definiie
Direcia u care realizeaz maximul funciei J se numete ax discriminant. Rescriem J astfel ca
aceasta s apar ca o funcie explicit de u astfel:
2

Si

y m

yB i

de unde
2

Si

1 2

x Ai

xu m

i 2

x A i

x m u x m u x m x m
i

i T

(8)

x Ai

Dar matricea de mptiere a clasei A i este

Si

x m x m
i

(9)

xAi

Ca urmare matricea de mptiere a clasei B i este

2

(10)

Si u Si u

Utiliznd (10) mprtierea intra-clase este:

2

(11)

I P S 1 S 2 u S 1 u u S 2 u

sau
T
I P u S w u unde S w S 1 S 2 este matricea de mpritierea intra-clase
Momentan am rezolvat numitorul funciei criteriu (7).
Numrtorul se va putea scrie

m m

2 2

2 T

(u ( m m )) 2 u m m m m u
SB

Matricea

2 T

SB m m m m
se numete matricea de mprtiere inter-clase.

(12)

Cu aceast notaie obinem

2 2

(13)

u SBu

i deci funcia criteriu J poate fi scris sub forma:

J u

u SBu

(14)

u S wu

Determinarea maximului funciei criteriu. Din condiia de extrem

33

J u
0
U
se obine ecuai:
T
T
2S B uu S w u u S B u 2S w u 0
de unde
T

SBu

u SBu
T

u S u
w

Swu

J u

rezult c:
S B u S wu

(15)

Admind c matricea S w nu este singular , obinem c

1
S w S B u u
Aadar u este un vector propriu al matricei S

1
w

(16)

S B corespunztor valorii proprii J u

1
n concluzie determinarea direciei u se reduce la determinarea vectorului propiu a matricei S w S B

OBSERVAIE
Pentru determinarea maximului funciei J nu este necesar s calculm vectorii i valorile proprii ale matricei
1
Sw SB.
Pentru aceasta s observm c:
vectorul propriu a lui S B se poate scrie

' u S B u m m m m
T
unde m1 m 2 u este un scalar k
1

u k m

2 T

(17)

concluzia care apare imediat este c u si S B u au ntodeauna direcia vectorului m 1 m 2

din relaia (16)
1
S w S B u u
rezult c
u S w1 k m 1 m 2
(18)
i deci c
k 1 1
2
u Sw m m
(19)

Deoarece raportul k nu are importan pentru direciea lui u , rezult c maximul funciei criteriu J este:
1
1
2
u Sw m m
(20)

Direciei discriminant u servete la definirea unei funcii de decizie g : R d R unde

T
g ( x) u x
(21)
numit funcia de decizie a lui Fisher. Hiperplanul de separare a celor 2 clase determinat de aceast funcie este
pe axa discriminant.

4.2. Matrici de imprtiere pentru n clase

Admitem acum c n mulimea X a datelor sunt prezente clasele A1 , A2 ,..., An , n 2 . Clasa A i
are p i elemente. Dac mi este media clasei A i :
1
i
m
(22)
x
p i x Ai
34

atunci vectorul medie total pentru toate obiectele din X se va scrie:

1
1 n
i
m x pi m
p xX
p i 1

(23)

Matricea de mprtiere S i a clasei A i n jurul centrului ei de greutate este dat de:

x m x m

i T

Si

(24)

xAi

i n aceste condiii putem defini:

1) Matricea de mprtiere intraclase ca fiind:
n

Sw Si

(25)

i 1

2) Matricea de mprtiere total a obiectelor din X fa de centrul m , ca fiind:

x m x m

ST

(26)

xX

3) Matricea de mprtiere interclase se noteaz cu S B i este prin definiie

S B pi m m m m
i 1

(27)

innd cont de aceste definiii putem enuna urmtorul rezultat:

Propoziia 1. Matricea de mprtiere total se poate scrie sub forma
ST Sw S B
Demonstraie
S T se scrie sub forma :

x m x m

ST

i 1 x Ai

ST x m x m
i 1 xAi

xm m m xm m x

x X

rezult c:

(28)

i T

m m m

i 1 xAi

xm m m m m xm
i 1 x A i

i 1 x A i

i T

ultimele 2 sume sunt 0. S considerm spre exemplificare ultima sum unde calculm componenta kj a acestei
matrici

m
n

i 1 x Ai

i 1

i
k

mk x j m ij

x Ai

i
k

xj

x Ai

i
k

m ij

x Ai

xj

x A i

m ij

p i m ki m ij p i m ki m ij p j m k m ij p j m k m ij 0
i 1

Ca urmare matricea S T se poate scrie:

n

ST x m x m
i 1 xAi

i T

i 1 xAi

m m m

35

i 1

i 1

S i pi m m m m
i

ST Sw S B

4.3. Axe discriminante pentru n clase

n cazul a n clase (n>2) sunt necesare n-1 axe discriminante. Problema gsirii acestora revine la
determinarea unui spaiu n-1 dimensional, astfel nct proieciile punctelor n noul spaiu s prezinte o
mprtiere ct mai mic.
Fie u1, u2, . . . ,un-1 direciile cutate. Proiecia yi a punctului x pe direcia ui este:
yi =uiT x , i =1,...,n-1
(29)
1 2
n-1
S notm cu U matricea format din componentele vectorilor u ,u , ... ,u . Avem:

u 11

u 12

... u 1n 1

u 12

U=( u ,u , . . . ,u )=
:
1
ud

u 22
:
u 2d

... u 2n 1
:
:

... u dn 1

n-1

(30)

Proieciile vectorului x pe direciile u1,u2, ... ,un-1 formeaz un vector y de forma:

y1
y
2
y=
:

yn 1

(31)

care se poate scrie y=UTx

(32)
Admitem c punctele clasei Ai se proiecteaz n clasa Bi avnd vectorul medie
i
1
m
y
pi yBi
Vectorul mediu al proieciilor este :

i
1 m
pi m

p i 1

(34)

Cu aceste notaii se pot construi :

1) Matricea de mprtiere interclase a datelor proiectate

S B pi m m m m
i 1

(35)

2) Matricea de mprtiere intraclase

SW

y m y m

1
pi

y B i

i T

(36)

Deoarece
i

(37)

m U m i m U m

rezult c
i

y m U

x m
i

(38)

Avem deci
T
T
S B U S B u si S W U S W u

(39)
36

(33)

Se observ c fiecare termen diagonal al matricii Si este proporional cu dispersia datelor din clasa Ai n
direcia respectiv. Rezult deci c elementele diagonale ale matricii SW de mprtiere intraclase reprezint
dispersiile mulimii X a obiectelor n direciile axelor de coordonate.
Propoziie
Valoarea proprie corespunztoare vectorului propriu v a lui Si reprezint o msur a mprtierii
punctelor clasei Ai n direcia vectorului unitar v.
Demonstraie
Fie v un vector propriu unitar al matricei Si corespunztor valorii proprii. Proiecia vectorului x n
direcia vectorului v este:
x'=vTx
iar proiecia vectorului mi este :
m'i=vTmi
mprtierea proieciilor clasei Ai n direcia v este dat de:
Si'=

'

m 'i

x ' A i

v x m x m
T

i T

x ' A i

Adic
'

Si v S i v
Rezult c mrimea mprtierii (dispersiei) obiectelor clasei Ai n direcia v este dat de:
vTSi v = vTv=||v||2=

4.4. Analiza componentelor principale

Cnd datele nu se prezint sub forma unor nori sferici n spaiul R d cunoaterea direciilor de extindere a
norilor constituie o informaie util. Vom numi componentele principale ale unui nor direciile n care alungirea
norului este cea mai marcat. Determinarea direciilor principale poate servi pentru scopuri de clasificare
(detectarea substructurii norului), descrierea datelor ct i pentru selectarea preliminar a caracteristicilor.
Caracteristicile cele relevante, adic realiznd cea mai bun discriminare a datelor, vor corespunde direciilor pe
care proieciile punctelor au cea mai mare dispersie. Utiliznd componentele principale putem obine o descriere
geometric a norului, care poate fi util n aplicaii.
Fie X={x1,..., xp} o mulime de puncte formnd un nor n spaiul R d. Ne propunem s detectm direciile
u1, u2, ... de dispersie maxim a norului. Aceasta nseamn c norul X este format din puncte ce ader strns la
dreptele L1, L2, ... care trec prin centrul su de greutate i au direciile u1, u2, ...
Fie dj distana de la un punct xj la o dreapt L. Problema noastr este de a gsi dreapta pentru care
p

J d 2j este minim

(1)

j 1

Problema determinrii dreptelor care aproximeaz cel mai bine, norul este considerabil simplificat dac
vom arta mai nti c orice dreapt ce minimizeaz cantitatea Y trece prin centrul de greutate al norului de
puncte. Pentru nceput vom stabilii acest rezultat n cazul cnd X este o mulime de puncte din plan, urmnd apoi
s demonstrm c rezultatul este adevrat pentru orice dimensiune finit a spaiului.
Fie V-W un nou sistem de coordonate, astfel nct axa W este paralel cu dreapta L (vezi figura
urmtoare)

37

L
xj
V
W
Vj

Wj

Fig. 4.4-7 Reprezentarea ntr-un nou sistem de coordonate.

n sistemul de coordonate (V,W) ecuaia dreptei L este

v = v0
(2)
j
j
iar ale punctelor x sunt (vj,wj). Distana de la x la L este
dj = d(xj, L)= |vj-v0|
(3)
n acest caz minimizarea sumei ptratelor distanelor revine la minimizarea funciei criteriu J: RR, dat de:
p

J(v0)= v j v0

(4)

j 1

de unde rezult c
p

J(v0)= v j 2v0 v j pv0

j 1

(5)

j 1

a crui minim este

1 p
v0= v j
(6)
p j 1
S-a observ c punctul v0 care determin dreapta L este media aritmetic a proieciilor punctelor pe axa
V, adic proiecia centrului de greutate a norului pe aceast ax. Deoarece L este paralel cu axa W, intersecia
lui L cu axa V coincide cu proiecia v0 a centrului de greutate dac i numai dac centrul de greutate se afl pe L.
Am artat deci c dreapta optim L trece prin centrul de greutate al norului de puncte.
n continuare vom arta c acest rezultat este valabil i pentru un nor dintr-un spaiu de dimensiune finit
Rd, d > 2.
n acest scop considerm un hiperplan H perpendicular pe dreapta L. Fie s punctul de intersecie pe
dreapta L cu hiperplanul H. Notm cu x'j proiecia punctului xj al norului pe hiperplanul H.

38

L
xj
H
s
xj

Fig. 4.4-8 Proiecia punctului xj pe hiperplanul H

Deoarece d(xj,L) = d(x'j,s) funcia criteriu devine o funcie de variabil s i deci avem:
p

J(s) = d
j 1

'j

,s

(7)

Deoarece suntem ntr-un spaiu euclidian ptratul distanei este

d2(xj, s)= ||xj - s||2=[xj - s] T[xj - s]
aa nct
p

'j
J(s)= x s
j 1

x
T

'j

(8)
(9)

Funcia J admite un minim local, dat de soluia ecuaiei

J(s) = 0
de unde se obine
p

'j
-2 x s 0
j 1

ceea ce implic c
p

1 p 'j
(10)
x
p j 1
j 1
Considerm un sistem ortogonal de coordonate, avnd axa K paralel cu dreapta L. Rezult c dreapta
xjxj (paralel cu L i cu axa K) este perpendicular pe planul format de oricare dou dintre axele diferite de K.
Aadar, n sitemul considerat xj i x'j vor avea aceleai componente, cu excepia celor corespunztoare axei K.

'j

sp 0 i deci avem s =

39

xj
xj
sj

si

i
Fig. 4.4-9 Sistemul ortogonal de coordonate.

Rezult c

1 p 'j 1 p j
si= xi xi , i k
(11)
p j 1
p j 1
Am artat aadar c dreapta L trece prin punctul s, unde si ik este componenta i a centrului de greutate.
Axa k fiind paralel cu L, rezult c centrul de greutate se afl pe L deoarece n caz contrar L nu ar putea trece
prin componentele si, ik ale centrului de greutate.
Deoarece dreapta optim trece ntotdeauna prin centrul de greutate al norului de puncte, putem
considera c datele sunt totdeauna normalizate astfel nct s aib media 0.
O astfel de normalizare revine la o translaie
x'=x-m
x X
(12)
unde m este valoarea medie a punctelor din X. Prin aceast translaie centrul de greutate al norului este adus n
originea sistemului de coordonate. Se va nota cu X' norul format din datele transformate.
Problema determinrii direciilor principale devine:
Fiind dat o mulime X' de puncte din Rd, avnd media 0, s se gseasc dreapta care trece prin origine i
minimizeaz funcia criteriu J.
Fie u vectorul care ne d direcia dreptei cutate i fie u 1 . Ptratul distanei de la punctul xj la
dreapta de direcie u este:
j
d2(xj, u) = x - ( xj, u)
(13)
j
Pentru simplitate am notat datele normalizate tot cu x , j = 1,,p. Datele fiind normalizate, problema
determinrii liniei realiznd cea mai bun aproximare a norului revine la determinarea direciei u care
minimizeaz funcia J:RdR dat de:
p

J(u)= d

j 1

x ,u
j

(14)

nlocuind cu (13) avem:

p

j 1

j 1

j
J(u)= x x , u
j

Primul termen fiind constant, minimizarea lui J implic maximizarea celui de-al doilea termen
I(u)= x , u u x x u
p

j 1

j T

(15)

j 1

40

Cum

u 1,

rezult c trebuie s determinm pentru forma ptratic

I(u)= u

x x u
p

j T

(16)

j 1

maximul pe vectorii sferei unitate.

Se poate observa c matricea
p

j
j
[S]= x x
j 1

(17)

este ptratic de ordinul d, fiind matricea de mprtiere a norului pentru cazul cnd media norului este 0 (datele
au fost normalizate).
Valorile extreme ale formei ptratice
I(u)=[u] T[S][u]
(18)
pe vectorii sferei unitate corespund vectorilor proprii ai matricei S. Direcia pentru care I(u) are valoare maxim,
este dat de vectorul propriu corespunztor celei mai mari valori proprii ale lui S.
Fie u1,u2,...,ud, vectorii proprii ai lui S, luai n ordine descresctoare a valorilor proprii corespunztoare.
Aceti vectorii proprii indic direciile de alungire ale norului i din acest motiv se numesc direciile principale
sau componentele principale ale norului. Cea mai accentuat extindere a norului este n direcia lui u1 (vectorul
propriu principal). Revenind la norul iniial (datele nenormalizate), rezult c norul X este format din puncte
grupate n jurul liniilor L1, L2, ... ,Ld, care trec prin centrul de greutate al norului i sunt paralele cu vectorii u1, u2,
..., ud (deoarece vectorii proprii corespunztori la valori proprii distincte sunt ortogonali, rezult c direciile
principale sunt ortogonale).
Algoritm pentru determinarea componentelor pricipale
P1. Se standardizeaz datele efectund transformarea
1 p j
xj=xj-m unde m= x
p j 1
P2. Se determin vectorii proprii ai matricei de mprtiere
p

'j
'j
[S]= x x
j 1

i se noteaz cu u1,u2, ...,ud

P3. Dreptele de cea mai bun aproximare a norului X sunt dreptele prin media m a lui X paralele cu direciile
principale u1, u2,..., ud.
Important
1. Fie [A] matricea schimbrii de baz care realizeaz diagonalizarea matricei [S] de mprtiere a
datelor normalizate.
Avem

[A] [S][A]=
-1

n baza format de vectorii proprii ai lui S punctele norului X devin

yj=[A] -1xj, j=1,,p
Aceast transformare se numete transformarea la axele principale. Vom nota Y norul de puncte raportat
la axele principale, deci Y={y1,...,yp}. Componenta i a lui yi se obine proiectnd xj pe axa ui adic
yij=(ui, xj)=[ui]T[xj]

41

2. Dispersia norului Y n direcia axei ui este

vectorului propriu ui a matricei S.

42

1
i , unde i este valoarea proprie corespunztoare
p

Capitol 5
5. Partiii nuanate fuzzy
5.1. Concepte
Noiunea de mulime nuanat, introdus la mijlocul anilor 60 de ctre L. A. Zadeh, reprezint o
generalizare natural a conceptului clasic de mulime. Ideea de la care s-a plecat a fost c exist multe clase de
obiecte care nu au granie nete.
Astfel de clase pot fi descrise utiliznd mulimi nuanate, care admit grade de aparen situate ntre 0
(neapartanen total) i unul (aparen total).
Definiie
O mulime fuzzy (nuanat) peste o mulime X nevid este o aplicaie
A : X[0,1]
Caracteristici
1. A(x) desemneaz gradul de aparen a lui x la mulimea nuanat A. Se poate interpreta A(x) ca fiind gradul
de plauzibilitate al afirmaiei " x este un element din A".
2. Complementarea unei mulimi nuanate A(x) se definete prin
A( x ) 1 A( x )

i reprezint ct de plauzibil este afirmaia " x nu este un element a lui A".

3. Dac L(X) este familia tuturor mulimilor nuanate peste X atunci:
- (AUB)(x)=min(A(x)+B(x),1)
- (AUB)(x)=max(A(x)+B(x)-1,0)
4. Mulimile fuzzy A1, ..., An ,n2 sunt disjuncte dac

A A
i

i 1

j 1

j =1,,n-1
n

Aceste mulimi reprezint o partiie finit nuanat a lui C din L(X) dac C= Ai . Fiecare Ai se va numi atom
i 1

al partiiei.
5. Dac A este o mulime fuzzy peste X i t[0,1] atunci
At={xA / A(x)t}
se numete mulime de nivel t a lui A.
a
6. Dac y este din X i a este un numr cu a[0,1] atunci mulimea fuzzy f y definit prin
a daca x y
f ya
0 daca x y
se numete punct fuzzy(nuanat). Un punct fuzzy aparine unei mulimi fuzzy A dac i numai dac
f ya ( x) A x pentru orice x din X.
7. Dac M i N sunt dou mulimi clasice din spaiul metric, distana dintre ele este
D(M, N) = inf(x, y)
xM , yN
Dac A i B sunt dou mulimi fuzzy, A, BL(x) distana dintre acestea este dat de:
1

t
t
D(A, B)= D ( A , B )dt
0

a
Distana dintre un punct fuzzy f y i mulimea A este

43

d f ya , A D ( y, At )dt
0

b
Distana dintre dou puncte fuzzy f xa i f y este

d f xa , f yb

min( a , b )

D({x},{ y})
0

sau

d f xa , f yb min(a, b) d ( x, y )

Diametrul unei mulimi fuzzy se definete ca fiind numrul

d A supd ( f xa , f yb ) | f xa , f yb A

5.2. Clasificare cu partiii fuzzy. Principii

Procesul de clasificare poate fi considerat ca fiind o operaie prin care o mulime X de date este
structurat n categorii semnificative. Admitem c o categorie corespunde unei grupri, nor sau cluster, de puncte
(obiecte), din X. n acest context submulimile lui X vor putea fi echivalate cu clase de obiecte. Problema
determinrii categoriilor naturale i semnificative de obiecte din X revine aadar la detectarea structurii de
clusteri ai mulimii X. Dup cum s-a mai amintit, clasele de obicte reale se pot suprapune parial i/sau se pot
interptrunde. Dac un obiect cu caracteristici hibride este asigurat unei clase, comitem o eroare, care se traduce
printr-o pierdere de informaie relativ la obiectul respectiv.
Rezult c existena punctelor hibride sau izolate, a claselor care nu sunt separabile, constitue surse de
ambiguitate i erori n procesul de clasificare. O metod prin care putem face fa acestei ambiguiti este s
considerm clasele de obiecte ca fiind descrise de mulimi fuzzy. n aceast situaie un obiect va aparine
simultan tuturor claselor de obiecte .
Dac un obiect face parte din nucleul unei clase, atunci gradul lui de apartenen la acea clas va fi
aproape de 1 i apartenena la celelalte clase neglijabil. Aceast abordare este n concordan cu faptul c multe
clase de obiecte reale nu au granie precise. Clasificarea obinut se va potrivi mai bine pe adevrata structur a
datelor.
n multe probleme de clasificare ne intereseaz nu doar o clasificare a datelor ci i obinerea unor
prototipuri ale claselor. Prototipurile sunt elemente semnificative ale claselor sau valori tipice ale acestora.
Prototipurile pot consta din puncte (valoarea medie, centrul de greutate a unei clase), puncte i drepte, combinaii
de drepte, varieti liniare etc. n cazul n care nu avem informaii privind forma geometric a claselor putem
utiliza ca prtotip al unei clase o submulime a obiectelor de clasificat.

5.3. Functia criteriu. Algoritmul n-medii fuzzy

In continuare vom admite ca structura de clusteri a unei multimi X de obiecte este descrisa de o partitie
nuantata. Un atom al partitiei se va identifica cu o clasa de obiecte.
Fie X {x1 , x 2 ,..., x p }, x i d o multime de obiecte, si P { A1 , A 2 ,..., A n } partitia fuzzy care ne
da numarul de clase in care este structurat X . Fiecare multime fuzzy (atom) Ai descrie o clasa de puncte.
Daca admitem pentru acesti clusteri o forma de hipersfere, putem considera prototipul clasei ca fiind un punct, si
anume centrul clusterului respectiv. Notam cu Li , Li d prototipul clasei Ai .
Pentru a determina structura de clusteri a lui X vom construi o functie criteriu folosind o masura de
disimilaritate peste X . Vom alege aceasta masura ca fiind patratul unei matrici d. Atunci disimilaritatea dintre
un obiect x si prototipul clase Ai se va exprima in functie de o metrica locala d i indusa de distanta d i si
Ai . In constructia functiei criteriu va interveni deci o familie de n distante locale.
Fie X d si d o metrica pe d . Metrica locala indusa de d si de multimea Ai se defineste:
44

d i ( x, y ) min( Ai ( x), Ai ( y ))d ( x, y )

Disimilaritatea dintre un punct x

i
i
D( x j , L ) ( d i ( x j , L )) 2

(5.1)

si prototipul L al clasei Ai se defineste ca fiind:

i

(5.2)
Si se interpreteaza drept o masura a inadecvarii reprezentarii punctului x prin prototipul L i .
Deoarece L i este unul din punctele lui X (chiar daca este artificial construit) este plauzibil sa
presupunem ca dintre toate punctele multimi X , L i are mai mare grad de apartenenta la clasa fuzzy Ai pe
care o reprezinta. Deci:
Ai ( Li ) max Ai ( x )
(5.3)
y

Rezulta ca:
j

d i ( x , Li ) min( Ai ( x ), Ai ( L ))d ( x j , L ) Ai ( x j ) d ( x j , Li )

Asadar disimilaritatea dintre x j si Li este data de:

j

Di ( x , Li ) d i2 ( x j , L ) ( Ai ( x j )) 2 d 2 ( x j , Li )

(5.4)

Masura I ( Ai , L ) a inadecvarii reprezentarii clasei Ai prin prototipul L i se defineste prin:

I ( Ai , Li )

D (x

, Li )

(5.5)

sau inlocuind (4) rezulta:

I ( Ai , Li )

( A (x
i

)) 2 d 2 ( x j , Li )

(5.6)

Important
-O partitie fuzzy { A1 , A 2 ,..., A n } se poate reprezenta printr-un matrice A cu n linii si p coloane, unde:
Aij Ai ( x j ) [0,1] i 1, n , j 1, p

Vom nota cu M np multimea acestor matrici cu elemente in [0,1] si suma elementelor fiecarei coloane
egale cu 1.
-Inadecvarea reprezentarii partitiei fuzzy P { A1 , A 2 ,..., A n } prin L {L 1 , L2 ,..., L n } se poate
exprima cu ajutorul unei functii:
y: M np x dn
de forma:

y ( P, L )

I ( Ai , Li )
j 1

( A ( x
i 1

)) 2 d 2 ( x j , Li )

(5.7).

Problema de clasificare revine la determinarea partitiei fuzzy P si a reprezentarii L pentru care

inadecvarea J(P,k) este minima, adica la rezolvarea urmatoarei probleme de minim:

J P, L min

P M , L
np

(5.8)

dn

Intuitiv, a minimiza J inseamna a cere grade de apartenenta mici la A i pentru acele puncte din X pentru care
disimilaritatea dintre punctul respectiv si prototipul clasei este mare. Grade de apartenenta mari sunt reclamate
de punctele pentru care disimilaritatea este mica.
Deoarece nu exista o metoda pentru rezolvarea exacta a lui (5.8) se recurge la o metoda aproximativa pentru
determinarea unei solutii locale. Problema se rezolva folosind o metoda iterativa in care J se minimizeaza
succesiv in raport cu P, respectiv L. Pornind de la o partitie P1 arbitrara se construieste o reprezentare L1 pentru
care functia J(P1, ) are valoare minima. Se cauta apoi o noua partitie P2 care sa minimizeze functia J( , L 1 ).
Se obtine un sir de partitii fuzzy si un sir de reprezentari ale acestor partitii. Procesul se opreste cand norma
diferentei dintre doua partitii succesive este suficient de mica.
Teorema

45

Minimul functiei J , L : M np este realizata de partitia fuzzy P A1 , A 2 ,..., A n cu

1
Ai x j
j 1,..., p; i 1,..., n
2
n
d x j , Li
(5.9)

d 2 x j , Lk
i 1

JP :,
nd

Minimul functiei

Ai x j
n

Li

j 1
n

Ai x

j 1

1
n
i
este realizata de L L ,..., L , L d cu:

xj
i 1,..., n

(5.10)

in care (A1,,An) este o partitie nuantata a lui X daca si numai daca

Ai x j 1
n

j 1

j 1,..., p

A i x j 0,1,

unde

(5.11)

i 1, n;

j 1, p

Algoritmul n-medii FUZZY (FUZZY/ISODATA)

P1. Se alege o partitie arbitrara P A1 ,..., A n a lui X.
P2. Se calculeaza prototipurile acestei partitii cu formula
1

A x x
n

Li

j 1

A x
n

i 1,..., n

j 1

P3. Se determina o noua partitie P2 ai carei atomi sunt dati de formula

1
j
Ai x
j 1,..., p; i 1,..., n
j
i
2
n
d x ,L

d x
k 1

P4. Daca

,L

atunci STOP. In caz contrar se pune P 1 P 2 si se merge la pasul P2.

Comentarii
O valoare adecvata pentru este 10-5.
Cazul d x j , L i 0 este putin probabil sa apara. In aceasta situatie vom pune:
1 pentru k i
y
A x
K
0 pentru k i

5.3.1. Interpretarea unei partiii fuzzy

Partiia fuzzy rezultat n urma procesului de informaie privind apartenena punctelor la clasele
stabilite. Aceast informaie poate fi n ntregime util, dar uneori greu de interpretat. Cel puin pentru
o analiz preliminar a rezultatelor este necesar s convertim partiiile clasice. O partiie clasic ce
aproximeaz partiia nuanat, chiar dac este mai srac n determinri poate oferi o imagine suficient
46

de fidel asupra structurii datelor. Practic, aceast problem se poate rezolva atand fiecare punct x j
clasei la care x j are gradul de apartenen maxim . Cu alte cuvinte, dac P A1 A n este o partiie

fuzzy, construim partiia clasic P A1 A n punnd x A i Ai x max Ak x

k 1, n
(1)
O alt posibilitate, mai puin intuitiv, de a obine o partiie clasic este de a se cuta descompunerea
partiiei fuzzy n partiii clasice. Termenul descompunerii avnd coeficientul maxim este considerat ca
fiind partiia clasic ce reprezint cel mai bine partiia fuzzy dat. Am putea vorbi de descompunerea
j
convex a unei partiii identificnd o partiie A1 , , A n cu o matrice [A] unde Aij A i x .
Considerm notaiile
p
n

np
Pn A 0,1 Aij , 1, j 1, , p; Aij 0, i 1, n
(2)
i 1
j 1

p
n

np
Pf n A 0,1 Aij 1, j 1, p; Aij 0, i 1, n (3)

i 1
j 1
unde Pn , Pf n definesc mulimea matricilor clasice nedegenerate i --------- Se pune problema unei
caracterizri complete a mulimii Pn . Aceast caracterizare ne-ar furniza o condiie necesar i
suficient pe care trebuie s o ndeplineasc o partiie fuzzy pentru a se putea scrie sub forma unei
combinaii convexe de partiii clasice nedegenerate.
Teorem
Dac A Aij i 1,n Pfn atunci urm toarele condiii sunt echivalente
j

j 1, p

(1) A convPn

(2)

A 1, i 1,, n
j 1

ij

Demonstraie.Se va demonstra implicaia (1)(2).

k

s 1

s 1

1
k
Dac A convPn ,atunci exist ai , , a k 0, a s 1, i A , , A Pn astfel nct A a s A .
s

Deoarece matricile A corespund la partiii clasice nedegenerate rezult c:

p

A 0
j 1

s
ij

i deci:
p

A
j 1

s
ij

1, i 1, n

Putem atunci scrie

p

s 1

j 1

s 1

Aij a s Aijs a s Aijs a s 1, i

j 1

j 1 s 1

Concluzie
Partiia P A1 , , An admite aadar o descompunere convex nedegenerat dac i numai dac

A x 1 pentru oricare i 1, , n .
p

j 1

Exemplu
Considerm partiia fuzzy reprezentat prin matricea
47

0.6 0.4 0.2 0.1 A

2
A 0 0.3 0.5 0.5 A
3
0.4 0.3 0.3 0.4 A
1
2
3
4
X x ,x ,x ,x
Suma elementelor fiecrei linii este mai mare dect 1 deci, conform teoremei enunate mai sus matricea
A admite descompunerea convex:

1
A 0.3 0
0
1
0.1 0
1

0
1
0

0
0
1
0
0
1

0
1
0

0
0

0 0.2 0
1
1

1
1
0 0.1 0
0
0

0
1
0

1
0
0

0
1
0

0
0

1 0.2 0
1
0

1
1
0 0,1 0
0
0

0
0
1

0
1
0

1
0
0

1
0
0

0
0
1

0
0
1

0
1
0

Rezult c A este aproximat prin partiia clasic avnd coeficientul 0.3.Aceast partiie este:
1
3
2
4
A1 x , A 2 x , A 3 x , x

48