1.

(a) - Ce trăsături pot fi folosite pentru a clasifica corect următorul set de caractere: A, B, C, D, E
(pentru această problemă setul de caractere este disponibil sub forma unei mulţimi de matrici
de 9x7 elemente, necontaminate de zgomote; se cere precizarea acele trăsături cu ajutorul
cărora putem diferenţia caracterele între ele – deci nu se va folosi metoda şablonului)?
- Detaliaţi paşii procesului de clasificare utilizând aceste trasaturi.
(b) Explicaţi de ce este necesar să controlăm pasul de învăţare în timpul procesului de adaptare la
o reţea neuronală multistrat de tip MLP. Scrieţi o posibilă relaţie de modificare a pasului de
învăţare care să aibă sens pentru o reţea de tip MLP.
(c) Explicaţi modul de iniţializare a ponderilor unei reţele neuronale. Este importantă o
iniţializare corectă ? De ce ? De ce este necesar să iniţializăm ponderile dependent de numărul
de neuroni?

2. Răspundeţi la următoarele întrebări:

(a) Prezentați din punct de vedere teoretic clasificatorul de tip minimă distanţă.
(b) Prezentați limitările existente în cadrul clasificatorilor simpli (sau elementari – precum
clasificatorul de tip șablon și clasificatorul de tip minimă distanță).

3. Pentru o funcţie densitate de probabilitate uniformă caracterizată de relaţia:

 0 xa
 1
f x  x, a , b    a xb
b  a
 0 bx

în care a < b să se demonstreze că:

(a) fx (x, a, b) este o funcţie densitate de probabilitate legitimă,
(b) Să se determine analitic şi să se reprezinte grafic funcţiile de repartiţie ce corespund
următoarelor funcţii de densitate de probabilitate uniforme: fx (x, 0, 1), fx (x, 3, 5) şi fx (x, 3,
13).
(c) Determinaţi Pr[x < 4] pentru funcţia densitate de probabilitate fx (x, 3, 5) care respectă relaţia
anterioară.
2 3  4  3
4. Pentru următorul set de date x 1   , x 2   , x 3   , x 4    estimaţi:
2 1  3 2
(a) Media clasei caracterizată de aceşti vectori de trăsături.
(b) Estimaţi prin două metode independente matricea de covarianţă.
(c) Fără a calcula o elipsă de concentrare analizaţi dacă cele două trăsături care generează acest
set de date sunt corelate sau nu şi în ce fel. Justificaţi-vă răspunsul!

5. (a) Verificaţi dacă următoarele matrici propuse drept matrici de corelaţie sunt legitime sau nu
(justificaţi-vă răspunsul):
 3 2 1 2 2 3 1 1 1

R x   2 3 2  2 4 R x  2 4 2 Rx  1 1 1
  Rx      
  1  2 3   3 2 2 1 1 1
 4 2
(b) Dându-se matricea de corelaţie şi vectorul medie aparţinând unei variabile aleatoare x:
 9 3 1  1
Rx   3 9 3 m x    1
   
1 3 9  1 

cât şi transformarea:
 1 0.5 0.5
y  0.2 0.3 0.5 x
 
0.4 0.1 1 

găsiţi vectorul medie, matricea de corelaţie şi cea de covarianţă pentru variabila aleatoare y.
(c) Repetaţi aceiaşi paşi şi pentru transformarea:
2 1 0.5
y x
0.3 0.3 0.4

6. (a) Considerând următoarele trei matrici:

3 1 3 1 3 1
2 3 1 3 2 4
Determinaţi care dintre acestea poate fi matricea de covarianţă a unei funcţii densitate de
probabilitate, Gaussiene, bidimensinale cu media zero.
(b) Pentru această matrice de covarianţă găsită, desenaţi în planul x1 (prima trăsătură a vectorului
de trăsături) x2 (cea de a doua trăsătură a vectorului de trăsături) o elipsă de concentrare. În
situaţia în care două sau toate cele trei matrici pot fi matrici de covarianţă alegeţi doar una
dintre ele pentru reprezentare.
(c) Interpretaţi conturul astfel găsit.
(d) Găsiţi o transformare y = A  x astfel încât vectorul de trăsături y să aibă componentele
necorelate.
(e) Negând valorile de pe diagonala secundară a matricii de covarianţă găsite şi păstrând
elementele de pe diagonala principală nemodificate construiţi o nouă matrice de covarianţă
care determină o altă funcţie de distribuţie Gaussiană. Aceasta este caracterizată de media mx
= [4, 0]T. Desenaţi şi pentru această funcţie densitate de probabilitate o elipsă de concentrare
pe acelaşi grafic pe care anterior aţi desenat prima elipsă de concentrare.
(f) Dacă aceste două funcţii de distribuţie Gausiene caracterizează două clase distincte, explicaţi
teoretic şi grafic modalitate de decorelare simultană a trăsăturilor ambelor clase (procedura de
diagonalizare a ambelor matrici de covarianţă).
(g) Determinaţi ecuaţia suprafeţei de decizie optimale care ar separa cele două clase
echiprobabile.
(h) Ce tip de reţea neuronală minimală (cu număr minim de neuroni şi ponderi) ar fi necesară
pentru clasificarea elementelor celor două clase echiprobabile cu funcţiile de distribuţie
Gaussiene anterior determinate ? Justificaţi-vă răspunsul.
(i) Desenaţi în planul x1 x2 atât contururile celor două funcţii Gausiene cât si suprafaţa de decizie
neuronală anterior determinată la punctul (h).
(j) Determinaţi ponderile şi biasul tuturor neuronilor reţelei neuronale minimale.
(k) Ce tipuri de neliniarităţi folosiţi la ieşire neuronilor ? Justificaţi-vă răspunsul.
7. Răspundeţi la următoarele întrebări
(a) Pentru un clasificator Bayes-ian bideminsional utilizat într-o problemă de clasificare ce este
caracterizată de existenţa a două clase scrieţi relaţia matematică din care rezultă ecuaţia suprafeţei de
decizie.
(b) Pentru problema analizată există deosebiri între clasificatorul Bayes-ian şi cel bazat pe norma
Mahalanobis în cazul a două clase echiprobabile?
(c) Comparaţi clasificatorul Bayes-ian cu unul neuronal din punctul de vedere al optimalităţii şi a mărimi
setului de date.
(d) Explicaţi necesitatea utilizării în cadrul unei reţele neuronale a unui pas adaptiv de învăţare. Explicaţi
modul în care ar trebui variat pasul de învăţare.
(e) Explicaţi de ce este necesară utilizarea unei iniţializări specifice a ponderilor fiecărui neuron în parte
aleator într-un interval definit de:   2.4 , 2.4  . Cine este Fi?
 Fi Fi  


7 3 
8. Fie următoarea matrice de corelaţie: R x    determinaţi şi demonstraţi:
 3 4
(a) Că această matrice este una legitimă şi astfel poate caracteriza o clasă de vectori de trăsături.
(b) Dacă media clasei este determinată de vectorul mx = [2,1]T, desenaţi în planul trăsăturilor o elipsă de
concentrare care să simbolizeze distribuţia spaţială a punctelor.
(c) Interpretaţi conturul astfel găsit.
(d) Determinaţi două matrici diferite de forma y = A  x astfel încât componentele vectorului y să fie
necorelate utilizând numai interpretarea grafică a transformatei unitare.
(e) Considerându-se o nouă matrice de corelaţie:
17 1
Rx   
 1 1
a altei clase caracterizată de media mx = [4,0]T. Desenaţi şi pentru această funcţie densitate de
probabilitate o elipsă de concentrare (pe acelaşi grafic pe care anterior aţi desenat prima elipsă de
concentrare).

12 7
9. Fie următoarea matrice de corelaţie: R x    răspundeți la urmatoarele întrebări:
 7 7
(a) Prezentai condițiile pe care trebuie să le satisfacă aaceastă matrice pentru a fi o matrice legitimă (poate
caracteriza o clasă de vectori de trăsături). Verificati ca Rx satisface macar 2 din aceste condiții.
(b) Dacă media clasei este determinată de vectorul mx = [3, 2]T, desenaţi în planul trăsăturilor o elipsă de
concentrare care să simbolizeze distribuţia spaţială a punctelor.
(c) Interpretaţi conturul astfel găsit.
(d) Determinaţi două matrici unitare diferite de forma y = A  x astfel încât componentele vectorului y să
fie necorelate utilizând interpretarea grafică a transformatei unitare.
(e) Demonstraţi că una din transformatele obţinută este unitară.
(f) Determinaţi unghiul de rotire a noului sistem de coordonate în planul y, după aplicarea uneia
din transformatele unitare găsite, faţă de sistemul iniţial de coordonate din planul x.
(g) Determinați matricea Cy în noul spațiu de trăsături (y).

10. Dacă matricile şi mediile anterioare (din problema 8) caracterizează două funcţii de distribuţie
Gauss-iene a două clase distincte echiprobabile atunci:
 (a) Explicaţi noţiunea de clasificator optimal.
(b) Explicaţi noţiunea de funcţie discriminant.
(c) Explicaţi noţiunea de suprafaţă de decizie. Daţi trei exemple de sprafeţe de decizie.
(d) Cine determină suprafeţele de decizie (răspundeţi în contextual discuţiei prezentate de dvs. în
cadrul punctelor anterioare)?
(e) Pentru această problemă particulară daţi un exemplu de funcţie discriminant.
(f) Determinaţi ecuaţia suprafeţei de decizie optimale care ar separa cele două clase.

11. Răspundeţi şi rezolvaţi următoarele subpuncte ale acestui subiect:

(a) Scrieţi relaţiile matematice prin intermediul cărora se determină matricea de cros-corelaţie
(Rxy) şi a celei de cros-covarianţă (Cxy) a doi vectori aleatori x şi y utilizând operatorul de
estimare statistică (E{}).
(b) Demonstraţi că Cxy = Cyx*T.
(c) Demonstraţi că Rxy = Cxy + mx my*T.
(d) În ce siuaţie sau situaţii vectorii proprii şi valorile proprii ale matricilor de coreaţie şi
covarianţă sunt identce?
(e) Ce condiţie trebuie să satisfacă vectorii aleatori x şi y astfel încât aceştia să fie ortogonali?
(f) Ce condiţie trebuie să satisfacă vectorii aleatori x şi y astfel încât aceştia să fie necorelaţi ?
(g) Demonstraţi că atunci când vectorii aleatori x şi y sunt independenţi atunci sunt şi necorelaţi.
(h) Dacă trecerea din spaţiul de trăsături x în spaţiul de trăsături z se realizează prin intermediul
transformatei A, demonstraţi că: C z  A  C x  A*T .
Informaţii ajutătoare:
Doi vectori aleatori x şi y sunt statistici independenţi dacă: fxy(x,y) = fx(x) · fy(y).

Estimarea statistică a lui ψ este notată E{ψ(x)} şi este definită de E x     ( x ) f x ( x )dx .

 
Estimatorul statistic al cantităţii  x, y  este: E   x, y       (x, y) f xy (x, y)dxdy .
 

 2 0.2
12. Dându-se matricea de corelaţie R x    , a unui vector aleator compus din două trăsături
0.2 1 
1
ale unei probleme de clasificare, de medie m x    determinaţi:
 0
(a) Desenaţi în planul trăsăturilor o elipsă de concentrare a clasei caracterizată da matricea de
corelaţie şi media anterior prezentate.
(b) Interpretaţi conturul astfel găsit.
(c) Determinaţi două trasformări diferite de forma y = A  x astfel încât componentele vectorului y
să fie necorelate.
 17  0.2
(d) Considerându-se o nouă matrice de corelaţie R x   a altei clase caracterizată şi
  0.2 1 
4
de media m x    . Desenaţi şi pentru această funcţie densitate de probabilitate o elipsă de
0
concentrare – pe acelaşi grafic pe care anterior aţi desenat prima elipsă de concentrare.
 (e) Dacă aceste două funcţii de distribuţie Gausiene caracterizează două clase distincte, explicaţi
teoretic şi grafic modalitate de decorelare simultană a trăsăturilor ambelor clase (procedura de
diagonalizare a ambelor matrici de covarianţă).
(f) Determinaţi ecuaţia suprafeţei de decizie optimale care ar separa cele două clase
echiprobabile.
(g) Ce tip de reţea neuronală minimală (cu număr minim de neuroni şi ponderi) ar fi necesară
pentru clasificarea elementelor celor două clase echiprobabile cu funcţiile de distribuţie
Gaussiene anterior determinate ? Justificaţi-vă răspunsul.
(h) Desenaţi în planul trăsăturilor atât contururile celor două funcţii Gausiene cât si suprafaţa de
decizie neuronală anterior determinată la punctul (g).
(i) Determinaţi ponderile şi biasul tuturor neuronilor reţelei neuronale minimale.

 5  3
13. Fie o matrice de covarianţă C x    ce caracterizează o clasă de elemente a căror
 3 3 
0 
medie este m x    . În aceste condiţii pentru această clasă determinaţi:
0 
(a) Coeficientul de covaranţă între trăsătura 2 şi 1 a unui vector aleator caracterizat de o funcţie
densitate de probabilitate Gauss-iană caracterizată de Cx şi mx anterior prezentate. Justificaţi-
vă răspunsul.
(b) Scrieţi relaţia matematică ce determină varianţa trăsăturii 1 şi explicaţi semnificaţia fiecărui
termen implicat. În acest context care este valoarea numerică a varianţei trăsăturii 1?
(c) Determinaţi valorile proprii şi vectorii proprii ai matricii Cx.
(d) Desenaţi o elipsă de concentrare reprezentând conturul funcţiei de densitate în planul x. Se va
preciza în mod explicit: cu cine este proporţională fiecare axă a elipsei, în ce punct este
poziţionat centrul elipsei, unghiul pe care fiecare axă a elipsei îl face cu sistemul de
coordonate a planului x şi cu cine sunt paralele axele elipsei de concentrare.
(e) Determinaţi o transformata unitară ce determină ca în noul spaţiu de trăsături, y, trăsăturile să
fie necorelate (prin determinare se înţelege prezentarea valorii numerice a fiecărui element a
matricii şi modalitatea prin care s-a ajuns la aceste valori!).
(f) Demonstraţi că transformata obţinută este unitară.
(g) Ce interpretare geometrică are transformata unitară?
(h) Determinaţi matricea de covarianţă în noul spaţiu de trăsături y (spaţiu obţinut după aplicarea
transformării unitare ce determină necorelarea trăsăturilor, se va prezenta valoarea numerică a
elementelor matricii şi modalitate în care s-a ajuns la acestea).
(i) Determinaţi unghiul de rotire a noului sistem de coordonate în planul y, după aplicarea
transformatei unitare, faţă de sistemul iniţial de coordonate din planul x.

Rezolvare:
1  2 2  6
 1   3
 2   
e1    e2   2 
 3  1 
 2   2 
Unghiul lui e1 cu axa x1 este de 600.
14. Funcţia densitate de probabilitate pentru un vector bidimensional, real, este dată de:
1

1 
1
   1
x m x T 
0.3 
1 
x m x  2 x 
f x x   e 2  0.3
unde m x    , x   
1

1 .82 1   x2 
(a) Desenaţi un contur al funcţiei de densitate în planul x1, x2.
(b) Variabilele aleatoare x1, x2 sunt corelate (se va face discuţie punctuală numai pentru datele
acestei probleme – cu funcţia de densitate şi parametrii anteriori prezentaţi) ? Dacă da, cum şi
ce semnificaţie are corelaţia respectivă ?

15. Funcţia densitate de probabilitate pentru un vector aleator bidimensional, real, este dată de:
T 1
1 2  9 3  2 
  x      x 
1 3 9   x1 
f x x  
 
2 1    1 
e unde x   
1 .82  x2 
(a) Ar putea matricea de covarianță să aibă elemente negative pe diagonala principală?
Justificați-vă răspunsul!
(b) Desenaţi un contur al funcţiei de densitate de probabilitatea în planul x1, x2.
(c) Variabilele aleatoare x1, x2 sunt corelate (se va face discuţie punctuală numai pentru datele
acestei probleme – cu funcţia de densitate de probabilitate şi parametrii anteriori prezentaţi)?
Dacă da, cum şi ce semnificaţie are corelaţia respectivă?
(d) Determinaţi o transformata unitară ce determină ca în noul spaţiu de trăsături, y, trăsăturile să
fie necorelate (prin determinare se înţelege prezentarea valorii numerice a fiecărui element al
matricii şi modalitatea prin care s-a ajuns la aceste valori!).
(e) Demonstraţi că transformata obţinută este unitară.

16. Fie o distribuţie de elemente (într-un spaţiu de trăsături x) caracterizată de matrice de covarianţă
 9  3
dată de:  .
 3 9
(a) Determinaţi valorile proprii şi vectorii proprii corespunzători acestei matrici.
(b) Dacă vectorul mediu al acestei distribuţii este mx = [3, -2]T desenaţi un posibil contur al
acestei distribuţii de elemente (proiecţia cotelor de egală probabilitate) în spaţiul x de
trăsături. Comentaţi proprietăţile acestei distribuţii.
(c) Ce interpretare are transformata unitară? Explicaţi această interpretare folosindu-vă de un
exemplu practic – puteţi folosi drept exemplu chiar problema de faţă. De ce această
transformată poartă acest nume?
(d) Explicaţi conceptual (folosindu-vă eventual de reprezentări grafice) cum pot fi determinate
două transformări diferite de forma y = A  x, deci două matrici A1 şi A2, astfel încât
componentele vectorului y obţinut folosind oricare din cele două transformări să fie
necorelate. Ambele matrici vor caracteriza transformări unitare.
(e) Determinaţi aceste transformări de la punctul d.
(f) Cum ar trebui să fie matricea Cx astfel încât utilizând orice transformare dată de o matrice A
diagonală ( y = A  x), funcţia densitate de probabilitate fy(y) obţinută prin această
transformare să determine vectori de trăsături cu componente necorelate.
17. Fie o clasă a unei probleme caracterizată de funcţia densitate de probabilitate fx(x).
(a) Ce înţelegeţi prin trăsături corelate ?
(b) Desenaţi posibile contururi pentru fx(x) (proiecţia cotelor de egală probabilitate) şi scrieţi
matricile de corelaţie corespondente acestor funcţii densitate de probabilitate pentru vectorii
de trăsături bidimensionali în situaţiile: trăsături necorelate şi trăsături corelate.
(c) Ce formă ar trebui să aibă transformarea liniară A ( y = A x) astfel încât fy(y) = fx(x) ? Cum
ar trebui să fie matricea Cx astfel încât utilizând orice trasformare, de tipul A, funcţia densitate
de probabilitate fy(y) obţinută prin această transformare să determine vectori de trăsături
necorelaţi.
(d) Dacă matricea de corelaţie a clasei caracterizată de funcţia densitate de probabilitate fx(x)
este:
 9 3
 4  2
Cx  
3 9
 
 2 4
Determinaţi valorile proprii şi vectorii proprii corespunzători acestei matrici.
 3
(e) Pentru m x    şi Cx, anterior prezentat, desenaţi un contur al funcţiei de densitate în
2
 x1 
planul x1, x2 unde x    .
 x2 
(f) Diagonalizaţi matricea de corelaţie Cx, anterior prezentată, cu ajutorul transformatei unitare
(determinaţi transformarea B, y = B · x astfel încât Cy sa fie diagonală). Ce semnificaţie are
această matrice de corelaţie diagonală în spaţiul de trăsături dat de y ?
 5  3
18. Fie o matrice de corelaţie   ce caracterizează o clasă de elemente din care doar
 3 12 
patru elemente caracteristice si determinante ale clasei sunt reprezentate în figura de mai jos.
x2 Răspundeţi la următoarele întrebări:
-1 1 2 3
(a) Estimaţi coeficientul de covarianţă
4
între trăsătura 2 şi 1 a unui vector
aleator caracterizat de o funcţie
3
densitate de probabilitate Gauss-iană
2 caracterizată de matricea anterior
prezentată. Justificaţi-vă răspunsul.
1 (b) Desenaţi o estimare a elipsei de
concentrare reprezentând conturul
x1 funcţiei de densitate în planul x. Se va
preciza în mod explicit: 1. cu cine este
proporţională fiecare axă a elipsei, 2.
în ce punct este poziţionat centrul elipsei, 3. unghiul pe care fiecare axă a elipsei îl face cu
sistemul de coordonate a planului x şi 4. cu cine sunt paralele axele elipsei de concentrare.
(c) Determinaţi o transformata unitară ce determină ca în noul spaţiu de trăsături, y, trăsăturile să
fie necorelate (prin determinare se înţelege prezentarea valorii numerice a fiecărui element a
matricii şi modalitatea prin care s-a ajuns la aceste valori!).
 (d) Demonstraţi că transformata obţinută este unitară.
(e) Determinaţi unghiul de rotire a noului sistem de coordonate în planul y, după aplicarea
transformatei unitare, faţă de sistemul iniţial de coordonate din planul x.
(f) Scrieţi relaţia matematică ce determină varianţa trăsăturii 2 şi explicaţi semnificaţia fiecărui
termen implicat. În acest context care este valoarea numerică a varianţei trăsăturii 2 în spaţiul
x de trăsături şi în spaţul y de trăsături?

19. Matricea de covarianţă pentru o variabilă aleatoare x bidimensională, reală cu funcţia de

distribuţie de tip Gaussian este caracterizată de:
1 
  T  1 0.5
C x  E  x  m x  x  m x     unde m x   0 .
0.5 1   
(a) Determinaţi valorile proprii şi vectorii proprii.
(b) Desenaţi o elipsă de concentraţie reprezentând conturul funcţiei de densitate în planul x.
(c) Cu ce valori sunt proporţionale axele principale ale elipsei ?
(d) Variabilele aleatoare x1, x2 sunt corelate ? Dacă da, cum şi ce semnificaţie are corelaţia
respectivă ?
(e) Repetaţi paşii (a), (b), (c), (d) şi (e) dacă matricea de corelaţie devine:
 1  0.5
Cx  
  0.5 1 

20. Rezolvaţi următoarele subpuncte:

(a) Cum vor arăta matricile Rx şi Cx dacă trăsăturile unui vector aleator n dimensional sunt în
primul caz ortogonale iar în cel de al doilea caz necorelate. Va trebui să prezentaţi forma a 4
matrici (2 de tipul Rx şi 2 de tipul Cx) pentru cele 2 situaţii.
(b) Enumeraţi proprietăţile fundamentale ale coeficientului de covarianţă între trăsăturile i şi j ale
unui vector de trăsături n dimensional.
(c) Fiind dată următoarea matrice de covarianţă, pentru un vector de trăsături având 3
componente (trăsături):
 4 3 1 
C x   3 9  3
 1  3 1 

(d) desenaţi în mod calitativ, grafic într-un plan 2D o posibilă distribuţie a elementelor generate
de trăsăturile 1 şi 2 ale vectorului aleator caracterizat de matricea de covarianţă anterioară.
Justificaţi-vă răspunsul în mod numeric!
(e) Desenaţi în mod calitativ distribuţia 3D a punctelor caracterizate de matricea Cx anterior
prezentată. Justificaţi-vă răspunsul în mod numeric!
Notă ajutătoare: în cadrul punctelor 3 şi 4 ale problemei nu este absolut necesar să determinaţi
vectorii şi valorile proprii (metoda cea mai simplă) dar puteţi aborda problema şi în acest fel
(aveţi mai mult de calcul). La punctul 4 vă puteţi utiliza intermediar de reprezentări 2D.

21. Răspundeți la următoarele întrebări:

 (a) Demonstraţi invarianţa distanţei Mahalonobis r 2  x  mx T C x1 x  mx  la orice transformare
liniară de forma y = A x.
(b) Cum utilizaţi distanţa Mahalanobis în cadrul unui clasificator de tip minimă distanţă?
Desenați schema bloc a unui clasificator Mahalanobis cu 3 clase.
(c) Care sunt avantajele utilizării metricii Mahalanobis, comparativ cu clasificator de tip minimă
distanţă ce utilizează distanța euclidiană?
(d) Care este dezavantajul major al utilizării metricii Mahalanobis ? Discutaţi această problemă în
paralel şi în cazul clasificatorului Bayesian.
(e) Care este ideea de bază în cazul clasificatorului Bayesian?
(f) În ce condiţii un element va fi asignat unei clase în cazul clasificatorului Bayesian ? (scrieți
inclusiv relaţia şi explicați fiecare termen care intervine).

22. (a) Care este ideea de bază, fundamentală care stă în spatele clasificatorului optimal Bayesian
(exprimaţi această idee prin cuvinte)? Ce reprezintă fiecare termen din relaţia lui Bayes
utilizată în cadrul clasificatorului Bayes-ian ?
(b) Clasificatorul Bayes-ian este unul optimal. Ce înţelegeţi prin clasificator optimal ?
(c) Explicaţi influenta variantei trăsăturilor asupra poziţionării suprafeţei de decizie.
(d) Explicaţi influenţa probabilităţii apriorice a clasei (probabilităţii clasei) asupra poziţionării
suprafeţei de decizie.
(e) Explicaţi influenta setului de date asupra performanţelor clasificatorului Bayesian.
(f) Desenaţi schema bloc a clasificatorului Bayes-ian.

23. Fie o clasă caracterizată de următoare funcție densitate de probabilitate:

1
T 
1
1x   16 0
  1  1
x 1 x2 
2 x 2 
8  0 
f x x   e  4
(1)
2
Răspundeți la următoarele întrebări:
1. Care este varianța trăsăturii x1? Care este deviația standard a trăsăturii x1? Care este media
trăsăturii x1 ?
2. Care este media clasei caracterizată de funcția densitate de probabilitate dată în relația (1).
Determinați matricea de corelație a acestei clase.
3. După cum observați elementele vectorului aleatoriu x caracterizat de funcția densitate de
probabilitate din relația (1) sunt necorelate. Determinați matricea transformării unitare care va
determina ca elementele acestei clase să fie ortogonale.
4. Pentru cea de a doua clasă elementele sunt distribuite conform celor prezentate în Figura 1.
Determinați matricea setului de date știind că elementele cele mai apropiate de axa x1 au
coordonatele [ 3 , 1]T, cB = [- 3 , 1]T.
5. Determinați matricea de covarianță, din matricea setului de date anterior determinată.
6. Demonstrați că această matrice este una legitimă (verificați și explicați cum această matrice
verifică sau nu proprietățile unei matrici de covarianță).
7. Determinați cărei clase îi va fi asociat punctul x = [0, 1]T prin intermediul unui clasificator de
tip minimă distanță ce utilizează norma Euclidiană.
8. Determinați poziția suprafeței de decizie în cazul utilizării clasificatorului de la punctul
anterior.
 x2

x1
-3 -2 -1 1 2 3

-1

Figura 1. Distribuția elementelor pentru cea de a doua clasă

9. La modul conceptual o suprafața de decizie ce separă două clase este dată de cine?
10. Determinați cărei clase îi va fi asociat punctul x = [0, 1]T prin intermediul unui clasificator de
tip minimă distanță ce utilizează norma Mahalanobis.

Informaţii ajutătoare:
1
1   x  mi T C 1  x  mi 
f ( x)  e 2
D – nr. de dimensiuni a spaţiului de trăsături
2  C
D/2 1/ 2

24. Fie două clase distincte caracterizate de două funcţii de densitate de probabilitate Gauss-iene
unidimensionale. Prima clasă este de medie 1.5 şi varianţă 0.04 în timp ce cea de a doua clasă are
media 2 şi varianţa 0.64. Probabilitatea apriorică a primei clase este 1/5 iar a celei de a doua clase
4/5.
(a) Desenaţi în acelaşi grafic ambele funcţii densitate de probabilitate. Reprezentarea grafică va fi
una calitativă dar va ţine cont în reprezentare de parametri celor două funcţii de densitate.
(b) Scrieţi relaţia matematică ce caracterizează funcţia discriminant pentru elementele primei
clase.
(c) Desenaţi schema bloc a clasificatorului Bayess-ian ce utilizează două funcţii discriminant
caracteristice fiecărei clase în parte.
(d) Determinaţi în mod numeric poziţia exactă a suprafeţelor de decizie.
(e) Realizarea particulară 0.5, a variabilei aleatoare x, aparţine primei clase sau a celei de a doua
? Dar 1.4 ? Dar 1.8 ? Pentru fiecare valoare justificaţi în mod numeric decizia luată – de a
atribui elementul către o clasă sau alta !
(f) Dacă cea de a doua clasa va avea o probabilitate apriorică mai mică ce se va întâmpla cu
fiecare suprafaţă de decizie în parte ? Justificaţi-vă răspunsul în mod analitic sau printr-o
analiză conceptuală.
( x   )2

1 2 2
Relaţie ajutătoare: f x ( x)  e
2 2
Rezolvare:

y y

1.5 0.3

1 0.2

0.5 0.1

0 0
0 1.25 2.5 3.75 5 0 1.25 2.5 3.75 5
x x

Funcţii densitate de probabilitate Funcţii discriminant

4 8
Soluţiile primei probleme: x1   1.33 x2   1.66
3 5

25. Să presupunem că un vector de trăsături mono-dimensional X este utilizat pentru a decide

între clasa 1 şi 2. Valorile funcţiilor de densitate de probabilitate pentru X în ipoteza
apartenenţei la clasele 1 şi 2 sunt date de:
 1
, 1  x  1
f ( x 1 )   2 (1)
 0, în rest


 x   2
1 2 2
f ( x 2 )  e (2)
2 
(a) Demonstraţi ca (1) este o funcţie de tip densitate de probabilitate (verificaţi proprietăţile
acesteia).
(b) Determinaţi pragul selecţiei optimale a clasei 2 versus 1 (pentru situaţia în care  = ½ iar 
= 1.5).
(c) Reprezentaţi grafic funcţiile densitate a celor două distribuţii funcţie de x.

26. O variabilă aleatoare x este utilizată pentru a discriminarea a două clase 1 şi 2. Pentru
prima clasă ştim că P(1) = 1/6 iar pentru cea de a doua clasă P(2) = 5/6. Funcţiile densitate de
probabilitate pentru variabila aleatoare x în ipoteza apartenenţei la clasele 1 şi 2 sunt date de:
 1
, 2x4
f ( x 1 )   2 (1)
0, în rest


 x   2
1 2 2
f ( x 2 )  e (2)
2 
(a) Demonstraţi ca relaţia (1) este o funcţie densitate de probabilitate legitimă (verificaţi
proprietăţile acesteia).
 (b) Care este semnificaţia termenului echiprobabil? Sunt clase 1 şi 2 echiprobabile?
(c) Determinaţi pragul selecţiei optimale a clasei 1 versus 2 (pentru situaţia în care  = ½ iar 
= 1.5).
(d) Reprezentaţi grafic funcţiile densitate de probabilitate a celor două distribuţii funcţie de
variabila aleatoare x. Această reprezentare grafică va fi corelată cu rezultatele obţinute la
punctele anterioare.
Valori numerice ce pot fi utilizate în determinările numerice:
ln 1 = 0; ln 2 ≈ 0.7;
ln 3 ≈ 1; ln 4 ≈ 1.4;
ln 5 ≈ 1.6; ln 6 ≈ 1.8;
ln 7 ≈ 1.9; ln 8 ≈ 2;
ln 9 ≈ 2.2; ln 10 = 2.3
2  2.5

27. O variabilă aleatoare x este utilizată pentru a discriminarea două clase echiprobabile 1 şi 2.
Funcţiile densitate de probabilitate pentru variabila aleatoare x în ipoteza apartenenţei la clasele
1 şi 2 sunt date de:
 1
, 0 x2
f ( x 1 )   2 (1)
0, în rest

 0 x 1
0.4  x  0.4 1  x  3

f ( x 2 )   (2)
 5.6  1.6  x 3  x  3.5
 0 x  3.5
(a) Demonstraţi ca relaţia (1) este o funcţie densitate de probabilitate legitimă (verificaţi
proprietăţile acesteia).
(b) Determinaţi pragul sau pragurile utilizate în separarea (clasificarea) optimală a clasei 1
versus 2.
(c) Generaţi o reprezentare a imaginii de unde se pune în evidenţă existenţa pragului de selecţie
ce separă cele 2 clase. Notaţi pe această prezentare grafică funcţiile pe care le reprezentaţi.
Această reprezentare grafică va fi corelată cu rezultatul obţinut la punctul anterior.
(d) Determinaţi probabilitatea de eroare a acestui clasificator.
(e) Demonstraţi ca relaţia (2) este o funcţie densitate de probabilitate legitimă (verificaţi
proprietăţile acesteia).
(f) Explicaţi în mod intuitiv ce se va întâmpla cu poziţia suprafeţei de decizie şi de ce se va
întâmpla acest lucru (comparativ cu situaţia anterioară existentă în rezolvarea punctelor (a)-
(f)) dacă probabilităţile apriorice ale claselor vor fi următoarele: P(1) = 2/6 şi P(2) = 4/6.

28. O variabilă aleatoare x este utilizată pentru a discrimina trei clase 1, 2 şi 3. Funcţiile densitate
de probabilitate pentru variabila aleatoare x în ipoteza apartenenţei la clasele 1 (cu m1 = 1, 1 =
4), 2 şi 3 sunt date de:
a  m1 2

1 2 12
f x ( a | 1 )  e
2  1
  1
, 1 a  4
f x ( a | 2 )   4
0, în rest

 0 a3
a  3 3  a  4

f x ( a 3 )  
5  a 4  a  5
 0 a5
Probabilitățile apriorice ale celor 3 clase sunt: P(1) = 5/8, P(2) = 2/8 și P(3) = 1/8
(a) Demonstraţi că fx(a|2) și fx(a|3) sunt funcţii densitate de probabilitate legitime - verificaţi
proprietăţile acestora.
(b) Precizați valorile mediilor celor 3 clase.
(c) Clasele 2 și 3 sunt echiprobabile ? De ce da sau de ce nu?
(d) Scrieți relația generică ce descrie o funcție discriminant pentru clasa i a unui clasificator
Bayes-ian. Care este această funcție pentru clasa 1 în situația particulară a acestei
probleme? Această funcție trebuie să ia o valoarea maximă sau minimă (dintre toate
funcțiile discriminat asociate tuturor claselor) pentru ca clasificatorul Bayes-an să asocieze
elementul necunoscut acestei clase ? De ce ?
(e) Desenați schema bloc a clasificatorului Bayes-ian pe care îl utilizați în această problemă.
(f) Determinaţi pragul selecţiei optimale a clasei 1 versus 2.
(g) Determinaţi pragul selecţiei optimale a clasei 2 versus 3.
(h) Generaţi o reprezentare grafică în care să rezulte existenţa pragurilor de selecţie ce separă
cele 3 clase. Notaţi pe această prezentare grafică funcţiile pe care le reprezentaţi. Această
reprezentare grafică va fi corelată cu rezultatele obţinute la punctele anterioare.
(i) Precizați intervalele de apartenență a unui element necunoscut la fiecare din cele 3 clase.
(j) Dacă sistemul de clasificare ar fi unul Bayes-ian format numai din clasele 2 şi 3, scrieți
relația generică de calcul a erorii de clasificare în această situație. Determinați numeric
această valoare.
(k) Explicaţi în mod intuitiv ce se va întâmpla cu poziţia suprafeţelor de decizie şi de ce se va
întâmpla acest lucru (comparativ cu situaţia anterioară existentă în rezolvarea punctelor (a)-
(i)) dacă probabilităţile apriorice ale claselor vor fi următoarele P(1) = 5/8, P(2) = 1/8 și
P(3) = 2/8 iar varianța clasei 1 devine egală cu 5
Pentru ușurința calculelor utilizați următoarea aproximare: 2  2.5066283  2.5 .

29. (a) Două funcţii densitate de probabilitate date de:

x2
1 2 4  2 x 12
f  x 1   e , f  x 2   e caracterizează două clase (ω1 şi ω2) care
2 2
4 1
au probabilităţile apriorice ale claselor P 1   şi P  2   . Determinaţi poziţia
5 5
optimă a suprafeţei de decizie (determinată folosindu-se un clasificator Bayesian).
(b) Determinaţi probabilitatea de eroare a clasificatorului Bayesian pentru datele de la punctul
anterior.
 (c) Presupunând două clase (ω1 şi ω2) echiprobabile, definite de următoarele funcţii densitate de
x  4 2
 x  6 2

1  2 1  2
probabilitate: f  x 1   e şi f  x 1   e determinaţi poziţia
2 2
suprafeţei de decizie optimale fără efectuarea nici unui calcul. Argumentaţi-vă decizia.

30. Fie două clase ω1 şi ω2 caracterizate de următoarele funcţii de distribuţie gauss-iene

x2
1  1
2  2 2 x 12
unidimensionale: f  x 1   e 2 şi f  x 2   e . Cele două clase au
2 2
4 2
următoarele probabilităţi apriorice: P 1   şi P 2   . Răspundeţi la următoarele întrebări:
6 6
a. Determinaţi parametrii statistici ai fiecărei clase (media şi varianţa).
b. Desenaţi în mod calitativ şi cantitativ densitatea de repartiţie a elementelor celor 2
clase ţinând cont toţi parametrii ce caracterizează clasele.
c. Determinaţi suprafaţa/suprafeţele de decizie pe care clasificatorul Bayes-ian le-ar
utiliza în clasificarea elementelor.
d. Care este semnificaţia termenului echiprobabil? Sunt clase 1 şi 2 echiprobabile?
e. Desenaţi schema bloc a clasificatorului Bayess-ian ce utilizează două funcţii
discriminant caracteristice fiecărei clase în parte.
f. Presupunând că alte două clase (ωa şi ωb) sunt echiprobabile, şi sunt caracterizate de
 x  4 2
1 
următoarele funcţii densitate de probabilitate: f  x a   e 2
şi
2
 x 2 2
f  x b  
1  2
e , reprezentaţi grafic cele două clase şi determinaţi poziţia
2
suprafeţei de decizie optimale fără efectuarea nici unui calcul. Argumentaţi-vă decizia.

31. Fie două clase reprezentate de elemente simbolizate prin ● şi □ repartizate ca în Figura 2.
Aceste clase sunt caracterizate de matricile de covarianţă şi mediile următoare:
1  1 
16 0  1   25 0  1 
C● =   m● =   şi C□ =   m□ =   .
1  2 1 0
0  0 
 3  3
(a) Desenaţi elipsele de concentrare pentru ambele clase. Aceste elipse vor fi desenate în mod
proporţional una faţă de cealaltă şi fiecare în parte funcţie de parametrii ce le caracterizează.
 (b) Desenaţi schema bloc a clasificatorului Bayes-ian. Explicaţi semnificaţia fiecărui bloc
constructiv, modul de funcţionare a acestei scheme bloc, după ce relaţii funcţionează şi
semnificaţia fiecărui
x2 termen a acestor relaţii.
(c) Explicaţi la modul general
3
și teoretic, în mod grafic
(pentru un caz uni
dimensional – nu pentru
2 cel al problemei prezentate
aici) şi în câteva cuvinte
apariţia erorilor la acest
gen de clasificator Bayes-
1 ian - dovediţi că aţi înţeles
desenul prezentat.
(d) Scrieţi relaţia matematică
ce descrie probabilitatea de
-1 0 1 2 3 x1 eroare în cazul
clasificatorului Bayes-ian
prezentat la subpunctul (d).
(e) Determinaţi analitic
-1 suprafaţa optimă de decizie
a clasificatorului Bayes-ian
– determinaţi relaţia
Figura 2. Repartiţia claselor în planul x1, x2
matematică a suprafeţei de
decizie.
1
(f) Determinaţi cărei clase (● sau □) îi va fi atribuit elementul a1    în situaţia utilizării unui
1
clasificator de tip Bayesian.
(g) Dar în cazul unui clasificator de tip minimă distanță ce utilizează norma Mahalanobis
1
elementul a1    cărei clase îi va fi asociat. Faceți o paralelă cu situația obținută la punctul
1
anterior (f).

Informaţii ajutătoare:
1
1   x  mi T Ci1  x  mi 
f ( x ci )  e 2 D – nr. de dimensiuni a spaţiului de trăsături
2 D / 2 Ci 1/ 2

32. Fiind dată distribuţia a două clase ca în figura de mai jos (prima clasă este simbolizata de ●
iar cea de a doua clasă de ▲ – fiecare figură geometrică simbolizează un element sau vector de
trăsături, aparţinând unei clase) se cere:
a. Calculați media și matricea de covarianță pentru elementele clasei simbolizată prin ●
utilizând metoda estimatorului.
b. Calculați media și matricea de covarianță pentru elementele clasei simbolizată prin ▲ prin
intermediul matricii setului de date.
 c. Determinaţi valorile proprii şi vectorii proprii ai matricii de covarianță pentru clasa a căror
elemente sunt simbolizate prin ▲. Desenați o elipsă de concentrare reprezentând conturul
funcției de densitate în planul x pentru această clasă.
d. Determinați cărei clase îi aparține elementul de coordonate [2, 1]T în situația utilizării unui
clasificator de tip minimă distanță ce utilizează o metrica Euclidiană. Prezentați întreaga
demonstrație.
e. Desenați suprafața de decizie care va separa cele două clase (simbolizate prin ●, ▲) în cazul
utilizării unui clasificator de tip minimă distanță ce utilizează o metrica Euclidiană. Ce
proprietăți satisface această suprafață de decizie?
x2
5

x1
-2 -1 1 2 3 4 5 6

-1

-2

Figura 3. Distribuția bidimensională a celor 2 clase

f. Schițați elipsa de concentrare pentru clasa ▲, presupunând că aceasta este caracterizată de o

funcție densitate de probabilitate Gauss-iană.
g. Dacă ați utiliza o structură neuronală (RN), precizați tipul rețelei RN și topologia pe care ați
alege-o pentru realizarea unei partiționării a spațiului de intrare optimală. Justificați răspunsul.
h. Reprezentați poziția exactă a suprafeței de decizie astfel încât să se maximizeze marginea de
decizie a rețelei neuronale. Determinați pentru fiecare suprafață de decizie marginea de
decizie și vectorii suport.
i. Determinați ponderile și bias-ul pentru fiecare neuron în parte aparținând aceste rețele
minimale, ce are suprafețe de decizie ce maximizează marginile de decizie și care este
capabilă să clasifice în mod corect toate elementele distribuțiilor din figura de mai sus. Pentru
această RN elementul de coordonate [2, 1]T cărei clase îi aparține (prezentați demonstrația) ?
j. Prezentați schema bloc a unui clasificator Mahalanobis particularizată pentru această
problemă.
k. Determinați cărei clase îi aparține elementul de coordonate [2, 1]T în situația utilizării unui
clasificator Mahalanobis.

Relație ajutătoare:
a1 0  0  1 0  0 
0 a2  0  a1 
A   1
 0 1
a2
 0 
     A  
       
0 0  aN   0 0  1 
 a N 
33. Fiind dată distribuţia a două clase ca în Figura 3 (prima clasă este simbolizata de ● iar cea de
a doua clasă de ▲ – fiecare figură geometrică simbolizează un element sau vector de trăsături,
aparţinând unei clase) se cere:
a. Calculați media și matricea de covarianță pentru elementele clasei simbolizată prin ● utilizând
metoda estimatorului.
b. Calculați media și matricea de covarianță pentru elementele clasei simbolizată prin ▲ prin
intermediul matricii setului de date.
c. Determinaţi valorile proprii şi vectorii proprii ai matricii de covarianță pentru clasa a căror elemente
sunt simbolizate prin ▲. Desenați o elipsă de concentrare reprezentând conturul funcției de densitate
în planul x pentru această clasă.
d. Determinați cărei clase îi aparține elementul de coordonate [1, 3]T în situația utilizării unui
clasificator de tip minimă distanță ce utilizează o metrica Euclidiană. Prezentați întreaga
demonstrație.
e. Prezentați schema bloc a unui clasificator Mahalanobis particularizată pentru această
problemă.
f. Determinați cărei clase îi aparține elementul de coordonate [1, 3]T în situația utilizării unui
clasificator Mahalanobis.
g. Scrieți relația generică ce descrie o funcție discriminant pentru clasa i a unui clasificator
Bayes-ian ce operează într-un spațiu d dimensional.
h. Care sunt aceaste funcții pentru clasele ● și ▲ în situația particulară a acestei probleme?
Rescrieți relațiile matematice anterioare ale acestor 2 funcții, astfel încât în momentul
implementării acestora încărcarea computațională a unui sistem de calcul să fie minimă.
i. Determinați cărei clase îi aparține elementul de coordonate [1, 3]T în situația utilizării unui
clasificator Bayes-ian, știind în plus și probabilitățile apriorice ale claselor ca luând
următoarele valori P(ω●) = ¾ și P(ω▲) = ¼.
j. Precizați dezavantajul major al clasificatorilor Mahalanobis și Bayes-ian, dezavantaj ce se
manifestă în special în cadrul spațiilor de intrare cu dimensionalitate mare.

Relație ajutătoare: ln 1 = 0, ln 2 = 0.69, ln 3 = 1.1, ln 5 = 1.6

a1 0  0  1 0  0 
0 a2  0  a1 
A   1
 0 1
a2
 0 
     A  
       
0 0  aN   0 0  1 
 a N 
1
1   a  m x T C x1  a  m x 
f x (a )  e 2

2  d / 2 C x 1 / 2
34. (a) Pentru situaţia estimării neparametrice a funcţiei densitate de probabilitate deduceţi relaţia de
k
fˆ (x) 
bază a unei astfel de estimări ( nV ).

(b) În cazul ferestrelor parzen  n ( x )  1  x  şi a estimării funcţiilor densitate de probabilitate cu

 
Vn  hn 
n
acestea: 1 explicaţi influenţa parametrului hn asupra estimării.
fˆn ( x ) 
n 
i 1
n (x  xi )

(c) Explicaţi ideea de bază care stă în spatele clasificatorului k-NN pentru ipoteza claselor
multiple.
35. Pentru o distribuţie a două clase (clase date de elementele marcate cu ● şi ■ ) conform figurii
de mai jos să se:
a. În cazul utilizării unui clasificator de tip minimă distanță (ce utilizează o metrica Euclidiană)
desenați suprafața de decizie care va
separa cele două clase. În acest caz x2
T
elementul de coordonate [1, 0] cărei
3
clase îi aparține ?
b. Schiţaţi elipsa de concentrare pentru 2
clasa ●, presupunând că aceasta este
caracterizată de o funcţie densitate de 1
probabilitate Gauss-iană. x1
c. Dacă ați utiliza o structură neuronală în -1 2
1 3
procesul clasificării, precizaţi tipul
reţelei neuronale minimale şi topologia -1
pe care dumneavoastră aţi alege-o pentru
realizarea unei partiţionării a spațiului de
intrare optimală. Justificaţi răspunsul.
d. Reprezentați poziţia exactă a suprafeţei Figura 1
de decizie astfel încât să se maximizeze
marginea de decizie a reţelei neuronale.
e. Determinaţi pentru fiecare suprafaţă de decizie marginea de decizie.
f. Indicaţi pentru fiecare suprafaţă de decizie vectorii suport asociaţi (acele puncte care se
găsesc la frontiera setului de date şi faţă de care se determină marginea de decizie).
g. Determinaţi ponderile şi bias-ul pentru fiecare neuron în parte aparţinând aceste reţele
minimale, ce are suprafeţe de decizie ce maximizează marginile de decizie şi care este
capabilă să clasifice în mod corect toate elementele distribuţiilor din Figura 1.
h. Determinaţi apartenenţa elementului caracterizat de vectorul de trăsături [1; 0.5]T la una din
cele două clase utilizându-se un clasificator de tipul NN. Desenaţi vecinătatea aleasă.
i. Determinaţi apartenenţa aceluiaşi element la una din cele două clase utilizându-se un
clasificator de tipul 3-NN. Desenaţi vecinătatea aleasă și dovediți că punctele ce definesc
vecinătatea, aparțin acelei vecinătăți iar restul de puncte nu aparțin vecinătății.
j. Determinaţi probabilitatea apriorică a fiecărei clase (probabilitatea de realizare a
evenimentelor din clasa respectivă)?
k. Clasificatorul Bayesian este unul optimal. Ce înţelegeţi prin clasificator optimal?
l. Desenaţi schema bloc a clasificatorului Bayes-an ce ar fi utilizat pentru rezolvarea problemei
din Fig. 1. Particularizați această schemă în conformitate cu problema aceasta.

36. Pentru o distribuţie a două clase conformă figurii de mai jos (prima clasă simbolizată de
elementele marcate cu ●, iar elementele celei de a doua clase sunt simbolizate cu ■ ) să se:
(a). Determine mediile celor două clase;
(b). Determine apartenenţa elementului [1, 1]T la una din cele două clase utilizându-se un
clasificator Euclidian de tip minimă distanță;
 x2 (c).Determine matricile de covarianţă a celor două
clase prin 2 două metode diferite (câte o metodă
4
pentru fiecare clasă);
(d). Schițați elipsa de concentrare pentru clasa ,
3
presupunând că aceasta este caracterizată de o
2 funcție densitate de probabilitate Gauss-iană;
(e). Determinaţi o transformata unitară (x  transf.
1
unitară  y) ce determină ca în noul spaţiu de
x1 trăsături, y, trăsăturile să fie necorelate (prin
1 2 3 determinare înţelegem: prezentarea valorii
numerice a fiecărui element a matricii şi
modalitatea prin care s-a ajuns la aceste valori!).
Figură – distribuția spațială a (f). Demonstraţi că transformata obţinută este unitară.
claselor (g). Determinaţi unghiul de rotire a noului sistem de
coordonate în planul y, după aplicarea
transformatei unitare, faţă de sistemul iniţial de coordonate din planul x.
(h). Determinați matricea Cy în noul spațiu de trăsături (y).

37. Pentru o distribuție a două clase (clase date de elementele marcate cu ● şi ■; pentru clasa ●
elementele simetrice fața de axa x2 au următoarele valori A = [ 3 , 2]T, B = [- 3 , 2]T) să se
răspundă la următoarele întrebări:
(a). Care este varianța trăsăturii x1? Care este deviația standard a trăsăturii x1? Care este media
trăsăturii x1 ? Răspundeți la această întrebare doar pentru elementele clasei ■.
(b). Desenați suprafața de decizie în cazul utilizării unui clasificator Euclidian de tip minimă
distanță.
(c). Determinați care din următoarele 2 distanțe, Euclidienă sau Mahalanobis, este mai scurtă –
aceste distanțe sunt
x2 calculate de la elementul
3 [1, 1]T la media clasei ●.
(d). Determinați mediile și
2 matricile de covarianță a
celor două clase. Matricile
de covarianță se vor
1 determina prin 2 două
metode diferite (câte o
x1 metodă pentru fiecare
-2 -1 clasă).
1 2 3 4
(e). Determinați coeficienții
de covarianță și de
corelație Pearson între
trăsăturile x1 și x2 pentru ambele clase (atât pentru clasa ● cât şi pentru clasa ■ – deci, sunt
necesare precizarea a 4 valori și a unei explicații a modului de determinare a acestor valori).
(f). Schițați elipsa de concentrare pentru clasa ■, presupunând că aceasta este caracterizată de o
funcție densitate de probabilitate Gauss-iană.
(g). Determinați o transformata unitară (x  transf. unitară  y) ce determină ca în noul spațiu
de trăsături, y, trăsăturile să fie necorelate (prin determinare înțelegem: prezentarea valorii
numerice a fiecărui element a matricii și modalitatea prin care s-a ajuns la aceste valori!).
 (h). Demonstrați că transformata obținută este unitară.
(i). Determinați unghiul de rotire a noului sistem de coordonate în planul y, după aplicarea
transformatei unitare, față de sistemul inițial de coordonate din planul x.
(j). Determinați matricea Cy în noul spațiu de trăsături (y). Justificați/demonstrați cum ați ajuns
la aceste valori ale elementelor matricii Cy!
(k). Utilizând o rețea neuronală (RN) cu un singur strat ascuns care ar fi topologia minimală a
acestei RN capabile să rezolve această problemă ?
(l). Prezentați poziția suprafețelor de decizie care maximizează marginea de decizie.
(m). Pentru fiecare suprafață de decizie prezentați vectorii suport.
(n). Determinați ponderile și bias-ul fiecărui neuron în parte a RN anterior determinate.
(o). Utilizând numai elementele prezentate în figura alăturată exprimați performanțele de
clasificare a clasificatorului neuronal cu ajutorul matricii confuziilor.

38. Pentru o distribuție a două clase (clase date de elementele marcate cu ● şi ■ în figura de mai
jos; pentru clasa ● elementele simetrice fața de axa x2 au următoarele valori A = [ 3 , 2]T, B = [-
3 , 2]T) să se răspundă la următoarele întrebări:
(a). Determine apartenența elementului [1, 1]T la una din cele două clase utilizându-se un
clasificator Euclidian de tip minimă distanță (prezentați toți pașii utilizați pentru: calcularea
valorilor medii ale claselor, calcularea distanțelor, compararea acestora).
(b). Desenați suprafața de decizie în cazul utilizării clasificatorului Euclidian de tip minimă
distanță, anterior menționat.
(c). Utilizând numai elementele prezentate în figura alăturată exprimați performanțele de
clasificare a clasificator Euclidian de tip minimă distanță cu ajutorul matricii confuziilor.
(d). Determinați care din distanțele
x2
Euclidienă sau Mahalanobis
3 este mai scurtă – distanțe
calculate de la elementul [2,
2 1]T la media clasei ●.
(e). Determine matricile de
covarianță a celor două clase
1 prin 2 două metode diferite
(câte o metodă pentru fiecare
x1 clasă).
-2 -1 1 2 3 4 (f). Determinați matricea de
corelație pentru clasa ●.
Această determinare nu va
utiliza o metodă de calcul ce
are la bază setul de date.
(g). Analizând matricile de corelație și covarianță pentru clasa ● caracterizați calitativ distribuția
acestor elemente.
(h). Determinați coeficienții de covarianță și de corelație Pearson între trăsăturile x1 și x2 pentru
ambele clase (atât pentru clasa ● cât şi pentru clasa ■ – deci, sunt necesare precizarea a 4
valori și a unei explicații a modului de determinare a acestor valori).
(i). Schițați elipsa de concentrare pentru clasa ■, presupunând că aceasta este caracterizată de o
funcție densitate de probabilitate Gauss-iană.
 (j). Determinați 2 transformate unitare (de tipul: x  A  y) ce determină ca în noul spațiu de
trăsături, y, trăsăturile să fie necorelate (prin determinare înțelegem: prezentarea valorii
numerice a fiecărui element a matricii și modalitatea prin care s-a ajuns la aceste valori!).
(k). Demonstrați că una din cele 2 transformate obținute este unitară.
(l). Determinați unghiul de rotire a noului sistem de coordonate în planul y, după aplicarea
transformatei unitare, față de sistemul inițial de coordonate din planul x.
(m). Determinați matricea Cy în noul spațiu de trăsături (y). Justificați/demonstrați cum ați ajuns
la aceste valori ale elementelor matricii Cy!
(n). În situația utilizării pentru clasificare a unui element de tip M-P (McCulloch-Pitts) care a
obținut performanțele maximale de clasificare (printr-un proces adaptiv de învățare
finalizat), pe setul de antrenare prezentat în figura anterioară, exprimați performanțele de
clasificare cu ajutorul matricii confuziilor. Analizați existența mai multor soluții.
(o). Prezentați potențiale poziții a suprafețelor de decizie asociate matricilor confuziilor
determinate anterior.

39. Fiind dată distribuţia a doua clase ca în figura de mai jos - cercurile pline reprezintă elemente,
vectori de trăsături, aparţinând unei clase în timp ce restul de cercuri (cercurile goale) reprezintă
elemente aparţin celei de a doua clase se cere:
x2
(a) Determinați matricea de covarianță și media 3
clasei compuse din elementele simbolizate
prin cerculeț gol (○) – valorile vectorilor de 2
trăsături care compun această clasă sunt: cA
1
3 T
= [ , 0] , cB = [- 3 T T
, 0] și cC = [0, 3] ;
(b) Determinați matricea de covarianță și media x1
-4 -3 -2 -1 1 2 3
clasei compuse din elementele simbolizate
prin cerculeț gol (○) prin intermediul
-1
matricii setului de date.
(c) Cum sunt corelate elementele clasei
simbolizate prin ○? Ce semnificație are această corelare? De ce ne dorim ca variabilele
aleatoare ale unui vector aleatoriu ce caracterizează elementele unei clase să fie necorelate?
(d) Desenați o elipsă de concentrare pentru această clasă.
(e) În cazul utilizării unui clasificator neuronal precizaţi tipul reţelei neuronale şi topologia
(numărul de straturi ascunse şi numărul de neuroni de pe fiecare strat) minimală pe care
dumneavoastră aţi alege-o pentru realizarea unei partiţionări corecte a setului de date.
Justificaţi răspunsul.
(f) Desenaţi poziţia exactă a suprafeţelor de decizie astfel încât acestea să maximizeze marginea
de decizie a reţelei. Indicaţi pentru fiecare suprafaţă de decizie vectorii suport asociaţi (acele
puncte care se găsesc la frontiera setului de date şi faţă de care se determină marginea de
decizie). Determinați valoarea marginii de decizie.
(g) Determinaţi ponderile şi bias-ul pentru fiecare neuron în parte.
(h) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul neuronal anterior
determinat?
(i) Cărei clase îi va fi asociat vectorul x = [-1, 1]T în cazul utilizării unui clasificator de tip
minimă distanță. Dovediți matematic apartenența acestui element la clasa asociată.
(j) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul 1-NN? Desenați
vecinătatea pe baza căreia ați luat decizia.
 (k) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul 3-NN? Desenați
vecinătatea pe baza căreia ați luat decizia.
(l) Ce este o funcţie discriminant? Desenaţi schema bloc generală a unui clasificator cu trei clase
care să înglobeze aceste funcţii discriminant;
(m) Desenaţi schema bloc a unui clasificator cu 3 clase bazat pe norma Mahalanobis. Precizaţi
notaţiile făcute pe schema bloc. Scrieţi relaţia ce caracterizează distanţa Mahalanobis.

Nota: 1.5  1.22 ; 2  1.44 ; 3  1.7; ln 1 = 0; ln 2 ≈ 0.7; ln 3 ≈ 1; ln 4 ≈ 1.4; ln 5 ≈ 1.6;

ln 6 ≈ 1.8; ln 7 ≈ 1.9; ln 8 ≈ 2; ln 9 ≈ 2.2; ln 10 = 2.3; ln 11 = 2.4.

40. Considerăm următorul set de antrenare generat de o funcţie densitate de probabilitate necunoscută
f(x): X   0.01, 0.12, 0.19, 0.32, 0.41, 0.48 . Găsiţi analitic estimantul lui f(x) prin algoritmul
celor mai apropiaţi 3 vecini.

Rezolvare:

2  0.19  x 
3
x  0.1
 2   x  0.01 0.1  x  0.165 2.5

2  0.32  x  0.165  x  0.22
 2
2   x  0.12 0.22  x  0.265
Vn  
 2  0.41  x  0.265  x  0.3
1.5

2   x  0.19 0.3  x  0.335 1


2  0.48  x  0.335  x  0.4
0.5
2   x  0.32 0.4  x
 -0.4 -0.2 0 0.2 0.4 0.6 0.8
x

41. Fie o reţea neuronala care creează funcţii discriminant care prin existenţa lor partiţionează spaţiul
de intrare ca în figura de mai jos:

0. 5

-1 1

(-1, -0.5) -1 (-1, 0.5)

(a) Precizaţi tipul reţelei neuronale şi topologia pe care dumneavoastră aţi alege-o pentru
realizarea partiţionării. Justificaţi răspunsul.
(b) Ce tip de neliniaritate de ieşire aţi alegeţi. Incercati sa justificati alegerea.
(c) Pot fi folosite şi alte tipuri de neliniarităţi pentru a obţine acelaşi rezultat ? Daca da, ce
modificări trebuiesc făcute pentru a obţine un rezultat similar? Daca nu, justificati raspunsul.
(d) Găsiţi valori pentru ponderile si bias-ul corespunzatoare fiecarui neuron în parte, care vor
conduce la partiţionarea prezentată anterior în spaţiul de intrare (aria haşurată va fi un răspuns
de valoare 0 al reţelei).
Rezolvare:

S1 – segmentul din stânga sus

w1s1 = 10 w1s2 = -10 w1s3 = -20 w1s4 = 0 w1s5 = 20
w2s1 = -20 w2s2 = -20 w2s3 = 10 w2s4 = 10 w2s5 = 10
bs1 = 10 bs2 = 10 bs3 = 20 bs4 = 10 bs5 = 20

Pentru neuronul de ieşire: w1o, 2o, 3o, 4o, 5o = 1, bo = - 4, se obţine o stea răsturnată pentru bo = - 1.

42. Fiind date distribuţiile a două clase ca în Figura 4 (prima clasă este simbolizata de ● iar cea de a
doua clasă de ▲ sau spațiu hasurat în negru reprezintă o clasă, în timp ce restul spațiului de
trăsături este dat de cea de a doua clasă) se cere:
x2
x2 1
5
-1 1 x1
4

3
x2 -1 (b)
2

x1 x1
-1 1
-2 -1 1 2 3 4

-1
-1
(a) (c)
-2

Figura 4. Trei distribuții bidimensionale de lelmente

a. Clasele simbolizate prin ●, ▲ sunt liniar separabile ? Justificați răspunsul.

b. Calculați matricea de covarianță pentru elementele clasei simbolizată prin ▲.
c. Dovediți că această matrice este legitimă.
d. Determinați coeficientul de covarianța între trăsătura 1 și 2, pentru clasa ▲ din figura (a). Analizați
legătura ce există între această valoare și setul de date.
e. Determinați transformata unitară care decorelează elementele vectorilor de trăsături pentru clasa ▲.
Dovediți că această matrice este unitară.
f. Desenați suprafața de decizie (calculând parametrii ce o definesc) care va separa cele două
clase (simbolizate prin ●, ▲) în cazul utilizării unui clasificator de tip minimă distanță ce
utilizează o metrica Euclidiană. Ce proprietăți satisface această suprafață de decizie?
g. Dacă ați utiliza o structură neuronală, precizați tipul fiecărei rețele neuronale în parte și
topologia minimală pe care ați alege-o pentru realizarea unei partiționării a spațiului de intrare
în conformitate cu figurile de mai sus. Justificați-vă răspunsul - precizați rolul fiecărui neuron
în parte !
 h. Reprezentați poziția exactă a suprafeței de decizie astfel încât să se maximizeze marginea de
decizie a rețelei neuronale, pentru situația prezentată în figura (a). Determinați marginea de
decizie și vectorii suport ai suprafețelor de decizie alese.
i. Determinați ponderile și bias-ul pentru fiecare neuron în parte, aparținând acestei rețele
minimale, ce are suprafețe de decizie poziționate astfel încât să se maximizeze marginile de
decizie și care este capabilă să clasifice în mod corect toate elementele distribuțiilor din figura
de mai sus.
j. Pentru această RN elementul de coordonate [3, 2]T cărei clase îi aparține (prezentați
demonstrația prin trecerea acestor valori prin RN) ? Dar punctul [0, 0]T (realizați o analiză
similară cu cea de la punctual anterior)?

43. Fiind dată distribuţia a două clase în conformitate cu figura de mai jos (prima clasă este
plasată în zona spațială centrală umplută cu negru, iar cea de a doua clasă este plasată în colțul
dreapta sus a imaginii – zona hașurată) se cere:
(a) Precizaţi tipul reţelei neuronale şi topologia (numărul de straturi ascunse şi numărul de
neuroni de pe fiecare strat) minimală pe care dumneavoastră aţi alege-o pentru realizarea
x2 unei partiţionări corecte a
setului de date. Justificaţi-vă
5 răspunsul (De exemplu: De
4
ce sunt atâţia neuroni pe
stratul i?; De ce atâtea ieşiri
3 are reţeaua?; De ce atâtea
intrări?; De ce atâtea straturi
2
ascunse?; Am folosit o
1
neliniaritate de tipul ....
pentru că ... etc.)!
-3 -2 x 1 (b) Desenați grafic topologia
-1 1 2 3 4 5 rețelei neuronale minimale
prezentată la punctul anterior
-1 – ponderile de valoare zero
nu le mai desenați.
-2
Justificați-vă răspunsul (De
exemplu: De ce ieşirea neuronului n de pe stratul m se conectează numai cu primii k neuroni
de pe următorul strat ?; Neuronul j corespunde suprafeţei de decizie S1 (marcați pe desen
fiecare suprafață în parte); etc.).
(c) Ce valoare va/vor avea ieșirea/ieșirile RNA (funcție de soluția aleasă de dvs. și de
neliniaritatea neuronilor) pentru următoarele particularizări ale vectorului de trăsături de
intrare: [-1, -1], [1, 3] și [3, 3]. Răspunde-ți la această întrebare funcție numai de răspunsurile
date la punctele (a) și (b) anterioare.
(d) Determinaţi ponderile şi bias-ul pentru fiecare neuron în parte de pe primul strat ascuns.
(e) Determinaţi ponderile şi bias-ul pentru fiecare neuron în parte de pe cel de al doilea strat
ascuns.
(f) Determinaţi ponderile şi bias-ul pentru fiecare neuron în parte de pe stratul de ieșire.
Prezentați valorile de ieșire a tuturor zonelor spațiului de intrare funcție de care determinați
bias-ul neuronului/neuronilor de pe stratul de ieșire.
44. Fiind dată distribuţia a doua clase ca în figura de mai jos (cercurile pline reprezintă elemente,
vectori de trăsături, aparţinând unei clase în timp ce restul de cercuri reprezintă elemente aparţin
celei de a doua clase) se cere:
(a) Precizaţi tipul reţelei neuronale şi topologia
x2 (numărul de straturi ascunse şi numărul de
3 neuroni de pe fiecare strat) minimală pe care
dumneavoastră aţi alege-o pentru realizarea unei
2
partiţionări corecte a setului de date. Justificaţi
1
răspunsul.
x1
(b) Ce tip de neliniaritate de ieşire pentru neuroni
alegeţi ? Justificaţi-vă alegerea.
-1 1 2 3 4 (c) Puteţi folosi şi alte neliniarităţi pentru neuroni? În
ce condiţii ?
-1 (d) Determinaţi ponderile şi biasul pentru fiecare
neuron în parte.
(e) În situaţia utilizării pentru clasificare a unui singur neuron de tip M-P (McCulloch-Pitts)
antrenat cu ajutorul următoarei relaţii de modificare a vectorului de ponderi:
wn  1  wn    d n   y n  xn  ; determinaţi numărul de epoci de antrenare până la
convergenţa algoritmului de adaptare. Se va considera drept stare iniţială a vectorului de
ponderi valoarea w[0] = [0, 0]T iar rata de învăţare, μ, va avea o valoare egală cu 1 pe durata
întregului proces de adaptare.
(f) Determinaţi matricile de covarianţă şi mediile celor două clase.
(g) Decorelaţi elementele uneia dintre clase (diagonalizaţi matricea de covarianţă a clasei
respective), prin determinarea transformării care trebuie aplicată setului de date pentru a
realiza această diagonalizare. Calculaţi matricea de corelaţie rezultantă. Ce se întâmplă cu
cealaltă clasă odată cu aplicarea transformării ?
(h) Pot fi decorelate simultan elementele ambelor clase ? Dacă da explicaţi conceptual, prin
cuvinte, cum s-ar putea realiza acest proces.
(Nota: 112 = 716; 126 = 279; 5 2  8)

45. Pentru distribuția a 2 clase prezentată în figura de mai jos, utilizând o rețea neuronală (RN),
răspundeți la următoarele întrebări:
x2 (a). Precizați tipul RN minimale și topologia pe care ați
alege-o pentru o clasificare cu eroare zero.
4
Justificați răspunsul exemplificând rolul fiecărui
neuron în parte.
3
(b). Desenați suprafețe de decizie ce maximizează
2 marginile de decizie ale acestei RN.
(c). Determinați ponderile și bias-ul pentru fiecare
1 neuron în parte aparținând aceste RN minimale, ce
x1 satisface cerințele de la punctele anterioare.
1 2 3 (d). Pentru această RN elementul de coordonate [1, 1]T
cărei clase îi aparține (prezentați demonstrația) ?
(e). Dacă elementul [1, 1] T ar fi unul din elementele
clasei ■ răspundeți la întrebările:
Figură – distribuția spațială a
claselor a. Precizați tipul RN minimale și topologia pe
care ați alege-o pentru o clasificare cu eroare
 zero. Justificați răspunsul exemplificând rolul fiecărui neuron în parte.
b. Desenați suprafețe de decizie ce maximizează marginile de decizie ale acestei RN.
c. Determinați ponderile și bias-ul pentru fiecare neuron în parte aparținând aceste RN
minimale, ce satisface cerințele de la punctele anterioare.

46. Fiind dată distribuţia a doua clase ca în figura de mai jos - cercurile pline reprezintă elemente,
vectori de trăsături, aparţinând unei clase în timp ce restul de cercuri (cercurile goale) reprezintă
elemente aparţin celei de a doua clase se cere:
(a) Determinați matricea de covarianță și media clasei compuse din elementele simbolizate prin
cerculeț plin (●);
(b) Determinați matricea de covarianță și
x2 media clasei compuse din elementele
3 simbolizate prin cerculeț gol (○) –
valorile acestor elemente sunt: cA =
2
[ 3 , 0]T, cB = [- 3 , 0]T și cC = [0,
1 3]T;
x1
(c) Cum sunt corelate elementele clasei
-4 -3 -1 1 2 3
simbolizate prin ○? Ce semnificație
-2
are această corelare? De ce ne dorim
-1 ca variabilele aleatoare ale unui vector
aleatoriu ce caracterizează elementele
unei clase să fie necorelate?
(d) În cazul utilizării unui clasificator neuronal precizaţi tipul reţelei neuronale şi topologia
(numărul de straturi ascunse şi numărul de neuroni de pe fiecare strat) minimală pe care
dumneavoastră aţi alege-o pentru realizarea unei partiţionări corecte a setului de date.
Justificaţi răspunsul.
(e) Desenaţi poziţia exactă a suprafeţelor de decizie astfel încât acestea să maximizeze marginea
de decizie a reţelei. Indicaţi pentru fiecare suprafaţă de decizie vectorii suport asociaţi (acele
puncte care se găsesc la frontiera setului de date şi faţă de care se determină marginea de
decizie).
(f) Determinaţi ponderile şi biasul pentru fiecare neuron în parte.
(g) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul neuronal anterior
determinat?
(h) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul 1-NN? Desenați
vecinătatea pe baza căreia ați luat decizia.
(i) Vectorul x = [-1, 1]T cărei clase îi va fi asociat de către clasificatorul 3-NN? Desenați
vecinătatea pe baza căreia ați luat decizia.
(j) Vectorul x = [-3, 3]T cărei clase îi va fi asociat de către clasificatorul neuronal anterior
determinat?
(k) Cărei clase îi va fi asociat vectorul x = [-3, 3]T în cazul utilizării unui clasificator de tip
minimă distanță.
(l) Ce este o funcţie discriminant? Desenaţi schema bloc generală a unui clasificator cu trei clase
care să înglobeze aceste funcţii discriminant;
(m) Desenaţi schema bloc a unui clasificator bazat pe norma Mahalanobis. Precizaţi notaţiile
făcute pe schema bloc. Scrieţi relaţia ce caracterizează distanţa Mahalanobis;
(n) Determinați apartenența elementului x = [-3, 3]T, la una din cele două clase, în cazul utilizării
unui clasificator de tip Mahalanobis;
 (o) Pentru clasificatorul Bayes-ian scrieţi relaţia din care rezultă relația funcției discriminant
pentru fiecare clasă;
(p) Determinați apartenența elementului x = [-3, 3]T, la una din cele două clase, în cazul utilizării
unui clasificator de tip Bayes.

Nota: 1.5  1.22 ; 2  1.44 ; 3  1.7; ln 1 = 0; ln 2 ≈ 0.7; ln 3 ≈ 1; ln 4 ≈ 1.4; ln 5 ≈ 1.6;

ln 6 ≈ 1.8; ln 7 ≈ 1.9; ln 8 ≈ 2; ln 9 ≈ 2.2; ln 10 = 2.3; ln 11 = 2.4; 2  2.5 ;
1
1   xmx T Cx1  xmx 
f x (x)  e 2

2 D/ 2 Cx 1/ 2
47. Răspundeți la următoarele întrebări:
(a) Determinaţi ecuaţia suprafeţei de separare în cazul utilizării unui clasificator de tip Bayes pentru
distribuţia claselor prezentată în figura anterioara. Ambele clase sunt caracterizate de o funcţie
densitate de probabilitate de tip Gaussian. Ţineţi cont şi de faptul că cele două clase sunt
echiprobabile.
(b) Se poate realiza o estimare corecta a matricilor de covarianţă pentru cele două clase în situaţia
setului de date anterior prezentat în figură? Justificaţi răspunsul. Sunt sensibile funcţiile
discriminant la mărimea setului de date ? Justificaţi răspunsul.
1
1   xmx T Cx1  xmx 
( Nota: f x (x)  e 2
)
2  D/ 2
Cx
1/ 2

48. Fiind dată distribuţia a trei clase ca în figura de mai jos (prima clasă este simbolizata de ●, cea
de a doua clasă de ■ în timp ce ultima clasă de ▲ – fiecare figură geometrică simbolizează un
element sau vector de trăsături, aparţinând unei clase) se cere:
(a) Precizaţi tipul reţelei neuronale şi
x2 topologia (numărul de straturi
4 ascunse şi numărul de neuroni de pe
fiecare strat) minimală pe care
3 dumneavoastră aţi alege-o pentru
2 realizarea unei partiţionări corecte a
setului de date. Justificaţi răspunsul.
1 (b) Dacă aveţi posibilitatea utilizării mai
multor reţele neuronale de tipuri
x1
diferite, pe care eventual le puteţi şi
-1 1 2 3 4 cupla între ele (înseria, pune în paralel),
care ar fi topologia minimală a
-1 ansamblului astfel format care ar
determina clasificarea corectă a setului
-2 de date cu distribuţia din figură.
(c) Determinaţi ponderile şi biasul
-3
pentru fiecare neuron în parte (doar
-4 pentru una din cele două topologii
determinate anterior).
-5 (d) Determinaţi matricile de covarianţă
 şi mediile celor trei clase.
(e) Verificaţi că matricile de covarianţă determinate sunt legitime.
(f) Caracterizaţi interdependenţa între trăsăturile x1 şi x2 (pentru toate cele trei clase) utilizând
rezultatele obţinute la punctul (d).
(g) Schiţaţi elipsele de concentrare doar pentru clasele reprezentate de elementele notate cu ▲ şi
● luând în considerare ipoteza distribuţiei Gaussiene pentru elementele fiecărei clase.
(h) Determinaţi transformarea care trebuie aplicată setului de date aparţinând claselor anterioare
pentru a diagonaliza matricea de corelaţie. Ce se întâmplă cu cealaltă clasă odată cu aplicarea
transformării?
(i) Pentru clasele de la punctul (g) desenaţi schema bloc a unui clasificator bazat pe norma
Mahalanobis. Precizaţi notaţiile făcute pe schema bloc. Scrieţi relaţia ce caracterizează
distanţa Mahalanobis.
(j) Ce este o suprafaţă de decizie. Daţi trei exemple de suprafeţe de decizie.
(k) Ce este o funcţie discriminant? Desenaţi schema bloc generală a unui clasificator cu trei clase
care să înglobeze aceste funcţii discriminant.
(l) Dacă pentru a distinge între cele două clasele echiprobabile precizate la punctul (g) am folosi
un clasificator Bayes-ian scrieţi relaţiile care definesc funcţiile discriminant pentru cele două
clase.
(m) Pentru clasificatorul Bayes-ian scrieţi relaţia din care rezultă ecuaţia suprafeţei de decizie.
(n) Determinaţi ecuaţia suprafeţei de decizie.
(o) Pentru problema analizată există deosebiri între clasificatorul Bayes-ian şi cel bazat pe norma
Mahalanobis?
(p) Comparaţi clasificatorul Bayes-ian cu unul neuronal din punctul de vedere al optimalităţii şi a
mărimi setului de date.
(q) Explicaţi necesitatea utilizării în cadrul unei reţele neuronale a unui pas adaptiv de învăţare.
Explicaţi modul în care ar trebui variat pasul de învăţare.
(r) Explicaţi de ce este necesară utilizarea unei iniţializări specifice a ponderilor fiecărui neuron
în parte aleator într-un interval definit de:   2.4 , 2.4  . Cine este Fi?
 Fi Fi 

1
1   x  m x T C x1  x  m x  1
Notă: f x ( x)  e 2 , A1  A*
2 N / 2 C x 1 / 2 det A
1 2 T 1 3 *  4  2
Ex.: A   , A   2 4  , A    3 1 
3 4     
Rezolvare:
3 
4 0 0 3
C   ; m   ; 1  2 
3 0 4
0 
 4
 1 1


C   2 4 ; m    2 ;   1 ,   3
1 1     2
 
1
4
2
4
 
 4 2 
  7
 2   2
C patrat   5 ; m
7  patrat   
 6    1
 5 

49. Pentru o problemă de clasificare caracterizată de o distribuţie a trei clase ca în figura de mai jos
determinaţi:
x2 (a). Media fiecărei clase.
1 2 3 4 5 6 7 8 (b). Matricile de covarianţă
-9 -8 -7 -6 -5 -4 -3 -2 -1
pentru elementele claselor
5 simbolizate cu triunghi şi
pătrat.
4
(c). Pentru clasa simbolizată
3 printr-un pătrat determinaţi
2 coeficientul de covarianţă
1 între trăsătura x2 şi x1 a unui
x1 vector aleator caracterizat de
-1 o funcţie densitate de
probabilitate Gauss-iană
-2 caracterizată de matricea Cx
-3 şi media mx anterior
-4 determinate. Justificaţi-vă
-5 răspunsul.
-6 (d). Determinaţi valorile proprii
şi vectorii proprii ai matricii
Distribuţia în spaţiul bidimensional de intrare de corelaţie pentru clasa a
a celor trei clase căror elemente sunt
simbolizate cu un pătrat.
(e). Desenaţi o elipsă de concentrare reprezentând conturul funcţiei de densitate în planul x pentru clasa ■. Se
va preciza în mod explicit: cu cine este proporţională fiecare axă a elipsei, în ce punct este poziţionat
centrul elipsei, unghiul pe care fiecare axă a elipsei îl face cu sistemul de coordonate a planului x şi cu
cine sunt paralele axele elipsei de concentrare.
(f). Determinaţi o transformata unitară ce determină ca în noul spaţiu de trăsături, y, trăsăturile să fie
necorelate (prin determinare se înţelege precizarea valorii numerice a fiecărui element a matricii şi
modalitatea prin care s-a ajuns la aceste valori!). Această cerinţă se referă doar la clasa ■.
(g). Demonstraţi că transformata obţinută este unitară.

50. Tot pentru aceeaşi problemă caracterizată de o distribuţie a claselor conformă cu figura de mai sus
determinaţi:
(a). Apartenenţa elementului caracterizat de următoarele valori [0, -3] la una din cele trei clase dacă
se utilizează un clasificator de tip minimă distanţă ce utilizează o normă Euclidiană. Prezentaţi
întreaga demonstraţie.
(b). Desenaţi schema bloc a clasificatorului de minimă distanţă.
(c). Determinaţi apartenenţa aceluiaşi element la una din cele 3 clase dacă folosim de această dată un
clasificat de tipul 1-NN. Justificaţi-vă răspunsul. Desenaţi vecinătatea ce determină clasificarea
corectă.
(d). În cazul utilizării unui clasificator de tip minimă distanţă ce utilizează norma Euclidiană desenaţi
suprafeţele de decizie. Demonstraţi că acestea trec prin punctele pe care dumneavoastră le
precizaţi. Scrieţi ecuaţia fiecărei suprafeţe de decizie. Prezentaţi zonele decizionale pentru fiecare
clasă.
 (e). În cazul utilizării uni clasificator neuronal precizaţi tipul şi topologia acestei reţele neuronale
artificiale. Justificaţi răspunsul (de exemplu: de ce sunt atâţia neuroni pe stratul i; de ce atâtea
ieşiri are reţeaua; de ce ieşirea neuronului n de pe stratul m se conectează numai cu primii k
neuroni de pe următorul strat; am folosit o neliniaritate de tipul .... pentru că ...; neuronul j
corespunde suprafeţei de decizie S1; etc.).
(f). Găsiţi valori pentru ponderile şi bias-ul corespunzătoare fiecărui neuron în parte care vor conduce
la o partiţionare corectă a spaţiului de intrare astfel încât să se maximizeze marginea de decizie a
reţelei.

51. Funcţiile densitate de probabilitate pentru două distribuţii monodimesionale ce caracterizează

clasele 1 şi 2 sunt date de relaţiile:
 0 x  6
 x6
  6  x  4
f ( x 1 )    24 x (1)
  4  x  2
 4
 0 2 x
x2
1 
f ( x 2 )  e 2 (2)
6
(a) Demonstraţi ca (1) este o funcţie de tip densitate de probabilitate (verificaţi proprietăţile
acesteia).
(b) Reprezentaţi în mod grafic cele două distribuţii.
(c) Determinaţi apartenenţa punctelor de valori -2, -1, 0, 1 şi 2 la una din cele din cele două clase
(1 şi 2) utilizând un clasificator Euclidian (apartenenţa punctelor se va demonstra
matematic şi nu „ochiometic”).
(d) Definiţi cu propriile cuvinte noţiunea de clasificator optimal.
(e) Dacă s-ar utiliza un clasificator de tipul 3-NN în locul celui Euclidian anterior utilizat cum va
fi eroarea de clasificare comparativ cu situaţia utilizării unui clasificator Bayess-ian?
Justificaţi-vă răspunsul.
(f) Determinaţi ecuaţia din care se deduce pragul de segmentare optimal care va împărţi spaţiul
de intrare în două zone distincte (prima determinând clasa 1, iar cea de a doua zonă clasa
2) pentru situaţia existenţei a 4 puncte aparţinând clasei 1 şi 6 puncte aparţinând clasei 2.

52. Fie o reţea neuronala care creează funcţii discriminant care prin existenţa lor partiţionează spaţiul
de intrare ca în figura de mai jos. Răspundeți la următoarele întrebări:
(a) Precizaţi tipul reţelei neuronale şi topologia pe care dumneavoastră aţi alege-o pentru
realizarea partiţionării. Justificaţi răspunsul.
(b) Ce tip de neliniaritate de ieşire aţi alegeţi. Incercati sa justificati alegerea.
(c) Pot fi folosite şi alte tipuri de neliniarităţi pentru a obţine acelaşi rezultat ? Daca da, ce
modificări trebuiesc făcute pentru a obţine un rezultat similar? Daca nu, justificati raspunsul.
(d) Găsiţi valori pentru ponderile si bias-ul corespunzatoare fiecarui neuron în parte, care vor
conduce la partiţionarea prezentată anterior în spaţiul de intrare (aria haşurată va fi un răspuns
de valoare 0 al reţelei).

(-0.5, 1) 1 (0.5, 1)

(-1, 0.5) (1, 0.5)

(-0.5, 0.25) (0.5, 0.25)

-1 1
53. Pentru o distribuţie a claselor similară cu cea din figura alăturată (cu gri sunt simbolizate
elementele aparţinând aceleiaşi clase, asociată de clasificator cu valoarea 1; cu alb sunt
simbolizate elementele asociate de clasificator cu
valoarea -1) determinaţi: -1 0.5 x2 1 2 3
(a) Tipul şi topologia acestei reţele neuronale 3
artificiale. Justificaţi răspunsul (de
exemplu: de ce sunt atâţia neuroni pe 2
stratul i; de ce atâtea ieşiri are reţeaua; de
ce ieşirea neuronului n de pe stratul m se 1
conectează numai cu primii k neuroni de pe x1
următorul strat; am folosit o neliniaritate de
tipul .... pentru că ...; neuronul j corespunde -1
suprafeţei de decizie S1; etc.).
-2
(b) Găsiţi valori pentru ponderile şi bias-ul
corespunzătoare fiecărui neuron în parte -3
care vor conduce la partiţionarea prezentată
anterior în spaţiul de intrare.

54. Fiind dată o distribuţie a unei clase ca în figura de mai jos (în această problemă se cere rezolvarea
problemei numai pentru clasa reprezentată
x2 prin ) se cere:
5 (a) Determinaţi matricea de corelaţie şi
4 media clasei.
(b) Determinaţi matricea de covarianţă a
3
clasei.
2 (c) Ce relaţie există între matricea de
1 covarianţă şi cea de corelaţie ?
x1 Demonstraţi această relaţie.
-4 -3 -2 -1 1 2 3 4
0 (d) Determinaţi valorile proprii şi vectorii
proprii ai acestei clase.
-1
(e) Desenaţi o elipsă de concentraţie
-2 reprezentând conturul funcţiei de
-3 densitate în planul x.
-4
(f) Cu ce valori sunt proporţionale axele
principale ale elipsei ?
-5 (g) Găsiţi o transformare (orice
Figura 5. Distribuţia elementelor transformare) de tipul y = A  x astfel
încât vectorul de trăsături y să aibă
componentele necorelate.
(h) Dovediţi matematic că componentele vectorului y sunt necorelate.
 (i) Desenaţi în noul spaţiu de trăsături y noile elementele obţinute în urma aplicării transformării
şi noua elipsă de concentrare ce caracterizează aceste elemente.
(j) Pentru o distribuţia a trei clase conformă cu Figura 1 (○ reprezintă elementele, vectori de
trăsături, aparţinând unei clase, ● reprezintă elemente aparţin celei de a doua clase, în timp ce
■ reprezintă elementele ultimei clase) se cere:
(k) Precizaţi tipul reţelei neuronale şi topologia (numărul de straturi ascunse şi numărul de
neuroni de pe fiecare strat) minimală pe care dumneavoastră aţi alege-o pentru realizarea unei
partiţionări corecte a setului de date. Justificaţi-vă răspunsul (de exemplu: de ce atâţia neuroni
pe stratul 1; de ce atâtea ieşiri are reţeaua; de ce ieşirea neuronului n de pe stratul m se duce
numai în primii k neuroni de pe următorul strat; am folosit o neliniaritate de tipul .... pentru că
...; neuronul j corespunde suprafeţei de decizie S1; etc.).
(l) Desenaţi poziţia exactă a suprafeţelor de decizie astfel încât să se maximizeze marginea de
decizie a reţelei.
(m) Determinaţi pentru fiecare suprafaţă de decizie marginea de decizie.
(n) Indicaţi pentru fiecare suprafaţă de decizie vectorii suport asociaţi (acele puncte care se
găsesc la frontiera setului de date şi faţă de care se determină marginea de decizie).
(o) Determinaţi ponderile şi biasul pentru fiecare neuron în parte aparţinând aceste reţele
minimale, cu suprafeţe de decizie ce maximizează marginile de decizie şi care sunt capabilă
să clasifice în mod corect toate elementele distribuţiilor din Figura 1.
(p) Care este topologia minimală a unei reţele neuronale capabile să separe clasele reprezentate
de ○ şi ■, făcând abstracţie totală de clasa a cărei elemente sunt reprezentate de ● (aceste
elemente nici nu mai există în planul x!).
(q) Determinaţi ponderile şi biasul pentru fiecare neuron al acestei reţele.

55. Ţinând cont de distribuţia elementelor celor 3 clase prezentată în Figura 5 răspundeţi la
următoarele întrebări:
(a) Determinaţi apartenenţa elementului caracterizat de vectorul de trăsături [0, 0]T la una din
cele două clase utilizând un clasificator Euclidian. Prezentaţi toată demonstraţia.
(b) Comentaţi performanţele de clasificare pe care le obţineţi cu clasificatorul Euclidian (De ce
sunt aşa cum sunt?; Ce limitări apar în această situaţie pentru acest clasificator?).
(c) Determinaţi apartenenţa elementului caracterizat de vectorul de trăsături [0, 0]T la una din
cele două clase utilizându-se un clasificator de tipul NN. Desenaţi vecinătatea aleasă.
(d) Determinaţi apartenenţa aceluiaşi element la una din cele două clase utilizându-se un
clasificator de tipul 3-NN. Desenaţi vecinătatea aleasă.
(e) Estimaţi valoarea funcţiei densitate de probabilitate în punctul [0,0]T pentru ambele situaţii
anterioare (NN şi 3-NN) pentru ambele clase.
(f) Determinaţi probabilitatea apriorică a fiecărei clase (probabilitatea de realizare a
evenimentelor din clasa respectivă)?
(-1, 4) 4 ( 1,4)
56. Fie o reţea neuronala care creează funcţii
discriminant care prin existenţa lor partiţionează 2
spaţiul de intrare ca în figura de mai jos: 1
(a) Precizaţi tipul reţelei neuronale şi topologia pe (-2, -1) (2, -1)
care dumneavoastră aţi alege-o pentru realizarea -1
-2
partiţionării. Justificaţi răspunsul.
(b) Ce tip de neliniaritate de ieşire aţi alegeţi.
Încercaţi sa justificaţi alegerea. -4
 (c) Pot fi folosite şi alte tipuri de neliniarităţi pentru a obţine acelaşi rezultat ? Daca da, ce
modificări trebuiesc făcute pentru a obţine un rezultat similar? Daca nu, justificati răspunsul.
(d) (d) Găsiţi valori pentru ponderile si bias-ul corespunzătoare fiecărui neuron în parte, care vor
conduce la partiţionarea prezentată anterior în spaţiul de intrare (aria haşurată va fi un răspuns
de valoare 0 al reţelei).

57. Pentru o distribuţie a două clase (clase date de elementele marcate cu ● şi ■ ) conform figurii de
mai jos să se:
(a). Determine mediile celor două clase;
x2 (b). Determine apartenenţa elementului
caracterizat de vectorul de trăsături [1, 2]T la
una din cele două clase utilizându-se un
clasificator Euclidian;
4 (c). Determine apartenenţa elementului
caracterizat de vectorul de trăsături [1, 2]T la
3 una din cele două clase utilizându-se un
clasificator de tipul 3-NN;
2
(d). Determine matricile de covarianţă a celor
două clase;
1
(e). Determine apartenenţa elementului
x1 caracterizat de vectorul de trăsături [1, 2]T la
-1 1 2 3 una din cele două clase utilizându-se un
clasificator de tipul Bayes-ian. Se ştie că
-1 probabilitatea apriorică a clasei simbolizată
prin elementele având forma unui pătrat plin
este 4/7;
(f). Schiţaţi elipsele de concentrare pentru cele
Figură două clase presupunându-le pe ambele
caracterizate de funcţii de densitate de
probabilitate Gauss-iene.
(g). Clasificatorul Bayes-ian este unul optimal. Ce înţelegeţi prin clasificator optimal ?
(h). În ce condiţii clasificatorul Bayes-ian va alege clasa ci (pentru i  1, N ) drept clasă de
apartenenţă a elementului a0. Elementul a0 este o realizare particulară a unui vector aleator a.
1
1   x  m x T C x1  x  m x  1
Notă: f x ( x)  e 2 , A1  A*
2 N / 2 C x 1 / 2 det A
1 2 T 1 3 *  4  2
Ex.: A   , A   2 4  , A    3 1 
3 4     

Rezolvare:

1 1 2 1
  0  3
 
1
m    C   2 4 m patrat    C patrat   3
(d)
1 1  0 1 2
 4    
4 2 3 3
58. (a) Care este ideea de bază care stă în spatele clasificatorului optimal Bayesian? De ce
trebuie să utilizăm relaţia lui Bayes? Ce reprezintă fiecare termen din relaţia lui Bayes
aplicată clasificatorului Bayesian?
(a) Clasificatorul Bayesian este unul optimal. Ce înţelegeţi prin clasificator optimal ?
(b) Explicaţi influenta variantei claselor în cadrul clasificatorului Bayesian.
(c) Explicaţi influenta setului de date asupra clasificatorului Bayesian.

59. Răspundeți la următoarele întrebări:

(a) Poate fi considerat un perceptron drept clasificator optimal ? În ce condiţii ?
(b) Dar în cazul unei reţele multistrat ? Ce condiţii trebuie îndeplinite pentru ca o astfel de reţea
să fie considerată clasificator optimal ? Care este ecuaţia care guvernează stratul de ieşire
(c) Care sunt limitările clasificatorilor simpli (de tip şablon sau minimă distanţă) ?
(d) Explicaţi de ce este necesar să controlăm pasul de învăţare în timpul procesului de adaptare la
o reţea neuronală multistrat de tip MLP. Scrieţi o posibilă relaţie de modificare a pasului de
învăţare care să aibă sens pentru o reţea de tip MLP.
(e) Explicaţi modul de iniţializare a ponderilor unei reţele neuronale. Este importantă o
iniţializare corectă ? De ce ? De ce este necesar să iniţializăm ponderile dependent de
adâncimea stratului reţelei ?

60. (a) Clasificatorul Bayesian este unul optimal. Ce înţelegeţi prin clasificator optimal ?
(b) Explicaţi influenta variantei claselor în cadrul clasificatorului Bayesian.
(c) Explicaţi influenta setului de date asupra clasificatorului Bayesian.

61. Răspundeţi la următoarele întrebări:

(a). Descrieţi elementele constitutive, de bază ale unui neuron artificial.
(b). Explicaţi rolul fiecărei componente.
(c). Ce este o funcţie de apartenenţă? x3
(d). Desenaţi trei funcţii de apartenenţă distincte.
(e). Ce este o funcţie de activare?
(f). Desenaţi trei funcţii de activare.
(g). Ce este un strat ascuns?
(h). Desenaţi o reţea neuronală cu două straturi ascunse. x2
(i). Scrieţi ecuaţia normei L2 (sau a criteriului L2).
(j). Ce este pasul de învăţare. Care este rolul pasului de x1
învăţare? Figura 6. Distribuția spațială a elementelor
(k). Ce este termenul de tip moment? Care este rolul lui?
(l). Scrieţi numai acea parte a relaţiei de adaptare a ponderilor care determină ca adaptarea
acestora să fie de tip moment (sau puteţi scrie toată relaţia de adaptare a ponderilor de tip
moment).
(m). Explicaţi influenta variantei claselor în cadrul clasificatorului Bayesian.
(n). Explicaţi influenta setului de date asupra clasificatorului Bayesian.
(o). Care este deosebirea dintre clasificare si clusterizare.
(p). Prezentaţi ideea de bază a unui sistem de clasificare care utilizează şi un sistem de
clusterizare.
(q). Pentru o distribuţie a elementelor prezentată în Figura 1 desenaţi o posibilă topologie a unei
reţele neuronale capabilă să clasifice elementele prezentate. Justificaţi-vă alegerea.