10.

Rezolvări probleme
În cadrul acestui capitol ne propunem să prezentăm, în plus faţă de
problemele rezolvate în cadrul fiecărui capitol, rezolvarea a câtorva
probleme din cele propuse spre rezolvare cititorilor, deci a unei selecţii, din
cadrul capitolelor anterioare.
Problemele rezolvate sunt acelea care prin conţinutul lor facilitează
înţelegerea unor concepte fundamentale, prezintă anumite metode specifice
de rezolvare, au un anumit grad de dificultate, au o semnificaţie specifică
(unele dintre ele fiind considerate probleme fundamentale), au o utilitate
practică directă etc.

Capitolul 5

Problemă 5.4: Demonstraţi relaţiile (5.15)(a) şi (b).

a) lim Fx (a )  0, pentru () i  {1,..., N }
ai 
(10.1)
b) lim Fx (a )  1.
a 

Rezolvare: Aşa după cum ştim de la variabilele aleatoare, probabilitatea ca

variabila aleatoare x să ia valoarea  este: P{x  }  0 .
În cazul nostru x este vector aleator iar componentele sale, xi, sunt
variabile aleatoare pentru care vom avea: P{xi  }  0.
Această ultimă relaţie împreună cu relaţia de incluziune dintre
următoarele evenimente:
lim {x1  a1 ,..., xi  ai ,..., x N  a N }  {x1  a1 ,..., xi  ,..., x N  a N }  {xi  }
ai  

(10.2)
conduce la următoarea relaţie între probabilităţi:
lim Fx (a )  P{x1  a1 ,..., xi  ,..., x N  a N }  P{xi  }  0. (10.3)
ai  
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

lim Fx ( a )  lim P{x1  a1 ,..., xi  ai ,..., x N  a N } 

a   a  
 P{x1  ,..., xi  ,..., x N  }  P ( S )  1.
(10.4)

Problemă 5.5: Demonstraţi relaţiile (5.32):

 Fx (a)  Fxy (a, )
 (10.5)
 F y (b)  Fxy (, b).

Rezolvare: În continuare demonstrăm că funcţiile de distribuţie marginale,

Fx(a) şi Fy(b), se obţin cu ajutorul relaţiilor anterioare.
Evenimentele {x ≤ ∞} şi {y ≤ ∞} sunt evenimente sigure:
{x ≤ ∞} = {y ≤ ∞} = S (10.6)
Rescriind evenimentele {x ≤ a} şi {y ≤ b} ca o intersecţie cu
evenimentul sigur convenabil ales:
{x ≤ a} = { x ≤ a, y ≤ ∞} şi {y ≤ b} = { x ≤ ∞, y ≤ b} (10.7)
şi aplicând probabilitatea, P(·), ambilor membri ai celor două egalităţi
obţinem:
 P{x  a}  Fx (a)  P{x  a, y  }  Fxy (a, )
 (10.8)
 P{ y  b}  Fy (b)  P{x  , y  b}  Fxy (, b)

Problema 5.6: Demonstraţi relaţiile (5.42) şi (5.43).

Deci, în cadrul acestei probleme dorim să demonstrăm că pentru
doi vectori aleatori discreţi/continui se obţine din funcţia
masă/densitate de probabilitate comună probabilităţile/densităţile
marginale pe baza relaţiilor:
a) p x (a)   p xy (a, b j ) c)

f x (a )   f xy (a, b) db
j
şi, respectiv,
b) p y (b)   p xy (a i , b) d)

f y (b)   f xy (a, b) da.
i

Rezolvare: Deoarece indicii i şi j baleiază toate valorile posibile, ai şi bj,

aferente vectorilor aleatori discreţi x, respectiv, y, evenimentele {x=
ai} şi {y= bj} formează două partiţii ale lui S. Astfel, pe măsură ce j
parcurge toate valorile posibile, bj, evenimentele {x= a, y= bj} sunt
mutual exclusive iar reuniunea lor conduce la evenimentul {x= a, S}.

390
Rezolvări probleme

Luând probabilitatea acestor evenimente obţinem:

a)  p xy (a, b j )  p xy (a, S )  p x (a ) (10.9)
j

În mod similar se arată că:

b)  p xy (a i , b)  p xy ( S , b)  p y (b) (10.10)
i

Pentru cazul continuu avem:

F xy a, b       f x y (u , v ) du dv
a b
(10.11)

Diferenţiind relaţia de mai sus în raport cu variabila a, respectiv, b,

obţinem:
Fxy (a, b) b Fxy (a, b) a
  f xy (a, v)dv şi   f xy (u, b)du.
a b
Punând b = ∞ (respectiv, x = ∞) obţinem în final:
Fxy (a, ) Fx (a )  
c)   f x (a)   f xy (a, v)dv   f xy (a, b) db (10.12)
a a
Fxy (, b) F y (b)  
d)   f y (b)   f xy (u , b)du   f xy (a, b) da. (10.13)
b b

Problemă 5.8: Se ştie că pentru evenimentele A şi B avem P(A)=0.35,

P(B)=0.60 şi P(AB)=0.20. Să se calculeze:
a) Probabilitatea ca să se realizeze evenimentul B atunci când s-a
realizat evenimentul A.
b) Probabilitatea ca să se realizeze evenimentul A atunci când s-a
realizat evenimentul B.
c) Probabilitatea ca să se realizeze evenimentul B atunci când nu s-a
realizat evenimentul A
Rezolvare: Din formula probabilităţii avem:
a) P(B|A) = P(AB)/P(A)=0.20/0.35=4/70.57.
b) P(A|B) = P(AB)/P(B)=0.20/0.60=1/30.33.
c) P(B|Ā) = P(AB)/P(Ā)= P(AB)/[1-P(A)]=0.20/0.65=4/130.31.

Problema 5.9: Demonstraţi validitatea relaţiei (5.56) în conformitate cu

391
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

ipoteza anterioară.
Deci, dacă considerăm partiţia U = [A1, A2, ..., An] a evenimentului
sigur S şi fie B un eveniment arbitrar din S, atunci:
P( B)  P( B | A1 ) P( A1 )  ...  P( B | An ) P( An ) (10.14)
Rezolvare: În mod evident, folosind şi distributivitatea operaţiei de
înmulţire din teoria mulţimilor vom putea scrie:
B  BS  B( A1  A2  ...  An )  BA1  BA2  ...  BAn (10.15)
Întrucât evenimentele Ai şi Aj sunt mutual exclusive atunci şi
evenimentele BAi şi BAj vor fi, de asemenea, mutual exclusive.
Folosind a treia axiomă a probabilităţii vom avea:
P( B)  P( BA1 )  P ( BA2 )  ...  P( BAn ) (10.16)
Din formula probabilităţii condiţionate (5.52) avem că:
P( BAi )  P ( B | Ai ) P( Ai ) (10.17)
de unde rezultă mai departe teorema probabilităţii totale:
P( B)  P( B | A1 ) P( A1 )  ...  P( B | An ) P( An ) (10.18)

Problema 5.12: Să se demonstreze că în relaţia (5.63), actualizarea lui P(A)

conform regulei lui Bayes are loc numai atunci când P(B|A)  P(B| Ā),
unde Ā reprezintă evenimentul complementar lui A (evenimentul A
este diferit de evenimentul sigur).
Rezolvare: Pornind de la formula regulei lui Bayes scrisă pentru cele două
evenimente complementare, A şi Ā, (relaţia (5.65)) şi egalând
probabilitatea condiţionată cu probabilitatea marginală, a priori, avem
că:
P( A | B ) 
P( B | A) P ( A)
 P ( A) (10.19)
P ( B | A) P ( A)  P ( B | A) P ( A)

De aici rezultă mai departe:

P( B | A)
 1  P( B | A)  P( B | A) P( A)  P( B | A)[1  P( A)]
P( B | A) P( A)  P( B | A)[1  P( A)]
(10.20)
În final obţinem:
[ P ( B | A)  P ( B | A)][1  P ( A)]  0 (10.21)

392
Rezolvări probleme

de unde rezultă fie P(A)=1 (ipoteza exclude această variantă), fie

P(B|A) = P(B|Ā).
În consecinţă, pentru P(B|A)  P(B| Ā) avem:
P(A|B)  P(A) (10.22)

Problemă 5.15: Dacă pentru două evenimente, A şi B, diferite de

evenimentul imposibil, este adevărată egalitatea P(B|A) = P(B|Ā),
atunci, să se demostreze că evenimentele A şi B sunt independente.
Rezolvare: Dacă P(B|A) = P(B|Ā) rezultă atunci, conform exerciţiului
Problema 5.12, că P(A|B) = P(A) de unde deducem, ţinând cont de
relaţia (5.105), că evenimentele A şi B sunt independente.

Problema 5.22: Să se estimeze punctual, prin metoda bayes-iană,

parametrul scalar media,  = mx, al unei populaţii a cărei caracteristică
studiată este descrisă de vectorul aleator unidimensional, x, despre
care se ştie că este distribuit conform unei legi de distribuţie normale,
x ~ N(, σx2) (10.23)
şi pentru care se cunoaşte doar varianţa, σx2. De asemenea, mai
dispunem:
 de o serie de informaţii a priori despre parametrul  care ne
fac să credem că valorile posibile pentru acesta respectă, de
asemenea, o distribuţie normală, de medie şi varianţă,
cunoscute, respectiv,
 ~ N( 0, σ02) (10.24)
 şi de un eşantion, de dimensiune n, de date empirice.
Să se comenteze rezultatul obţinut.
Rezolvare: Conform relaţiei (5.134), desfăşurarea temporală a fazelor
procesului de estimare bayesiană presupune următoarele:
a) specificarea, mai întâi, a unei distribuţii de probabilitate a priori
pentru parametrul  ce ne interesează; în cazul nostru  ~ N( 0, σ02),
unde  0 reprezintă cea mai bună estimare pe care o putem realiza în
lipsa oricăror altor informaţii disponibile care să confirme sau să
infirme această convingere iar σ02 reprezintă incertitudinea noastră
legată de această estimare;

393
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

b) obţinerea apoi de noi informaţii privind caracteristica studiată a

populaţiei – informaţii furnizate de o nouă evidenţă statistică (eşantion
de date empirice, , Xk=[ak1,..., akn], obţinut, de regulă, în urma
realizării unui experiment fizic);
n
f X | θ ( X k |  )   f a i | θ (a ki |  ) (10.25)
i 1

Această etapa este urmată, în final, de

c) combinarea, conform teoremei lui Bayes, a celor două informaţii
de mai sus şi obţinerea corespunzătoare a distribuţiei posterioare a
parametrului în cauză; această distribuţie oferă, mai departe, baza
pentru inferenţele statistice privind parametrul  al populaţiei.
f ( X |  ) f θ ( ) f X | θ ( X k |  ) f θ ( )
f θ | X ( | X  X k )  X | θ k  
fX ( X k )  
  X | θ k θ
f ( X |  ) f ( ) d 
n
  f X | θ ( X k |  ) f θ ( )   [ f a i | θ (a ki |  )] f θ ( )
i 1

(10.26)

În relaţia de mai sus  reprezintă un factor de normalizare ce

depinde de eşantionul Xi şi este independent de . Această ecuaţie
arată cum observarea unui set de date empirice modifică părerea
noastră despre adevărata valoare a lui , exprimată iniţial prin
densitatea a priorică, f().
Cunoscând formele funcţionale ale densităţilor de mai sus pentru:
 variabila aleatoare  ~ N( 0, σ02) şi, respectiv,
 variabilele aleatoare ai| ~N(, σx2), consecinţă directă a
relaţiei x~N(, σx2),
unde prin N(,) înţelegem familia de distribuţie normală dată de relaţia
(5.115), obţinem în continuare:
 n 
i 2 2
( a  ) (  0 )
 k 2 
f θ | X ( | X  X k )    1  1 e 2 0

2
e 2 x
 i 1 2  x  2  0
 
 n  i 2
    0
2 
1 a  

   k
2  i 1   x
 
  0
 

  
 e '  

394
Rezolvări probleme


1
 ( a ki ) 2  2  a ki  n 2  2  2 0  2 

i i
   
2  x2  02 
  'e  

1  n 1   1    1  2 
   2  2  2  2  2
2    x  0    a ki   02     2  ( a ki ) 2   02  
  'e  x i 0   x i 0 

1  n 1  2  1   
  2  2
2    x  0
  2 
 2  aki   002  
  ''e   x i  

(10.27)
În relaţiile mai sus prezentate constantele ’ şi ’’ includ constanta
 şi, respectiv, toţi acei factori rezultanţi care nu depind de . Ceea ce
am obţinut pentru densitatea posterioară a lui  este o funcţie
exponenţială a unei funcţii cuadratice de  ; mai exact, vorbim tot de o
funcţie gaussiană. Dacă scriem forma generică a funcţiei de densitate
gausiană pentru vectorul aleator |Xk ~ N( 1, σ12) astfel:
2
1   1  1 1 1 12 
     2  2
2 
1  1  1 2   12  12 
f θ | X ( | X k ) 
2
e   e  1 (10.28)
2  1 2  1
şi egalăm coeficienţii din relaţia (10.27) cu cei corespondenţi din
relaţia (10.28) obţinem:
1 n 1 1 n 
  şi  2 x  02 (10.29)
 2
1  2
x  2
0
1  x
2
0
n
unde x  1  aki , reprezintă media aritmetică a valorilor particulare ce
n i 1

compun eşantionul Xk a v.a. x.

0.45

0.4
Densităţi posterioare
0.35
calculate pentru
0.3 diverşi n:
35
0.25 8
0.2 Densitatea Funcţia de
5
0.15 anterioară verosimilitate
0.1
2
0.05 
0
-5

-1

11

15

19

23

27

31

35

39

43

47

51

Figura 10.1. Învăţarea Bayes-iană a parametrului media pentru cazul

distribuţiilor normale unidimensionale

395
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

Relaţiile de mai sus pot fi rescrise şi în următoarele forme

echivalente:
 2 2
 12  2 x 0 2 (10.30)
 x  n 0
şi, respectiv:
n 12  12  n 02   x2
1  x     x   (10.31)
 x2  02 0   x2  n 02   x2  n 02 0
Comentarii:
După cum se poate remarca din relaţiile (10.31) precum şi din
Figura 10.1, în acest caz particular, valoarea estimată pentru
paramerul  este o combinaţie liniară între valoarea a priorică,
propusă iniţial, 0, şi valoarea reprezentând estimatul clasic al
aceluiaşi parametru, respectiv, media aritmetică a eşantionului, x ;
coeficienţii care ponderează aceste două valori sunt non-negativi şi
sumează la valoarea 1, fapt care determină ca estimatul bayesian 1 să
ia valori undeva între valoarea a priorică şi estimatul clasic, după cum
urmează:
 dacă σ0 ≠ 0 atunci, pentru n   avem σ1  0 iar densitatea
posterioară, f|X( |Xk), devine o funcţie cu vârf tot mai ascuţit (se
apropie tot mai mult de o funcţie Dirac); acest comportament –
ilustrat grafic mai jos pentru diverse valori ale dimensiunii n a
eşantionului –, este cunoscut ca învăţarea Bayesiană; în plus, tot
ca o consecinţă directă avem că n σ12/ σx2  1 ceea ce înseamnă
că estimatul bayesian tinde tot mai mult, pe măsură ce n creşte,
către estimatul clasic, x , efectul informaţiilor a priori devenind
unul neglijabil;
 dacă σ0 = 0 atunci ne aflăm în cazul degenerat în care certitudinea
noastră privind egalitatea  = 0 este atât de puternică încât nici
un număr de observaţii, oricât de mare ar fi acesta, nu ar putea
schimba opinia noastră;
 un alt caz extrem este şi acela în care σ0 >> σx; intuitiv acesta s-ar
traduce prin aceea că suntem atât de nesiguri privind posibila
valoare 0 pentru parametrul nostru necunoscut încât la calculul
estimatului bayesian se ţine cont practic numai de observaţiile
eşantionului

396
Rezolvări probleme

Problema 5.26: Ştiind că media unei variabile aleatoare reale este mx =

E{x} în timp ce varianţa aceleiaşi variabile este dată de x 2 = E{(x –
mx)2} determinaţi E{x2} în funcţie numai de mx şi x 2.
Rezolvare: Din definiţia varianţei avem:
 
 x2  E ( x  m x ) 2  E { x 2  2 xm x  m x2 } 
(10.32)
 E { x 2 }  2 m x E { x}  m x2  E { x 2 }  m x2

de unde rezultă mai departe relaţia dorită, respectiv:

E{x 2 }   x2  m x2
(10.33)
Problemă 5.30: Demonstraţi că atunci când vectorii aleatori x şi y sunt
independenţi atunci sunt şi necorelaţi.
Rezolvare:
Pentru a demonstra această problemă plecăm de la ipoteza că
vectorii aleatori x şi y sunt independenţi; atunci, prin definiţie, este
adevărată relaţia:
def
fxy (a, b)  fx (a) ∙ fy (b) (10.34)
şi trebuie să demonstrăm că pentru aceiaşi vectori este adevărată şi
relaţia de mai jos ce defineşte vectorii necorelaţi:
Rxy = E{ x y*T } = E{ x } E{ y*T } = mxmy*T (10.35)
Plecând de la definiţia matricei de corelaţie pentru vectorii aleatori
x şi y:

R xy  E xy *T     

 
ab *T f xy (a, b)da db (10.36)

şi folosind relaţia (10.34) obţinem:

ab *T f x (a) f y (b)da db    a f x (a)da   b *T f y (b)db  (10.37)

   
R xy   
      
Din relaţia anterioară rezultă în continuare:
R xy  E  x, y *T  ExE y *T  m x m *yT (10.38)

Problemă 5.33: Dacă aveţi o variabilă aleatoare x monodimensională,

caracterizată de o funcţie de distribuţie normală standard N(0, 1),
determinaţi modalitatea de a o converti într-o altă variabilă
aleatoare y, caracterizată de următoarea distribuţie generică, N(my,
397
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

σy2).
Rezolvare:
y = my + σyx (10.39)

Problemă 5.37: O dată cu creşterea numărului de eşantioane a ferestrei pe

care se face analiza se observă că un număr din ce în ce mai mare de
componente spectrale devin semnificative din punct de vedere statistic
(au un grad de grad de încredere mai mare sau egal cu 95%).
Justificaţi acest fenomen.
Rezolvare: O dată cu creşterea numărului de eşantioane a ferestrelor pe baza
cărora se face analiza în vederea determinării estimatorului de masă al
coerenţei numărul de segmente luate în calcul devine din ce în ce mai
mic iar rezultatele vor fi din ce în ce mai puţin reprezentative statistic.
Deci din punct de vedere statistic o fereastră cu număr minim de
eşantioane va determina o reprezentativitate statistică crescută a
setului de date, dar rezoluţia (ca un dezavantaj direct) spectrală va fi
slabă.
Variind numărul de eşantioane ale ferestrei utilizate în analiză se
va observa că anumite componente spectrale depăşesc sau nu gradul
de încredere, devenind statistic reprezentative, în timp ce altele nu mai
sunt capabile să aibă o relevanţă statistică. Se recomandă alegerea
componentelor spectrale relevante statistic dintre acelea care depăşesc
gradul de încredere indiferent de numărul de eşantioane ale ferestrei
analizate.

Capitol 6

Problemă 6.6: Încercaţi să demonstraţi validitatea relaţiilor:

d d
C x      j şi tr C x  tr     j .
j 1 j 1

Rezolvare:
C x  E    E *T  ( E   )  E *T  E    E *T 
(a). (10.40)
*T *T
 E  E    
EE   
I

398
Rezolvări probleme

În final rezultă:
d
Cx      j (10.41)
j 1

Pentru demonstrarea acestui rezultat final am utilizat relaţia

A  B  A  B , vezi anexa “Relaţii matematice fundamentale”; aici, prin
|| s-a simbolizat determinantul.
  
tr C x  tr E    E *T  tr ( E   )  E *T 
(b). (10.42)
 tr E *T  ( E   )   tr  
 *T 
E     tr 

E
 
 I 
În final rezultă:
d
tr C x  tr     j (10.43)
j 1

Pentru demonstrarea acestui rezultat final am utilizat relaţia tr (A B)

= tr (B A), vezi anexa “Relaţii matematice fundamentale”.

Capitol 7

Problemă 7.4: Determinaţi toate relaţiile precum şi interdeterminismul

reciproc care în final să vă conducă la obţinerea unei relaţii generale
(fără nici o particularizare) similară cu (7.44) pornind de la relaţia
(7.37). Implementaţi această relaţie într-un program scris în limbajul
LabWindows CVI şi verificaţi corectitudinea ei prin plot-area
suprafeţei de decizie.
Rezolvare: În cadrul clasificatorului Bayes-ian ecuaţia funcţiei discriminant
asociată fiecărei clase este următoarea:
1 D 1
gi (a0 )   (a0  mi )T Ci1(a0  mi )  ln(2 ) lnCi  ln P(ci )
2 2 (10.44)
2 
ki

Având în vedere că în problema analizată avem numai două clase

definim:
 x  m x1  m x 2  c c1b  c c 2b 
a o    , m1   , m2   , C11   1a , C 21   2 a
 y  m y1  m y 2   c1c c1d   c 2c c 2 d 

399
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

Deoarece în relaţia (1) termenul (D/2) ln(2) este comun tuturor

funcţiilor discriminant acesta poate fi eliminat din toate relaţiile de
forma (1). În continuare dezvoltăm relaţia (1):
  x cib   x  m xi 
1
  c
g i       x  m xi , y  m yi   ia    ki
cid   y  m yi 
(10.45)
y
   2  cic

  x  x  m xi 
1
  
g i       cia  x  m xi   cic y  m yi , cib  x  m xi   cid y  m yi      ki
  y  2  y  m yi 
(10.46)
  x 1
 
gi       { cia   x  m xi   cic y  m yi   x  m xi   
  y  2 (10.47)
 
 cib  x  m xi   cid y  m yi  y  m yi }  ki   
În final după efectuarea tuturor înmultirilor din paranteze şi
gruparea termenilor putem scrie relaţia sub următoarea formă
canoncă:

  x  1

gi        cia x 2  cid y 2  2cia mxi  cic  cib m yi  x  
  y  2 
 ai

  

 2cid m yi  cic  cib mxi  y  cic  cib xy 
bi di



 cia m2xi  cid m2yi  cic  cib mxi m yi   ki
 
ei 
(10.48)
cu notaţiile făcute în relaţia (10.48):
a i  2cia m xi  cic  cib m yi (10.49)

bi  2cid m yi  cic  cib  m xi (10.50)

d i  c ic  c ib (10.51)
2
ei  c ia m xi  c id m 2yi  c ic  cib m xi m yi (10.52)
obţinem următoarea formă ai relaţiei (10.48):

400
Rezolvări probleme

  x 1
 
g i       cia x 2  cid y 2  a i  x  bi  y  d i xy  ei  k i
y 2
(10.53)
  
Dar ştim, că pentru determinarea ecuaţiei suprafeţei de decizie între
clasa i şi clasa j trebuie să egalăm funcţiile discriminant a celor două
clase:
gi (x) = gj (x) (10.54)
Având în vedere ca avem doar două clase, putem scrie:


1
2

c1a x 2  c1d y 2  a1  x  b1  y  d1 xy  e1  k1 
(10.55)
1

  c2a x 2  c2 d y 2  a2  x  b2  y  d 2 xy  e2  k 2
2

Care se poate scrie în următoarea formă canonică care este de altfel
şi răspunsul la problema noastră:
c1a  c2a   x 2  c1d  c2d   y 2  a2  a1   x  b2  b1   y  (10.56)
 d1  d 2   x  y  e1  e2  2k1  2k2  0

Capitol 8

Problema 2: Considerăm următorul set de antrenare generat de o funcţie

densitate de probabilitate necunoscută f(x):
X   0.01, 0.12, 0.19, 0.32, 0.41, 0.48 .
(a) Găsiţi analitic estimatul lui f(x) prin algoritmul celor mai apropiaţi
3 vecini.
(b) Reprezentaţi în mod grafic estimantul funcţiei densitate de
probabilitate (folositi-vă pentru aceasta de mediul LabWindows
CVI sau de editorul Scientific Work place).
Rezolvare:
(a) Parcurgând aceeaşi paşi şi acelaşi raţionament ca în cadrul
problemei care a fost rezolvată la sfârşitul Subcapitolului 8.7 se va
obţine următurul estimant al vecinătăţii pe baza algoritmului celor
mai apropiaţi 3 vecini (3-NN):

401
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

2  0.19  a  a  0 .1
 2  a  0.01 0.1  a  0.165

2  0.32  a  0.165  a  0.22

2  a  0.12  0.22  a  0.265 (10.57)
Vn  
 2  0.41  a  0.265  a  0.3
2  a  0.19  0.3  a  0.335

2  0.48  a  0.335  a  0.4
2  a  0.32  0.4  a

Ştiind că:
3 (10.58)
fˆ ( x ) 
6Vn

Utilizând relaţiile (10.57) şi (10.58) am răspuns acestei

probleme.
(b) Reprezentarea grafică a estimatului funcţiei densitate de
probabilitate (relaţia (10.58) în care l-am particularizat pe Vn
conform cu relaţia (10.57)) este dată în Figura 10.2.

2.5

1.5

0.5
-0.4 -0.2 0 0.2 0.4 0.6 0.8
x
Figura 10.2. Reprezentarea grafică a estimntului funcţiei densitate
de probabilitate

Problema 2: Pentru o distribuţie a două clase (clase date de elementele

marcate cu ● şi ■) conform Figura 10.3:
(a). să se determine mediile celor două clase;
(b). să se determine apartenenţa elementului caracterizat de vectorul
de trăsături [1, 2]T la una din cele două clase utilizându-se un
clasificator de minimă distanţă ce utilizează distanţa Euclidiană;

402
Rezolvări probleme

(c). să se determine apartenenţa elementului caracterizat de vectorul

de trăsături [1, 2]T la una din cele două clase utilizându-se un
clasificator de tipul NN în situaţia utilizării unei distanţe
Euclidiene;
(d). să se determine apartenenţa elementului caracterizat de vectorul
de trăsături [1, 2]T la una din cele două clase utilizându-se un
clasificator de tipul 3-NN în situaţia utilizării unei distanţe
Euclidiene;
(e). să se determine matricele de covarianţă a celor două clase;
(f). să se deseneze elipsele de concentrare pentru cele două clase în
ipoteza că ambele distribuţii sunt caracterizate de funcţii de
densitate de probabilitate Gauss-iene.
(g). să se determine apartenenţa elementului caracterizat de vectorul
de trăsături [1, 2]T la una din cele două clase utilizându-se un
clasificator de tipul Bayes-ian. Se ştie că probabilitatea apriorică a
clasei ■ este 4/7;

x2
b2
4 b4 b1

2 b3

1 a1 a2
a6 x1
-1 a3 1 2 3

a5 a4 -1

Figura 10.3. Distribuţia spaţială a elementelor ce formează cele

două clase (● şi, respectiv, ■)

Rezolvare:
(a). Anterior determinării mediilor celor două clase se numerotează
elementele conform Figura 10.3. Cu aceste notaţii pentru prima
clasă avem următoarele elemente:

403
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

0  1 1  0   1   1
a 1   , a 2    , a 3    , a 4    , a 5    , a 6   
1  1 0   1   1 0
în timp ce pentru cea de a doua clasă:
1  2 1 0
b1   , b 2   , b 3   , b 4   
4  5 3 4
Mediile claselor se determină într-un mod similar celui
prezentat în cadrul Problemei 5.31. Astfel, media primei clase
este:

1 6 i 1  0 1 1  0    1   1  0

mˆ 1   a  6 1  1  0   1   1   0    0
6 i 1               
(10.59)
Media celei de a doua clase se calculează în mod identic şi este
dată de relaţia:

1 4 i 1  1 2 1 0  1

mˆ 2   a  6 4  5  3  4   4
4 i 1
(10.60)
          
Rezultate obţinute cu ajutorul relaţiilor (10.59) şi (10.60) se
pot verifica şi intuitiv, analizând cu atenţie dispunerea spaţială a
elementelor prezentate în Figura 10.3. Astfel pentru prima clasă
se observă că elementele a3 şi a6 sunt dispuse simetric faţă de
originea sistemului de coordonate (sunt dispuse pe aceeaşi axă
orizontală, cu o unitate la stânga, elementul a6, şi cu o unitate la
dreapta originii – elementul a3), în mod similar despre perechea a1
şi a4, respectiv, a2 şi a5 putem face aceeaşi observaţie. Deci
contribuţia unui element este contra-balansată de contribuţia
celuilat element din pereche, iar valoarea medie se plasează între
aceste două elemente.
Pentru cea de a doua clasă situaţia este similară. Tot din
Figura 10.3 se observă că faţă de elementul b1 contribuţia
elementelor b3 şi b4 (primul poziţionat cu o unitate mai jos faţă de
b1 iar celălalt element cu o unitate mai la stânga) la valoarea
medie este compensată de contribuţia elementului b2 (poziţionat
cu o unitate mai sus şi mai la dreapta elementului b1).
(b). Pentru a determina apartenenţa elementului caracterizat de
vectorul de trăsături o0 = [1, 2]T la una din cele două clase vom

404
Rezolvări probleme

calcula distanţele de la acest element la mediile (elementele

prototip):
0 1 
mˆ 1    şi mˆ 2   
0 4
estimate a celor două clase.
Aceste distanţe sunt egale cu:

d 1  || o 0 - m1 ||  o10  m1,1 2  o20  m1,2 2  12  2 2  5 (10.61)

şi

 2 
d 2  || o 0 - m2 ||  o10  m2,1  o20  m2,2 2  02  2 2  4 (10.62)

Din relaţiile (10.61) şi (10.62) se observă că:

d1 > d2 (10.63)
deci elementul necunoscut va aparţine celei de a doua clase.
(c). Ideea fundamentală a clasificatorului NN constă în
determinarea celui mai apropiat vecin şi atribuirea elementelui
necunoscut clasei de apartenenţă a vecinului anterior determinat.
Dar, din Figura 10.3 se observă că elementul necunoscut o0 = [1,
2]T are elementele a2 şi b1 drept cei mai apropiaţi vecini (găsindu-
se simultan la aceeaşi distanţă faţă de o0), în plus, aceste elemente
aparţin la două clase distincte. În această situaţie, clasificatorul
NN este incapabil să asocieze elementul o0 la una din clase – acest
element găsindu-se chiar pe suprafaţa de decizie ce separă cele
două clase.
(d). Esenţa clasificatorului 3-NN presupune specificarea iniţială a
numărului de vecini (3) şi extinderea unui volum spaţial până
când acesta cuprinde acest număr specificat apriori de vecini.
Ulterior, în pasul doi, se contorizează aparteneţa fiecărui vecin la
una sau alta din clasele existente. Iar în final, elementul
necunoscut este asociat acelei clase care are numărul maxim de
elemente printre vecinii determinaţi.
În cadrul problemei se specifică că se utilizează o distanţă
Euclidiană, deci vecinătatea este definită de o sferă d-
dimensională. Deoarece spaţiul trăsăturilor este unul
bidimensional hipersfera se va reduce la un cerc.
În Figura 10.4 se prezintă o primă vecinătate V1 centrată în
elementul o0 care nu conţine nici un element în afara celui
405
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

necunoscut. Crescând gradual această vecinătate ea devine V2 şi

include astfel 2 elemente. Continuând acest proces, vecinătatea va
deveni, la un anumit moment, identică cu V3. Această vecinătate
conţine 3 elemente din setul de date supus analizei. Procesul
creşterii acestei vecinătăţi poate fi oprit, în acest moment,
deoarece numărul de elemente vecine cele mai apropiate faţă de
elementul necunoscut a fost atins.
x2
b2
4 b4 b1

3 V2
b3
2 o0

1
a2 V3
a 6 a1 V1 x1
-1 a3 1 2 3

a5 a4 -1

Figura 10.4. Poziţionarea diferitelor vecinătăţi în vederea

determinării celor mai apropiaţi 3 vecini pentru clasificatorul 3-
NN

Dintre aceste 3 elemente determinate aparţinând vecinătăţii V3

două, a1 şi a2, aparţin primei clase şi doar un element, b3, aparţine
celei de a doua clase. În consecinţă elementul necunoscut, o0, va
fi atribuit de către clasificatorul 3-NN primei clase (clasă
simbolizată cu „■” în Figura 10.4).
(e). Determinarea matricilor de covarianţă poate fi abordată prin
utilizarea uneia din metodele prezentate în cadrul Problemei 5.31.
În mod teoretic matricea de covarianţă se determină cu ajutorul
relaţiei:


C x  E  x  m x  x  m x *T  (10.64)
Estimarea matricei de covarianţă pentru prima clasă este dată
de relaţia:

406
Rezolvări probleme

1 6
  T
1  0 1 1
Cˆ1   a i  mˆ 1 a i  mˆ 1     0 1    1 1    1 0 
6  1 
6 i 1 1 0
  1   1 0 
    1 0     1  1    0  1
0   1   1 
(10.65)
În calculul estimării matricii de covarianţă prezentată anterior
s-a ţinut cont de valoarea vectorului mediu dat de relaţia (10.59).
În final obţinându-se:
1  0 0 1 1 1 0 1 0 1 1 0 0 
Ĉ1        
6  0 1 1 1 0 0 0 0 1 1 0 1 
2 1
3
  13 2 
 3 3
(10.66)
Pentru cea de a doua clasă relaţia de calcul a valorii estimate a
matricii de covarianţă este similară cu cea din relaţia (10.65),
particularizată pentru elementele acestei clase. În final se obţine
valoarea:
1 1 
Ĉ 2   1 2 1 4  (10.67)
 4 2

(f). Elipsele de concentrare pentru cele două clase se determină

similar, urmând aceeaşi paşi, cu cei prezentaţi în Problema 6.9.
De altfel, se observă că matricea de covarinaţă pentru cea de a
doua clasă este identică cu cea din Problema 6.9. În continuare se
prezintă doar rezultatele finale – valorile proprii şi vectorii proprii
– ce caracterizează aceste matrici.
Astfel, pentru prima clasă în urma calculelor vor rezulta
următoarele valori proprii: 1  1 şi  2  1 . Vectorii proprii
3
asociaţi cu aceste valori proprii sunt: pentru 1  1 rezultă
3
următorii vectori proprii echivalenţi (din care trebuie să alegem
 1   1 
doar unul din ei) e1   1 2  sau e1   1 2  , în timp ce pentru
 2   2 

407
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

valoarea proprie  2  1 vor rezulta în mod similar vectorii proprii

 1 2  1 
e2   1  sau e2   1 2  funcţie de semnul ales.
 2
 2  
Pentru cea de a doua clasă valorile poprii ale matricii C2 sunt
1 şi 3 1 avem unul din
1  2  . Pentru valoarea proprie 1 
4 4 4
 1   1 
următorii vectori proprii: e1   1 2  sau e1   1 2  . În timp ce,
 2   2 

pentru valoarea proprie 2  3 avem unul din următorii vectori

4
1   1 
proprii: e2   1 2  sau e2   2
.
 1
 2  
2

(g). În conformitate cu relaţia (7.16), caracteristică clasificatorului

Bayes-ian elementul necunoscut o0 va fi atribuit de către acest
clasificatorul clasei ci dacă:

  j 1...M
 
Pci  f x o0 ci  max P c j f x o0 c j   (10.68)

Definind:
g i a   P ci  f x a ci  (10.69)

drept funcţia discriminant a clasei i (cu i = 1, 2), vom particulariza

relaţia (10.69) pentru a = o0 şi vom determina valoarea funcţiei
discriminant asociată cu fiecare clasă.
În final, elementul necunoscut o0 va fi atribuit acelei clase a
cărei funcţie discriminant va fi maximă în elementul o0.
Dezvoltând relaţia (10.69) şi particularizând-o pentru a = o0
rezultă:
T
1  o   mˆ    o 0   mˆ  
0

    10    i 1   C i1   10    i 1  
o 0   1 2 o mˆ  o 2   mˆ i 2  
g i  o 0   10    P ci  e   2   i2  
 o2   1
2 Ci 2

(10.70)
După cum se observă şi din relaţia (10.70), în primul pas avem
însă nevoie de inversele matricelor de covarianţă ce
caracterizează ambele clase:

408
Rezolvări probleme

1 ˆ*  2  1 3   2  1
Cˆ11  C1  3   13 
2   1 2 
(10.71)
Cˆ1  3 3   

1 ˆ * 16  1 2  1 4   8 3  4 3 
Cˆ 21  C2      (10.72)
Cˆ 2 3   1 4 1 2    4 3 8 3 

Introducând valorile numerice în funcţiile discriminant

caracteristice claselor obţinem:
1 2 1  1 
 1 2    
 1  4 3  1 2   2
g1      e 2 (10.73)
 2  7 2 3
 8 4  0

1
0  2  43 8 3    
 1  3 4 2   3 2
3   
g 2      e (10.74)
2
   7 2 3
Din relaţiile (10.73) şi (10.74) se observă că termenii din faţa
exponenţilor sunt egali, deci ceea ce rămâne să facă diferenţa între
aceşti termeni vor fi tocmai valorile exponenţilor. În final
obţinându-se:
 1   12 12
g1      e3   0.049 (10.75)
 2  14 3 14 3
16
 1   12  12
g 2      e 3   0.0048 (10.76)
 2  14 3 14 3

Comparând valorile funcţiilor discriminant particularizate în

elementul [1, 2]T observăm că g1 >[- g2, deci clasificatorul Bayes-
ian va atribui elementul neucnoscut, o0, primei clase.

În Tabelul 10.1 sunt sintetizate rezultatele obţinute anterior în

urma clasificării elementului o0 = [1, 2]T de către patru
clasificatori diferiţi. Din Tabelul 10.1 se observă că funcţie de
tipul sistemului de clasificare un element poate fi asignat uneia
sau alteia din clase sau, în anumite situaţii, clasificatorul este în
imposibilitatea luării unei decizi.

409
 Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

Tabelul 10.1. Rezultatele obţinute în urma clasificării

elementului [1, 2]T de către patru clasificatori diferiţi
Clasa asignată
elementului o0 Clasa 1 Clasa 2
Clasificator
Minimă distanţă 
NN Imposibilitate deciziei

3-NN 

Bayes-ian 

Capitol 9

Problemă 9.3: Demonstraţi Teorema Valorii Iniţiale pentru semnale

cauzale:
h0  lim H z  (10.77)
z 
Rezolvare:
Transformata Z a unui semnal sau sistem oarecare este:

H z    hn z  n (10.78)
n  

Dar deoarece semnalul este cauzal avem:


H z    hn z  n (10.79)
n 0

Din relaţia precedentă rezultând că:

H z   h0  h1 z 1  h2 z 2  h3 z 3  ... (10.80)

Aplicân limita pentru z tinzând la plus infinit obţinem:
lim H z   h0 (10.81)
z 

410