C.

9
Vectori aleatori normal distribut i
9.1 Simularea unui vector aleator de componente normal dis-
tribuite si corelate
Denit ia 9.1.1 Un vector aleator (X
1
, X
2
) ce are densitatea de probabilitate:
f
X
1
,X
2
(x
1
, x
2
) =
1
(2)
_
det()
exp
_
(x m)

1
(x m)
2
_
,
unde x =
_
x
1
x
2
_
, se numeste vector aleator normal distribuit sau vector aleator ce are
distribut ie normala bivariata, de parametri:
m =
_
m
1
m
2
_
, =
_
b
1
c
c b
2
_
, b
1
, b
2
> 0 si det() > 0
Notat ia (X
1
, X
2
) N(m, ) semnica ca vectorul aleator (X
1
, X
2
) are distribut ie normala
de parametri m si .
Gracul unei astfel de densitat i de probabilitate este un clopot, numit clopotul lui
Gauss (Fig.9.1).
Remarcam ca matricea de denit ie este simetrica si pozitiv denita (adica valorile
sale proprii, care sunt solut ii ale ecuat iei
2
(b
1
+b
2
) + det() = 0, sunt ambele strict
pozitive pentru ca suma si produsul rad acinilor ecuat iei sunt strict pozitiv).
Funct ia
Q(x
1
, x
2
) = (x m)

1
(x m) =
=
_
x
1
m
1
x
2
m
2

_
b
1
c
c b
2
_
1
_
x
1
m
1
x
2
m
2
_
(9.1)
prin schimbarea de coordonate cu originea n O

(m
1
, m
2
):
x

1
= x
1
m
1
x

2
= x
2
m
2
devine o forma patratica:

Q(x

1
, x

2
) =
_
x

1
x

_
b
1
c
c b
2
_
1
_
x

1
x

2
_
1
2 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
x
y
z
(m
1
, m
2
)
Fig.9.1: Clopotul lui Gauss.
pozitiv denita. Curbele de ecuat ie

Q(x

1
, x

2
) = cst > 0 sunt elipse.

Intr-adev ar, se stie
din algebra ca valorile proprii ale inversei
1
sunt inversele, 1/
1
, 1/
2
, ale valorilor
proprii ai matricii , iar vectorii proprii coincid cu cei ai lui . Daca (u
1
, u
2
) este o
baza ortonormata, pozitiv orientata, formata din vectori proprii ai lui
1
si O

1
, x

2
este
sistemul de axe asociat reperului R = (O

; u
1
, u
2
), atunci n acest sistem de coordonate
(sau n baza (u
1
, u
2
)) expresia formei patratice este:
_
x

1
x

_
1/
1
0
0 1/
2
_ _
x

1
x

2
_
=
x

1
2

1
+
x

2
2

2
Astfel pentru orice constanta pozitiva, K ecuat ia
x

1
2

1
+
x

2
2

2
= K
x

1
2
K
1
+
x

2
2
K
2
= 1
este ecuat ia unei elipse de semiaxe a =

K
1
, b =

K
2
, unde
1
,
2
sunt valorile proprii
ale matricii de covariant a (Fig.9.2).
Calculand densitat ile marginale ale vectorului normal, bivariat, (X
1
, X
2
) obt inem:
f
X
1
(x
1
) =
1

2b
1
e

(x
1
m
1
)
2
2b
1
f
X
2
(x
2
) =
1

2b
2
e

(x
2
m
1
)
2
2b
2
adica variabilele aleatoare, X
1
, X
2
, au ecare distribut ia normala, de medie m
1
, respectiv
m
2
si dispersie b
1
, respectiv b
2
, X
1
N(m
1
, b
1
), X
2
N(m
2
, b
2
).
9.1. Simularea unui vector aleator de componente normal distribuite si corelate 3
O O
x
1
x
2
x

1
x

2
x

1
x

2
u
1
u
2
O

Fig.9.2: Pozit ia elipsei de ecuat ie Q(x

1
, x
2
) = C > 0.
Covariant a variabilelor X
1
, X
2
, calculata conform formulei de denit ie cov(X
1
, X
2
) :=
M[(X
1
m
X
1
)(X
2
m
X
2
)] este coecientul c din matricea . Prin urmare matricea din
denit ia densitat ii de probabilitate a vectorului (X
1
, X
2
) N(m, ) are drept elemente
(renotate):

ij
= M[(X
i
m
i
)(X
j
m
j
)], i, j = 1, 2
Astfel b
1
=
11
=
2
(X
1
) = cov(X
1
, X
1
), b
2
=
22
=
2
(X
2
), c =
12
= cov(X
1
, X
2
).
De aceea matricea se numeste matricea de covariant a a vectorului aleator (X
1
, X
2
).
Subliniem nca odata ca ea este o matrice simetrica si pozitiv denita.
Simularea unui vector aleator normal distribuit, se bazeaza pe urmatorul rezultat:
Propozit ia 9.1.1 Daca (X
1
, X
2
) este un vector aleator normal distribuit, de parametri
(m, ), iar T : R
2
R
2
o transformare liniara T(x
1
, x
2
) = (y
1
, y
2
):
_
y
1
y
2
_
=
_
t
11
t
12
t
21
t
22
_ _
x
1
x
2
_
avand determinantul matricii reprezentative diferit de 0, atunci vectorul aleator (Y
1
, Y
2
) =
T(X
1
, X
2
) este normal distribuit de parametri
(T(m), TT

),
unde T

este transpusa matricii transformarii liniare.

Mai general, daca A : R
2
R
2
este o transformare ana, avand partea liniara T,
Ax = Tx +b sau detaliat
A
_
x
1
x
2
_
= T
_
x
1
x
2
_
+
_
b
1
b
2
_
,
atunci vectorul aleator (Y
1
, Y
2
) = A(X
1
, X
2
) are distribut ia normala de parametri
(Tm) +b, TT

).
4 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
Demonstrat ia se face prin calcul direct, aplicand Propozit ia 8.3.1 din Cursul 8.
Sa studiem particularitat ile unui vector aleator normal distribuit ce are parametrii
particulari (0, I
2
), unde 0 = (0, 0), iar I
2
=
_
1 0
0 1
_
este matricea unitate. Densitatea
de probabilitate a unui astfel de vector este:
f
X
1
,X
2
(x
1
, x
2
) =
1
2
exp
x

I
2
x
2
,
unde
x

x =
_
x
1
x
2

_
x
1
x
2
_
= x
2
1
+x
2
2
Prin urmare densitatea vectorului se exprima astfel:
f
X
1
,X
2
(x
1
, x
2
) =
1
2
e

x
2
1
+x
2
2
2
=
1

2
e
x
2
1
/2
1

2
e
x
2
2
/2
= f
X
1
(x
1
) f
X
2
(x
2
)
adica este produsul densitat ilor marginale, f
X
1
,X
2
= f
X
1
f
X
2
, si deci variabilele X
1
, X
2
sunt
independente si ambele au distribut ia normala standard N(0, 1).
Reciproc, daca X
1
, X
2
sunt independente si au distribut ia normala standard, X
i

N(0, 1), atunci vectorul aleator (X
1
, X
2
) are distribut ia normala de parametri 0 si I
2
.
Fundamental pentru simularea unui vector aleator normal distribuit este urmatorul
rezultat de algebra liniara:
Propozit ia 9.1.2 Orice matrice simetrica si pozitiv denita, , admite asa numita de-
scompunere Cholesky, ntr-un produs dintre o matrice inferior triunghiulara si transpusa
sa (care este superior triunghiulara), = C

C, unde C este:
C =
_
c
11
c
12
0 c
22
_
Avand aceste informat ii, rezulta ca un vector aleator (X
1
, X
2
) normal distribuit de parametri
(m, ) se poate deni astfel:
Se determina descompunerea Cholesky a matricii de covariant a = C

C;
Consideram doua variabile aleatoare Z
1
, Z
2
, independente si normal distribuite dupa
legea N(0, 1). Vectorul aleator (Z
1
, Z
2
) are atunci distribut ia normala bivariata, de
parametri (0, I
2
);
Se aplica transformarea C

vectorului (Z
1
, Z
2
), obt inand vectorul aleator
(Y
1
, Y
2
) = C

(Z
1
, Z
2
),
care conform Propozit iei 9.1.1 are distribut ia normala de parametri (C

(0), C

I
2
C = ).
Cum orice transformare liniara duce vectorul nul n vectorul nul, rezulta ca (Y
1
, Y
2
) are
distribut ia normala de parametri (0, );
(X
1
, X
2
) = (Y
1
+m
1
, Y
2
+m
2
) are distribut ia normala de parametri (m, ).
9.1. Simularea unui vector aleator de componente normal distribuite si corelate 5

In aplicat ii, ns a pentru un vector aleator normal distribuit (X

1
, X
2
) se precizeaza
mediile si dispersiile componentelor X
1
, X
2
si coecientul lor de corelat ie (X
1
, X
2
) :=
0
.
Pentru a simula vectorul aleator (X
1
, X
2
), pornind de la aceste date, calculam covariant a
cov(X
1
, X
2
) =
0

2
Astfel matricea de covariant a a vectorului (X
1
, X
2
) este:
=
_

2
1

0

2

2
2
_
(9.2)
Remarcam ca coecientul de corelat ie a coordonatelor unui vector normal bivariat apart ine
intervalului deschis (1, 1), deoarece pentru = 1 matricea de covariant a ar singulara,
adica det() = 0.
Sa determinam descompunerea Cholesky a matrici (9.2), adica sa determinam nu-
merele u, w > 0, v R astfel ncat:
_
u 0
v w
__
u v
0 w
_
=
_

2
1

0

2

2
2
_
Efectuand calculele obt inem:
u =
1
, v =
0

2
, w =
_
1
2
0

2
Pentru simulare avem nevoie de matricea:
C

=
_

1
0

2
_
1
2
0

2
_
si de produsul
C

_
z
1
z
2
_
=
_

1
0

2
_
1
2
0

2
__
z
1
z
2
_
=
_

1
z
1

2
z
1
+
_
1
2
0

2
z
2
_
Avem rezulta urmatorul algoritm de simulare a vectorului aleator normal distribuit
(X
1
, X
2
), cand se da media si dispersia ecarei coordonate si coecientul de corelat ie
0
al celor doua variabile aleatoare normal distribuite:
// date de intrare m
1
, m
2
,
1
,
2
,
0
z
1
NormalPolar;
z
2
NormalPolar;
x
1

1
z
1
+ m
1
;
x
2

0

2
z
1
+
_
1
2
0

2
z
2
+ m
2
;
return (x
1
, x
2
);
NormalPolar este algoritmul polar de simulare a unei variabile aleatoare av and distribut ia
normala standard N(0, 1) (vezi cursul precedent).
6 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
Simularea distribut ie normale se aplica n machine learning, clasicarea datelor (clus-
tering), analiza imaginii. Pentru clustering este foarte important sa caracterizam forma
geometrica a norului de puncte generat prin simularea unui vector aleator normal dis-
tribuit (X
1
, X
2
) N(m, ), unde matricea de covariant a este reprezentat a de disper-
siile
2
1
,
2
2
si coecientul de corelat ie
0
= (X
1
, X
2
). Exprimand funct ia Q(x
1
, x
2
) =
(x m)

1
(x m) n funct ie de dispersii si coecientul de corelat ie obt inem:
Q(x
1
, x
2
) = (x m)

_

2
1

0

2

2
2
_
1
(x m) =
= [ x
1
m
1
x
2
m
2
]
1

2
1

2
2
(1
2
0
)
_

2
2

0

2

2
1
__
x
1
m
1
x
2
m
2
_
=

2
2
(x
1
m
1
)
2
2
0

2
(x
1
m
1
)(x
2
m
2
) +
2
1
(x
2
m
2
)
2

2
1

2
2
(1
2
0
)
Astfel densitatea de probabilitate a vectorului normal bivariat este:
f
X
1
,X
2
=
1
2
1

2
_
1
2
0
e

1
2(1
2
0
)
_
(x
1
m
1
)2

2
1

2
0
(x
1
m
1
)(x
2
m
2
)

2
+
(x
2
m
2
)
2

2
2
_
Se poate verica, ca punctul de maxim al densitat ii de probabilitate
f
X
1
,X
2
(x
1
, x
2
) =
1
2
1

2
_
1
2
0
exp
_
Q(x
1
, x
2
)
2
_
,
este (m
1
, m
2
), iar valoarea maxima este:
f
X
1
,X
2
(m
1
, m
2
) =
1
2
1

2
_
1
2
0
e
0/2
=
1
2
1

2
_
1
2
0
Intersect and suprafat a de ecuat ie z = f
X
1
,X
2
(x
1
, x
2
) cu plane paralele cu planul x
1
Ox
2
,
de ecuat ie z = z
0
, 0 < z
0
<
1
2
1

2
_
1
2
0
obt inem curbele:
_

_
1
2
1

2
_
1
2
0
e
Q(x
1
, x
2
)
2
= z
0
z = z
0
care proiectate pe planul x
1
Ox
2
au ecuat ia:
e
Q(x
1
, x
2
)
2
= z
0
2
1

2
_
1
2
0
sau echivalent
Q(x
1
, x
2
) = 2 ln (z
0
2
1

2
_
1
2
0
)
9.1. Simularea unui vector aleator de componente normal distribuite si corelate 7
4
2
0
2
4
5
0
5
0.2
0.15
0.1
0.05
0
x
y
Fig.9.3: Curbe de nivel si contour plot asociat suprafet ei grac al unei densitat i normale bi-
variate.
sau:

2
2
(x
1
m
1
)
2
2
0

2
(x
1
m
1
)(x
2
m
2
) +
2
1
(x
2
m
2
)
2

2
1

2
2
(1
2
0
)
= 2 ln (z
0
2
1

2
_
1
2
0
),
adica sunt elipse de ecuat ie:

2
2
(x
1
m
1
)
2
2
0

2
(x
1
m
1
)(x
2
m
2
) +
2
1
(x
2
m
2
)
2
= K, (9.3)
unde K este o constanta pozitiva, deoarece 0 < z
0
<
1
2
1

2
_
1
2
0
si deci
0 < z
0
2
1

2
_
1
2
0
< 1, iar ln(z
0
2
1

2
_
1
2
0
) < 0.
Curbele de intersect ie ale suprafet ei grac, z = f
X
1
,X
2
(x
1
, x
2
) cu plane paralele cu
planul x
1
Ox
2
si proiect ia lor pe un plan paralel cu x
1
Ox
2
sunt ilustrate n Fig.9.3.

In general, curbele de pe o suprafat a de ecuat ie z = f(x, y) ce sunt intersect ii

ale suprafet ei cu plane paralele cu xOy se numesc curbe sau linii de nivel
constant, iar proiect ia ortogonala a cestora pe un plan paralel cu xOy constituie
ceea ce n computer graphics se numeste contour plot. Exista convent ia ca, curbele
din contour plot sa se coloreze astfel ncat culorile mai tari sa e atribuite curbelor ce se
proiecteaza de la nalt ime mai mare, iar culorile mai slabe, curbelor ce se proiecteaza de
la un nivel mai mic.
Din discut ia de mai sus relativ la elipsele de ecuat ie Q(x
1
, x
2
) = K > 0 rezulta ca
centrul unei astfel de elipse este vectorul mediilor m = (m
1
, m
2
)

, iar axele de simetrie au

direct iile date de vectorii bazei ortonormate formata din vectori proprii ai matricii
1
,
8 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
deci si ai matricii (reamintim ca v = v este echivalent cu
1
v =
1

v si deci cele
doua matrici au aceeiasi vectori proprii).
Daca variabilele X
1
, X
2
sunt necorelate, adica
0
= 0, atunci ecuat iile elipselor sunt:

2
2
(x
1
m
1
)
2
+
2
1
(x
2
m
2
)
2
= K
1

(x
1
m
1
)
2
K
1

2
1
+
(x
2
m
2
)
2
K
1

2
2
= 1,
adica sunt elipse cu centrul n punctul (m
1
, m
2
) si axele de simetrie paralele cu axele de
coordonate Ox
1
, Ox
2
.

In Fig.9.4 prima linie, n stanga este ilustrata suprafat a ce este
grac al densitat ii distribut iei normale bivariate, N
_
m = (0, 0), =
_
3 0
0 2
__
(deci

0
= 0) si elipse de intersect ie a suprafetei cu plane z = z
0
, proiectate pe planul z = 0.2,
pentru a putea vizualizate. Pe aceeasi linie, n dreapta, sunt vizualizate 5000 de puncte
generate prin simularea vectorului aleator ce are aceasta distribut ie normala bivariat a
(punctele 2D generate, (x
i
, y
i
), se vizualizeaza ca puncte 3D, (x
i
, y
i
, 0.2), din planul
z = 0.2). Se observa ca norul de puncte are forma eliptica si ca cele mai multe puncte
sunt distribuite n jurul punctului (m
1
, m
2
) = (0, 0), care este maximul densitat ii f
X
1
,X
2
.
Daca variabilele aleatoare X
1
, X
2
sunt corelate, adica
0
= 0, atunci semnul lui
0
da informat ii despre panta axei mari a elipsei. Si anume se demonstreaza ca pentru

0
> 0, panta axei mari a elipselor concentrice este pozitiva, iar pentru
0
< 0 panta axei
mari este negativa (panta axei mari este panta direct iei vectorului propriu al matricii de
covariant a , ce corespunde valorii proprii maxime). Ilustram aceasta proprietaten gura
Fig.9.4. Si anume pe linia a doua (gurile 3,4) sunt vizualizate densitat ile corespunzatoare
cazului (X
1
, X
2
) = 0.85, respectiv 0.45 si elipsele concentrice ce au semiaxa mare de
panta negativa. Pe linia a treia (gurile 5,6) n mod analog, sunt vizualizate densitat ile
corespunzatoare cazului (X
1
, X
2
) = 0.85, respectiv 0.45 si elipsele concentrice ce au
semiaxa mare, de panta pozitiva.

In problemele de clusterizare, norii format i de punctele 2D ce reprezint a date, sau

pixeli ntr-o imagine, nu sunt eliptici, ci sunt nori cu forma complexa, ale caror puncte au
distribut ie de probabilitate compusa:
f = p
1
f
1
+p
2
f
2
+ +p
n
f
n
unde f
k
, k = 1, n sunt densitat i normale bivariate, iar p
i
(0, 1), sunt probabilitat i a
caror suma este 1:

n
k=1
p
k
= 1. O astfel de distribut ie de probabilitate se numeste n
inteligent a articiala, mixtura Gaussiana.

In Fig.9.5 este vizualizat gracul densitat ii de probabilitate ce este mixtura a doua

densitat i normale bivariate, si anume:
f(x
1
, x
2
) = 0.45
..
p
1
1
2

det
1
e

(x m)

1
1
(x m)
2
+0.55
..
p
2
1
2

det
2
e

(x m)

1
2
(x m)
2
unde prima densitate din mixtura este a unui vector aleator (X
1
, X
2
) normal distribuit
de parametri m
1
= M(X
1
) = 0.7, m
2
= M(X
2
) = 0.2,
2
1
=
2
(X
1
) = 3,
2
2
=
9.1. Simularea unui vector aleator de componente normal distribuite si corelate 9

2
(X
2
) = 2, (X
1
, X
2
) = 0.6, iar a doua este a unui vector aleator (Y
1
, Y
2
) normal
distribuit de parametri M(Y
1
) = 1.5, M(Y
2
) = 2,
2
(Y
1
) = 1.23,
2
(Y
2
) = 2.5, (Y
1
, Y
2
) =
0.7. Cu alte cuvinte, un nor de puncte, interpretate ca valori de observat ie asupra unui
vector aleator (V
1
, V
2
) ce are densitatea mixta (compusa), f, se genereaza, generand cu
probabilitatea p
1
= 0.45 puncte din distribut ia lui (X
1
, X
2
) si cu probabilitatea p
2
= 0.55,
puncte din distribut ia vectorului (Y
1
, Y
2
).

In Fig.9.6 este ilustrat n plan norul ce consta din 5000 de puncte, ca observat ii asupra
aleiasi mixturi (V
1
, V
2
).

In Fig.9.7 este dat un nor de puncte rezultat din simularea unei
mixturi de 3 distribut ii Gaussiene bivariate cu coecient ii p
1
= 0.25, p
2
= 0.15, p
3
= 0.6.
Parametrii celor trei distribut ii normale sunt respectiv:
m
1
=
_
0
0.7
_
,
1
=
_
0.625 0.5768
0.5768 0.875
_
,
m
2
=
_
0.85
0.5
_
,
2
=
_
0.2241 0.1368
, 0.1368 0.9759
_
,
m
3
=
_
1.5
1.5
_
, 3 =
_
0.2375 0.1516
0.1516 0.4125
_

In plus sunt ilustrate si direct iile vectorilor proprii ortogonali, ai matricilor de covariant a
sau echivalent direct iile axelor norilor eliptici component i.
Vectorul normal distribuit cu doua coordonate se generalizeaza la un vector aleator
normal distribuit, cu n coordonate (X
1
, X
2
, . . . , X
n
). Parametrii unui astfel de vector
aleator sunt:
m = (m
1
, m
2
, . . . , m
n
), unde m
i
este media v.a. X
i
;
matricea de covariant a = (
ij
), i, j = 1, n, unde

ij
= M[(X
i
m
i
)(X
j
m
j
)].
Matricea este simetrica,
ii
> 0, i, si tot i determinant ii de nord vest ai matricii
sunt pozitivi:

k
=

11

12
. . .
1k
.
.
.
.
.
. . . .
.
.
.

k1

k2
. . .
kk

> 0 k = 1, n
Ca si n cazul a doua coordonate, se arata ca X
i
N(m
i
,
ii
), i = 1, n.
Simularea vectorului (X
1
, X
2
, . . . , X
n
) se realizeaza similar cu cazul n = 2, doar ca
descompunerea Cholesky nu se realizeaza explicit, ci trebuie apelata o funct ie (rutina)
ce implementeaz a numeric calculul acestei descompuneri.

In MATLAB funct ia C=chol(A)
returneaza matricea C din descompunerea Cholesky a matricii A, daca A este pozitiv
denita si mesaj de eroare n caz contrar.
Pentru a aa ce aplicat ii au mixturile Gaussiene, dat i search urmatoarele cuvinte:
image, recognition, mixture of Gaussians.
10 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
5
0
5
4
2
0
2
4
0.2
0.15
0.1
0.05
0
x
y 5
0
5
4
2
0
2
4
0.2
0.15
0.1
0.05
0
x
y
4
2
0
2
4
5
0
5
0.2
0.15
0.1
0.05
0
0.05
x
y
4
2
0
2
4
5
0
5
0.2
0.15
0.1
0.05
0
x
y
4
2
0
2
4
5
0
5
0.2
0.15
0.1
0.05
0
0.05
x
y
4
2
0
2
4
5
0
5
0.2
0.15
0.1
0.05
0
x
y
Fig.9.4: Densitat i normale bivariate ale unor vectori aleatori (X
1
, X
2
), de coordonate X
1
, X
2
avand diverse valori ale coecientului de corelat ie.
9.1. Simularea unui vector aleator de componente normal distribuite si corelate 11
4
2
0
2
4
4
2
0
2
4
6
0.2
0.1
0
0.1
x
y
4
2
0
2
4
4
2
0
2
4
6
0.2
0.1
0
0.1
x
y
Fig.9.5: Densitatea de probabilitate a unei mixturi Gauss si proiect ia pe planul z = 0.2 a
curbelor de intersect ie a suprafet ei grac cu plane paralele cu xOy (n stanga) si aceeasi densitate
si puncte generate prin simularea acestei mixturi (n dreapta). Observam ca sub piscul mai
nalt sunt concentrate mai multe puncte, deoarece probabilitatea ca vectorul sa ia valori ntr-o
vecinatate a proiect iei piscului mai inalt este mai mare decat probabilitatea ca sa ia valori ntr-o
vecinatate a proiect iei piscului mai scund.
Fig.9.6: Nor de puncte avand distribut ia de probabilitate a mixturii gausiene din gura prece-
denta. Punctele de culoare verde-masliniu sunt observat ii asupra primului vector normal bi-
variat, iar cele portocalii asupra celui de-al doilea.
12 Cursul 9, Probabilitat i si Statistica n CS c E. Petrisor, 2008
Fig.9.7: Clusteri constand din trei nori eliptici si direct iile axelor de simetrie ale norilor.