Documente Academic
Documente Profesional
Documente Cultură
, 3 – 16 oct 2005 1
I. Breviar teoretic
Definiţii
O variabilă aleatoare (v.a.) X este o funcţie ce asociază o valoare reală x realizării unui
eveniment dintr-o mulţime posibilă de evenimente. Spaţiul tuturor evenimentelor
(eşantioanelor) este notat cu = {}, iar dimensiunea acestuia este cardinalitatea lui ,
notată .
O v.a. discretă X ia valori într-o mulţime numărabilă de valori reale X {x1 , x2 , , x|X | }
a.î. P X xk pk 0, k pentru care este îndeplinită condiţia de normare k
pk 1 .
Funcţia de masă a probabilităţilor (f.m.p.) este:
p( x) P( X x) k pk ( x xk ) , unde ( x ) este funcţia impuls Dirac.
O v.a. continuă X este caracterizată cu ajutorul funcţiei densitate de probabilitate
(f.d.p) p( x) , ce îndeplineşte condiţia de normare
p( x)dx 1 . Cu ajutorul p( x) se
Pentru v.a. continue, cunoscând f.d.p. reunită şi f.d.p. marginale, definim f.d.p.
p ( x, y ) p ( x, y )
condiţionate p( y | x) şi p( x | y) prin: p( y | x) , p( x | y ) .
p ( x) p( y )
Medii statistice
Momentul de ordinul 1 (media statistică) al v.a. X: X E X X xp ( x)dx .
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 2
Covarianţa celor două v.a. X şi Y este momentul reunit centrat sau corelaţia v.a.
centrate:
K XY E X E X Y E Y X X Y Y
( x X )( y Y ) p ( x, y ) dxdy .
Valoarea normalizată a covarianţei în raport cu produsul deviaţiilor standard X Y al
celor două v.a. se numeşte coeficient de corelaţie:
K XY
X X Y Y .
X Y X Y
Analizând dependenţă statistică dintre două v.a. putem face următoarele precizări:
două v.a. sunt independente p( x, y) p( x) p( y) ;
două v.a. sunt necorelate K XY 0 ;
dacă RXY 0 , atunci v.a. sunt ortogonale .
Conform definiţiilor de mai sus, condiţia de independenţă implică condiţia de necorelare a
două v.a.; reciproca nu este adevarată, excepţie făcând cazul v.a. distribuite Gaussian.
Fie o v.a. X cu f.d.p. p(x) (cunoscută) la intrarea unui sistem caracterizat prin funcţia de
transfer y g ( x) . Pentru a calcula f.d.p. p( y) a v.a. Y de la ieşirea sistemului se au în
vedere următoarele:
dacă g(x) este bijectivă, monotonă, continuă, derivabilă atunci:
p( x)
p( y ) .
g '( x) x g 1
( y)
dacă g(x) nu este bijectivă, dar ecuaţia g(x) = y admite un număr finit sau cel mult
numărabil de soluţii, atunci :
p( xi )
p( y ) .
i g '( xi ) xi , g ( xi ) y
dacă g(x) nu este bijectivă şi ecuaţia g(x) = y admite un număr nenumărabil de
soluţii, atunci nu există o formulă de calcul. Unicul mod de rezolvare constă în a
evalua funcţia de repartiţie F(y).
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 3
Informaţia obţinută în urma realizării unui eveniment (v.a. X a luat valoarea x):
v.a. X discretă: ix log 2 px ;
v.a. X continuă: i( x) log 2 p( x) .
Entropia unei v.a. discrete X este valoarea medie a informaţiei ix asociată v.a. X:
H ( X ) k pk log 2 pk .
Proprietăţi:
H ( X ) este o funcţie continuă în raport cu fiecare variabilă;
H ( X ) este o funcţie simetrică;
ia valoare maximă ( log | | ) dacă evenimentele sunt echiprobabile.
Prin analogie cu entropia unei v.a. discrete, se defineşte entropia diferenţială a unei
v.a. continue X ca fiind:
h( X ) p( x) log 2 p( x)dx .
Proprietăţi:
h( X ) (entropia diferenţială a lui X) diferă de H ( X ) (entropia obişnuită sau
absolută): h( X ) nu este o măsură a hazardului lui X;
entropia diferenţială a unei v.a. continue poate fi negativă;
entropia unei v.a. continue poate fi calculată prin trecerea la limită a cazului discret:
1
H ( X ) lim pk x log 2
x 0
k pk
1
p( x) log 2 dx lim log 2 x p( x)dx
-
p( x) x 0
II. Probleme
Rezolvare
a) Pentru o v.a. discretă X, care modelează experimentul aruncării unui zar ideal,
alfabetul poate fi X {1,2,3,4,5,6} , probabilitatea fiecărui eveniment fiind:
pk P X xk 1/ 6, k 1,6, xk X .
F.m.p. se poate scrie în funcţie de impulsul Dirac ca fiind (vezi Figura 1):
1
p ( x) k ( x xk ) ,
6
1
condiţia de normare fiind îndeplinită k pk k 1 .
6
p(x)
1
( x 3)
6
1
6
x
1 2 3 4 5 6
Figura 1 F.m.p. pentru v.a. discretă X, reprezentată de experimentul aruncării cu zarul ideal.
F(x)
x
1 2 3 4 5 6
Figura 2 Funcţia de repartiţie pentru v.a. discretă X, reprezentată de experimentul aruncării cu zarul ideal.
c) Dacă avem o pereche de două zaruri, atunci avem 36 variante posibil a fi transmise,
fiecare variantă cu probabilitatea p2 = 1/36. Reprezentarea binară ne va da un număr
de 6 biţi (36 < 64 = 26).
Cantitatea de informaţie, în acest caz, este:
lg 36
ik log pk 5.168 biţi/simbol,
lg 2
de unde un necesar de 6 biţi.
Pentru a calcula informaţia, am presupus că zarurile sunt ideale, şi orice combinaţie
de feţe ar avea aceeaşi probabilitate. Dacă zarurile sunt măsluite, atunci informaţia
medie pe simbol este mai mică şi ca urmare, avem nevoie de mai multe simboluri
pentru a transmite acelaşi număr de biţi.
Remember
Pentru a verifica condiţia de normare, vom face nişte calcule ajutătoare şi vom calcula integrala
Gauss:
I e x dx .
2
Pentru aceasta vom calcula I2, adică:
I 2 e x dx e y dy e( x y2 )
2 2 2
dxdy .
Făcând transformarea din coordonate carteziene în coordonate polare:
( x, y) (r, ) ,
unde:
r x 2 y 2
x r cos r [0, )
y sau , unde .
arctan y r sin [0, 2 ]
x
Pentru cantităţile dxdy se realizează transformarea:
dxdy Jdrd ,
unde Jacobianul transformării de schimbare a variabilelor este:
x x
r cos r sin
J r cos 2 r sin 2 r .
y y sin r cos
r
Integrala devine:
0 0 0 0 2 0
de unde:
I e x dx .
2
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 7
x
Făcând schimbarea de variabilă t , rezultă că:
2
1 1 t 2 1
2
t 2
p ( x ) dx e 2 dt e dt 1.
Deci putem afirma că f ( x) poate fi f.d.p. p( x) f ( x) a unei v.a. X, distribuită
Gaussian, de medie şi dispersie 2 (vezi Figura 3). Din condiţia de normare
rezultă că aria graficului este constantă, variaţia funcţie de dispersia 2 fiind
ilustrată în figură.
p(x)
1
2 1
1 2
2
σ
x
Figura 3 F.d.p. pentru o v.a. continuă, distribuită gaussian, de medie μ şi dispersie σ2.
2
x
Făcând schimbarea de variabilă t rezultă:
2
1
X t 2 e t 2dt
2
2
1 t 2 2 t 2
e dt
te dt
Prima integrală este integrala Gauss, iar a doua integrală, fiind o funcţie impară de t,
este nulă. Deci:
1
X .
Dispersia v.a. X este dată de:
( x )2
1
X X ( x )
2 2 2 2 2
e dx
2
X
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 8
'
( x ) ( x 2) ( x 2)
2 2
1 1
2 ( x ) e 2
( x ) e 2 dx dx
2
2
( x )2
( x ) 2
1
( x )e 2 e 2 2
dx
2
2
( x ) 2 ( x ) 2
1 1
2 2
e 2 2
dx 2
e 2 2
dx 2 .
şi înlocuind pe p( x) obţinem:
ln p( x)
h( X ) p( x) log 2 p( x) dx p( x) dx
ln 2
1 1
( x ) 2 1
( x ) 2
ln 2 2
2 2
ln e 2 dx
2
e
2
( x 2) 1 2 ( x )
2 2
1 ( x )
e 2
ln dx 22 e 2 2
dx
2 ln 2 2
ln 2 1 ( x ) 2
1 ( x )
2 ( x ) 2
ln 2 2 e 2 2
dx
2 ln 2 2
2
e 2 2
dx
2
log 2 2
ln 2
.
Rezolvare
a) Pentru ca p( x, y) să fie o f.d.p. trebuie ca să fie pozitivă şi să îndeplinească condiţia
de normare.
Prima condiţie este îndeplinită, deoarece din ipoteză ştim că:
p( x, y) 0, x [0,1], y [ x,1] .
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 9
2 0 x x y
dy
1 1 1
2 0 x
dx 2 y
1
x
1 1 1 1 1
1
dx 1 x 1 dx dx dx
1
0
x 0
x 0
x 0
1
2 x 1 2 1 1.
0
1 1 1 1 x
1
1
dy dy , x [0,1].
x x
2 xy 2 x y x
Rezolvare
Funcţia de transformare realizată de circuitul de redresare monoalternanţă (o diodă cu
caracteristica ideală) este (vezi Figura 4):
x, x 0
g : [0, ), g ( x) ,
0, x 0
g(x)
p(x) F(x)
0.5
x x
0 0
Figura 5 F.d.p. şi funcţia de repartiţie pentru v.a. X, de la intrarea redresorului.
p(y) F(y)
1 1
(0)
2
0.5
y y
0 0
Figura 6 F.d.p. şi funcţia de repartiţie pentru v.a. Y, de la ieşirea redresorului.
Rezolvare
Pentru început, putem observa că parametrul α este pozitiv, deoarece probabilitatea are
valori pozitive.
F.d.p. a v.a. X care modelează experimentul poate fi scrisă ca:
1
p( x) , x [,1] .
x
Entropia diferenţială este:
h( X ) p( x)log 2 p( x)dx
1 1 1 11 1 1 ln x
log 2 dx log 2 xdx dx
x x x x ln 2
1 1 ln x
ln 2 x
dx.
Integrala o vom calcula prin părţi, astfel:
1 ln x 1 ln x ln 2
I dx ln x(ln x)' dx ln x
1
2 1
dx ln I I
2
.
x x 2
TTI 2, seria III C, Seminar 1 – V.a., 3 – 16 oct 2005 12
De unde:
ln 2
h( X ) .
2ln 2
Rezolvare
dFZ ( z )
Ceea ce se doreşte este f.d.p. pZ ( z ) .
dz
Funcţia de repartiţie a v.a. Z este prin definiţie:
FZ ( z ) P( Z z ) P( X Y z ) .
Această probabilitate se va calcula ca aria graficului determinat de f.d.p. reunită a v.a. X şi Y,
FZ ( z ) P( X Y z ) p XY ( x, y )dxdy ,
Dz
Bibliografie
[MSG83]A. T. Murgan, I. Spânu, Inge Gavăt, I. Sztojanov, V. E. Neagoe, Adriana Vlad, „Teoria
Transmisiunii Informaţiei – probleme”, Editura Didactică şi Pedagogică, Bucureşti, 1983.
[VGS99] C. Vertan, Inge Gavăt, Rodica Stoian, „Variabile şi Procese Aleatoare: principii şi
aplicaţii”, Ed. PRINTECH, Bucureşti, 1999.