Documente Academic
Documente Profesional
Documente Cultură
I. Breviar teoretic
1.1. Definiţii
O variabilă aleatoare (v.a.) X este o funcţie ce asociază o valoare reală x unei realizări
particulare a unui experiment probabilistic. Spaţiul tuturor evenimentelor (eşantioanelor) este
notat cu = {}, iar dimensiunea acestuia este cardinalitatea lui , notată .
În funcție de dimensiunea alfabetului, v..a. se pot clasifica în:
v.a. discretă X ia valori într-o mulţime numărabilă de valori reale X {x1 , x2 ,… , x|X | } a.î.
P X xi P( xi ) Pi 0, i pentru care este îndeplinită condiţia de normare P 1.
i i
Funcţia de repartiţie este definită ca probabilitatea cu care v.a. X ia valori mai mici decât x:
F ( x) P( X x) .
Funcția de repartiție are următoarele proprietăţi:
0 F ( x) 1 ,
F () 0 ,
F () 1 ,
este crescătoare: dacă x1 x2 , atunci F ( x1 ) F ( x2 ) ;
probabilitatea ca v.a. X să ia valori într-un interval este: P X (a, b] F (b) F (a ) .
Pentru v.a. continue, cunoscând f.d.p. reunită şi f.d.p. marginale, definim f.d.p. condiţionate
p ( x, y ) p ( x, y )
p ( y | x) şi p ( x | y ) prin: p ( y | x) , p( x | y) .
p ( x) p( y )
K XY
X X Y Y .
X Y X Y
Analizând dependenţă statistică dintre două v.a. putem face următoarele precizări:
două v.a. sunt independente p ( x, y ) p( x ) p ( y ) ;
două v.a. sunt necorelate K XY 0 ;
dacă RXY 0 , atunci v.a. sunt ortogonale .
Conform definiţiilor de mai sus, condiţia de independenţă implică condiţia de necorelare a
două v.a.; reciproca nu este adevarată, excepţie făcând cazul v.a. distribuite Gaussian.
Fie o v.a. X cu f.d.p. p(x) (cunoscută) la intrarea unui sistem caracterizat prin funcţia de transfer
y g ( x) . Pentru a calcula f.d.p. p ( y ) a v.a. Y de la ieşirea sistemului se au în vedere
următoarele:
dacă g(x) este bijectivă, monotonă, continuă, derivabilă atunci:
p( x)
p( y) .
g '( x) x g 1 ( y )
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
dacă g(x) nu este bijectivă, dar ecuaţia g(x) = y admite un număr finit sau cel mult
numărabil de soluţii, atunci :
p ( xi )
p( y) .
i g '( xi ) xi , g ( xi ) y
dacă g(x) nu este bijectivă şi ecuaţia g(x) = y admite un număr nenumărabil de soluţii,
atunci nu există o formulă de calcul. Unicul mod de rezolvare constă în a evalua funcţia de
repartiţie F(y).
Informaţia obţinută în urma realizării unui eveniment (v.a. X a luat valoarea x):
v.a. X discretă: ix log 2 px ;
v.a. X continuă: i ( x) log 2 p( x) .
Entropia unei v.a. discrete X este valoarea medie a informaţiei ix asociată v.a. X:
H ( X ) k pk log 2 pk .
Proprietăţi:
H ( X ) este o funcţie continuă în raport cu fiecare variabilă;
H ( X ) este o funcţie simetrică;
ia valoare maximă ( log | | ) dacă evenimentele sunt echiprobabile.
Prin analogie cu entropia unei v.a. discrete, se defineşte entropia diferenţială a unei v.a.
continue X ca fiind:
h( X ) p( x) log 2 p( x)dx .
Proprietăţi:
h( X ) (entropia diferenţială a lui X) diferă de H ( X ) (entropia obişnuită sau absolută):
h( X ) nu este o măsură a hazardului lui X;
entropia diferenţială a unei v.a. continue poate fi negativă;
entropia unei v.a. continue poate fi calculată prin trecerea la limită a cazului discret:
1
H ( X ) lim pk x log 2
x 0
k pk
1
p ( x) log 2
- dx lim
x 0
log 2 x p( x)dx
p( x)
h( X ) lim log 2 x.
x 0
Cu alte cuvinte, entropia unei v.a. continue este infinit de mare, drept care caracterizarea
informaţională se face considerând h(X) ca o entropie diferenţială şi termenul log 2 x ca
referinţă.
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
II. Probleme
1. F.m.p., funcţia de repartiţie, informaţie, entropie.
Fie o variabilă aleatoare X care modelează experimentul aruncării unui zar ideal.
a) Să se determine și să se reprezinte grafic funcția densitate de probabilitate şi funcţia de
repartiţie;
b) Să se calculeze valoarea medie, valoarea pătratică medie și dispersia;
c) Repetați punctele anterioare pentru un zar măsluit având probabilitatea de apariție a unei
fețe direct proporțională cu cifra de pe fața respectivă.
Rezolvare
a) Pentru o v.a. discretă X, care modelează experimentul aruncării unui zar ideal, alfabetul
este X 1, 2, 3, 4, 5, 6 , probabilitatea fiecărui eveniment fiind:
Pi P X xi 1 / 6, i 1,6, xi X .
Distribuția de probabilități se poate scrie ca o sumă de funcții Dirac, vezi Fig. 1:
1 1 1
p ( x) i Pi ( x xi ) ( x 1) ( x 2) ( x 6) .
6 6 6
6
1
Condiţia de normare se scrie ca i i
P
i 1 6
1.
p(x)
1
( x 3)
6
1
6
x
1 2 3 4 5 6
Fig. 1. F.m.p. pentru v.a. discretă X, reprezentată de experimentul aruncării cu zarul ideal.
F(x)
x
1 2 3 4 5 6
Figura 2 Funcţia de repartiţie pentru v.a. discretă X, reprezentată de experimentul aruncării cu zarul ideal.
b) O primă variantă pentru a specifica rezultatul unei aruncări a zarului este de a reprezenta
binar numerele de la 1 la 6, ce reprezintă feţele zarului. Pentru aceasta, avem nevoie de 3
biţi.
O a doua variantă este de a calcula cantitatea de informaţie reprezentată de aruncarea
zarului ideal:
1 lg X lg 6
ik log pk log log X 2.58 biţi/simbol.
X lg 2 lg 2
Cum în sistemele fizice nu putem utiliza decât un număr intreg de biţi, rezultă un necesar
de 3 biţi.
c) Dacă avem o pereche de două zaruri, atunci avem 36 variante posibil a fi transmise, fiecare
variantă cu probabilitatea p2 = 1/36. Reprezentarea binară ne va da un număr de 6 biţi (36 <
64 = 26).
Cantitatea de informaţie, în acest caz, este:
lg 36
ik log pk 5.168 biţi/simbol,
lg 2
de unde un necesar de 6 biţi.
Pentru a calcula informaţia, am presupus că zarurile sunt ideale, şi orice combinaţie de feţe
ar avea aceeaşi probabilitate. Dacă zarurile sunt măsluite, atunci informaţia medie pe
simbol este mai mică şi ca urmare, avem nevoie de mai multe simboluri pentru a transmite
acelaşi număr de biţi.
Remember
Pentru a verifica condiţia de normare, vom face nişte calcule ajutătoare şi vom calcula integrala
Gauss:
I e x dx .
2
2
Pentru aceasta vom calcula I , adică:
I 2 e x dx e y dy
2 2 2
y2 )
e( x dxdy .
Făcând transformarea din coordonate carteziene în coordonate polare:
( x, y ) (r , ) ,
unde:
r x 2 y 2
x r cos r [0, )
y sau , unde .
arctan y r sin [0, 2]
x
Pentru cantităţile dxdy se realizează transformarea:
dxdy Jdrd ,
unde Jacobianul transformării de schimbare a variabilelor este:
x x
r cos r sin
J r cos 2 r sin 2 r .
y y sin r cos
r
Integrala devine:
2
e r rdrd e r rdr d 2 e r ,
2 2 1
I2
2 2
0 0 0 0 2 0
de unde:
I e x dx .
2
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
x
Făcând schimbarea de variabilă t , rezultă că:
2
1 1 t 2 1
p( x)dx 2 e 2dt e dt 1.
t 2
1 2
2
σ
x
Figura 3 F.d.p. pentru o v.a. continuă, distribuită gaussian, de medie μ şi dispersie σ2.
1
X t 2
2
e t 2dt
2
1 t 2 2 t 2
e dt te dt
Prima integrală este integrala Gauss, iar a doua integrală, fiind o funcţie impară de t, este
nulă. Deci:
1
X .
Dispersia v.a. X este dată de:
( x )2
1
2X X X ( x ) 2
2 2 2
e dx
2
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
'
( x ) ( x2) ( x 2)
2 2
1 1
2
( x )
2
e 2 dx
2
( x ) e 2
dx
( x ) 2
( x ) 2
1
( x )e 2 e dx
2
2 2
2
( x ) 2 ( x ) 2
1 1
2 2
e 2 2
dx 2
e 2 2
dx 2 .
ln 2 2
2 2
ln e 2 dx
2
e
2
( x 2) 1
2 2
2 ( x )
1 ( x )
e 2
ln dx 22 e 2 2
dx
2 ln 2 2
ln 2 1 ( x ) 2
1 ( x )
2 ( x ) 2
2 2 ln 2 2
e 2 2
dx 2
e 2 2
dx
ln 2
2
log 2 2
ln 2
.
Rezolvare
a) Pentru ca p ( x, y ) să fie o f.d.p. trebuie ca să fie pozitivă şi să îndeplinească condiţia de
normare.
Prima condiţie este îndeplinită, deoarece din ipoteză ştim că:
p ( x, y ) 0, x [0,1], y [ x,1] .
A doua condiţie se verifică astfel:
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
p ( x, y )dxdy
1 1
0 x
1
2 xy
dxdy
1 1 1 1 1
2 0 x x y
dx dy
1 1 1
2 0 x
dx 2 y
1
x
1 1
1
1 1 1 1
dx 1 x 1 dx dx dx
0
x 0
x 0
x 0
1
2 x 1 2 1 1.
0
11 1 1 1 1 x
dy dy , x [0,1].
x x
2 xy 2 x y x
Rezolvare
Funcţia de transformare realizată de circuitul de redresare monoalternanţă (o diodă cu
caracteristica ideală) este (vezi Figura 4):
x, x 0
g : ℝ [0, ), g ( x) ,
0, x 0
g(x)
p(x) F(x)
0.5
x x
0 0
Figura 5 F.d.p. şi funcţia de repartiţie pentru v.a. X, de la intrarea redresorului.
p(y) F(y)
1 1
(0)
2
0.5
y y
0 0
Figura 6 F.d.p. şi funcţia de repartiţie pentru v.a. Y, de la ieşirea redresorului.
Rezolvare
Pentru început, putem observa că parametrul α este pozitiv, deoarece probabilitatea are valori
pozitive.
F.d.p. a v.a. X care modelează experimentul poate fi scrisă ca:
1
p ( x) , x [,1] .
x
Entropia diferenţială este:
h( X ) p( x) log 2 p( x)dx
1
1 1 11 1 1 ln x
log 2 dx log 2 xdx dx
x x x x ln 2
1 1 ln x
ln 2 x
dx.
Integrala o vom calcula prin părţi, astfel:
ln x
1 1
2 1
1 ln x ln 2
I dx ln x(ln x) ' dx ln x dx ln I I
2
.
x x 2
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
De unde:
ln 2
h( X ) .
2ln 2
Rezolvare
dFZ ( z )
Ceea ce se doreşte este f.d.p. pZ ( z ) .
dz
Funcţia de repartiţie a v.a. Z este prin definiţie:
FZ ( z ) P ( Z z ) P( X Y z ) .
Această probabilitate se va calcula ca aria graficului determinat de f.d.p. reunită a v.a. X şi Y,
FZ ( z ) P ( X Y z ) p XY ( x, y ) dxdy ,
Dz
pentru un anumit domeniu de valori Dz ( x, y ) ℝ 2 | x y z . Astfel, integrala dublă se
poate rescrie:
z y
FZ ( z ) p XY ( x, y )dxdy
Dar:
dFZ ( z ) d z y
pZ ( z )
dz
dz
p XY ( x, y )dxdy
d z y
dz
p XY ( z y , y ) dzdy
pXY ( z y, y )dy
Din ipoteză ştim că v.a. X şi Y sunt independente, deci putem scrie:
pZ ( z ) p XY ( z y, y )dy p X ( z y ) pY ( y )dy p X ( z ) pY ( z ) ,
adică f.d.p. a sumei a două v.a. independente este convoluţia f.d.p. individuale ale v.a. ce se
însumează.
DEPI, Seminar 1. Variabile aleatoare, Ş.l. Lucian Perişoară seria III C, 2018
Bibliografie
[MSG83]A. T. Murgan, I. Spânu, Inge Gavăt, I. Sztojanov, V. E. Neagoe, Adriana Vlad, „Teoria
Transmisiunii Informaţiei – probleme”, Editura Didactică şi Pedagogică, Bucureşti, 1983.
[VGS99] C. Vertan, Inge Gavăt, Rodica Stoian, „Variabile şi Procese Aleatoare: principii şi
aplicaţii”, Ed. PRINTECH, Bucureşti, 1999.