www.cartiaz.

ro – Carti si articole online gratuite de la A la Z

Breviar de teoria probabilitatilor

• BREVIAR TEORIA PROBABILITATILOR

• CANTITATEA DE INFORMATIE
• CANALE DISCRETE DE COMUNICATIE

1. BREVIAR TEORIA PROBABILITATILOR

Se considera spatiul experimentului, notat S, ca fiind multimea tuturor rezultatelor

(outcomes) posibile ale experimentului. Submultimile lui S (elementele lui P(S)) se numesc
evenimente. Se numeste proba (trial), efectuarea o singura data a unui experiment bine definit. In
urma experimentului se obtine o singura realizare (event) ξ . Se spune ca s-a produs evenimentul
A daca ξ ∈ A( A ∈ P( S )) .

Evenimente importante
S - evenimentul sigur (cert)
Φ - evenimentul imposibil
Exista si evenimente elementare pentru care A = {ξ }

Teoria (axiomatica) a probabilitatilor asigneaza fiecarui eveniment A un numar P(A) cuprins

intre 0 si 1, numit probabilitatea evenimentului A. Acest numar ofera o masura a sansei de aparitie a
lui A. Probabilitatea evenimentui A verifica urmatoarele axiome (dar este in rest neprecizata).

(i) P ( A) ≥ 0
(ii) P( S ) = 1
(iii) evenimentele mutual exclusive A ∩ B = Φ ⇒ P( A ∩ B) = P( A) + P ( B)
(iv) aditivitatea infinita
Ai ∩ A j = Φ i ≠ j i , j = 1, , n, ⇒ P( A1 + + An +  ) = P( A1 ) + + P( An ) + 

Corolare

(i) P(Φ ) = 0
(ii) P ( A) = 1 − P ( A ) ≤ 1
(iii) P( A ∪ B) = P( A) + P( B) − P( A ∩ B) ≤ P( A) + P( B)

Observatie
A - multimea complementara multimii A fata de S.

Probabilitatea conditionata

Probabilitatea conditonata a evenimentui A fata de B (sau a evenimentului A fiind dat

evenimentul B) este

P( A ∩ B)
P( A B ) = daca P( B) > 0
P( B )

#1-1
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

Observatii

(a) daca A∩ B = Φ ⇒ P( A B ) = 0
P( A)
(b) daca A⊂ B ⇒ A∩ B = A ⇒ P( A B ) = ≥ P( A)
P( B)
(c) daca B⊂ A ⇒ A∩ B = B ⇒ P( A B ) = 1

(d) definitia probabilitatii conditionate poate fi rescrisa

P ( A ∩ B ) = P( A B ) P ( B ) P( B) > 0
sau

P( A ∩ B) = P( B A) P( A) P( A) > 0

Aceasta constituie regula de inlantuire care poate fi generalizata

P( A ∩ A ∩  A) = P( A1 ( A2 ∩  ∩ An )) ⋅ P( A2 ( A3 ∩  ∩ An ) ) ⋅  ⋅ P( An − 1 An ) P( An )

P( B A) ⋅ P( A)
(e) P( A B ) =
P( B)

Evenimente independente

Evenimentele A si B sunt denumite evenimente independente daca si numai daca

P( A ∩ B) = P( A) P( B)

Se observa ca pentru doua evenimente independente P( A B) = P( A) si P( B A) = P( B)

care justifica denumirea. Pentru ca 3 evenimente A,B,C sa fie independente este necesar si suficient
ca

P( A ∩ B) = P( A) P( B)
P( A ∩ C) = P( A) P(C)
P( B ∩ C) = P ( B ) P( C) si
P( A ∩ B ∩ C ) = P ( A) P ( B ) P ( C )

Proprietatile evenimentelor independente

(i) P( A ∪ B) = P( A) + P( B) − P( A) P( B)
(ii) P ( A ∩ B ) = P( A ) P ( B )

Evenimente mutual exclusive

#1-2
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

Evenimentele Ai ( Ai ⊂ S , i = 1,2, ) sunt denumite mutual exclusive daca si numai daca

Ai ∩ A j = Φ ∀ Ai , A j ⊂ S i ≠ j .

Proprietatile evenimentelor mutual exclusive

 
(i) P  Ai  ∑ P( Ai )
 i  i

Observatie

Aceasta proprietate este valabila si pentru un numar infinit de evnimente

(ii) P( Ai ) = ∑ P( A ∩ i Bj ) daca evenimentele B j j = 1, , m sunt mutual exclusive.

j= 1

n m

(iii) 1= ∑ ∑ P( A ∩ i )
B j daca evenimentele Ai , B j i = 1, , n ; j = 1, , m sunt
i= 1 j= 1

mutual exclusive.

(iv) probabilitatea totala P( B) = P( B A1 ) P( A1 ) + + P( B An ) P( An ) daca Ai i = 1,, n

n
sunt mutual exclusive si daca B ⊂ A . i
i= 1

2. CANTITATEA DE INFORMATIE

Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment este

utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din punctul
de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul informational fiind cu
atat mai mare cu cat el se asteapta mai putin la realizarea acelui eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m1 , m2 , , mq cu probabilitatile de
aparitie p1 , p2 , , pq . Este evident ca probabilitatile satisfac relatia p1 + p2 + + pq = 1 . Continutul
informational al mesajului k este notat cu I (mk ) . Pentru ca acest continut sa fie o masura adecvata
a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :

(i) daca p k < p j ⇒ I (mk ) > I (m j )

(ii) daca p k → 1 ⇒ I (mk ) → 0
(iii) daca 0 ≤ p k ≤ 1 ⇒ I (mk ) ≥ 0
(iv) (aditivitatea) daca mk si mj sunt mesaje independente ⇒ I (mk si m j ) = I (mk ) + I (m j )

O functie continua de variabila p k care satisface proprietatile (i)-(iv) este functia logaritmica.

#1-3
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

1
I (mk ) = log = − log pk
pk

Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone

T1

T2

se definesc
(a) rata de biti=(durata unui bit)-1 =1/T2 exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T1 exprimata in
bauds.

Problema 1

Se considera o trasmisie fax : 2,25⋅106 pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?

Solutie
I=nr.elemente ⋅ informatie per element=
 1
= 2 ,25 ⋅ 106 ⋅  − log 2  = 2 ,25 ⋅ 106 ⋅ log 2 2 2 ⋅ 3 = 2 ,25 ⋅ 106 ( 2 + log 2 3) [ biti]
 12 

Problema 2

Un display monocolor cu 24 linii

80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = 24 ⋅ 80 ⋅ 128 ⋅ log 2 3 [ biti ]

#1-4
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

1
(b) τ =
fc
I
R = = I ⋅ f c [bps]
τ

Problema 3

Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4 impulsuri

de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un impuls de pauza
de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
(b) Care este rata de bauds ?

Solutie

I 4 log 2 4
(a) R= = = 1,6 [ kbps]
τ 5 ⋅ 10− 3
1
(b) rbauds = − 3 = 103 [ baud] = 1 [ kbaud]
10

Problema 4

Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se cere sa
se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este
mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.

Solutie
1
I1 = log 2 = log 2 12
cantitatea de informatie necesara determinarii monedei false este 1
12
cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara este
1
I 2 = log 2 = log 2 2
1
2
cantitatea de informatie totala necesara a fi determinata I = I1 + I 2 = log 2 24
cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
1
I 3 = log 2 = log 2 3 ⇒
1 numarul minim de cantariri I ≤ kI 3 ⇒ 24 ≤ 3k ⇒ k = 3.
3
sa se propuna un algoritm de depistare.

Problema 5

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt

nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8

#1-5
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

nivel 3:1/8

Solutie
1  1 1 1 1 1 1
R = r⋅ H = ⋅  − log − log − 2 ⋅ log 
5 ⋅ 10− 3  2 2 4 4 8 8

Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca entropia este
maxima pentru o sursa care genereaza simboluri echiprobabile Hmax = log 2 n .

Problema 6

Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos

Solutie

Acest model descrie un canal care perturba simbolurile unei surse binare in masura in care la
receptie sa poata fi interpretate ca fiind incerte.

Metoda scalara

[
C = max H (Y ) − H ( Y X )
p ( xi )
]
3
H (Y ) = − ∑ p( yi ) log p( yi )
i= 1

p( y1 ) = p( y1 x1 ) p( x1 ) + p( y1 x2 ) p( x2 ) = p( y1 x1 ) p( x1 ) = (1 − q ) p( x1 )

S-a utilizat formula probabilitatii totale, evenimentele x1, x2 fiind mutual exclusive.
Analog se poate scrie

p( y 2 ) = (1 − q ) p( x 2 )

p( y3 ) = p( y3 x1 ) p( x1 ) + p( y3 x2 ) p( x2 ) = q( p( x1 ) + p( x2 ) ) = q ⋅ 1 = q ⇒

H (Y ) = − [ (1 − q) p( x1 ) log( 1 − q) p( x1 ) + q log q + (1 − q ) p( x2 ) log( 1 − q) p( x2 )] =

= − (1 − q)[ p( x1 ) log p( x1 ) + p( x2 ) log p( x2 )] − (1 − q ) log( 1 − q) − q log q =
= (1 − q) H ( X ) − (1 − q ) log( 1 − q) − q log q

#1-6
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

2 3
H( Y X ) = − ∑ ∑ (
p( xi , y j ) log p y j x i )
i= 1 j= 1

Conform regulii de inlantuire

(
p( xi , y j ) = p y j xi p( xi ))
Din graf se deduce ca

p( y1 x1 ) = 1 − q p( y1 x2 ) = 0
p( y2 x1 ) = 0 p( y2 x2 ) = q
p( y3 x1 ) = q p( y3 x2 ) = 1 − q

Se obtine
H ( Y X ) = − (1 − q ) log(1 − q ) − q log q

C = (1 − q ) max H ( X ) = (1 − q ) ⋅ 1 = 1 − q
p ( xi )

pentru setul optim de probabilitate la intrare p0 ( x1 ) = p0 ( x2 ) = 1 .

Metoda matriciala

Se considera sursa care genereaza un alfabet de simboluri xi , i = 1, , n si la destinatie se

receptioneaza un alfabet de simboluri y j , j = 1, , m .
Se pot scrie urmatoarele relatii:

P(Y ) = P( X ) ⋅ P( Y X )

unde P ( X ) este matricea linie a sursei (1 × n) ;

P(Y ) este matricea linie a destinatiei (1 × m) ;
P( Y X ) este matricea dreptunghiulara de zgomot (n × m) .

Observatie

In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate iesirilor.
Matricea campurilor reunite (joint) este

 p ( x1 ) 0  0 
 0 p( x 2 )  0 
P( X , Y ) =   P( Y X )
     
 
 0   p( x n ) 

Matricea de zgomot P( Y X ) se poate obtine prin impartirea fiecarei linii i prin p(xi).

#1-7
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

Matricea de echivocatie P( X Y ) se poate obtine prin impartirea fiecarei coloane j prin p(yj) .

Problema 7

 2 / 3 1 / 3
Fie matricea de tranzitie P( Y X ) =   si p(x1)=3/4 si p(x2)=1/4.
 1 / 3 2 / 3
Se cere sa se calculeze
(a) entropia campului de intrare
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului

Solutie

2
3 3 1 1 3
(a) H ( X ) = − ∑ p( xi ) log p( xi ) = −  log + log  = 2 − log 3 ≅ 0,81 bit / simbol
i= 1 4 4 4 4 4

(b) H (Y ) = − ∑ p( y j ) log p( y j )
j= 1

 2 / 3 1 / 3
P(Y ) = [ 3 / 4 1 / 4]   = [ 7 / 12 5 / 12]
 1 / 3 2 / 3

 7 7 5 5
H (Y ) = −  log + log  = 0,98 bit / simbol
 12 12 12 12 

( )
2 2

(c) H( X Y ) = − ∑ ∑ p( xi , y j ) log p xi y j
i= 1 j= 1

 3 / 4 0   2 / 3 1 / 3   1 / 2 1 / 4
P( X , Y ) =    =  
 0 1 / 4   1 / 3 2 / 3  1 / 12 1 / 6

1 1 1 1 1 1 1 1
H ( X , Y ) = −  log + log + log + log  = 1,73 bit / simbol
2 2 4 4 12 12 6 6

2 2

(d) H( Y X ) = − ∑ ∑ ( )
p( xi , y j ) log p y j x i = 0,92 bit / simbol
i= 1 j= 1

sau H( Y X ) = H ( X ,Y ) − H ( X )

#1-8
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

( )
2 2

(e) H( X Y ) = − ∑ ∑ p( xi , y j ) log p xi y j
i= 1 j= 1

unde
 1 1
 2 4 
 7 5  6 3
 
 12 12   7 5
P( X Y ) =  
 = 

 1 1  1 2 
 12 6  7 5
 7 5
 
 12 12 

1 6 1 3 1 1 1 2
si H ( X Y ) = −  log + log + log + log  = 0,75 bit / simbol
2 7 4 5 12 7 6 5

sau H ( X Y ) = H ( X , Y ) − H (Y )

(f) I ( X , Y ) = H ( X ) + H (Y ) − H ( X , Y ) = 0,06 bit / simbol

(g) canalul fiind dublu uniform

 1  1 1 1
C = log 2 +  1 −  log 1 −  + (2 − 1) log = 0,082 bit / simbol
 3  3 3 3

Setul optim p0 ( x1 ) , p0 ( x 2 ) se obtine din

[
C = max H (Y ) − H ( Y X )
p0 ( xi )
]
2 1
p ( y1 ) = p 0 ( x1 ) + p 0 ( x 2 )
3 3

1 2
p( y 2 ) = p0 ( x1 ) + p0 ( x 2 )
3 3

2 2 2 2
H( Y X ) = − ∑ ∑
i= 1 j= 1
( )
p( xi , y j ) log p y j x i = − ∑ ∑ p( y x ) p ( x ) log p( y
i= 1 j= 1
j i 0 i j )
xi =

2 2 1 1 2 2 1 1
= −  log + log  ( p0 ( x1 ) + p0 ( x 2 ) ) = −  log + log 
3 3 3 3 3 3 3 3

2 2 1 1
deci H ( Y X ) nu depinde de P( X ) ⇒ C = max H (Y ) +  log + log 
p0 ( xi ) 3 3 3 3

#1-9
 www.cartiaz.ro – Carti si articole online gratuite de la A la Z

1
dar max H (Y ) = log 2 = 1 ⇔ p( y1 ) = p( y 2 ) = ⇒
p0 ( xi ) 2

 p( y1 ) = p( y1 x1 ) p0 ( x1 ) + p( y1 x 2 ) p0 ( x 2 )

( )
 p( y2 ) = p( y2 x1 ) p0 ( x1 ) + p y2 x 2 p0 ( x 2 )

1
⇒ p0 ( x1 ) = p0 ( x 2 ) = .
2

Observatie

Se mai poate utiliza si relatia p0 ( x1 ) + p0 ( x2 ) = 1

I ( X ,Y)
(h) η (C ) = = 0,73
C

R(C ) = C − I ( X , Y ) = 0,022 bit / simbol

Problema 8

 0,4 ? 
Fie un canal binar simetric avand matricea campurilor reunite P( X , Y ) =   si
 ? 0,4
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P( X , Y ) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.

Solutie

(a) canalul fiind simetric ⇒ p( x 2 , y1 ) = p( x1 , y 2 ) si folosind proprietatea (iii) a evenimentelor

mutual exclusive se obtine p( x1 , y1 ) + 2 p( x1 , y 2 ) + p( x 2 , y 2 ) = 1 ⇒ p( x1 , y 2 ) = 0,1 si
 0,4 0,1
P( X , Y ) =  .
 0,1 0,4

 0,4 0,1 
 1/ 2 1 / 2   0,8 0,2
(b) P( Y X ) =   =
   
 0,1 0,4   0,2 0,8
 1 / 2 1 / 2 

#1-10