Bti – test

De la o sursă de informații se transmit mesaje în sistemul de numerație octal. Știind că un mesaj este
format din 10 simboluri, să se calculeze cantitatea medie de informație obținută la transmiterea unui
mesaj. Probabilitățile de apariție a simbolurilor într-un mesaj sunt egale.

( )
8
x 0 x 1 x 2 … x7 −10∗1 1
X= H ( X )=−10∗∑ pi log 2 p i=
−3
∙ 8 ∙ log 2 =−¿ 10∗log 2 2 =30 biți¿
1 /8 1/8 1/8 … 1/ 8 i=1 8 8

Formule utile entropie

P 1. H ( p1 , p2 , … , p n ) ≥ 0

P 2. H ( p1 , p2 , … , p n )=0 ⇔ ∍ k ∈ { 1,2 … n } a .i . p k =1

1 1 1
P 3. H ( p1 , p 2 , ... , p n) ≤ H ( , ,... , )
n n n
P 4. H ( p 1 , p2 ,… , pn , 0 )=H ( p1 , p 2 , … , pn )

P 5. H ( X 1 × X 2 × …× X n ) =H ( X 1 ) + H ( X 2 ) +…+ H ( X n )

P 6. H ( X ×Y )=H ( X ) + H ( YX ) , ∀ X ,Y unde :
n m
H (Y / X )=∑ p (x k ) ⋅ H (Y / x k ) H (Y / x k )=−∑ p( y i / x k )log 2 p( y i / x k )
k=1 i=1

P 7. H ( YX )≤ H ( Y ) , ∀ X , Y
P 8. H ( X ×Y ) ≤ H ( X ) + H ( Y )
P 9. H (X /Y )=H (Y / X )+ H ( X)−H (Y )