[SP10] Rodica Stoian, Lucian Andrei Perişoară, „Teoria Informaţiei şi a Codurilor.

Aplicaţii”, Editura
Politehnica Press, Bucureşti, 2010.

Capitolul 1

SURSE DE INFORMAŢIE

1.1. Caracterizarea informaţională a variabilelor aleatorii discrete

1.1.1. Entropie; informaţie mutuală

Fie variabila aleatorie (v.a.) discretă X, caracterizată de alfabetul finit X =  xi  , de

cardinalitate | X | şi distribuţia de probabilităţi p( X ) = P( xi ) , respectiv funcţia de masă
a probabilităţilor (f.m.p.) p( x) =  P( x )( x − x ) , ce îndeplineşte condiţia de normare
xi X
i i

 P( x ) = 1 .
xi X
i Probabilitatea P( xi ) reprezintă de fapt probabilitatea cu care v.a. X ia

valoarea xi , adică P( xi ) = P ( X = xi ) .
• Informaţia proprie obţinută în urma realizării evenimentului i (v.a. X a luat
valoarea xi ) este:
i( xi ) = − log P( xi ) .
Baza logaritmului determină unitatea de măsură a informaţiei:
i( xi ) = − log 2 P( xi ) , [biţi],
= − loge P( xi ) , [nat],
= − log10 P( xi ) , [hartley].
• Entropia v.a. discrete X reprezintă valoarea medie statistică a informaţiilor
proprii asociate variabilei X:
H ( X ) = E  i( xi )  =  P( xi )i( xi ) = −  P( xi ) log 2 P( xi ), [biţi].
xi X xi X

Fie două v.a. discrete X şi Y, de alfabete X şi Y , caracterizate de f.m.p. reunită

p( x, y ) =   P( xi , y j )( x − xi )( y − y j ) , unde P( xi , y j ) reprezintă probabilitatea
xi X y j Y

reunită cu care v.a. X ia valoarea xi şi v.a. Y ia valoarea y j .

• Entropia reunită a celor două v.a. X şi Y este:
H ( X , Y ) = −   P( xi , y j ) log 2 P( xi , y j ) , [biţi].
xi X y j Y

• Entropiile condiţionate sunt:

H ( X | Y ) = −   P( xi , y j ) log 2 P( xi | y j ) , [biţi],
xi X y j Y
14 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
H (Y | X ) = −   P( x , y ) log
i j 2 P( y j | xi ) , [biţi],
xi X y j Y

unde probabilităţile condiţionate pot fi deduse din relaţia Bayes:

P( xi , y j ) = P( xi | y j ) P( y j ) = P( y j | xi ) P( xi ) .
• Condiţionarea reduce entropia:
H(X |Y)  H(X ),
cu egalitate dacă X şi Y sunt independente.
• Informaţia mutuală (transinformaţia) este:
P( xi , y j )
I ( X , Y ) =   P( xi , y j ) log 2 , [biţi].
xi X y j Y P( xi ) P( y j )
În funcţie de entropiile definite anterior informaţia mutuală se poate scrie:
I ( X , Y ) = H ( X ) + H (Y ) − H ( X , Y )
= H ( X ) − H ( X | Y ) = H (Y ) − H (Y | X )
Proprietăţi importante ale entropiilor:
• H ( X )  log 2 | X | , cu egalitate dacă şi numai dacă X are distribuţie uniformă;
• H ( X ) = 0 , dacă şi numai dacă X este determinist;
• H (Y | X ) = 0 , dacă şi numai dacă Y este o funcţie de X;
• subaditivitate: H ( X , Y )  H ( X ) + H (Y ) , cu egalitate dacă X şi Y sunt independente;
• I ( X , Y ) = 0 dacă şi numai dacă X şi Y sunt independente.
Relaţiile dintre entropii, entropii reunite, entropii condiţionate, informaţii mutuale sunt
reprezentate în Fig. 1.1.a cu ajutorul diagramelor Venn.
H ( X1 )
I ( X1 , X 2 | X 3 ) H ( X1 | X 2 )
H ( X1 | X 2 , X 3 )
H(X) H(Y)
I ( X1 , X 3 | X 2 )

H (X |Y) I ( X ,Y ) H (Y | X )

H ( X 2 | X1 , X 3 )
H ( X 3 | X1 , X 2 )

H(X,Y) H (X2) H ( X3)

I ( X1 , X 2 , X 3 ) I (X2, X3) I ( X 2 , X 3 | X1 )

a) b)

Fig. 1.1. Diagrama informaţională reprezentată prin diagrame Venn pentru ilustrarea relaţiilor dintre
entropiile a două variabile X şi Y (a) sau trei variabile X1, X2 şi X3 (b).
1. Surse de informaţie 15
Pentru o pereche de două v.a. X1 , X 2 , de alfabetele X 1 , X 2 şi f.m.p. reunită p( x1 , x2 ) ,
depinzând de v.a. X 3 , de alfabet X 3 , informaţia mutuală condiţionată reprezintă
cantitatea de informaţie “conţinută” în v.a. X 1 , datorită cunoaşterii v.a. X 2 când v.a. X 3
este dată (cunoscută), vezi Fig. 1.1.b. Altfel spus, în cazul a trei v.a. X1 , X 2 şi X 3 se
defineşte informaţia mutuală condiţionată ca fiind o măsură a reducerii incertitudinii
asupra variabilei X 1 datorită cunoaşterii variabilei X 2 când variabila X 3 este dată:
p( x1 , x2 | x3 )
I ( X 1 , X 2 | X 3 ) =    p( x1 , x2 , x3 ) log
x1X 1 x2 X 2 x3X p( x1 | x3 ) p( x2 | x3 )
În termeni de entropii, informaţia mutuală condiţionată poate fi scrisă ca:
I ( X1 , X 2 | X 3 ) = H ( X1 | X 3 ) − H ( X 1 | X 2 , X 3 ) .
Fie un set de n v.a. X1 , X 2 , , X n , de alfabete X 1 , X 2 , , X n şi caracterizate de f.d.p.
reunită p( x1 , x2 , , xn ) . Generalizând proprietatea de subaditivitate a două v.a., entropia
unei secvenţe de n v.a. X1 , X 2 , , X n este:
n
H ( X1 , X 2 , , Xn )   H ( Xi ) ,
i =1
cu egalitate dacă v.a. sunt mutual independente. Cantitatea medie de informaţie conţinută
în secvenţa de n v.a. X1 , X 2 , , X n este mai mică sau cel mult egală cu suma entropiilor
v.a. X1 , X 2 , , X n .

1.1.2. Regula lanţului; inegalitatea procesării datelor; inegalitatea pompării datelor

Pentru două v.a. discrete X 1 , X 2 , de alfabetele X 1 , X 2 şi f.m.p. reunită p( x1 , x2 ) definim:

• Regula lanţului pentru entropii:
H ( X1 , X 2 ) = H ( X1 ) + H ( X 2 | X 1 ) = H ( X 2 ) + H ( X1 | X 2 ) .
Din regula lanţului, rezultă pentru entropia reunită următoarea valoare limită:
H ( X1 , X 2 )  H ( X1 ) .
Cu egalitate dacă şi numai dacă X 2 este o funcţie de X 1 , X 2 = f ( X1 ) .
• Similar relaţiei pentru două v.a., putem scrie regula lanţului pentru entropiile a
trei v.a. X1 , X 2 , X 3 :
H ( X1, X 2 | X 3 ) H ( X1 | X 3 ) H ( X 2 | X1, X 3 )
.
H ( X 2 | X 3 , X1 ) H ( X1 | X 3 )
• Regula lanţului pentru informaţia mutuală ce caracterizează trei v.a.:
I ( X1 , X 2 , X 3 ) I ( X1 , X 3 ) I ( X1 , X 2 | X 3 ) I ( X 1 , X 2 ) I ( X 1 , X 3 | X 2 ) .
Regula lanţului pentru informaţia mutuală condiţionată:
I ( X1 , X 2 | X 3 ) H ( X1 , X 2 ) - H ( X1 | X 2 , X 3 ) .
• Inegalitatea procesării datelor. Dacă trei v.a. X1 , X 2 , X 3 formează un lanţ
Markov, notat X1 → X 2 → X 3 , vezi Anexa 2, atunci:
I ( X1 , X 3 ) I ( X1 , X 2 ) ,
16 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
egalitatea având loc dacă v.a. X1 , X 2 şi X 3 sunt independente. Conform
inegalităţii procesării datelor vom putea scrie I ( X1 , X 2 ) H ( X1 ) , egalitatea
având loc dacă şi numai dacă fiind dat X 2 se poate reconstrui X 1 , adică
X 2 = f ( X1 ) .
• Dacă X1 → X 2 → X 3 este un lanţ Markov la fel şi X 3 → X 2 → X1 , în consecinţă
la inegalitatea procesării datelor vom avea inegalitatea pompării datelor:
I ( X 3 , X1 ) I ( X 3 , X 2 ) .
Intuitiv, această relaţie ne spune că informaţia pe care v.a. X 3 o are în comun cu
v.a. X 1 trebuie să fie mai mică sau egală cu informaţia comună a v.a. X 3 şi X 2 .
Astfel, informaţia este „pompată” de la X 1 către X 2 şi de la X 2 către X 3 .
Folosind diagrama informaţională a unui lanţ Markov, vezi Fig. 1.2, se pot pune în
evidenţă următoarele inegalităţi date de inegalitatea procesării datelor:
I ( X1 , X 3 ) I ( X1 , X 2 ) ,
H ( X1 | X 2 ) H ( X1 | X 3 ) .

X1 X2 X3

H (X2) I ( X1 , X 2 )
H ( X1 )
H ( X3)
I ( X1 , X 3 )

Fig. 1.2. Diagrama informaţională a unui lanţ Markov X 1 → X 2 → X 3 .

Fie un set de n v.a. X1 , X 2 , , X n , de alfabete X 1 , X 2 , , X n şi caracterizate de f.d.p.

reunită p( x1 , x2 , , xn ) .
• Dacă X1 , X 2 , , X n formează un lanţ Markov, vezi Anexa 2, atunci regula
lanţului pentru o secvenţă de n v.a. se poate scrie pentru entropii:
n
H ( X1, X 2 , , X n ) =  H ( X i | X i −1 , , X1) ,
i =1
pentru entropii condiţionate:
n
H ( X1, X 2 , , X n | Y ) =  H ( X i | Y , X1, , X i −1 ) ,
i =1
pentru informaţia mutuală:
n
I ( X 1 , X 2 ,..., X n ; Y ) =  I ( X i ; Y | X i −1 , X i −2 ,... X 1 ) ,
i =1
unde Y este un set de v.a.
1. Surse de informaţie 17
• Rata entropiei unei secvenţe de n v.a. X1 , X 2 , , X n reprezintă entropia per
simbol a n v.a. şi este definită prin:
1
H  ( X ) = lim H ( X 1 , X 2 , , X n ) ,
n → n

când limita există. Rata entropiei poate fi particularizată pentru o secvenţă de

n v.a. independente şi identic distribuite (i.i.d.) şi egalează entropia unei v.a.:
1 nH ( X )
H  ( X ) = lim H ( X 1 , X 2 , , X n ) = lim = H (X ).
n → n n → n
Dacă între v.a. identic distribuite (i.d.) ce compun secvenţa există o dependenţă
statistică (memorie) atunci rata entropiei secvenţei are o valoare mai mică decât
entropia per simbol a unei v.a.:
H ( X )  H ( X ) .
Pentru un lanţ Markov X1 , X 2 , , X n , rata entropiei este dată de relaţia:
H  ( X ) = lim H ( X n | X n−1 ,..., X1 ) = lim H ( X n | X n−1 ) = H ( X 2 | X 1 ) ,
n → n→
în care entropia condiţionată este calculată folosind distribuţia staţionară cunoscută:
H  ( X ) = − wi Pij log Pij ,
i j

unde w = ( w1 , w2 , , wM ) este distribuţia de echilibru, iar Pij este probabilitatea

de tranziţie din starea i în starea j, vezi Anexa 2.

1.1.3. Entropie relativă

Fie un spaţiu măsurabil X , peste care se definesc două f.m.p. p( x) şi q ( x) , cu x  X .

• Entropia relativă se defineşte în raport cu perechea de distribuţii p( x) şi q ( x)
prin:
 p( X )  p ( x) Notam
H ( p( x) || q( x) ) = E log = 
q( X )  xX
p ( x ) log = H ( p || q) ,
 q ( x)
cu respectarea convenţiilor:
0 p ( x)
−0log = 0 şi − p( x) log =  , pentru p( x)  0, q( x)  0 .
q( x) 0
Entropia relativă, denumită şi distanţă KL (Kullback Leibler), este de fapt o
măsură a “distanţei” dintre cele două distribuţii. De fapt nu este o distanţă,
deoarece nu este simetrică şi nu satisface inegalitatea triunghiului.
• Entropia relativă condiţionată se defineşte ca valoarea medie a entropiilor
relative dintre distribuţiile condiţionate p( y | x) şi q( y | x) , mediere realizată în
funcţie de distribuţia p( x) :
p ( y | x)
H ( p( y | x) || q( y | x) ) =  p( x)  p( y | x) log .
xX yY q ( y | x)
Notaţia pentru entropia relativă condiţionată nu menţionează explicit şi distribuţia
p( x) , a variabilei de condiţionare, fapt ce trebuie înţeles din context.
18 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
Proprietăţile entropiilor relative:
• Entropia relativă este o mărime nenegativă H ( p || q)  0 , cu egalitate dacă şi
numai dacă p( x) = q( x), x .
• Entropia relativă este o funcţie convexă, dar nu este simetrică:
H ( p || q)  H (q || p) .
• Regula lanţului pentru entropia relativă. Fie două spaţii măsurabile X şi Y ,
peste care se definesc două distribuţii reunite diferite p( x, y ) şi q( x, y ) şi două
distribuţii condiţionate diferite p( y | x) şi q( y | x) . Regula lanţului spune că
entropia relativă dintre două distribuţii reunite ale unei perechi de v.a. poate fi
scrisă ca suma dintre entropia relativă şi entropia relativă condiţionată:
H ( p( x, y ) || q( x, y ) ) = H ( p( x) || q( x) ) + H ( p( y | x) || q( y | x) ) .

1.2. Caracterizarea informaţională a variabilelor aleatorii continue;

entropia diferenţială
Fie o v.a. continuă X, caracterizată de alfabetul X şi funcţia densitate de probabilitate

(f.d.p.) p( x) , ce îndeplineşte condiţia de normare  −
p( x)dx = 1 . Prin analogie cu cazul
discret, definim:
• entropia diferenţială a v.a. continue X:

h( X ) = −  p( x) log 2 p( x)dx ;
−
Spre deosebire de entropia H ( X ) a unei v.a. discrete, entropia diferenţială h( X )
a unei v.a. continue nu mai are semnificaţie de valoare medie.
Pentru o pereche de v.a. continue X şi Y, caracterizate de f.d.p. reunită p( x, y ) , definim:
• entropia diferenţială reunită a celor două v.a.:
 
h( X , Y ) = −   p( x, y) log 2 p( x, y )dxdy ;
− −

• entropiile diferenţiale condiţionate a lui X dacă îl cunoaştem pe Y, respectiv a

lui Y dacă îl cunoaştem pe X:
 
h( X | Y ) = −   p( x, y) log 2 p( x | y )dxdy ;
− −
 
h(Y | X ) = −   p( x, y) log 2 p( y | x)dxdy ,
− −
unde f.d.p. condiţionate pot fi calculate cu formula Bayes:
p ( x, y ) = p ( x | y ) p ( y ) = p ( y | x ) p ( x ) ;
• informaţia mutuală între v.a. continue X şi Y:
 
p ( x, y )
I ( X , Y ) = −   p( x, y ) log 2 dxdy .
− −
p ( x) p( y )
Între entropiile diferenţiale definite anterior, există relaţiile de dependenţă:
I ( X , Y ) = h( X ) + h(Y ) − h( X , Y ) = h( X ) − h( X | Y ) = h(Y ) − h(Y | X ) .
1. Surse de informaţie 19
1.3. Surse discrete de informaţie
O sursă discretă de informaţii S este complet definită de:
• alfabetul finit, S = {s1 , s2 , , sM } , cu M = | S | simboluri posibil a fi emise de
sursă;
• distribuţia de probabilităţi p( S ) = P( s1 ), P( s2 ), , P( sM ) = P1 , P2 , , PM  ;
• durata simbolurilor emise ( S ) = ( s1 ), ( s2 ), , ( sM ) = 1 , 2 , , M  ;
• dependenţa probabilistică între simbolurile emise la momente diferite de timp.
Modelarea unei surse de informaţii ca o secvenţă indexată de v.a. O sursă discretă de
informaţii S de alfabet S şi distribuţie p( S ) poate fi modelată ca o secvenţă indexată de
v.a. S1 , S2 , , Si , , Sn , având toate acelaşi alfabet S i = S , i = 1, n şi aceeaşi
distribuţie p( Si ) = p( S ), i = 1, n .

1.3.1. Surse discrete fără memorie

O sursă discretă fără memorie (SDFM) este caracterizată de faptul că simbolurile

emise sunt statistic independente, emiterea unui simbol nedepinzând de simbolurile emise
la momente anterioare. Dacă v.a. S1 , S2 , , Sn emise de sursa S la momentele de timp
t1 , t2 , , tn sunt independent distribuite (i.d.), sursa discretă este fără memorie:
n n
P( s1 , s2 , , sn ) = P ( S1 = s1 , S2 = s2 , , Sn = sn ) =  P( Si = si ) =  P(si ) .
i =1 i =1
Dacă v.a. sunt nu numai independente dar şi identic distribuite (i.i.d.), atunci:
P(s1 , s2 , , sn ) = P n (s) .

1.3.2. Surse discrete cu memorie

O sursă discretă cu memorie (SDCM) este caracterizată de faptul că simbolurile emise

sunt dependente statistic, apariţia unui simbol depinzând de simbolurile precedente,
modelarea realizându-se cu ajutorul lanţurilor Markov (vezi Anexa 2). Presupunând o
memorie de ordin 1, emiterea unui simbol depinde numai de simbolul emis anterior, iar în
termenii densităţii de probabilitate condiţionată putem scrie:
P(sn | sn−1 , sn−2 , , s2 , s1 ) = P(sn | sn−1 ) ,
densitatea de probabilitate reunită a celor n v.a. emise putând fi scrisă în termenii
distribuţiilor de ordinul 1 şi 2:
n
P( s1 , s2 , , sn ) = P( s1 )   P( si | si −1 ) .
i =2
Pentru o memorie de ordinul 2, relaţiile precedente se scriu:
P(sn | sn−1 , sn−2 , , s2 , s1 ) = P(sn | sn−1 , sn−2 ) ,
n
P( s1 , s2 , , sn ) = P( s1 ) P( s2 | s1 )   P( si | si −1 , si −2 ) .
i =3
20 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
O sursă de informaţie S, modelată ca o secvenţă de v.a., se numeşte staţionară dacă
secvenţele S1 , S2 , , Sn , respectiv S1+k , S2+k , , Sn+k au aceeaşi funcţie de distribuţie
reunită pentru orice n, k  1 .

1.3.3. Caracterizarea informaţională a surselor discrete de informaţie

Parametrii informaţionali şi de performanţă ai sursei primare S se definesc astfel:

• Informaţiile proprii: i(si ) = − log 2 P(si ) , [biţi/simbol];
• Entropia: H ( S ) = E i( si ) = −  P( si ) log 2 P( si ) , [biţi/simbol];
si S

• Entropia maximă: H max (S ) = log 2 M , [biţi/simbol];

H (S )
• Debitul de informaţie: Ht (S ) = , [biţi/secundă],

unde durata medie a unui simbol este  =  P( si )( si ) , [secunde];
si S

• Redundanţa: RS = H max (S ) − H (S ) , [biţi/simbol];

H (S )
• Randamentul (eficienţa): S = ;
H max ( S )
H (S )
• Redundanţa relativă: S = 1 − S = 1 − .
H max ( S )

1.3.4. Interpretarea inegalităţii procesării datelor pentru surse cu memorie

În aplicaţii curente, procesăm informaţii posibil incomplete şi afectate de perturbaţii.

Noţiunea intuitivă de procesare a informaţiei este asociată conceptului de lanţ Markov.
Dacă sursa de informaţii S cu memorie de ordin 1 se modelează ca un lanţ Markov
S1 → S2 → → Sn se pune problema în ce condiţii lanţul Markov pierde informaţii
despre stările anterioare pe măsură ce se observă evoluţia în timp a stărilor lanţului. În
acest caz, inegalitatea procesării datelor se poate scrie:
H (S1 )  I (S1 , S2 )  I (S1 , S3 )   I (S1 , Sn ) ,
şi se poate interpreta astfel:
• informaţia despre simbolurile emise de sursă poate numai descreşte cu timpul;
• vizualizând secvenţa de date generate de sursă ca un lanţ Markov putem afirma că
dacă v.a. S1 este afectată de perturbaţii, observând v.a. S 2 nu putem creşte
cantitatea de informaţie mutuală între v.a. S1 şi S 2 .

1.3.5. Rata entropiei unei surse staţionare

Rata entropiei unei surse staţionare S, modelată ca o secvenţă de v.a. S1 , S2 , , Sn , există

şi este egală cu:
1. Surse de informaţie 21
H ( S1 , S2 , , Sn )
H  ( S ) = lim = lim H ( Sn | Sn−1 , , S1 ) = H ' ( S ) ,
n → n n →

unde H  ( S ) este entropia de inovaţie.

'

1.4. Surse extinse; caracterizare informaţională

Pentru o sursă primară S, de alfabet S = s1 , s2 , , sM  , definim sursa extinsă de ordin
n şi o notăm S n , acea sursă care are alfabetul S n
= 1 ,  2 , , M n  , unde simbolurile
extinse  j = si1 si2 sin sunt mesaje de lungime n simboluri ale sursei primare S. Dacă
sursa S este fără memorie, atunci probabilitatea simbolului extins  j este:
P ( j ) =  P( s ) .
si  j
i

Pentru o sursă S cu memorie de ordinul 1, probabilitatea simbolului extins  j este:

n
P( j ) = P( si1 ) P( sik | sik −1 ) .
k =2
Pentru o sursă S cu memorie de ordinul 2, obţinem:
n
P( j ) = P( si1 , si2 ) P( sik | sik −1 , sik −2 ) .
k =3

Parametrii informaţionali şi de performanţă ai sursei extinse S n se definesc astfel:

• Informaţiile proprii: i( j ) = − log 2 P( j ) , [biţi/simbol extins];
• Entropia: H ( S n ) = −  P(i ) log 2 P(i ) , [biţi/simbol extins];
si S

• Entropia maximă: H max (S ) = log 2 M n = n log 2 M ,[biţi/simbol extins];

n

• Redundanţa: RS n = H max ( S n ) − H ( S n ) , [biţi/simbol extins];

H (S n )
• Randamentul (eficienţa): S n = ;
H max ( S n )
H (S n )
• Redundanţa relativă:  S n = 1 − S n = 1 − .
H max ( S n )
Legătura dintre entropia sursei extinse de ordin n şi entropia sursei primare este dată de
teorema de echivalenţă astfel:
• pentru SDFM: H (S n ) = n  H (S ) ;
• pentru SDCM: H (S n )  n  H (S ) .

1.5. Surse continue de informaţie

Pentru o sursă continuă de informaţii S, discretă în timp, generând simboluri pentru care
valorile amplitudinilor aparţin unui alfabet S infinit, sursa fiind deci caracterizată de un
22 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
număr infinit de stări posibile, informaţia proprie şi entropia sunt evident infinite şi nu
mai au semnificaţie de valori medii.
În ipoteza că pe alfabetul S infinit se precizeaza o funcţie densitate de probabilitate
p ( s ) care satisface condiţiile p( s)  0, s S şi  p( s)ds = 1 , prin analogie cu cazul
S
discret, Shannon defineşte entropia diferenţială h( S ) ca măsură a informaţiei emise de
sursa continuă S:

h( S ) = −  p( s) log 2 p( s)ds .
−
Dacă simbolurile sunt cuantizate, alfabetul S ce caracterizează sursa va conţine un
număr finit de simboluri, sursa continuă (discretă în timp) transformându-se într-o sursă
discretă a cărei entropie este evaluată cu formula:

H ( S ) = −  P( si ) log 2 P( si ) , [biţi/simbol].
si S

1.6. Probleme rezolvate

1. Sursă primară, sursă extinsă, entropie.
Fie un zar ideal cu M = 6 feţe.
a) Câţi biţi sunt necesari pentru specificarea rezultatului unei aruncări, folosind un
sistem digital?
b) Dar pentru rezultatul aruncării a două zaruri?
c) Depinde rezultatul de identitatea celor două zaruri?
d) Repetaţi punctele anterioare pentru un zar măsluit, având probabilitatea de
apariţie a unei feţe proporţională cu cifra de pe faţă.

Rezolvare
a) Numărul minim de biţi necesari este dat de cantitatea de informaţie medie
(entropia) generată de experimentul aruncării cu zarul ideal (pentru un zar ideal
feţele au aceeaşi probabilitate de apariţie, entropia fiind maximă):
lg 6
H max (S ) = log 2 M = log 2 6 = = 2.58 biţi/simbol.
lg 2
Pentru a transmite acest rezultat cu ajutorul unui sistem digital (de exemplu un
calculator) trebuie să utilizăm un număr întreg de biţi şi facem rotunjire prin
adaos, rezultând 3 biţi/simbol.
O altă variantă intuitivă ar fi de a reprezenta în binar numerele ce reprezintă
feţele zarului. Astfel, avem nevoie de 3 biţi.
b) Dacă avem o pereche de două zaruri ideale, atunci considerăm sursa extinsă de
ordin 2 cu M 2 = 36 simboluri posibil a fi transmise, fiecare variantă cu
probabilitatea 1/36. Cantitatea de informaţie rezultată este:
H max (S 2 ) = log 2 36 = 5.168 biţi/simbol extins.
1. Surse de informaţie 23
Într-un sistem digital vom utiliza 6 biţi, modul de alocare a biţilor pentru fiecare
rezultat al experimentului putând fi chiar reprezentarea în binar a indicelui
simbolului extins.
c) În calculul entropiei de la punctele a) şi b) am presupus că zarurile sunt ideale şi
orice combinaţie de feţe ar avea aceeaşi probabilitate. Dacă zarurile sunt diferite,
atunci cel puţin un zar este măsluit, având o distribuţie de probabilităţi
neuniformă, caz în care entropia va fi mai mică. Astfel, vom utiliza un număr mai
mic de biţi.
d) Dacă zarul este măsluit, atunci distribuţia de probabilităţi a sursei care modelează
aruncarea cu zarul este:
p( S ) =  p, 2 p,3 p, 4 p,5 p, 6 p .
Din condiţia de normare rezultă:
1
p + 2 p + 3 p + 4 p + 5 p + 6 p = 1  21 p = 1  p= ,
21
adică:
1 2 3 4 5 6
p( S ) =  , , , , ,  .
 21 21 21 21 21 21 
Entropia sursei S este:
H ( S ) = 2.398 biţi/simbol,
fiind mai mică decât cea obţinută pentru zarul ideal de la punctul a), deoarece
distribuţia de probabilităţi a sursei nu mai este uniformă. Şi în acest caz tot 3 biţi
vom utiliza într-un sistem digital.
Pentru cazul a două zaruri măsluite, considerăm sursa extinsă de ordin 2,
pentru care entropia este:
H (S 2 ) = 2H (S ) = 4.786 biţi/simbol extins,
astfel că în sistemul digital vom utiliza 5 biţi. Se observă că pentru cele două
zaruri măsluite vom utiliza un număr mai mic de biţi faţă de cazul ideal. Problema
care rămâne nerezolvată este modul de atribuire a biţilor pentru realizările
particulare ale experimentului aruncării cu două zaruri. Acest lucru va fi rezolvat
în capitolul 2 prin codarea sursei de informaţie.

2. Sursă primară, informaţie proprie, entropie.

Fie o tablă de şah pe care se află o singură piesă. Poziţia piesei se poate afla de la un
observator intermediar prin întrebări la care acesta poate răspunde cu “da” sau “nu”.
Utilizând conceptul de informaţie, determinaţi numărul de întrebări necesare,
precizând modul de dialog utilizat. Care metode sunt optimale?

Rezolvare
Metoda 1 – informaţională: Pentru tabla de şah clasică, avem 8  8 = 64 de simboluri
corespunzătoare celor 64 de căsuţe. Presupunând că piesa se poate afla în orice căsuţă
cu aceeaşi probabilitate, rezultă că cele 64 de simboluri sunt echiprobabile, prin
urmare sursa de informaţie este de entropie maximă. Deci, incertitudinea a priori sau
cantitatea de informaţie care trebuie aflată este egală cu:
H max (S ) = log2 64 = 6 biţi/simbol.
24 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
Această incertitudine trebuie să fie eliminată prin efectuarea unui experiment de k ori.
Experimentul constă în punerea de întrebări şi aflarea răspunsurilor. Cum răspunsul
este “da” sau “nu”, informaţia obţinută în urma unui răspuns este:
i1 raspuns = log 2 2 = 1 bit/simbol.
În urma a k răspunsuri obţinem o cantitate de informaţie de k  i1 raspuns . Pentru anularea
incertitudinii trebuie ca:
k  i1 raspuns  H max (S ) ,
de unde k  6 , adică kmin = 6 întrebări. Această metodă reprezintă un procedeu de
calcul teoretic, din punct de vedere informaţional, al numărului de întrebări necesare.
Problema care rămâne nerezolvată este care sunt aceste întrebări.
Metoda 2 - Divide et Impera: Un algoritm corespunzător este cel bazat pe Divide
et Impera. Se împarte virtual tabla în două jumătăţi a câte 32 căsuţe şi se pune
întrebarea „Piesa este în prima jumătate?”. În urma răspunsului primit, se află în care
jumătate este piesa. Algoritmul se aplică iterativ pe noua jumătate, până când se
ajunge la două căsuţe. Ultimul răspuns ne va preciza căsuţa care este ocupată.
Deoarece operaţia de împărţire s-a efectuat de 6 ori, numărul de întrebări va fi 6, iar
această metodă este optimală, deoarece asigură un număr minim de întrebări, număr
determinat prin metoda informaţională.
Metoda 3 – Coordonatele piesei: O altă posibilitate de a preciza poziţia unei piese
constă în cunoaşterea coordonatelor sale. În cazul tablei de şah, vor fi necesare 8 cifre
sau litere pe orizontală şi 8 cifre sau litere pe verticală. Cantitatea de informaţie
necesară pentru precizarea piesei va fi dată suma cantităţilor de informaţie necesare
pentru precizarea celor două coordonate:
ipiesa = ioriz + ivert = log 2 8 + log 2 8 = 3 + 3 = 6 biţi/simbol.

3. Sursă primară, debit de informaţie, tensiune medie.

Într-un echipament automat, un generator de tensiune generează în mod independent
patru niveluri de tensiune:
s1 = 1 V , s2 = 2 V , s3 = 3 V , s4 = 4 V ,
de durate:
(s1 ) = 1 ms , (s2 ) = 0.5 ms , (s3 ) = 0.1 ms , (s4 ) = 1 ms
cu probabilităţile:
P( s1 ) = 1/ 8 , P(s2 ) = 1/ 4 , P(s3 ) = 1/ 2 şi P(s4 ) = 1/ 8 .
După o succesiune de 10 simboluri, sursa intră în repaus (emite nivel 0 V) timp de
pauza = 15 ms .
a) Care este debitul de informaţie al sursei, cu şi fără pauză?
b) Care este tensiunea medie emisă de sursă, cu şi fără pauză?

Rezolvare
a) Debitul de informaţie al sursei este definit ca:
H (S )
Ht (S ) = , [bps].

1. Surse de informaţie 25
Entropia sursei nu depinde de nivelurile de tensiune generate ci doar de distribuţia
de probabilităţi ale acestora:
4
H ( S ) = − P( si ) log 2 P( si )
i =1
1 1 1 1 1 1 1 1 7
= − log 2 − log 2 − log 2 − log 2 = = 1.75 biţi/simbol.
8 8 4 4 2 2 8 8 4
Durata medie a unui simbol este:
4
1 1 1 1
 =  P( si )( si ) = 1 +  0.5 +  0.1 + 1 = 0.425 ms/simbol.
i =1 8 4 2 8
Debitul de informaţie al sursei fără pauză este:
H (S ) 1.75
H t ,fara_pauza ( S ) = = = 4117 bps = 4.021 kbps.
 0.425 10−3
Dacă la 10 simboluri mai adăugăm 15 ms de pauză, durata medie de repaus pentru
un simbol va fi de 1.5 ms. Astfel, durata medie a unui simbol se modifică:

pauza =  + pauza = 0.425 + 1.5 = 1.925 ms .
10
Ţinând cont de prima relaţie, rezultă:
H (S ) 1.75
H t , cu_pauza ( S ) = = = 909.1 bps = 0.887 kbps.
pauza 1.925 10−3
b) Tensiunea medie emisă de sursă, fără pauză, poate fi determinată cu relaţia:
s P(si )(si )si s P(si )(si )si 1.025
sfara_pauza = i = i = = 2.4117 V.
  P(si )(si ) 0.425
si

Dacă sursa ia pauză, atunci tensiunea medie este:

s P(si )(si )si 1.025
scu_pauza = i = = 0.5325 V.
pauza 1.925

4. Sursă binară, sursă extinsă, entropie.

Fie o sursă discretă fără memorie S, de alfabet S = s1 , s2  şi distribuţie de
probabilităţi p( S ) = P( s1 ), P( s2 ) =  p,1 − p .
a) Arătaţi că entropia sursei S este maximizată pentru p = 0.5 .
b) Considerăm sursa extinsă de ordin 2, S 2 cu alfabetul S 2 = s1s1 , s1s2 , s2 s1 , s2 s2  .
Arătaţi că H (S 2 ) = 2H (S ) . Generalizare pentru o sursă extinsă de ordin n.

Rezolvare
a) Entropia sursei S este este o funcţie de variabilă p, care se poate scrie:
H (S ) = − p log 2 p − (1 − p) log 2 (1 − p) , [biţi/simbol].
Maximul local al acestei funcţii se obţine prin egalarea derivatei în raport cu p cu
valoarea 0. Astfel:
26 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
H (S )

H max (S ) = 1

p
0 0.5 1

Fig. 1.3. Entropia sursei binare.

H ( S )   − p log 2 p − (1 − p) log 2 (1 − p)    − p ln p − (1 − p) ln(1 − p) 

= =
p p p  ln 2 

1  1 1− p  1
=  − ln p − p − (−1) ln(1 − p) +  =  − ln p + ln(1 − p)
ln 2  p 1 − p  ln 2
= − log 2 p + log 2 (1 − p),
de unde:
H ( S )
= 0  − log 2 p + log 2 (1 − p) = 0  p = 1 − p  p = 0.5 .
p
În Fig. 1.3 am ilustrat variaţia entropiei H ( S ) în funcţie de probabilitatea p de
apariţie a unui simbol. Se observă că sunt respectate proprietăţile entropiei:
• pentru p = 0 respectiv p = 1 , sursa emite cu certitudine simbolul s2
respectiv s1 , iar entropia are valoare minimă, egală cu 0;
• pentru p = 0.5 , sursa emite ambele simboluri cu aceeaşi probabilitate, iar
entropia (incertitudinea) ia valoarea maximă H max (S ) = log 2 2 = 1 bit/simbol;
• entropia este o funcţie concavă în raport cu probabilitatea p;
• entropia este o funcţie simetrică în raport cu probabilitatea p,
H ( p) = H (1 − p) .
b) Pentru a calcula entropia sursei extinse de ordinul 2 fără memorie, trebuie să
calculăm distribuţia de probabilităţi a sursei extinse S 2 de alfabet
S 2 = s1s1 , s1s2 , s2 s1 , s2 s2  astfel:
P(si s j ) = P(si ) P(s j ) ,  i, j = 1, 2 .
Dacă sursa S are distribuţia de probabilităţi p( S ) =  p,1 − p , atunci pentru S 2
obţinem distribuţia:
p ( S 2 ) =  p 2 , p (1 − p ), (1 − p) p, (1 − p) 2  .
1. Surse de informaţie 27
Entropia sursei extinse de ordinul 2 este:
4
H ( S 2 ) = − P(i ) log 2 P(i )
i =1

= − p 2 log 2 p 2 − 2 p(1 − p) log 2 p(1 − p) − (1 − p) 2 log 2 (1 − p) 2

= −2 p 2 log 2 p − 2 p(1 − p) log 2 p − 2 p(1 − p) log 2 (1 − p) − 2(1 − p) 2 log 2 (1 − p)
= 2   − p log 2 p − (1 − p) log 2 (1 − p) 
= 2  H ( S ).
Analog, se poate demonstra cazul general prin inducţie matematică, realizând
extensia de la o sursă de ordin n − 1 la o sursă de ordin n:
H (S n−1 ) = (n −1)  H (S )  H (S n ) = n  H (S ) .

5. Sursă primară, sursă extinsă, caracterizare informaţională.

Caracterizaţi din punct de vedere informaţional:
a) sursa cu alfabetul format din simbolurile A , B , C şi D , unde frecvenţa de
apariţie a simbolului B este dublă decât a celorlalte trei simboluri;
b) extensia de ordin 2 a sursei de la punctul a).

Rezolvare
a) Din ipoteză ştim că:
Not
P( B) = 2 P( A) = 2 P(C ) = 2 P( D) = 2 p .
Dar suma probabilităţilor tuturor evenimentelor este 1 (condiţia de normare),
adică:
P( A) + P( B) + P(C ) + P( D) = 1  p + 2 p + p + p = 1  5 p = 1  p = 0.2 ,
deci distribuţia de probabilităţi a sursei S este:
p( S ) = 0.2, 0.4, 0.2, 0.2 .
Entropia sursei se calculează cu probabilităţile precedente:
H (S ) = −0.2log 2 0.2 − 0.4log 2 0.4 − 0.2log 2 0.2 − 0.2log 2 0.2 = 1.922 biţi/simbol.
Entropia maximă a sursei se calculează din numărul de simboluri emise de sursă:
H max (S ) = log 2 M = log2 4 = 2 biţi/simbol.
Redundanţa sursei este:
RS = H max (S ) − H (S ) = 2 − 1.922 = 0.078 biţi/simbol.
Randamentul sursei este:
H (S ) 1.922
S = = = 0.961 = 96.1% .
H max ( S ) 2
Redundanţa relativă a sursei este:
S = 1 − S = 1 − 0.961 = 0.039 = 3.9% .
b) Considerăm extensia de ordin 2 a sursei fără memorie S, şi anume S 2 . Aceasta
are alfabetul:
S 2 =  AA, AB, AC , AD, BA, BB, BC , BD, CA, CB, CC , CD, DA, DB, DC , DD ,
28 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
şi distribuţia probabilităţilor de apariţie:
p( S 2 ) = 0.04, 0.08, 0.04, 0.04, 0.08, 0.16, 0.08, 0.08,
0.04, 0.08, 0.04, 0.04, 0.04, 0.08, 0.04, 0.04
Entropia sursei extinse este:
H ( S 2 ) = −9  0.04  log 2 0.04 − 6  0.08  log 2 0.08 − 0.16  log 2 0.16
= 3.844 biti/simbol extins.
În acest caz, valoarea maximă a entropiei este:
H max (S 2 ) = log 2 16 = 4 biţi/simbol extins.
Un calcul mai rapid era dacă ţineam cont de relaţiile de echivalenţă pentru o sursă
fără memorie:
H (S 2 ) = 2H (S ) ,
H max (S 2 ) = 2 H max ( S ) .
Redundanţa sursei extinse este:
RS 2 = H max ( S 2 ) − H ( S 2 ) = 4 − 3.844 = 0.156 biţi/simbol extins.
Randamentul şi redundanţa relativă sunt independente de ordinul sursei extinse:
H (S 2 ) 2H (S )
S 2 = 2
= = S = 0.961 = 96.1% .
H max ( S ) 2 H max ( S )
S 2 = 1 − S 2 = S = 0.039 = 3.9% .
A se observa că pentru sursa extinsă, entropia şi redundanţa s-au dublat. Acest
lucru este normal dacă ne gândim că în cazul sursei extinse un simbol este de fapt
o succesiune de simboluri (un mesaj) ale sursei primare şi atunci entropia, care
este informaţia medie pe simbol extins, va creşte. Entropia maximă creşte şi ea,
deoarece sursa extinsă are un număr mai mare de simboluri decât sursa primară.
Analog creşte şi redundanţa.
Mult mai relevantă pentru comparaţia performanţelor între două surse este
utilizarea randamentului sau a redundanţei relative. Astfel, randamentul şi
redundanţa relativă pentru sursa primară şi pentru sursa extinsă sunt egale,
deoarece sursa extinsă depinde în totalitate de sursa primară. În acest caz, spunem
că ambele surse emit aceeaşi cantitate de informaţie.

6. Sursă primară, sursă extinsă, entropie.

Un arcaş care îşi loveşte ţinta cu probabilitatea 1/2 trage de două ori. Alt arcaş, cu
probabilitatea de a-şi lovi ţinta de 1/3, trage de trei ori.
Prin observarea cărui arcaş se obţine mai multă informaţie (care dintre cele două
experimente, privite ca surse de informaţie, are entropie mai mare)?

Rezolvare
În primul caz, avem o sursă primară S1 , cu două simboluri S = {s1 , s2 } , atribuite
evenimentelor „arcaşul loveşte ţinta”, „arcaşul nu loveşte ţinta”. Cele două
evenimente sunt echiprobabile p( S1 ) = 1/ 2,1/ 2 , iar entropia sursei primare este:
H (S1 ) = log 2 2 = 1 bit/simbol.
1. Surse de informaţie 29
Dacă arcaşul trage de două ori, atunci avem o sursă extinsă de ordin 2, de alfabet
S 1 2 = s1s1 , s1s2 , s2 s1 , s2 s2  , pentru care entropia este:
H (S12 ) = 2  H ( S1 ) = 2 biţi/simbol extins de ordin 2.
Pentru al doilea arcaş, sursa primară S 2 este caracterizată de acelaşi alfabet
S = {s1 , s2 } şi distribuţia de probabilităţi p( S2 ) = 1/ 3, 2 / 3 . Entropia sursei primare
este:
1 1 2 2
H ( S2 ) = − log 2 − log 2 = 0.918 biţi/simbol.
3 3 3 3
Dacă arcaşul trage de trei ori, atunci avem o sursă extinsă de ordin 3, de alfabet:
S 2 3 = s1s1s1 , s1s1s2 , s1s2 s1 , s1s2 s2 , s2 s1s1 , s2 s1s2 , s2 s2 s1 , s2 s2 s2  ,
pentru care entropia este:
H (S23 ) = 3  H (S2 ) = 2.754 biţi/simbol extins de ordin 3.
Entropiile celor două surse S12 şi S 23 nu se pot compara între ele, deoarece sursele nu
au acelaşi alfabet. Astfel, pentru comparaţie trebuie să calculăm randamentele celor
două surse extinse. Entropiile maxime ale surselor extinse sunt:
H max (S12 ) = log 2 4 = 2 biţi/simbol extins de ordin 2,
H max ( S23 ) = log 2 8 = 3 biţi/simbol extins de ordin 3.
Randamentele surselor sunt:
H ( S12 ) 2
S 2 = 2
= =1,
1
H max ( S1 ) 2
H ( S23 ) 2.754
S 3 = 3
= = 0.918 .
2
H max ( S2 ) 3
Se observă că prima sursă de informaţii are randament mai mare, deci ea va emite mai
multă informaţie. Astfel, era suficient să inspectăm doar sursele primare, deoarece ele
au acelaşi randament cu sursele extinse, în cazul fără memorie. Între sursele S1 şi S 2 ,
va emite mai multă informaţie cea cu distribuţie de probabilităţi cât mai uniformă,
adică sursa S1 .

7. Sursă extinsă, entropie maximă.

Să se calculeze entropia maximă a unui sistem dacă acesta este construit din:
a) două elemente, fiecare având câte două stări distincte;
b) patru elemente, fiecare având câte trei stări distincte;
c) trei elemente, fiecare având câte patru stări distincte.

Rezolvare
a) Dacă fiecare element are câte două stări posibile s1 şi s2, atunci pentru cele două
elemente pot exista patru situaţii. Starea sistemului va fi definită de combinaţia de
stări ale elementelor componente, ca în tabelul următor:
30 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
Starea sistemului Elementul 1 Elementul 2
1 s1 s1
2 s1 s2
3 s2 s1
4 s2 s2
Astfel, în calculul entropiei maxime vom ţine cont de numărul total de stări ale
sistemului:
H max (S1 ) = log 2 4 = 2 biţi/simbol.
b) Numărul de stări posibile ale sistemului este 34 . Deci:
H max ( S2 ) = log 2 34 = 4log 2 3 = 6.34 biţi/simbol.
c) Numărul de stări posibile ale sistemului este 43 . Deci:
H max (S3 ) = log 2 43 = 3log 2 4 = 6 biţi/simbol.

8. SDFM, SDCM, sursă extinsă, entropie, redundanţă.

Fie o sursă binară S, de alfabet S = {0,1} şi distribuţie p( S ) = 0.8, 0.2 . Să se
calculeze entropia, entropia maximă şi redundanţa pentru:
a) sursa primară S;
b) sursa secundară S 2 , dacă sursa S este fără memorie;
c) sursa secundară S 2 , dacă sursa S este cu memorie de ordin 1 (sursă Markov),
dependenţa dintre simboluri fiind dată de probabilităţile condiţionate
P(0 | 0) = 0.9 , P(0 |1) = 0.4 , P(1| 0) = 0.1 , P(1|1) = 0.6 .

Rezolvare
a) Pentru sursa primară S, calculăm entropia ca fiind:
H (S ) = −0.8log 2 0.8 − 0.2log 2 0.2 = 0.72 biţi/simbol.
Entropia maximă a sursei primare este:
H max (S ) = log 2 2 = 1 bit/simbol.
Redundanţa sursei primare este:
RS = H max (S ) − H (S ) = 0.28 biţi/simbol.
b) Sursa extinsă de ordinul 2, S 2,FM , a sursei primare S fără memorie, este descrisă
de alfabetul:
S 2 = 1 , 2 , 3 ,   = 00, 01,10,11 .
Deoarece simbolurile emise de sursă sunt independente (sursa este fără memorie),
atunci:
P(1 ) = P(00) = P(0)  P(0) = 0.8  0.8 = 0.64 ,
P(2 ) = P(01) = P(0)  P(1) = 0.8  0.2 = 0.16 ,
P(3 ) = P(10) = P(1)  P(0) = 0.2  0.8 = 0.16 ,
P(4 ) = P(11) = P(1)  P(1) = 0.2  0.2 = 0.04 .
1. Surse de informaţie 31
Entropia sursei S 2,FM este:
H ( S 2,FM ) = −0.64log 2 0.64 − 2  0.16log 2 0.16 − 0.04log 2 0.04 = 1.44 biţi/simbol,
entropia maximă este:
H max (S 2,FM ) = log 2 4 = 2 biţi/simbol,
iar redundanţa este:
RS 2,FM = H max ( S 2,FM ) − H (S 2,FM ) = 2 − 1.44 = 0.56 biţi/simbol.
Se observă că entropia, entropia maximă şi redundanţa sursei extinse de ordin 2
S 2,FM sunt duble faţă de entropia, entropia maximă şi redundanţa sursei primare S
fără memorie:
H (S 2,FM ) = 2  H (S ) ,
H max ( S 2,FM ) = 2  H max ( S ) ,
RS 2,FM = 2  RS .
c) Pentru sursa extinsă de ordin 2, S 2,CM , de alfabet
S = 1 , 2 , 3 ,   = 00, 01,10,11 , a sursei primare S cu memorie de ordin 1,
2

emiterea unui simbol depinde de emiterea simbolului precedent, probabilităţile

simbolurilor extinse fiind:
P(1 ) = P(00) = P(0)  P(0 | 0) = 0.8  0.9 = 0.72 ,
P(2 ) = P(01) = P(0)  P(1| 0) = 0.8  0.1 = 0.08 ,
P(3 ) = P(10) = P(1)  P(0 |1) = 0.2  0.4 = 0.08 ,
P(4 ) = P(11) = P(1)  P(1|1) = 0.2  0.6 = 0.12 .
În aceste condiţii, entropia sursei S 2,CM este:
H (S 2,CM ) = −0.72log 2 0.72 − 0.16log 2 0.08 − 0.12log 2 0.12 = 1.29 biţi/simbol,
entropia maximă este:
H max ( S 2,CM ) = log 2 4 = 2 biţi/simbol,
iar redundanţa este:
RS 2,CM = H max ( S 2,CM ) − H ( S 2,CM ) = 2 − 1.29 = 0.71 biţi/simbol.
Se observă că entropia sursei extinse cu memorie este mai mică decât entropia
sursei extinse fără memorie:
H (S 2,CM )  H (S 2, FM ) = 2  H (S ) ,
iar redundanţa sursei cu memorie este mai mare decât redundanţa sursei fără
memorie:
RS 2,CM  RS 2,FM = 2  RS .

9. Sursă Markov cu două stări, distribuţie de probabilităţi, staţionaritate, entropie,

entropie maximă.
Fie o sursă discretă cu memorie de ordinul 1 (sursă Markov), de alfabet S = s1 , s2  ,
având graful de tranziţii reprezentat în Fig. 1.4. Spunem că sursa se află în starea si ,
32 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
dacă emite simbolul si . Probabilităţile iniţiale ale celor două stări sunt egale, iar
probabilităţile de tranziţie dintr-o stare în alta P( s j | si ) = Pij sunt cele din Fig. 1.4.

P12 = 0.25

P11 = 0.75 s1 s2 P22 = 0.5

P21 = 0.5

Fig. 1.4. Graful de tranziţii al sursei Markov cu două stări.

a) Determinaţi distribuţia de probabilităţi de emitere a simbolurilor sursei după patru

tranziţii de la starea iniţială;
b) Cum trebuie modificate probabilităţile de tranziţie P21 şi P22 astfel încât sursa să
fie staţionară pentru orice moment de timp?
c) Calculaţi entropia sursei după ce a ajuns la staţionaritate, în condiţiile de la
punctul a);
d) În ce condiţii entropia sursei este maximă?

Rezolvare
a) Din graful de tranziţii, putem scrie matricea probabilităţilor de tranziţie:
 P P  0.75 0.25
P =  11 12  =  .
 P21 P22   0.5 0.5 
Dacă probabilităţile iniţiale ale sursei de a emite orice simbol sunt egale, atunci
distribuţia iniţială de probabilităţi este:
 0 = 0.5, 0.5 =  0.5 0.5 .
Distribuţia de probabilităţi de la momentul curent n se poate scrie în funcţie de
cea de la momentul anterior n-1 cu ajutorul relaţiei de recurenţă n = n−1P .
Particularizând pentru fiecare tranziţie până la n = 4 , obţinem:
0.75 0.25
1 =  0 P =  0.5 0.5   =  0.625 0.375 ;
 0.5 0.5 
0.75 0.25
 2 = 1P =  0.625 0.375   =  0.65625 0.34375 ;
 0.5 0.5 
0.75 0.25
3 =  2 P =  0.65625 0.34375   =  0.66406 0.33594 ;
 0.5 0.5 
0.75 0.25
 4 = 3P =  0.66406 0.33594   =  0.66602 0.33398 .
 0.5 0.5 
b) Dacă notăm P21 = p şi P22 = 1 − p atunci matricea P se scrie:
0.75 0.25 
P= .
 p 1− p
1. Surse de informaţie 33
Condiţia de staţionaritate cere ca distribuţia de probabilităţi la momentul n să fie
identică cu cea de la momentul n − 1 şi iterând pentru orice n obţinem:
 n =  n−1 = = 1 =  0 =  0.5 0.5 .
Din relaţia de recurenţă vom obţine valoarea probabilităţii p pentru condiţia de
staţionaritate:
0.75 0.25 
 n =  n −1P   0.5 0.5 =  0.5 0.5   
 p 1− p
0.5 = 0.5  0.75 + 0.5 p 1 = 0.75 + p
    p = 0.25 .
 0.5 = 0.5  0.25 + 0.5(1 − p) 0 = 0.25 − p
Deci, matricea de tranziţii pentru sursa staţionară este:
0.75 0.25
P= .
 0.25 0.75 
c) La punctul a) am calculat distribuţiile de probabilităţi ale sursei până la momentul
de timp 4. Se poate observa că de la acest moment de timp sursa intră într-un
regim de staţionaritate, astfel:
0.75 0.25
5 =  4 P =  0.66602 0.33398   =  0.666505 0.333495 ,
 0.5 0.5 
0.75 0.25
 6 = 5 P =  0.666505 0.333495   = 0.666626 0.333374  ,
 0.5 0.5 
distribuţia staţionară fiind la limită w =  2 / 3 1/ 3 . Astfel, impunând o anumită
precizie, de exemplu 10−3 , staţionaritatea este obţinută după ce sursa emite
primele cinci simboluri. În acest caz, entropia sursei este:
2 2 1 1
H ( S ) = − log 2 − log 2 = 0.918 biţi/simbol.
3 3 3 3
d) Entropia sursei este maximă dacă probabilităţile de emitere a celor două simboluri
sunt egale, adică pentru o distribuţie de probabilităţi 0.5, 0.5 . Această distribuţie
este obţinută în condiţiile de staţionaritate de la punctul b).

10. Sursă Markov cu patru stări, graf de tranziţii, distribuţie de probabilităţi,

staţionaritate, distribuţie de echilibru.
Un generator de tensiune poate fi reprezentat ca o sursă de informaţii S, descrisă de
alfabetul {-3 V, -1 V, 1 V, 3 V}, ce poate fi modelată printr-un lanţ Markov, având
matricea de tranziţii:
0.8 0.2 0 0
0 0 0.5 0.5
P=  .
0.5 0.5 0 0
 
0 0 0.2 0.8
a) Reprezentaţi evoluţia stărilor sursei cu ajutorul grafului de tranziţii;
b) Daţi un mesaj particular posibil a fi emis de sursă;
34 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
c) Daţi o succesiune de simboluri care nu poate fi un mesaj emis de sursă;
d) Dacă stările iniţiale sunt egal probabile, calculaţi distribuţia de probabilităţi ale
stărilor după generarea a patru niveluri de tensiune. Sursa este staţionară?
e) Determinaţi distribuţia de echilibru a sursei.

Rezolvare
a) Celor patru niveluri de tensiune {-3, -1, 1, 3} le atribuim patru stări diferite ce
formează mulţimea stărilor S = 1, 2,3, 4 . Graful de tranziţii al sursei este
reprezentat în Fig. 1.5., unde stările sunt reprezentate prin nodurile 1, 2,3, 4 , iar
pe arce sunt trecute probabilităţile de tranziţie dintr-o stare în alta.
0.8
1 out= -3 V
0.2
0.5
0.5
out= -1 V
2 3 out= 1 V
0.5
0.5
0.2
4 out= 3 V
0.8

Fig. 1.5. Graful de tranziţii al sursei Markov cu patru stări.

b) Un mesaj particular emis de sursă poate fi orice succesiune de stări prin care trece
sursa, plecând de la o stare iniţială dată, cu distribuţia de probabilităţi iniţială  0 .
Astfel, dacă presupunem că la momentul iniţial n = 0 , sursa se află în starea 2
(emite un nivel de tensiune -1 V), următoarele stări posibile pot fi 3, 2, 4, 4, 3, 1,
1, 1, 2, etc., corespunzătoare nivelurilor de tensiune 1 V, -1 V, 3 V, 3 V, 1 V, -3
V, -3 V, -3 V, -1 V, etc. Se observă că aceste tranziţii sunt efectuate conform
grafului de tranziţii.
c) O succesiune de simboluri care nu poate fi emisă de sursă este -3 V, -1 V, 1 V, 3 V,
-3 V, -1 V, 1 V, 3 V, -3 V, -1 V, etc. Această secvenţă de simboluri corespunde
unor “tranziţii imposibile” care au probabilitatea 0 în matricea de tranziţii.
d) Dacă stările iniţiale sunt echiprobabile, atunci distribuţia iniţială este:
 0 = ( 0.25, 0.25, 0.25, 0.25 ) .
După patru tranziţii, distribuţia de probabilităţi este:
 4 = 3P =  2 P 2 = 1P3 = 0 P 4 ,
unde matricele de tranziţii după două, trei şi patru tranziţii sunt:
1. Surse de informaţie 35
0.64 0.16 0.1 0.1 
0.25 0.25 0.1 0.4 
P2 = P  P =  ;
 0.4 0.1 0.25 0.25
 
 0.1 0.1 0.16 0.64 
0.562 0.178 0.1 0.16 
 0.25 0.1 0.205 0.445
P = P P =
3 2  ;
0.445 0.205 0.1 0.25 
 
 0.16 0.1 0.178 0.562
 0.4996 0.1624 0.1210 0.2170 
 0.3025 0.1525 0.1390 0.4060 
P = P P = 
4 3 .
 0.4060 0.1390 0.1525 0.3025 
 
 0.2170 0.1210 0.1624 0.4996 
Deci, distribuţia cerută va fi:
 
0.25  0.4996 0.1624 0.1210 0.2170  0.3563 
0.25  0.3025 0.1525 0.1390 0.4060  0.1437 
4 = 0P = 
4   =  .
0.25  0.4060 0.1390 0.1525 0.3025  0.1437 
     
0.25  0.2170 0.1210 0.1624 0.4996  0.3563 
Deoarece distribuţia  4 la momentul n = 4 nu este egală cu distribuţia iniţială
 0 , sursa nu este staţionară.
e) Distribuţia w de echilibru, ce asigură staţionaritatea sursei, se poate calcula din
relaţia:
0.8 0.2 0 0
0 0 0.5 0.5
w = wP   w0 w1 w2 w3   =  w0 w1 w2 w3  ,
0.5 0.5 0 0
 
0 0 0.2 0.8
de unde rezultă sistemul:
0.8w0 + 0.5w2 = w0 , 0.2w0 + 0.5w2 = w1 ,
 ,
0.5w1 + 0.2w3 = w2 , 0.5w1 + 0.8w3 = w3
şi ţinând cont de condiţia de normare w0 + w1 + w2 + w3 = 1 rezultă soluţia:
5 2 2 5
w =  w0 w1 w2 w3  =  .
14 14 14 14 

11. SDCM, entropie, entropie reunită, entropie condiţionată.

Fie o sursă binară S, modelată ca o secvenţă de trei variabile aleatorii S1 , S2 , S3 .
Mesaje posibil a fi emise sunt (0, 0, 0) , (0, 0,1) , (0,1,1) , (1, 0,1) şi (1,1,1) , fiecare
mesaj având probabilitatea reunită de apariţie 1/5. Determinaţi entropiile:
36 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
a) H (S1 ) , H ( S2 ) şi H (S3 ) ;
b) H (S1, S2 ) şi H (S1, S2 , S3 ) ;
c) H (S2 | S1 ) , H (S2 | S1 = 0) , H (S2 | S1 = 1) şi H (S3 | S2 , S1 ) .

Rezolvare
Conform enunţului problemei, sursa S poate emite doar cinci mesaje:
S1 S2 S3
0 0 0
0 0 1
0 1 1
1 0 1
1 1 1
În medie, sursa S1 emite simbolul 0 cu probabilitate 3/5, iar simbolul 1 cu
probabilitate 2/5. Analog pentru S 2 . Dar S3 emite simbolul 0 cu probabilitate 1/5, iar
simbolul 1 cu probabilitate 4/5. Din aceste motive, rezultă că v.a. S1 , S 2 şi S3 nu
sunt identic distribuite. De asemenea, datorită numărului de cinci mesaje transmise
dintr-un număr de opt mesaje posibile de lungime trei simboluri, condiţionările între
simboluri sunt foarte mari, sursa având o memorie de ordin 2.
a) Entropia H (S1 ) reprezintă cantitatea de informaţie generată de S1 :
3 3 2 2
H ( S1 ) = − log 2 − log 2 = 0.971 biţi/simbol.
5 5 5 5
Deoarece v.a. S1 nu are distribuţie uniformă, entropia nu este maximă. Analog
calculăm:
3 3 2 2
H ( S2 ) = − log 2 − log 2 = 0.971 biţi/simbol.
5 5 5 5
1 1 4 4
H ( S3 ) = − log 2 − log 2 = 0.722 biţi/simbol.
5 5 5 5
b) Entropia reunită H (S1, S2 ) descrie conţinutul de informaţie comună a v.a. S1 şi S 2 .
Probabilităţile reunite sunt:
P ( S1 = 0, S2 = 0 ) = 2 / 5 ,
P ( S1 = 0, S2 = 1) = 1/ 5 ,
P ( S1 = 1, S2 = 0 ) = 1/ 5 ,
P ( S1 = 1, S2 = 1) = 1/ 5 .
Astfel:
2 2 1 1
H ( S1 , S2 ) = − log 2 − 3  log 2 = 1.922 biţi/simbol.
5 5 5 5
Analog:
1 1
H ( S1 , S2 , S3 ) = −5  log 2 = 2.322 biţi/simbol.
5 5
1. Surse de informaţie 37
c) Entropia condiţionată H (S2 | S1 ) descrie conţinutul de informaţie din S 2 dacă S1
este cunoscută:
H (S2 | S1 ) = H (S1, S2 ) − H (S1 ) = 1.922 − 0.971 = 0.951 biţi/simbol.
Entropia condiţionată H (S2 | S1 = 0) descrie conţinutul de informaţie din S 2 dacă
S1 a emis simbolul 0. Pentru a calcula această entropie avem nevoie de
probabilităţile condiţionate:
P(S2 = 0 | S1 = 0) = 2 / 3 ,
P(S2 = 1| S1 = 0) = 1/ 3 ,
rezultând entropia condiţionată:
2 2 1 1
H ( S2 | S1 = 0) = − log 2 − log 2 = 0.918 biţi/simbol.
3 3 3 3
Entropia condiţionată H (S2 | S1 = 1) descrie conţinutul de informaţie din S 2 dacă
S1 a emis simbolul 1:
1 1 1 1
H ( S2 | S1 = 1) = − log 2 − log 2 = 1 bit/simbol,
2 2 2 2
unde probabilităţile condiţionate sunt:
P(S2 = 0 | S1 = 1) = 1/ 2 ,
P(S2 = 1| S1 = 1) = 1/ 2 .
Valoarea entropiei egală cu unu înseamnă că datorită lui S1 = 1 , nu există nicio
cunoaştere despre S 2 şi astfel v.a. S 2 are entropie maximă.
Entropia condiţionată H (S3 | S2 , S1 ) descrie conţinutul de informaţie din S3 ,
dacă S 2 şi S1 sunt deja cunoscute:
H (S3 | S2 , S1 ) = H (S1, S2 , S3 ) − H (S1, S2 ) = 2.322 −1.922 = 0.4 biţi/simbol.

12. Lanţ Markov, diagrama informaţională.

Fie o sursă binară S, de alfabet S = {0,1} şi distribuţie de probabilităţi
p( S ) = { p,1 − p} , care poate emite la momente succesive de timp v.a. identic
distribuite S1 , S2 , , Sn .
a) Presupunând că S1 → S2 → S3 formează un lanţ Markov, în această ordine, să se
ilustreze diagrama informaţională, marcând următoarele relaţii:
1. I ( S1 , S2 ) = I ( S1 , ( S2 , S3 ) ) ,
2. H (S1 | S2 ) = H (S1 | S2 , S3 ) ,
3. H (S1 , S2 )  H (S1 | S3 ) ;
b) Presupunând că sursa are memorie de ordin 3 şi că S1 → S2 → S3 → → Sn
formează un lanţ Markov, să se reprezinte diagrama informaţională.
38 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
Rezolvare
a) Entropia unei v.a. Si caracterizată de distribuţia de probabilităţi p( S ) = { p,1 − p}
la momentul de timp i este H (Si ) = p log 2 p + (1 − p) log 2 (1 − p) . Dacă S1 , S2 , S3
sunt trei v.a. definite la momente diferite de timp şi dacă acestea formează un lanţ
Markov S1 → S2 → S3 , atunci diagrama transferului de informaţie se poate
reprezenta ca în Fig. 1.6, în care fiecare “clopot” reprezintă entropia unei v.a. Si .
Deoarece v.a. sunt identic distribuite, au aceeaşi distribuţie p( S ) şi implicit
aceeaşi entropie, astfel că entropiile (ariile) H (S1 ) , H (S2 ) şi H (S3 ) sunt egale.

S1 S2 S3

H ( S2 ) I (S1 , S2 )

H (S1 )
H (S2 , S3 )
H (S3 )

Fig. 1.6. Ilustrarea relaţiei 1 pe diagrama informaţională a unui lanţ Markov.

Pentru relaţia 1, informaţia mutuală I (S1 , S2 ) este aria comună dintre H (S1 ) şi
H (S2 ) , haşurată cu linii verticale, vezi Fig. 1.6. Informaţia mutuală
I ( S1 , ( S2 , S3 ) ) reprezintă cantitatea de informaţie comună v.a. S1 de entropie
H (S1 ) (“clopotul” din stânga) şi perechii de v.a. (S2 , S3 ) de entropie H (S2 , S3 ) ,
haşurată cu linii orizontale. Informaţia comună va fi intersecţia dintre H (S1 ) şi
H (S2 , S3 ) , egalitatea I ( S1 , S2 ) = I ( S1 , ( S2 , S3 ) ) fiind îndeplinită.
Pentru relaţia 2, entropia condiţionată H (S1 | S2 ) este ilustrată cu linii
verticale în Fig. 1.7, aria fiind egală cu H (S1 , S2 ) − H (S2 ) . Entropia condiţionată
H (S1 | S2 , S3 ) va fi aria dată de H (S1 ) din care scădem aria comună dintre H (S1 )
şi H (S2 , S3 ) , rezultând aria haşurată orizontal, deci H (S1 | S2 ) = H (S1 | S2 , S3 ) .
De asemenea, mai putem scrie H (S1 | S2 , S3 ) = H (S1 , S2 , S3 ) − H (S2 , S3 ) .

S1 S2 S3

H ( S2 ) H (S1 | S2 )

H (S1 )
H (S2 , S3 )
H (S3 )

Fig. 1.7. Ilustrarea relaţiei 2 pe diagrama informaţională a unui lanţ Markov.

1. Surse de informaţie 39
Pentru relaţia 3, entropia condiţionată H (S1 | S2 ) este ilustrată în Fig. 1.8 cu linii
verticale, iar entropia condiţionată H ( S1 | S3 ) cu linii orizontale şi evident
H (S1 | S2 )  H (S1 | S3 ) .

S1 S2 S3
H (S1 | S2 )

H (S1 )
H ( S1 | S3 )
H (S3 )

Fig. 1.8. Ilustrarea relaţiei 3 pe diagrama informaţională a unui lanţ Markov.

b) Dacă sursa are memorie de ordin 3, atunci probabilitatea de emitere a unui simbol
sn depinde numai de trei simboluri anterioare:
P(sn | sn−1 , , s2 , s1 ) = P(sn | sn−1 , sn−2 , sn−3 ) , pentru n  3 ,
rezultând relaţia pentru entropii condiţionate:
H (Sn | Sn−1 , , S2 , S1 ) = H (Sn | Sn−1, Sn−2 , Sn−3 ) , pentru n  3 .
Diagrama informaţională pentru lanţul Markov S1 → S2 → → Sn , cu memorie
de ordin 3 este ilustrată în Fig. 1.9.

S1 S2 S3 S4 S5 S6 Sn−1 S n

Fig. 1.9. Diagrama informaţională a unui lanţ Markov cu memorie de ordin 3.

Definind axa de timp pe diagrama informaţională, putem pune în evidenţă faptul

că pentru sursa cu memorie de ordin 3, entropia H (Sn ) nu se intersectează cu
H (Sn−4 ) pentru orice n  3 . De asemenea, informaţia mutuală dintre S5 şi S1
este I (S5 , S1 ) = 0 . Analog, I (S6 , S2 ) = I (S7 , S3 ) = = I (Sn+4 , Sn ) = 0 .
De fapt, orice informaţie mutuală I (Sn , Sn+m ) = 0 , pentru m  3 .

13. Regula lanţului, entropii reunite, entropii condiţionate.

Fie v.a. discrete S1 , S2 , , Sn identic distribuite, descrise de distribuţia reunită de
probabilităţi P(s1 , s2 , , sn ) , care modelează simbolurile emise de o sursă de
informaţii S la n momente succesive de timp.
40 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
Demonstraţi regula lanţului pentru entropii:
n
H ( S1 , S2 , , Sn ) =  H ( Si | Si −1 , , S2 , S1 ) .
i =1

Rezolvare
Pentru început, observăm că distribuţia reunită de probabilităţi poate fi scrisă în
funcţie de distribuţiile condiţionate:
P(s1 , s2 , , sn ) = P(s1 ) P(s2 | s1 ) P(s3 | s2 , s1 ) P(s4 | s3 , s2 , s1 )   P(sn | sn−1, , s2 , s1 ) .
Prin definiţie, entropia reunită a acestor n v.a. este dată de:
H ( S1 , S2 , , Sn ) = −  P( s j1 , s j2 , , s jn ) log P( s j1 , s j2 , , s jn ) .
j1 j2 jn

Din proprietăţile logaritmului (logaritmul produsului este sumă de logaritmi) avem:

H ( S1 , S 2 , , S n ) =   P( s j1 , s j2 , , s jn ) log P( s j1 ) −
j1 j2 jn

−   P( s j1 , s j2 , , s jn ) log P( s j2 | s j1 ) −
j1 j2 jn

−   P( s j1 , s j2 , , s jn ) log P( s jn | s jn−1 , , s j2 , s j1 ).
j1 j2 jn

Deoarece distribuţia de probabilităţi a unei v.a. Si se poate scrie ca o sumă după toţi
indicii diferiţi de ji din distribuţia reunită, obţinem:
H ( S1 , S 2 , , S n ) = −  P( s j1 ) log P( s j1 ) −  P( s j1 , s j2 ) log P( s j2 | x j1 ) −
j1 j1 j2

−   P( s j1 , s j2 , , s jn ) log P( s jn | s jn−1 , , s j2 , s j1 )
j1 j2 jn

= H ( S1 ) + H ( S2 | S1 ) + H ( S3 | S 2 , S1 ) + + H ( S n | S n −1 , , S 2 , S1 )
=  H ( Si | Si −1 , , S2 , S1 ).
i

14. Sursă continuă cu distribuţie uniformă, gaussiană, entropie diferenţială.

Calculaţi entropia diferenţială a unei surse continue de informaţii fără memorie dacă
sursa emite simboluri cu distribuţie:
a) uniformă în intervalul (a, b) ;
b) gaussiană, de medie  şi dispersie  2 ;
Puteţi compara entropiile diferenţiale obţinute în cele două cazuri anterioare?

Rezolvare
a) F.d.p. pentru distribuţia uniformă în intervalul (a, b) , este:
1 (b − a) , a  x  b
p( x) =  ,
 0, altfel
iar entropia diferenţială este:
1. Surse de informaţie 41
 b
1 1
h( X unif ) = −  p ( x) log 2 p( x)dx = −  log 2 dx
− a
b−a b−a
log 2 ( b − a ) b
=   dx = log 2 ( b − a ) .
b−a a

Observaţie: Pentru 0  b − a  1 entropia diferenţială poate lua şi valori negative,

spre deosebire de entropia unei v.a. discrete care este doar pozitivă.
b) F.d.p. pentru distribuţia gaussiană de medie  şi dispersie  2 are expresia:
1  ( x − ) 2 
p ( x) = exp  − .
22  22 
Entropia diferenţială se poate calcula astfel:
 
 1  ( x − ) 2  
h( X gauss ) = −  p( x) log 2 p( x)dx = −  p( x) log 2  exp  −   dx.
− −  2  2
 2 2

Termenul log 2   se poate descompune după cum urmează:
 1  ( x − ) 2   1   ( x − ) 2  
log 2  exp  −  = log + log 2  exp − 
 22  
2 2
 2  2
 2   2  2
 
1 1   ( x − ) 2  
= log 2 + ln exp  − 
22 ln 2   22  
1 1 ( x − ) 2
= log 2 −  .
22 ln 2 2
2

Entropia diferenţială devine:


 1  
1 ( x − ) 2
h( X gauss ) = −  p( x) log 2   dx +  p( x)   dx
−  2 
2
−
ln 2 22
 1   1

= − log 2   
 p ( x ) dx +   x 2 p ( x)dx
 2
2
 − 2 ln 2 −
2

1 2
 
2 2
−  
22 ln 2 −
xp ( x ) dx +   p( x)dx
22 ln 2 −
 1

 2  2 2
= log 2 ( 22 ) + 2 2 − 2
1
+ 2
2 2 ln 2 2 ln 2 2 ln 2
 − 2 1 2
= log 2 ( 22 ) + 2 2 = log 2 ( 22 ) + 2
1
2 2 ln 2 2 2 ln 2
= log 2 ( 22 ) + log 2 e = log 2 ( 22 e ) .
1 1 1
2 2 2
 
Observaţia 1: Integralele  =  xp( x)dx şi  2 =  x 2 p( x)dx reprezintă media de
− −
ordin 1 (valoarea medie), respectiv media de ordin 2 a v.a. continue X, având f.d.p.
42 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
p( x) . Cunoscând aceste două medii, dispersia se calculează ca fiind media de ordin 2

centrată, adică 2 =  ( x − ) 2 p( x)dx =  2 −  2 .
−
Observaţia 2: Din relaţia calculată anterior a rezultat că entropia diferenţială a
sursei cu distribuţie gaussiană de medie  şi dispersie  2 este

h( X gauss ) = log 2 ( 22 e ) , adică entropia diferenţială nu depinde de media  .

1
2
Observaţia 3: Pentru a putea compara cele două entropii diferenţiale, trebuie ca şi
prima entropie, pentru distribuţia uniformă, să fie descrisă în termenii valorilor medii.
Astfel, calculăm media de ordin 1:
 b
b2 − a 2 b + a
b
1 1 x2
 =  xp( x)dx =
b − a a
xdx =  = = ,
−
b−a 2 a
2(b − a) 2
media de ordin 2:
 b
b3 − a 3 b 2 + ab + a 2
b
1 1 x3
 2 =  x p( x)dx =
b − a a
2
x 2
dx =  = = .
−
b − a 3 a 3(b − a) 3
Conform observaţiei 1, dispersia este:
b 2 + ab + a 2  b + a  (b − a ) 2
2

2 =  2 −  2 = −  = .
3  2  12
În aceste condiţii, entropia h( X unif ) se poate scrie:
ba
h( X unif ) = log 2 ( b − a ) = log 2 122 .
Se observă că şi această entropie diferenţială se poate scrie în funcţie numai de
dispersie, observaţia 2 fiind valabilă şi pentru distribuţia uniformă.
Comparând entropiile diferenţiale pentru distribuţia uniformă şi pentru distribuţia
gaussiană se observă că în al doilea caz, entropia este mai mare:
log 2 ( 22 e ) = h( X gauss ) .
1
h( X unif ) = log 2 122 
2
Generalizând şi pentru alte distribuţii (Rayleigh, Rician), se poate arăta că entropia
diferenţială în cazul distribuţiei gaussiene ia valori maxime. Datorită acestei proprietăţi
modelul canalului gaussian este des folosit în studiul sistemelor de comunicaţii.

1.7. Probleme propuse

15. Inegalităţi între entropii.
Fie trei variabile aleatorii X1 , X 2 şi X 3 între care există o dependenţă statistică.
Demonstraţi următoarele inegalităţi şi precizaţi condiţiile pentru egalitate:
a) H ( X1 , X 2 | X 3 )  H ( X1 | X 3 ) ;
b) H ( X1 , X 2 , X 3 ) − H ( X1 , X 2 )  H ( X1 , X 3 ) − H ( X1 ) ;
c) Ilustraţi prin diagrame informaţionale relaţiile de mai sus.
1. Surse de informaţie 43
16. Entropia unei sume de v.a.
Fie două variabile aleatorii discrete X 1 şi X 2 . Pe baza acestora se defineşte o altă
variabilă aleatorie X 3 = X1 + X 2 . Demonstraţi următoarele inegalităţi şi precizaţi
condiţiile pentru egalitate:
a) H ( X 3 )  H ( X1 ) + H ( X 2 ) ;
b) H ( X 3 )  H ( X1 ) şi H ( X 3 )  H ( X 2 ) ;
c) H ( X 3 | X1 ) = H ( X 2 | X1 ) .

17. Sursă primară, sursă extinsă, caracterizare informaţională.

Fie o sursă discretă S, de alfabet S = a, b, c şi distribuţie de probabilităţi
p( S ) = 0.7, 0.2, 0.1 . Presupunând că sursa este fără memorie, realizaţi caracterizarea
informaţională şi comentaţi rezultatele pentru:
a) sursa S;
b) sursa extinsă de ordin 2, S 2 ;
c) sursa extinsă de ordin 3, S 3 .
d) Repetaţi punctele anterioare dacă sursa S este cu memorie de ordin 1 (sursă
Markov), dependenţa dintre simboluri fiind dată de matricea de tranziţii:
 0.1 0.6 0.3
P =  0.3 0.1 0.6  .
0.6 0.3 0.1

18. Sursă primară, informaţie proprie, entropie.

Se consideră o mulţime de 12 monede, dintre care una este „falsă” (mai grea sau mai
uşoară decât celelalte), iar restul au aceeaşi greutate. Utilizând o balanţă fără greutăţi
se doreşte să se găsească moneda „falsă”. Determinaţi:
a) numărul minim de cântăriri;
b) modul de împărţire a monedelor la fiecare cântărire.

19. Sursă primară, debit de informaţie, redundanţă.

Fie o sursă de informaţie reprezentată de monitorul unui calculator. Imaginea este de
rezoluţie 800 x 600 pixeli, iar intensităţile pixelilor sunt independente şi cuantizate în
256 niveluri de gri echiprobabile. Rata de afişare a imaginilor pe ecran este de 60 Hz
(60 de imagini pe secundă), imaginile fiind independente între ele.
a) Să se calculeze debitul de informaţie al sursei de informaţie;
b) Care este redundanţa sursei dacă pixelii au intensitate mai deschisă (pixelii au
intensitatea în primele 128 niveluri de cuantizare echiprobabile) cu probabilitate
0.3 şi intensitate mai închisă (în următoarele 128 niveluri de cuantizare
echiprobabile) cu probabilitate 0.7?

20. Sursă discretă modelată ca o secvenţă de v.a. i.i.d., entropii reunite.

Fie secvenţa de v.a. independente şi identic distribuite (i.i.d.) S1 , S2 , , Sn emise de o
sursă discretă de informaţii S, de alfabet S = 0,1 şi distribuţie de probabilităţi
44 TEORIA INFORMAŢIEI ŞI A CODURILOR. APLICAŢII
p( S ) = 0.5, 0.5 . La momentul de timp n, sursa S n emite simbolul 1 dacă 
n −1
i =1
Si
este impară, altfel emite simbolul 0.
a) Arătaţi că Si şi S j sunt independente pentru i  j , i, j {1, 2, , n} ;
b) Calculaţi H ( Si , S j ) , pentru i  j ;
c) Calculaţi H (S1 , S2 , , Sn ) . Valoarea determinată este egală cu n  H (S1 ) ?

21. Sursă continuă modelată ca o secvenţă de v.a. i.i.d., entropie diferenţială.

Fie secvenţa de v.a. independente S1 , S2 , , Sn emise de o sursă continuă de
informaţii S, cu distribuţie gaussiană de medie i şi dispersie i2 , pentru i = 1, 2, ,n.
a) Arătaţi că entropia diferenţială a sursei S este:

h( S ) =
n
2
(
 log 2 2 e n 1222 )
n2 .

b) Cum se simplifică h( S ) dacă dispersiile sunt egale (v.a. S1 , S2 , , Sn sunt i.i.d.)?

22. Rata entropiei, lanţ Markov.

Un lanţ Markov cu două stări este descris de matricea de tranziţii:
1 − P1 P1 
P= .
 P2 1 − P2 
a) Determinaţi rata entropiei pentru lanţul Markov;
b) Pentru ce valori P1 , P2 rata entropiei lanţului este maximă şi care este această
valoare?
c) Repetaţi punctele a) şi b) dacă P1 = 1 .