CAPITOLUL 1

SURSE DISCRETE DE INFORMAIE

1.1. Model matematic de surs discret, complet i

fr memorie
n general, prin surs de informaie se nelege mecanismul
prin care, din mulimea mesajelor sursei se alege, ntr-un mod
imprevizibil pentru destinatar, un anumit mesaj pentru a fi
transmis.
Modelul matematic al unei astfel de surse se poate identifica
cu un experiment S ale crui rezultate pun n eviden un numr
finit de evenimente elementare independente, notate cu s1 , s2 ,..., sn ,
avnd asociate probabilitile de realizare p ( s1 ) , p ( s2 ) ,..., respectiv
p ( sn ) . Experimentul S formeaz un sistem complet de evenimente,

dac la efectuarea acestuia cu certitudine se realizeaz unul din

evenimente. Cu alte cuvinte, dac 0 p ( sk ) 1 , oricare ar fi
k = 1, n , atunci are loc relaia
s1 s2 ... sn = E

(1.1)

unde E este evenimentul sigur. Dac evenimentele si sunt

disjuncte, atunci:
18

p ( s1 s2 ... sn ) = p ( sk ) = p ( E ) = 1

(1.1)

k =1

n felul acesta, experimentul S poate fi descris de cmpul

de probabilitate caracterizat prin distribuia
...
sj
...
sn
s1
(1.2)
S :

p ( s1 ) ... p( s j ) ... p ( sn )
Sursa de informaie caracterizat prin experimentul S sau cmpul
de probabilitate cu distribuia dat de (1.2) se va numi discret, dac
furnizeaz un numr finit de mesaje s j , j = 1, n .
Sursa de informaie se va numi complet, dac este
ndeplinita relaia (1.1).
Sursa de informaie se va numi fr memorie, dac furnizarea
unui mesaj la un moment dat nu depinde de mesajele furnizate
anterior.
Deoarece informaia i gradul de nedeterminare pot avea
aceeai msur, iar gradul de nedeterminare este o funcie de
probabilitatea de realizare a evenimentului (mesajului), se poate
considera c informaia ataat (asociat) unui mesaj sk , notat cu
i ( sk ) este, de asemenea, o funcie de probabilitatea p( sk ) , cu care

acesta este furnizat, adic

i ( sk ) = F [ p( sk )]

(1.3)

unde F este o funcie ce urmeaz a fi determinata.

Evident, funcia F este monoton descresctoare, deoarece cu ct
probabilitatea de furnizare a mesajului sk este mai mare, cu att
nedeterminarea asupra mesajului este mai mic i, deci, i informaia
ataat acestui mesaj va fi mai mic (Fig. 1.1).

19

Fig. 1.1. Reprezentarea grafic a informaiei

La limit, cnd p ( sk ) = 1 , rezult c se cunoate cu certitudine

c sursa va furniza mesajul sk i, deci, informaia obinut la
furnizarea mesajului sk este nul.
Cnd

p ( sk ) = 0 , rezult c sursa nu va furniza niciodat

mesajul sk i, deci, neexistnd nici o nedeterminare asupra

furnizrii sau nefurnizrii acestui mesaj, informaia ataat acestuia
este, i n acest caz, nul (vezi punctul din origine).
n scopul determinrii funciei F, se consider o surs discret,
complet i fr memorie, caracterizat de distribuia (1.2).
Fie i ( sk s j ) informaia care s-ar obine la furnizarea

mesajului sk i a mesajului s j . Daca probabilitatea evenimentului

de furnizare a mesajului sk i a mesajului s j este p ( sk s j ) ,
conform relaie (1.3), se poate scrie
i ( sk s j ) = F p ( sk s j )

(1.4)

Sursa de informaie fiind presupus fr memorie, rezult c

mesajele sk i s j sunt independente i, deci, probabilitatea interseciei
celor dou evenimente (mesaje) devine
20

p ( sk s j ) = p ( sk ) p ( s j )

(1.5)

Pe de alt parte, cele dou mesaje fiind independente, informaia

obinut la furnizarea lor va fi egal cu suma informaiilor ataate
celor dou mesaje, adic
i ( sk s j ) = i ( sk ) + i ( s j )

(1.6)

innd cont de relaiile (1.3), (1.4) i (1.5), din (1.6) rezult ecuaia
funcional
F p ( sk ) p ( s j ) = F p ( sk ) + F p ( s j )

(1.7)

Ecuaia funcional (1.7) este satisfcut, evident, de funcia

F [ p ( sk ) ] = C log p ( sk )

(1.8)

unde constanta C se va determina odat cu adoptarea unitii de

msur pentru informaie.
Prin definiie, se consider c se obine o unitate de
informaie, atunci cnd o surs discret, complet i fr memorie
poate furniza numai dou mesaje echiprobabile.
Considernd n relaia (1.8) logaritmul n baza doi i innd
cont de definiia unitii de msur a informaiei, se poate scrie
1
(1.9)
i ( sk ) = F p ( sk ) = C log 2 = C = 1
2
Unitatea de informaie astfel definit se numete bit. Din
(1.9) rezult c C = -l i, deci, se poate scrie, n general, c informaia
ataat mesajului sk, furnizat cu probabilitatea p ( sk ) , se determin cu
relaia
i ( sk ) = log 2 p ( sk ) <bii>

(1.10)

Considerndu-se din nou sursa discret, complet i fr

memorie caracterizat de distribuia (1.2), informaiile i ( sk ) ataate
21

mesajelor sk , k = 1, n , conform relaiei (1.10), determin o variabil

aleatoare discret, a crei valoare medie statistic, prin definiie, se
numete entropia sursei respective i va fi notat n continuare cu
H(S). Se poate, deci, scrie relaia
n

H ( S ) = i ( sk ) = p ( sk ) i ( sk )

(1.11)

k =1

unde

i ( sk )

reprezint valoarea medie statistic

a variabilei

aleatoare discrete i ( sk ) .
nlocuind (1.10) n (1.11), rezult
n

H ( S ) = p ( sk ) log 2 p ( sk ) <
k =1

bii
>
mesaj

(1.12)

Din punct de vedere fizic, entropia definit cu relaia (1.12)

msoar informaia medie pe mesaj, respectiv nedeterminarea medie
a sursei respective. In scopul simplificrii scrierii, n cele ce urmeaz,
se va considera c logaritmii sunt n baza doi, fr a mai specifica
acest lucru.
Dac se noteaz cu k , k = 1, n , duratele de transmitere a
mesajelor sk de ctre sursa S, caracterizat de distribuia (1.2), atunci
durata medie de transmitere a unui mesaj se determin cu relaia
n

= p ( sk ) k <secunde>

(1.13)

k =1

Prin definiie, se numete debit de informaie al unei

surse discrete, complete i fr memorie, raportul dintre entropia
sursei i durata medie de transmitere a unui mesaj. Notnd cu H ( S )
debitul unei astfel de surse, se poate scrie
H ( S ) =

H (S )

<

bii
>
mesajsecunda
22

(1.14)

1.2. Principalele proprieti ale entropiei

1. Din relaia (1.12) rezult c entropia este nenegativ, adic
H (S ) 0
(1.15)
2. Prin diversificarea unei surse, entropia crete.
ntr-adevr, fie sursa discret, complet i fr memorie
caracterizat de distribuia (1.2). Fr a micora generalitatea, se
presupune c mesajul sn poate fi diversificat n alte m mesaje
disjuncte, adic
sn = y1 y2 ... ym

(1.16)

Dac p ( y1 ) , p ( y2 ) ,..., p ( ym ) sunt probabilitile de furnizare ale

mesajelor y1 , y2 ,..., ym , atunci distribuia sursei diversificate este
...
s
Sd : 1
p( s1 ) ...

sn1
p( sn1 )

y1
...
p( y1 ) ...

ym
p ( ym )

(1.17)

iar
m

p ( sn ) = p ( y j )

(1.18)

j =1

Conform relaiei (1.12), entropia sursei diversificate se

poate calcula cu relaia
n 1

k =1

j =1

H ( Sd ) = p ( sk ) log p ( sk ) p ( y j ) log p ( y j )

(1.19)

sau
n

k =1

j =1

H ( Sd ) = p ( sk ) log p ( sk ) + p ( sn ) log p ( sn ) p ( y j ) log p ( y j )

innd cont de relaiile (1.12) i (1.18), relaia anterioar devine
23

p( yj )

H ( S d ) = H ( S ) p ( sn )

p ( sn )

j =1

Deoarece
0

p( yj )

log

p( yj )
p ( sn )

(1.20)

(1.21)

p( y )
p(s ) =1,

(1.22)

j =1

rezult c
m

j =1

p ( sn )

p( yj )
p ( sn )

log

p( yj )
p ( sn )

(1.23)

Din (1.20) i (1.23) rezult ce trebuia demonstrat, adic

H ( Sd ) H ( S )

(1.24)

3. Entropia unei surse discrete, complete i fr memorie i

atinge valoarea maxim, atunci cnd mesajele sunt furnizate
echiprobabil.
ntr-adevr, fie sursa discret, complet i fr memorie
caracterizat de distribuia (1.2), pentru care exist relaia de
legtur (1.1). Pentru a determina extremul entropiei acestei surse,
se va folosi metoda multiplicatorilor lui Lagrange (sau extremul cu
legturi). Pentru aceasta, se definete funcia.
n

p ( sk ) = H ( s ) + p ( sk ) 1
k =1

(1.25)

unde este multiplicatorul lui Lagrange. Funcia p ( sk )

i atinge extremul odat cu funcia H(S).
Condiia necesar de extrem este

24

 p ( sk )
p ( sk )

=0

() k = 1, n

(1.26)

nlocuind (1.12) n (1.25), relaia (1.26) devine

log p ( sk ) log e + = 0, () k = 1, n

(1.27)

de unde rezult
p ( sk ) = 2 log e , ()k = 1, n

(1.28)

nlocuind (1.28) in (1.1), rezult

n ( 2 log e ) = 1

(1.29)

de unde se obine
e
n
innd cont de (1.30), relaia (1.28) devine

= log

1
p ( sk ) = ,
n

(1.30)

()k = 1, n

(1.31)

Din (1.31) rezulta c extremul funciei p ( sk ) , deci i a entropiei

H(S), se obine atunci cnd mesajele sunt furnizate echiprobabil.
Valoarea acestui extrem se obine nlocuind (1.31) n (1.12), adic
H (S )

p ( sk ) =

1
n

= p ( sk ) log p ( sk )
k =1

p ( sk ) =

1
n

= log n

(1.32)

Pentru a arata c extremul astfel obinut este un maxim, se poate

demonstra uor c
H ( S ) log n
(1.33)
sau, echivalent, c

H ( S ) log n 0

ntr-adevr,

25

(1.34)

H ( S ) log n = p ( sk ) log p ( sk ) log n =

k =1

1
p ( s ) log p ( s ) log n p ( s ) =
k =1

k =1

(1.35)

n
1
1
= p ( sk ) log
log n = p ( sk ) log
p ( sk )
n p ( sk )
k =1

k =1

Pe de alt parte, este binecunoscut inegalitatea

ln z z 1, z > 0 ,

(1.36)

a crei reprezentare grafic este dat n Fig. 1.2.

Figura 1.2 Reprezentarea grafic a inegalitii 1.36

innd cont de 1.36 i notnd z =

n

1
, relaia (1.35) devine
n p ( sk )

1
1
k =1 n p ( sk )

H ( S ) log n log e

sau, echivalent,
26

(1.37)

(1.38)
H ( S ) log n log e 1 p ( sk ) = 0
k =1

ceea ce demonstreaz relaia (1.34).

Prin definiie, se numete redundan absolut a unei
surse, diferena dintre valoarea maxim a entropiei acesteia i
valoarea ei real. Notnd cu RS , redundana absolut, conform

definiiei, se poate scrie

RS = H max ( S ) H ( S )

(1.39)

Prin definiie, se numete redundan relativ a unei

surse, i se va nota cu S raportul dintre redundana absolut i
valoarea maxim a entropiei, adic
RS
H (S )
S =
= 1
,
H max ( S )
H max ( S )

(1.40)

Prin definiie, se numete eficiena unei surse, i va fi

notat cu s, raportul dintre entropia sursei i valoarea maxim a
acesteia, adic

S =

H (S )
,
H max ( S )

(1.41)

Din (1.40) i (1.41) , rezult

S = 1 S

(1.42)

Pentru fixarea ideilor, se presupune o surs discret,

complet i fr memorie, caracterizat de distribuia
s2
s
S : 1
(1.43)
, 0 p 1
p 1 p
Entropia acestei surse se calculeaz cu relaia
H ( S ) = p log p (1 p ) log (1 p ) = H ( p )
Deoarece
27

(1.44)

lim [ x log x ] = 0
x 0

(1.45)

prin convenie, se va considera c

0 log 0 = 0

(1.46)

innd cont de (1.46), rezult

H ( 0 ) = H (1) = 0

(1.47)

Interpretarea fizic a rezultatelor date de relaia (1.47) este

urmtoarea: cnd p=0, rezult cu certitudine c sursa va furniza
mesajul s2 i, deci, neexitnd nici o incertitudine, H ( 0 ) = 0 ; cnd
p=1, rezult cu certitudine c sursa va furniza mesajul s1 i, deci,
H (1) = 0 .

Valoarea maxim a entropiei se obine atunci cnd

1
bit
p = 1 p p = i H max ( S ) = 1
2
mesaj

(1.48)

Reprezentarea grafic a entropiei H ( p ) , conform relaiei (1.44),

este dat n Fig. 1.3.

Fig. 1.3. Reprezentarea grafic a entropiei date de relaia (1.44)

28

1.3. Model matematic de surs discret, complet i

fr memorie extins
n multe modele de surse de informaie este util a se
considera c sursa furnizeaz grupe de mesaje i nu mesaje
individuale. n general, extensia de ordinul m a unei surse discrete,
complete i fr memorie se obine formnd mesaje compuse, k ,
din succesiuni de m mesaje ale sursei iniiale, n toate combinaiile
posibile. Numrul de mesaje compuse al unei astfel de surse extinse
este egal cu n m , deoarece fiecare mesaj compus este format dintr-o
succesiune de m mesaje, iar fiecare mesaj poate fi oricare din cele n
posibile. Extensia unei surse discrete, complete i fr memorie
determin o nou surs discret, complet i fr memorie, cu
probabilitatea fiecrui mesaj compus egal cu produsul
probabilitilor mesajelor componente, deoarece mesajul compus
reprezint o intersecie de evenimente independente.
Pentru calcularea entropiei extensiei unei surse discrete,
complete i fr memorie se va folosi metoda induciei matematice.
Fie sursa discret, complet i fr memorie, cu distribuia
(1.2). Extensia de ordinul doi a acesteia, notat cu S2, va furniza n2
mesaje compuse, k de forma

1 s1s1 n+1 s2 s1

2 s1s2 n+ 2 s2 s2
..........................
n s1sn 2 n s2 sn

n +1

sn s1

n+ 2

sn s2

n sn sn
2

Entropia acestei surse, notat cu H ( S 2 ) , se va calcula cu

relaia clasic
29

H (S

n2

) = p ( ) log p ( ) ,
k

mesaj

compus

k =1

Considernd

un

p ( k ) = p( si ) p ( s j ); i, j = 1, n ,

relaia

(l.49)

(l .49)

k = s1s j ,
se

poate

cu

scrie,

echivalent, sub forma

n

H ( S 2 ) = p ( si ) p ( s j ) log p ( si ) p ( s j ) =
i =1 j =1

i =1

j =1

= p ( si ) log p ( si ) p ( s j )
n

j =1

i =1

(1.50)

p ( s j ) log p ( s j ) p ( s j ) = H ( S ) +H ( S ) = 2 H ( S )

Considernd adevrat relaia pentru un numr oarecare, m, adic

( )

H S m = mH ( S ) ,

se poate demonstra c

(1.51)

) = ( m + 1) H ( S )

(1.52)

) = p ( k ) log p ( k ), ()i = 1, n

(1.53)

H S

m +1

ntr-adevr
H (S

m +1

n m +1
k =1

unde

= k si , p ( k ) = p ( k ) p ( si ) ,

(1.54)

k = si si si ,() si S

(1.55)

iar
1

innd cont de (1.54), relaia (1.53) se poate scrie, echivalent, sub

forma
H (S

m +1

nm

) = p ( ) p ( s ) log p ( ) p ( s ) =
k1 =1 i =1

k1

30

k1

nm

( )

( )

nm

i =1

i =1

k =1

( )

= p k1 log p k1 p ( si ) p ( si ) log p ( si ) p k1 =
k1 =1

= H ( S m ) + H ( S ) = mH ( S ) + H ( S ) = ( m + 1) H ( S )

(1.56)

1.4. Model matematic de surs de informaie,

discret, complet cu memorie
Aceste surse de informaie, cunoscute i sub denumirea de
surse Markov, sunt caracterizate de faptul c furnizarea unui mesaj
este dependent de unul sau mai multe mesaje furnizate anterior.
Prin definiie, o surs are memorie de ordinul m, dac
furnizarea unui mesaj este condiionat de ultimele m mesaje
furnizate anterior.
Prin definiie, se numete stare la un moment dat a unei surse
cu memorie succesiunea ultimelor m mesaje furnizate anterior
momentului considerat. Dac alfabetul unei surse Markov este format
din n mesaje, iar ordinul memoriei sursei este m, atunci, conform
definiiei strilor, sursa va avea cel mult nm stri distincte, deoarece
cele m mesaje care definesc starea pot fi oricare din cele n mesaje
ce formeaz alfabetul sursei.
Analiza surselor de informaie discrete, complete, cu memorie
se efectueaz de obicei fie folosind grafurile, fie calculul matriceal.
n primul caz, nodurile din graf vor reprezenta strile sursei, iar
ramurile orientate vor fi nzestrate cu transmitane egale cu
probabilitile de trecere dintr-o stare n alta.
Fie o surs cu memorie de ordinul m ce poate furniza n
mesaje. Fie starea Si, caracterizat de succesiunea a m mesaje, adic
31

Si si1 si2 ...sim

Dac din aceast stare se furnizeaz mesajul sk cu probabilitatea

condiionat p ( sk Si ) , reprezentnd probabilitatea de a se furniza

mesajul sk , dac sursa se afla n starea Si , sursa va trece in starea
S j , caracterizat de succesiunea
S j si2 ...sim sk

Pentru simplificarea scrierii, probabilitatea de trecere din

starea Si n starea S j se va nota cu pij , iar n graf se va reprezenta
ca n Fig. 1.4.

Figura 1.4. Trecerea din starea Si n starea S j

n cazul folosirii matricelor n analiza surselor cu memorie,

probabilitile de trecere dintr-o stare n alta, pij , se organizeaz
ntr-o matrice, notat n continuare cu [T ] ,

numit matrice de

trecere sau tranziie, dup urmtoarele reguli:

a) pe prima linie se trec probabilitile de trecere din starea
S1 ,
n
celelalte n m stri posibile, pe a doua linie, probabilitile de trecere din
starea
S 2 n celelalte n m stri posibile i aa mai departe, pe ultima linie
scriindu-se probabilitile de trecere din starea S nm n celelalte n m stri
posibile;
b) n prima coloan se trec probabilitile de trecere n starea
32

S1 , din cele n m stri posibile, n coloana a doua, probabilitile de

trecere n starea S 2 din cele n m posibile i aa mai departe, n

ultima coloan scriindu-se probabilitile de trecere n starea S nm
din cele n m stri posibile, n felul acesta, matricea rezultat va fi
ptrat, de ordinul n m , de forma
p1,2
p1,nm
p1,1

p2,2
p2,nm
p2,1
[T ] =
(1.57)

p m

p
p
n m ,2
nm ,nm
n ,1
Matricea de trecere, [T], astfel ntocmit, este stochastic,
adic suma elementelor de pe fiecare linie este egal cu unitatea,
deoarece cu certitudine dintr-o anumit stare se ajunge n una din
strile posibile.
Prin definiie, sursa cu memorie se numete staionar, dac
probabilitile de trecere pij , sunt invariante n timp.

1.5. Surse cu memorie ergodice

Fie o surs cu memorie de ordin m, ce poate furniza n
mesaje. Fie pi(t), i = 1, n m , probabilitile celor n m stri la momentul
t. Aceste probabiliti definesc matricea distribuiei probabilitilor
strilor sursei la momentul t, de forma
P ( t ) = p1 ( t ) p2 ( t ) ... pnm ( t )

(1.58)

La momentul t+1, matricea distribuiei probabilitilor strilor va fi

de forma
33

 P ( t + 1) = p1 ( t + 1) p2 ( t + 1) ... pnm ( t + 1)

(1.59)

Probabilitatea p j ( t + 1) ca surs cu memorie s se afle la

momentul t+1 n starea Sj se poate determina multiplicnd
probabilitatea pi ( t ) ca sursa s se afle la momentul t n starea Si cu
probabilitatea de trecere pij i sumnd apoi pentru toate cele n m stri
posibile Si , adic
n

p j (t + 1) = pi (t ) pij , () j = 1, n m

(1.60)

i =1

n relaia (1.60) este posibil ca o parte din probabilitile pij s fie

nule, ceea ce semnific faptul c din anumite stri la momentul t nu
se poate trece n starea Sj la momentul t+1.
innd cont de relaiile (1.57), (1.58) i (1.59), relaia (1.60) se poate
scrie, sub form matriceal, astfel
P ( t + 1) = P ( t ) [T ]
(1.61)
n cazul momentelor de timp discrete t=0, l, 2, ..., relaia (1.61) se
scrie n variabila discret n, sub forma

[ P(n + 1)] = [ P(n)] [T ]

, n=0,1,

(1.62)

Pentru n=0, relaia (1.62) devine

P (1) = P ( 0 ) [T ]
Pentru n=l, relaia (1.62) devine

(1.63)

P ( 2 ) = P (1) [T ]
sau, innd cont de (1.63), rezult, echivalent,

(1.64)

P ( 2 ) = P ( 0 ) [T ]
Raionnd n mod similar, se poate scrie n general

(1.65)

P ( n ) = P ( 0 ) [T ]
(1.66)
Prin definiie, o surs cu memorie, staionar se numete
n

34

ergotic, dac este satisfcut relaia

lim [T ] = [ K ]
n

(1.67)

unde [ K ] este o matrice cu elemente finite.

Dac o surs cu memorie este ergodic, rezult c dup un
anumit timp (ceea ce ar corespunde regimului tranzitoriu ntr-un
sistem liniar) probabilitile strilor nu se mai modific n timp
(corespunznd regimului permanent).
Notnd p1 , p2 , ..., pnm probabilitile strilor sursei cu memorie
ergodice, matricea distribuiei probabilitilor strilor devine

[ P ] = p1

p2 ... pnm

(1.68)

iar relaia (1.62) se poate scrie sub forma

[ P ] = [ P ][T ]

(1.69)

Relaia matriceal (1.69) este echivalent cu un sistem de nm

ecuaii algebrice liniare n necunoscutele pi , i = 1, n m , dar, deoarece
matricea de trecere [T ] este stochastic, din cele n m ecuaii, numai
n m -1 sunt liniar independente. Pentru a putea calcula probabilitile
strilor sursei cu memorie ergodice, la relaia (1.69) se mai adaug o
relaie, de forma
nm

p
k =1

=1

(1.70)

Ecuaia (1.70) se justific prin faptul c dac sursa se afl

ntr-o anumit stare, cu certitudine va trece la momentul urmtor n
una din strile posibile.
Determinarea lui [T]n n scopul verificrii dac o surs
cu memorie, staionar este sau nu, ergodic, se poate efectua
folosind transformata Z [93]. Astfel, aplicnd transformata Z
relaiei (1.62), rezult
35

z [ P ( z ) ] [ P(0) ] = [ P ( z ) ][T ]

(1.71),

[ P( z )] z [ I ] [T ] = z [ P(0)]

(1.72)

sau
unde [ I ] este matricea unitate de ordinul nm.
Din relaia (1.72) rezult

[ P( z )] = z [ P(0)] z [ I ] [T ]

(1.73)

Aplicnd transformata Z relaiei (1.66), rezult

[ P( z )] = [ P(0)] Z {[T ] }
n

(1.74)

Comparnd relaiile (1.73) i (1.74), se poate scrie

{ } = z P ( 0) z [ I ] [T ]

P ( 0 ) Z [T ]

(1.75)

Deoarece relaia (1.75) este adevrat pentru orice P ( 0 ) [ 0] ,

rezult c trebuie s aib loc relaia

{ } = z z [ I ] [T ]

Z [T ]

de unde rezult

[T ]

= Z 1 z z [ I ] [T ]

(1.76)

},

(1.77)

unde Z 1 { i } reprezint transformata Z invers.

1.6. Entropia surselor cu memorie ergodice

Fie o surs cu memorie de ordinul m, ce poate furniza n
mesaje. Fie starea S k sk1 sk2 ...skm , una din cele n m stri posibile.
Dac din aceast stare se furnizeaz mesajul sj cu probabilitatea
condiionat p ( s j S k ) , atunci informaia ataat acestui eveniment,
36

notat cu i ( s j Sk ) , se determin cu relaia

i ( s j Sk ) = log p ( s j S k )

(1.78)

Deoarece din starea S k pot fi furnizate oricare din cele n mesaje

posibile cu probabilitile p ( s j S k ) , j = 1, n , nseamn c i ( s j S k )
determin o variabil aleatoare discret, ce poate lua valori cu
probabilitile p ( s j Sk ) . Valoarea medie a acestei variabile aleatoare

discrete reprezint informaia medie dat de starea S k i va fi notat

cu i ( Sk ) , adic

i ( Sk ) = i s jS k = p s jSk log p s jSk

j =1

(1.79)

nlocuind (1.78) n (1.79), se poate scrie echivalent

n

i ( Sk ) = p s jS k log p s jS k
j =1

(1.80)

Mrimea i ( S k ) definit cu relaia (1.80) determin o nou

variabil aleatoare discret, ce poate lua valori cu probabilitile pk,
k = l,n m , dac sursa cu memorie este ergodic. Valoarea medie a

acestei variabile aleatoare discrete msoar din punct de vedere

fizic informaia medie a sursei cu memorie ergodice, adic
entropia acesteia,
nm

H = i ( S k ) = pk .i ( Sk )

(1.81)

k =1

nlocuind (1.80) n (1.81), rezult relaia final pentru calculul

entropiei surselor cu memorie ergodice
nm

H = pk p s jSk log p s jSk

k =1 j =1

(1.82)

n relaia (1.82) s-ar putea ca o parte din probabilitile

37

p s jS k s fie egale cu zero, ceea ce ar corespunde faptului c din

starea Sk nu se poate furniza mesajul sj.

1.7. Matrice asociate surselor cu memorie ergodice

Fie S = {S1 , S2 ,

Snm } mulimea strilor unei surse cu

memorie ergodice, iar M = {m1 , m2 ,

mn } mulimea de mesaje pe

care sursa le poate furniza. Se noteaz cu p (mk | Si ) probabilitatea

condiionat s fie furnizat mesajul mk , dac sursa se afl n starea

Si, iar cu Sj starea n care va trece sursa. Pentru simplificare, se

noteaz cu pij probabilitatea ca sursa s treac n starea Sj, dac
starea anterioar era Si.
Notnd cu p ( S1 ), p( S2 ), p( Snm ) probabilitile strilor
sursei ergodice Markov, matricea distribuiei acestora devine
[ P] = [ p( S1 ), p( S2 ), p ( Snm )]
(1.83)
Dac sursa cu memorie este ergodic, atunci probabilitile
strilor sunt invariante i se pot calcula cu relaiile (1.69) i (1.70).
Datorit faptului c dintr-o anumit stare pot fi furnizate cel
mult n mesaje, rezult c cel mult n probabiliti pij din fiecare linie
a matricei [T], date de relaia (1.57), pot fi diferite de zero. Datorit
acestui fapt, se va caracteriza sursa cu memorie de ordin m cu
matricea
p(m1 | S1 )
p (m | S )
1
2
[ P ( M | S )] =

p(m1 | Snm )

p (m2 | S1 )
p(m2 | S2 )
p(m2 | S nm )
38

p (mn | S1 )
p(mn | S 2 )

p (mn | S nm )

(1.84)

Unele probabiliti p(m j | S k ) pot fi zero, ceea ce semnific

faptul c din starea Sk niciodat nu se poate furniza mesajul mj.
Fie p ( Sk m j ) probabilitatea ca sursa s fie n starea Sk i s

fie furnizat mesajul mj. Matricea

p ( S1 m2 )
p ( S1 mn )
p( S1 m1 )
p( S m ) p( S m )
p ( S 2 mn )
2
1
2
2

(1.85)
[ P( S , M )] =

p( S nm mn )
p( S nm m1 ) p( Snm m2 )
poate fi uor obinut din [P(M|S)], prin multiplicarea primei linii cu
p( S1 ) , a celei de-a doua cu p ( S2 ) .a.m.d., a ultimei cu p ( S nm ) i

innd cont de relaia

p ( Sk m j ) = p( S k ) p (m j | Sk )

(1.86)

Probabilitatea p(mj) cu care sursa furnizeaz mesajul

m j , j = 1, n , poate fi atunci calculat cu relaia
nm

p (m j ) = p(m j S k ), () j = 1, m .

(1.87)

k =1

Fie p ( S k | m j ) probabilitile ca sursa s fi fost n starea

S k , k = 1, n m ,

dac

furnizat

mesajul

m j , j = 1, n .

Aceste

p ( S1 | mn )
p( S 2 | mn )

p ( S nm | mn )

(1.88)

probabiliti pot fi organizate n matricea

p( S1 | m1 )
p(S | m )
2
1
[ P ( S | M )] =

p( S nm | m1 )

p ( S1 | m2 )
p( S 2 | m2 )
p( S nm | m2 )

Aceast matrice se deduce uor din matricea [P(S,M)], prin

mprirea primei coloane cu p (m1 ) , a celei de a doua cu p (m2 )
.a.m.d., a ultimei cu p (mn ) i innd cont de relaia
39

p ( Sk m j ) = p(m j ) p ( Sk | m j )

(1.89)

1.8. Alte mrimi informaionale care caracterizeaz

sursele cu memorie ergodice
Incertitudinea c sursa se afl n starea S k i furnizeaz
mesajul m j se poate nltura cu informaia
i ( S k m j ) = log p( S k m j )

(1.90)

Informaia definit n (1.90) determin o variabil aleatoare

discret
care
poate
lua
valori
cu
probabilitile

p ( S k m j ); k = 1, n m ; j = 1, n . Valoarea medie statistic a acestei

variabile aleatoare discrete se va denumi entropia stri-mesaje i va
fi notat cu H(S,M).
nm

H ( S , M ) = i ( S k m j ) = p( S k m j )i ( S k m j )

(1.91)

k =1 j =1

nlocuind (1.90) n (1.91), se obine

nm

H ( S , M ) = p( Sk m j ) log p( S k m j )

(1.92)

k =1 j =1

Considernd (1.89), relaia (1.92) poate fi scris echivalent ca

n

H ( S , M ) = p(m j ) p( Sk | m j ) log p( S k m j )
j =1
k =1

Mrimea informaional
n

nm

not .

p( S k | m j ) log p( Sk m j ) = H ( S , m j )

(1.93)

(1.94)

k =1

este o msur a incertitudinii medii c sursa furnizeaz mesajul m j ,

ea aflndu-se n oricare stare din mulimea S .
40

Considernd (1.86), relaia (1.92) poate fi, de asemenea,

scris echivalent ca
n

H ( S , M ) = p( Sk ) p(m j | S k ) log p( S k m j )
k =1
j =1

Mrimea informaional
nm

not .

p(m j | S k ) log p( Sk m j ) = H ( Sk , M )

(1.95)

(1.96)

j =1

este o msur a incertitudinii medii ca sursa s se afle n starea S k i

s furnizeze orice mesaj din mulimea M .
Incertitudinea ca sursa s se afle n starea S k , dac a transmis
mesajul mj, poate fi ndeprtat de informaia
i ( S k | m j ) = log p ( Sk | m j )

(1.97)

Informaia definit n (1.97) este o variabil aleatoare

discret
care
poate
lua
valori
cu
probabilitile
p ( Sk | m j ); k = 1, n m ; j = 1, n .

Valoarea

ei

medie,

notat

cu

H ( S | m j ) , este dat de
nm

H ( S | m j ) = i ( Sk | m j ) = p( S k | m j )i ( S k | m j )

(1.98)

k =1

sau, considernd (1.97), avem

nm

H ( S | m j ) = p ( Sk | m j ) log p( S k | m j ) .

(1.99)

k =1

Mrimea informaional

H (S | m j )

este o msur a

incertitudinii medii asupra mulimii strilor sursei, dac aceasta

furnizeaz mesajul m j .
Considernd toate mesajele m j , j = 1, n , mrimea definit n
(1.99) reprezint o nou variabil aleatoare discret care poate lua
valori cu probabilitile p (m j ) . Valoarea ei medie este
41

H ( S | M ) = H ( S | m j ) = p(m j ) H ( S | m j )

(1.100)

j =1

Aceasta cantitate se numete echivocaia sursei ergodice cu

memorie. Prin nlocuirea relaiei (1.99) n (1.100), i considernd
(1.97), se poate scrie, echivalent
nm

H ( S | M ) = p( S k m j ) log p( S k | m j )

(1.101)

k =1 j =1

Aceast mrime informaional msoar valoarea medie a

incertitudinii asupra mulimii strilor S, dac mulimea mesajelor M
este cunoscut.
Considernd (1.89) i (1.86), echivocaia poate fi scris n dou
moduri echivalente
n

H ( S | M ) = p (m j ) p ( S k | m j ) log p ( S k | m j )
j =1
k =1

H ( S | M ) = p( Sk ) p( m j | S k ) log p( S k | m j )
k =1
j =1

Mrimea informaional
nm

nm

not .

p( S k | m j ) log p( S k | m j ) = H ( S | m j )

(1.102)
(1.103)

(1.104)

k =1

este o msur a incertitudinii medii asupra mulimii strilor, dup ce

a fost transmis mesajul m j .
Mrimea informaional
n

not .

p (m j | Sk ) log p( Sk | m j ) = H ( Sk | M )

(1.105)

j =1

este o msur a incertitudinii medii asupra strii S k , dup ce au fost

furnizate mesajele din mulimea M .
n mod analog, nedeterminarea medie asupra mulimii
mesajelor M, dac este cunoscut mulimea strilor, se poate calcula
42

cu relaia
nm

H ( M | S ) = p( S k ) p (m j | Sk ) log p(m j | Sk )

(1.106)

k =1 j =1

Prin comparaia relaiilor (1.82) i (1.106), se observ c

entropia sursei ergodice cu memorie n sensul clasic este, de fapt, o
entropie condiional numit eroare medie.
Considernd (1.86), relaia (1.106) poate fi scris echivalent
ca
nm

H ( M | S ) = p( Sk m j ) log p(m j | S k )

(1.107)

k =1 j =1

Relaia (1.107) poate fi scris, echivalent, n dou moduri

n

H ( M | S ) = p( m j ) p( S k | m j ) log p( m j | S k )
j =1
k =1

H ( M | S ) = p( Sk ) p( m j | S k ) log p(m j | S k )
k =1
j =1

Mrimea informaional
nm

nm

not .

p( S k | m j ) log p(m j | S k ) = H (m j | S )

(1.108)
(1.109)

(1.110)

k =1

este o msur a incertitudinii medii asupra mesajului m j , j = 1, n ,

dac este cunoscut mulimea strilor S.
Mrimea informaional
n

not .

p(m j | S k ) log p(m j | S k ) = H ( M | S k )

(1.111)

j =1

este o msur a incertitudinii medii asupra mulimii mesajelor M,

dac starea S k , k = 1, n m , este cunoscut.
Fie Sk starea unei surse ergodice cu memorie, a crei
probabilitate este p( Sk ) . Incertitudinea iniial asupra strii Sk poate
43

fi nlturat cu o informaie i(Sk), calculat cu

i ( S k ) = log p( S k )

(1.112)

Informaia i(Sk) definit de (1.112) determin o variabil aleatoare

discret care poate lua valori cu probabilitatea p( Sk ) . Valoarea ei
medie, notat H(S) este
nm

nm

k =1

k =1

H ( S ) = i ( S k ) = p ( S k )i ( S k ) = p ( S k ) log p ( Sk )

(1.113)

Aceast entropie reprezint incertitudinea medie a strilor sursei.

Deoarece
n

p( Sk ) = p( Sk m j ) ,

(1.114)

k =1

se poate scrie echivalent

nm

H ( S ) = p( S k m j ) log p( S k ) .

(1.115)

k =1 j =1

n mod analog, incertitudinea medie asupra mulimii mesajelor

poate fi calculat cu relaia
nm

H ( M ) = p( Sk m j ) log p(m j )

(1.116)

k =1 j =1

Incertitudinea final asupra strii Sk,, dup ce s-a transmis

mesajul mj poate fi nlturat prin informaia notat cu i ( S k | m j ) ,
care se poate determina cu (1.97).
Dac i(Sk) este informaia ce ndeprteaz incertitudinea
iniial asupra strii Sk i i ( S k | m j ) este informaia ce ndeprteaz
incertitudinea final asupra strii Sk, incertitudinea ndeprtat
asupra lui Sk se datoreaz furnizrii unei informaii, numit
informaie mutual, notat cu i(Sk,mj) i calculat cu
i( Sk , m j ) = i( Sk ) i( Sk | m j )
(1.117)
nlocuind (1.112) i (1.97) n (1.117), se obine
44

i ( Sk , m j ) = log

p( Sk | m j )

(1.118)

p( Sk )

sau, considernd relaia (1.89), se poate scrie echivalent

p( Sk m j )
i ( Sk , m j ) = log
p( Sk ) p(m j )

(1.119)

Informaia mutual definit n (1.118) sau (1.119) determin

o variabil aleatoare discret care poate lua valori cu probabilitatea
p ( S k m j ); k = 1, n m ; j = 1, n . Valoarea ei medie, notat cu I(S,M),

este
nm

I ( S , M ) = i ( S k , m j ) = p( S k m j )i ( Sk , m j )

(1.120)

k =1 j =1

Prin nlocuirea (1.118) sau (1.119) n (1.120), se obin dou relaii

echivalente
nm n
p( Sk | m j )
(1.121a)
I ( S , M ) = i ( Sk , m j ) = p ( S k m j ) log
p( Sk )
k =1 j =1
nm

I ( S , M ) = i ( Sk , m j ) = p( S k m j ) log
k =1 j =1

p( Sk m j )
p( Sk ) p(m j )

(1.121b)

Considernd (1.86) i (1.89), relaia (1.121b) poate fi scris

n urmtoarele dou moduri echivalente
nm
n
p( Sk m j )
(1.122)
I ( S , M ) = p( S k ) p (m j | S k ) log
p(m j ) p( Sk )
k =1
j =1
n

nm

p( Sk m j )

j =1

k =1

p(m j ) p( Sk )

I ( S , M ) = p (m j ) p ( S k | m j ) log

Mrimea informaional
n
p ( S k m j ) not .
p (m j | S k ) log
= I ( Sk , M ) ,

p (m j ) p( Sk )
j =1

(1.123)

(1.124)

este o msur pentru informaia medie care se obine cnd sursa se

45

afl n starea S k , k = 1, n m , i a furnizat mesaje din mulimea M .

Mrimea informaional
nm
p ( S k m j ) not .
= I (S , m j )
p ( S k | m j ) log

p (m j ) p( Sk )
k =1

(1.125)

este o msur a informaiei medii obinute cnd sursa furnizeaz

mesajul m j i se afl n oricare din strile din mulimea S .
ntre mrimile informaionale definite mai sus, pot fi stabilite
urmtoarele relaii
H (S , M ) = H (S ) + H (M | S )
(1.126a)
H (S , M ) = H (M ) + H (S | M )

I (S , M ) = H (S ) + H (M ) H (S , M )

(1.126b)
(1.127)

I (S , M ) = H (S ) H (S | M )

(1.128a)

I (S , M ) = H (M ) H (M | S )

(1.128b)

Relaia (1.126a) se obine plecnd de la (1.92) i innd cont de

(1.107) i (1.115). Relaia (1.126b) se obine plecnd de la (1.92) i
innd cont de (1.101) i (1.116). Relaia (1.127) se obine din
(1.121b), (1.115), (1.116) i (1.92). Relaia (1.128a) se obine prin
substituirea relaiei (1.126b) n (1.127), iar relaia (1.128b), prin
nlocuirea lui (1.126a) n (1.127).
Considernd relaiile anterioare, se pot demonstra uor
urmtoare legturi informaionale:
H ( S k , M ) = H ( M | S k ) log p( S k ) =
n

= H ( Sk | M ) p(m j | S k ) log p(m j )

(1.129)

j =1

nm

H ( S , m j ) = H (m j | S ) p ( S k | m j ) log p ( S k ) =
k =1

= H ( S | m j ) log p (m j )
46

(1.130)

I ( S k , M ) = log p ( S k ) p (m j | S k ) log p (m j ) H ( S k , M ) =
j =1

log p ( S k ) H ( S k | M ) = p (m j | S k ) log p (m j ) H ( M | S k )
j =1

(1.131)
n

I ( S , m j ) = p( S k | m j ) log p( S k ) log p( m j ) H ( S , m j ) =
k =1

p( S k | m j ) log p( S k ) H ( S | m j ) = log p (m j ) H (m j | S )
k =1

(1.132)

1.9. Textele privite ca surse cu memorie

O prim aproximare a unui text scris ar consta n
considerarea c toate literele ce apar n text sunt egal probabile i
acestea apar independent n cuvinte. Un astfel de model este
cunoscut n literatura de specialitate ca model de ordinul zero. Dac
n text sunt folosite m caractere (litere, spaiu ntre cuvinte, semne
de punctuaie etc.), atunci entropia acestui model va fi
H 0 = log m
Prima observaie care se poate face asupra unui text scris
este aceea c frecvena de apariie a literelor nu este aceeai pentru
toate literele. Astfel, n limba romn contemporan, literele folosite
n diferite texte au frecvene de apariie ntre 0,1 i 0,001.
Dac se consider c cele m caractere folosite n textul scris
au probabilitile

pi , i = 1, m ,

i toate caracterele sunt

independente unul de altul, atunci se ajunge la modelul de ordinul

nti, caz n care entropia devine
47

H1 = pi log pi

(1.133)

i =1

Cele dou modele anterioare au presupus existena unei

independene statistice de la un caracter la altul. Acest lucru nu
reflect cu acuratee natura unui text scris, deoarece, de exemplu,
dac ntr-o propoziie unele caractere lipsesc, suntem capabili s ne
dm seama care sunt acestea. Aceasta implic existena unei
dependene ntre caractere. n mod natural, caracterele care sunt mai
apropiate unele de altele, sunt mai dependente ntre ele dect acele
caractere care sunt mai ndeprtate unele de altele. Dac se
consider cazul n care un caracter curent depinde numai de
caracterul anterior, se obine modelul de ordinul doi. Notnd cu p j|i
probabilitatea condiionat ca litera curent s fie al j-lea caracter
din alfabet cu condiia ca precedentul caracter s fie a i-a liter,
entropia acestui model se calculeaz cu relaia
m

i =1

j =1

H 2 = pi p j i log p j i

(1.134)

n cazul modelului de ordinul trei, fie pk | j ,i probabilitatea

condiionat ca litera curent s fie al k-lea caracter din alfabet, cu
condiia ca precedentul caracter s fie a j-a liter, iar cea anterioar
s fie a i-a liter. Entropia n acest caz devine
m

i =1

j =1

k =1

H 3 = pi p j i pk j ,i log pk j ,i

(1.135)

n mod analog, se pot defini modelele de ordin superior.

Prin definiie, folosirea unui prisos de litere (cuvinte,
simboluri etc.) pentru transmiterea unei anumite cantiti de
informaie poart denumirea de redundan. Se poate, deci,
conchide c textele din orice limb prezint o redundan care
depinde de natura textului. Astfel, textele folosite n tiinele
48

exacte (matematic, fizic etc.) prezint o redundan mai mic

n comparaie cu textele folosite n literatura beletristic.
Redundana crescut poate asigura protecia informaiei
la perturbaii. Intuitiv, acest lucru poate fi uor neles, citind
texte din domenii diferite. Astfel, la acelai grad de oboseal
(adic la acelai nivel al perturbaiilor care atenueaz atenia) se
va nelege mai bine i mai uor un text de literatur beletristic,
(un roman) dect un text de logic matematic.

49