Sunteți pe pagina 1din 32

CAPITOLUL 1

SURSE DISCRETE DE INFORMAŢIE

1.1. Model matematic de sursă discretă, completă şi fără memorie

În general, prin sursă de informaţie se înţelege mecanismul prin care, din mulţimea mesajelor sursei se alege, într-un mod imprevizibil pentru destinatar, un anumit mesaj pentru a fi transmis. Modelul matematic al unei astfel de surse se poate identifica cu un experiment S ale cărui rezultate pun în evidenţă un număr

,

respectiv

p s . Experimentul S formează un sistem complet de evenimente,

finit de evenimente elementare independente, notate cu

având asociate probabilităţile de realizare

(

n

)

(

ps

1

)

(

, ps

2

)

,

ss

1

,

,

2

,

,

s

n

dacă la efectuarea acestuia cu certitudine se realizează unul din

ar fi

evenimente. Cu alte cuvinte, dacă 0

p

(

s

k

)

1 , oricare

k = 1, n , atunci are loc relaţia

ss

1

2

unde

disjuncte, atunci:

E

este

evenimentul

∪∪ sE=

n

sigur.

Dacă

evenimentele

s

i

(1.1)

sunt

18

(

ps

1

)

∪ ∪∪ =

s

2

s

n

n

k = 1

()

ps

k

=

(

pE

)

=

1

(1.1’)

În felul acesta, experimentul S poate fi descris de câmpul de probabilitate caracterizat prin distribuţia

S :

sss

1

j

n

p ( s

1

)

j

)

ps (

n

)

(1.2)

ps (

Sursa de informaţie caracterizată prin experimentul S sau câmpul de probabilitate cu distribuţia dată de (1.2) se va numi discretă, dacă

furnizează un numă r finit de mesaje

Sursa de informaţie se va numi completă, dacă este îndeplinita relaţia (1.1). Sursa de informaţie se va numi fără memorie, dacă furnizarea unui mesaj la un moment dat nu depinde de mesajele furnizate anterior. Deoarece informaţia şi gradul de nedeterminare pot avea aceeaşi măsură, iar gradul de nedeterminare este o funcţie de probabilitatea de realizare a evenimentului (mesajului), se poate

s , notată cu

, cu care

acesta este furnizat, adică

(

(1.3)

considera că informaţia ataşată (asociată) unui mesaj

sj =

j

,

1,

n.

k

i s

(

k

)

este, de asemenea, o funcţie de probabilitatea

is

(

k

)

= Fps

[

k

)]

(

p s

k

)

unde F este o funcţie ce urmează a fi determinata. Evident, funcţia F este monoton descrescătoare, deoarece cu cât

probabilitatea de furnizare a mesajului

nedeterminarea asupra mesajului este mai mică şi, deci, şi informaţia ataşată acestui mesaj va fi mai mică (Fig. 1.1).

s este mai mare, cu atât

k

19

Fig. 1.1. Reprezentarea grafic ă a informa ţ iei 1 , rezult ă c ă

Fig. 1.1. Reprezentarea grafică a informaţiei

1 , rezultă că se cunoaşte cu certitudine

că sursa va furniza mesajul

furnizarea mesajului

rezultă că sursa nu va furniza niciodată

mesajul

furnizării sau nefurnizării acestui mesaj, informaţia ataşată acestuia este, şi în acest caz, nulă (vezi punctul din origine). În scopul determinării funcţiei F, se consideră o sursă discretă, completă şi fără memorie, caracterizată de distribuţia (1.2).

La limită, când

Când

p

(

s

k

)

=

s

k

0

,

(

p s

k

)

=

s

k şi, deci, informaţia obţinută la

este nulă.

s şi, deci, neexistând nici o nedeterminare asupra

k

Fie

is s informaţia care s-ar obţine la furnizarea

s . Daca probabilitatea evenimentului

,

(

k

j

)

mesajului

de furnizare a mesajului

conform relaţie (1.3), se poate scrie

s şi a mesajului

k

j

s şi a mesajului

k

este

p

(

s

k

s

j

)

s

j

(1.4)

Sursa de informaţie fiind presupusă fără memorie, rezultă că

sunt independente şi, deci, probabilitatea intersecţiei

s

j

(

is

)

∩= s

kj

F

(

ps

s

kj

)

mesajele

s

k

şi

celor două evenimente (mesaje) devine

20

(1.5)

Pe de altă parte, cele două mesaje fiind independente, informaţia obţinută la furnizarea lor va fi egală cu suma informaţiilor ataşate celor două mesaje, adică

(1.6)

Ţinând cont de relaţiile (1.3), (1.4) şi (1.5), din (1.6) rezultă ecuaţia funcţională

(1.7)

Ecuaţia funcţională (1.7) este satisfăcută, evident, de funcţia

p

(

)

s ∩=s

kj

(

ps

k

)

(

ps

j

)

is ∩=s

kj

(

)

(

is

k

)

(

+ is

j

)

F

⎡ ⎣

(

ps

kj )

ps

⋅= ⎡

(

)

⎤ ⎦

F

(

ps

k

)

⎤+

F

⎡⎤

(

ps

j

)

(1.8)

unde constanta C se va determina odată cu adoptarea unităţii de măsură pentru informaţie. Prin definiţie, se consideră că se obţine o unitate de informaţie, atunci când o sursă discretă, completă şi fără memorie poate furniza numai două mesaje echiprobabile. Considerând în relaţia (1.8) logaritmul în baza doi şi ţinând cont de definiţia unităţii de măsură a informaţiei, se poate scrie

F

[

(

ps

k

)]

= C

log

(

ps

k

)

()

is

k

= F ps ⎤= C

()

k

log

1

2 2

=−C =

1

(1.9)

Unitatea de informaţie astfel definită se numeşte bit. Din (1.9) rezultă că C = -l şi, deci, se poate scrie, în general, că informaţia

, se determină cu

relaţia

(1.10)

şi fără

ataşate

ataşată mesajului s k , furnizat cu probabilitatea p s

(

k )

is = −

k

(

)

log

nou

2

(

ps

k

)

sursa

<biţi>

discretă,

Considerându-se

din

completă

memorie caracterizată de distribuţia (1.2), informaţiile

i

(

s

k

)

21

mesajelor

aleatoare discretă, a cărei valoare medie statistică, prin definiţie, se numeşte entropia sursei respective şi va fi notată în continuare cu H(S). Se poate, deci, scrie relaţia

, k = 1, n , conform relaţiei (1.10), determină o variabilă

s

k

H

()

S

(

)

==

k

is

n

=

k

1

( )( )

ps

is

kk

(1.11)

unde

aleatoare discrete

i

(

s

k

)

reprezintă valoarea medie statistică

i

(

s

k

)

.

Înlocuind (1.10) în (1.11), rezultă

(

HS

)

=−

n

k = 1

()

ps

k

log

2

()

ps

k

<

biţi

>

mesaj

a variabilei

(1.12)

Din punct de vedere fizic, entropia definită cu relaţia (1.12) măsoară informaţia medie pe mesaj, respectiv nedeterminarea medie a sursei respective. In scopul simplificării scrierii, în cele ce urmează, se va considera că logaritmii sunt în baza doi, fără a mai specifica acest lucru.

, k = 1, n , duratele de transmitere a

mesajelor

s de către sursa S, caracterizată de distribuţia (1.2), atunci

Dacă se notează cu

k

τ

k

durata medie de transmitere a unui mesaj se determină cu relaţia

τ

n

=

k = 1

p

(

s

k

)

τ

k

<secunde>

(1.13)

Prin definiţie, se numeşte debit de informaţie al unei surse discrete, complete şi fără memorie, raportul dintre entropia

sursei şi durata medie de transmitere a unui mesaj. Notând cu H

debitul unei astfel de surse, se poate scrie

τ

(S )

H

τ

(

S

)

H

(

S )

biţi

=<

>

τ mesaj×secunda

(1.14)

22

1.2. Principalele proprietăţi ale entropiei

1. Din relaţia (1.12) rezultă că entropia este nenegativă, adică

(1.15)

2. Prin diversificarea unei surse, entropia creşte. Într-adevăr, fie sursa discretă, completă şi fără memorie caracterizată de distribuţia (1.2). Fără a micşora generalitatea, se

s poate fi diversificat în alte m mesaje

presupune că mesajul

disjuncte, adică

(1.16)

Dacă

sunt probabilităţile de furnizare ale

mesajelor

H (S ) 0

n

syy=

n

1

,

(

py

m

)

2

y

m

p

()

y

1

,

(

py

2

yy

1

,

2

,

)

,

,

y , atunci distribuţia sursei diversificate este

m

S

d

:

s

1

p ( s

1

)

sy

n

11

ps (

n

)

py (

11

)

y

m

py (

m

)

(1.17)

iar

p

(

s

n

)

m

=

j = 1

(

py

j

)

(1.18)

Conform relaţiei (1.12), entropia sursei diversificate se poate calcula cu relaţia

sau

H

(

H

S

d

)

(

S

d

)

=

=−

n

=

k

1

n

1

k

=

1

()

ps

log

()

ps

kk

m

=

1

j

()

ps

k

log

() ()

ps

kn

+

ps

() ()

py

j

log

py

j

(1.19)

log

()

ps

n

m

=

1

j

() ()

py

j

log

py

j

Ţinând cont de relaţiile (1.12) şi (1.18), relaţia anterioară devine

23

(

HS

d

)

=−

Deoarece

şi

rezultă că

(

HS

)

(

ps

n

)

m

j = 1

p

(

y

j

)

(

p s

n

)

log

(

py

j

)

(

ps

n

)

0

p

(

y

j

)

p

(

s

n

)

1

n

j = 1

p

(

y

j

)

p

(

s

n

)

= 1 ,

m

j = 1

(

py

j

)

(

ps

n

)

log

(

py

j

)

(

ps

n

)

0

(1.20)

(1.21)

(1.22)

(1.23)

Din (1.20) şi (1.23) rezultă ce trebuia demonstrat, adică

(1.24)

3. Entropia unei surse discrete, complete şi fără memorie îşi atinge valoarea maximă, atunci când mesajele sunt furnizate echiprobabil. Într-adevăr, fie sursa discretă, completă şi fără memorie caracterizată de distribuţia (1.2), pentru care există relaţia de legătură (1.1). Pentru a determina extremul entropiei acestei surse, se va folosi metoda multiplicatorilor lui Lagrange (sau extremul cu legături). Pentru aceasta, se defineşte funcţia.

H

(

S

d

)

(

HS

)

Φ⎡ ⎣ ps

(

k

)

⎤=+

Hs

()

⎢ ⎣

λ

n

k

= 1

(

ps

k

)

1

⎥ ⎦

(1.25)

unde λ este multiplicatorul lui Lagrange. Funcţia

îşi atinge extremul odată cu funcţia H(S). Condiţia necesară de extrem este

Φ⎡ ⎣ p s ⎤ ⎦

(

k

)

24

∂Φ ⎡

(

s

)

p

k

=

0

(

∀= ) k

1,

n

(

p s

k

)

(1.26)

Înlocuind (1.12) în (1.25), relaţia (1.26) devine

log

de unde rezultă

p s e +=λ

(

k

)

log

(

p s

k

)

=

2

λ

log e

,

(

0,

(

∀=kn

)

1,

kn

)

∀=

1,

Înlocuind (1.28) in (1.1), rezultă

de unde se obţine

n

(

2

λ

log e

)

λ =

log

=

e

1

n

(1.27)

(1.28)

(1.29)

(1.30)

Ţinând cont de (1.30), relaţia (1.28) devine

p

(

s

k )

=

1

k

=

n

,

(

)

1,

n

(1.31)

Din (1.31) rezulta că extremul funcţiei

, deci şi a entropiei

H(S), se obţine atunci când mesajele sunt furnizate echiprobabil. Valoarea acestui extrem se obţine înlocuind (1.31) în (1.12), adică

φ⎡ p

(

s

k

)

H

(

S

)

(

ps

k

)

=

1

n

n

k = 1

()

ps

()

ps

=− =

k

k

(

ps

k

)

=

1

n

log

log

n

(1.32)

Pentru a arata că extremul astfel obţinut este un maxim, se poate demonstra uşor că

(1.33)

sau, echivalent, că

(1.34)

Într-adevăr,

HS(

HS(

) log n

) log n 0

25

n

()

HS

n

=

(

ps

)

log

log

k = 1

()

ps

k

log

n

()

ps

k

(

ps

k

)

log

=

n

=

(

ps

k

)

log

n

=−

1

log

n

k

=

1

n

k

=

1

k

(

ps

k

)

p

(

s

k

log

)

−⋅

k

=

1

1

p

(

k

)

−= log ⎥ ⎥ ⎦

n

n

k

=

1

s

Pe de altă parte, este binecunoscută inegalitatea

ln zz

1, z > 0 ,

1

(

nps

k

)

(1.35)

(1.36)

a cărei reprezentare grafică este dată în Fig. 1.2.

c ă rei reprezentare grafic ă este dat ă în Fig. 1.2. Figura 1.2 Reprezentarea grafic

Figura 1.2 Reprezentarea grafică a inegalităţii 1.36

Ţinând cont de 1.36 şi notând

()

HS

−≤ log n

sau, echivalent,

log

e

1

n

k = 1

nps

1

nps

)

z =

(

(

k

k

)

, relaţia (1.35) devine

1

(1.37)

26

(

HS

)

−≤ log

n

log

e

⎢ ⎣

1

n

k

= 1

(

ps

k

)

⎥ ⎦

=

0

(1.38)

ceea ce demonstrează relaţia (1.34). Prin definiţie, se numeşte redundanţă absolută a unei surse, diferenţa dintre valoarea maximă a entropiei acesteia şi

valoarea ei reală. Notând cu

definiţiei, se poate scrie

(1.39)

R , redundanţa absolută, conform

S

R

S

= H

()

S HS

()

max

Prin definiţie, se numeşte redundanţă relativă a unei

raportul dintre redundanţa absolută şi

surse, şi se va nota cu

ρ

S

valoarea maximă a entropiei, adică

ρ =

S

R

S

(

H S

)

=−

1

H

max

()

S

()

HS

max

,

(1.40)

Prin definiţie, se numeşte eficienţa unei surse, şi va fi notată cu η s , raportul dintre entropia sursei şi valoarea maximă a

acesteia, adică

(

(1.41)

H S

)

η =

S

H

max

(

S

)

,

Din (1.40) şi (1.41) , rezultă

Pentru

fixarea

1

ρ = −η

S

S

ideilor,

se

presupune

o

sursă

(1.42)

discretă,

completă şi fără memorie, caracterizată de distribuţia

S :

s

1

s

2

1

p

, 0 p 1

p

Entropia acestei surse se calculează cu relaţia

HS( ) =− p log p (1 p)log(1p) = Hp( )

Deoarece

27

(1.43)

(1.44)

(1.45)

prin convenţie, se va considera că

(1.46)

Ţinând cont de (1.46), rezultă

(1.47)

Interpretarea fizică a rezultatelor date de relaţia (1.47) este următoarea: când p=0, rezultă cu certitudine că sursa va furniza

2 şi, deci, neexitând nici o incertitudine, H (0) = 0 ; când

s 1 şi, deci,

mesajul

lim

x 0

[

x

log

x

]

=

0

0 log 0 = 0

H (0) = H (10) =

s

p=1, rezultă cu certitudine că sursa va furniza mesajul

H (1)= 0.

Valoarea maximă a entropiei se obţine atunci când

1

p =− pp⇒ =

1

2

şi

H

max

(

S

)

=

1

bit

mesaj

(1.48)

Reprezentarea grafică a entropiei H ( p) , conform relaţiei (1.44),

este dată în Fig. 1.3.

) , conform rela ţ iei (1.44), este dat ă în Fig. 1.3. Fig. 1.3. Reprezentarea

Fig. 1.3. Reprezentarea grafică a entropiei date de relaţia (1.44)

28

1.3. Model matematic de sursă discretă, completă şi fără memorie extinsă

În multe modele de surse de informaţie este util a se considera că sursa furnizează grupe de mesaje şi nu mesaje individuale. În general, extensia de ordinul m a unei surse discrete, complete şi fără memorie se obţine formând mesaje compuse,

din succesiuni de m mesaje ale sursei iniţiale, în toate combinaţiile posibile. Numărul de mesaje compuse al unei astfel de surse extinse

este egal cu

m , deoarece fiecare mesaj compus este format dintr-o

succesiune de m mesaje, iar fiecare mesaj poate fi oricare din cele n posibile. Extensia unei surse discrete, complete şi fără memorie determină o nouă sursă discretă, completă şi fără memorie, cu probabilitatea fiecărui mesaj compus egală cu produsul probabilităţilor mesajelor componente, deoarece mesajul compus reprezintă o intersecţie de evenimente independente. Pentru calcularea entropiei extensiei unei surse discrete, complete şi fără memorie se va folosi metoda inducţiei matematice. Fie sursa discretă, completă şi fără memorie, cu distribuţia (1.2). Extensia de ordinul doi a acesteia, notată cu S 2 , va furniza n 2

mesaje compuse, σ de forma

,

σ

k

n

k

σ

1

→→

ss

11

σ

n

+

1

ss

21

σ

n

2

− + 1

n

ss

n

1

σ

2

→→

ss

12

σ

n

+

2

ss

22

σ

n

2

− + 2

n

ss

n

2

σ

n

→→ss σ ss σ ss

1

n

22n

n

H

(

S

n

2

2

)

nn

Entropia acestei surse, notată cu

, se va calcula cu

relaţia clasică

29

(

HS

2

)

Considerând

n

2

=−

un

k = 1

()

p σ

k

log

mesaj

()

p σ

k

,

compus

(

p σ

k

)

(

= ps

ps

ij

)

(

); ,

i

j =

1, n ,

echivalent, sub forma

relaţia

(l.49)

(

HS

2

)

=−

n

n

∑∑

i

=

1

j

=

1

(

ps

(

ij )

ps

)

log

⎣ ⎡

(

ps

(

ij )

ps

)

⎦ ⎤

=

n

=

=−

i

n

1

p

j

=

1

()

ps

log

()

ps

ii

() ()

s

log

jj

ps

n

=

1

j

(

ps

j

n

=

1

i

()

ps

j

)

=

HS

() ()

HS

+=

2

se

σ

k

= s s

1

j

poate

()

HS

,

(l .49)

cu

scrie,

(1.50)

Considerând adevărată relaţia pentru un număr oarecare, m, adică

H

(

S

m

)

= mH

+ 1

S

,

)

(

HS

)

(

p σ

k

(

)

),

(

 

(1.51)

(

∀ =

)

in

1,

(1.52)

(1.53)

i

)

,

(1.54)

 

(1.55)

(

)

se poate demonstra că

Într-adevăr

unde

iar

(

H S

m

+

1

)

H

=−

(

S

m + 1

)

=

(

n m + 1

k

=

1

(

p σ

k

(

)

m

)log

σσ= s p σ = p σ ps

ki

1

,

k

k

i

,(

)

σ = ss ⋅⋅⋅ s s S

k

1

ii

12

i

m

i

j

Ţinând cont de (1.54), relaţia (1.53) se poate scrie, echivalent, sub forma

(

HS

m

+

1

)

=−

n

m

n

∑∑

k

1

=

1

i

=

1

(

p σ

)

(

ki

1

ps

30

)

log

⎣ ⎡

(

p σ

)

(

ki

1

ps

)

⎤ ⎦

=

=−

n

m

∑

p

=

k 1

H

=

(

1

S

m

() ()

log

σσ

k

1

p

k

1

)

+

H

()

S

=

mH

nn

∑∑ i

()

ps

()

ps

log

()

ps

ii

==

ii 11

()

S

+

H

() (

S

=+ 1

m

) ()

H

S

n

m

∑

k

=

1

p

(

σ

k

1

)

=

(1.56)

1.4. Model matematic de sursă de informaţie, discretă, completă cu memorie

Aceste surse de informaţie, cunoscute şi sub denumirea de surse Markov, sunt caracterizate de faptul că furnizarea unui mesaj este dependentă de unul sau mai multe mesaje furnizate anterior. Prin definiţie, o sursă are memorie de ordinul m, dacă furnizarea unui mesaj este condiţionată de ultimele m mesaje furnizate anterior. Prin definiţie, se numeşte stare la un moment dat a unei surse cu memorie succesiunea ultimelor m mesaje furnizate anterior momentului considerat. Dacă alfabetul unei surse Markov este format din n mesaje, iar ordinul memoriei sursei este m, atunci, conform definiţiei stărilor, sursa va avea cel mult n m stări distincte, deoarece cele m mesaje care definesc starea pot fi oricare din cele n mesaje ce formează alfabetul sursei. Analiza surselor de informaţie discrete, complete, cu memorie se efectuează de obicei fie folosind grafurile, fie calculul matriceal. În primul caz, nodurile din graf vor reprezenta stările sursei, iar ramurile orientate vor fi înzestrate cu transmitanţe egale cu probabilităţile de trecere dintr-o stare în alta. Fie o sursă cu memorie de ordinul m ce poate furniza n mesaje. Fie starea S i , caracterizată de succesiunea a m mesaje, adică

31

S

i

ss

ii

1

2

s

i

m

Dacă din această stare se furnizează mesajul

condiţionată

mesajul

k cu probabilitatea

) , reprezentând probabilitatea de a se furniza

s

p

(

s

k

S

i

s

k

, dacă sursa se afla în starea

S , sursa va trece in starea

i

S

j

, caracterizată de succesiunea

S

j

s

i

2

ss

ik

m

Pentru simplificarea scrierii, probabilitatea de trecere din

p

S

, iar în graf se va reprezenta

starea

ca în Fig. 1.4.

i

în starea

S

j

se va nota cu

ij

starea ca în Fig. 1.4. i în starea S j se va nota cu ij Figura

Figura 1.4. Trecerea din starea

S

i

în starea

S

j

În cazul folosirii matricelor în analiza surselor cu memorie,

p , se organizează

probabilităţile de trecere dintr-o stare în alta,

într-o matrice, notată în continuare cu [T ], numită matrice de

trecere sau tranziţie, după următoarele reguli:

ij

 

a)

S ,

1

celelalte

n

starea

pe prima linie se trec probabilităţile de trecere din starea

în

m stări posibile, pe a doua linie, probabilităţile de trecere din

S

2

în celelalte

n

m stări posibile şi aşa mai departe, pe ultima linie

stări

scriindu-se probabilităţile de trecere din starea

posibile;

S

n

m

în celelalte

n

m

b) în prima coloană se trec probabilităţile de trecere în starea

32

S

1

, din cele

n

m stări posibile, în coloana a doua, probabilităţile de

m posibile şi aşa mai departe, în

trecere în starea

ultima coloană scriindu-se probabilităţile de trecere în starea

din cele

pătrată, de ordinul

S

2

din cele

n

S

n

m

n

m stări posibile, în felul acesta, matricea rezultată va fi

n

m

, de forma

[

T

]

=

pp

1,1

1,2

pp

2,1

2,2

p

p

m

1, n

2, n

m

pp

n

m

,1

n

m

,2

p

mm

nn

,

⎥ ⎦

(1.57)

Matricea de trecere, [T], astfel întocmită, este stochastică, adică suma elementelor de pe fiecare linie este egală cu unitatea, deoarece cu certitudine dintr-o anumită stare se ajunge în una din stările posibile. Prin definiţie, sursa cu memorie se numeşte staţionară, dacă

probabilităţile de trecere

p ij

, sunt invariante în timp.

1.5. Surse cu memorie ergodice

m, ce poate furniza n

mesaje. Fie p i (t),

t. Aceste probabilităţi definesc matricea distribuţiei probabilităţilor stărilor sursei la momentul t, de forma

(1.58)

La momentul t+1, matricea distribuţiei probabilităţilor stărilor va fi de forma

m stări la momentul

Fie o sursă cu memorie de ordin

i =

1,

n

m

, probabilităţile celor