1

1. Introducere.

Teoria informaiei s-a impus n comunitatea oamenilor de tiin i

n special a inginerilor fixnd un cadru general de abordare a problemelor
legate de comunicaii (telecomunicaii). Acest cadru teoretic permite
definirea i evaluarea performanelor precum i a unor limite
fundamentale pentru diverse sisteme de comunicaii. Rezultatele iniiale
au fost obinute de inginerul englez Claude Shannon i au fost orientate
n a stabili modul de organizare a unui sistem de transmitere a informaiei
pe canale perturbate astfel ca probabilitatea recepionrii unor semnale
eronate s fie mai mic dect o valoare impus. Cum vehicularea
informaiei este puternic dependent de tipul i proprietile canalului
utilizat a fost definit capacitatea unui canal de comunicaii. Pentru o
corect definire a problemelor analizate s-a introdus noiunea de surs
aleatoare de semnale discrete (care substituie conversia i transmisia
semnalelor video sau audio). Aceste surse sunt n general extrem de
complexe ; prelucrarea primar n ideea transmiterii la distan produce
distorsiuni n raport de forma real iniial. Astfel de surse sunt definite
ca surse entropice.
Pornind de la lucrrile de pionierat elaborate de Shannon , teoria
informaiei a fost dezvoltat ulterior permind lrgirea cadrului n care
aceast teorie este aplicat cu succes. Domeniul de aplicabilitate este
foarte larg . n continuare vom enumera numai cteva domenii de
aplicabilitate:
fizica statistic (termodinamic , fizic cuantic)

tiina calculatoarelor ( complexitatea algoritmilor , probleme de

calculabilitate)
teoria probabilitilor ( teorema limitei centrale)
statistica matematic ( testarea ipotezelor statistice , teoria
informaiei de tip Fisher , teoria estimaiei)
economie
biologie
criptografie ( securizarea transmiterii datelor)
reele de comunicaii
n cadrul acestui curs vom orienta abordarea ctre problematica
transmiterii i memorrii datelor informaionale.
1.2 Modelul general al sistemului de transmitere a informaiei.
Schema cea mai general a unui sistem de transmitere a informaiei
este prezentat n figura 1.1
Sursa

Codificator
de surs.

Codificator de
canal

Modulator

Canal

Receptor

Decodor de
surs

Decodor de
canal

figura 1.1

Demodulator

Sursa primar este modelat n general ca generator de semnal

aleatoriu discret sau continuu.
Codorul de surs realizeaz conversia semnalului dat de surs
pentru a obine o compactare a semnalului oferit de surs ,
eliminnd

elementele

lipsite

de

coninut

sau

redundante

(compactarea semnalului iniial).

Codorul de canal realizeaz o conversie a semnalului astfel nct
acesta s poat fi reprodus la recepie cu o ct mai mare fidelitate.
n general este necesar introducerea unei redundane pentru ca
recepie semnalul s fie recunoscut chiar dac acesta a fost
modificat datorit unor perturbaii mai mult sau mai puin
puternice ce apar pe canalul de transmisie.
Modulatorul transmiterea pe canale perturbate a unor semnale de
tip tot sau nimic (impulsuri rectangulare) este puternic afectat
de zgomotele perturbatoare. n general , semnalele obinute de la
codorul de canal sunt compuse pe o purttoare sinusoidal
( semnalul iniial, i care formeaz intrarea n modulator modific
unul din parametrii unui semnal sinusoidal i care se transmite pe
canal).
Canalul fizic mediu prin intermediu cruia se transmite
informaia i asupra cruia acioneaz zgomotele perturbatoare. n
cazul nostru vom modela efectul perturbaiilor prin probabilitatea
ca un semnal s fie recepionat eronat de ctre receptor.

Canalul receptor compus din demodulator, decodor de canal,

decodor de surs realizeaz operaii inverse n raport cu cele din
canalul de emisie.

1.3 Introducere n teoria informaiei.

n continuare vom formula o serie de ntrebri i vom prezenta
rspunsuri ntr-o form ct mai simpl n raport cu o serie de ntrebri
care se impun natural n subiectul prezentat.
i) Ce reprezint informaia ?.
Informaia reprezint un mesaj ateptat i recunoscut de ctre
receptor dar incert n faza iniial. Oricare mesaj recepionat care
ofer rezultate cunoscute nu nltur nici o incertitudine i prin urmare
nu aduce nici o informaie. Prin urmare numai eliminarea unei
incertitudini poate aduce informaii. O astfel de abordare va conduce
la posibilitatea definirii nu numai a informaiei dar i a cantitii de
informaie care s o poat defini cantitativ.
Dup ce am obinut informaia problema care se pune este de a o
memora sau vehicula.
ii)

Cum reprezentm informaia n ideea memorrii sau

vehiculrii ct mai comod.

Cel mai eficient i totodat natural mod de a memora sau

vehicula informaia este introducerea unor simboluri i a unor reguli
de concatenare a acestor simboluri. Astfel n limba romn exist 24
de simboluri i prin concatenarea acestora putem transmite sau
memora oricare mesaj. Un alt exemplu, mult mai apropiat de

preocuprile inginerului, l reprezint concatenarea simbolurilor 0 i 1

(modalitate utilizat n dispozitivelor numerice de calcul sau n cazul
transmisiei de date numerice.
Totalitatea mesajelor ce pot fi formate reprezint un dicionar al
cuvintelor de cod. n funcie de modul de definire, lungimea
cuvintelor de cod poate fi diferit de la un dicionar la un alt dicionar.
iii) Care este forma ce mai economic pentru reprezentarea
unui mesaj informaional ?.
Considerm cazul n care patru evenimente trebuie codate cu
ajutorul simbolurilor 0 i 1. Dintre multitudinea de posibiliti de
formare a unui dicionar n tabelul 1.1 sunt prezentate dou cazuri.
Tabel 1.1
Evenimen
t
A
B
C
D

Probabilitatea Cod1 Cod2

1/2
1/4
1/8
1/8

00
01
10
11

0
10
110
111

Problema care se pune este de a aprecia n ce msur este mai

eficient sau mai puin eficient reprezentarea printr-un cod sau
cellalt cod. Considerm c probabilitatea de apariie a celor patru
evenimente este diferit . Valorile probabilitilor de apariie sunt date
n tabelul 1.1. Prin urmare media biilor de cod utilizai n cele dou
coduri prezentate va fi:
Cod 1

n1

1
1
1
1
2 2 2 2 2 biti de cod
2
4
8
8

Cod 2

n2

1
1
1
1
7
1 2 3 3 biti de cod
2
4
8
8
4

Evident, cel de al doilea cod este mai compact (mai economic) n

raport cu primul avnd o medie a cuvintelor de cod mai mic.
Problema minimizrii lungimii medii va fi analizat ulterior.
iv) Cum poate fi msurat informaia ?.
Am specificat anterior c un mesaj care elimin o incertitudine
este un mesaj purttor de informaie. Cu ct incertitudinea eliminat
este mai mare cu att cantitatea de informaie coninut de acest mesaj
este mai mare. Este normal s considerm c apariia a dou
evenimente

elimin

incertitudine

care

reprezint

suma

incertitudinilor eliminate de apariia fiecrui eveniment. n cazul a

dou evenimente a cror probabilitate difer foarte puin diferena
dintre incertitudinile eliminate de fiecare eveniment. De exemplu
pentru dou evenimente cu probabiliti 0.20001 i 0.19999 este
rezonabil s considerm c informaia este aceeai. Vom arta n cele
ce urmeaz c numai funcia logaritmic poate asigura proprietile
anterior remarcate i poate constitui o msur pentru informaia
proprie.
n modul n care am abordat problema cantitatea de informaie
este asociat fiecrui eveniment. Pentru caracterizarea global vom
introduce o funcie care evalueaz informaia medie a unei surse i
care este definit ca funcia entropie.
n exemplu anterior prezentat am artat c evaluarea unui cod
trebuie s se bazeze pe lungimea medie a cuvintelor de cod . O

asemenea evaluare poate permite dimensionarea optim a memoriei

necesare nregistrrii mesajelor obinute de la sursa primar.
n 1948 Shannon a artat c cele dou abordri ( prin lungimea
medie a cuvintelor de cod sau prin cantitatea medie de informaie
coninut de surs ) sunt de fapt echivalente. Valoarea minim pentru
lungimea medie a cuvintelor de cod este egal cu entropia sursei.
Pentru cazul prezentat entropia sursei va fi:
1
1
1
1
1
1
1
1
7
log
log
log
log

2
1/ 2 4
1/ 4 8
1/ 8 8
1/ 8 4

bii1

valoare care este identic cu valoarea de minim a lungimii cuvintelor

de cod (cazul celui de al doilea cod introdus).
n cazul n care informaia este transmis pe canale afectate de
zgomot (canale perturbate ) problema se va pune i inerent va fi
soluionat n mod diferit. Dac pentru canale neperturbate ne
propunem exclusiv minimizarea lungimii cuvintelor de cod pentru a
asigura o eficien maxim transmisiei, n cazul canalelor perturbate
este necesar s asigurm o recepionare corect a mesajelor transmise.
n cazul unui canal binar care opereaz pe simbolurile 0 i 1 este
posibil ca datorit perturbaiilor n recepie 1 s fie interpretat ca 0 sau
0 ca 1. Dac impunem transmiterea simbolului s fie repetat de un
numr de ori iar interpretarea n recepie s fie fcut printr-o logic
majoritar probabilitatea de recepionare a unui mesaj eronat scade
foarte mult. Prin urmare creterea redundanei codului crete
fiabilitatea transmisiei dar diminueaz considerabil eficiena . Pentru
cazul considerat transmitem numai

1
n

uniti de informaie pe simbol

n cadrul lucrrii vom nota log subnelegnd logaritmarea n baza doi.

transmis pe canal. Este normal ntr-o astfel de situaie s analizm

cum putem realiza un compromis ntre eficien i fiabilitate.
v)

Fiind dat un canal perturbat cum putem maximiza

eficiena transmisiei pentru o rat de eroare pe fiecare
simbol informaional ct mai mic.

Relum exemplul anterior prezentat n care simbolurile 0 i 1 se

transmit pe canal prin triplare simbolului informaional. Prin urmare
0 000 i 1 111 . Considerm c n urma apariiei perturbaiilor

semnalul este recepionat corect cu probabilitatea 0.9 i eronat cu

probabilitatea 0.1 (canal binar simetric). Un semnal va fi intercepta i
interpretat eronat dac sunt afectai doi sau trei bii. Prin urmare rata
de eroare pentru o astfel de situaie va fi:
C32 0.1 0.9 C33 0.1 0.028
2

Problema este de a construi un cod care este mai eficient i avnd

o rat de eroare mai mic,

2 Msura informaiei pentru evenimente

discrete.
n aceast expunere vom defini msura informaiei pentru
evenimente discrete printr-o abordare probabilistic. O dat stabilit
relaia prin care definim cantitatea de informaie, vom prezente o serie
de proprieti specifice utile n dezvoltrile ulterioare.
2.1 Entropia , entropia cumulat i entropia condiionat.
2.1.1 Informaia proprie.
Considerm un eveniment E a crui probabilitate de apariie este
Pr(E)=p(E). Vom considera I(E) ca fiind informaia primit n cazul
apariiei evenimentului E reprezentnd i care reprezint informaia
primit prim apariia acestui eveniment. Evident c o astfel de
interpretare are un caracter subiectiv, i n general depinde de la o
persoan la alta. Din acest motiv aceast informaie mai este definit
ca informaie proprie. n aceste condiii se pune problema stabilirii
unor proprieti generale ale informaiei.

10

i) I(E) este dependent de Pr(E)=p(E).

Este normal s considerm c informaia asociat unui eveniment
E

este

dependent

de

probabilitatea

acestui

eveniment

I(E)=I(Pr(E)). Funcia I(E) este definit pe spaiul evenimentelor iar

I(p(E)) pe intervalul [0,1]. Este natural s considerm c cu ct
probabilitatea evenimentului este mai mic cu att informaia
furnizat de acesta este mai mare. Prin urmare I(Pr(E)) este o funcie
descresctoare n raport cu probabilitatea Pr(E) a evenimentului
considerat.
ii) I(Pr(E)) este o funcie continu n raport cu Pr(E).
Introdus axiomatic o astfel de proprietate are un caracter
natural, fiind normal ca informaia adus de dou evenimente a cror
probabilitate difer n mic msur s fie similar, deci diferena
cantitilor de informaie s fie de asemenea mic.
iii) Dac considerm dou evenimente E1 i E 2 independente
( E1 E 2 ) ( E1 ) ( E 2 ) .

Dei proprietatea este introdus axiomatic este evident c

informaia adus prin realizarea simultan a evenimentelor este dat
de suma informaiilor aduse separat de fiecare eveniment.
Bazai pe proprietile introduse vom demonstra c numai funcia
logaritmic poate da o msur a informaiei.
Teorem. Singura funcie definit pe intervalul [0,1] care
satisface proprietile :
i. I(p) monoton descresctoare n p.
ii. I(p) funcie continu pentru
iii. I ( p1 p2 ) I ( p1 ) I ( p2 )

p 0,1 .

11
I ( p) C log( p ) unde

este funcia logaritmic adic

este o

constant pozitiv (baza de logaritmare va fi ulterior precizat

deocamdat nefiind necesar).
Demonstraie.
Demonstraia teoremei va fi fcut urmrind urmtorii pai:
iii)

Vom arta c pentru

1
1
C log
n

n

n N I

Conform proprietilor impuse:

1
1
I

n
m

n, m N cu n m I

1
1
1
I I
mn
n
m

n, m N

Deducem cu uurin aplicnd rezultatele remarcate:

1
1
k I pentru n, k N
k
n
n

O inegalitate cunoscut permite ca pentru r N fixat i

n N

s determinm k N astfel ca
n k 2 r n k 1

Utiliznd inegalitatea prezentat i innd cont c funcia

este descresctoare obinem:
1
1
1
I r I k 1
k
n
2
n

i deci
1
1
1
r I k 1 I
n
2
n

k I

Cum

1
I 1 0
n

I ()

12
1
I
k
k 1
2

r
r
1
I
n

Pe de alt parte, avnd n vedere monotonia funciei logaritmice

log n k log 2r log n k 1

sau
k log n r log 2 k 1 log n

Rezult imediat:
k log 2 k 1

r log n
r

Avnd n vedere inegalitile prezentate, prin prelucrri

elementare obinem:
1

log 2
1
2

log n
r
1
I
n
I

Cum n este fixat, iar r poate fi ales ori ct de mare deci r

rezult:
1
C log n
n

unde

C
0.
log 2
I

Cu aceasta primul pas este ncheiat.

ii) Vom arta c

I ( p ) C log p pentru p Q

Fie

raional

numrul

r
r, s N .
s

Conform

axiomatice
1
r 1
r
1
I I I
s
s r
s
r

i deci

( oricare p raional).
condiiilor

13
r
1
1
I I
s
s
r

I p I

Cum

r, s N ,

pe baza rezultatelor obinute la pasul anterior

s

I p C log s C log r C log

I p C log p

iii) Rmne s demonstrm c relaia I p C log p este valabil

pentru oricare

p 0,1 .

n baza continuitii admise

I p lim I a lim C log p

a p
a rational

b p
b rational

2.1.2 Entropia.
Entropia reprezint msura coninutului informaional total al
unei surse. n continuare vom considera sursele ca o colecie de
variabile aleatoare discrete. Vom neta simplificator, pentru un
eveniment xi X legea de probabilitate p x xi pi . Cmpul de
evenimente discrete va fi reprezentat n forma:
x
X 1
p1

x2
p2

xn

pn

Definiie. Pentru sursa X , entropia este definit n forma:

n

H X pi log pi E log PX x
i 1

Prin urmare entropia poate fi privit ca o medie a informaiei

x log x 0 .
totale. n evaluarea entropiei vom considera 0 log 0 0 lim
x 0

14

2.1.3 Proprietile entropiei

Dac notm cardinalul mulimii evenimentelor

X n

obinem

urmtoarea inegalitate remarcabil:

Teorem. Dac variabila aleatoare X definit pe setul
evenimentelor X cu n cardinalul acestei mulimi atunci
H X log n

Demonstraie.
n

H X pi log pi pentru care

i 1

pi 1
i 1

pi i 1,2...n

Ne propunem determinarea distribuiei

care

asigur entropia maxim n restricia pi 1 . Aplic metoda

i 1

multiplicatorilor Lagrange i formm lagrangiana :

n

i 1

L p, pi log pi

i 1

p i 1

L p,
log pi 1 0 i 1,2...n
pi

Prin urmare:
log pi 1

i deci

pi p j i , j .

i 1, n

Prin urmare:
p1 p2 .... pn

1
n

iar valoarea maxim a entropiei obinut n cazul evenimentelor

echiprobabile va fi
n
1
1
H max log log n
n
i 1 n

Prin urmare

15

H X H max log n

Lema. Entropia H X 0 (egalitatea are loc n cazul unei surse

deterministe).
Demonstraia este imediat.
2.1.4 Entropia cumulat i entropia condiionat.
Considerm dou cmpuri de probabilitate dup cum urmeaz:
x
X 1
p1

x2

p2

xn

pn

y
Y 1
q1

y2
q2

i 1

j 1

ym

q m

pentru care, evident pi 0, pi 1, q j 0, q j 1 .

Dac evenimentele considerate sunt independente, apariia unui
eveniment cumulat

xk , yl este caracterizat de probabilitatea

nkl p k ql k 1, n , l 1, m .
n

Evident:
m

k 1

l 1

nkl pk ql pk ql 1

K 1 l 1

k 1 l 1

n cazul n care evenimentele sunt independente entropia

evenimentului cumulat va fi:
n

k 1

l 1

H X , Y nkl log nkl p k ql log p k ql pk log pk ql

k 1 l 1

k 1

l 1

k 1 l 1

pk ql log ql H X H Y

Prin urmare entropia n cazul evenimentelor independente

entropia evenimentului cumulat va fi:
H X ,Y H X H Y

16

Lucrurile se schimb dac evenimentele sunt dependente.

Astfel, dac fixm evenimentul xk X apariia unui eveniment din Y
este supus unei probabiliti condiionate dup schema :
y
xk 1
qk1

ym

qkm

y2
qk 2

Verificm cu uurin c schema probabilistic prezentat

constituie un cmp complet de evenimente
n

k 1

l 1

pk qkl pk qkl 1
k 1 l 1

Entropia cmpului de evenimente Y condiionat de apariia

evenimentului xk va fi:
m

H k Y H qk1 , qk 2 ,...., qkm qkl log q kl

l 1

Entropia experimentului Y condiionat de experimentul X va fi:

H X Y H Y X pk H k Y p k qkl log qkl
n

k 1

k 1 l 1

Revenind la entropia evenimentului cumulat:

n

H X ,Y nkl log nkl pk qkl log pk qkl

k 1 l 1

k 1 l 1

pk qkl log pk pk qkl log qkl

k 1 l 1

Prin

k 1 l 1

pk log pk qkl pk qkl log qkl H X H Y X

k 1
l 1
k 1
l 1

urmare, entropia evenimentului cumulat poate fi exprimat n forma:

H X , Y H X H Y X

ntr-un mod cu totul similar putem obine:

H X ,Y H Y H X Y

n urma elementelor anterior prezentate putem enuna cteva

elemente cu caracter definitoriu. Considernd evenimentul cumulat

17

X , Y , informaia proprie pentru perechea x, y x X , y Y va fi dat

de:

n care

I x, y log PX ,Y x, y

PX ,Y ,

reprezint legea de distribuie a probabilitii pentru

evenimentul X , Y .
Definiie. Definim entropia evenimentului cumulat prin:
H X ,Y

P x, y log P x, y E log P X , Y
X ,Y

X ,Y

x , y X Y

Definiie. Entropia condiionat

X ,Y

H Y X

H Y X PX x PY
x ,u X Y
x X

se definete n forma:

y x log P y x
Y X

Relaia de definiie mai poate fi scris n forma :

H Y X

P x H Y

x X

E log PY

X x

Y X

x , y X Y

PX ,Y x, y log PY

y x

2.1.5 Proprieti ale entropiei cumulate i condiionate.

Reamintim c anterior am stabilit interdependena dintre
entropii pentru evenimentul cumulat:
H X ,Y H X H Y X H Y H X Y H Y , X

Inegalitatea lui Jensen. Fie funcia

n

f x : R R

convex i constantele i 0 cu i . n aceste condiii:

i 1

i f ti f
n

i 1

i 1

ti

o funcie

18

Egalitatea se impune n cazul i numai n cazul t1 t 2 ... t n .

Lema.(Inegalitatea log-sum). Pentru oricare numere nenegative
a1 , a 2 ,...a n i b1 , b2 ,...bn :
n

a
ai log i

bi
i 1
n

ai

i 1
ai log n
i 1
b

i 1

f x x log x

Demonstraie. Pentru funcia convex

aplic

inegalitatea lui Jensen cu :

bi

si xi

b
j 1

ai
i 1, n
bi

n notaiile introduse inegalitatea Jensen devine:

ai
ai

log

n
b
b
i 1

i
i
bj

bi

j 1

ai

n
i 1
b j bi
n

bi

j 1

a
log n
i
i 1 b bi

j
j 1

bi

sau
n

a
1
ai log i n
n
bi
bj
bj
1

j 1

ai

i 1
ai log n

i 1

b
n

j 1

i 1

Simplificnd elementar obinem inegalitatea formulat.

Lema. Realizarea evenimentului Y determin o diminuare a
entropiei evenimentului X
HX Y H X

cu excepia cazului n care evenimentele X i Y sunt independente.

19

Demonstraie. Considerm diferena:

H X HX Y

x, y

X Y

PX ,Y log

P x, y log P x

PX Y x y PY y
PX x PY y

PX ,Y x, y log
x , y X Y

X ,Y

x , y X Y

x, y

X Y

P x. y
P x P y
X ,Y

x , y X Y
X
x , y X Y

x , y X Y

PX ,Y x, y log PX Y x y

PX ,Y x, y log

PX ,Y x, y

PX x PY y

Prin urmare:
HX Y H X

egalitatea este posibil n cazul evenimentelor independente.

Lema. Entropia este aditiv pentru evenimente independente:
H X ,Y H X H Y

Exemplu. Fie un experiment cumulat caracterizat de urmtoarea

matrice a probabilitilor ce caracterizeaz un astfel de experiment :
X
Y
1
2
3
4

1
1
16 32
1
1
1
16
8
32
1
1
1
16 16 16
1
0
0
4

32

32
1
16
0

Distribuia marginal pentru X este 1 , 1 , 1 , 1

marginal pentru Y este

14 , 14 , 14 , 14

8 iar distribuia

. Obinem cu uurin

20

entropiile celor dou cmpuri de evenimente H X

7
4

bii i H Y 2

bii. Putem calcula :

H X Y p Y i H X Y i
4

i 1

1
1
H 1 , 1 , 1 , 1 H 1 , 1 , 1 , 1
2 4 8 8 4
4 2 8 8
4
1
1
H 1 , 1 , 1 , 1 H 1 , 0 , 0 , 0
4 4 4 4 4
4
1 7 1 7 1
1
11
2 0
biti
4 4 4 4 4
4
8

mod

similar

determinm

H Y X

13
biti .
8

Entropia

evenimentului cumulat va fi :
H X , Y H X H Y X

7 13 27

biti
4 8
8

2.2 Informaia mutual.

Pentru dou cmpuri de variabile aleatoare X i Y informaia
mutual ntre X i Y permite o evaluare cantitativ a reducerii
incertitudinii asupra lui Y prin cunoaterea lui X .
Informaia mutual I X ;Y H X H X Y
Este uor de evideniat faptul c informaia mutual este o funcie
simetric.
H X ;Y H X H Y X H Y H X Y

Prin urmare:
I X ;Y H X H X Y H Y H Y X I Y ; X

2.2.1 Proprieti ale informaiei mutuale.

Lema ce va fi prezentat pune n eviden cteva proprieti
fundamentale ale informaiei mutuale.

21

Lema.
1. I X ;Y PX ,Y x, y log
x X yY

PX ,Y x, y
PX x PY y

2. I X ;Y I Y ; X
3. I X ;Y H X H Y H X , Y
4. I X ;Y H X inegalitatea se transform n egalitate numai
dac

X f Y

pentru

oricare.

5. I X ;Y 0 inegalitatea se transform n egalitate numai dac X

i Y sunt independente.
Demonstraie. Proprietile 1,2,3 i 4 sunt uor deductibile din
nsi modul de definire a informaiei mutuale. Cea de a cincia
proprietate este rezultatul imediat al faptului c

H X Y H X .

Distana dintre dou variabile aleatoare X i Y poate fi definit ca

diferena dintre entropia evenimentului cuplat i informaia mutual n
forma :
D X , Y H X ,Y I X ,Y
Cantitatea astfel definit satisface cadrul axiomatic pentru a o
impune ca distan:
D X ,Y 0
D X , X 0
D X ,Y D Y , X
D X , Z D X ,Y D Y , Z 2

Demonstraia , altfel foarte simpl , poate fi fcut de cititorii interesai.

22

Entropia relativ sau distana Kullback-Leibler ntre dou

distribuii p x i q x asociate unei aceleai surse X se definete n
forma :
DKL p, q

p x
x

p x log q

xX

Entropia relativ satisface DKL p q 0 . Inegalitatea devine

egalitate numai dac p x q x , x X .3 De observat c n general
DKL p q DKL q p i din acest motiv nu reprezint de fapt o
distan. Mai este cunoscut i sub denumirea de funcie
discriminant.
2.3 Caracterizarea entropic a sistemelor de transmitere de
date.
Transmiterea de date (informaii) poate fi considerat un exemplu
particular a experimentului compus. n acest sens vom considera :
sursa sistemului

de transmitere de informaii ca fiind

experimentul X
reprezentat de cmpul de probabilitate X , x, p x
x1
X
p x1

unde

xi i 1, n

x2

p x2

xn

p xn

reprezint simbolurile alfabetului sursei iar

p xi 0 probabilitatea ca s fie emis simbolul xi . n aceste

condiii sursa va fi caracterizat de entropia :

3

Inegalitatea lui Gibbs.

23
n

H X p xi log p xi
i 1

recepia sistemului de transmitere a informaiei ca fiind

experimentul Y

caracterizat prin cmpul de probabilitate

Y , y, p y :
y2

p y 2

y1
Y
p y1

unde

y j j 1, n

yn

p y n

reprezint simbolurile alfabetului di recepie iar

p y j probabilitatea ca s fie recepionat simbolul y j . Recepia

va fi caracterizat de entropia:
H Y p y j log p y j
n

j 1

Experimentul cumulat care caracterizeaz transmiterea informaiei

X , Y const n realizarea evenimentului x , y adic recepia

i

simbolului

yj

dac a fost emis simbolul xi caracterizat prin cmpul

de probabilitate X , Y , x, y , p x, y n care p xi , y j 1 .
n

i 1 j 1

Evident pentru evenimentele experimentului cumulat

p x , y p x i p x , y p y .
n

j 1

i 1

Entropia experimentului cumulat va fi :

H X , Y p xi , y j log p xi , y j
n

i 1 j 1

n cazul n care transmisia se face pe un canal neperturbat ,

cunoaterea cmpului de evenimente din recepie permite identificarea
complet a semnalului emis ; n realitate canalele sunt perturbate nct
aproape ntotdeauna va exista o incertitudine n raport cu semnalul

24

emis. Valoarea medie a acestei incertitudini reprezint entropia

evenimentului X condiionat de cmpul Y i se noteaz

HX Y .

Pentru determinarea acestei entropii trebuie luat n considerare

probabilitatea condiionat

p xi y j

recepionarea evenimentului

yj

care reprezint probabilitatea ca

s indice n emisie evenimentul xi :

p xi y j

p xi , y j
p y j

relaie care simplificator se noteaz fr indici

p x y

p x, y
p y

O astfel de notaie impune ca :

n

p xi p x
i 1

p y p y
n

si

x X

j 1

yY

n mod similar se poate defini probabilitatea de a recepiona

simbolul

yj

atunci cnd se emite xi :

p y j xi

Probabilitile
x X , y Y

p xi , y j
p y j

condiionate

p x, y
p y x
p y

p x y si p y x

oricare

nseamn de fapt cunoaterea canalului de comunicaii i

permit evaluarea entropiilor condiionate

condiionat

pentru

HX Y

H X Y si H Y X .

Entropia

d o msur a echivocului care se manifest

asupra lui X cnd se cunoate Y. Din acest motiv aceast entropie mai
este denumit echivocaie . Entropia

H Y X

reprezint incertitudinea

asupra cmpului din recepie Y cnd se cunoate emisia prin cmpul X

. Din acest motiv ea este cunoscut i ca entropie de dispersie sau
irelevan.

25

Din punct de vedere a transmisiei de informaie cea mai interesant

relaie ntre entropii este :
I X ,Y H X H X Y

unde I X , Y caracterizeaz cantitatea de informaie medie ce trece

prin canal i reprezint valoarea medie a informaiei ce se obine
asupra cmpului de intrare (emisie ) X prin cunoaterea recepiei Y ;
uzual este definit ca transinformaie.
Valoarea maxim a transinformaiei se numete capacitatea
canalului , C max H X H X Y
relaie n care maximizarea se va face dup setul de probabiliti cu
care

se presupune c sunt utilizate simbolurile x1 , x2 ,...xn . n

relaia prezentat capacitatea canalului se msoar n bii. Unii autori

definesc capacitatea canalului prin raportare la timp :
Ct

C max I X , Y

unde reprezint durata medie a unui simbol transmis . n acest caz

capacitatea se msoar n bii/secund.
Diferena dintre capacitatea canalului i transinformaie se definete
ca redundana canalului , exprimat absolut n forma:
RC C I X , Y

sau prin valoarea relativ:

C 1

unde termenul C

I X ,Y
C

I X ,Y
1 C
C

reprezint eficiena canalului indicnd ct

de mult se apropie transinformaia de valoarea maxim.

n mod similar , se poate defini o redundan a sursei ca diferen
dintre valoarea maxim a entropiei sursei i valoarea ei real :

26

RS H max X H X

sau n valori relative :

S 1

H X
H max X

Presupunnd c simbolurile unei surse sunt emise cu o vitez fix

vS simbol

sec atunci se poate defini viteza (rata) de transmitere a sursei

VS vS H X biti

sec .

2.3 Caracterizarea entropic a canalelor de comunicaii.

n mod natural un canal de comunicaii se impune a fi caracterizat
pe baza unui model continual a crui structur i parametrii depind de
caracteristicile constructive i de material asociate canalului analizat.
Se impune precizarea c n transmiterea informaiei prin semnal
continuu x t nu se nelege o funcie continu n sens strict
matematic , ci doar faptul c semnalul x poate fi evaluat la orice
moment de timp. n acest sens semnalul poate fi determinist sau
aleatoriu , periodic sau neperiodic. O astfel de abordare permite
evaluarea comportrii canalului n prezena unor factori exogeni care
afecteaz semnalele utile vehiculate prin canal i care sunt definite ca
perturbaii.
n general semnalul recepionat

y t

difer de semnalul emis x t

din multiple motive ce pot fi agregate prin dou cauze fundamentale :

27

oricare canal are o band de trecere limitat. Un semnal cu un

spectru larg va fi puternic deformat determinnd o pierdere
informaional.
canalul este afectat de perturbaii externe care pot afecta
considerabil coninutul informaional.
n cazul unui canal discret , pe baza unei analize la nivel continual,
putem elabora un model probabilist al canalului mult mai uor de
exploatat dect un model continual. Pe un astfel de model canalul va
fi caracterizat prin :
alfabetul de intrare x x1 , x2 ,...xn
alfabetul de ieire y y1 , y 2 ,... y m
legea de tranziie definit prin probabilitile condiionate
p y j xi

deci a probabilitii ca s fie recepionat semnalul

yj

dac a fost emis semnalul xi .

Canalul este staionar dac pentru oricare pereche

x , y
i

probabilitatea p y x nu depinde de timp. Canalul este fr memorie

j

dac probabilitatea p y x
j

nu depinde de natura semnalelor

transmise anterior.
Dac vom nota p j p y x , legea de tranziie
i

va fi

caracterizat de matricea :
p1 1

p 2 1

p 1
n

p1 2
p2 2

pn 2

p1 m

p2 m

p n m

Matricea este o matrice stocastic. Ea caracterizeaz perturbaia

pe canal i din acest motiv este cunoscut ca matrice de zgomot.

28

Dac fiecare linie conine numai permutri ale probabilitilor

p1 , p 2 ,..... p m canalul se numete uniform fa de intrare.

Dac fiecare coloan conine numai permutri ale setului de

probabiliti q1 , q 2 ,....qn canalul se numete uniform fa ieire.
Un canal uniform fa de intrare i de ieire se numete dublu
uniform , situaie n care m n .
n cazul n care alfabetele de intrare i de ieire sunt identice i
pentru orice pereche

i j , pi j p m

1 q
const. , q
m 1

reprezentnd

probabilitatea recepionrii fr eroare , canalul se numete simetric.

Capacitatea unui canal discret simetric se obine prin maximizarea
transinformaiei :

C max H Y H Y X H 1 ,1 m ,... 1 pi j log pi j

m
m j 1
m

C log m pi j log pi j
j 1

Un caz particular l constituie canalul simetric la care trecerile

ctre acelai indice se fac cu aceeai probabilitate , iar celelalte treceri
se fac cu alte probabiliti , ns egale pentru toate trecerile. Dac
notm p probabilitatea ca un simbol s fie eronat , matricea de zgomot
va fi :
1 p

1 p

1 p

,q

p
;mn
m 1

Capacitatea unui astfel de canal va fi :

p
p
log

n 1
n 1
log n 1 p log1 p p log p p log n 1.

C log n 1 p log1 p n 1

29

n echipamentele de transmitere de date , la care n majoritate se

transmit simboluri binare , canalul cel mai des ntlnit este canalul
binar simetric , caracterizat de urmtoarea matrice de zgomot :
q
1 p
p
, q
p,m2
q
1

p
m
1

Capacitatea unui astfel de canal este dat de :

C 1 1 p log1 p p log p

Viteza de transmisie a informaiei pe un canal discret este

inferioar vitezei medii de transmitere a informaiei de ctre surs :
VS H X vS deoarece apar erori pe parcursul canalului. Astfel dac

probabilitatea de transmisie corect este

p 0.95

, atunci , n medie ,

la fiecare 1000 de simboluri emise numai 950 de simboluri sunt

recepionate corect. n aceste condiii am putea spune c debitul de
informaie pe canal DC este de 950 bii/secund. O astfel de
interpretare (prin diferen) este total eronat deoarece dac am
considera o probabilitate de eroare

p 0.5

ar rezulta un debit de

informaie transmis de 500 bii/secund cnd de fapt informaia

vehiculat este nul.
Inconsistena definiiei prin diferen va fi nlturat dac inem
cont de informaia pierdut ( echivocaia). Vom defini debitul de
informaie transmis pe canal Dt :
Dt H X H X Y v S I X , Y v S

Erorile care apar n procesul transmiterii informaiei ntr-un canal

binar pot fi singulare sau grupate n pachete. Pentru o caracterizare
statistic complet a unui canal trebuie luai n considerare urmtorii
parametrii :

30

probabilitatea de eroare a unui simbol

repartiia intervalelor fr erori
probabilitatea apariiei pachetelor de erori de o anumit
lungime
repartiia erorilor multiple ntr-o secven de o anume lungime
Complexificarea modelelor asociate canalului conduce la evaluri
cantitative mult superioare modelului prezentat dar cu dificulti
serioase n abordare.

3. Codificarea informaiei.
3.1 Definiii.
Definiia 1. Fie A un ansamblu discret i N un ntreg pozitiv.
Vom reprezenta prin A N un N- uplu ordonat de elemente din A :
A N x1 , x2 ,....x N

xi A

n
Vom nota elementele lui A n prin x x1 ...xn , xi A . Vom nota

A ansamblul tuturor secvenelor de lungime finit formate din

elemente ale lui A.

31
A A n
n

Fie x A o secven de simboluri aparinnd lui A . Vom nota cu

l x 0

lungimea secvenei x , astfel c :

x x1 ....xl x x Al x

Definiia 2. Cod de simboluri binare. Fie X i X , i 1,2....

simbolurile emise de sursa X . Un cod de simboluri binare C pentru o

surs X o aplicaie de la X n 0,1 , care face s corespund fiecrui

element din X o secven binar de lungime finit :

C : X 0,1
x c x

Vom nota C X ansamblul tuturor cuvintelor de cod asociate

valorilor sursei :

C X c 0,1

x X , c c x

Definiia 3. Cod binar extins C . Fie X i X , i 1,2,... simbolurile

emise de ctre o surs i C un cod asociat acestei surse. Codul extins
C constituie o aplicaie de la X 0,1

care face ca fiecrei

secvene de simboluri din X s i corespund o secven de simboluri

din 0,1 printr-o adecvat concatenare a simbolurilor de cod :

C :

X 0,1
x1 x 2 ..xn c x1 c x2 ...c xn

Definiia 4. Cod unic decodabil. C este un cod unic decodabil dac

C este o aplicaie injectiv :
x n , y m X

c x n c y m

Definiia 5. Fie C un cod pentru sursa X . C este un cod cu prefix

dac nici un cuvnt de cod nu constituie nceputul unui alt cuvnt de
cod :

32

c2 c1c , c1 C X , c 0,1 c2 C X

O astfel de proprietate garanteaz ca un cod s fie unic decodabil :

C un cod cu prefix C este un cod unic decodabil.
Unui cod cu prefix i se poate asocia un graf de tip arbore binar la
care cuvintele de cod constituie vrfuri ale arborelui.
1

001

010

1
011

100

101

110

Adncimea arborelui de cod k este dat de lungimea maxim a

cuvintelor de cod generate.

k max l c x
x X

Pe fiecare nivel n al arborelui de cod numrul maxim de cuvinte de

cod este :
N n 2n

Lema 1. Numrul secvenelor binare distincte de lungime mai mic

sau egal cu n este :
n

m 1

m 1

M n N m 2m 2

2 n 1 n1
2 2
2 1

Lema 2. ntr-un arbore binar , numrul de descendeni la nivelul n

n raport de un nod la nivelul m n va fi 2 nm .
Lema 3. ntr-un arbore binar corespunztor unui cod C , dac c1
nu constituie un prefix pentru c2 , descendenii lui c1 i c2 sunt
mulimi disjuncte.

33

Dac n parcurgerea arborelui pe sens descendent vom fi

consecveni n a nota ramura din stnga cu 0 iar ramura din dreapta cu
1 secvenele binare asociate nodurilor pe un anumit nivel vor fi

ordonate lexicografic. Proprietatea poate fi generalizat pe 0 ,1 n n

0 ,1 asupra tuturor secvenelor binare de lungime finit :

c ' c1c , c 0,1 , c1 c2 c ' c1 c' c2

Prin urmare condiia de prefix impune ca nici unul din cuvintele de

cod s nu aib ca rdcin un alt cuvnt de cod.

3.2 Inegalitatea Kraft-McMillan.

Inegalitatea Kraft-McMillan fixeaz o prim restricie asupra
lungimii cuvintelor de cod dintr-un cod unic decodabil.
Teorema 1. Inegalitatea lui Kraft.
Fie X o surs i C un cod de simboluri binare unic decodabil
asociat sursei X. Atunci :

2 l c x

xX

l c x . Exist 2 l secvene binare

Demonstraie. Fie l max
xX

distincte de lungime l . Fiecare cuvnt de cod de c x , x X are un

numr de descendeni 2 l l c x . Cum mulimile descendenilor sunt
disjuncte rezult:
2l

2 l l c x

xX

sau imediat

2 l c x

xX

Teorema 2. Inegalitatea Kraft- McMillan i coduri cu prefix.

34

Fie n x 0 , x X un ansamblu de numere ntregi i pozitive care

2
satisfac inegalitatea Kraft-McMillan x
X

n x

. Atunci exist un cod

cu prefix C de lungime l x n x , i care obligatoriu va fi unic

decodabil.
Demonstraie. Considerm c mulimea ntregilor n x

este

ordonat descresctor:
n x1 n x2 ....... n xm

Cuvintele de cod se aleg printr-o procedur iterativ astfel ca n

final s rezulte o ordonare lexicografic a acestora. Prin construcie va
rezulta un cod cu prefix. Vom ncepe prin a impune :

c x1 0....0 0 ,1

n x1

n x
i succesorul lui c x1 , c x2 0 ,1
se alege n forma :
2

c x2 00....10..0 0 ,1

n x2

(al n x1 bit se alege 1).

Cuvintele de cod rmase c xi , i 3.... X se fixeaz iterativ prin

urmtoarea procedur cuvntul de cod c xi va fi secvena de
lungime l n xi cel mai mic n ordonarea lexicografic i care nu are
ca prefix un cuvnt de cod format n iteraiile anterioare

c x1 ...c xi 1 . Numrul cuvintelor de cod care nu sunt descendeni

ai cuvintelor de cod deja fixate satisface:
2l 2
j i

l n x j

2l 2l 2
j i

n x j

2l 2l 2

n x j

j 1

2l 2l 0

deoarece prin ipotez n x satisface inegalitatea lui Kraft . Astfel se

garanteaz existena cel puin a unui cuvnt de cod de lungime n xi .
Prin urmare cuvntul de cod c xi se va alege ca cel mai mic (pentru
ordonare lexicografic) cuvnt de cod disponibil.

35

Observaii.
Procedura iterativ prezentat permite generarea unui cod cu
prefix (deci unic decodabil) ordonat lexicografic.
Rezultatul obinut ne permite analiza numai asupra codurilor cu
prefix deoarece pentru oricare cod unic decodabil care satisface
inegalitatea Kraft pot determina un cod cu prefix avnd o
aceeai lungime a cuvintelor de cod.
Definiie. Cod complet. Un cod C este un cod complet dac
lungimea cuvintelor de cod satisface inegalitatea lui Kraft ca egalitate.
Pentru un astfel de cod fiecare nod al arborelui binar asociat
constituie un vrf sau are doi descendeni.
Lema. Fie X o surs caracterizat prin probabilitile

p x , x X

Atunci exist un cod cu prefix avnd lungimea cuvintelor de cod :

1
l x log
, x X
p x

Demonstraie. Este suficient s artm c pentru o astfel de alegere

a lungimii cuvintelor de cod inegalitatea lui Kraft este satisfcut.

1
log

p x

xX

3.3 Codarea surselor.

xX

log

1
p x

2 log p x

xX

36

Definiie. Lungimea medie a unui cod. Fie codul C asociat unei

surse X caracterizat prin probabilitile p xi , xi X . Lungimea
medie a codului C se definete ca :
LC X

p x l c x

xX

Teorema. Teorema de codare a surselor. Fie sursa X avnd entropia

H X .

Exist un cod de prefix C pentru care lungimea medie a

cuvintelor de cod satisface :

H X LC X H X 1

Demonstraie.
Pentru a demonstra limitarea superioar este suficient s calculm
lungimea medie a cuvintelor de cod la care lungimea acestora este

1
aleas conform unei teoreme precedente n forma l x log p x .

LC X

p x

x X

log

1
1
p x log
1 H X 1 4

p x xX
p x

Prin urmare lungimea unui cod optimal va fi mai mic dect limita
superioar impus.
Definiie. Redundana. Redundana unui cod C asociat unei surse X
este mrginit de entropia relativ :
R LC X H X D p qC

p x
p x log q x
xX
C

n care qC x este de forma :

2 l c x
qC x
2 l c x
xX

n demonstraie ne bazm pe inegalitatea x x 1

x X

37

Demonstraie.
Notm :
s

2 l c x 1

xX

conform inegalitii lui Kraft.

Din modul de definire a lui qC x :
s 1 log s 0 s 1 log s 0
l c x
2 qC x s l c x log qC x log s

Dac utilizm definiia entropiei redundana R se obine n forma:

R LC X H X

p x l c x p x

xX

log

p x log qC x log s p x log p x

xX

p x

x X

sau prin prelucrri elementare :

R p x log

p x
log s D p qC log s
qC x

Relaia obinut pune n eviden entropia relativ ntre p i qc .

Cum D p qC 0 iar s 1 log s 0 putem deduce c :
R D p qC 0
Rezultatul prezentat permite o demonstraie simpl n raport de
limita inferioar impus de teorem. Cum entropia relativ este
nenegativ :
R 0 LC X H X 0 LC X H X
Observaie. Pentru a obine un cod optim sub raportul lungimii
cuvintelor de cod este necesar ca :
LC X H X

38

ceea ce nseamn log s 1 s 0 . Prin urmare codul este complet i

D p qC 0 qC x p x
ceea ce implic :
l c x log

1
, x X
p x

Teorema. Codarea surselor cu ajutorul codurilor bloc.

Fie sursa X cu probabiliti asociate p x , x X . Pentru 0
exist un cod bloc Cn de lungime n a crui lungime medie satisface :
LC X H X
n

Demonstraie. Demonstraia este o simpl aplicaie a teoremei

precedente. Entropia unui ansamblu de n variabile X n este :

H X n n H X .
n baza teoremei precedente :

LC X n H X n 1 n H X 1
Lungimea raportat la un simbol al sursei considerate va fi :
LC X
n

LC X n
n

H X 1

Dac alegem n astfel ca :

1

n
codul considerat satisface condiia impus.
Exemplu. Pentru sursa X 1, 2,3,4 cu probabiliti asociate
1 1 1 1
PX , , ,
se consider urmtoarea schem de codare
2 4 8 8
c 1 0, c 2 10, c 3 110, c 4 111.

39

Entropia sursei se evalueaz simplu n forma :

1
1 1
1 1
1 1
1
H X log log
log

log

2
2 4
4 8
8 8
8
1 1 3 3
1.75
2 2 8 8
Pentru codul propus lungimea medie a cuvintelor de cod va fi :
1
1
1
1
L X 1 2 3 3 1.75

2
4
8
8
Pentru situaia considerat observm c L X H X i prin
urmare codul considerat este optim n raport cu lungimea medie a
cuvintelor de cod . Optimalitatea codului poate fi apreciat i din
faptul c l i log

1
, i 1,2,3,4.
p i
1
0

1
0

111

110

10

0
0

Figura

Arborele asociat
codului.

n figura..este prezentat arborele asociat codului considerat . Din

simpla analiz a acestuia rezult c acest cod este un cod cu prefix
unic decodabil.

40

Exemplu 2. Pentru sursa considerat n exemplu 1 vom asocia un

cod bloc de lungime doi dup cum urmeaz :
c 1 00, c 2 01, c 3 10, c 4 11
Lungimea medie a cuvintelor de cod este L C 2 i prin urmare
este mai puin economic dect codul anterior. n orice caz codul
satisface teorema fundamental :
H X 1.75 L C 2 H X 1 2.75
Exemplu 3. Pentru sursa considerat n exemplu 1 considerm
urmtoarea schem de codare :
c 1 0, c 2 1, c 3 00, c 4 11.
Lungimea medie a cuvintelor de cod va fi :
1
1
1
1
5
L C 1 1 2 2 1.25

2
4
8
8
4
Pentru acest cod lungimea medie a cuvintelor de cod este mai mic
dect entropia sursei :
L C 1.25 H X 1.75
dar codul nu este unic decodabil. Dac considerm un mesaj 134213
acesta va fi codificat n forma :

134213 000111000
Aceeai secven de cod corespunde i pentru mesajul 312431 .
Exemplu 4. Considerm cazul sursei prezentate n exemplu 1
pentru care introducem urmtoarea schem de codare :
c 1 0, c 2 01, c 3 011, c 4 111

41

Lungimea medie a cuvintelor de cod va fi :

1
1
1
1
7
L C 1 2 3 3 1.75

2
4
8
8
4
Secvena 134213 va fi codificat n forma :

134213 0011111010011
este unic decodabil.