Sunteți pe pagina 1din 42

1. Introducere.

Teoria informaiei s-a impus n comunitatea oamenilor de tiin i


n special a inginerilor fixnd un cadru general de abordare a problemelor
legate de comunicaii (telecomunicaii). Acest cadru teoretic permite
definirea i evaluarea performanelor precum i a unor limite
fundamentale pentru diverse sisteme de comunicaii. Rezultatele iniiale
au fost obinute de inginerul englez Claude Shannon i au fost orientate
n a stabili modul de organizare a unui sistem de transmitere a informaiei
pe canale perturbate astfel ca probabilitatea recepionrii unor semnale
eronate s fie mai mic dect o valoare impus. Cum vehicularea
informaiei este puternic dependent de tipul i proprietile canalului
utilizat a fost definit capacitatea unui canal de comunicaii. Pentru o
corect definire a problemelor analizate s-a introdus noiunea de surs
aleatoare de semnale discrete (care substituie conversia i transmisia
semnalelor video sau audio). Aceste surse sunt n general extrem de
complexe ; prelucrarea primar n ideea transmiterii la distan produce
distorsiuni n raport de forma real iniial. Astfel de surse sunt definite
ca surse entropice.
Pornind de la lucrrile de pionierat elaborate de Shannon , teoria
informaiei a fost dezvoltat ulterior permind lrgirea cadrului n care
aceast teorie este aplicat cu succes. Domeniul de aplicabilitate este
foarte larg . n continuare vom enumera numai cteva domenii de
aplicabilitate:
fizica statistic (termodinamic , fizic cuantic)
1
tiina calculatoarelor ( complexitatea algoritmilor , probleme de
calculabilitate)
teoria probabilitilor ( teorema limitei centrale)
statistica matematic ( testarea ipotezelor statistice , teoria
informaiei de tip Fisher , teoria estimaiei)
economie
biologie
criptografie ( securizarea transmiterii datelor)
reele de comunicaii
n cadrul acestui curs vom orienta abordarea ctre problematica
transmiterii i memorrii datelor informaionale.
1.2 Modelul general al sistemului de transmitere a informaiei.
Schema cea mai general a unui sistem de transmitere a informaiei
este prezentat n figura 1.1
figura 1.1
Sursa Codificator
de surs.
Codificator de
canal
Modulator
Receptor Decodor de
surs
Decodor de
canal
Demodulator
Canal
2
Sursa primar este modelat n general ca generator de semnal
aleatoriu discret sau continuu.
Codorul de surs realizeaz conversia semnalului dat de surs
pentru a obine o compactare a semnalului oferit de surs ,
eliminnd elementele lipsite de coninut sau redundante
(compactarea semnalului iniial).
Codorul de canal realizeaz o conversie a semnalului astfel nct
acesta s poat fi reprodus la recepie cu o ct mai mare fidelitate.
n general este necesar introducerea unei redundane pentru ca
recepie semnalul s fie recunoscut chiar dac acesta a fost
modificat datorit unor perturbaii mai mult sau mai puin
puternice ce apar pe canalul de transmisie.
Modulatorul transmiterea pe canale perturbate a unor semnale de
tip tot sau nimic (impulsuri rectangulare) este puternic afectat
de zgomotele perturbatoare. n general , semnalele obinute de la
codorul de canal sunt compuse pe o purttoare sinusoidal
( semnalul iniial, i care formeaz intrarea n modulator modific
unul din parametrii unui semnal sinusoidal i care se transmite pe
canal).
Canalul fizic mediu prin intermediu cruia se transmite
informaia i asupra cruia acioneaz zgomotele perturbatoare. n
cazul nostru vom modela efectul perturbaiilor prin probabilitatea
ca un semnal s fie recepionat eronat de ctre receptor.
3
Canalul receptor compus din demodulator, decodor de canal,
decodor de surs realizeaz operaii inverse n raport cu cele din
canalul de emisie.
1.3 Introducere n teoria informaiei.
n continuare vom formula o serie de ntrebri i vom prezenta
rspunsuri ntr-o form ct mai simpl n raport cu o serie de ntrebri
care se impun natural n subiectul prezentat.
i) Ce reprezint informaia ?.
Informaia reprezint un mesaj ateptat i recunoscut de ctre
receptor dar incert n faza iniial. Oricare mesaj recepionat care
ofer rezultate cunoscute nu nltur nici o incertitudine i prin urmare
nu aduce nici o informaie. Prin urmare numai eliminarea unei
incertitudini poate aduce informaii. O astfel de abordare va conduce
la posibilitatea definirii nu numai a informaiei dar i a cantitii de
informaie care s o poat defini cantitativ.
Dup ce am obinut informaia problema care se pune este de a o
memora sau vehicula.
ii) Cum reprezentm informaia n ideea memorrii sau
vehiculrii ct mai comod.
Cel mai eficient i totodat natural mod de a memora sau
vehicula informaia este introducerea unor simboluri i a unor reguli
de concatenare a acestor simboluri. Astfel n limba romn exist 24
de simboluri i prin concatenarea acestora putem transmite sau
memora oricare mesaj. Un alt exemplu, mult mai apropiat de
4
preocuprile inginerului, l reprezint concatenarea simbolurilor 0 i 1
(modalitate utilizat n dispozitivelor numerice de calcul sau n cazul
transmisiei de date numerice.
Totalitatea mesajelor ce pot fi formate reprezint un dicionar al
cuvintelor de cod. n funcie de modul de definire, lungimea
cuvintelor de cod poate fi diferit de la un dicionar la un alt dicionar.
iii) Care este forma ce mai economic pentru reprezentarea
unui mesaj informaional ?.
Considerm cazul n care patru evenimente trebuie codate cu
ajutorul simbolurilor 0 i 1. Dintre multitudinea de posibiliti de
formare a unui dicionar n tabelul 1.1 sunt prezentate dou cazuri.
Tabel 1.1
Evenimen
t
Probabilitatea Cod1 Cod2
A 1/2 00 0
B 1/4 01 10
C 1/8 10 110
D 1/8 11 111

Problema care se pune este de a aprecia n ce msur este mai
eficient sau mai puin eficient reprezentarea printr-un cod sau
cellalt cod. Considerm c probabilitatea de apariie a celor patru
evenimente este diferit . Valorile probabilitilor de apariie sunt date
n tabelul 1.1. Prin urmare media biilor de cod utilizai n cele dou
coduri prezentate va fi:
Cod 1
cod de biti n 2 2
8
1
2
8
1
2
4
1
2
2
1
1
+ + +


5
Cod 2
cod de biti n
4
7
3
8
1
3
8
1
2
4
1
1
2
1
2
+ + +
Evident, cel de al doilea cod este mai compact (mai economic) n
raport cu primul avnd o medie a cuvintelor de cod mai mic.
Problema minimizrii lungimii medii va fi analizat ulterior.
iv) Cum poate fi msurat informaia ?.
Am specificat anterior c un mesaj care elimin o incertitudine
este un mesaj purttor de informaie. Cu ct incertitudinea eliminat
este mai mare cu att cantitatea de informaie coninut de acest mesaj
este mai mare. Este normal s considerm c apariia a dou
evenimente elimin o incertitudine care reprezint suma
incertitudinilor eliminate de apariia fiecrui eveniment. n cazul a
dou evenimente a cror probabilitate difer foarte puin diferena
dintre incertitudinile eliminate de fiecare eveniment. De exemplu
pentru dou evenimente cu probabiliti 0.20001 i 0.19999 este
rezonabil s considerm c informaia este aceeai. Vom arta n cele
ce urmeaz c numai funcia logaritmic poate asigura proprietile
anterior remarcate i poate constitui o msur pentru informaia
proprie.
n modul n care am abordat problema cantitatea de informaie
este asociat fiecrui eveniment. Pentru caracterizarea global vom
introduce o funcie care evalueaz informaia medie a unei surse i
care este definit ca funcia entropie.
n exemplu anterior prezentat am artat c evaluarea unui cod
trebuie s se bazeze pe lungimea medie a cuvintelor de cod . O
6
asemenea evaluare poate permite dimensionarea optim a memoriei
necesare nregistrrii mesajelor obinute de la sursa primar.
n 1948 Shannon a artat c cele dou abordri ( prin lungimea
medie a cuvintelor de cod sau prin cantitatea medie de informaie
coninut de surs ) sunt de fapt echivalente. Valoarea minim pentru
lungimea medie a cuvintelor de cod este egal cu entropia sursei.
Pentru cazul prezentat entropia sursei va fi:
4
7
8 / 1
1
log
8
1
8 / 1
1
log
8
1
4 / 1
1
log
4
1
2 / 1
1
log
2
1
+ + +
bii
1
valoare care este identic cu valoarea de minim a lungimii cuvintelor
de cod (cazul celui de al doilea cod introdus).
n cazul n care informaia este transmis pe canale afectate de
zgomot (canale perturbate ) problema se va pune i inerent va fi
soluionat n mod diferit. Dac pentru canale neperturbate ne
propunem exclusiv minimizarea lungimii cuvintelor de cod pentru a
asigura o eficien maxim transmisiei, n cazul canalelor perturbate
este necesar s asigurm o recepionare corect a mesajelor transmise.
n cazul unui canal binar care opereaz pe simbolurile 0 i 1 este
posibil ca datorit perturbaiilor n recepie 1 s fie interpretat ca 0 sau
0 ca 1. Dac impunem transmiterea simbolului s fie repetat de un
numr de ori iar interpretarea n recepie s fie fcut printr-o logic
majoritar probabilitatea de recepionare a unui mesaj eronat scade
foarte mult. Prin urmare creterea redundanei codului crete
fiabilitatea transmisiei dar diminueaz considerabil eficiena . Pentru
cazul considerat transmitem numai
n
1
uniti de informaie pe simbol
1
n cadrul lucrrii vom nota log subnelegnd logaritmarea n baza doi.
7
transmis pe canal. Este normal ntr-o astfel de situaie s analizm
cum putem realiza un compromis ntre eficien i fiabilitate.
v) Fiind dat un canal perturbat cum putem maximiza
eficiena transmisiei pentru o rat de eroare pe fiecare
simbol informaional ct mai mic.
Relum exemplul anterior prezentat n care simbolurile 0 i 1 se
transmit pe canal prin triplare simbolului informaional. Prin urmare
000 0
i
111 1
. Considerm c n urma apariiei perturbaiilor
semnalul este recepionat corect cu probabilitatea 0.9 i eronat cu
probabilitatea 0.1 (canal binar simetric). Un semnal va fi intercepta i
interpretat eronat dac sunt afectai doi sau trei bii. Prin urmare rata
de eroare pentru o astfel de situaie va fi:
( ) ( ) 028 . 0 1 . 0 9 . 0 1 . 0
3
3
3
2
2
3
+ C C
Problema este de a construi un cod care este mai eficient i avnd
o rat de eroare mai mic,
8
2 Msura informaiei pentru evenimente
discrete.
n aceast expunere vom defini msura informaiei pentru
evenimente discrete printr-o abordare probabilistic. O dat stabilit
relaia prin care definim cantitatea de informaie, vom prezente o serie
de proprieti specifice utile n dezvoltrile ulterioare.
2.1 Entropia , entropia cumulat i entropia
condiionat.
2.1.1 Informaia proprie.
Considerm un eveniment E a crui probabilitate de apariie este
Pr(E)=p(E). Vom considera I(E) ca fiind informaia primit n cazul
apariiei evenimentului E reprezentnd i care reprezint informaia
primit prim apariia acestui eveniment. Evident c o astfel de
interpretare are un caracter subiectiv, i n general depinde de la o
persoan la alta. Din acest motiv aceast informaie mai este definit
9
ca informaie proprie. n aceste condiii se pune problema stabilirii
unor proprieti generale ale informaiei.
i) I(E) este dependent de Pr(E)=p(E).
Este normal s considerm c informaia asociat unui eveniment
E este dependent de probabilitatea acestui eveniment
I(E)=I(Pr(E)). Funcia I(E) este definit pe spaiul evenimentelor iar
I(p(E)) pe intervalul [0,1]. Este natural s considerm c cu ct
probabilitatea evenimentului este mai mic cu att informaia
furnizat de acesta este mai mare. Prin urmare I(Pr(E)) este o funcie
descresctoare n raport cu probabilitatea Pr(E) a evenimentului
considerat.
ii) I(Pr(E)) este o funcie continu n raport cu Pr(E).
Introdus axiomatic o astfel de proprietate are un caracter
natural, fiind normal ca informaia adus de dou evenimente a cror
probabilitate difer n mic msur s fie similar, deci diferena
cantitilor de informaie s fie de asemenea mic.
iii) Dac considerm dou evenimente
1
E
i
2
E
independente
) ( ) ( ) (
2 1 2 1
E E E E +
.
Dei proprietatea este introdus axiomatic este evident c
informaia adus prin realizarea simultan a evenimentelor este dat
de suma informaiilor aduse separat de fiecare eveniment.
Bazai pe proprietile introduse vom demonstra c numai funcia
logaritmic poate da o msur a informaiei.
Teorem. Singura funcie definit pe intervalul [0,1] care
satisface proprietile :
i. I(p) monoton descresctoare n p.
ii. I(p) funcie continu pentru
[ ] 1 , 0 p
.
10
iii.
) ( ) ( ) (
2 1 2 1
p I p I p p I +
este funcia logaritmic adic
) log( ) ( p C p I
unde
C
este o
constant pozitiv (baza de logaritmare va fi ulterior precizat
deocamdat nefiind necesar).
Demonstraie.
Demonstraia teoremei va fi fcut urmrind urmtorii pai:
iii) Vom arta c pentru

,
_

,
_



n
C
n
I N n
1
log
1
Conform proprietilor impuse:

,
_

<

,
_

<

m
I
n
I m n cu N m n
1 1
,

,
_

,
_

,
_



m
I
n
I
n m
I N m n
1 1 1
,
Deducem cu uurin aplicnd rezultatele remarcate:

,
_

,
_

N k n pentru
n
I k
n
I
k
,
1 1
O inegalitate cunoscut permite ca pentru

N r fixat i

N n
s determinm
N k
astfel ca
1
2
+

k r k
n n
Utiliznd inegalitatea prezentat i innd cont c funcia
) ( I

este descresctoare obinem:

,
_

,
_

,
_

+1
1
2
1 1
k r k
n
I I
n
I
i deci
( )

,
_

,
_

,
_

n
I k I r
n
I k
1
1
2
1 1
Cum
( ) 0 1
1
>

,
_

I
n
I
11
r
k
n
I
I
r
k 1
1
2
1
+

,
_

,
_

Pe de alt parte, avnd n vedere monotonia funciei logaritmice


1
log 2 log log
+

k r k
n n
sau
( ) n k r n k log 1 2 log log +
Rezult imediat:
r
k
n r
k 1
log
2 log +

Avnd n vedere inegalitile prezentate, prin prelucrri
elementare obinem:
r
n
I
I
n
1
1
2
1
log
2 log
<

,
_

,
_

Cum n este fixat, iar r poate fi ales ori ct de mare


( ) r deci

rezult:
n C
n
I log
1

,
_

unde
0
2 log
2
1
>

,
_

I
C
. Cu aceasta primul pas este ncheiat.
ii) Vom arta c
Q p pentru p C p I log ) (
( oricare p
raional).
Fie numrul raional

N s r
s
r
p ,
. Conform condiiilor
axiomatice

,
_

,
_

,
_

,
_

r
I
s
r
I
r s
r
I
s
I
1 1 1
12
i deci
( )

,
_

,
_

,
_

r
I
s
I
s
r
I p I
1 1
Cum

N s r,
, pe baza rezultatelor obinute la pasul anterior
( )

,
_


r
s
C r C s C p I log log log
( ) p C p I log
iii) Rmne s demonstrm c relaia
( ) p C p I log
este valabil
pentru oricare
[ ] 1 , 0 p
. n baza continuitii admise
( ) ( ) p C a I p I
rational b
p b
rational a
p a
log lim lim

2.1.2 Entropia.
Entropia reprezint msura coninutului informaional total al
unei surse. n continuare vom considera sursele ca o colecie de
variabile aleatoare discrete. Vom neta simplificator, pentru un
eveniment
X x
i

legea de probabilitate
( )
i i
p x x p
. Cmpul de
evenimente discrete va fi reprezentat n forma:

,
_

n
n
p p p
x x x
X
2 1
2 1
Definiie. Pentru sursa X , entropia este definit n forma:
( ) ( ) ( ) x P E p p X H
X
n
i
i i
log log
1

Prin urmare entropia poate fi privit ca o medie a informaiei


totale. n evaluarea entropiei vom considera
( ) 0 log lim 0 0 log 0
0

x x
x
.
13
2.1.3 Proprietile entropiei
Dac notm cardinalul mulimii evenimentelor
n X
obinem
urmtoarea inegalitate remarcabil:
Teorem. Dac variabila aleatoare X definit pe setul
evenimentelor X cu n cardinalul acestei mulimi atunci
( ) n X H log
Demonstraie.
( )


n
i
i i
p p X H
1
log
pentru care
1
1

n
i
i
p
Ne propunem determinarea distribuiei
n i p
i
... 2 , 1
care
asigur entropia maxim n restricia

n
i
i
p
1
1
. Aplic metoda
multiplicatorilor Lagrange i formm lagrangiana :
( )

,
_

+


1 log ,
1 1
n
i
i
n
i
i i
p p p p L
( )
n i p
p
p L
i
i
... 2 , 1 0 1 log
,
+

Prin urmare:
n i p
i
, 1 1 log
i deci
j i p p
j i
,
. Prin urmare:
n
p p p
n
1
....
2 1

iar valoarea maxim a entropiei obinut n cazul evenimentelor
echiprobabile va fi
n
n n
H
n
i
log
1
log
1
1
max

14
Prin urmare
( ) n H X H log
max

Lema. Entropia
( ) 0 X H
(egalitatea are loc n cazul unei surse
deterministe).
Demonstraia este imediat.
2.1.4 Entropia cumulat i entropia condiionat.
Considerm dou cmpuri de probabilitate dup cum urmeaz:

,
_

n
n
p p p
x x x
X
2 1
2 1
i

,
_

m
m
q q q
y y y
Y
2 1
2 1
pentru care, evident
1 , 0 , 1 , 0
1 1



m
j
j j
n
i
i i
q q p p
.
Dac evenimentele considerate sunt independente, apariia unui
eveniment cumulat
( )
l k
y x ,
este caracterizat de probabilitatea
m l n k q p n
l k kl
, 1 , , 1
. Evident:
1
1 1 1 1 1 1



m
l
l
n
k
k l
n
k
m
l
k
n
K
m
l
kl
q p q p n
n cazul n care evenimentele sunt independente entropia
evenimentului cumulat va fi:
( )
( ) ( ) Y H X H q q p
q p p q p q p n n Y X H
m
l
l l
n
k
k
m
l
l
n
k
k k
n
k
m
l
l k l k
n
k
m
l
kl kl
+





1 1
1 1 1 1 1 1
log
log log log ,
Prin urmare entropia n cazul evenimentelor independente
entropia evenimentului cumulat va fi:
15
( ) ( ) ( ) Y H X H Y X H + ,
Lucrurile se schimb dac evenimentele sunt dependente.
Astfel, dac fixm evenimentul
X x
k

apariia unui eveniment din Y
este supus unei probabiliti condiionate dup schema :

,
_

km k k
m
k
q q q
y y y
x
2 1
2 1
Verificm cu uurin c schema probabilistic prezentat
constituie un cmp complet de evenimente
1
1 1 1 1



m
l
kl
n
k
k
n
k
m
l
kl k
q p q p
Entropia cmpului de evenimente Y condiionat de apariia
evenimentului k
x
va fi:
( ) ( )


m
l
kl kl km k k k
q q q q q H Y H
1
2 1
log ,...., ,
Entropia experimentului Y condiionat de experimentul X va fi:
( ) ( ) ( )



n
k
m
l
kl kl k
n
k
k k X
q q p Y H p X Y H Y H
1 1 1
log
Revenind la entropia evenimentului cumulat:
Prin
urmare, entropia evenimentului cumulat poate fi exprimat n forma:
( ) ( ) ( ) X Y H X H Y X H + ,
ntr-un mod cu totul similar putem obine:
( ) ( ) ( ) Y X H Y H Y X H + ,
16
( )
( ) ( ) +

,
_










n
k
m
l
kl kl k
m
l
kl
n
k
k k
n
k
m
l
kl kl k
n
k
m
l
k kl k
n
k
m
l
kl k kl k
n
k
m
l
kl kl
X Y H X H q q p q p p
q q p p q p
q p q p n n Y X H
1 1 1 1
1 1 1 1
1 1 1 1
log log
log log
log log ,
n urma elementelor anterior prezentate putem enuna cteva
elemente cu caracter definitoriu. Considernd evenimentul cumulat
( ) Y X,
, informaia proprie pentru perechea
( ) Y y X x y x , ,
va fi dat
de:
( ) ( ) y x P y x I
Y X
, log ,
,

n care
( ) ,
,Y X
P
reprezint legea de distribuie a probabilitii pentru
evenimentul
( ) Y X,
.
Definiie. Definim entropia evenimentului cumulat prin:
( ) ( ) ( )
( )
( ) [ ] Y X P E y x P y x P Y X H
Y X
Y X y x
Y X Y X
, log , log , ,
,
,
, ,



Definiie. Entropia condiionat
( ) X Y H
se definete n forma:
( ) ( ) ( ) ( )
( )

,
_


X x Y X u x
X Y X Y X
x y P x y P x P X Y H
,
log
Relaia de definiie mai poate fi scris n forma :
( ) ( ) ( ) ( ) ( )
( )
( ) ( ) X Y P E
x y P y x P x X Y H x P X Y H
X Y
Y X y x
X Y Y X
X x
X
log
log ,
,
,




2.1.5 Proprieti ale entropiei cumulate i condiionate.
Reamintim c anterior am stabilit interdependena dintre
entropii pentru evenimentul cumulat:
( ) ( ) ( ) ( ) ( ) ( ) X Y H Y X H Y H X Y H X H Y X H , , + +
Inegalitatea lui Jensen. Fie funcia
( ) R R x f :
o funcie
convex i constantele

n
i
i i
cu
1
0
. n aceste condiii:
17
( )

,
_




n
i
i i
n
i
i i
t f t f
1 1

Egalitatea se impune n cazul i numai n cazul n
t t t ...
2 1 .
Lema.(Inegalitatea log-sum). Pentru oricare numere nenegative
n
a a a ,... ,
2 1 i n
b b b ,... ,
2 1 :

,
_


n
i
i
n
i
i n
i
i
n
i
i
i
i
b
a
a
b
a
a
1
1
1 1
log log
Demonstraie. Pentru funcia convex
( ) x x x f log
aplic
inegalitatea lui Jensen cu :
n i
b
a
x si
b
b
i
i
i n
j
j
i
i
, 1
1

n notaiile introduse inegalitatea Jensen devine:

,
_

,
_

n
i
i
i
n
j
j
i
n
i
i
i
n
j
j
i
i
i
i
i
n
i
n
j
j
i
b
a
b
b
b
a
b
b
b
a
b
a
b
b
1
1
1
1
1
1
log log
sau

,
_


n
i
i
n
i
i n
i
i n
j
j
i
i
i n
j
j
b
a
a
b
b
a
a
b
1
1
1
1 1
log
1
log
1
Simplificnd elementar obinem inegalitatea formulat.
Lema. Realizarea evenimentului Y determin o diminuare a
entropiei evenimentului X
( ) ( ) X H Y X H
18
cu excepia cazului n care evenimentele X i Y sunt independente.
Demonstraie. Considerm diferena:
( ) ( ) ( ) ( )
( )
( ) ( )
( )
( ) ( )
( ) ( ) ( )
( )
( )
( ) ( ) ( )
( )
( )
( )
( )
( ) ( )
( )
0
.
log ,
,
log , log
log , log ,
,
,
,
,
,
,
,
,
,
,
,
,
,
,

,
_








Y X y x
Y X
Y X y x
Y X
Y X y x
Y X
Y X y x
Y X
Y X
Y X
Y X y x
Y X
Y Y X
Y X
Y X y x
Y X Y X
Y X y x
X Y X
y P x P
y x P
y x P
y P x P
y x P
y x P
y P x P
y P y x P
P
y x P y x P x P y x P Y X H X H
Prin urmare:
( ) ( ) X H Y X H
egalitatea este posibil n cazul evenimentelor independente.
Lema. Entropia este aditiv pentru evenimente independente:
( ) ( ) ( ) Y H X H Y X H + ,
Exemplu. Fie un experiment cumulat caracterizat de urmtoarea
matrice a probabilitilor ce caracterizeaz un astfel de experiment :
X
Y
1 2 3 4
1
8
1
16
1
32
1
32
1
2
16
1
8
1
32
1
32
1
3
16
1
16
1
16
1
16
1
4
4
1
0 0 0
19
Distribuia marginal pentru X este
( )
8
1
,
8
1
,
4
1
,
2
1
iar distribuia
marginal pentru Y este
( )
4
1
,
4
1
,
4
1
,
4
1
. Obinem cu uurin
entropiile celor dou cmpuri de evenimente
( )
4
7
X H
bii i
( ) 2 Y H
bii. Putem calcula :
( ) ( ) ( )
( ) ( )
( ) ( )
biti
H H
H H
i Y X H i Y p Y X H
i
8
11
0
4
1
2
4
1
4
7
4
1
4
7
4
1
0 , 0 , 0 , 1
4
1
4
1
,
4
1
,
4
1
,
4
1
4
1
8
1
,
8
1
,
2
1
,
4
1
4
1
8
1
,
8
1
,
4
1
,
2
1
4
1
4
1
+ + +
+ +
+ +

n mod similar determinm


( ) biti X Y H
8
13

. Entropia
evenimentului cumulat va fi :
( ) ( ) ( ) biti X Y H X H Y X H
8
27
8
13
4
7
, + +
2.2 Informaia mutual.
Pentru dou cmpuri de variabile aleatoare X i Y informaia
mutual ntre X i Y permite o evaluare cantitativ a reducerii
incertitudinii asupra lui Y prin cunoaterea lui X .
Informaia mutual
( ) ( ) ( ) Y X H X H Y X I ;
Este uor de evideniat faptul c informaia mutual este o funcie
simetric.
( ) ( ) ( ) ( ) ( ) Y X H Y H X Y H X H Y X H + + ;
Prin urmare:
( ) ( ) ( ) ( ) ( ) ( ) X Y I X Y H Y H Y X H X H Y X I ; ;
20
2.2.1 Proprieti ale informaiei mutuale.
Lema ce va fi prezentat pune n eviden cteva proprieti
fundamentale ale informaiei mutuale.
Lema.
1.
( ) ( )
( )
( ) ( )

X x Y y
Y X
Y X
Y X
y P x P
y x P
y x P Y X I
,
log , ;
,
,
2.
( ) ( ) X Y I Y X I ; ;
3.
( ) ( ) ( ) ( ) Y X H Y H X H Y X I , ; +
4.
( ) ( ) X H Y X I ;
inegalitatea se transform n egalitate numai dac
( ) Y f X
pentru
( ) f
oricare.
5.
( ) 0 ; Y X I
inegalitatea se transform n egalitate numai dac X
i Y sunt independente.
Demonstraie. Proprietile 1,2,3 i 4 sunt uor deductibile din
nsi modul de definire a informaiei mutuale. Cea de a cincia
proprietate este rezultatul imediat al faptului c
( ) ( ). X H Y X H
Distana dintre dou variabile aleatoare X i Y poate fi definit ca
diferena dintre entropia evenimentului cuplat i informaia mutual n
forma :
( ) ( ) ( ) , , , D X Y H X Y I X Y
Cantitatea astfel definit satisface cadrul axiomatic pentru a o
impune ca distan:
( ) , 0 D X Y
( ) , 0 D X X
21
( ) ( ) , , D X Y D Y X
( ) ( ) ( ) , , , D X Z D X Y D Y Z +
2
Entropia relativ sau distana Kullback-Leibler ntre dou
distribuii ( ) p x
i ( ) q x
asociate unei aceleai surse X se definete n
forma :
( ) ( )
( )
( )
, log
KL
x X
p x
D p q p x
q x

Entropia relativ satisface ( )


0
KL
D p q
. Inegalitatea devine
egalitate numai dac ( ) ( ) , p x q x x X
.
3
De observat c n general
( ) ( )
KL KL
D p q D q p
i din acest motiv nu reprezint de fapt o
distan. Mai este cunoscut i sub denumirea de funcie
discriminant.
2.3 Caracterizarea entropic a sistemelor de transmitere de
date.
Transmiterea de date (informaii) poate fi considerat un
exemplu particular a experimentului compus. n acest sens vom
considera :
sursa sistemului de transmitere de informaii ca fiind
experimentul X
reprezentat de cmpul de probabilitate
( ) ( ) x p x X , ,
( ) ( ) ( )

,
_

n
n
x p x p x p
x x x
X
2 1
2 1
2
Demonstraia , altfel foarte simpl , poate fi fcut de cititorii interesai.
3
Inegalitatea lui Gibbs.
22
unde
n i x
i
, 1
reprezint simbolurile alfabetului sursei iar
( ) 0
i
x p
probabilitatea ca s fie emis simbolul i
x
. n aceste
condiii sursa va fi caracterizat de entropia :
( ) ( ) ( )


n
i
i i
x p x p X H
1
log
recepia sistemului de transmitere a informaiei ca fiind
experimentul Y caracterizat prin cmpul de probabilitate
( ) ( ) y p y Y , , :
( ) ( ) ( )

,
_

n
n
y p y p y p
y y y
Y
2 1
2 1
unde
n j y
j
, 1
reprezint simbolurile alfabetului di recepie iar
( )
j
y p
probabilitatea ca s fie recepionat simbolul j
y
. Recepia
va fi caracterizat de entropia:
( ) ( ) ( )


n
j
j j
y p y p Y H
1
log
Experimentul cumulat care caracterizeaz transmiterea informaiei
( ) Y X,
const n realizarea evenimentului
( )
j i
y x ,
adic recepia
simbolului j
y
dac a fost emis simbolul i
x
caracterizat prin cmpul
de probabilitate
( ) ( ) ( ) ( ) y x p y x Y X , , , , ,
n care
( )

n
i
n
j
j i
y x p
1 1
1 ,
.
Evident pentru evenimentele experimentului cumulat
( ) ( )
i
n
j
j i
x p y x p

1
,
i
( ) ( )
j
n
i
j i
y p y x p

1
,
.
Entropia experimentului cumulat va fi :
( ) ( ) ( ) ( )



n
i
n
j
j i j i
y x p y x p Y X H
1 1
, log , ,
23
n cazul n care transmisia se face pe un canal neperturbat ,
cunoaterea cmpului de evenimente din recepie permite identificarea
complet a semnalului emis ; n realitate canalele sunt perturbate nct
aproape ntotdeauna va exista o incertitudine n raport cu semnalul
emis. Valoarea medie a acestei incertitudini reprezint entropia
evenimentului X condiionat de cmpul Y i se noteaz
( ) Y X H
.
Pentru determinarea acestei entropii trebuie luat n considerare
probabilitatea condiionat
( )
j i
y x p
care reprezint probabilitatea ca
recepionarea evenimentului j
y
s indice n emisie evenimentul i
x
:
( )
( )
( )
j
j i
j i
y p
y x p
y x p
,

relaie care simplificator se noteaz fr indici


( )
( )
( ) y p
y x p
y x p
,

O astfel de notaie impune ca :


( ) ( ) ( ) ( )



Y y
n
j
j
X x
n
i
i
y p y p si x p x p
1 1
n mod similar se poate defini probabilitatea de a recepiona
simbolul j
y
atunci cnd se emite i
x
:
( )
( )
( )
( )
( )
( ) x y p
y p
y x p
y p
y x p
x y p
j
j i
i j

,
,
Probabilitile condiionate
( ) ( ) x y p si y x p
pentru oricare
Y y X x ,
nseamn de fapt cunoaterea canalului de comunicaii i
permit evaluarea entropiilor condiionate
( ) ( ) X Y H si Y X H
. Entropia
condiionat
( ) Y X H
d o msur a echivocului care se manifest
asupra lui X cnd se cunoate Y. Din acest motiv aceast entropie mai
este denumit echivocaie . Entropia
( ) X Y H
reprezint incertitudinea
24
asupra cmpului din recepie Y cnd se cunoate emisia prin cmpul X
. Din acest motiv ea este cunoscut i ca entropie de dispersie sau
irelevan.
Din punct de vedere a transmisiei de informaie cea mai interesant
relaie ntre entropii este :
( ) ( ) ( ) Y X H X H Y X I ,
unde
( ) Y X I ,
caracterizeaz cantitatea de informaie medie ce trece
prin canal i reprezint valoarea medie a informaiei ce se obine
asupra cmpului de intrare (emisie ) X prin cunoaterea recepiei Y ;
uzual este definit ca transinformaie.
Valoarea maxim a transinformaiei se numete capacitatea
canalului ,
( ) ( ) [ ] Y X H X H C max
relaie n care maximizarea se va face dup setul de probabiliti cu
care se presupune c sunt utilizate simbolurile
. ,... ,
2 1 n
x x x
n
relaia prezentat capacitatea canalului se msoar n bii. Unii autori
definesc capacitatea canalului prin raportare la timp :
( )

Y X I C
C
t
, max

unde

reprezint durata medie a unui simbol transmis . n acest caz


capacitatea se msoar n bii/secund.
Diferena dintre capacitatea canalului i transinformaie se definete
ca redundana canalului , exprimat absolut n forma:
( ) Y X I C R
C
,
sau prin valoarea relativ:
( )
C C
C
Y X I
1
,
1
25
unde termenul
( )
C
Y X I
C
,

reprezint eficiena canalului indicnd ct
de mult se apropie transinformaia de valoarea maxim.
n mod similar , se poate defini o redundan a sursei ca diferen
dintre valoarea maxim a entropiei sursei i valoarea ei real :
( ) ( ) X H X H R
S

max
sau n valori relative :
( )
( ) X H
X H
S
max
1
Presupunnd c simbolurile unei surse sunt emise cu o vitez fix
sec
simbol
v
S
atunci se poate defini viteza (rata) de transmitere a
sursei :
( )
sec
biti
X H v V
S S

.
2.3 Caracterizarea entropic a canalelor de comunicaii.
n mod natural un canal de comunicaii se impune a fi caracterizat
pe baza unui model continual a crui structur i parametrii depind de
caracteristicile constructive i de material asociate canalului analizat.
Se impune precizarea c n transmiterea informaiei prin semnal
continuu
( ) t x
nu se nelege o funcie continu n sens strict
matematic , ci doar faptul c semnalul
x
poate fi evaluat la orice
moment de timp. n acest sens semnalul poate fi determinist sau
aleatoriu , periodic sau neperiodic. O astfel de abordare permite
evaluarea comportrii canalului n prezena unor factori exogeni care
26
afecteaz semnalele utile vehiculate prin canal i care sunt definite ca
perturbaii.
n general semnalul recepionat
( ) t y
difer de semnalul emis
( ) t x

din multiple motive ce pot fi agregate prin dou cauze fundamentale :
oricare canal are o band de trecere limitat. Un semnal cu un
spectru larg va fi puternic deformat determinnd o pierdere
informaional.
canalul este afectat de perturbaii externe care pot afecta
considerabil coninutul informaional.
n cazul unui canal discret , pe baza unei analize la nivel continual,
putem elabora un model probabilist al canalului mult mai uor de
exploatat dect un model continual. Pe un astfel de model canalul va
fi caracterizat prin :
alfabetul de intrare
( )
n
x x x x ,... ,
2 1

alfabetul de ieire
( )
m
y y y y ,... ,
2 1

legea de tranziie

definit prin probabilitile condiionate


( )
i j
x y p
deci a probabilitii ca s fie recepionat semnalul j
y

dac a fost emis semnalul i
x
.
Canalul este staionar dac pentru oricare pereche
( )
j i
y x ,

probabilitatea
( )
i j
x y p
nu depinde de timp. Canalul este fr
memorie
dac probabilitatea
( )
i j
x y p
nu depinde de natura semnalelor
transmise anterior.
Dac vom nota
( ) ( )
i j i
x y p j p
, legea de tranziie

va fi
caracterizat de matricea :
27
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )

,
_

m p p p
m p p p
m p p p
n n n
2 1
2 1
2 1
2 2 2
1 1 1

Matricea

este o matrice stocastic. Ea caracterizeaz perturbaia


pe canal i din acest motiv este cunoscut ca matrice de zgomot.
Dac fiecare linie conine numai permutri ale probabilitilor
m
p p p ,..... ,
2 1 canalul se numete uniform fa de intrare.
Dac fiecare coloan conine numai permutri ale setului de
probabiliti n
q q q ,.... ,
2 1 canalul se numete uniform fa ieire.
Un canal uniform fa de intrare i de ieire se numete dublu
uniform , situaie n care
n m
.
n cazul n care alfabetele de intrare i de ieire sunt identice i
pentru orice pereche
( ) q const
m
q
p j p j i
m i
, .
1
1
,


reprezentnd
probabilitatea recepionrii fr eroare , canalul se numete simetric.
Capacitatea unui canal discret simetric se obine prin maximizarea
transinformaiei :
( ) ( ) [ ] ( ) ( ) ( ) ( )

+
m
j
i i
j p j p
m
m
m
H X Y H Y H C
1
log
1
,... 1 ,
1
max
( ) ( )

+
m
j
i i
j p j p m C
1
log log
Un caz particular l constituie canalul simetric la care trecerile
ctre acelai indice se fac cu aceeai probabilitate , iar celelalte treceri
se fac cu alte probabiliti , ns egale pentru toate trecerile. Dac
notm p probabilitatea ca un simbol s fie eronat , matricea de zgomot
va fi :
28
n m
m
p
q
p q q
q p q
q q p

,
_





;
1
,
1
1
1

Capacitatea unui astfel de canal va fi :


( ) ( ) ( )
( ) ( ) ( ). 1 log log 1 log 1 log
1
log
1
1 1 log 1 log
+ +

+ +
n p p p p p n
n
p
n
p
n p p n C
n echipamentele de transmitere de date , la care n majoritate se
transmit simboluri binare , canalul cel mai des ntlnit este canalul
binar simetric , caracterizat de urmtoarea matrice de zgomot :
2 ,
1
,
1
1

,
_

m p
m
p
q
p q
q p

Capacitatea unui astfel de canal este dat de :


( ) ( ) p p p p C log 1 log 1 1 + +
Viteza de transmisie a informaiei pe un canal discret este
inferioar vitezei medii de transmitere a informaiei de ctre surs :
( )
S S
v X H V
deoarece apar erori pe parcursul canalului. Astfel dac
probabilitatea de transmisie corect este
95 . 0 p
, atunci , n medie ,
la fiecare 1000 de simboluri emise numai 950 de simboluri sunt
recepionate corect. n aceste condiii am putea spune c debitul de
informaie pe canal C
D
este de 950 bii/secund. O astfel de
interpretare (prin diferen) este total eronat deoarece dac am
considera o probabilitate de eroare
5 . 0 p
ar rezulta un debit de
informaie transmis de 500 bii/secund cnd de fapt informaia
vehiculat este nul.
29
Inconsistena definiiei prin diferen va fi nlturat dac inem
cont de informaia pierdut ( echivocaia). Vom defini debitul de
informaie transmis pe canal t
D
:
( ) ( ) [ ] ( )
S S t
v Y X I v Y X H X H D ,
Erorile care apar n procesul transmiterii informaiei ntr-un canal
binar pot fi singulare sau grupate n pachete. Pentru o caracterizare
statistic complet a unui canal trebuie luai n considerare urmtorii
parametrii :
probabilitatea de eroare a unui simbol
repartiia intervalelor fr erori
probabilitatea apariiei pachetelor de erori de o anumit
lungime
repartiia erorilor multiple ntr-o secven de o anume lungime
Complexificarea modelelor asociate canalului conduce la evaluri
cantitative mult superioare modelului prezentat dar cu dificulti
serioase n abordare.
3. Codificarea informaiei.
30
3.1 Definiii.
Definiia 1. Fie A un ansamblu discret i N un ntreg pozitiv.
Vom reprezenta prin
N
A un N- uplu ordonat de elemente din A :
{ } A x x x x A
i N
N
,.... ,
2 1
Vom nota elementele lui
n
A prin
( )
A x x x x
i n
n
, ...
1 . Vom nota
+
A ansamblul tuturor secvenelor de lungime finit formate din
elemente ale lui A.

n
n
A A
+
Fie
+
A x o secven de simboluri aparinnd lui A . Vom nota cu
( ) 0 > x l
lungimea secvenei x , astfel c :
( )
( ) x l
x l
A x x x x ....
1
Definiia 2. Cod de simboluri binare. Fie
.... 2 , 1 , i X X
i
simbolurile emise de sursa X . Un cod de simboluri binare C pentru o
surs X o aplicaie de la X n { }
+
1 , 0 , care face s corespund fiecrui
element din X o secven binar de lungime finit :
{ }
( ) x c x
X C

+
1 , 0 :
Vom nota
( ) X C
ansamblul tuturor cuvintelor de cod asociate
valorilor sursei :
( ) { } ( ) { } x c c X x c X C
+
, 1 , 0
Definiia 3. Cod binar extins
+
C . Fie
,... 2 , 1 , i X X
i simbolurile
emise de ctre o surs i C un cod asociat acestei surse. Codul extins
+
C constituie o aplicaie de la { }
+
+
1 , 0 X care face ca fiecrei
secvene de simboluri din X s i corespund o secven de simboluri
din { }
+
1 , 0 printr-o adecvat concatenare a simbolurilor de cod :
31
{ }
( ) ( ) ( )
n n
x c x c x c x x x
X C
... ..
1 , 0 :
2 1 2 1

+
+ +
Definiia 4. Cod unic decodabil. C este un cod unic decodabil dac
+
C este o aplicaie injectiv :
( ) ( ) ( )
( )
( )
( )
m n m n
y c x c X y x
+ + +
,
Definiia 5. Fie C un cod pentru sursa X . C este un cod cu prefix
dac nici un cuvnt de cod nu constituie nceputul unui alt cuvnt de
cod :
( ) { } ( ) X C c c X C c c c c
+
2 1 1 2
1 , 0 , ,
O astfel de proprietate garanteaz ca un cod s fie unic decodabil :
C un cod cu prefix

C este un cod unic decodabil.


Unui cod cu prefix i se poate asocia un graf de tip arbore binar la
care cuvintele de cod constituie vrfuri ale arborelui.
0
1
0
1 0 1
0
1
1 0 1
0
001 010 011 100 101 110
Adncimea arborelui de cod k este dat de lungimea maxim a
cuvintelor de cod generate.
( ) ( ) x c l k
X x
max
Pe fiecare nivel n al arborelui de cod numrul maxim de cuvinte de
cod este :
n
n
N 2
32
Lema 1. Numrul secvenelor binare distincte de lungime mai mic
sau egal cu n este :
2 2
1 2
1 2
2 2
1
1 1


+


n
n
n
m
m
n
m
m n
N M
Lema 2. ntr-un arbore binar , numrul de descendeni la nivelul n
n raport de un nod la nivelul
n m
va fi
m n
2 .
Lema 3. ntr-un arbore binar corespunztor unui cod C , dac 1
c

nu constituie un prefix pentru 2
c
, descendenii lui 1
c
i 2
c
sunt
mulimi disjuncte.
Dac n parcurgerea arborelui pe sens descendent vom fi
consecveni n a nota ramura din stnga cu
0
iar ramura din dreapta cu
1 secvenele binare asociate nodurilor pe un anumit nivel vor fi
ordonate lexicografic. Proprietatea poate fi generalizat pe
{ }
n
1 , 0
n
{ }
+
1 , 0
asupra tuturor secvenelor binare de lungime finit :
{ }
2 1 2 1 1
' ' , 1 , 0 , ' c c c c c c c c c c < > <
+
Prin urmare condiia de prefix impune ca nici unul din cuvintele de
cod s nu aib ca rdcin un alt cuvnt de cod.
3.2 Inegalitatea Kraft-McMillan.
Inegalitatea Kraft-McMillan fixeaz o prim restricie asupra
lungimii cuvintelor de cod dintr-un cod unic decodabil.
Teorema 1. Inegalitatea lui Kraft.
Fie X o surs i C un cod de simboluri binare unic decodabil
asociat sursei X. Atunci :
33
( ) ( )
1 2

X x
x c l
Demonstraie. Fie
( ) ( ) x c l l
X x
max
. Exist
l
2 secvene binare
distincte de lungime l . Fiecare cuvnt de cod de
( ) X x x c ,
are un
numr de descendeni
( ) ( ) x c l l
2
. Cum mulimile descendenilor sunt
disjuncte rezult:
( ) ( )

X x
x c l l l
2 2
sau imediat
( ) ( )
1 2

X x
x c l
Teorema 2. Inegalitatea Kraft- McMillan i coduri cu prefix.
Fie
( ) X x x n > , 0
un ansamblu de numere ntregi i pozitive care
satisfac inegalitatea Kraft-McMillan
( )

X x
x n
2
. Atunci exist un cod
cu prefix C de lungime
( ) ( ) x n x l
, i care obligatoriu va fi unic
decodabil.
Demonstraie. Considerm c mulimea ntregilor
( ) x n
este
ordonat descresctor:
( ) ( ) ( )
m
x n x n x n .......
2 1
Cuvintele de cod se aleg printr-o procedur iterativ astfel ca n
final s rezulte o ordonare lexicografic a acestora. Prin construcie va
rezulta un cod cu prefix. Vom ncepe prin a impune :
( ) { }
( )
1
1 , 0 0 .... 0
1
x n
x c
i succesorul lui
( )
1
x c
, ( ) { }
( )
2
1 , 0
2
x n
x c se alege n forma :
( ) { }
( )
2
1 , 0 0 .. 10 .... 00
2
x n
x c (al
( )
1
x n
bit se alege 1).
Cuvintele de cod rmase
( ) X i x c
i
.... 3 ,
se fixeaz iterativ prin
urmtoarea procedur cuvntul de cod
( )
i
x c
va fi secvena de
lungime
( )
i
x n l
cel mai mic n ordonarea lexicografic i care nu are
ca prefix un cuvnt de cod format n iteraiile anterioare
34
( ) ( ) ( )
1 1
...
i
x c x c
. Numrul cuvintelor de cod care nu sunt descendeni
ai cuvintelor de cod deja fixate satisface:
( ) ( ) ( )
0 2 2 2 2 2 2 2 2 2 2
1
> >

<

<

l l
n
j
x n
l l
i j
x n
l l
i j
x n l
l j j j
deoarece prin ipotez
( ) x n
satisface inegalitatea lui Kraft . Astfel se
garanteaz existena cel puin a unui cuvnt de cod de lungime
( )
i
x n
.
Prin urmare cuvntul de cod
( )
i
x c
se va alege ca cel mai mic (pentru
ordonare lexicografic) cuvnt de cod disponibil.
Observaii.
Procedura iterativ prezentat permite generarea unui cod cu
prefix (deci unic decodabil) ordonat lexicografic.
Rezultatul obinut ne permite analiza numai asupra codurilor cu
prefix deoarece pentru oricare cod unic decodabil care satisface
inegalitatea Kraft pot determina un cod cu prefix avnd o
aceeai lungime a cuvintelor de cod.
Definiie. Cod complet. Un cod C este un cod complet dac
lungimea cuvintelor de cod satisface inegalitatea lui Kraft ca egalitate.
Pentru un astfel de cod fiecare nod al arborelui binar asociat
constituie un vrf sau are doi descendeni.
Lema. Fie X o surs caracterizat prin probabilitile
( ) X x x p ,
. Atunci exist un cod cu prefix avnd lungimea cuvintelor de cod :
( )
( )
X x
x p
x l
1
]
1

,
1
log
Demonstraie. Este suficient s artm c pentru o astfel de alegere
a lungimii cuvintelor de cod inegalitatea lui Kraft este satisfcut.
35
( ) ( ) ( )
1 2 2 2
log
1
log
1
log


1
]
1

X x
x p
X x
x p
X x
x p
3.3 Codarea surselor.
Definiie. Lungimea medie a unui cod. Fie codul C asociat unei
surse X caracterizat prin probabilitile
( ) X x x p
i i
,
. Lungimea
medie a codului C se definete ca :
( ) ( ) ( ) ( )


X x
C
x c l x p X L
Teorema. Teorema de codare a surselor. Fie sursa X avnd entropia
( ) X H
. Exist un cod de prefix C pentru care lungimea medie a
cuvintelor de cod satisface :
( ) ( ) ( ) 1 + X H X L X H
C
Demonstraie.
Pentru a demonstra limitarea superioar este suficient s calculm
lungimea medie a cuvintelor de cod la care lungimea acestora este
aleas conform unei teoreme precedente n forma
( )
( )
1
]
1

x p
x l
1
log
.
( ) ( )
( )
( )
( )
( ) 1 1
1
log
1
log +

,
_

+
1
]
1




X H
x p
x p
x p
x p X L
X x X x
C
4
Prin urmare lungimea unui cod optimal va fi mai mic dect limita
superioar impus.
4
n demonstraie ne bazm pe inegalitatea [ ] 1 + <x x
36
Definiie. Redundana. Redundana unui cod C asociat unei surse X
este mrginit de entropia relativ :
( ) ( ) ( ) ( )
( )
( )


X x
C
C C
x q
x p
x p q p D X H X L R log
n care
( ) x q
C
este de forma :
( )
( ) ( )
( ) ( )
X x x q
X x
x c l
x c l
C

2
2
Demonstraie.
Notm :
( ) ( )
1 2

X x
x c l
s
conform inegalitii lui Kraft.
Din modul de definire a lui
( ) x q
C
:

1 log 0 s s 1 log 0 s s
( ) ( )
( ) ( ) ( ) ( ) 2 log log
l c x
C C
q x s l c x q x s


Dac utilizm definiia entropiei redundana R se obine n forma:
( ) ( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( )
1
log
log log log
C
x X
C
x X x X
R L X H X p x l c x p x
p x
p x q x s p x p x



+


sau prin prelucrri elementare :
( )
( )
( )
( )
log log log
C
C
p x
R p x s D p q s
q x

Relaia obinut pune n eviden entropia relativ ntre p i


c
q
.
Cum ( )
0
C
D p q
iar
1 log 0 s s
putem deduce c :
( )
0
C
R D p q
37
Rezultatul prezentat permite o demonstraie simpl n raport de
limita inferioar impus de teorem. Cum entropia relativ este
nenegativ :
( ) ( ) ( ) ( ) 0 0
C C
R L X H X L X H X
Observaie. Pentru a obine un cod optim sub raportul lungimii
cuvintelor de cod este necesar ca :
( ) ( )
C
L X H X
ceea ce nseamn
log 1 0 s s
. Prin urmare codul este complet i
( ) ( ) ( ) 0
C C
D p q q x p x
ceea ce implic :
( ) ( )
( )
1
log , l c x x X
p x

Teorema. Codarea surselor cu ajutorul codurilor bloc.
Fie sursa X cu probabiliti asociate ( ) , p x x X
. Pentru 0 >
exist un cod bloc
n
C
de lungime n a crui lungime medie satisface :
( ) ( )
n
C
L X H X +
Demonstraie. Demonstraia este o simpl aplicaie a teoremei
precedente. Entropia unui ansamblu de n variabile
( ) n
X
este :
( )
( )
( ) .
n
H X n H X
n baza teoremei precedente :
( )
( ) ( ) ( ) 1 1
n n
C
L X H X n H X + +
Lungimea raportat la un simbol al sursei considerate va fi :
( )
( )
( )
( )
1
n
n
C
C
L X
L X H X
n n
+
38
Dac alegem n astfel ca :
1
n

codul considerat satisface condiia impus.
Exemplu. Pentru sursa { } 1, 2,3, 4 X
cu probabiliti asociate
1 1 1 1
, , ,
2 4 8 8
X
P

' )

se consider urmtoarea schem de codare
( ) ( ) ( ) ( ) 1 0, 2 10, 3 110, 4 111. c c c c
Entropia sursei se evalueaz simplu n forma :
( )
1 1 1 1 1 1 1 1
log log log log
2 2 4 4 8 8 8 8
1 1 3 3
1.75
2 2 8 8
H X
+ + +
Pentru codul propus lungimea medie a cuvintelor de cod va fi :
( )
1 1 1 1
1 2 3 3 1.75
2 4 8 8
L X + + +
Pentru situaia considerat observm c ( ) ( ) L X H X
i prin
urmare codul considerat este optim n raport cu lungimea medie a
cuvintelor de cod . Optimalitatea codului poate fi apreciat i din
faptul c
( )
( )
1
log , 1, 2,3, 4. l i i
p i

39
0
1
0
1 0
1
110
111
10
0
Figura Arborele asociat
codului.
n figura..este prezentat arborele asociat codului considerat . Din
simpla analiz a acestuia rezult c acest cod este un cod cu prefix
unic decodabil.
Exemplu 2. Pentru sursa considerat n exemplu 1 vom asocia un
cod bloc de lungime doi dup cum urmeaz :
( ) ( ) ( ) ( ) 1 00, 2 01, 3 10, 4 11 c c c c
Lungimea medie a cuvintelor de cod este ( ) 2 L C
i prin urmare
este mai puin economic dect codul anterior. n orice caz codul
satisface teorema fundamental :
( ) ( ) ( ) 1.75 2 1 2.75 H X L C H X +
Exemplu 3. Pentru sursa considerat n exemplu 1 considerm
urmtoarea schem de codare :
40
( ) ( ) ( ) ( ) 1 0, 2 1, 3 00, 4 11. c c c c
Lungimea medie a cuvintelor de cod va fi :
( )
1 1 1 1 5
1 1 2 2 1.25
2 4 8 8 4
L C + + +
Pentru acest cod lungimea medie a cuvintelor de cod este mai mic
dect entropia sursei :
( ) ( ) 1.25 1.75 L C H X <
dar codul nu este unic decodabil. Dac considerm un mesaj ( ) 134213

acesta va fi codificat n forma :
( ) ( ) 134213 000111000
Aceeai secven de cod corespunde i pentru mesajul ( ) 312431
.
Exemplu 4. Considerm cazul sursei prezentate n exemplu 1
pentru care introducem urmtoarea schem de codare :
( ) ( ) ( ) ( ) 1 0, 2 01, 3 011, 4 111 c c c c
Lungimea medie a cuvintelor de cod va fi :
( )
1 1 1 1 7
1 2 3 3 1.75
2 4 8 8 4
L C + + +
Secvena ( ) 134213
va fi codificat n forma :
( ) ( ) 134213 0011111010011
este unic decodabil.

41
42