1.

INTRODUCERE
n anii 40, comunitatea stiinific credea c mrind cantitatea de informaie transmis
printr-un canal, crete i probabilitatea eronrii ei. Shannon a surpris lumea tiintifica, artnd
c transmisia poate fi fcut corect, cu condiia ca rata de transmisie s nu depeasc
capacitatea canalului ; capacitatea canalului se poate calcula din caracteristicile zgomotului
existent n canal.
Shannon a artat c datele reprezentnd procese aleatoare ca muzica sau vorbirea, nu pot
fi compresate sub o anumit limit pe care a numit-o entropie, un termen folosit deja n
termodinamic ; apoi a artat c dac entropia este mai mic dect capacitatea canalului,
atunci transmisia datelor se poate face far erori.

1.1. Schema general a unui sistem de comunicaii

Un sistem de transmisiune (de comunicaie) este un ansamblu fizic care realizeaz
transmiterea unui mesaj de la o surs la un utilizator.

CoS

CoC

CANAL

DecC

DecS

dm

m
P
S
sursa de mesaje
CoS Codor de surs (compresia datelor)
CoC Codor de canal (protecie contra perturbaiilor)
M
modulator
CANAL
Canal de comunicaie
P
Perturbaii
DecC Decodor de canal
DecS Decodor de surs
U
Utilizator

Aceasta este o schem complet; n funcie de de aplicaie, unele bolcuri pot lipsi.

2. INTRODUCERE N TEORIA PROBABILITILOR

2.1. Experiment aleator, evenimente
Definiie : Un experiment aleator este un experiment cu mai multe rezultate posibile.
Definiie : Rezultatele unui experiment aleator se numesc evenimente.

Exemplu : aruncarea unui zar

Este un experiment cu 6 evenimente posibile.
Mulimea evenimentelor posibile = [E1 ,K , E 6 ]
Mulimea evenimentelor se poate lrgi adaugand: - evenimentul sigur (orice fa)
- evenimentul imposibil (faa 7)
- evenimente compuse (faa par)
Rezultatul unui experiment aleator nu este cunoscut dinainte ; realizarea unui anumit
eveniment este caracterizat de o probabilitate.

2.2. Probabilitatea unui eveniment E i

Definiia 1 (clasic, de cum cateva secole) : p (E i ) =

Nf

unde N f este numarul de cazuri

Np

favorabile evenimentului si N p numarul de cazuri posibile.

na
unde na este numrul de
n
apariii ale evenimentului i n este numrul total de experimente.

Definiia 2 (Von Mises, inceput de sec XX):

p (E i ) = lim

Definitia 3 (Kolmogoroff, 1933) : Axiomele probabilitatilor

a) p 0 probabilitatea este un numr nenegativ
b) p(S ) = 1 probabilitatea evenimentului sigur este 1
c) p(E1 + E2 ) = p(E1 ) + p(E 2 ) probabilitatea a dou evenimenete mutual exclusive
(care nu pot avea loc n acelai timp), E1 si E 2 , este egal cu suma probabilitilor
evenimentelor.

2.3.Variabil aleatoare
Variabila aleatoare este o notiune folosit pentru a descrie evenimentele rezultate n
urma unui experiment aleator.

Definitie: Variabila aleatoare (v.a.) este o funcie care asociaz fiecarui eveniment o valoare
numeric.
Notam cu X v.a.

X : R

( X asociaz fiecarui eveniment o valoare numeric)

Exemplu:
Zarul X : = [E1 ,K, E6 ] [1,2,3,4,5,6]

Observaie:
a) Oricarei submultimi a multimii valorilor lui X ii corespunde un eveniment
b) 1,2,3,4,5,6 se numesc realizari particulare a le v.a. X .

2.4. Probabilitile unei v.a.

Notm probabilitatea ca un eveniment E i s se realizeze cu:
p (E i ) = p ( X = x i ) = p ( x i ) = p i

Exemplu:
Zarul : multimea valorilor lui X este discreta
Temperatura ia valori intr-un interval.

Definiia 1 (tipul v.a.) :

V.a. discret ia valori intr-o multime discret

V.a. continu ia valori intr-un interval
V.a. mixt

Definiie: Funcia de repartiie a unei v.a. (sau distribuia v.a.)

F ( x ) = p{X x}

Definiie: Densitatea de probabilitate a v.a. (derivata funciei de repartiie)

f (x ) =

dF
dx

Exemplu:
Zarul: Funcia de repartiie este o funcie n scar
Densitatea de probabilitate este o serie de funcii Dyrac

Densitate de probabilitate gaussian (sau normal): f ( x ) =

x (x )

/ 2 2

media v.a., iar 2 este varianta v.a. ( se numeste dispersie).

unde este

Alte modele de distribuii continue:

1 / a
Densitatea de probabilitate uniform: f ( x ) =
0
Densitatea de probabilitate exponential:

x [0 a ]
in _ rest

e x
f (x ) =
0

x0
in _ rest

Definiia 2 (tipul v.a.) : O v.a. este discret daca are o funcie de repartitie n scar; o v.a. este
continu daca are o funcie de repartiie continu.

2.5. Probabiliti condiionate

Exemplu: La aruncarea cu zarul, probabilitatea de a avea un 2 cnd tim c faa aprut este
par.
Definiie: Probabilitatea unui eveniment E i , condiionat de un alt eveniment , M ,
probabilitatea de a se realiza Ei cnd M este deja realizat

p (E i / M ) =

p (E i , M )
p(M )

este

unde p(Ei , M ) este probabilitatea ca att Ei ct i M s

se realizeze.

Observaie: E i si M pot fi evenimente ale aceluiai experiment (aceeai v.a.) sau pot fi
evenimente a dou experimente diferite (2 v.a.).
p (xi / x j ) =
p (xi / y j ) =

p (xi , x j )
p (x j )

(aceeai v.a.)

p (xi , y j )
p(y j )

Teorema lui Bayes: p (xi / y j ) =

p ( y j / x i ) p (x i )
p(y j )

Teorema probabilitaii totale :

p( xi ) = p( xi / y1 ) p( y1 ) + p( xi / y 2 ) p( y 2 ) + K + p( xi / y N ) p( y N )
Unde y1 , y 2 ,K , y N constituie o partitie a multimii valorilor v.a. Y .

Observaii:
a) Funcia de repartiie i densitatea de probabilitate se definesc i pentru v.a. conditionate
F (x M ) = p{X x M }

f (x M ) =

dF (x M )
dx

b) Funcia de repartiie i densitatea de probabilitate se definesc i pentru 2 sau mai multe v.a.

F ( x, y ) = p{X x, Y y}

f ( x, y ) =

dF ( x, y )
dxdy

2.6. Noiunea de independen statistic

Definiie: Dou evenimente, Ei si E j , sunt independente dac

p(Ei , E j ) = p(Ei ) p(E j )

Definiie: Dou v.a., X si Y , sunt independente dac oricare dintre realizarile lor particulare
sunt independente.
p (xi , y j ) = p( xi ) p ( y j ) unde xi este o realizare particulara a lui X i
y j este o realizare particulara a lui Y .

2.7. Semnalele numerice ca iruri de v.a.

Prin eantionarea i cuantizarea semnalului continuu se ajunge la un semnal
numeric.Un semnal numeric poate fi modelat ca un sir de v.a.: K , X k 1 , X k , X k +1 , K , unde k
este indice de timp. Toate v.a. iau valori n aceeai multime i, dac semnalul este stationar,
au acelai set de probabiliti.

3. SURSE DE INFORMAIE
3.1. Informaia

3.1.1. Definiii i notaii

Definiie : Informaia este cantitatea de incertitudine pe care o avem asupra producerii unui
viitor eveniment, rezultat n urma unui experiment aleator.

Fie un experiment aleator ale crui rezultate sunt descrise prin v.a. X , care ia valori n
mulimea [ X ] = [x1 , x 2 ,K , x n ] . Incertitudinea asupra evenimentului E , cruia i corespunde
i
realizarea particular x , se noteaz:
i

( )

U E = U ( X = xi ) = U ( xi )
i
U de la uncertainty
Incertitudinea i informaia sunt, din punct de vedere cantitativ, dou no iuni echivalente.
Vorbim despre incertitudine nainte de producerea evenimentului i de informaie dup
producerea sa.
U (xi ) = i (xi )
i de la information
Incertitudinea/informaia unui eveniment este o funcie de probabilitatea de apariie p i a
evenimentului:

U ( x i ) = i ( x i ) = F ( pi )
3.1.2. Specificarea funciei F
Trei proprieti intuitive pentru F :
a) F trebuie sa fie descrescatoare (incertitudinea este mai mic atunci cnd probabilitatea de
apariie a evenimentului este mare).
b) F trebuie s fie aditiv (incertitudinea asupra a dou evenimente, rezultate din
experimente independente, trebuie s fie egal cu suma incertitudinilor asupra celor dou
evenimente):

F ( p i , q j ) = F ( p i ) + F (q j )
unde pi si q j sunt probabilitile celor dou evenimente independente.
c) F (1) = 0 (incertitudinea asupra unui eveniment sigur este nul).

Observaie: Cele dou evenimente pot aparine i aceluiai experiment; n acest caz,
independena se traduce prin condiia ca producerea unuia s nu influeneze n niciun fel
producerea celuilalt.

Funcia care ndeplineste cerinele b) i c) este logaritmul; pentru a satisface i cerinta a),
lum negativul logaritmului:

F ( pi ) = log( pi )
Deci, incertitudinea/informaia asupra unui eveniment care are probabilitatea p i , este:
U ( xi ) = i ( xi ) = log ( p i )

Proprieti :
- informaia este totdeauna o cantitate pozitiv
- informaia adus de un eveniment sigur este zero

3.1.3. Uniti de masur pentru informaie

a) BIT (BInary uniT)

Definiie : 1 bit este cantitatea de informaie care se ob ine cnd se realizeaz un eveniment
cu probabilitatea 1/2.
1bit = log 2 (1 / 2 )
b) DIT (Decimal unIT)

Definiie : 1 dit este cantitatea de informaie care se ob ine cnd se realizeaz un eveniment
care are probabilitatea 1/10..
1dit = log 10 (1 / 10 )
c) NAT (Natural uniT)

Definiie : 1 nat este cantitatea de informaie care se ob ine cnd se realizeaz un eveniment
cu probabilitatea 1/e.
1nat = ln (1 / e )

Transformarea unittilor :

1dit = 3,32bit
1nat = 1,44bit
3.1.4. Informaia mutual a dou evenimente
De ce este necesar studiul a dou evenimente ? n transmisia semnalelor, pe canalul de
comunicaie, de cele mai multe ori, apar perturbati care modific semnalul. De aceea,
semnalul de la intrarea n canal i cel de la ieire se descriu prin dou v.a. diferite, X si Y.
Dac puterea perturbaiilor este finit, atunci aceste v.a. nu sunt independente.
Fie xi i y j dou realizri particulare ale lui X i Y. S pp. c y j se produce naintea lui xi .
Informaia mutual a celor dou evenimente este:

i(xi , y j ) = U ( xi ) U (xi / y j )
unde U (xi / y j ) este incertitudinea care rmne asupra lui xi dup producerea lui y j (cnd se
cunoate y j ) .

i(xi , y j ) = log p ( xi ) + log p (xi / y j ) = log

p (xi , y j )

p ( xi ) p ( y j )

Observaie: informaia mutual poate fi i negativ.

Exemplu:
p (xi ) = 1 / 2
p(xi / y j ) = 1 / 4
i(xi , y j ) = 1 2 = 1

Cazuri posibile de dependen ntre X si Y :

a) Canal fr perturbaii: X i Y sunt identice

p(xi , y j ) = p( xi ) si i(xi , y j ) = i( xi )

b) Canal cu perturbaii de putere finite: X i Y sunt diferite, dar dependente statistic

p (xi / y j ) < 1 i i(xi , y j ) < i( xi )

c) Canal cu perturbaii infinite: X i Y sunt independente statistic

p (xi , y j ) = p( xi ) p ( y j ) si i(xi , y j ) = 0

3.2. Surse discrete de informaie

3.2.1. Definiii i notaii

Definiie :
Sursa discret de informaie este un mecanism de generare a unui ir de v.a.discrete
: K , X k 1 , X k , X k +1 , K , unde k este, de cele mai multe ori, un indice de timp.
Sursa de informaie este definit printr-un alfabet

[X ] = [x1 , x 2 ,K, x N ],

care este

mulimea realizrilor particulare ale irului de v.a. K, X k 1 , X k , X k +1 , K i

un set de probabiliti [P] = [ p1 , p 2 ,K , p N ] , unde p i = p ( xi ) (setul de probabilit i poate

varia n funcie de k ).

=1

Definiii :
Simbolul (sau litera) este elementul fundamental, ireductibil, care conine informaie.
x1 , x 2 , K , x N sunt simboluri
Alfabetul este totalitatea simbolurilor diferite care pot fi generate de surs.
[X ] este alfabetul sursei
Cuvntul este o succesiune de simboluri (Exemplu: un byte este o succesiune de 8
simboluri binare).
Limba este totalitatea cuvintelor formate cu un alfabet (Exemplu: 256 de cuvinte
binare de 8 biti).

Exemple de surse discrete:

1. Banda cu text de la TV este o surs care emite litere: N TARA AU FOST
INUNDAII
2. Un semafor este o surs cu trei simboluri: rosu, galben, verde
3. Un iPod este o sursa care genereaza simboluri binare care sunt convertite intr-o
melodie.

3.2.2. Clasificarea surselor discrete

a) Din punctul de vedere al dependentei dintre v.a X k .:

-

surse far memorie

surse cu memorie

Definiie: Sursa fr memorie (simpl sau independent) genereaz v.a. independente. Cu

alte cuvinte, probabilitatea de a genera un anumit simbol xi la momentul k nu depinde de
simbolurile generate anterior.

p ( X k = xi / X k 1 , X k 2 ,...) = p ( X k = xi )
Definiie: Sursa cu memorie genereaz v.a. dependente.
Definiie: Dimensiunea memoriei sursei este egal cu numrul de simboluri anterioare care
conditioneaz probabilitatea de apariie a unui nou simbol.
Exemplu:

p ( X k = xi / X k 1 ) este o surs cu memorie de lungime 1.

b) Din punctul de vedere al stabilitii setului de probabiliti

- surse staionare
- surse nestaionare

Definiie: o surs stationar are un set de probabiliti care nu variaz n funcie de k .

p ( X k = xi ) = p ( X k + = xi ) oricare ar fi k , sau i .
Un caz particular al surselor staionare este sursa ergodic. Pentru a defini sursa ergodic, ne
bazam pe noiunea de ir tipic.

Definiie: ir tipic
Fie un ir de simboluri generat de surs, suficient de lung a.. s putem estima
probabilitile de apariie a simbolurilor (folosind definiia probabilitii ca raport ntre
numrul de cazuri favorabile i numrul total de cazuri).
Dac ntr-un sir, probabilitile astfel estimate ale simbolurilor sunt egale cu
probabilitile din setul sursei, atunci sirul este tipic.
Altfel spus, dac n este lungimea irului tipic considerat i ni este numrul de
simboluri xi din sir, atunci ni = npi oricare ar fi i.

Definiie: O surs ergodic este o surs care genereaz numai iruri tipice.

Observaie: Definiiile staionaritii i ergodicitii de mai sus sunt valabile pentru sursa
fr memorie. n cazul sursei cu memorie, ele se enun nlocuind no iunea de simbol cu cea
de stare (definiia strii este dat n subcapitolul de Surse Markov).

10

Surse discrete
Surse staionare
Surse ergodice

3.3. Surse Markov

Sursa Markov este un model matematic des folosit n practic pentru a descrie sursele dicrete
de informaie, cu memorie. Exist diverse defini ii pentru sursa Markov.

3.3.1. Definiii i notaii

Definiia I : Sursa Markov este o surs discret cu memorie de lungime constant.
Definiie : Ordinul sursei Markov este dat de lungimea memoriei.
Definiie : Starea sursei Markov la un moment k este dat de irul de simboluri de lungime
egal cu ordinul sursei, generat anterior.

Exemplu : Sursa Markov binar de ordinul 2

[X ] = [0,1]
Alfabetul :
Probabilitile de apariie a simbolurilor sunt probabiliti condiionate, de forma
p ( X k = xi / X k 1 , X k 2 )
p (0 / 0,0)
p (1 / 0,0)

p (0 / 0,1)
p (1 / 0,1)

p (0 / 1,0)
p (1 / 1,0)

p (0 / 1,1)
p (1 / 1,1)

Mulimea strilor [S ] = [00 01 10 11]

Multimea strilor are N R , unde N este dimensiunea alfabetului, iar R este ordinul sursei.

11

Definiie: Probabilitatea ca sursa Markov s fie intr-o anumit stare este egal cu
probabilitatea de apariie a irului de simboluri care constituie starea.

Definiia II: O surs Markov se definete prin urmatoarele mrimi:

Alfabetul simbolurilor: [ X ] = [x1 , x2 ,K , x N ]

Setul de probabiliti ale simbolurilor: [P( X )] = [ p1 , p 2 ,K , p N ] cu

Mulimea strilor: [S k ] = s1 , s 2 ,K , s N k

Setul de probabiliti ale strilor:

=1

[P(S k )] = [q1 , q2 ,K, qN

unde q i = p (s i ) i

=1

Relaia dintre probabilitile simbolurilor i probabilitile strilor este (T. probabilitii

totale) :

p( xi ) = p(xi / s j ) p(s j )

pi = p(xi / s j )q j

Fiecare simbol nou generat constituie, mpreun cu cele anterioare, o noua stare :

Exemplu : Sursa Markov binar de ordinul 2

p(1 / 0,0)

p(1,0 / 0,0)

Probabilitatea ca sursa s genereze simbolul 1 cnd se afla n starea 0,0 este totuna cu
probabilitatea ca sursa s treac din starea 0,0 n starea 1,0.

Definiia II : O surs Markov este o surs cu memorie la care probabilitatea de apariie a

unei stri nu depinde dect de starea anterioar.

3.3.2. Descrierea surselor Markov prin diagrame de stare

Exemplu : Sursa binar Markov de ordinul 2

[S ] = [s1 , s 2 , s3 , s4 ] = [00

01 10 11]

p(0 / 0,0) = p(0,0 / 0,0) = 1 / 3

p(0 / 0,1) = p(0,0 / 0,1) = 2 / 3
p(0 / 1,0) = p(0,1 / 1,0) = 1 / 3
p(0 / 1,1) = p(0,1 / 1,1) = 1 / 4

p(1 / 0,0) = p(1,0 / 0,0) = 2 / 3

p(1 / 0,1) = p(1,0 / 0,1) = 3 / 4
p(1 / 1,0) = p(1,1 / 1,0) = 4 / 5
p(1 / 1,1) = p(1,1 / 1,1) = 1 / 5

12

01
1/4

1/5

2/3

11

3/4

4/5

1/3

00

1/3

2/3

10

Observatie : Descrierea prin diagrame de stare este util cnd sursa Markov este staionar.

i.

Descrierea surselor Markov prin matricea de tranziie i

prin vectorul probabilitilor strilor

Definiie : Matricea de tranziie are ca elemente probabilitatile conditionate ale sursei

Markov.

p1,1

T =

p N k ,1

p1, 2

p N k ,2

p1, N k

p N k , N k

unde pi, j este probabilitatea ca sursa s treac din starea s i n starea s j .

Proprietate: suma elementelor de pe orice linie este egala cu 1, de aceea spunem c T este o
matrice stohastica.
Definiie : Vectorul probabilitilor strilor este constituit din probabilitile tuturor
strilor:

P(S ) = q1 K q N R

Observaie: Matricea de tranziie este util n descrierea surselor Markov nestaionare

(probabilit ile strilor variaz n timp, nu i probabilitile de trecere de la o stare la alta).
Dac P(S k ) este vectorul probabilitilor strilor la momentul k i P(S k 1 ) acelasi vector
naintea ultimei tranzitii, atunci:

P(S k ) = P(S k 1 )T

(conform Teoremei probabilitii totale)

13

Prin tranzitivitate:

P(S k ) = P(S k 1 )T = P(S k 2 )T 2 = K = P(S 0 )T k

unde P(S 0 ) este vectorul probabilitilor n starea iniial a sursei

Definiie : Sursa Markov este regulat dac, atunci cnd n , P(S n ) devine constant. n
acest caz, P(S n ) se numete distribuie de echilibru sau asimptotic a strilor sursei
Markov.
Exemplu : sursa Markov regulate (binar de ordinul 1).

P(S 0 ) = [1 / 3 2 / 3]

1 / 4 3 / 4
T =

1 / 2 1 / 2

14

4. ENTROPIA SURSELOR DISCRETE DE INFORMAIE

Definiie : Entropia unei surse discrete de informaie este cantitatea de informaie, medie pe
simbol, generat de surs.
4.1. Entropia sursei fr memorie
4.1.1. Expresia entropiei
Entropia unei surse fr memorie se calculeaz cu urmatoarea expresie :

H ( X ) = pi log ( pi )
i

Justificare:

Fie S : X 1 , X 2 ,K, X n un sir tipic generat de surs. Din numrarea simbolurilor

de acelai fel rezult valorile n1 , n2 ,K, nn ( ni = n ). irul fiind tipic, pentru

n >> 1 ,

numrul de apariii ale unui simbol este aproximativ ni npi . Probabilitatea unui ir tipic este
egal cu p (S ) = p1 1 p 2 2 K p n n . Deoarece avem un ir tipic putem scrie ca n1 = p1 n .
n

Deci, probabilitatea estimat de apariie a sirului este: p(S ) = p1 1 p2 2 K p n

consecin, informaia sirului este:
p

pn n

i, n

i(S ) = log p (S ) = n p i log( p i )

i (S )
= p i log ( pi )
n
i
Informaia unui simbol sau a unui ir este mereu pozitiv
Observaie : Aceast expresie a entropiei este valabil i pentru sursele neergodice sau
sursele nestaionare.
iar entropia H ( X ) =

Unitatea de masur pentru entropie : bit/simbol.

4.1.2. Proprietile entropiei

a) Entropia este totdeauna mai mare sau egal cu zero
b) Continuitate : H ( X ) este continu n raport cu variabilele pi

H ( X ) = p i log 2 ( p i )
i

c) Simetrie : H ( X ) este simetric n raport cu variabilele pi

d) H ( X ) este maxim cnd simbolurile sursei sunt echiprobabile p1 = p 2 = ....... p n

e) Aditivitate:
e1) compunerea simbolurilor descrete entropia
e2) scindarea simbolurilor crete entropia

15

Justificarae proprietii d): Demonstratia se face folosind metoda multiplicatorului lui

Lagrange. Este o metod ce ne permite sa aflm maximul unei funcii ale cror puncte sunt
supuse unor constrngeri
N

Constrngerea noastr este

p
i =1

=1

Construim o funcie care are acelai extrem ca i entropia

n
n

= p i log 2 p i + pi 1
i =1
i =1

- multiplicatorul lui Lagrange

Cutm punctul de extrem pentru
log 2 e

= log 2 p i p i
+ rezult pi =
pi
e
p i

Evenimentul se obine cnd toate probabilitile sunt egale i egale cu

Sa artm ca punctul de extrem este unul de maxim:
log 2 e
2
=
< 0 rezult ca avem de-a face cu o funcie concav
2
pi
pi
Justificarea proprietailor e1) i e2):document scanat

4.1.3. Entropia sursei binare

Fie alfabetul [ X ] = [x1 , x 2 ] cu probabilit ile [P] = [ p 1 p ]
Entropia H ( X ) = p log( p ) (1 p ) log (1 p )
Pentru p = 0 sau p = 1 , H ( X ) = 0bit / simb
Pentru p = 1 / 2 , entropia este maxim H ( X ) = 1bit / simb
H(X)
1

1/2

4.2. Entropia sursei Markov

16

2
e

Fie sursa Markov de ordin k, cu alfabetul :

[X ] = [x1 , x 2 ,K, x N ]
si alfabetul strilor :

[S k ] = [s1 , s2 ,K, sN

Definiie : Entropia sursei Markov este informaia medie pe stare, generat de sursa:

H (S k ) = p(s j )H S k s j

unde H S k s j este informaia medie cnd sursa se afl n starea particular s j :

( )

H S k s j = p s i s j log p s i s j
i

Proprietate : Entropia sursei Markov este mai mic dect entropia unei surse fr memorie
care ar genera aceleai simboluri (dependena de trecut diminueaz cantitatea medie de
informaie pe simbol):

H (S k ) < H (S 0 )
Justificare:
Demonstraia se bazeaz pe urmtorul rezultat:

Inegalitatea fundamental (lema):

Fie [P] = [ p1 , p 2 ,K , p N ] cu

[Q ] = [q1 , q 2 , K, q N

p = 1 i
] cu q = 1
i

dou seturi de probabiliti.

q
Atunci p i log 2 i 0
pi
i

Demonstraie lem (indicatie): se porneste de la log 2 x x 1 si se noteaz

qi
= x.
pi
pi
se numeste entropie relativ sau distana
qi
i
Kullback-Liebler. Entropia relativ este o marime nenegativa; ea ia valoarea zero cnd cele
dou distribu ii sunt egale (se folosete pentru a masura similaritatea a dou distribuii).

Definiie: Mrimea

log 2

17

4.3. Decorelarea sursei Markov

Definiie : Decorelarea este operaia prin care un semnal numeric, modelat printr-o surs
Markov, este transformat ntr-o surs fr memorie. n practic se realizeaz o quasidecorelare, adic se ob ine o surs cu memorie de lungime redus i cu dependen mic ntre
simboluri.
Cea mai simpl metod de decorelare este predicia liniar cunoscut i sub numele de DPCM
(Differential Pulse Code Modulation)

4.3.1. Cazul semnalelor 1D

Fie un semnalul numeric format din urmatoarele esantioane : x1 , x 2 ,K , x n , K
Semanalul decorelat se ob ine calculnd diferena ntre simbolurile consecutive :

x1 , x 2 x1 ,K , xn xn 1 ,K
4.3.2. Cazul semnalelor 2D
Fie imaginea constituit din pixelii :

i1,1
K

i1, j 1
K

i1, j
K

K
K

ii 1,1 K ii 1, j 1

ii1, j

ii ,1
K

ii , j
K

K
K

K
K
K
K

ii , j 1
K

Imaginea decorelat este constituit din pixelii diferent d i , j = 0,75ii 1, j 0,5ii 1, j 1 + 0,75ii , j 1 :

i1,1
K

i1, j
K

K
K

ii 1,1 K d i 1, j 1

d i 1, j

ii ,1
K

d i, j
K

K
K

K
K
K
K

i1, j 1
K
d i , j 1
K

4.4. Debit, redundan, redundan relativ

Definiie : Debitul de informaie al unei surse este cantitatea medie de informaie generat
pe secund de surs.

18

H t (X ) =

H (X )

unde este durata unui symbol

Unitatea de msur pentru debit este bit/sec.

Definiie : Redundana unei surse de informaie este:

R( X ) = H max ( X ) H ( X )
Unde H max ( X ) este entropia maxim a sursei (entropia n cazul simbolurilor echiprobabile) i
H ( X ) este entropia sursei.
Unitatea uzual de masur este bit/simbol.

Definiie : Redundana relativ a unei surse este

(X ) =

H max ( X ) H ( X )
H max ( X )

( X ) [0 1]

Redundana relativ este adimensional.

4.5. Entropia conjugat a dou surse de informaie

Fie dou surse de informaie:

[X ] = [x1 , x 2 ,K, x N ]
[P] = [ p1 , p2 ,K, p N ] cu pi

=1

[Y ] = [y1 , y 2 ,K, y M ]
[Q] = [q1 , q2 ,K, q M ] cu qi

=1

Definiie : Entropia conjugat (sau compus) a surselor X si Y este

H ( X , Y ) = p (xi , y j )log p (xi , y j )

i

Observaii:
a) Informaia conjugat este totdeauna pozitiv
b) Unitatea uzual de masur pentru informaia conjugat este bit/simbol.

Cazuri particulare :
1. Dac sursele de informaie sunt independente :

19

H ( X , Y ) = H ( X ) + H (Y )
Demonstraia se bazeaz pe definiia v.a. independente: p (xi , y j ) = p( xi ) p ( y j )
2. Dac sursele sunt identice:

H ( X , Y ) = H ( X ) = H (Y )
3. Dac sursele sunt dependente statistic:

H ( X , Y ) H ( X ) + H (Y )
Demonstraia se face folosind inegalitatea fundamental , n cazul seturilor de
probabiliti p (xi , y j ) si p ( xi ) p ( y j ) .

4.6. Informaia mutual a dou surse

Definiie : Informaia mutual a dou surse X i Y este media informaiilor mutuale a
perechilor de simboluri (xi , y j ) generate de surse:

I ( X , Y ) = p (xi , y j )log
i

p (xi , y j )

p ( xi ) p ( y j )

Unitatea de masur uzuala pentru I ( X , Y ) este bit/simbol.

Cazuri particulare :
1. Dac X i Y sunt independente:

I (X ,Y ) = 0
Demonstraia se bazeaz pe definiia v.a. independente: p (xi , y j ) = p( xi ) p ( y j ).
2. Dac X i Y sunt identice:

I ( X , Y ) = H ( X ) = H (Y )
3. Dac X i Y sunt dependente statistic:

I ( X , Y ) H ( X ) si I ( X , Y ) H (Y )
Proprieti:
1. I ( X , Y ) = H ( X ) + H (Y ) H ( X , Y )

20

Justificare: Se calculeaz expresia din stanga, scriindu-i pe H ( X ) si H (Y ) ca funcii

de probabilitile ambelor v.a. De exemplu,

p ( xi ) = p (xi , y j ) , conform Teoremei

j

probabilitatii totale.
2. Informaia mutual este o marime nenegativ: I ( X , Y ) 0 .

Justificare: Rezult din proprietatea entropiei conjugate H ( X , Y ) H ( X ) + H (Y )

Observaie: Dei informaia mutual a dou simboluri poate fi si negativ, informaia
mutual a dou surse este totdeauna nenegativ.

4.7. Entropia condiionat a sursei de informaie

Definiie : Entropia sursei X , condiionat de sursa Y , este cantitatea medie de
incertitudine care rmne asupra lui X , cnd se cunoate Y .

H ( X Y ) = p (xi , y j )log p xi y j
i

Observaie: H X y j = p xi y j log p xi y j este incertitudinea medie asupra lui X , cnd

i

Y a generat simbolul y j . n medie, aceast incertitudinea este

H ( X Y ) = p ( y j )H X y j .
j

Cazuri particulare:
1. Dac X si Y sunt independente:
H (X Y ) = H ( X )
Demonstraia se bazeaz pe definiia v.a. independente: p (xi , y j ) = p( xi ) p ( y j ).
2. Dac X i Y sunt identice:
H (X Y ) = 0
3. Dac X i Y sunt dependente statistic:

H (X / Y ) H (X )

4.8. Relaii ntre entropii (Diagrame Venn)

21

4.8.1. Reprezentarea entropiilor prin Diagrame Venn :

Sursele X i Y sunt independent

H(X)

H(Y)

Sursele X si Y sunt identice

H(X)
H(Y)
Sursele X i Y sunt dependente statistic

H(X/Y)

H(Y/X)

4.8.2. Relaii intre entropii

H ( X , Y ) = H (Y X ) + H ( X ) si

H ( X , Y ) = H ( X Y ) + H (Y )

H ( X / Y ) H ( X ) H ( X , Y ) H ( X ) + H (Y )
4.9. Generalizare (cazul a n surse)

Diagrama Venn pentru 3 surse de informaie :

22

H(X/Y,Z)

H(Y/X,Z)

H(Z/X,Y)

a) H ( X , Y , Z ) = H ( X ) + H (Y X ) + H (Z X , Y ) (se deduce din Diagrama Venn)

unde H (Z X , Y ) = p (xi , y j , z k )log p z k xi , y j

i

b) 0 H (Z X , Y ) H (Z X ) H (Z )
Pentru n surse, prin analogie cu relaiile anterioare, putem scrie:

a) H ( X 1 ,K , X n ) = H ( X 1 ) + H X 2 X 1 + K + H ( X n X 1 ,K , X n 1 )
Dac sursele sunt independente, atunci: H ( X 1 ,K , X n ) = H ( X i )
i

b) 0 H ( X n X 1 , K , X n 1 ) H ( X n X 1 ,K , X n 2 ) K H ( X n X 1 ) H ( X n )

23

5. CANALE DE TRANSMITERE A INFORMAIEI

Definiie : Un canal de transmitere a informaiei este constituit din mediul de transmitere si
echipamentele care fac posibile transmiterea informaiei de la surs la utilizator.

[X]

S
S

Mod

C A N A L

DeM

[Y]

Mediul de transmisie : fire de cupru, fibrele optice, atmosfera, etc.

5.1. Clasificri ale canalelor

a) Dup domeniul de valori al v.a. X i Y de la intrarea, respectiv ieirea canalului :

- continuu/continuu
- discret/continuu
- continuu/discret
- discret/discret

b) Dupa evolutia in timp a v.a. X si Y :

-

continuu in timp
discret in timp

c) Dupa redundanta transmisiei :

-

canal fara memorie

canal cu memorie

d) Dupa statistica trasmisiei :

-

stationar
nestaionar

5.2. Canale discrete de transmitere a informaiei

Aceast seciune priveste canalele discrete/discrete, fr memorie i staionare. No iunile
prezentate nu depind de tipul i de continuitatea n timp

24

5.2.1. Marimi caracteristice

Fie X , sursa de informaie care genereaz la intrarea n canal:

[X ] = [x1 ,K , x N ]
[P] = [ p1 , K, p N ]
i Y , sursa de informaie care modeleaz ieirea din canal (sursa de informaie pentru
utilizator):

[Y ] = [y1 ,K, y M ]
[Q ] = [q1 ,K, q M ]
Din cauza perturbaiilor de pe canal, X i Y sunt, n general, diferite.

Spaiul produs:
innd cont de spaiul de intrare [ X ] i de spaiul de ieire [Y ] , se poate defini un
spaiu produs (sau cmp reunit) [ X , Y ] , prin matricea:

x1 , y1 x1 , y 2 K x1 , y M
x ,y
x2 , y 2 K x 2 , y M
2
1

[X , Y ] =
K
K
K
K

x N , y1 x N , y 2 K x N , y M
unde prin produsul xi, yj s-a notat realizarea att a evenimentului xi, ct i a evenimentului yj,
adic emisia simbolului xi i recepia simbolului yj.
Matricea probabilitilor corespunzatoare spaiului produs
Matricei de mai sus i corespunde matricea de probabiliti urmtoare:
p ( x1 , y1 ) p ( x1 , y 2 )
p ( x , y ) p( x , y )
2
2
[P( X , Y )] = 2 1
K
K

p (x N , y1 ) p ( x N , y 2 )

K
K
K
K

p ( x1 , y M )
p (x 2 , y M )

p ( x N , y M )

Matricea de zgomot a canalului:

p ( y1 x1 ) p ( y 2 x1 )

[P(Y X )] = p( yK1 x2 ) p( yK2 x2 )

p ( y1 x N ) p ( y 2 x N )

p ( y M x1 )

K p ( y M x 2 )
K
K

K p ( y M x N )

25

Matricea de zgomot este stohastic:

p (y x ) = 1 (suma elementelor de pe orice linie este 1).

j

Canalele studiate sunt stationare, deci p ( y j / xi ) = ct. .

Canalele sunt fr memorie, deci probabilitatea de apariie a lui y j nu depinde dect de

simbolul generat simultan la intrarea n canal, simbolul xi pentru p ( y j / xi ) .

5.2.2. Reprezentarea grafic a transmisiei prin canalele discrete

x1
x2

p( y1 / x1 )

y1
y2

.
yM
xN

5.2.3. Entropii caracteristice

Entropia la intrarea in canal:

Dac [ X ] este mulimea tuturor simbolurilor pe care canalul poate s le transmit,
unde [ X ] = [x1 , x2 ,..., xn ] , i dac fiecare simbol xi este utilizat cu probabilitatea p(xi),
atunci se poate defini urmtorul set de probabiliti: [ p ( X )] = [ p ( x1 ), p ( x 2 ),..., p ( x n ) ].
Aceste probabiliti nu depind de canal, ns de ele depinde informaia transmis prin canal.
Entropia la intrarea n canal se definete astfel:
n

H ( X ) = p ( x i ) log p( x i ) [bit/simbol].
i =1

Observaie: Toi logaritmii sunt n baza 2.

Entropia H(X) are valoarea maxim logn pentru setul de probabiliti:
1
p( x1 ) = p( x2 ) = ... p ( xn ) =
i se anuleaz dac un simbol din spaiul de intrare are
n
probabilitatea 1, iar celelalte 0.
Entropia H(X) este o mrime continu , pozitiv, simetric n raport cu setul de
variabile p(xi) i aditiv.

Entropia la ieirea din canal:

Dac [Y ] este mulimea tuturor simbolurilor de
[Y ] = [y1, y2, ..., ym ] ,
iar
probabilitile
simbolurilor

26

la ieirea din
de
ieire

canal:
sunt:

[ p( y )]] = [ p( y1 ), p( y2 ),..., p( ym )] ,

atunci entropia la ieirea din canal poate fi definit

asemntor cu cea de la intrarea n canal:

H (Y ) = p ( y i ) log p ( yi ) [bit/simbol].
i

Se poate arta i n acest caz c entropia la ieirea din canal este maxim pentru
probabiliti egale ale simbolurilor de la ieirea din canal.

Entropia reunit a intrrii si ieirii

Tinnd cont de spaiului produs (sau cmp reunit) [ X , Y ] si de matricea de probabiliti
[P( X , Y )] corespunztoare spatiului produs se poate defini entropia spaiului reunit (cmpului
produs) intrare-ieire cu ajutorul relaiei:
n

H ( X , Y ) = p ( x i , y j ) log p ( x i , y j ) [bit/simbol].
i =1 j =1

Echivocatia
Dac spaiul de la ieirea din canal este cunoscut, datorit efectelor perturbaiilor
rmne totu i o oarecare incertitudine asupra spaiului de la intrare. Valoarea medie a acestei
incertitudini se numete entropia spaiului [ X ] condiionat de spaiul [Y ] i se noteaz
H(X/Y).
n

H ( X / Y ) = p ( xi , y j ) log p( xi / y j ) [bit/simbol].
i =1 j =1

Entropia H(X/Y) se numete echivocaie, fiindc este o msur a echivocului care

exist asupra spaiului de la intrare cnd se cunoate spaiul de la ieire.
Definiie: Echivocatia este cantitatea medie de incertitudine care ramne asupra
simbolurilor de la intrarea n canal, atunci cnd se cunosc simbolurile de la ieire
ntotdeauna

H (X ) H(X /Y ) .
Pentru determinarea echivocaiei este necesar s se cunoasc probabilitile p(xi/yj),
i = 1, , n, j = 1, , m, date de matricea [P ( X / Y ) ] .

Eroarea medie
n mod analog cu echivocaia se poate determina entropia spaiului de la ieire cnd se
cunoate spaiul de la intrare:
n

H (Y / X ) = p ( x i , y j ) log p ( y j / x i ) [bit/simbol].
i =1 j =1

Entropia H(Y/X) se numete eroare medie, fiindc este o msur a incertitudinii (deci a
erorii) asupra spaiului de la ieire cnd se cunoate spaiul de la intrare.

Definiie: Eroarea medie este cantitatea medie de informaie eronata, la ieirea din canal.

27

ntotdeauna

H (Y ) H (Y / X ) .
Pentru determinarea erorii medii este necesar s se cunoasc probabilitile
p( y j / xi ), i = 1, n j = 1, m , date de aa-numita matrice de zgomot (sau de tranziie sau de
eroare) P[Y/X]. Matricea de zgomot se construiete pe baza grafului de tranziii asociat
canalului.

Informaia medie transmis prin canal

Transinformaia se definete ca fiind valoarea medie a informaiei transmise pe canal.
I(X,Y) = H(X) + H(Y) - H(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X).
sau

I ( X , Y ) = p (xi , y j )log
i

p (xi , y j )

p (x i ) p ( y j )

ntotdeauna

I (X ,Y ) 0 .
Definiie: Informaia medie este cantitatea medie de informaie care se transmite corect prin
canal.

Cazuri particulare :
a) Canale cu perturbaii infinite ( X si Y sunt independente)

H ( X , Y ) = H ( X ) + H (Y )
H ( X Y ) = H ( X ) (la ieire, nu aflam nimic despre X ; incertitudinea asupra lui X ramane la
fel de mare)

H (Y X ) = H (Y ) (toat informaia de la iesire este eronat)

I ( X , Y ) = 0 (informaia medie transmis prin canal este nul)

b) Canale fr perturbaii (sursele X i Y sunt identice)

H ( X , Y ) = H ( X ) = H (Y )
H ( X Y ) = 0 (cunoscnd ieirea din canal, nu mai exist nici o incertitudine asupra lui X )
H (Y X ) = 0 (nu exist erori la iesirea din canal)

I ( X , Y ) = H ( X ) (informaia de la intrare se transmite integral prin canal)

28

c) Canale cu perturbaii finite ( X i Y sunt diferite, dar dependente statistic)

H ( X , Y ) < H ( X ) + H (Y )
H ( X Y ) < H ( X ) (cunoscnd ieirea din canal, incertitudinea asupra lui X devine mai mic)
H (Y X ) < H (Y ) (o parte a informatiei de la iesirea din canal este corect)

I ( X , Y ) < H ( X ) (informaia de la intrare se transmite parial prin canal)

5.3. Capacitatea canalului discret

Pentru a defini o msur a eficienei cu care se transmite informaia i a gsi limita
superioar a acesteia s-a introdus no iunea de capacitate a canalului.

Definiie : Capacitatea canalului discret cu zgomot se definete ca fiind valoarea maxim a

transinformaiei.

C = max I ( X , Y ) = max[H ( X ) H ( X / Y )] = max[ H (Y ) H (Y / X )] [bit/simbol].

{ p ( xi )}

{ p ( xi )}

{ p ( xi )}

Unitatea de masura pentru capacitate este bit/simbol.

Observaie: maximul se ia dupa probabilitile sursei de la intrarea n canal, pentru ca aceste

probabiliti pot fi controlate, ntr-o aplicaie practic.
Valoarea maxim a transinformaiei are loc pentru valori bine determinate ale acestor
probabiliti, care definesc astfel o anumit surs secundar. Pentru a transmite prin canal
transinformaia cu valoarea ei maxim este necesar ca sursa primar s fie transformat prin
operaia de codare n sursa secundar specificat de probabilitile care dau maximul expresiei
transinformaiei. Acest lucru se numete adaptarea statistic a sursei la canalul de comunicaii.
Pentru capacitatea canalelor discrete se deosebesc urmtoarele cazuri particulare:
1. Canalul discret fr perturbaii
C = max I ( X , Y ) = max[ H ( X )] = log n [bit/simbol].
{ p ( xi )}

{ p ( xi )}

2. Canalul discret cu perturbaii foarte puternice

C = 0 [bit/simbol].
3. Canalul discret simetric
Capacitatea oricrui canal simetric se atinge pentru o distribu ie uniform a setului de
1
probabiliti { p ( xi )} : p( x1 ) = p ( x2 ) = ... p ( xn ) = i este dat de relaia:
n

29

C=
i =1

1 m
p( y j / x i ) log p( y j / x i ) + log m [bit/simbol].
n j =1

Definiie : Redundana canalului este : R = C I ( X , Y ) [bit/simbol].

Definiie : Redundana relativ a canalului este : C = 1

I ( X ,Y )
[0,1] .
C

Definiie : Randamentul sau eficiena canalului arat ct de mic este cantitatea medie de
informaie transmis prin canal, n raport cu capacitatea canalului.

C =

I (X ,Y )
[0,1]
C

Observaie: redundana i randamentul sunt mrimi complementare: C = 1 C

Definiie : Debitul de informaie prin canal este : I t ( X , Y ) =

I (X ,Y )

[bit/sec], unde este

durata unui simbol.

Observaie: Debitul maxim de informaie prin canal este: C t =

Proprieti :
a) Capacitatea canalului este o mrime nenegativ :

C 0 (deoarece I ( X , Y ) 0 )
b) Capacitatea canalului este mai mic sau egal cu entropia sursei de la intrare:

C H ( X ) (deoarece I ( X , Y ) H ( X ) )
c) Capacitatea este o funcie continu in raport cu probabilitatile [P( X )] .

5.4. Calculul capcitii canalului discret

Date iniiale : probabilitile matricii de zgomot [P(Y / X )] .
Etape:

30

1) Aplicand Metoda multiplicatorului lui Lagrage, se calculeaz probabilitile pimax ,

care maximizeaz funcia I ( X , Y ) = H (Y ) H (Y / X ) .

2) Capacitatea se ob ine calculand I ( X , Y ) = H (Y ) H (Y / X ) pentru probabilitatile
obinute.

Rezolvare:
Se construiete funcia:

= H (Y ) H (Y / X ) + p i 1
i

Pentru a pune n eviden probabilitile pi n expresia lui H (Y ) , probabilit ile [Q] se scriu:

q j = p(xi , y j ) = p( y j xi )p( xi ) = p ( y j xi )pi

i

Se calculeaz derivatele pariale ale lui n raport cu p i :

- derivata lui H (Y ) n raport cu pi :

H (Y )
H (Y ) q j
1
p ( y j / xi ) =
=
= log q j +
p i
q j p i
log e
j
j

1
1
p ( y j / xi ) p ( y j / xi )log q j =
p ( y j / xi )log q j

log e j
log e
j
j

- derivata lui H (Y / X ) n raport cu pi :

H (Y / X )
=
p i
-

p ( y j / xi ) p i log p ( y j / xi )
j

p i

= p ( y j / xi )log p ( y j / xi )
j

derivata termenului n :

pi 1
i
=
p i
Se egaleaz derivatele pariale ale lui cu zero; din rezolvarea sistemului, rezult
probabilitile pimax , care maximizeaz i, deci, informaia transmis prin canal:
1

p ( y j / xi )log q j + p ( y j / xi )log p ( y j / xi ) + = 0 pentru i = 1, N

log e
j
j

31

Grupnd termenii cu sume i constantele, se obtin ecuaiile:

p(y

/ xi )log

p ( y j / xi )

qj

= ct

pentru i = 1, N

Completnd aceste ecuaii cu:

q j = p ( y j / xi ) p i

pentru

j = 1, M

=1

se ob ine un sistem cu N + M + 1 ecuaii i acelai numar de necunoscute, din care se pot

, care maximizeaz informaia transmis prin canal.
obine probabilitile p imax i q max
j
Capacitatea canalului se calculeaz cu relaia:

C = p ( y j / xi ) p imax log
i

p(y j / xi )
q max
j

Observtii:
-

acest sistem nu are, n general, o soluie analitic; cnd nu exist o solutie analita,
capacitatea se calculeaz cu metode numerice (algoritmul lui Frank-Wolfe, care este
bazat pe metoda gradientului, sau algoritmul iterativ al lui Arimoto si Blahut)
dac alfabetele surselor de la intrarea i de la ieirea din canal au acela i numr de
simboluri i, dac, determinantul matricii de zgomot este diferit de zero, atunci
sistemul are soluie analitic

5.5. Modele de canale discrete

Aceast seciune cuprinde patru cazuri particulare de canale (modele), pentru care capacitatea
se poate calcula analitic.

5.5.1. Canalul uniform fa de intrare

Definiie: Fiecare linie a matricii de zgomot a canalului uniform fa de intrare este o
permutare a altei linii (pe fiecare linie gsim aceleai probabilitati, diferit ordonate).
Exemplu:

P(Y / X ) = 3
1

1
6
1
2

1
2
1

32

Proprieti:
a) Eroarea medie nu depinde de probabilittile simbolurilor de la intrarea n canal:

H (Y / X ) = p (xi , y j )log p ( y j / xi ) =
i, j

= p ( y j / xi ) p ( xi ) log p ( y j / xi ) =
i, j

= p( xi ) p ( y j / xi )log p ( y j / xi ) = ct p ( xi ) = ct
i

b) Capacitatea canalului este:

C = max I ( X , Y ) = max[H (Y ) H (Y / X )] = max H (Y ) H (Y / X )

[P ]

[P ]

[P ]

5.5.2. Canalul uniform fa de ieire

Definiie: Fiecare coloan a matricii de zgomot a canalului uniform fa de ieire este o
permutare a altei coloane (pe fiecare coloan gasim aceleai probabiliti, diferit ordonate).
Exemplu:
0,5 0,5
P(Y / X ) = 0,3 0,7
0,7 0,3

Proprietate:
a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire
sunt echiprobabile:

p ( y j ) = p ( y j / xi ) p ( xi ) =
i

1
1
p ( y j / xi ) = ct.

N i
N

5.5.3. Canalul simetric

Definiie: Canalul simetric este canalul uniform att fa de intrare ct i fa de ieire.
Exemplu:
0,3 0,2 0,5
P(Y / X ) = 0,5 0,3 0,2
0,2 0,5 0,3

33

Proprieti:
a) Capacitatea canalului se ob ine pentru simboluri echiprobabile la intrarea n canal i
este:
C = log M H (Y / X ) unde M este numarul de simboluri ale sursei de la iesirea din
canal (simbolurile de la ieire sunt echiprobabile, dac i cele de la intrare sunt echiprobabile).

5.5.4. Canalul slab simetric

Definiie: Canalul slab simetric este uniform fa de intrare i are suma probabilit ilor de pe
fiecare coloan constant.
Exemplu:
1

P(Y / X ) = 3
1

1
6
1
2

1
2
1

Proprietati:
a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire
sunt echiprobabile:

p ( y j ) = p ( y j / xi ) p ( xi ) =
i

1
1
p ( y j / xi ) = ct.

N i
N

b) Capacitatea canalului se ob ine pentru simboluri echiprobabile la intrarea n canal i

este:

C = log M H (Y / X )
Observaie: Uniformitatea fa de ieire nu este indispensabil pentru a putea avea o
expresie analitic pentru capacitatea canalului. Aceast condiie poate fi relaxat la
condiia c suma probabilitilor de pe coloane sa fie constant.

5.6. Exemple de canale discrete

5.6.1. Canalul binar simetric
Matrice de zgomot:

34

p
1 p
P(Y / X ) =

p 1 p

Reprezentare grafic:

1-p
1-p

Calculul capacitii:

C = log 2 H (Y / X ) = 1 H (Y / X )
H(X), C

unde

H (Y / X ) = p ( y j / xi )log p ( y j / xi ) =
2

j =1

= p log p (1 p ) log(1 p )
deci

C = 1 + p log p + (1 p ) log(1 p )
1/2

Cazuri particulare:
a) Canal fr perturbaii:
1 0
Matricea de zgomot: P(Y / X ) =

0 1

Reprezentare grafic:

1
Capacitatea este maxim : C = 1 bit / simbol

Observaie:
Cellalt punct de maxim al capacitii corespunde canalului inversor:

35

0 1
P(Y / X ) =

1 0

C = 1 bit / simbol

b) Canalul cu perturbaii infinite (foarte puternice)

1 / 2 1 / 2
Matricea de zgomot: P(Y / X ) =

1 / 2 1 / 2
Capacitatea : C = 0 bit / simbol

5.6.2. Canalul binar cu erori si anulri

Matrice de zgomot:
p
q
1 p q
Canalul este uniform doar fa de intrare.
P(Y / X ) =
p
1 p q q

Reprezentare grafic:

X =0

1-p-q

Y =0

q
p

Y =a

X =1

Y =1

Calculul capacitii:
C = max[H (Y )] H (Y / X )
[P ]

unde

H (Y / X ) = p ( y j / xi )log p ( y j / xi ) =
2

j =1

= p log p q log q (1 p q ) log (1 p q )

36

Calculul lui max[H (Y )] :

[P ]

- se noteaz p( X = 0) = x si p( X = 1) = 1 x
2

- se exprim p (Y = 0 ) = p (Y = 0 / xi )p (xi ) , p(Y = a ) = K si p(Y = 1) = K

i =1

ca funcii de x
- se exprim H (Y ) ca funcie de x , folosind probabilitile calculate mai sus
H (Y )
- se rezolv ecuaia
=0
x
- cu solu ia ecuaiei de mai sus, se obine max[H (Y )]
[P ]

Exercitiu:
Calculul capacitii canalului binar cu erori si anulri.
Rspuns C = 1 q (1 q ) log(1 q ) + p log p + (1 p q ) log(1 p q ) .

Observaie: Capacitatea canalului devine zero pentru p =

C
1 q
= 0 i se ob ine soluia p =
)
p
2
5.6.3. Canalul binar cu anulri

1 q
(se rezolv ecuaia
2

Este un caz particular al canalului binar cu erori i anulri ( p = 0 ).Acest canal modeleaz
cazul transmisiei binare n care un simbol poate fi transmis corect, poate fi confundat cu
cellalt simbol, sau poate fi recepionat cu o valoare incert (acest al treilea simbol poart
denumirea de simbol de anulare sau de tergere). Este caracterizat de urmtorul graf de
tranziii
Matricea de zgomot:
0
q
1 q
P(Y / X ) =

0 1 q q
Reprezentarea grafic:

X =0

Y =0

1-q
q

Y =a

X =1

Y =1
1-q

Capacitatea: C = 1 q

37

6. SURSE DE INFORMAIE I CANALE CONTINUE

6.1. Entropia sursei de informaie continue
Definiie :
Sursa continu de informaie este un mecanism de generare a unui sir de v.a.continue :
: K, X k 1 , X k , X k +1 , K , unde k este, de cele mai multe ori, un indice de timp.
X k sunt v.a. continue, care iau valori in R .
X k poate fi si complex (de exemplu, cnd prin Tranformare Fourier, s-a trecut n domeniul
frecvenelor).

V. a. Continue X k sunt caracterizate de densitatea de probabilitate f (x)

Definiie : Entropia unei surse de informaie continue este:

H ( X ) = f ( x ) log 2 f ( x )dx
R

(Entropia unei surse de informaie discrete H ( X ) = pi log( pi ) )

i

Observaie : H ( X ) poate fi i negativ pentru c f (x) poate fi > 1 .

Exemplu: v.a. X cu distribuie uniform pe intervalul [0 1 / 2]
2 x [0 1 / 2]
f (x ) =
in _ rest
0
1/ 2

1/ 2

H ( X ) = 2 log 2 2dx = 2 dx = 1

6.1.1. Semnificaia entropiei unei surse continue

Faptul ca H ( X ) poate fi i negativ pune un semn de ntrebare asupra semnificaiei acestei
mrimi, n cazul surselor de informaie continue.
Fie un semnal continuu, modelat printr-un ir de v.a. continue X k cu distribu ia f (x ) . Altfel
spus, fie o surs de informaie continu , pe care o notm cu X . Pp. pentru simplitate ca
realizarile particulare ale lui X k sunt cuprinse n intervalul [0 Nq ] , unde q este un numr
pozitiv, iar N un numr natural.
Prin cuantizare cu cuanta q , toate valorile semnalului cuprinse ntr-un anumit interval de
lime q , devin egale cu o valoare fix (semnalul continuu este discretizat) :

38

dac xt [(n 1)q nq ]

X t la momentul t ).

atunci xt x n = nq (cu xt s-a notat realizarea particular a lui

Semnalul discret (continuu) poate fi modelat de un sir de v.a. discrete X k(q ) , altfel spus, sursa

de informaie continu devine o surs discret X (q ) .

V.a. X k(q ) iau valori n mulimea [ X ] = [x1 , x 2 ,K, x N ] unde x n = nq .

Mulimea probabilitilor sursei discrete este constituit din urmatoarele valori:

p ( xn ) =

nq

f (x )dx qf (nq )

(n 1)q

Entropia sursei discrete este:

( )

n =1

n =1

H X q = p ( xn ) log p( x n ) = qf (nq ) log (qf (nq ))

Prelucrnd relatia entropiei, obinem :

H (X q ) = log q qf (nq ) qf (nq ) log( f (nq ))

N

n =1

n =1

La limit, cnd cuanta q tinde catre zero :

f (nq ) f ( x ) si q dx

i relaia entropiei devine:

( )

H X q = log q f ( x )dx f ( x ) log f ( x )dx = log q + H ( X )

Concluzie:

( )

a) H X q este entropia unei surse de informaie discrete, deci are semnificaia unei informaii
medii. La limit, cnd q 0 , sursa devine continu i lim H X (q ) este informaia medie a
q 0

sursei continue, ceea ce nu este acelasi lucru cu H ( X ) din cauza termenului log q . Deci,
entropia sursei continue nu are semnificaia unei cantiti medii de informaie.
b) La limit, termenul log q tinde catre infinit, de aceea, spunem ca informaia medie a
sursei continue este infinit (n timp ce entropia H ( X ) este de cele mai multe ori finit).

39

6.1.2. Inegalitatea fundamental n cazul distribuiilor continue

Fie f (x ) i g ( x ) dou densiti de probabilitate.
Se poate arata, cu acelai demers logic ca n cazul distribu iilor discrete, c:
g (x )

f (x ) log f (x ) 0
R

f (x )

f (x ) log g (x )

este entropia relativ sau distana Kullback-Leibler n cazul

distribuiilor continue. Este o mrime nenegativ; ia valoarea zero cnd cele dou distribuii
sunt indentice.

6.1.3. Cazuri de entropie maxim

Maximul absolut al entropiei surselor continue este infinit. Ne intereseaz maximul n

anumite condiii restrictive.

a) V.a. ia valori ntr-un domeniu limitat [a b]

b

f (x )dx = 1

Se caut maximul lui H ( X ) = f ( x ) log 2 f ( x )dx cu restricia

Indicaie: Se folosete metoda multiplicatorului lui Lagrange; se construiete functia

b

= H ( x ) + f ( x )dx 1 i se deriveaza in raport cu f .

a

Rezultat: distribuia care maximizeaz entropia este distribuia uniform.

1 / (b a ) x [a b]
f (x ) =
in _ rest
0

H max ( X ) = log(b a )

b) V.a. ia numai valori pozitive i are media statistic m

Se caut maximul lui H ( X ) = f ( x ) log 2 f ( x )dx cu restriciile

statistic m .

40

f (x )dx = 1

i media

Indicaie: Se foloseste metoda multiplicatorului lui Lagrange; se construiete funcia:

= H (x ) + f ( x )dx 1 + xf ( x )dx m i se deriveaza n raport cu f .

0

Rezultat: distribuia care maximizeaz entropia este distributia exponential.

me mx
f (x ) =
0

x0
in _ rest

H max ( X ) = log m +

m
log e

c) V.a. ia numai valori pe R i are media statistica zero i varianta 2 .

Se caut maximul lui H ( X ) = f ( x ) log 2 f ( x )dx cu restriciile

f (x )dx = 1 ,

media

statistic m = 0 si variana 2 .

Indicatie: Se folosete metoda multiplicatorului lui Lagrange; se construieste functia:

= H ( x ) + f ( x )dx 1 + xf ( x )dx + x 2 f ( x )dx 2 i se deriveaz n raport cu

0

f.
Rezultat: distribuia care maximizeaz entropia este distribuia gaussian:
x x / 2
f (x ) =
2
2

H max ( X ) = log 2e

6.1.4. Variaia entropiei cu schimbarea spaiului de reprezentare a semnalului

Fie un semnal continuu, modelat printr-un ir de v.a. continue X 1 , K, X N , dependente
statistic (cazul majoritii semanlelor ntalnite n practic), unde, de multe ori, indicele este un
indice de timp . Altfel spus, fie o sursa de informaie continu, cu memorie.
41

Printr-o transformare F (de exemplu, Fourier), se trece din spaiul N-dimensional al

eantioanelor temporale, ntr-un alt spatiu spatiul N-dimensional (al eantioanelor
frecven iale, dac am aplicat Transformarea Fourier). n acest spaiu, semnalul este
reprezentat prin irul de v.a. : 1 ,K, N .

[ 1 ,K, N ]=F ( [X 1 ,K, X N ] )

Pp. ca densitile de probabiliate conjugate ale celor dou iruri de v.a. sunt :

f ( X 1 , K, X N ) n spaiul eantioanelor temporale

i

g (V1 ,K ,V N ) n spaiul eantioanelor frecveniale.

Probabilitile ca irurile s aib realizri particulare foarte apropiate de irurile de valori :
x1 ,K , x N i 1 ,K , N

sunt

f ( x1 ,K , x N )dx1 K dx N i g ( 1 ,K , N )d 1 K d N
Variaiile dx1 K dx N = dX determin variaiile d 1 K d N = dV .
Se poate arata c

d 1
dx
V 1
J = K
X d 1
dxN

dV
V
V
= J unde cu J s-a notat jacobianul transformrii:
dX
X
X

d N
dx1

K K
d N
K
dxN
K

Cum transformarea
satisfacut relaia:

, face numai o schimbare de coordonate (nu de semnal), trebuie

f ( x1 ,K , x N )dx1 K dx N = g ( 1 ,K , N )d 1 K d N
Imprind relaia prin dx1 K dx N , se ob ine:

V
f ( x1 , K, x N ) = g ( 1 ,K , N )J
X
ceea ce conduce la urmtoarea relaie ntre entropiile semnalului nainte i dup transformare:

42

H ( X ) = f ( x1 ,K, xN ) log f ( x1 ,K, xN )dx1 K dxN =

X

V
= f ( x1 ,K, xN )log g ( 1 ,K, N ) J
X
X

dx1 K dxN =

V
= f ( x1 ,K, xN )log J dx1 KdxN g ( 1 ,K, N )logg ( 1,K, N )d 1 K d N =
X
X
V
V
= f ( x1 ,K, xN )log J dx1 KdxN + H (V )
X
X
ceea ce arat c, n general, entropia semnalului se schimb atunci cnd se aplic o
transformare.
Se poate arata c, n cazul unei transformri ortogonale (Fourier, Cosinus, etc.) :

V
J = 1
X

i atunci

H ( X ) = H (V ) deoarece

g (

,K , N )d 1 K d N = 1 .

Concluzie: O transformare ortogonal nu schimb entropia unui semnal.

6.2. Canale continue de transmisie a informaiei

Printr-un canal continuu, trec semnale continue att n timp ct i n amplitudine. De aceea,
intrarea i iesirea canalului sunt modelate prin dou surse continue de informaie.
n acest subcapitol, se studiaz canalele continue fr memorie (eantioanele semnalului
continuu sunt independente) i stationare (statistica semnalului este constant n timp).
Fie X sursa continu de la intrare, cu densitatea de probabilitate f X ( x )
Y sursa continu de la ieire, cu densitatea de probabilitate f Y ( y )

6.2.1. Informaia mutual n canalele continue

Pentru a deduce informaia medie transmis prin canalul continuu, vom porni de la rezultatul
obinut pentru canalul discret i, prin trecere la limit, vom obine informaia mutual n
canalul continuu.
Pp ca semnalul de la intrare este eantionat cu frecvena 2W , unde W este frecvena maxim
din spectrul semnalului (criteriul lui Nyquist). Aceast ipotez nu reduce generalitatea
43

rezultatelor urmtoare deoarece un semnal continuu poate fi reconstruit identic din

eantioanele sale dac acestea au o frecven 2W .
Pp., de asemenea, c semnalul este cuantizat cu cuanta q . Rezultatul este un semnal discret
care poate fi modelat printr-o surs de informaie discret avnd alfabetul:

[X ] = [x1 , x 2 ,K, x N ]

unde x n = nq

si probabilitile :

[P] = [ p(x1 ), p(x 2 ),K, p(x N )] unde p(xn )

f X ( x n )q

La ieirea din canal, prin eantionare (sincron cu intrarea) i cuantizare cu cuanta q , se

obine un semnal discret care poate fi modelat de o surs de informaie discret avnd
alfabetul:

[Y ] = [ y1 , y 2 ,K , y M ]

unde y m = mq

si probabilitile:

[Q ] = [ p( y1 ), p( y 2 ),K , p( y N )] unde p( y m ) f Y ( y m )q
Informaia medie pe eantion transmis prin canal este (cf. rezultatului ob inut la canalele
discrete):

I ( X , Y ) = p (xi , y j )log
i

= f X ,Y ( x, y )q log
2

p (xi , y j )

p ( xi ) p ( y j )

f X ,Y ( x, y )q 2
f X ( x )qf Y ( y )q

La limit, cnd q 0 , suma dubl se transform ntr-o integral:

I ( X , Y ) = f X ,Y (x, y ) log

f X ,Y ( x, y )

dxdy
f X (x ) f Y ( y )

Prelucrnd integrala dubl, se ajunge la o relaie similar cazului canalelor discrete:

I ( X , Y ) = f X ,Y (x, y ) log f Y ( y )dxdy f X ,Y ( x, y ) log

f X (x )
dxdy =
f X ,Y ( x , y )

= log f Y ( y )( f X ,Y ( x, y )dx)dy + f X ,Y ( x, y ) log f X ,Y ( y / x )dxdy =

= f Y ( y ) log f Y ( y )dy + f X ,Y ( x, y ) log f X ,Y ( y / x )dxdy = H (Y ) H (Y / X )
unde, prin analogie cu cazul discret, se definete eroarea medie prin canalul continuu:
44

H (Y / X ) = f X ,Y ( x, y ) log f X ,Y ( y / x )dxdy

Observaie: Spre deosebire de entropie, care i pierde semnificaia la trecerea de la discret la

continuu, I ( X , Y ) ii pstreaza semnificaia de cantitatea medie de informaie pe eantion.
Pe durata D a semnalului, dac eantioanele de semnal sunt independente, se transmite o
cantitate de informaie egal cu D 2W I ( X , Y ) , unde D 2W este numrul total de entioane
transmise.

6.2.2. Proprietile informaiei mutuale n canalele continue

a) Informaia medie este o mrime nenegativ :
I (X ,Y ) 0

Justificare:
Ne bazm pe inegalitatea fundamental, n cazul continuu. Considernd densit ile de
probabilitate f X ,Y ( x, y ) i f X ( x ) f Y ( y ) , se poate scrie urmtoarea inegalitate:

I ( X , Y ) = f X ,Y ( x, y ) log

f X (x ) f Y ( y )
dxdy 0
f X ,Y (x, y )

b) Informaia medie este, n general, o mrime finit.

c) Relaia I ( X , Y ) H ( X ) din cazul discret, nu mai este valabil, deoarece entropia n
continuu nu mai are aceeai semnificaie ca n discret (n unele cazuri, entropia poate fi chiar
negativ).
d) I ( X , Y ) este invariant la schimbarea coordonatelor
Pp. ca eantioanele semnalelor de la intrarea i ieire din canal, sunt transformate n
eantioane de frecven, prin aplicarea Transformarii Fourier:
F
F
X
U i Y
V

Se poate demonstra c:

I ( X , Y ) = I (U , V )

45

6.2.3. Capacitatea canalelor continue

Definiie : Capacitatea canalului continuu este dat de maximul cantit ii de informaie
care poate fi transmis prin canal n unitatea de timp ( D = 1 sec .)

C = max[2 W I ( X , Y )] = 2 W max[H (Y ) H (Y / X )]
fX (x)

f X (x )

Pentru calculul capacitii, se fac urmtoarele ipoteze:

a) Pp. c avem urmtoarele limitri de putere pentru semnale i zgomotul din canal :
PX este puterea semnalului la intrarea n canal
PY este puterea semnalului la ieirea din canal
N este puterea zgomotului din canal
b) Pp. c zgomotul este aditiv i independent de semnalul X , transmis prin canal. Se poate
demostra c, n acest caz :

PY = PX + N
c) Pentru fiecare valoare particular a lui, X = x0 , incertitudinea medie asupra ieirii este dat
numai de zgomot. Prin cuantizarea zgomotului cu cuanta q , numrul de nivele pe care
zgomotul le poate lua este:

K=

N
q

Dac zgomotul este staionar i are o distribu ie uniform, atunci nivelele de cuantizare sunt
echiprobabile, iar entropia condiionat este egal cu:

H (Y / X = x0 ) = log K = log

N
q

Dac, n plus, canalul este simetric, atunci eroarea medie pentru toate valorile lui X are
expresia de mai sus. Deci, entropia condiionat nu depinde de distribu ia lui X , iar
capacitatea devine:

N
C = 2 W max H (Y ) log

f (x )
q
X
Prin cuantizarea semnalului de la ieire cu cuanta q , se obin m nivele diferite:

m=

Py
q

46

Entropia la ieire i atinge maximul cnd nivelele sunt echiprobabile :

max H (Y ) = log
fX (x)

Py
q

Deci, capacitatea canalului este:

Py
= W log1 + Px
C = 2 W log
N
N

Prin trecere la limit, pentru q 0 , din relaia anterioar se obine capacitatea canalului
continuu :

C = W log1 + x
N

unde

Px
este raportul semnal zgomot
N

Relaia de mai sus ne arat c, n cazul canalului continuu, capacitatea crete cu banda i cu
puterea semnalului de la intrare i descrete cu puterea zgomotului.
Dac zgomotul de pe canal este alb i de densitate spectral de putere N 0 , atunci N = WN 0 .
i:

P
C = W log1 + x
WN 0

Reprezentarea grafic a acestei relaii, arat o curb a capacitii tinznd asimptotic spre:

P
C = lim W log 1 + x
W
WN 0

Px
=
log(e )
N0

Concluzie: Creterea lrgimii de band peste o anumit valoare nu mai este raional deoarece
capacitatea canalului nu mai crete dect foarte pu in.
C
(Px/N0) loge

47

7. CODAREA DE SURS
Locul codrii de surs ntr-o schem de transmisiune a datelor :

CoS

CANAL

DecS

Rolul codrii de surs :

-

adaptarea alfabetului sursei la alfabetul canalului

adapatarea statistic (simboluri echiprobabile pentru alfabetul de canal)
compresia datelor (este o consecin a adaptrii statistice)

Observaii :
-

codarea de surs privete sursele discrete de informaie

codarea de surs nu rezolv problema erorilor cauzate de perturbaii
prin codare, sursa de informaie, numit i surs primar, este transformat ntr-o
nou surs de informaie, numit surs secundar , care debiteaz informaie pe
canal.

Dou exemple de codare :

Fie o surs de informaie primar care genereaz simboluri dintr-un alfabet :

[X ] = [x1 , x 2 , x3 , x 4 ] cu probabilitile [P] = 1 , 1 , 1 , 1

2 4 8 8

Simbolurile trebuie transmise pe un canal binar cu alfabetul [0,1] . De aceea, ele trebuie
transcrise n binar, nainte de transmisie. Transcrierea n binar - codarea - se poate face n
multe feluri. De exemplu:
1)

x1
x2
x3
x4

0
0
1
1

2)

x1
x2
x3
x4

0
1 0
1 1 0
1 1 1

0
1
0
1

48

Definiie : Codarea este operaia prin care fiecare simbol al sursei primare este nlocuit
printr-o succesiune de simboluri ale alfabetului canalului. Decodarea este operaia invers
codarii.
Definiie : Cuvntul de cod este succesiunea finit de simboluri din alfabetul canalului, cu
care este nlocuit un simbol al sursei primare
Definiie : Codul este totalitatea cuvintelor de cod folosite n codarea unei surse.
Definiie : Lungimea unui cuvnt de cod este egal cu numrul de simboluri din alfabetul
canalului, care constituie cuvntul considerat.
Observaii :
- Codarea stabilete o coresponden biunivoca ntre simbolurile sursei primare i
cuvintele codului
- O succesiune de simboluri ale alfabetului canalului, care nu corespunde niciunui
simbol al sursei, se numeste cuvnt fr sens. Prin analogie, un cuvnt de cod se
mai numete i cuvnt cu sens.
Exemplele de mai sus cuprind un cod de lungime fix (exemplul 1), care are toate cuvintele
de aceeasi lungime, i un cod de lungime variabil (exemplul 2), care are cuvinte de lungime
variabil. n acest caz, se definete noiunea de lungime medie a cuvinelor de cod.
Definiie : Lungime medie a cuvintelor de cod se calculeaz cu expresia :
N

l = p i li
i =1

unde cu li s-a notat lungimea cuvintelor, iar cu p i , probabilitile simbolurilor xi .

Exemplu: l =

1
1
1
1
14
1 + 2 + 3 + 3 =
1,7
2
4
8
8
8

Observaii :
- lungimea medie a cuvintelor de cod se numete, pe scurt, lungime a codului
- la codurile formate din cuvinte de lungime fix, lungimea codului este egal cu
lungimea unui cuvant de cod ( l = l i = l ) .
De cele mai multe ori, prin codarea cu cuvinte de lungime variabil, se realizeaz o compresie
a datelor (reducere a volumului de date).

Definiie : Raportul de compresie obinut prin codare cu un cod de lungime variabil l se

calculeaz cu expresia :
R=

l
l

49

unde cu l s-a notat lungimea unui cod de lungime fixa, obtinut cu acelasi alfabet al canalului.
Exemplu : R =

2
1,15
1,7

Definiie : Rata de compresie este inversul raportului de compresie :

rata =

1
R
7.1. Clasificarea codurilor de surs

CODURI

reversibile

de lungime variabil

unic decodabile

instantanee
neinstantanee

nu sunt unic decodabile

de lungime fix
ireversibile

7.1.1. Coduri ireversibile i coduri reversibile

Exemplu :
1) Cod binar ireversibil (la decodare, codul lui x1 nu poate fi distins de cel al lui x 2 ; la fel
pentru x3 si x 4 )

x1
x2
x3
x4

0
0
1
1

2) Cod binar reversibil

x1
x2
x3
x4

0
0
1
1

0
1
0
1

7.1.2. Coduri unic decodabile i coduri care nu sunt unic decodabile

50

Exemplu :
1) Cod care nu este unic decodabil :

x1
x2
x3
x4

0
1 0
1 1
1 1 0

La decodare, grupul 1 1 0 poate fi interpretat fie ca simbolul x4 , fie ca grupul de simboluri

x3 x1 .
2) Cod unic decodabil

x1 0
x2 1 0
x3 1 1 0
x4 1 1 1 0

7.1.3. Coduri neinstanee i coduri instantanee

Exemplu :
1) Cod neinstantaneu :

x1
x2
x3
x4

0
1 0
1 1 0
1 1 1 0

Trebuie ateptat primul simbol al urmatorului cuvt de cod pentru a face decodarea cuvntului
recep ionat (acest cod se mai numete i cod cu separator).
2) Cod instantaneu

x1
x2
x3
x4

0
1 0
1 1 0
1 1 1

Decodarea se poate face la primirea ultimului simbol al cuvntului de cod.

Observaie:
- codurile instantanee sunt cele mai utilizate n practic.

51

7.2. Coduri instantanee sau ireductibile

Definiie : Fie cuvantul de cod C , constituit din n simboluri :

C = [c1 K cn ]
irul format din primele k simboluri, se numete prefix al cuvntului.
Teorem : Condiia necesar i suficient ca un cod sa fie instantaneu este ca niciun cuvnt al
su sa nu fie prefix al altui cuvnt.
Observaii:
spunem despre un cod instantaneu c are proprietatea de prefix.
codurile instantanee se mai numesc i ireductibile.

7.3. Inegalitatea Kraft-McMillan

Teorem : Fie sursa primar de informaie cu alfabetul :

[X ] = [x1 ,K , x N ]
i alfabetul de canal [C ] = [c1 ,K , c D ] , cu simbolurile cruia se vor forma cuvinte de cod
pentru sursa primar. O condiie necesar i suficient pentru a construi un cod ireductibil
(instantaneu) cu cuvinte de lungime l1 ,K, l N este :
N

li

<1

(Inegalitatea Kraft-McMillan)

i =1

Justificare: ne folosim de reprezentarea prin arbori a codurilor ireductibile

7.4. Limita inferioar a lui l

Fie o surs primar de informaie cu alfabetul :

[X ] = [x1 ,K, x N ] si probabilitile [P] = [ p(x1 ),K, p(x N )]

Simbolurile sursei sunt codate cu un cod de lungime medie l . Cuvintele de cod sunt
constituite din simboluri ale alfabetului de canal [C ] = [c1 ,K, c D ] .
Dac H ( X ) este entropia sursei, atunci fiecare simbol c d poart n medie o cantitate de
informaie:

H (X )
l

52

Entropia sursei este:

N

H(X) = p(x i) log p( x i) = p log

i =1

i =1

H (X )
, nu poate fi mai mare dect entropia maxim a sursei secundare
l
H max (C ) = log 2 D :

Aceast cantitate

H (X )
log 2 D
l
Deci, limita inferioar pentru lungimea medie a oricarui cod este:

l min =

H (X )
log 2 D

Observaii:
-

dac codarea se face cu alfabet binar, atunci limita inferioar pentru l este
entropia sursei primare H ( X )
rezultatele acestei seciuni sunt valabile pentru toate tipurile de coduri, deci i
codurilor ireductibile (instantanee)
aceast relaie poate fi interpretat i ca o a doua definiie a entropiei

Definiie : Entropia unei surse este egal cu lungimea medie a unui cod binar minim cu care
sursa poate fi codat (nu totdeauna acest cod exist).

7.5 . Coduri absolut optimale

n practic, ne intereseaz codurile cu l ct mai mic.

Definiie: Codurile care au l = l min =

H (X )
se numesc coduri absolut optimale.
log D

Conform Sectiunii 7.4, cantitatea medie de informaie transmis fiecarui simbol de canal prin
codare, altfel spus entropia sursei secundare H (C ) , este invers proporional cu l :

H (C ) =

H (X )
l

Aceast relaie arat c l ii atinge minimul cnd H (C ) este maxim, adic atunci cnd, prin
codare, simbolurile c d ajung s fie transmise echiprobabil:

p (c1 ) = K = p (c D ) =

1
D

53

Considernd c nu exist dependen statistic ntre simbolurile c d , care intr n componena

cuvintelor de cod, rezult urmatoarele probabiliti pentru cuvintele de cod i, deci, pentru
simbolurie sursei primare:
l

i
1
p ( xi ) = unde li este lungimea cuvntului de cod pentru xi .
D

Cum

p(x ) = 1 , rezult c, o condiie pentru a avea un cod absolut optimal este:

i

li

=1

i =1

Observaii:
-

egalitatea de mai sus este o condiie de existen pentru codurile absolut optimale;
n cazul codrii binare, aceast condiie se traduce prin a cere ca simbolurile sursei
primare s aibe probabiliti care sunt puteri ntregi negative ale lui 2 (exemplu:
[P] = 1 , 1 , 1 , 1
2 4 8 8
codurile absolut optimale sunt un caz limit pentru Inegalitatea Kraft-McMillan,
deci pot fi i ireductibile

7.6. Coduri optimale

Codarea unei surse de informaie cu un cod binar absolut optimal este posibil numai dac
probabilitile sursei satisfac condiia:
l

i
1
p ( xi ) =

D

li =

log 2 p( xi )
= log 2 p( xi )
log 2 D

De cele mai multe ori, log 2 p( xi ) nu este un numr zecimal. De aceea, se construiesc

cuvinte de cod cu lungimea minim posibil, adic li = log 2 p ( xi ) . Aceste cuvinte satisfac
condiia:

log 2 p( xi )
log 2 p( xi )
li
+1
log 2 D
log 2 D

Amplificnd inegalitile cu p( xi ) i nsumndu-le dup I, rezult:

p(xi )li
i

p(x )log p(x )

i

log 2 D

+ p ( xi )
i

54

Deci

H (X )
+1
log 2 D

ceea ce arat c se poate gsi un cod unic decodabil, care s aibe

lungimea mai mic dect limita superioar

H (X )
+ 1.
log 2 D

Vom demonstra, n continuare, c aceste coduri satisfac Inegaliatea Kraft-McMillan,

deci c ele sunt i coduri ireductibile (instantanee).
Deoarece li = log 2 p ( xi ) , putem scrie:

log 2 p ( xi )
li

log 2 D

p ( x i ) D li

nsumand dupa I, rezult :

p(x ) D

li

li

Deci, aceste coduri satisfac Inegalitatea Kraft-McMillan care este condiia necesar i
suficient pentru a avea un cod ireductibil.

Definiie: Codurile constituite din cuvinte de lungime li = log 2 p ( xi ) sunt coduri

optimale.
7.7. Capacitatea, eficient i redundana codurilor
Definiie : Capacitatea unui cod este maximul cantitii medii de informatie ce poate fi
transmis de simbolurile din alfabetul canalului :

C = H max (C ) = log D
Definiie : Eficiena unui cod se definete prin :

l min
1
l

H ( X ) H (X )
log D
H (C )
=
= l
=
log D log D
l

Definiie : Redundana unui cod se definete prin :

= 1 = 1

H (C )
[0,1]
log D

55

Observaie: Capacitatea, eficiena i redundana codului sunt mrimi similare celor

prezentate la capitolul de Canale discrete. Expresiile sunt diferite pentru c, n cazul canalelor,
se folosete noiunea de cantitate medie de informaie pe simbolurile generate de sursa
primar, iar n cazul codurilor, se consider informaia medie pe simbolurile sursei secundare

7.8. Extensia unei surse de informaie

Fie o surs de informaie cu alfabetul :

[X ] = [x1 ,K , x N ] si probabilitile [P] = [ p(x1 ),K , p(x N )]

Presupunem c sursa X genereaz urmatorul ir de v.a.:

X 0 , X 1 , X 2 , X 3 ,K, X 2n , X 2n +1 , K

Definiie : Extensia de ordin 2 a sursei X , este o surs notat X 2 , care genereaz irul:
Z 0 , Z 1 ,K , Z n , K
unde v.a. Z n sunt iruri de dou v.a. consecutive ale irului X 0 , X 1 , X 2 , X 3 , K, X 2 n , X 2n +1 , K
Mai precis: Z 0 = ( X 0 , X 1 ) , Z 1 = ( X 2 , X 3 ) , , Z n = ( X 2n , X 2 n+1 )

Observaii:
- extensia de ordin m se noteaz cu X m i este o surs ale crei simboluri sunt iruri de
lungime m
- alfabetul extensiei X m este constituit din N m simboluri (iruri).

Teorema : Entropia extensiei X m , fr memorie, este de m ori mai mare dect entropia
sursei X :
H (X m ) = mH ( X )

7.9. Prima Teorem a lui Shannon

Conform rezultatelor din Sectiunile 7.4 si 7.6, lungimea unui cod folosit pentru codarea unei
surse de informaie fr memorie X , satisface urmatoarele inegaliti :

H (X )
H (X )
l
+1
log 2 D
log 2 D
Aceast dubl inegalitate este valabil i pentru extensia X m , care este tot o surs fr
memorie :

56

( )

( )

H Xm
H Xm
l (m )
+1
log 2 D
log 2 D
unde l (m ) este lungimea medie a cuvintelor de cod pentru simbolurile sursei extinse, care
sunt iruri de m simboluri ale sursei iniiale. Deci, l ( m ) = ml , unde l este lungimea medie a
cuvintelor de cod pentru simbolurile sursei iniiale.
Aplicnd rezultatul Sectiunii 7.8, dubla inegalitate devine:

H (X )
H (X ) 1
l
+
log 2 D
log 2 D m

unde ( H (X m ) = mH ( X ) )

ceea ce reprezint expresia matematic a Primei teoreme a lui Shannon

Prima teorem a lui Shannon sau Teorema codarii canalelor fr zgomot: Codnd iruri
de simboluri suficient de lungi, ne putem apropia orict de mult de codarea absolut optimal.
7.10. Metode de codare binar
7.10.1 Codarea Shannon-Fano
Se consider c simbolurile sursei sunt codate n mod individual unul cte unul .n
cazul particular n care mulimea simbolurilor sursei [X]=[x1 ,.xN], poate fi mprit n
dou mulimi Xo i X1 de aceeai probabilitate P(Xo)=P(X1)=1/2 iar mulimile Xo i X1 la
nivelul lor pot fi divizate n Xoo i Xo1 respectiv n X1o i X11 toate avnd aceeai probabilitate
egal cu .Continum aceast operaie pn cnd mulimile respective nu conin dect un
singur element. n acest fel codarea Shannon-Fano conduce la un cod absolut optimal.
EX:
x1 x 2 x3 x 4 x5 x6 x7 x8

X =1 1 1 1 1 1 1 1
4 4 8 8 16 16 16 16
Ck
X1

X2
X3

Xo

X4

Xoo

00

Lk
2

Xo1

01

X100

100

X101
X1100

101
1100

3
4

X1101

1101

X1110

1110

X1111

1111

1/8

X1o

1/8

X5
X110

X1
X6
X7

X11
X111

X8

pi=1
Avnd n vedere ca entropia sursei este:
N

H(X) = p(x i) log p( x i) = p log

i =1

I=2.75

i =1

57

rezult ca:
H(X)=2x 0.25log0.25+2x 0.125log0.125+4x 0.0625log0.0625=2.75 bii/simbol
H (X )
l min =
= H ( X ) = 2.75
log D
l
2.75
eficiena = min =
= 1 = 100%
2.75
l

7.10.2 Codarea binar Huffman

Algoritmul Huffman constitue un algoritm optimal, n sensul ca nici un alt algoritm
nu asigur o lungime medie mai mic. Sunt situaii n care ali algoritmi pot da o lungime
medie egal cu cea dat de Huffman, dar niciodat mai mic.

x ... x N
Fie sursa X = 1
cu probabilitile ordonate P1P2P3 PN
p1... p N
Codarea Huffman este bazat pe ideea de a mpri mulimea mesajelor X = x1..xN
ordonat descresctor n funcie de probabilitile corespunztoare n submulimile Xo i X1
cu probabiliti ct mai apropiate, iar mulimile X00 i X01 respectiv cu probabiliti ct mai
apropiate. n cazul particular n care probabilitile mulimilor obinute sunt egale codarea este
absolut optimal de tip Shannon-Fano. Algoritmul de codare funcioneaz dup urmtorii
pai:
1) Se ordoneaz mulimea mesajelor [X] n ordinea probabilitilor descresctoare.
X=[x1,x2, .. xN]
p(x1)p(x2).p(xN)
2) Se formeaz mulimi de simboluri care s poat fi furnizate n dou submulimi de
probabiliti ct mai apropiate:
a) Se grupeaz r1=xN U xN-1 => p(r1)=p(xN)+p(xN-1)
b) Mulimea r1 se consider ca un nou mesaj care se include n mulimea celorlalte
mesaje n ordinea probabilitilor descresctoare.
[R1]=[x1,x2, .r1] cu p(x1)>p(x2)..p(r1)..
Ultimele dou mesaje se grupeaz ca i n cazul precedent operaia continund pn n
cazul n care se ajunge la un ir de numai dou elemente [rn ,rn-1]=[Rn]
c) Cuvintele de cod corespunztoare fiecrui mesaj se ob in n felul urmtor:
-mulimii rn i se aloc simbolul 0;
-mulimii rn-1 i se aloc simbolul 1;
-la fiecare nou diviziune se aloc n plus un nou simbol 0 sau 1 pn cnd se ajunge
la o mulime care conine un singur element xk.
d)
Din cele precedente rezult c formarea cuvntului de cod corespunztor
mesajului xk nu este unic fiindc la fiecare diviziune alocarea lui 0 sau 1 este arbitrar.
Rezult c se pot forma mai multe coduri care au aceeai lungime medie.

58


x3 x4 x5 x6
Se consider sursa: X = x1 x2
0,3 0,25 0,15 0.15 0.1 0.05
Se aranjeaz simbolurile sursei n ordinea descresctoare a probabilitilor i se construiete
urmtorul tablou al surselor restrnse:
R1
R2
R3
Ck
X1 0.3(00)
0.3(00)
0.3(00)
0.4(1)
0.6(0)
0.3 (01)
0.25(10)
0.25 (10)
0.3 (00)
0.4(1)
X2 0.25(10)
EX:

X3

0.15(11)

0.15(11)

X4

0.15(010)

0.15(010)
0.15(011)

0.15 (11)

0.3 (01)

X5 0.10(0110)
X6 0.05(0111)
N

H(X) = p(x i) log p( x i) = p log

i =1

i =1

H(X)=0.3log0.3+0.25log0.25+0.3log0.15+0.1log0.1+0.05log0.05=2.4 bit/simbol
l = 2.45 bit/simbol = liPi

H (X )
l log 2
2

59

= 0,975

8. CODAREA DE CANAL
Locul cod rii de canal ntr-o schem de transmisiune a datelor :

CoS

CoC

CANAL

DecC

DecS

UU

Rolul codrii de canal : La trecerea prin canal, se produc modificri aleatoare ale
informaiei din cauza perturbaiilor. De aceea, la ieirea din canal, informaia nu poate fi
reconstituit fidel. Putem construi totui, un Codor de canal care s reduc probabilitatea de
eroare printr-o codare adecvat a irului de simboluri, nainte ca acestea s fie transmise prin
canal. La ieirea din canal, Decodorul de canal, face operaia invers pentru a reconstitui irul
de simboluri.
Observaie : Codarea de canal nu elimin erorile, ci doar reduce probabilitatea lor de apariie.

8.1. Probabilitatea de eroare la decodare

Fie [ X ] = [x1 , K, x N ] , sursa de informaie care emite la intrarea n canal, si [Y ] = [ y1 ,K , y M ] ,
sursa care modeleaz ieirea canalului (se folosesc notaii diferite pentru intrare i ieire
pentru ca receptorul de la ieirea din canal poate schimba alfabetul). S presupunem c n
condiiile unei transmisii far perturbaii, y j se recepioneaza atunci cnd a fost transmis xi .
Probabilitatea ca y j s fie decodat gresit este:

1 p (xi / y j )
Pentru a minimiza aceast eroare, putem construi un decodor care s decodeze pe y j n

simbolul xi cel mai probabil, adic simbolul pentru care p (xi / y j ) este maxim. Presupunnd
c acest simbol este x j , atunci probabilitatea minim ca decodarea s fie greit va fi:

1 p (x j / y j )
n medie, probabilitatea de eroare la decodare va fi:

P(E ) = (1 p (x j / y j ))p ( y j )
j

60

Observaii:
- decodorul care lucreaz pe acest principiu se numete Decodor cu rat minim de eroare
- aceast probabilitate poate fi calculat dac se cunoate matricea de zgomot a canalului i
probabilitile simbolurilor la intrarea n canal:

P(E ) = (1 p (x j / y j ))p ( y j ) = p ( y j ) p (x j , y j ) = 1 p ( y j / x j )p (x j )
j

Exemplul 8.1 : Canalul binar simetric

p
1 p
Fie canalul cu matricea de zgomot: P(Y / X ) =
unde p este probabilitatea de
p 1 p
transmisie eronat. Pentru un p = 0,2 , simbolurile cele mai probabile, cnd se receptioneaz,
y1 si y 2 , sunt x1 si, respectiv, x 2 (probabilitile p (xi / y j ) maxime corespunzatoare sunt

0,8 ). n plus, dac nainte s-a facut o codare de surs care a condus la simboluri
echiprobabile :
p ( x1 ) = p ( x 2 ) =

1
2

atunci probabilitatea total de eroare a Decodorului cu rata minim de eroare va fi :

1
P(E ) = 1 p ( y j / x j )p (x j ) = 1 2(1 p ) = p = 0,2
2
j

8.2. Codarea prin repetarea simbolurilor

O metod simpl de codare de canal este prin repetarea simbolurilor. Ea const din a
transmite fiecare simbol de un numar impar de ori. Decodarea se face prin logic majoritar.

Exemplul 8.2 :
a) Codarea unui ir binar prin repetare de trei ori a fiecarui simbol (transmisia se face prin
canalul din exemplul anterior)

Codarea :

0 -> 000
1-> 111

Decodarea : 000->0
001->0
010->0
100->0

111->1
110->1
101->1
011->1

61

p ( y decodat = 0 / x = 0 ) = p(000 / x = 0 ) + p (001 / x = 0 ) + p (010 / x = 0 ) + p (100 / x = 0 ) =

= (1 p ) + 3(1 p ) p = (1 p ) (1 + 2 p )
3

p ( y decodat = 1 / x = 1) = ... = (1 p ) (1 + 2 p )
2

Rezult :

1
2
P(E ) = 1 p ( y j / x j )p (x j ) = 1 2(1 p ) (1 + 2 p ) = p (2 p ) 0,1
2
j

Observaii:
-

probabilitatea total de eroare a scazut la jumatate

se transmit de trei ori mai multe simboluri, deci rata de emisie a sursei (nr. de
simboluri pe secund ) trebuie s fie mai mic dect capacitatea de transmisie a
canalului (nr. maxim de simboluri pe secund, care se pot transmite prin canal)

b) Codarea prin repetarea de cinci ori a fiecarui simbol :

p ( y decodat = 0 / x = 0 ) = C 50 (1 p ) + C51 p(1 p ) + C52 p 2 (1 p ) = (1 p ) (1 + 3 p + 6 p 2 )

5

P(E ) = 1 (1 p ) (1 + 3 p + 6 p 2 ) 0,05
3

Observaie :
- probabilitatea de eroare a sczut i mai mult, dar rata de emisie R trebuie s fie cel
mult o cincime din capacitate de transmisie C :

C
5

8.3. Teorema a 2-a a lui Shannon

Teorem : Dac avem o surs cu o rat de emisie R i un canal cu perturbaii, cu o capacitate
de transmisie C > R , exist un cod cu cuvinte de lungime n , astfel ncat probabilitatea de
eroare s fie :

P(E ) 2 nE ( R )
unde E (R ) este o funcie nenegativ numit exponentul erorii.
E(R

C
62

Observaii :
- Teorema a 2-a a lui Shannon este cunoscut i sub numele de Teorema cod rii
canalelor cu perturbaii
- Funcia E (R ) este o caracteristic a canalului de transmisiune
- Teorema a 2-a stabilete c pe un canal se poate face o transmisie cu probabilitate de
eroare P(E ) orict de mic, dac rata de emisie a sursei se diminueaz suficient de mult.
- ntr-o aplicaie practic, dac se impune P(E ) , cunoscnd funcia E (R ) , se poate
determina rata (maxim) de emisie R a sursei sau, dac se impune R , se poate afla P(E ) cu
care se va face transmisia pe canal pentru rata impus.

8.4. Spaiul cuvintelor

n Exemplul 8.2, fiecare simbol al sursei binare era codat printr-un cuvant de lungime 3,
obinut prin repetarea simbolului. Se obinea, astfel, o carte de cod constituit din dou
cuvinte :

Codarea :

0 -> 000
1-> 111

La decodare, din cauza perturbaiilor, poate fi recepionat orice cuvnt de lungime 3 :

Decodarea : 000->0
001->0
010->0
100->0

111->1
110->1
101->1
011->1

Definiie : Cuvintele emise de codor se numesc cuvinte cu sens, iar restul cuvintelor de
aceeasi lungime se numesc cuvinte fr sens. mpreun, ele constituie mulimea cuvintelor
de lungime n ( n = 3 n exemplul 8.2).
8.5. Reprezentarea grafic a cuvintelor
n Exemplul 8.2, s-au folosit cuvinte de lungime 3. ntr-un spatiu 3D, aceste cuvinte pot fi
reprezentate prin puncte :

63

Observaii :
-

cuvintele cu sens sunt marcate cu negru

schimbarea unui bit intr-un cuvnt este echivalent cu deplasarea pe una din laturile
cubului, spre unul dintre cuvintele vecine
pentru a trece de la un cuvnt cu sens la cellalt, trebuie facui minim 3 pai
decodorul cu logic majoritar din Exemplul 8.2 a decodat cuvintele fr sens
cautnd cuvntul cu sens cel mai apropiat

8.6. Distana Hamming

Definiie: Distana Hamming dintre dou cuvinte este egal cu suma biilor prin care
cuvintele difer.
d H (000,111) = 3

Observaie : n reprezentarea grafic, distana Hamming este numrul minim de pai necesari
pentru a trece de la un cuvnt la cellalt.
R.W. Hamming (1915-1998) a lucrat la Los Alamos ntre 1944 si 1946 i apoi la Bell Labs i
Univ. Princeton.

8.7. Erori detectabile i erori corectabile

Codurile de canal pot fi :
-

corectoare de erori (cuvintele fr sens sunt detectate i corectate)

detectoare de erori (cuvintele fr sens sunt detectate i rejectate, iar decodorul
cere retransmisia cuvntului)

Codul din Exemplul 8.2. poate corecta o singur eroare (numai cuvintele fr sens care difer
printr-un singur bit de un cuvnt cu sens sunt corectate). Dac apar dou erori, cuvntul este
decodat greit. Cu acelai cod, dac nu se ncearc corectare ci se face doar rejecia cuvntului
fr sens, atunci pot fi eliminate dou erori. Spunem c avem un cod corector de o eroare i
detector de dou erori.

8.8. Specificarea cuvintelor cu sens

Cuvintele cu sens trebuie alese astfel nct distana Hamming minim dintre ele s fie ct mai
mare.
Dac d H min = 2e + 1 , codul este corector de e erori i detector de 2e erori.
Dac d H min = 2e , codul este corector de e 1 erori i detector de 2e 1 erori.
64

Exemplu: Codare prin adaugarea bitului de paritate (cuvinte de lungime 3)

Codarea :

00 -> 000
01-> 011
10-> 101
11-> 110

Observaie: este un cod detector de o eroare (de fapt, detector de orice numr impar de erori).
Exercitiu: Cte erori poate corecta/detecta urmatorul cod:
00000, 00111, 11001, 11110

65

9. CODURI CORECTOARE/ DETECTOARE DE ERORI

Clasificare :
- coduri bloc : - coduri grup
- coduri ciclice
- coduri convolutionale

Codurile bloc se obin tind irul de simboluri ce urmeaz s fie codat n blocuri de lungime
fix, numite blocuri de informaie, la care se aduag simboluri de control, calculate pe baza
simbolurilor de informaie. Simbolurile de control constituie blocul de control.

Bloc de control

Bloc de informaie

CUVNT de COD

Coduri bloc :
-

sistematice (simbolurile de control sunt grupate la nceputul sau sfrsitul

cuvtului)
nesistematice (simbolurile de control sunt inserate n blocul de informaie)

La codarea cu coduri convolutionale, irul de simboluri de informaie se prelucreaz

continuu.

9.1. Coduri grup

Formalism matematic :
blocul de informaie : i = [i1 K ik ]
blocul de control : c = [c1 K cm ]

cuvntul de cod : v = [c1 K cm i1 K ik ] = [v1 K v n ]

cuvntul de eroare : = [ 1 K n ]
cuvntul de cod eronat : v' = v

Lungimea cuvntului de cod este n = m + k .

Observatii :
66

- cuvintele corecte sunt cuvintele de cod ; ele se mai numesc i cuvinte cu sens
- cuvintele eronate se mai numesc i cuvinte fr sens
- cuvntul de cod este un vector de dimensiune n
- elementele vectorilor sunt numere binare
- cuvintele de cod aparin unui spatiu vectorial, care are o structur de grup n raport
cu operaiile de adunare i nmulire modulo 2 (proprietate care d numele de coduri grup):

9.1.1. Codarea
Pentru a nelege mecanismul cod rii, trebuie cunoscut, mai nti, principiul coreciei/deteciei
de erori. Corecia sau detecia erorilor se fac cu ajutorul corectorilor.

Definiie : Corectorul este un vector, notat cu z = [z1 K z m ] , care se ob ine pe baza

simbolurilor cuvntului recep ionat v' :
(v ') = z
unde este un operator liniar.

Observaii :
a) dac v' este corect, atunci corectorul este nul ; dac v' este un cuvnt eronat, atunci
se obine un z 0 .
b) pentru corecie, ntre mulimea cuvintelor fr sens i mulimea corectorilor trebuie
s existe o coresponden biunivoc.
c) pentru detecia de erori, este suficient condiia z 0
Observaia b) ne d urmatoarea regul de calcul pentru lungimea blocului de control al unui
cod corector de e erori :
e

C
i =1

i
n

2m 1

67

Aceast inegalitate traduce condiia Num rul total de configuraii posibile de erori trebuie
s fie mai mic sau egal cu num rul de corectori nenuli.

Definiie : codurile pentru care inegalitatea de mai sus devine egalitate, se numesc coduri
perfecte sau coduri de redundan minim.

n cazul particular al codurilor corectoare de o eroare, aceast condiie devine :

k + m 2m 1
Elementele corectorului se ob in prin rezolvarea urmtorului sistem de ecuaii liniare :

h11v1' + h12 v 2' + K h1n v n' = z1

h v ' + h v ' + K h v ' = z

m2 2
mn n
m
m1 1
care se poate scrie sub forma matriceal

(v ' ) = z
unde H este o matrice cu dimensiunea mxn. H se numete matrice de control.

a) Codarea cu matricea de control H

Deoarece, prin convenie, corectorul z = 0 corespunde cuvintelor corecte, rezult c putem
construi cuvintele de cod rezolvnd ecuaia :

(v ) = z
care este echivalent cu un sistem de m ecuaii liniare, suficiente pentru a determina cele m
simboluri de control necunoscute din componena cuvntului de cod.

Observaie:
-

matricea H este predefinit

coninutul su depinde de capacitatea de corecie/detecie a codului
matricea H nu este unic

Forma canonic a lui H :

1 0 K 0 q11
0 1 K 0 q
21
H =
K K K K K

0 0 K 1 q m1

K q1k
K q 2 k
= [I m Q ]
K K

K q mk

68

este util n obinerea codurilor sistematice, la care simbolurile de control sunt grupate la
nceputul cuvntului de cod (fiecare ecuaie liniar are ca necunoscut un singur simbol de
control).

[I m

c
Q ] = I m c Qi
i

c = Qi

b) Codarea cu matricea generatoare G

O cale alternativ de a obine cuvintele de cod este prin intermediul unei matrici G, numit
matrice generatoare. Cuvintele se obtin rezolvnd ecuatia:

v = iG
unde i este blocul simbolurilor de informaie.

Observaii:
-

G are dimensiunea kxn

Intre G si H exist urmtoarea relaie: G = 0
Demonstra ie : deoarece v = 0

(iG ) = 0
G i = 0
rezult G = 0

forma canonic a matricii generatoare este G = [Q

Ik ]

Q
Q ] = Q Q = 0
I k
cu forma canonic se obine un cod sistematic cu simbolurile de control grupate la
nceputul cuvantului; blocul de control se calculeaz cu relaia c = iQ .
Demonstra ie:
v = i [Q I k ] = [iQk iI k ] = [c i ]
Demonstra ie: [I m

9.1.2. Decodarea
La recep ie, decodarea cuvintelor se face conform urmatoarelor etape:
a) calculul corectorului (n cazul codului sistematic) :

] = [I

c '
'
'
'
''
Q
]

' = I m c Qi = c c
m
i

b) identificarea erorii (este o etap care difer de la cod la cod)
c) corecia cuvntului:
z = Hv ' = H c '

'

v = v'
69

Observaii :
- c '' este blocul de corecie calculat pe baza simbolurilor de informaie recepionate
(care pot fi greite)
- c ' este blocul de corecie recepionat

9.1.3. Relaii intre coloanele matricii de control H

a) n cazul codurilor corectoare de e erori
Fie vectorul eroare

= [ 1 K n ]
i cuvntul eronat

v' = v
Corectorul calculat la recepie este :

z = Hv ' = H (v ) = H
Dac notm h1 , h2 ,K, hn , coloanele matricii de control, atunci corectorul este:

z = hi i
i

Definiie : Ponderea unui cuvnt de cod este dat de numrul de simboluri 1 din
componena cuvntului.
Observaii :
- sumele oricror e coloane ale matricii de control trebuie s fie diferite ntre ele
(deoarece corectorii trebuie sa fie diferii ntre ei)
- ponderea cuvintelor de cod este minim 2e + 1 (excepie cuvntul constituit numai din
0)

Demonstrtie: fie dou cuvinte de cod, v si w ; distana minim

dintre cuvinte trebuie s fie cel puin 2e + 1 (codul este corector
de e erori), deci:
d (v, w ) = v w
Dar suma v w este un tot un cuvnt de cod, deoarece

H (v w ) = 0 , deci ponderea sa minim trebuie s fie d (v, w ) ,

deci 2e + 1 .

70

b) n cazul codurilor detectoare de e erori

Corectorii trebuie s fie nenuli, dar pot fi identici pentru erori diferite.

Cazuri particulare:
- la codul detector de o eroare, matricea H trebuie s aibe toate coloanele nenule.
- la codul detector de un numr impar de erori este suficient o matrice

H = [1 1 K 1]
deoarece suma modulo 2 a unui nr impar de 1 este 1

Observaii :
-

bordand cu o linie de 1 matricea H a unui cod corector de e erori, acesta capt i

proprietate de cod detector de un numr impar de erori

0 h1 K hn
H '=

1 1 1 1
- simbolul de control calculat cu aceast linie de 1 se numete bit de paritate.

71