7.

CODAREA DE SURSA

Locul codarii de sursa intr-o schema de transmisiune a datelor :

S CoS CANAL DecS U

Rolul codarii de sursa :

- adaptarea slfabetului sursei la alfabetul canalului

- adapatarea statistica (simboluri echiprobabile pentru alfabetul de canal) - compresia datelor
(este o consecinta a adaptarii statistice)

Observatii :

- codarea de sursa priveste sursele discrete de informatie

- codarea de sursa nu rezolva problema erorilor cauzate de perturbatii
- prin codare, sursa de informatie, numita si sursa primara, este transformata intr-o noua sursa
de informatie, numita sursa secundara, care debiteaza informatie pe canal.

Doua exemple de codare :

Fie o sursa de informatie primara care genereaza simboluri dintr-un alfabet :

X x ,x ,x ,x cu probabilitatile P 12, 14,18,18

1 2 3 4

Simbolurile trebuie transmise pe un canal binar cu alfabetul 0,1. De aceea, ele trebuie
transcrise in binar, inainte de transmisie. Transcrierea in binar - codarea - se poate face in
multe feluri. De exemplu:

1) x1 0 0 x2 0 1 x3
10
x4 1 1

2) x1 0 x2 1 0 x3
110
x4 1 1 1
 Definitie : Codarea este operatia prin care fiecare simbol al sursei primare este inlocuit
printr-o succesiune de simboluri ale alfabetului canalului. Decodarea este operatia inversa
codarii.

Definitie : Cuvantul de cod este succesiunea finita de simboluri din alfabetul canalului, cu
care este inlocuit un simbol al sursei primare

Definitie : Codul este totalitatea cuvintelor de cod folosite in codarea unei surse.

Definitie : Lungimea unui cuvant de cod este egala cu numarul de simboluri din alfabetul
canalului, care constituie cuvantul considerat.

Observatii :
- Codarea stabileste o corespondenta biunivoca intre simbolurile sursei primare si cuvintele
codului
- O succesiune de simboluri ale alfabetului canalului, care nu corespunde niciunui simbol al
sursei, se numeste cuvant fara sens. Prin analogie, un cuvant de cod se mai numeste si
cuvant cu sens.

Exemplele de mai sus cuprind un cod de lungime fixa (exemplul 1), care are toate cuvintele de
aceeasi lungime, si un cod de lungime variabila (exemplul 2), care are cuvinte de lungime
variabila. In acest caz, se defineste notiunea de lungime medie a cuvinelor de cod.

Definitie : Lungime medie a cuvintelor de cod se calculeaza cu expresia :

l pili
i1

unde cu li s-a notat lungimea cuvintelor, iar cu pi , probabilitatile simbolurilor xi .

Exemplu: l 1 2 3 3 1,7

Observatii :
- lungimea medie a cuvintelor de cod se numeste, pe scurt, lungime a codului - la codurile
formate din cuvinte de lungime fixa, lungimea codului este egala cu lungimea unui cuvant de
cod (l li l).

De cele mai multe ori, prin codarea cu cuvinte de lungime variabila, se realizeaza o compresie
a datelor (reducere a volumului de date).

Definitie : Raportul de compresie obtinut prin codare cu un cod de lungime variabila l se

calculeaza cu expresia :

l
 R
l

unde cu l s-a notat lungimea unui cod de lungime fixa, obtinut cu acelasi alfabet al canalului.

Exemplu : R 1,15

Definitie : Rata de compresie este inversul raportului de compresie :

1
rata
R

7.1. Clasificarea codurilor de sursa

CODURI reversibile de lungime variabila

unic decodabile instantanee
neinstantanee
nu sunt unic decodabile

de lungime fixa

ireversibile

7.1.1. Coduri ireversibile si coduri reversibile

Exemplu :

1) Cod binar ireversibil (la decodare, codul lui x1 nu poate fi distins de cel al lui x2 ; la fel pentru
x3 si x4 )

x1 0
x2 0
x3 1
x4 1

2) Cod binar reversibil

 x1 0 0 x2 0 1
x3 1 0
x4 1 1

7.1.2. Coduri unic decodabile si coduri care nu sunt unic decodabile

Exemplu :

1) Cod care nu este unic decodabil :

x1 0 x2 1 0 x3
11
x3 1 1 0

La decodare, grupul 1 1 0 poate fi interpretat fie ca simbolul x4, fie ca grupul de simboluri
x3x1 .

2) Cod unic decodabil

x1 0
x2 1 0 x3 1 1 0
x4 1 1 1 0

7.1.3. Coduri neinstanee si coduri instantanee

Exemplu :

1) Cod neinstantaneu :

x1 0 x2 1 0 x3
110
x4 1 1 1 0

Trebuie asteptat primul simbol al urmatorului cuvat de cod pentru a face decodarea cuvantului
receptionat (acest cod se mai numeste si cod cu separator).

2) Cod instantaneu

x1 0 x2 1 0 x3
110
x4 1 1 1
Decodarea se poate face la primirea ultimului simbol al cuvantului de cod.

Observatie:
- codurile instantanee sunt cele mai utilizate in practica.

7.2. Coduri instantanee sau ireductibile

Definitie : Fie cuvantul de cod C , constituit din n simboluri :

C c c
1 n

Sirul format din primele k simboluri, se numeste prefix al cuvantului.

Teorema : Conditia necesara si suficienta ca un cod sa fie instantaneu este ca nicun cuvant al
sau sa nu fie prefix al altui cuvant.

Observatii:

- spunem despre un cod instantaneu ca are proprietatea de

prefix. - codurile instantanee se mai numesc si ireductibile.

7.3. Inegalitatea Kraft-McMillan

Teorema : Fie sursa primara de informatie cu alfabetul :

Xx ,,x 1 N

si alfabetul de canal Cc1,,cD , cu simbolurile caruia se vor forma cuvinte de

cod pentru sursa primara. O conditie necesara si suficienta pentru a construi un cod
ireductibil (instantaneu) cu cuvinte de lungime l1,,lN este :

D 1 li
(Inegalitatea Kraft-McMillan)
i
1
Justificare: ne folosim de reprezentarea prin arbori a codurilor ireductibile

7.4. Limita inferioara a lui l

Fie o sursa primara de informatie cu alfabetul :

 Xx ,,x si probabilitatile P px ,, px
1 N 1 N

Simbolurile sursei sunt codate cu un cod de lungime medie l . Cuvintele de cod sunt
constituite din simboluri ale alfabetului de canal Cc1,,cD .
Daca HX este entropia sursei, atunci fiecare simbol cd poarta in medie o cantitate de
informatie:

HX

Aceasta cantitate, nu poate fi mai mare decat entropia maxima a sursei secundare Hmax
C log2 D:

HX
log2 D
l

Deci, limita inferioara pentru lungimea medie a oricarui cod este:

lmin HX
log2 D

Observatii:

- daca codarea se face cu alfabet binar, atunci limita inferioara pentru l este entropia sursei
primare HX
- rezultatele acestei sectiuni sunt valabile pentru toate tipurile de coduri, deci si codurilor
ireductibile (instantanee)
- aceasta relatie poate fi interpretata si ca o a doua definitie a entropiei

Definitie : Entropia unei surse este egala cu lungimea medie a unui cod binar minim cu care
sursa poate fi codata (nu totdeauna acest cod exista).

7.5 . Coduri absolut optimale

In practica, ne intereseaza codurile cu l cat mai mic.

HX
Definitie: Codurile care au l lmin se numesc coduri absolut optimale. log D
 Conform Sectiunii 7.4, cantitatea medie de informatie transmisa fiecarui simbol de canal prin
codare, altfel spus entropia sursei secundara HC , este invers proportionala cu l :

HX
HC
l

Aceasta relatie arata ca l isi atinge minimul cand HC este maxim, adica atunci cand, prin
codare, simbolurile cd ajung sa fie transmise echiprobabil:

pc1


pcD

Considerand ca nu exista dependenta statistica intre simbolurile cd , care intra in componenta

cuvintelor de cod, rezulta urmatoarele probabilitati pentru cuvintele de cod si, deci, pentru
simbolurie sursei primare:

i
1 l unde li este lungimea cuvantului de cod pentru xi .
pxi
D

Cum pxi 1, rezulta ca, o conditie pentru a avea un cod absolut optimal este:
i

D 1 li
i1
Observatii:

- egalitatea de mai sus este o conditie de existenta pentru codurile absolut optimale; in cazul
codarii binare, aceasta conditie se traduce prin a cere ca simbolurile sursei primare sa aibe
probabilitati care sunt puteri intregi negative ale lui 2 (exemplu:
 P 12, 14,18,18
- codurile absolut optimale sunt un caz limita penta pentru Inegalitatea KraftMcMillan, deci pot
fi si ireductibile

7.6. Coduri optimale

Codarea unuei surse de informatie cu un cod binar absolut optimal este posibila numai daca
probabilitatile sursei satisfac conditia:

li pxi 1 li
log2 pxi log2 pxi
D log2 D

De cele mai multe ori, log2 pxi nu este un numar zecimal. De aceea, se construiesc cuvinte
de cod cu lungimea minima posibila, adica li log2 pxi . Aceste cuvinte satisfac
conditia:

log2 pxi 1 i
li
log2 D

Amplificand inegalitatile cu pxi si insumandu-le dupa I, rezulta:

px log px
i 2 i

px l
i i i log2 D i pxi
i

Deci

HX
l 1 ceea arata ca se poate gasi un cod unic decodabil, care sa aibe log2 D

lungimea mai mica decat limita superiora HX 1.

log2 D

Vom demonstra, in continuare, ca aceste coduri satisfac Inegaliatea Kraft-McMillan,

deci ca ele sunt si coduri ireductibile (instantanee).

Deoarece li log2 pxi , putem scrie:

log2 pxi li pxi Dl i i

log2 D

Insumand dupa I, rezulta :

px D
i li Dli 1
i i i

Deci, acsete coduri satisfac Inegalitatea Kraft-McMillan care este conditia necesara si
suficienta pentru a avea un cod ireductibil.

Definitie: Codurile constituite din cuvinte de lungime li log2 pxi sunt coduri
optimale.

7.7. Capacitatea, eficienta si redundanta codurilor

Definitie : Capacitatea unui cod este maximul cantitatii medii de informatie ce poate fi
transmisa de simbolurile din alfabetul canalului :

C Hmax C log D

Definitie : Eficienta unui cod se defineste prin :

lmin 1

HX HX
log D l HC l log D
log D

Definitie : Redundanta unui cod se defineste prin :

HC
11 0,1
log D
 Observatie: Capacitatea, eficienta si redundanta codului sunt marimi similare celor prezentate
la capitolul de Canale discrete. Expresiile sunt diferite pentru ca, in cazul canalelor, se
foloseste notiunea de cantitate medie de informatie pe simbolurile generate de sursa primara,
iar in cazul codurilor, se considera informatia medie pe simbolurile sursei secundare

7.8. Extensia unei surse de informatie

Fie o sursa de informatie cu alfabetul :

Xx ,,x si probabilitatile P px ,, px
1 N 1 N

Presupunem ca sursa X genereaza urmatorul sir de v.a.:

X 0, X1, X 2, X3,, X 2n , X 2n1,

Definitie : Extensia de ordin 2 a sursei X , este o sursa notata X 2 , care genereaza sirul:

Z0 ,Z1,,Zn ,

unde v.a. Zn sunt siruri de doua v.a. consecutive ale sirului X 0, X1, X 2, X3,, X 2n , X 2n1,
0 , X1 , Z1 X 2 , X3 , , Zn X 2n , X 2n1
Mai precis: Z0 X

Observatii:

- extensia de ordin m se noteaza cu X m si este o sursa ale carei simboluri sunt siruri de lungime
m
- alfabetul extensiei X m este constituit din N m simboluri (siruri).

Teorema : Entropia extensiei X m , fara memorie, este de m ori mai mare decat entropia sursei
X:

HX m mHX

7.9. Prima Teorema a lui Shannon

Conform rezultatelor din Sectiunile 7.4 si 7.6, lungimea unui cod folosit pentru codarea unei
surse de informatie fara memorie X , satisface urmatoarele inegalitati :

HX HX
 l 1 log2 D log2 D

Aceasta dubla inegalitate este valabila si pentru extensia X m , care este tot o sursa fara
memorie :

HX m l m HX m 1 log2 D log2 D

unde l m este lungimea medie a cuvintelor de cod pentru simbolurile sursei extinse, care sunt
siruri de m simboluri ale sursei initiale. Deci, l m ml , unde l este lungimea medie a
cuvintelor de cod pentru simbolurile sursei initiale.
Aplicand rezultatul Sectiunii 7.8, dubla inegalitate devine:

HX l HX m 1 log2 D
log2 D m

ceea ce reprezinta expresia matematica a Primei teoreme a lui Shannon

Prima teorema a lui Shannon sau Teorema codarii canalelor fara zgomot: Codand siruri
de simboluri suficient de lungi, ne putem apropia oricat de mult de codarea absolut optimala.

7.10. Algoritmi de codare entropica

7.10.1. Codarea Shannon-Fano

7.10.2. Codarea Huffman

7.10.3. Codarea aritmetica