10/28/2017

CODAREA PENTRU CANALE

FARA PERTURBATII

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Codare (codificare) = asocierea la fiecare simbol al unei

surse de informatie un sir de simboluri ale unei alte surse.

si {xk x j ...}
S X

Sursa primara de informatie Sursa de informatie

(asociata experimentului) codata

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

1
 10/28/2017

Simbolurile sursei cu care se codeaza poarta numele de alfabet

al codului.

O succesiune de simboluri din alfabetul codului formeaza un

cuvantt de
d codd

Codarea sursei de informatie se mai numeste si adaptarea

sursei de informatie la canal (sau la caracteristicile canalului).

De ce adaptam sursa la canal ?

- eficienta
- constrangeri legate de realizarea fizica

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

2
 10/28/2017

Printre secventele binare de lungime 5, numarul celor care au doi

de 1 este de 10. Ele pot fi folosite pentru a codifica cifrele din
scrierea zecimala (Codul doi-din-cinci)

Simbol zecimal Cuvant de cod

1 11000
2 10100
3 01100
4 10010
5 01010
6 00110
7 10001
8 01001
9 00101
0 00011

3
 10/28/2017

Codarea este deci functia care asociaza cuvinte de cod ci

simbolurilor si ale surse de informatie.

Fiecare cuvant de cod este o succesiune de mai multe simboluri

xi din
di alfabetul
lf b t l codului.
d l i Cuvintele
C i t l de
d codd pott avea lungimi
l i i
diferite.

Cod bloc: toate cuvintele de cod au aceeasi lungime

Cod nesingular: toate cuvintele de cod sunt distincte

Cod unic decodabil: fiecrei succesiuni de simboluri recepionate

i corespunde o singur succesiune de mesaje ale sursei primare S.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Codificarea K de mai jos este nesingulara si nu este unic decodabila

K(a) = 00;
K(b) = 10;
K(c) = 101;
K(d) = 110;
110
K(e) = 1001;

K(bd) = K(cb) = 10110 .

Putem garanta un cod unic decodabil daca un simbol special este

folosit pentru a marca orice inceput sau sfarsit de cuvand de cod.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

4
 10/28/2017

Cod instantaneu: nici un cuvnt de cod nu este prefix pentru

alte cuvinte de cod.

Prefix: un cuvant de cod se poate obtine din alt cuvant de cod

prin adaugarea
p g de simboluri din alfabetul codului.

Lungimea cuvantului de cod: numarul de simboluri din

cuvantul de cod.
Codificarea K de mai jos este nu este instantanee (exista cuvinte
de cod cu proprietate de prefix)
K(a) = 00;
K(b) = 10;
K(c) = 101;
K(d) = 110;
K(e) = 1001; C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Dac un cod este instantaneu, el este i unic decodabil,

reciproca nefiind totdeauna adevrat.

Pentru a verifica dac un cod este instantaneu, i se

construieste arborele de codare (graful arborescent).

Arborele de codare are pentru fiecare nod neterminal un

numar de descendenti egal cu numarul de simboluri din
alfabetul codului; cuvintele de cod sunt noduri terminale.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

5
 10/28/2017

Conditia de existenta a codurilor instantanee cu M

simboluri in alfabetul codului (Kraft):

Mk
lk
1

-Este o conditie de existenta ! (nu orice cod ce satsiface inegalitatea

Kraft este si instantaneu)

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Lungimea medie a cuvintelor de cod

s K si K sn
S = 1
p1 K pi K pn

c K ci K cn
C = 1
1
p K pi K p n

l (C ) = (l1 K li K ln )

n
l = pi li
i =1
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

6
 10/28/2017

Lungimea medie a cuvintelor de cod

H (S )
l=
H (C )
H (S )
l min =
log M

l min
Eficienta codului =
l
l min
Redundanta codului = 1 =
l
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Cod absolut optimal

l min
= =1 log pk
l lk =
log
gM
l min = l

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

7
 10/28/2017

Teorema 1 Shannon Codare pentru canale fara perturbatii

Pentru codarea simbol cu simbol a unei surse de mesaje S, ergodica

si fara dependente, dupa un alfabet cu M simboluri, lungimea medie
a cuvintelor de cod poate fi facuta oricat de apropiata de valoarea
H (S )
log M

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Teorema 1 Shannon Codare pentru canale fara perturbatii

S sursa de mesaje, M numarul de simboluri din alfabetul canalului

H (S ) H (S )
l < +1
l M
log l M
log
Pentru extensia de ordin m a sursei S avem:
H (S m ) H (S m )
lm < +1
log M log M
mH ( S ) mH ( S )
ml < +1
log M log M
H (S ) H (S ) 1
l < +
log M log M m
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

8
 10/28/2017

Teorema 1 Shannon Codare pentru canale fara perturbatii

Pentru extensia de ordin m a sursei S avem:
H (S ) H (S ) 1
l < +
log M log M m

Pentru extensia de ordin m foarte mare (m):

H (S ) H (S )
l < , adica
log M log M
H (S )
l=
log M

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Codarea
Shannon-Fano
Este o codare cu lungime variabila a cuvantului de cod si dictionar
de cuvinte de cod (dictionarul - sau Look-Up Table - arata care
sunt cuvintele de cod ce corespund unui anumit mesaj al sursei).

Codarea inseamna construirea dictionarului de codare.

Dictionar de codare
Simb. Cuvinte cod

Sursa de si 01101 01101

informatie Simbol transmisie
emis stocare
si

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

9
 10/28/2017

Codarea
Numai daca se indeplineste: Shannon-Fano
l
1
k
l k
pk = M =
M
Principiul
p de codare :

cuvintele de cod de lungime mica (scurte) se aloca simbolurilor

mai probabile
cuvintele de cod de lungime mare (lungi) se aloca simbolurilor
mai putin probabile
Algoritm :

Se construiesc sub-surse de informatie de probabilitati egale si acestea

se codeaza prin cate un simbol de cod, recursiv.
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Shannon-Fano binar

10
 10/28/2017

Shannon-Fano ternar

s s2 s3 s4 s5
S = 1
1 / 3 1 / 3 1 / 9 1 / 9 1 / 9

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Codarea
Huffman
Este o codare cu lungime variabila a cuvantului de cod si dictionar
de cuvinte de cod (dictionarul - sau Look-Up Table - arata care
sunt cuvintele de cod ce corespund unui anumit mesaj al sursei).

Codarea inseamna construirea dictionarului de codare.

Dictionar de codare
Simb. Cuvinte cod

Sursa de si 01101 01101

informatie Simbol transmisie
emis stocare
si

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

11
 10/28/2017

Codarea
Principiul de codare : Huffman
cuvintele de cod de lungime mica (scurte) se aloca simbolurilor
mai probabile

cuvintele de cod de lungime mare (lungi) se aloca simbolurilor

mai putin probabile

Algoritm :

construirea de surse de informatie restranse prin reunirea simbolurilor

cele mai putin probabile ale sursei anterioare.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

12