Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

15/11/2022 1
 Compresia datelor

Pot reduce numarul de biti fara sa pierd informatie?

15/11/2022 2
 Compresia datelor
• Codare Huffman

15/11/2022 3
 Codarea surselor
Sursa primară S, descrisa de o v.a. S ={s1 , s2 ,.........sn }

Principiul codării

Sp [S] [X]
Ss Canal
Codarea de sursa Cod compact

Sursa secundară, sirul de v.a. X ={X 1 , X 2 ,.........X L }

Alfabetul codului:

! = {!! , !! , … . . !! },""

15/11/2022 4
 Clasificarea codurilor dupa
complexitatea structurii
Coduri bloc :
1. De lungime fixă
2. De lungime variabilă la intrare, fixă la ieșire
3. De lungime fixă la intrare, variabilă la ieșire

Coduri arbore
1. De lungime variabilă la intrare, fixă la ieșire
2. De lungime fixă la intrare, variabilă la ieșire
3. Convoluționale
4. Cu bloc alunecator

15/11/2022 5
 Clasificarea codurilor
dupa decodabilitate
• Nesingular
• Unic decodabil
• Instantaneu

0" 10" 110" 0" 1110" 0"

Cod B !! " !! " !! " !! " !! " !! "
"

Cod C 0100110001011

15/11/2022 6
 Clasificarea codurilor
după decodabilitate
Coduri nesingulare

Coduri unic decodabile

Cod fara prefix

(instantaneu)

S" C1" C2" C3" C4"

1" 0" 0" 10" 1"
2" 0" 010" 00" 01"
3" 0" 01" 11" 001"
4" 0" 10" 110" 000" 15/11/2022 7
"
 Clasificarea codurilor
după decodabilitate
Coduri nesingulare

Coduri unic decodabile

Cod fara prefix

(instantaneu)

C1 – singular

C2- nesingular dar

nu unic decodabil
S" C1" C2" C3" C4"
1" 0" 0" 10" 1" C3- unic decodabil
2" 0" 010" 00" 01" dar nu instantaneu
3" 0" 01" 11" 001"
4" 0" 10" 110" 000" C4- instantaneu15/11/2022 8
"
Coduri binare instantanee

0 1

0 1 0 1

Reprezentare grafică

15/11/2022 9
Reprezentarea prin grafuri

15/11/2022 10
 Lungimea medie a unui
cuvânt de cod
Costul mediu pe mesaj:
! !

!= !! ∙ ! !! = !! ∙ ! !! !
!!! !!!

!! = ! !(! ) ∙ !! = !!
!!! !!

!(! = 1)! Pentru orice xi din X

!

!! = !! ∙ ! = !! !

15/11/2022 11
 Limita inferioara a lungimii
medii a unui cuvant de cod
Fie o sursă caracterizată de: Entropia sursei este:
S = [ s1,..., sN ] ! ! =! ! =− !
!!! !( !! )!"#$(!! )!!
PS = [ p(s1 ),..., p(sN )]
Entropia alfabetului codului este:
Fie cuvintele codului: !
C = [ c1,..., cN ] ! ! =− ! !! !"#$(!! )!
PC = [ p(c1 ),..., p(cN )]; p(ci ) = p(si ) !!!

L = [l1,..., lN ] !-lungimile cuvintelor de cod

X = [ x1,..., xD ] - alfabetul codului

Informația medie pe un cuvant de cod:

! ! =!∙! ! !
! ! ≤ !"#$ = !!"# ! !15/11/2022 12
!
 Limita inferioara a lungimii
medii a unui cuvant de cod
Informatia medie pe un cuvant de cod: ! ! =!∙! ! !

! ! ! ≤ !"#$ = !!"# ! !

!
! ! = ! ∙ ! ! ≤ ! ∙ log !!

!(!) !(!)
!≥ = !!"# !
!"#$ (1) ≤ log !! (2)
!

15/11/2022 13
 Inegalitatea Kraft-Mc Millan
Teorema. Pentru orice cod instantaneu descris de un alphabet de marime D,
lungimile cuvintelor de cod l1, l2,…lN trebuie sa satisfaca inegalitatea:
!

!!!! ≤ 1!
!!!
In mod analog, pentru un set de cuvinte de cod de lungime li ce satisface
!
inegalitatea, exista un cod instantenu ale carui cuvinte au aceaste lungimi.
si Cod A Cod B Cod C Cod D Cod E
s1 00 0 0 0 0
s2 01 1000 10 1000 10
s3 10 1100 110 1110 110
s4 110 1110 1110 111 1110
s5 1110 1101 11110 1011 11110
s6 1111 1111 11111 1100 1111
! 1 13/16 < 1 1 7/8 <1 1 1/32>1
!!!! ≤ 1!
!!!
15/11/2022 14
Lungimea medie - exemplu

a) Care sunt lungimile medii ale codurilor din tabel ?

lA=2 biti /simbol

lB= 0.5*1+0.1*3+0.2*3+0.2*2=1.8 biti/simbol

b) Considerand drept criteriu lungimea medie care cod este mai bun?

lB<lA

Exista un cod C cu lC<lB sau codul B este un cod compact?? 15/11/2022 15

Lungimea medie - exemplu
Altfel spus: Gasiti un cod C astfel incat:

a) lungimile cuvintelor de cod sa indeplineasca inegalitatea Kraft Mc Millan:

lC= l1* 0.5+ l2* 0.1+l3* 0.2+l4* 0.2 <=1

a) lungimea medie lC sa fie minima

lC =lmin=H(S)/log2D
D=2

H(S) = – 0,5 log 0,5 – 0,1 log 0,1 – 2 (0,2 log 0,2) = 1,761 biti /simbol

Relatia poate fi privita ca eficienta codului: η

iar C=1-η este redundanta codului . ηA=0.88

ηB=0.98
Codul B este compact! 15/11/2022 16