Teoria transmisiunii informatiei ,

Conf. Dr. Ing. A. R doi

Universitatea Politehnica Bucuresti

anamaria.radoi@upb.ro

Conf. Dr. Ing. A. R doi (UPB) TTI 1 / 19

Cuprins

4 Codare de surs
Coduri unic decodabile
Lungimea medie a cuvintelor de cod

Conf. Dr. Ing. A. R doi (UPB) TTI 2 / 19

Codare de surs

Motivat, ie:
1 alfabetul sursei este diferit de alfabetul ce poate  utilizat pe canal;
2 folosirea canalului cu ecient, maxim  informat, ia mutual atinge
valoarea maxim , adic capacitatea canalului.
Canal f r zgomot, I (X ; Y ) = H(X ) − H(X |Y ) = H(X )
| {z }
=0

C = max I (X ; Y ) = max H(X ) = log D (1)

P[X ] P[X ]

unde D este num rul simbolurilor ce formeaz alfabetul canalului

⇒ codarea de surs are drept scop adaptarea statistic a sursei la canal.

Conf. Dr. Ing. A. R doi (UPB) TTI 3 / 19

Codare de surs

Surs Codare Canal Decodare Receptor

Figura: Lant, de transmisiune a informat, iei

Codorul transform alfabetul sursei primare [S] = {s1 , s2 , ..., sN } în

alfabetul canalului [X ] = {x1 , x2 , ..., xD }. X este sursa secundar , de
entropia maxim (H(X ) = log D ).
Consider m surse cu debit controlat, f r memorie.

Conf. Dr. Ing. A. R doi (UPB) TTI 4 / 19

Cuprins

4 Codare de surs
Coduri unic decodabile
Lungimea medie a cuvintelor de cod

Conf. Dr. Ing. A. R doi (UPB) TTI 5 / 19

Coduri unic decodabile

Surs discret (f r memorie) → alfabetul sursei

[S] = {s1 , s2 , ..., sN }

P[S] = {p(s1 ), p(s2 ), ..., p(sN )}

[X ] = {x1 , x2 , ..., xD }  alfabetul canalului (sau, alfabetul codului)

Pentru ecare simbol din [S], se asociaz un cuvânt de cod format dintr-un
num r nit de litere din alfabetul codului [X ]:
encoding
si −→ ci = [ci1 , ..., cik ]

Mult, imea de de N cuvinte de cod, [C ] = [c1 , ..., cN ], formeaz un cod

folosit pentru a transmite mesajele sursei pe canal.

Conf. Dr. Ing. A. R doi (UPB) TTI 6 / 19

Coduri unic decodabile

Observat, ie!
Nu toate cuvintele care pot  formate din literele din [X ] sunt cuvinte de
cod care reprezint simboluri din [S]. Aceste cuvinte se numesc cuvinte
f r sens.

Conf. Dr. Ing. A. R doi (UPB) TTI 7 / 19

Coduri unic decodabile

Denit, ii
Coduri unic decodabile sunt coduri pentru care ecare secvent, de litere
din [X ] poate  decodat într-un mesaj transmis de sursa primar .

Un cod unic decodabil este separabil dac nu sunt necesare simboluri de

separare între cuvinte pentru a decoda mesajele recept, ionate.

Coduri instantanee sunt coduri pentru care, dac ad ug m litere unui

cuvânt de cod, nici un alt cuvânt de cod nu poate  format.

Condit, ia necesar s, i sucient pentru ca un cod s e instantaneu este ca

nici un cuvânt de cod s nu e prex pentru alt cuvânt de cod. Un astfel
de cod este numit cod f r prex, deci ireductibil.

Conf. Dr. Ing. A. R doi (UPB) TTI 8 / 19

Cuprins

4 Codare de surs
Coduri unic decodabile
Lungimea medie a cuvintelor de cod

Conf. Dr. Ing. A. R doi (UPB) TTI 12 / 19

Limita inferioar pentru l¯ (l¯min )
Sursa primar :

[S] = {s1 , s2 , ..., sN } −→ P[S] = {p(s1 ), p(s2 ), ..., p(sN )}

Codul reprezentând sursa:

[C ] = {c1 , c2 , ..., cN } −→ P[C ] = P[S] = {p(s1 ), p(s2 ), ..., p(sN )}

Fiecare cuvânt de cod ci este format dintr-un num r nit de litere din
alfabetul codului:

[X ] = {x1 , x2 , ..., xD } −→ P[X ] = {p1 , p2 , ..., pD }

unde pj = p(xj ).
Lungimea cuvintelor de cod este:

[L] = {l1 , l2 , ..., lN }

unde li este num rul de litere din [X ] ce formeaz cuvântul de cod ci .

Conf. Dr. Ing. A. R doi (UPB) TTI 14 / 19
Limita inferioar pentru l¯ (l¯min )

Entropia sursei primare este:

N
X
H(S) = − p(si ) log p(si )
i=1

Entropia codului este:

D
X
H(X ) = − pj log pj
j=1

Lungimea medie a cuvântului de cod este denit ca:

N
X
l¯ = li p(si ) (3)
i=1

Conf. Dr. Ing. A. R doi (UPB) TTI 15 / 19

Limita inferioar pentru l¯ (l¯min )
Pornind de la proprietatea entropiei relative de a  pozitiv :
N
X p(si )
D(P[S]||Q[S]) = p(si ) log ≥0 (4)
q(si )
i=1
consider m Q[S] = {q(s1 ), q(s2 ), ..., q(sN )} ca ind o alt distribut, ie a
simbolurilor sursei:
N
D −li X
q(si ) = K= D −li
K
i=1
Extinzând expresia scris mai sus:
N
X
−H(S) + p(si ) log(D li · K ) ≥ 0 (5)
i=1
" N
# " N
#
X X
H(S) ≤ p(si )li · log D + p(si ) · log K (6)
i=1 i=1
| {z } | {z }
=l¯ =1
Conf. Dr. Ing. A. R doi (UPB) TTI 16 / 19
Limita inferioar pentru l¯ (l¯min )

Presupunem codul unic decodabil → conform inegalit t, ii the Kraft 

McMillan:
N
X
K= D −li ≤ 1
i=1

Aceasta conduce la:

H(S) ≤ l¯· log D (8)

H(S) ¯
l¯ ≥ = lmin (9)
log D

Conf. Dr. Ing. A. R doi (UPB) TTI 18 / 19