Teoria transmisiunii informatiei ,

Conf. Dr. Ing. A. R doi

Universitatea Politehnica Bucuresti

anamaria.radoi@upb.ro

Conf. Dr. Ing. A. R doi (UPB) TTI 1 / 19

Cuprins

4 Codare de surs
Codare Human

5 Codare de canal
A doua teorem a lui Shannon. Teorema cod rii.

Conf. Dr. Ing. A. R doi (UPB) TTI 2 / 19

Codare Human binar
Aceast schem de codare este optimal pentru orice tip de distribut, ie de
intrare p[S]. Ecient, a cod rii,

l¯min
η= ¯ (1)
l
este maximizat atunci când lungimea medie a cuvântului de cod este
minim :
N
X
l¯ = p(si )li (2)
i=1

Pentru a obt, ine un cod optimal:

1 cuvintele de cod mai scurte pentru simbolurile ce apar cu probabilitate
/ frecvent, mare ('dese') s, i mai lungi pentru simbolurile 'rare'
2 ultimele dou simboluri vor avea cuvinte de cod de lungime egal :
lN−1 = lN .
Utiliz ri: scheme de compresie (GZIP, BZIP2), JPEG, MPEG-2, MP3
Conf. Dr. Ing. A. R doi (UPB) TTI 5 / 19
Codare Human binar

PAS, I:
1 Simbolurile din [S] sunt rearanjate în ordinea descresc toare a
probabilit t, ilor lor:

[S] = [R0 ] = {s1 , s2 , ..., sN }

p(s1 ) ≥ p(s2 ) ≥ . . . ≥ p(sN )

2 Se elimin din [R0 ] cele dou simboluri cu probabilit t, i mici s, i se

combin aceste dou simboluri într-un nou simbol r1 = {sN−1 , sN } cu
probabilitatea p(r1 ) = p(sN−1 ) + p(sN )
Se formeaz [R1 ] = {s0 , s1 , ..., sN−2 , r1 } s, i se rearanjeaz în ordine
descresc toare a probabilit t, ilor.
3 Se repet pasul 2 pân ce ultima mult, ime restrâns , [RN−1 ], cont, ine
un singur simbol de probabilitate 1. Acest ultim simbol reprezint
r d cina arborelui de codare.

Conf. Dr. Ing. A. R doi (UPB) TTI 6 / 19

Codare Human binar

Schema de codare Human poate  realizat s, i cu alfabete de dimensiune

mai mare, D > 2, prin gruparea a D simboluri la ecare pas. În acest caz,
o condit, ie suplimentar trebuie s e vericat , s, i anume c num rul de
restrângeri trebuie s e un num r întreg:
N −1
∈Z (3)
D −1
Dac aceast condit, ie nu este satisf cut , atunci se vor introduce simboluri
"false" (de probabilitate 0) în mult, imea de simboluri ce trebuie codate.
Num rul total de simboluri va  k(D − 1) + 1, unde k ∈ Z reprezint
num rul de restrângeri.

Conf. Dr. Ing. A. R doi (UPB) TTI 7 / 19

Cuprins

4 Codare de surs
Codare Human

5 Codare de canal
A doua teorem a lui Shannon. Teorema cod rii.

Conf. Dr. Ing. A. R doi (UPB) TTI 12 / 19

Codare de canal

În capitolul anterior, am studiat metode de transformare a unei surse cu

distribut, ie oarecare într-o surs de entropie maxim , f r a t, ine cont de
zgomotul care afecteaz canalul.
În acest capitol s, i în urm toarele, vom considera c surs a fost deja
codat optim s, i canalul este afectat de perturbat, ii.
detect, ie de erori  exist erori?
corect, ie de erori  unde sunt erorile?
⇒ coduri detectoare s, i corectoare de erori
Codorul adaug simboluri de control ec rui mesaj transmis de surs .
Mesajul sursei este format din simboluri de informatie.
,

Conf. Dr. Ing. A. R doi (UPB) TTI 13 / 19

A doua teorem a lui Shannon. Teorema cod rii.

Theorem (Shannon, 1948)

Pentru o surs având debitul de informatie R biti/s, un canal cu
, ,

capacitatea C biti/s si R < C , exist un cod cu cuvinte de cod de lungime

, ,

n astfel încât probabilitatea de eroare la decodor, PE , poate  neglijabil :

PE ≤ 2−nE (R) (4)

unde E (R) > 0 se numeste exponentul erorii.

,

A doua teorem a lui Shannon  una din cele mai importante teoreme în
teoria cod rii.

Conf. Dr. Ing. A. R doi (UPB) TTI 16 / 19

Codarea de canal  introducere
Scopul cod rii de canal: inserarea, de manier controlat , a unei anumite
redundant, e în mesajul transmis, astfel încât, dac informat, ia este
distorsionat (de exemplu, CBS) sau anulat (de exemplu, CBA),
recuperarea mesajului de c tre receptor s poat  realizat sub anumite
constrângeri.
Posibilit t, i pentru obt, inerea unui mesaj corect:
Automatic Repeat Request (ARQ): emit, torul repet mesajul pân
când receptorul îl înt, elege pe cel corect → nu este ecient, dar apare
în stiva OSI (data link, transport layers), IEEE 802.11 wireless.
Parity check codes / Coduri de vericare a parit t, ii: de obicei, ultimul
bit al unui bloc de n bit, i veric cei n − 1 bit, i anteriori → detecteaz
doar un num r impar de erori
Ultimul concept este extins de codul Hamming, ce aplic în mod direct
acest concept pe subgrupuri de bit, i ai aceluias, i cuvânt, s, i de codurile LDPC
(Low-Density Parity Check codes  10GBASE-T Ethernet, DVB-S2
standard pentru TV digital din 2003, standardul 802.11 Wi-Fi din 2009).
Conf. Dr. Ing. A. R doi (UPB) TTI 19 / 19