Transmisia datelor 2020 Seminar 4

Seminar 4

Problema 1

Fie 𝑋 = (𝑠1 , 𝑠2 , 𝑠3 , 𝑠4 , 𝑠5 , 𝑠6 ) cu 𝑃 = (0.03125, 0.03125, 0.5, 0.25, 0.125, 0.0625)

Se cere o codare cu un cod Shannon-Fano.

𝑠𝑖 𝑝(𝑠𝑖 ) Partiţii Cuvinte Lungimea 𝑙𝑖

𝑠3 0.5 0 0 1
𝑠4 0.25 0 1 0 2
𝑠5 0.125 0 1 1 0 3
𝑠6 0.0625 1 1 0 1 1 1 0 4
𝑠2 0.03125 1 1 0 1 1 1 1 0 5
𝑠1 0.03125 1 1 1 1 1 1 5

Entropia sursei:

6
1 1 1 1 1 1 1 1 1 1
𝐻(𝑆) = − ∑ 𝑝(𝑠𝑖 ) ∙ log 2 𝑝(𝑠𝑖 ) = −2 ∙ log 2 − log 2 − log 2 − log 2 − log 2 =
32 32 16 16 8 8 4 4 2 2
𝑖=1
= 1.9375𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙

Lungimea medie:

𝑙 ̅ = ∑ 𝑙𝑖 ∙ 𝑝(𝑠𝑖 ) = 1 ∙ 0.5 + 2 ∙ 0.25 + 3 ∙ 0.125 + 4 ∙ 0.0625 + 2 ∙ 5 ∙ 0.03125 = 1.9375

𝑖=1

Lungimea medie minimă:

𝐻(𝑆) 1.9375
̅
𝑙𝑚𝑖𝑛 = = = 1.9375
log 2 𝐷 log 2 2

Eficienţa codului:

̅
𝑙𝑚𝑖𝑛 1.9375
𝜂= = =1
𝑙̅ 1.9375

Deci avem un cod absolut optimal, obţinut prin codare Shannon-Fano de codare simbol cu simbol, în cazul
în care probabilităţile de apariţie a simbolurilor sursei sunt egale cu puteri negative ale lui 2.
Transmisia datelor 2020 Seminar 4

Problema 2

Fie sursa 𝑆 = {𝑠1 , 𝑠2 , 𝑠3 , 𝑠4 , 𝑠5 , 𝑠6 } cu, 𝑃 = (0.05, 0.1, 0.3, 0.25, 0.2, 0.1) 𝑋 = {0,1}

Entropia sursei:
6

𝐻(𝑆) = − ∑ 𝑝(𝑠𝑖 ) ∙ 𝑙𝑜𝑔2 𝑝(𝑠𝑖 ) =

𝑖=1

= −0.3 ∙ log 2 0.3 − 0.25 ∙ log 2 0.25 − 0.2 ∙ log 2 0.2 − 2 ∙ 0.1 ∙ log 2 0.1 − 0.05 ∙ log 2 0.05 = 2.3 𝑏𝑖𝑡/𝑠𝑖𝑚𝑏𝑜𝑙

Lungimea medie:

𝑙 ̅ = ∑ 𝑙𝑖 ∙ 𝑝(𝑠𝑖 ) = 2 ∙ (0.3 + 0.25 + 0.2) + 3 ∙ 0.1 + 4 ∙ (0.1 + 0.05) = 2.4

𝑖=1

Lungimea medie minimă:

𝐻(𝑆) 𝐻(𝑆) 2.3

̅
𝑙𝑚𝑖𝑛 = = = = 2.3
log 2 𝐷 log 2 2 1

Eficienţa:

̅
𝑙𝑚𝑖𝑛 2.3
𝜂= = = 0.9583
𝑙̅ 2.4
Graful asociat acestei codări se prezintă pe figura următoare:

Se remarcă faptul, că cuvintele de cod sunt totdeauna capete de graf.

Transmisia datelor 2020 Seminar 4

Recapitulare de la curs. Metoda Huffman de codare D-ară

Având o sursă S = si  ; P = pi  al cărei alfabet are 𝑁 simboluri, codarea Huffman 𝐷 -ară ai acestei
surse cu un alfabet constituit din 𝑋 = {𝑥1 , 𝑥2 , . . . , 𝑥𝐷 } comportă aproximativ aceeaşi etape ca şi codarea binară,
restrângerile făcându-se până ce se obţine o sursă n-ară care furnizează 𝐷 simboluri, cărora li se asignează
simbolurile codului 𝑥1 , 𝑥2 , . . . , 𝑥𝐷
În acest caz, se observă că după prima restrângere se obţine o sursă cu 𝑁 − (𝐷 − 1) = 𝑁 − 𝐷 + 1
simboluri, iar după n restrângeri, o sursă cu 𝑁 − 𝑛(𝐷 − 1) simboluri. Pentru ca operaţia de codare să fie
posibilă, ultima sursă (rezultată în urma a 𝑛 restrângeri) trebuie să furnizeze 𝐷 simboluri, deci 𝐷 = 𝑁 −
𝑛(𝐷 − 1), de unde rezultă un număr de restrângeri:

𝑁−𝐷
𝑛=
𝐷−1

Pentru 𝑁, 𝐷 date se verifică ca 𝑛 să fie număr întreg, dacă această condiţie nu este satisfăcută va trebui să
adăugăm sursei 𝑆 = {𝑠𝑖 } un număr de simboluri cu probabilitate de apariţie nulă, care să asigure un 𝑛 întreg.
Aplicaţia următoare prezintă o codare ternară pentru sursa discretă din aplicaţia precedentă.

Problema 3

Fie sursa 𝑆 = {𝑠1 , 𝑠2 , 𝑠3 , 𝑠4 , 𝑠5 , 𝑠6 } cu 𝑃 = (0.05, 0.1, 0.3, 0.25, 0.2, 0.1) şi alfabetului codului 𝑋 = {𝐴, 𝐵, 𝐶}.

Se constată:

𝑁−𝐷 6−3 3 𝑁′ −𝐷 7−3 4

𝑛= = = ∉ 𝑍 deci se mai adaugă un simbol 𝑛′ = = = =2∈𝑍
𝐷−1 3−1 2 𝐷−1 3−1 2

Se adaugă un simbol adiţional 𝑠7 cu 𝑝(𝑠7 ) = 0 şi se procedează ca în figură:

7
Entropia sursei: H (S ) = − p(si )  log 2 p(si ) = 2.3 bit / simbol
i =1
_ 7
Lungimea medie: l =  li  p(si ) = 1.6 simboluri
i =1
_
H (S ) 2.3
Lungimea medie minimă: l min = = = 1.44
log 2 3 1.6
_
l min 1.44
Eficienţa: = _
= = 0.90
1.6
l
Transmisia datelor 2020 Seminar 4

Graful asociat acestei codări se prezintă pe figura următoare:

Simbolul auxiliar introdus de probabiltate zero nu influențează paremetrii codului

Problema 4

Fie un cod grup cu matricea de control:

10011
𝐻 = [01001]
00110

Se cere: a. Să se determine proprietăţile de corecţie ale codului.

b. Să se determine matricea generatoare 𝐺
c. Să se scrie cuvintele de cod cu ajutorul matricilor 𝐺 şi 𝐻
Soluție

a. Dimensiunile matricei 𝐻 permit să se determine 𝑛 = 5 şi 𝑚 = 3 şi deci 𝑘 = 3. După o atentă examinare

a matricii de control ne dăm seama că suma oricăror două coloane nu este diferită de suma oricăror altor două
coloane, de exemplu:
0
ℎ2 + ℎ3 = [1] = ℎ4 + ℎ5
1

deci nu se pot corecta două erori ci numai una.

Marginea Hamming care reprezintă condiţia necesară pentru corecţie a e erori este satisfăcută pentru e=1:
2𝑚 − 1 = 7 > 𝑛 = 5

Marginea Varşamov-Gilbert care reprezintă o condiţie suficientă pentru corecţia a e erori este şi ea satisfăcută
pentru e=1:

2𝑚 = 8 ≥ 𝐶00 + 𝐶01 = 1 + 6 = 7

b. Matricea de control se poate pune sub următoarea formă:

10110
𝐻 = [𝐼3 𝑄] → 𝐺 = [𝑄 𝑇 𝐼𝑘 ] = [ ]
11001
Se poate verifica relaţia:
Transmisia datelor 2020 Seminar 4

1 1
10011 0 1 00
𝐻𝐺 𝑇 = [01001] ⋅ 1 0 = [00] = 0
00110 1 0 00
[0 1]

c. Pentru a scrie cuvintele de cod cu ajutorul matricii de control 𝐻 se utilizează următoarea relaţie, în care
cuvântul de cod este sistematic:
 c1 
1 0 0 1 1 c 2  c1 + i4 + i5 
 
v = ci = c1c 2 c3i4 i5  → Hv T = 0 → HG T = 0 1 0 0 1  c3  =  c 2 + i5  = 0
   
0 0 1 1 0  i4   c3 + i4 
i 
 5
de unde rezultă → c1 = i4 + i5 ; c 2 = i5 ; c3 = i4

rezultând cuvinte de cod de forma: v = i4 + i5 , i5 , i4 , i4 , i5 

Cuvintele de cod se pot scrie şi cu ajutorul matricii generatoare: 𝐯 = 𝐢𝐆 unde matricea 𝐢 este o matrice
linie ce conţine simbolurile de informaţie, obţinându-se în cele din urmă aceleaşi rezultate, ca înainte. Cuvintele
de cod sunt următoarele:

C1 C2 C3 I4 I5
V1 0 0 0 0 0
V2 1 1 0 0 1
V3 1 0 1 1 0
V4 0 1 1 1 1

Problema 5

Se dă matricea H a unui cod grup corector de erori:

Se cere: 1 0 0 0 0 0 0 1 0 1
a)să se determine numărul simbolurilor de control (m),de 0 1 0 0 0 0 0 0 0 1
informatie (k),lungimea n a cuvintelor de cod, numărul de 0 0 1 0 0 0 0 1 0 1
simboluri ce se pot transmite cu ajutorul acestui cod si numărul 𝐻= 0 0 0 1 0 0 0 0 1 1
de erori care se pot corecta; 0 0 0 0 1 0 0 1 1 0
b)să se precizeze structura cuvintelor de cod; 0 0 0 0 0 1 0 0 1 0
[0 0 0 0 0 0 1 1 1 0]
c)să se scrie matricea generatoare G a codului.
Transmisia datelor 2020 Seminar 4

Solutie

a)Se știe că matricea H are m linii si n coloane;rezultă m =7 și n = 10;k = n-m = 10 -7 = 3. Cu cele trei simboluri de
informative se pot transmite un numar de simboluri 𝑁 ≤ 2𝐾 = 8. Pentru a determina numărul de erori pe care le
poate corecta codul, constatăm că:
-toate coloanele sunt distincte,deci se poate corecta cel putin o eroare;
-suma oricăror două coloane este diferită de suma oricăror altor două coloane, deci se pot corecta și
două erori. Nu se poate spune că suma oricăror trei coloane ale matricei H diferă de suma oricăror alte trei coloane
ale matricei, deci codul nu poate corecta toate erorile triple. Corectorul pentru cuvântul eroare:
𝜀1 = [1 0 0 0 0 0 0 1 1 0]
este – de exemplu – acelasi cu corectorul corespunzator cuvantului eroare:
𝜀2 = [0 0 1 1 0 1 0 0 0 0]
Expresia corectorului pentru cele două cazuri este:
0
0
1
𝑧 = [ℎ1 + ℎ8 + ℎ9 ] = [ℎ3 + ℎ4 + ℎ6 ] = 1 .
0
1
[0]
Faptul ca acest cod corectează două erori se poate stabili si cu ajutorul marginilor Hamming si Varshamov-Gilbert
.Pentru 𝑒 = 2 marginea Hamming este satisfăcută cu prisosință:
10 ∗ 9
2𝑚 − 1 = 27 − 1 = 127 > 𝐶𝑛1 + 𝐶𝑛2 = 10 + = 55
2
iar marginea Varshamov-Gilbert nu este satisfăcută de puțin:
0 1 3
9∗8 9∗8∗7
2𝑚 = 128 ≥ 𝐶𝑛−1 + 𝐶𝑛−1 + 𝐶𝑛−3 =1+9+ + = 130
2 3∗2∗1
Nici una dintre cele două margini nu este insă satisfacută pentru 𝑒 = 3:
2𝑚 − 1 = 127 < 𝐶𝑛1 − 𝐶𝑛2 − 𝐶𝑛3 = 175
6 1 2 3 4 5
2𝑚 + 128 < 𝐶𝑛−1 + 𝐶𝑛−1 + 𝐶𝑛−1 +𝐶𝑛−1 + 𝐶𝑛−1 + 𝐶𝑛−1 = 382
b)Matricea H dată corespunde unui cod sistematic la care pe primele sapte pozitii sunt simbolurile de control si pe
ultimele trei—simbolurile de informatie.Structura de cuvînt este deci:
𝜐 = [𝐶1 𝐶2 𝐶3 𝐶4 𝐶5 𝐶6 𝐶7 𝑖8 𝑖9 𝑖10 ]
Structura matricei H este,de forma: 𝐻 = [𝐼𝑚 𝑄] unde matricea Q are expresia:

1 0 0 0 0 0 0 1 0 1 101
0 1 0 0 0 0 0 0 0 1 001
0 0 1 0 0 0 0 1 0 1 𝑖𝑑𝑒𝑛𝑡𝑖𝑓𝑖𝑐â𝑛𝑑 𝑚𝑎𝑡𝑟𝑖𝑐𝑒𝑎 𝑄 101
𝐻= 0 0 0 1 0 0 0 0 1 1 = [𝐼7 𝑄] → 𝑄 = 011 .
0 0 0 0 1 0 0 1 1 0 110
0 0 0 0 0 1 0 0 1 0 010
[0 0 0 0 0 0 1 1 1 0] [ 110 ]
c)Utilizând relatiile (2.27) si (2.31) rezultă expresia matricei G:
1 0 1 0 1 0 1 1 0 0
𝐺 = [0 0 0 1 1 1 1 0 1 0].
1 1 1 1 0 0 0 0 0 1

Matricele H si G determinate mai sus verifică relatia (2.18)