Seminarul 4

Transmisia datelor. Codarea sursei. Codarea canalului

Cuprins
• Codare Shannon-Fano. Problema 1
• Codare Huffmann. Problema 2. Problema 3.
• Alfabet binar
• Alfabet ternar
• Cod bloc corector de eroare 1. Problema 4 (reluare din curs)
• Cod bloc corector de eroare 2. Problema 5 (o problemă mai complexă)

Seminar ca la tablă 2
Problema 1
• Fie
 
cu
 Se cere o codare cu un cod Shannon-Fano. Alfabetul codului (binar)

Seminar ca la tablă 3
Procedura de codificare
• Ordonare după valoarea probabilităților (ordine descrescătoare)
• Împărțire în două submulțimi de probabilitate totală egală
• Alocare cod din alfabetul codului pentru fiecare submulțime
• Repetare până ce fiecare submulțime are un singur element

𝑠𝑖 𝑝ሺ𝑠𝑖 ሻ Partiţii Cuvinte Lungimea 𝑙𝑖

𝑠3 0.5 0 0 1
𝑠4 0.25 0 1 0 2
𝑠5 0.125 0 1 1 0 3
𝑠6 0.0625 1 1 0 1 1 1 0 4
𝑠2 0.03125 1 1 0 1 1 1 1 0 5
𝑠1 0.03125 1 1 1 1 1 1 5
Seminar ca la tablă 4
 Entropia sursei, lungimea medie a cuvântului de
cod
•• Entropia
  sursei:

 
• Lungimea medie:

Seminar ca la tablă 5
Lungimea medie minimă, eficiența codului
• Lungimea
  medie minimă:

 
• Eficienţa codului:
 

  
• Deci avem un cod absolut optimal, obţinut prin codare Shannon-Fano de codare
simbol cu simbol, în cazul în care probabilităţile de apariţie a simbolurilor sursei
sunt egale cu puteri negative ale lui 2, avem eficiență maximă egală cu 1

Seminar ca la tablă 6
Factor de compresie față de codul uniform
•  Dacă s-ar fi codificat cu un cod uniform

• Factorul de compresie

Seminar ca la tablă 7
Graful codării Shannon-Fano
S
1
0

S3 S’
1
0

S4 S’’
1
0

S5 S’’’

0 1

S6 S’’’’
1
0

S2 S1
Seminar ca la tablă 8
Problema 2
•  Fie sursa cu,

• Se cere o codare Huffmann

Seminar ca la tablă 9
Procedura codării binare Huffmann
• Se ordonează simbolurile în ordinea descrescătoare a probabilităților
• Se comasează (unesc) ultimele două și se face un nou șir
• Se repetă procedura până ce râmân două elemente
• Se alocă câte un simbol (din alfabetul codului) pentru fiecare element

Seminar ca la tablă 10
 Entropia sursei, lungimea medie a cuvântului de
cod
•  Entropia sursei:

• Lungimea medie:

Seminar ca la tablă 11
Lungime medie minimă, eficiență
•  Lungimea medie minimă:
 

• Eficienţa:

Seminar ca la tablă 12
Graful asociat codării

Seminar ca la tablă 13
 Problema 3
•  Fie sursa cu
şi alfabetului codului

•  Se cere o codare de tip Huffmann cu alfabetul codului dat

• Se verifică numărul simbolurilor din S și X și se constată:

  deci se mai adaugă un simbol

Seminar ca la tablă 14
Procedura codării
• Se ordonează simbolurile în ordinea descrescătoare a probabilităților
• Se comasează (unesc) ultimele trei și se face un nou șir
• Se repetă procedura până ce râmân trei elemente
• Se alocă câte un simbol din alfabetul codului pentru fiecare element

Seminar ca la tablă 15
Entropia sursei, lungimea medie a cuvântului
de cod
• Entropia
  sursei:

 
(este aceeași sursă ca în problema precedentă, simbolul cu probabilitate
nulă nu intervine în formulă)

• Lungimea medie:
Seminar ca la tablă 16
Lungime medie minimă, eficiență
•  Lungimea medie minimă:
 

• Eficienţa:

Seminar ca la tablă 17
Graful asociat codării

Seminar ca la tablă 18
Temă pentru acasă. Problemă propusă
•  Să se realizeze în paralel câte o codare de tip Shannon-Fano și
Huffman cu alfabet binar pentru sursa de informație cu parametrii

cu probabilitățile

• Să se compare lungimea medie și eficiența codărilor

• Să se realizeze grafurile ambelor codări

Seminar ca la tablă 19
Problema 4
•  Fie un cod grup cu matricea de control:
 

 
Se cere: a. Să se determine proprietăţile de corecţie ale codului.
b. Să se determine matricea generatoare
c. Să se scrie cuvintele de cod cu ajutorul matricilor şi

Seminar ca la tablă 20
Soluție punctul a
•  Dimensiunile matricei permit să se determine
şi şi deci .
• După o atentă examinare a matricii de control ne dăm seama că
• Coloanele sunt diferite, poate corecta o eroare
• suma oricăror două coloane nu este diferită de suma oricăror altor două coloane, de
exemplu:

Seminar ca la tablă 21
Verificare cu margini
•  Marginea Hamming care reprezintă condiţia necesară pentru corecţie
a e erori este satisfăcută pentru e=1:

•  Marginea Varşamov-Gilbert care reprezintă o condiţie suficientă

pentru corecţia a e erori este şi ea satisfăcută pentru e=1:

Seminar ca la tablă 22
Soluție punct b. Matrice generatoare
•  Matricea de control se poate pune sub următoarea formă:
 

• Se poate verifica relaţia:

Seminar ca la tablă 23
 Completare matrice de control (corecție) H
•  Având simboluri de informație se pot genera mesaje informaționale
(cum ar fi )
• Matricea de control determină simbolurile de control pentru fiecare set
de simboluri de informație

• Rezultă,
• Pentru

Seminar ca la tablă 24
 Completare matrice generatoare G
•  Matricea generatoare generează cuvântul de cod direct din mesajul
informațional pe baza relației

• De unde rezultă cuvântul de cod obținut și cu matricea de control H

Seminar ca la tablă 25
Cuvintele de cod
• Cuvintele de cod sunt următoarele:

  C1 C2 C3 I4 I5
V1 0 0 0 0 0
V2 1 1 0 0 1
V3 1 0 1 1 0
V4 0 1 1 1 1

Seminar ca la tablă 26
 Problema 5
• Se dă matricea H a unui cod grup • 
corector de erori. Se cere:
• a)să se determine numărul simbolurilor
de control (m),de informatie (k),lungimea
n a cuvintelor de cod, numărul de
simboluri ce se pot transmite cu ajutorul
acestui cod si numărul de erori care se
pot corecta;
• b)să se precizeze structura cuvintelor de
cod;
• c)să se scrie matricea generatoare G a
codului.
Seminar ca la tablă 27
Soluția punct a
•  Se știe că matricea H are m linii si n coloane;rezultă m =7 și n = 10;k =
n-m = 10 -7 = 3. Cu cele trei simboluri de informative se pot transmite
un numar de simboluri Pentru a determina numărul de erori pe care
le poate corecta codul, constatăm că:
• -toate coloanele sunt distincte,deci se poate corecta cel putin o eroare;
• -suma oricăror două coloane este diferită de suma oricăror altor două
coloane, deci se pot corecta și două erori.

Seminar ca la tablă 28
Soluția punct a (continuare)
•  Nu se poate spune că suma oricăror trei coloane ale matricei H diferă
de suma oricăror alte trei coloane ale matricei, deci codul nu poate
corecta toate erorile triple
• Găsim suma a trei coloane egală cu suma altor trei

Seminar ca la tablă 29
Interpretare corector identic
•  Asta ar însemna două cuvinte de eroare ar avea același corector
Corectorul pentru cuvântul eroare:

este – de exemplu – același cu corectorul corespunzător cuvântului

eroare:

Seminar ca la tablă 30
Verificare cu margini Hamming și Varshamov-
Gilbert
•  Faptul ca acest cod corectează două erori se poate stabili si cu
ajutorul marginilor Hamming si Varshamov-Gilbert .Pentru marginea
Hamming este satisfăcută cu prisosință:

• iar marginea Varshamov-Gilbert nu este satisfăcută de puțin:

• Nici una dintre cele două margini nu este insă satisfacută pentru

Seminar ca la tablă 31
Soluție punctul b
•  Matricea H dată corespunde unui cod sistematic la care pe primele
sapte pozitii sunt simbolurile de control si pe ultimele trei—
simbolurile de informatie. :

• Structura matricei H este,conform relatiei (2.30),de forma:unde

matricea Q

Seminar ca la tablă 32
Completare punctul b
•  Matricea de corecție are proprietatea că pentru cuvintele de cod

Seminar ca la tablă 33
 Adică simbolurile de control satisfac
• 

• Deci simbolurile de control sunt calculate în funcție de cele de info

Seminar ca la tablă 34
Soluție punctul c
•  Utilizând relatiile (2.27) si (2.31) rezultă expresia matricei G:
 

 
• Matricele H si G determinate mai sus verifică relatia de ortogonalitate

Seminar ca la tablă 35
Completare punctul c
•  Cu matricea generatoare se pot obține cuvintele de cod direct din mesajele
informaționale

• Produsul între matrici nu este comutativ!

Seminar ca la tablă 36
Concluzii coduri bloc corectoare de erori
• Matricea de corecție prin proprietăți specifice
• Indică
• lungimea cuvântului de cod
• Numărul simbolurilor de control
• Numărul simbolurilor de informație
• Poate indica numărul de erori corectabile (verificare sume între coloane)
• Prin reordonarea coloanelor se poate obține matrice Q
• Matricea generatoare poate genera direct cuvintele de cod
• Marginile Hamming, Varshamov-Gilbert indică capacitatea codului

Seminar ca la tablă 37
 Temă pentru acasă
• Fie
  matricea de control al unui cod corector de eroare

• Să se determine numărul simbolurilor de informație, de control, lungimea cuvântului de cod

• Să se verifice marginile Hamming pentru e=2
• Să se calculeze matricea Q
• Să se scrie matricea generatoare G
• Să se scrie cuvântul de cod corespunzător mesajului informațional

Seminar ca la tablă 38
Soluție manuală

Seminar ca la tablă 39
 4

Seminar ca la tablă 40