Esenţa codării surselor discrete

În cazul transmisiunii informaţiei printr-un sistem discret fără perturbaţii (figura 3.11), la
conectarea sursei la canal apar următoarele probleme:
- sursa de informaţie S generează mesajele Si cu un anumit set de probabilităţi P(Si);
- canalul de transmisie acceptă la intrare numai anumite simboluri Ai corespunzător unui alfabet
A, iar pentru a folosi canalul la capacitate maximă, setul optim de probabilitate trebuie să fie P(Ai).

Rezultă că nu este posibilă cuplarea directă a sursei la canal din anumite cauze:
- incompatibilităţii mesajelor Si ale sursei cu simbolurile Ai admise de canal;
- setului de probabilităţi P(Si) cu care sursa generează mesajele, diferit de setul optim P(Ai)
necesar utilizării canalului la capacitatea sa maximă.
Din aceste cauze, apare necesitatea efectuării unei operaţii de codare conform căreia fiecărui
mesaj Si i se atribuie un anumit cuvânt de cod Ci, format din simbolurile Ai ale canalului (figura 3.12). În
construirea cuvintelor de cod Ci simbolurile Ai trebuie utilizate cu setul optim de probabilitate P(Ai).

Rolul codarii sursei

- adaptarea alfabetului sursei la alfabetul canalului
- adapatarea statistica (simboluri echiprobabile (care are tot atâtea șanse de a se produce ca și altele)
pentru alfabetul de canal)

Observatii :
- codarea de sursa priveste sursele discrete de informatie
- codarea de sursa nu rezolva problema erorilor cauzate de perturbatii
- prin codare, sursa de informatie, numita si sursa primara, este transformata intr-o noua sursa de
informatie, numita sursa secundara, care debiteaza informatie pe canal.
În sistemele de transmisiune digitale fiecare simbol al sursei se codifică cu ajutorul unui
cuvânt de cod binar.
La codarea surselor discrete se pot utiliza 2 tipuri de cuvinte de cod: uniforme şi neuniforme.
Cuvintele de cod uniforme conţin acelaşi număr de simboluri binare pentru oricare simbol codat. Un
cuvânt de cod tipic al acestui grup este cuvântul de codul ASCII (American Standard Code for
Information Interchange) elaborat pentru utilizarea în comunicaţii telegraf. La apariţia primelor maşini
de calcul, firma IBM a utilizat acest cuvânt de cod în calitate de standard pentru codarea informaţiei.
Fiecare combinaţie a acestui cuvânt de cod conţine opt simboluri binare, ceea ce permite utilizarea a
256 de combinaţii de cod. În prezent toate mesajele text, transmise prin internet, se codează prin
utilizarea acestui cuvânt de cod.
Pentru cuvinte de cod neuniforme, combinaţiile de cod au lungime diferită. Astfel, mesajele care
se întâlnesc mai des (cu probabilitate de apariţie mai mare) se codează prin combinaţii de cod cu
lungimi mai scurte, iar mesajele utilizate mai rar (cu probabilitate mai mică) se codează prin combinaţii
de cod mai lungi. Această proprietate permite compresia informaţiei, adică micşorarea entropiei sursei
de mesaj. Astfel de cuvinte de cod se mai numesc coduri cu prefix, deoarece în componenţa lor nu se
conţin combinaţii de cod care constituie începutul unei alte combinaţii. Acest lucru permite identificarea
simplă a mesajului la recepţie. Cuvinte de cod neuniforme se obţin la utilizarea algoritmelor de codare
Shannon-Fano şi Huffman.
Termeni specifici codării sursei:
Alfabetul codării - totalitatea simbolurilor elementare cu ajutorul cărora se pot construi succesiunile
(secvenţele).

Codul - totalitatea cuvintelor de cod folosite în codarea unei surse.

Cuvînt de cod - o secvenţă (succesiune) atribuită prin procesul de codare a unui mesaj al sursei de
informaţie.

Compresie - procesul de minimizare a spaţiului ocupat sau a timpului necesar transmiterii unei
anumite cantităţi de informaţie.

Graful de codare (graful codului) = un arbore ce creşte, dintr-un punct iniţial (numit sursă), prin m
ramuri la fiecare nod (m - numărul de simboluri elementare din alfabet) şi are la finele oricărei ramuri
(numită frunză) câte un simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleacă dintr-un nod este
notată cu unul dintre simbolurile elementare ale afabetului codului. Secvenţa obţinută prin asocierea
simbolurilor elementare ataşate unei căi, ce pleacă de la sursă şi ajunge la o frunză, este cuvântul de
cod ce codează simbolul (mesajul) sursei ataşat acelei frunze;

Observaţii referitoare la codările Shannon-Fano şi Huffman

1. Pentru mărirea eficienţei codării, adică pentru micşorarea numărului mediu de

simboluri în cuvântul de cod al unui simbol al sursei, se poate utiliza codarea în grupe de simboluri.
Astfel, grupele de simboluri sunt considerate ca nişte simboluri noi ale sursei cu probabilitatea egală
cu produsul probabilităţilor simbolurilor primare din această grupă. Codarea noilor simboluri-grupă
poate fi realizată atât prin metoda Shannon-Fano, cât şi prin metoda Huffman.
2. Eficienţa codării în cazul metodei Huffman este egală sau mai mare decât în cazul
metodei Shannon-Fano, dar construcţia cuvântului de cod Huffman necesită utilizarea unui
volum mai mare de memorie, în special în cazul în care creşte numărul de simboluri în cuvântul
de cod.
3. Cel mai mare neajuns în cazul codărilor Shannon-Fano şi Huffman îl constituie
necesitatea cunoaşterii tabloului probabilităţilor simbolurilor sursei.
Când probabilităţile simbolurilor sursei nu sunt cunoscute, codarea se realizează în două etape.
În prima etapă se determină frecvenţa apariţiilor fiecărui simbol care se va considera ca
probabilitate a respectivului simbol. Pentru aceasta, numărul de repetări ale simbolului se împarte
la numărul total de caractere în text.
În a două etapă se realizează codarea propriu-zisă.