Transmiterea Si Codificarea Informatiei

1
UNIVERSITATEA TITU MAIORESCU

Facultatea de INFORMATIC

Profesor univ. dr. ing. Lector univ. dr.ing.
RCUCIU CIPRIAN GRECU DAN

Curs pentru nvmntul la distan

BUCURESTI 2010

2

UNIVERSITATEA Titu MAIORESCU BUCURESTI
Facultatea de InIormatic
nvmnt la Distan

TEORI A TRANSMI TERI I $I CODIFICRII
INFORMAIEI

Cursul 'Teoria transmiterii LFRGLILFULLLQIRUPDLHL este o disciplin care
ngobleaz ntr-o Iorm unitar concepte din teoria codurilor, teoria semnalelor
aleatoare si teoria deciziilor statistice si reprezint una din disciplinele de pregtire
care, pentru proIilul INFORMATIC, este necesar pentru pregtirea studenilor si
pentru obinerea creditelor transIerabile prin procedurile de evaluare. Modul de
prezentare a acestui material are n vedere particularitile nvmntului la
distan, la care studiul individual este determinant. Pentru orice nelmuriri Ia de
acest material v rugm s contactai tutorele de disciplin care are datoria s v
ajute oferindu-v toate explicaiile necesare.

Disciplina 'Teoria transmiterii LFRGLILFULLLQIRUPDLHL si propune urmtoarele
obiective specifice:
nsusirea noiunilor Iundamentale din domeniul Teoriei transmiterii L
codificULLLQIRUPDLHL.
Formarea deprinderilor de modelare matematic si de transpunere n
programare a unor probleme de natur tehnic, social sau economic, cu
utilizarea cunostinelor nsusite.
Formarea si dezvoltarea bazei matematice a studenilor pentru disciplinele
Iundamentale si de specialitate din anii superiori;
Formarea si dezvoltarea aptitudinilor si deprinderilor de analiz logic,
Iormulare corect si argumentare Iundamentat, n rezolvarea problemelor
tehnico-economice si de specialitate;
O comparaie critic a metodelor de rezolvare evideniind, eventual, calea
optim de soluionare.
V precizm de asemenea c, din punct de vedere al veriIicrilor si al notrii, cu
adevrat important este capacitatea pe care trebuie s o dobndii si s o probai
de a rezolva toat tipologia de probleme aplicative aIerente materialului teoretic
prezentat n continuare. De aceea v recomandm s parcurgei cu atenie toate
aplicaiile rezolvate, s rezolvai aplicaiile propuse prin testele de autoevaluare si
temele de control; Iii convinsi c examenul Iinal apeleaz la tipurile de aplicaii
prezente n seciunile menionate anterior

3
CUPRINS
MODULUL 1- MSURA CANTITATIV A INFORMAIEI .....................................pag.4
MODULUL 1- CAPITOLUL 1- ELEMENTE DE TEORIA TRANSMITERII INFORMAIEI
..................................................................................................................................pag.5

1.1. Informatia - generaIiti...............................................................pag.5

1.2. Sistemul de transmitere a informatiei. .......................................pag.6

1.3. 1.3. Modele de surse informationale. .........................................pag.7

1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 - MSURI INFORMAIONALE ................................pag.9

2.1. Modele de surse informationale.....................................................pag.9
2.2. Informatia proprie conditionata...................................................pag.10
TESTE DE AUTOEVALUARE I TEME DE CONTROL.......................pag.21
BIBLIOGRAFIE RECOMANDAT LA MODULUL 1.......................... pag.21

MODULUL 2 - CODAREA SURSELOR INFORMAIONALE .................... .........pag.22
MODULUL 2- CAPITOLUL 1- CODAREA SURSELOR INFORMAIONALE .....pag.23
1.1 Codificarea surselor discrete.......................................................pag.23
1.2 Codificarea neuniforma................................................................ pag.23

1.3. Codarea si decodarea pe canale fara perturbatii........ pag.25

1.4. Coduri Huffman de dispersie minim..........................................pag.28
1.5 . ProcedeuI de codare binar Shannon - Fano. .........................pag.34
TESTE DE AUTOEVALUARE I TEME DE CONTROL................ pag.39
BIBLIOGRAFIE RECOMANDAT LA MODULUL 2.....................pag.40
MODULUL 3- CODURI DETECTOARE I CORECTOARE DE ERORI................pag.41
MODULUL 3 - CAPITOLUL 1 - CODURI DETECTOARE I CORECTOARE DE
ERORI.....................................................................................................................pag.42
1.1. Codarea si decodarea pe canale perturbate ..............................pag.42
1.2. Coduri bIoc Iiniare.....................pag.44
1.3. Exemple de coduri liniare ...........................................................pag.46
TESTE DE AUTOEVALUARE I TEME DE CONTROL.................pag.62
BIBLIOGRAFIE RECOMANDAT LA MODULUL 3: ...................pag.63

4
Coordonator disciplin: ProI. univ. dr.ing. RCUCIU CIPRIAN
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
MSURA CANTITATIV A INFORMAIEI

n acest modul sunt prezentate principalele noiuni cu care opereaz teoria
informaiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de
energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se
prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se
stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare.
Stabilirea notiunii generalizate de informatie pentru caracterizarea
proceselor de conducere dintr-un punct de vedere unitar,a fost un moment
important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se
analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de
substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea
dintr-un punct de vedere comun a celor mai diferite procese de comanda din
natura.
Se numeste informatie orice stire care poarta in sine urma unui fapt,
eveniment sau proces oarecare.
Informatia este comunicarea (mesajul) ce aduce stiri despre fapte,
evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot
cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se
obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie
inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte
asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
Timpul mediu necesar nsusirii noiunilor teoretice, Iormrii deprinderilor de
calcul si utilizrii metodelor de rezolvare a problemelor specifice teoriei
inIormaiei este estimat la aproximativ 6-8 ore pentru fiecare modul, ntr-un ritm
de 2-3 ore pe zi.

5
MODULUL 1
CAPITOLUL 1
ELEMENTE DE TEORIA TRANSMITERII INFORMAIEI

1.5. I nformatia - generaliti.

n procesele de comanda, procesele energetice care insotesc transmiterea informatiei
joaca un rol secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate
de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere,
care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si
actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de
energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati
reduse de energie.
n teoria inIormatiei, caracteristica energetica a Ienomenelor trece pe plan secundar,
evidentiindu-se in mod deosebit latura informafionala a sistemului.
Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate
forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de
telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului,
auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre
evenimentele din lumea ce il inconjoara.
Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului,
telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul
televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme,
transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa
a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie
se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar
greseli de imprimare.
Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic
informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la
greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea
metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii.
Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura
adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea
fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie
sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul
masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza
in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului.
Problema principala a teoriei informatiei este studierea transformarii, pastrarii si
transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de
telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
n realitate, inIormatia se transmite prin intermediul semnalelor care poarta stirea. Tipuri
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio,
imagine, video, semnale .

6

1.2. Sistemul de transmitere a informatiei.

Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite
informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui
sistem de transmisiuni este data in fig.1.1

Fig.1.1

Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea
prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date
sau introducerea unei redundante pentru lupta cu perturbatiile.
Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia
telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra
canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza
modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului
termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat
al adversarului etc.
Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce
la partea de receptie o copie acceptabila iesirii sursei.
Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza
modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de
canal.
Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de
semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri
binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse
date.
Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur
succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele
inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca.
Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare
sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o
precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau
destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o
succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea
informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se
calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de
dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a
transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
locul indicat de destinatar. Cand spunem 'reproduce" nu intelegem o reproducere absolut Iidela

7
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de
scopul transmisiuni. n descrierea 'obiectului" transmis prin sistemul de transmisie trebuie inclus
si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile
sursei, ci caracterizeaza proprietatile cuplulul 'sursa-destinatar". Vom numi acest obiect
'inIormatia transmisa".

1.3. Modele de surse informationale.

Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o
importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul
de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp
dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea
mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de
precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea
sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte
mesajul respectiv.
Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor
aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La
aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat,
a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic
independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ...,
p(ak). n cazul unei codiIicari de acest tip, combinatiile de cod vor avea aceeasi lungime pentru
ca sa fie posibila decodificarea lor.
Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o
forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de
numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o
succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa
se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru
reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a
cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea,
aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu
descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu
care sunt generate aceste mesaje admisibile.
Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor
da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.
Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a
mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri
binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea
mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta
sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei.
Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor
conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursa-
destinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.
Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda,
care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de
precizie adoptat.

8

1.4. Modelul probabilistic al semnalelor.

Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile
cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu
calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta
intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii
de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera
semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme
informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare
probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa
discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide
universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic.
Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si
intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari
unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea
unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele
discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea
probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in
cadrul unui experiment se considera ca un eveniment.
n cazul semnalelor discrete, totdeauna se poate realiza o corespondenta biunivoca intre
semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa
corespunda un numar natural x eX- si astfel multimea semnalelor discrete se poate inlocui cu o
multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie
numarul natural care corespunde semnalului respectiv.
Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei
aleatoare:

( ) ( ) ( )
|
|
.
|
\
|
=
M X X X
M
x P x P x P
x x x
X
...
...
2 1
2 1
(1,1)

Prin notatia
( )
k X
x P
se intelege probabilitatea de aparitie a evenimentului x=x
k
, adica
probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X
considerata. Evident:

( ) 1
1
=
=
K
M
K
X
x P
(1.2)
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu
Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din
multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui
x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi
caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor
elemente.

9
MODULUL 1
CAPITOLUL 2
MSURI INFORMAIONALE

2.1. Modele de surse informationale

Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare
si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din
multinea X se numeste entropia lui X si se calculeaza cu formula:
( ) ( )
( )
K X
K
K
K
X
x P
x P X H
1
log
1
=
=
(1,3)
sau mai simplu se scrie sub forma:
( ) ( )
( ) x P
x P X H
K
1
log
1
=
=
(1.4)

Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de
repartitia de probabilitati este data in fig 1.2:

Fig.1.2 Entropia semnalului

Fie

10
|
|
.
|
\
|
=
p p
x x
X
1
2 1
(1.5)
atunci:

( ) ( ) ( ) p H
p
p
p
p X H =
+ =
1
1
log 1
1
log
(1.6)

2.2. I nformatia proprie conditionata.

Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a
aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:

|
|
.
|
\
|
=
|
|
.
|
\
|
i
k
y
x
i
k
Y
X
y
x
P
y
x
I
1
log
(1.7)
sau mai simplu se scrie:

|
|
.
|
\
|
=
|
|
.
|
\
|
i
k
x
y
x
P
y
x
I
1
log
(1.8)
Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de
evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului
x=xk . dtupa ce a avut loc evenimentul y =yi.
Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o
diferenta intre informatia proprie si informatia proprie conditionata.

( )
( ) ( )
|
|
.
|
\
|
=
|
|
.
|
\
|
=
y
x
P
x P x P
y
x
P
y x I
1
log
1
log log ;
(1.9)
de unde
( ) ( )
|
|
.
|
\
|
=
y
x
I x I y x I ;
(1.10)
Din relatia anterioara se obtine pe baza reciprocitatii relatia:
( ) ( )
|
.
|
\
|
=
x
y
I y I y x I ;
(1.11)

11
In mod analog I(x;y) se poate scrie sub forma:
( )
( )
( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( ) y x P y P x P x P y P
y x P
x P y P
y
x
P y P
x P
y
x
P
y x I
,
1
log
1
log
1
log
,
log log log ; + = =
|
|
.
|
\
|
=
|
|
.
|
\
|
=
(1.12)
deci:

( ) ( ) ( ) ( ) y x I y I x I y x I , ; + =
(1.13)

unde :
( )
( ) y x P
y x I
,
1
log , =
(1.14)

reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de
evenimente xy.
Tinand seama ca:
( ) ( ) ( )
|
|
.
|
\
|
=
|
.
|
\
|
=
y
x
P y P
x
y
P x P y x P ,
(1.15)
rezulta ca, cantitatea de informatie proprie a unui eveniment (x,y) se poate scrie sub forma:
( ) ( )
( ) ( )
|
|
.
|
\
|
+ =
|
.
|
\
|
+ =
y
x
I y I y x I
x
y
I x I y x I
,
,
(1.16)
Luand mediile expresiilor din relatiile anterioare se obtine:
( ) ( )
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
|
|
.
|
\
|
+ =
|
.
|
\
|
+ =
+ =
|
.
|
\
|
=
|
|
.
|
\
|
=
y
x
H y H y x H
x
y
H x H y x H
y x H y H x H y x I
x
y
H y H y x I
y
x
H x H y x I
,
,
, ;
;
;
(1.17)

Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X)
este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta
ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y,
adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru
care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt
transinformatia.

12
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca
entropia U(X) a multimii X depinde numai de probabilitatile de aparitie a elementelor xtX.
Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa
invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor.

Proprietatea 1. H(X)>0
In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau
egali cu zero pentru 0<P(x)<1. Daca P(xk)=1, repartitia lui X este degenerata si este de forma:

|
|
.
|
\
|
=
0 ... 1 ... 0
... ...
1 K k
x x x
X
(1.18)

si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.
Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a
fost pusa in evidenta de Jensen.
Fie x,y,Psi Q numere positive si P+Q=1,atunci avem:

( ) y Q x P Qy Px log log log + > +
(1.19)

in care avem egalitate daca si numai daca x=y.
Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o
proprietate care de asemenea joaca un rol important in teoria informatiei.

Fig.1.3.

Proprietatea 2.
Fie X multimea formata din K semnale ,atunci:

( ) K x H log s
(1.20)

unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:

13

|
|
.
|
\
|
=
k k k
x x x
X
k
1
...
1 1
...
2 1
(1.21)

Proprietetea 3.
Pentru doua multimi de semnale X si Y ,avem:

( ) ( ) ( ) y H x H y x H + s ,
(1.22)

in care avem egalitate daca si numai daca X si Y sunt statistic independente.

Exerciii rezolvate.

Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment
este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din
punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul
informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui
eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m m m
q 1 2
, , , cu probabilitatile
de aparitie p p p
q 1 2
, , , . Este evident ca probabilitatile satisfac relatia p p p
q 1 2
1 + + + = .
Continutul informational al mesajului k este notat cu I m
k
( ) . Pentru ca acest continut sa fie o
masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :

(i) daca p p I m I m
k j k j
< > ( ) ( )
(ii) daca p I m
k k
1 0 ( )
(iii) daca 0 1 0 s s > p I m
k k
( )
(iv) (aditivitatea) daca m
k
si m
j
sunt mesaje independente
= + I m m I m I m
k j k j
( ) ( ) ( ) si

O functie continua de variabila p
k
care satisface proprietatile (i)-(iv) este functia
logaritmica.

I m
p
p
k
k
k
( ) log log = =
1

Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone

14

se definesc
(a) rata de biti=(durata unui bit)
-1
=1/T
2
exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T
1
exprimata
in bauds.

Problema 1
Se considera o trasmisie fax : 2,2510
6
pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?

Solutie
I=nr.elemente informatie per element=
( ) | |
=
(
= = + 2 25 10
1
12
2 25 10 2 3 2 25 10 2 3
6
2
6
2
2 6
2
, log , log , log biti

Problema 2
Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = 24 80 128 3
2
log [ ] biti
(b) t =
1
f
c

R
I
I f
c
= =
t
[ ] bps

Problema 3
Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4
impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un
impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
T
2

E
M

15
(b) Care este rata de bauds ?

Solutie

(a) R
I
= =
t
4 4
5 10
1 6
2
3
log
, [ ] kbps
(b) r
bauds
baud] kbaud] = = =
1
10
10 1
3
3
[ [

Problema 4
Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se
cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii
daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.

Solutie
- cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
- cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara
este I
2 2 2
1
1
2
2 = = log log
- cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
- cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
I
3 2 2
1
1
3
3 = = log log numarul minim de cantariri I kI k
k
s s =
3
24 3 3.
- sa se propuna un algoritm de depistare.

Problema 5

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt
nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8
nivel 3:1/8

Solutie
R r H = =
(
1
5 10
1
2
1
2
1
4
1
4
2
1
8
1
8
3
log log log
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca
entropia este maxima pentru o sursa care genereaza simboluri echiprobabile H n
max
log =
2
.

Problema 6

16
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos

Solutie
Acest model descrie un canal care perturba simbolurile unei surse binare in masura in
care la receptie sa poata fi interpretate ca fiind incerte.
Metoda scalara

( )
| |
C H Y H Y X
p x
i
= max ( )
( )

H Y p y p y
i
i
i
( ) ( ) log ( ) =
=
1
3

( ) ( ) ( ) ) ( ) 1 ( ) ( ) ( ) ( ) (
1 1 1 1 2 2 1 1 1 1 1
x p q x p x y p x p x y p x p x y p y p = = + =

S-a utilizat formula probabilitatii totale, evenimentele x
1
, x
2
fiind mutual exclusive.
Analog se poate scrie

p y q p x ( ) ( ) ( )
2 2
1 =

( ) ( ) ( ) p y p y x p x p y x p x q p x p x q q ( ) ( ) ( ) ( ) ( )
3 3 1 1 3 2 2 1 2
1 = + = + = =

| |
| |
H Y q p x q p x q q q p x q p x
q p x p x p x p x q q q q
q H X q q q q
( ) ( ) ( ) log( ) ( ) log ( ) ( ) log( ) ( )
( ) ( ) log ( ) ( ) log ( ) ( ) log( ) log
( ) ( ) ( ) log( ) log
= + + =
= + =
=
1 1 1 1
1 1 1
1 1 1
1 1 2 2
1 1 2 2

( ) ( )
H YX p x y p y x
i j j
i
j i
=
= =

( , ) log
1
3
1
2

Conform regulii de inlantuire

( )
p x y p y x p x
i j j i i
( , ) ( ) =

Din graf se deduce ca

( )
p y x q
1 1
1 =
( )
p y x
1 2
0 =
BE
D
Equ
atio
n.2

EM
B
E
D

E
q
u
a
ti
o
n
.
2

E
M
BE
D
Equ
atio
n.2

EM
B
E
D
E
q
u
at
io
n.
2

E
M
B
E
D
E
q
u
at
io
n.
2

E
M
B
E
D
E
q
u
at
io
n.
2

E
M
B
E
D
E
q
u
at
io
n.
2

E
M
B
E
D
E
q
ua
ti
o
n.
2

E
M
B
E
D

E
q
u
a
ti
o
n
.
2

17

( )
p y x
2 1
0 =
( )
p y x q
2 2
=

( )
p y x q
3 1
=
( )
p y x q
3 2
1 =

Se obtine

( )
H Y X q q q q = ( )log( ) log 1 1

C q H X q q
p x
i
= = = ( ) max ( ) ( )
( )
1 1 1 1

pentru setul optim de probabilitate la intrare p x p x
0 1 0 2
1 ( ) ( ) = = .

Metoda matriciala

Se considera sursa care genereaza un alfabet de simboluri x i n
i
, , , = 1 si la destinatie
se receptioneaza un alfabet de simboluri y j m
j
, , , = 1 .
Se pot scrie urmatoarele relatii:

( )
P Y P X P Y X ( ) ( ) =

unde P X ( ) este matricea linie a sursei ( ) 1 n ;
P Y ( ) este matricea linie a destinatiei ( ) 1 m ;

( )
P Y X este matricea dreptunghiulara de zgomot ( ) n m .

Observatie
In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate
iesirilor.
Matricea campurilor reunite (joint) este

( )
P X Y
p x
p x
p x
P Y X
n
( , )
( )
( )
( )
=
(
(
(
(
1
2
0 0
0 0
0

Matricea de zgomot
( )
P Y X se poate obtine prin impartirea fiecarei linii i prin p(x
i
).
Matricea de echivocatie
( )
P XY se poate obtine prin impartirea fiecarei coloane j prin p(y
j
) .

Problema 7
Fie matricea de tranzitie
( )
P Y X =
(
2 3 1 3
1 3 2 3
/ /
/ /
si p(x
1
)=3/4 si p(x
2
)=1/4.
Se cere sa se calculeze
(a) entropia campului de intrare

18
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului

Solutie

(a) H X p x p x
i
i
i
( ) ( ) log ( ) log log log , = = +
|
\
|
.
|
= ~
=
1
2
3
4
3
4
1
4
1
4
2
3
4
3 0 81 bit / simbol

(b) H Y p y p y
j
j
j
( ) ( ) log ( ) =
=
1
2

| | | |
P Y ( ) / /
/ /
/ /
/ / =
(
= 3 4 1 4
2 3 1 3
1 3 2 3
7 12 5 12

H Y ( ) log log , = +
|
\
|
.
|
=
7
12
7
12
5
12
5
12
0 98 bit / simbol

(c)
( )
( )
H XY p x y p x y
i j i
j
j i
=
= =

( , ) log
1
2
1
2

P X Y ( , )
/
/
/ /
/ /
/ /
/ /
=
(
=
(
3 4 0
0 1 4
2 3 1 3
1 3 2 3
1 2 1 4
1 12 1 6

H X Y ( , ) log log log log , = + + +
|
\
|
.
|
=
1
2
1
2
1
4
1
4
1
12
1
12
1
6
1
6
1 73 bit / simbol

(d)
( ) ( )
H Y X p x y p y x
i j j
i
j i
= =
= =

( , ) log , 0 92
1
2
1
2
bit / simbol

sau
( )
H Y X H X Y H X = ( , ) ( )
(e)
( )
( )
H XY p x y p x y
i j i
j
j i
=
= =

( , ) log
1
2
1
2

unde

19

( )
P XY =
(
(
(
(
(
(
(
(
(
=
(
(
(
(
1
2
7
12
1
4
5
12
1
12
7
12
1
6
5
12
6
7
3
5
1
7
2
5

si
( )
H XY = + + +
|
\
|
.
|
=
1
2
6
7
1
4
3
5
1
12
1
7
1
6
2
5
0 75 log log log log , bit / simbol

sau
( )
H XY H X Y H Y = ( , ) ( )

(f) I X Y H X H Y H X Y ( , ) ( ) ( ) ( , ) , = + = 0 06 bit / simbol

(g) canalul fiind dublu uniform

C= +
|
\
|
.
|
|
\
|
.
|
+ = log log ( ) log , 2 1
1
3
1
1
3
2 1
1
3
1
3
0 082 bit / simbol

Setul optim p x p x
0 1 0 2
( ) , ( ) se obtine din

( )
| |
C H Y H Y X
p x
i
= max ( )
( )
0

p y p x p x ( ) ( ) ( )
1 0 1 0 2
2
3
1
3
= +

p y p x p x ( ) ( ) ( )
2 0 1 0 2
1
3
2
3
= +

( ) ( ) ( ) ( )
( )
H Y X p x y p y x p y x p x p y x
p x p x
i j j
i
j i
j i i j
i
j i
= = =
= +
(
+ = +
(
= = = =

( , ) log ( ) log
log log ( ) ( ) log log
1
2
1
2
0
1
2
1
2
0 1 0 2
2
3
2
3
1
3
1
3
2
3
2
3
1
3
1
3

deci
( )
H Y X nu depinde de P X ( ) C H Y
p x
i
= + +
(
max ( ) log log
( )
0
2
3
2
3
1
3
1
3

20
dar max ( ) log ( ) ( )
( ) p x
i
H Y p y p y
0
1 2
2 1
1
2
= = = =

( ) ( )
( ) ( )
p y p y x p x p y x p x
p y p y x p x p y x p x
( ) ( ) ( )
( ) ( ) ( )
1 1 1 0 1 1 2 0 2
2 2 1 0 1 2
2
0 2
= +
= +

p x p x
0 1 0 2
1
2
( ) ( ) = = .

Observatie

Se mai poate utiliza si relatia p x p x
0 1 0 2
1 ( ) ( ) + =

(h) q( )
( , )
, C
I X Y
C
= = 0 73

R C C I X Y ( ) ( , ) , = = 0 022 bit / simbol

Problema 8
Fie un canal binar simetric avand matricea campurilor reunite P X Y ( , )
, ?
? ,
=
(
0 4
0 4
si
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P X Y ( , ) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.

Solutie

(a) canalul fiind simetric = p x y p x y ( , ) ( , )
2 1 1 2
si folosind proprietatea (iii) a evenimentelor
mutual exclusive se obtine p x y p x y p x y p x y ( , ) ( , ) ( , ) ( , ) ,
1 1 1 2 2 2 1 2
2 1 01 + + = = si
P X Y ( , )
, ,
, ,
=
(
0 4 01
01 0 4
.

(b)
( )
P Y X =
(
(
(
(
(
=
(
0 4
1 2
01
1 2
0 1
1 2
0 4
1 2
0 8 0 2
0 2 0 8
,
/
,
/
,
/
,
/
, ,
, ,

21
TESTE DE AUTOEVALUARE I TEME DE CONTROL

Testul nr. 1

Fie un alIabet Iormat din literele A,B,C. Se cere s se calculeze:
a. numrul maxim de mesaje de lungime 3 ce se pot Iorma cu acest alIabet;
b. cantitatea de informaie coninut de un asemenea mesaj.

Testul nr. 2
S se calculeze cantitatea de informaii necesar pentru precizarea poziiei unei figuri pe
tabla de sah.

7HPGHFRQWURO

Matricea probabilitilor reunite intrare-iesire asociat unui canal de transmisie este de
forma:
( )
(
=
4 / 1 4 / 1
4 / 1 4 / 1
X Y P
Se cere s se calculeze:
a. entropia cmpului de la intrare;
b. entropia cmpului de la iesire;
c. entropia cmpurilor reunite;
d. eroarea medie si echivocaia;
e. transinformaia si capacitatea canalului.

BIBLIOGRAFIE RECOMANDAT LA MODULUL 1:

|1| A. Sptaru: Teoria Transmisiunii Informaiei, Ed. Didactic si Pedagogic, Bu- curesti,
1983.

|2| A. T. Murgan, I. Spnu, I. Gavt, I. Sztojanov, V. E. Neagoe, A. Vlad: Teoria
Transmisiunii Informaiei - probleme, Ed. Didactic si Pedagogic, Bucuresti,
1983

[3] I. Angheloiu, Teoria codurilor, Ed. Militar, Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.

22

MODULUL 2
CODAREA SURSELOR INFORMAIONALE

Compresia datelor este un proces de re prin care se urmreste
micsorarea redundanei mesajului generat de o surs, pentru a reduce resursele
necesare memorrii sau transmiterii acestui mesaj. Deoarece, de regul,
pentru memorarea sau transmiterea unui mesaj se foloseste, eventual ntr-o
Iorm intermediar, reprezentarea prin simboluri binare a acestuia, si pentru c
cele mai multe metode de compresie folosesc metode de codare binar - binar,
putem spune c obiectivul compresiei const n reducerea numrului de
simboluri binare necesar pentru reprezentarea mesajului.
Dup cum sirul simbolurilor emise de surs este mprit, pentru codare, n
subsiruri de aceeasi lungime sau de lungime variabil, si dup lungimea,
constant sau variabil, a cuvintelor de cod, codurile de compresie se clasific n
bloc- bloc, bloc variabil, variabil bloc si variabil variabil, bloc bloc
indicnd aceeasi lungime pentru subsirurile sursei si cuvinte de cod de lungime
fix, iar variabil variabil corespunznd unor lungimi variabile ale subsirurilor
si ale cuvintelor de cod. Din punct de vedere al msurii n care mesajul reIcut
prin decompresie se aseamn cu cel original, asupra cruia s-a acionat prin
procesul de compresie, distingem dou categorii de algoritmi de compresie: Ir
pierderi si cu pierderi.
Algoritmii de compresie Ir pierderi sunt reversibili, prin decompresie
obinndu-se mesajul original ntocmai. Algoritmii de compresie cu pierderi au
ca rezultat diferene relativ mici ntre mesajul rezultat prin decompresie si cel
original si sunt utilizai n compresia imaginilor si a mesajelor video si audio.
n acest modul vor Ii prezentate aspecte privind codiIicarea surselor
discrete si vor Ii analizai algoritmii HuIIman si Shannon-Fano.

23
MODULUL 2
CAPITOLUL 1

CODAREA SURSELOR INFORMAIONALE

1.1 Codificarea surselor discrete.

In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare
se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila
este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la
cele initiale, adica decodificarea sa fie unica.
Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul
semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si
secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si
fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui
simbol nu depinde de celelalte sinboluri anterioare.
Alfabetul sursei discrete se noteaza cu
{ }
L
a a a A ...., ,
2 1
=
,deci sursa produce
succesiuni de litere
n
u u u ,...., ,
2 1
formate cu ajutorul literelor din alfabetul sursei, deci
A u
i
e
pentru i1,2,..
Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a
semnalelor,adica probabilitatea unei succesiuni date
( )
n
n
o o o o ,..., ,
2 1
=
de n litere de sursa este
egala cu produsul probabilitatilor literelor de sursa ,deci:

( ) ( )
[
=
=
n
i
i n
P P
1
2 1
,...., , o o o o
(2.1)

1.2 Codificarea neuniforma.

Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
sau litere notate cu
M
a a a ,...., ,
2 1
care apar cu probabilitatile
( ) ( ) ( )
M
a P a P a P ,.., ,
2 1
. Fiecare
litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din
alfabetul codului care contine D semnale
{ }
D
x x x X ,.., ,
2 1
=
.Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare
M
a a a ,.., ,
2 1
se noteaza cu
M
c c c ,.., ,
2 1
,iar totalitatea lor formeaza un cod,
{ }
M
c c c C ,.., ,
2 1
=
.Numarul semnalelor secundare
din cuvantul de cod
k
c
care,dupa cum s-a vazut,corespunde lui
k
a
,se noteaza cu
k
n
.

24
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere
economic,acel cod care conduce la un
n
-numarul mediu de litere de cod pe litere de sursa-cat
mai mic posibil,unde
n
se mai numeste si lungimea mediea combinatiilor de cod:
( )
k
M
K
k
n a P n
=
=
1
(2.2)

Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie
de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod
atribuite semnalelor primare sunt distincte se numeste cod nesingular.
Codul
{ }
k
c c c C ,.., ,
2 1
=
se numeste unic decodabile daca succesiunile cuvintelor de
cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte.
Fie un cuvant de cod
im i i i
x x x c ,..., ,
2 1
=
.Sirul de litere
im i i
x x x ,..., ,
2 1
,unde
m k s
se
numeste prefixul lui
i
c
.
Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care
prezinta un interes deosebit din punct de vedere practice.
Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste
cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de
prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin
reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se
numesc si coduri ireductibile.
Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o
combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La
decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se
inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand
la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d.
Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind
faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre
codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea
teorema:orice cod cu conditia de prefix este un cod unic decodabil.
Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si
convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum
simplu,sau nodul final de la extremitatea drumului simplu corespunzator
Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta
biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii
corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o
combinatie de cod.
De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu
ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod
internediar.
Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este
asemanatoare, tinand cont ca din fiecare nod pomesc D arce.

25

1.3. Codarea si decodarea pe canale fara perturbatii.

In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un
codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor
mesaje ct mai scurte pentru a transmite aceiasi cantitate de inIormatie. Aceast operatie numita
generic , compresie de date

Definirea unui cod. Fie o sursa discreta Iara memorie avnd alIabetul

{ } S s s s
N
=
1 2
, ,......, (2.3)

cu probabilitatea de aparitie ( ) p s p
i i
=

{ } P p p p
N
=
1 2
, ,......, (2.4)

Fie alfabetul canalului

{ }
X x x x
q
=
1 2
, ,......, (2.5)

constituit dintr-un numar finit de semne (litere, caractere)
Se considera reuniunea secventelor finite de litere din alfabetul canalului:

X X
n
n
*
=
>
(2.6)

Orice aplicatie S X
*
se numeste codarea alfabetului Sprin alfabetul X

Un element s X
i
* *
e si care corespunde lui s
i
este un cuvnt de cod. Lungimea
cuvntului de cod, notat
( )
n s n
i i
*
= este numarul de litere cale Il formeaza. Totalitatea
cuvintelor de cod constitue codul lui S cu mentiunea ca X
*
poate contine si combinatii care nu
apartin codului, numite cuvinte fara sens.
Astfel, un text constituit din secvente de mesaje:

m s s s
j i i ik
=
1 2
, ,......, (2.7)

este codat prin secventele de cuvinte de cod (cu sens)

m s s s
j i i ik
=
1 2
* * *
, ,......, (2.8)

26
Decodarea implica posibilitatea de a repara cuvintele de cod n mod unic (aplicatia
S X
*
sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular).
Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s s
1 2
10
* *
, = si s
3
01 = . Codul 010 poate fi interpretat fie s s
1 2
* *
, fie s s
3 1
* *
, .
Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i
corespunda o succesiune unica de litere, adica aplicatia S X
k
k
n
>
*
1
sa fie si ea injectiva.
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta
proprietate sunt:
(a) utilizarea cuvintelor de cod de aceiasi lungime (bloc)
(b) utilizarea unui semn distinct Intre cuvintel (separator)
Exista nsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura
proprietate de unic decodabil. Aceste coduri se numesc separabile.

Alcatuirea unui cod. Teorema Kraft

Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de
lungime n n n
N 1 2
, ,......, este ca

q
n
i
i
N
=
s
1
1
(2.9)

Observatii

1. Se reaminteste ca ( ) q card X = este numarul de litere din alfabetul canalului.
2. Daca numarul cuvintelor de lungime k este r
k
atunci conditia (1.9) devine

r q
k
k
k
n
s
1
1
(2.10)

cu N r
k
k
n
=
=
1

Teorema Mac Millan

Un cod este ireductibil daca si numai daca

n n n
N 1 2
s s s ...... (2.11)

27

Criterii de apreciere a unui cod.
Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
convenabil de apreciere a unui cod este lungimea medie a unui cuvnt

n p n
i i
i
n
=
=
1
(2.12)

unde p
i
sunt definite prin (1.4) si n
i
este numarul de litere din cuvntul de cod cu indicele i.
Este evident ca se cauta ca n sa Iie ct mai mic dar trebuie avut In vedere ca el este
limitat inferior de entropia informationala pe simbol a alfabetului de cod

n
H
q
>
log
2
(2.13)

unde H este entropia sursei. In aceste conditii, eficienta unui cod este

q =
s
H
n q log
2
1 (2.14)

iar redundanta codului este

q = 1 (2.15)

Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se
numesc coduri absolut optimale

Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil
pentru care lungimea medie a cuvintelor eVWHRUFkWGHDSURSLDWDGHPDUJLQHDVDLQIHULRDUD.

Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima
teorema a lui Shannon se reIera la problema codarii cu o lungime medie posibila ct mai mica,
pe un canal neperturbat de capacitate data.
Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau
compacte.

28
1.4. Coduri Huffman de dispersie minim.
Acest procedeu se bazeaz pe ideea de a partiiona mulimea mesajelor sursei S = {s1, s2
,..., sN} n submulimile si , astIel nct suma probabilitilor mesajelor incluse n s
Iie ct mai apropiat de suma probabilitilor mesajelor incluse n .
La rndul lor, submulimile si pot Ii partiionate n submulimile si ,
respectiv si astIel nct suma probabilitilor mesajelor incluse n cele patru
submulimi s Iie ct mai apropiate posibil. Procedeul se continu n mod similar pn cnd se
obin submulimi ce conin un singur mesaj.
n Ielul acesta, pentru orice distribuie a sursei S ce urmeaz a Ii codat se va obine un
cod compact, adic lungimi medii ale cuvintelor de cod ce nu mai pot Ii micsorate prin nici un alt
procedeu de codare.
Pentru ca partiiile s satisIac condiiile menionate, se procedeaz
astfel:
1). Se ordoneaz mulimea mesajelor sursei S n ordinea descresctoare a probabilitilor,
obinndu-se astIel mulimea ordonat ={ }, cu p( ) p( ) ... p( ), cu
schimbarea eventual a indicilor mesajelor pentru realizarea ordonrii respective;
2). Se reunesc ultimele dou mesaje (de probabilitile cele mai mici) ntr-un nou mesaj,
notat cu , cruia i se aloc o probabilitate egal cu suma probabilitilor mesajelor
componente. Se ordoneaz din nou mesajele n ordinea descresctoare a probabilitilor,
Iormndu-se astIel prima surs restrns ={ cu p( ) p( ) ... p( ) ...
.
3). Se reunesc ultimele dou mesaje din sursa restrns ntr-un nou mesaj , de
probabilitate egal cu suma probabilitilor mesajelor componente. Se ordoneaz mesajele n
ordine descresctoare, Iormndu-se astIel sursa restrns . n mod analog, din se Iormeaz
sursa restrns si asa mai departe, pn cnd se obine o surs restrns Iormat numai din
dou mesaje, , cu p( ) . De fapt, va fi si va fi sau
invers.

29
Din modul de Iormare a surselor restrnse , rezult c mulimea S a mesajelor poate fi
partiionat n dou submulimi si astIel nct probabilitile p( ) si sunt cele
mai apropiate posibil. La rndul lor, submulimile si , pot Ii partiionate n alte dou
submulimi, de probabilitile cele mai apropiate posibil. Partiionrile se continu pn se obin
submulimi care conin un singur mesaj.
4). Cuvintele de cod corespunztoare Iiecrui mesaj se obin astIel:
- submulimii i se aloc simbolul "0" (sau "1");
- submulimii , i se aloc simbolul "1" (sau "0");
- la Iiecare partiionare se aloc arbitrar celor dou submulimi "0" sau "1", operaia continundu-
se pn se obin submulimi ce conin un singur mesaj , k= .
Deoarece alocarea lui "0" si "1" este arbitrar la Iiecare partiionare, rezult c unei surse
S i se pot atasa o multitudine de coduri instantanee, toate, ns, avnd aceeasi lungime medie a
cuvintelor de cod, care nu mai poate Ii micsorat prin nici un alt procedeu de codare a mesajelor
luate individual.
Dac sursa primar S poate furniza N mesaje, atunci submulimea restrns , va avea
N-1 mesaje, submulimea restrns va conine N-2 mesaje si asa mai departe, ultima
submulime restrns va conine N n mesaje, care sunt si , adic se poate scrie:
N-n=2 => n=N-2 (2.16)
Dac submulimii i se aloc simbolul "0" si submulimii simbolul "1", celor N-2
partiionri putndu-li-se aloca arbitrar "0" sau "1", rezult un total de posibiliti de
codare. Dac, ns, submulimii i se aloc simbolul "1", iar submulimii simbolul "0",
mai rezult posibiliti de codare. Rezult, deci, c prin acest procedeu de codare se pot
realiza coduri instantanee, toate avnd toate aceeasi lungime medie a
cuvintelor de cod.
Prin deIiniie, se numeste cod compact, codul care realizeaz lungimea medie minim a
cuvintelor de cod. Deoarece prin procedeul de codare HuIIman se obine cea mai mic lungime
medie a cuvintelor de cod, nseamn c prin acest procedeu se obin coduri instantanee
compacte. Evident, un cod absolut optimal este si compact, reciproca neIiind totdeauna valabil.

30
Exemplul 3.1.
Se presupune sursa discret de inIormaie caracterizat de distribuia:

S :

Codarea binar HuIIman a acestei surse se poate realiza astfel:

Fig. 3.2. Schema de codare pentru exemplul 3.1
Graful si cuvintele de cod corespunztoare codrii efectuate sunt date n Fig. 3.3.

Fig.3.3. GraIul corespunztor codului

31

Codurile HuIIman de dispersie minim se obin cnd la reordonarea sursei restrnse,
simbolul compus se plaseaz pe poziia cea mai de sus posibil n sursa restrns. n Ielul acesta
cuvntul de cod atribuit simbolului compus va avea cea mai mic lungime posibil. Cum acest
cuvnt va deveni preIix pentru simbolurile constituente, cuvintele de cod corespunztoare
acestora vor avea o lungime cu o unitate mai mare dect lungimea preIixului, deci si acestea vor
rezulta de lungime minim. Ca urmare, diIerenele dintre lungimile cuvintelor de cod devin
minime, ceea ce va conduce, evident, si la o dispersie minim.
Pentru Iixarea ideilor, se presupune sursa discret de inIormaie caracterizat de
distribuia:
S :

Pentru aceast surs se eIectueaz codarea HuIIman, plasnd nti mesajele sursei
restrnse pe poziiile cele mai jos posibile n list si apoi pe poziiile cele mai de sus posibile. n
primul caz rezult schema de codare din Fig. 3.4, iar graIul si cuvintele de cod ca n Fig. 3.5.

32

Pentru acest cod, lungimea medie si dispersia sunt:

Pentru cazul n care n codarea HuIIman mesajele sursei restrnse se plaseaz pe poziiile
cele mai de sus n list, se obine schema de codare din Fig. 3.6 si graIul si cuvintele de cod ca n
Fig. 3.7.

33

Pentru acest cod, lungimea medie este, evident, aceeasi, n timp ce dispersia devine:

Desi din punct de vedere inIormaional, cele dou coduri sunt identice, n practic se
preIer Iolosirea celor de dispersie minim, din motive de transmisie. De exemplu, dac se
doreste s se transmit mesaje ale sursei cu o vitez de 10.000 mesaje/sec., este necesar un canal
cu capacitatea de 22.000 bii/sec. Deoarece viteza de generare a biilor oscileaz n jurul valorii
de 22.000 bii/sec., Iuncie de succesiunea de mesaje Iurnizate la un moment dat, iesirea sursei
este ncrcat ntr-un buffer.
Dac, de exemplu, sursa genereaz la un moment dat siruri de mesaje si mai multe
secunde, pentru primul cod se genereaz 40.000 bii/sec. si n Iiecare secund ar trebui un buIIer
de capacitate de 18.000 bii. Cu al doilea cod se genereaz 30.000 bii /sec. si buIIerul ar trebui
s aib capacitatea de 8.000 bii. Dac se transmit siruri de mesaje , cu primul cod se
genereaz 10.000 bii/sec. si canalul nu e Iolosit la capacitatea sa, rmnnd un deIicit de 12.000
bii/sec, pe cnd cu al doilea cod se genereaz 20.000bii/sec, deIicitul existent n exploatarea
canalului Iiind numai de 2.000 bii/sec. Asadar, din motive de transmisie este mai rezonabil a se
alege al doilea cod dect primul.

34
1.5. Procedeul de codare binar Shannon - Fano.
Acest procedeu se aplic de obicei n cazurile particulare n care probabilitile de
Iurnizare ale mesajelor sunt puteri ntregi pozitive ale lui (1/2), adic, de Iorma:
p( = , ( ) k= (2.17)
unde este un numr ntreg pozitiv. Dac relaia (3.48) este satisIcut, mulimea S = {s1, s2
,..., sN} a mesajelor sursei discrete de inIormaie ce urmeaz a Ii codat poate Ii partiionat n
dou submulimi si , astIel nct suma probabilitilor mesajelor incluse n , notat cu
p( ), s Iie egal cu suma probabilitilor mesajelor incluse n ,, notat cu p( ). Sursa S
Iiind totdeauna complet, se poate scrie:
(2.18)

Submulimile si se pot partiiona la rndul lor n si , respectiv n si
, astIel nct suma probabilitilor mesajelor incluse n cele patru submulimi s Iie aceeasi,
adic se poate scrie relaia:

(2.19)

Se procedeaz n mod analog pn se obin submulimi care conin un singur mesaj. Se
observ c Iiecare submulime are suma probabilitilor mesajelor incluse egal cu o putere
ntreag a lui (1/2). Puterea ntreag este egal cu numrul indicilor submulimii respective Dac
submulimea conine un singur mesaj, , si are un numr de indici egal cu , atunci se poate
scrie:

de unde rezult necesitatea ca sursa S ce urmeaz a Ii codat s-si Iurnizeze mesajele cu
probabiliti egale cu la o putere ntreag, pozitiv.
Sursa Iiind complet, se poate scrie relaia (1.21):

35
(2.21)

nlocuind (1.20) n (1.21), rezult relaia (1.22):
(2.22)
ceea ce nseamn c inegalitatea lui Kraft devine n acest caz egalitate.
Cuvintele de cod se vor obine, atunci, astfel:
1. Se atribuie simbolul "0" submulimii si simbolul "1" submulimii , (sau invers),
astIel c toate cuvintele corespunztoare mesajelor incluse n vor ncepe cu "0" si toate
cuvintele corespunztoare mesajelor incluse n , vor
ncepe cu "1" (sau invers);
2. Se aloc submulimilor si ca al doilea mesaj "0", iar submulimilor si
ca al doilea mesaj "1" (sau invers). n Ielul acesta, cuvintele de cod corespunztoare
mesajelor incluse n vor ncepe cu 00, cuvintele de cod corespunztoare mesajelor incluse n
vor ncepe cu 10 si asa mai departe, cuvintele de cod corespunztoare mesajelor induse n
vor ncepe cu 11.
3. Operaia se continu n acelasi mod, pn cnd n Iiecare submulime rmne un singur
mesaj, cruia i va corespunde cuvntul de cod Iormat din sirul de indici ai submulimii
respective. Deoarece la Iiecare partiionare n dou submulimi atribuirea mesajelor "0" si "1"
este arbitrar, rezult c prin acest procedeu se pot obine o multitudine de coduri instantanee,
dar toate absolut optimale.
n principiu, procedeul de codare descris s-ar putea aplica n general, adic si atunci cnd
relaia (1.21) nu este satisIcut. n acest caz, partiionrile n submulimi trebuie eIectuate astIel
nct suma probabilitilor mesajelor incluse n submulimile respective s Iie ct mai apropiate.
Atribuind simbolurile "0" si "1" ca n procedeul descris, se obin totdeauna coduri instantanee.
Cu ct sumele probabilitilor mesajelor componente ale submulimilor respective vor Ii
mai apropiate, cu att lungimea medie a cuvintelor de cod va Ii mai mic.

36
Exemplul 3.2.
Se consider sursa discret de inIormaie caracterizat de distribuia:

S :

Procedeul de codare binar Shannon - Fano este sintetizat n tabelul de mai jos:

Graful arborescent atasat codului astfel obinut este reprezentat n Fig. 3.8

37
$SOLFDLH

Simularea cu ajutorul programului MATLAB a algoritmului de compresie
Shannon-Fano
n cadrul lucrrilor de laborator va Ii pus la dispoziie o aplicaie soItware care
implemeneaz algoritmul de compresie Shannon-Fano. Ecranul aplicaiei este prezentat n Iigura
urmtoare.

Exerciii rezolvate.

Exemplu
n tabelul de mai jos sunt prezentate patru coduri separabile,

mesaj A B C D
s
0

00 0 0 0
s
1

01 10 01 10
s
2

10 110 011 110
s
3

11 1110 0111 111

38
Folosind codul B, succesiunile s ss s
3 1 0 2
se codifica 1110100110. Dupa receptinarea
primelor sase biti se poate determina ca s-a receptionat s s
3 1
. Daca Insa se folosec codul C,
succesiunea s ss s
3 1 0 2
se codifica 011010011. Dupa receptionarea primelor sase biti conduce la
decodarea s
3
dar secventa 01 poate fi interpretata la acel moment fie care s
1
fie ca, s
2
fie ca s
3
,
ambiguitatea rezolvndu-se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod
instantaneu.
Conditia necesara si suIicienta ca un cod sa Iie instantaneu este ca nici un cuvnt de cod
sa nu Iie preIix al altui cuvnt de cod (conditia de preIix).
Se considera sursa care genereaza simbolurile :
- s0 cu probabilitatea p1 = 0,5

Se cere sa se determine eficienta codurilor A, B, C si D

Solutie

Entropia sursei este
H p p
i i
i
= = =
=
log log log log

2
1
4
2 2
1
2
1
2
1
4
1
4
2
1
8
1
8
7
4
biti
Pentru codul A lungimea medie a codului este n
A
= 2 si q
A
iar = = =
7
4
2 2
7
8
1
2
2
log

Codurile B si C cu aceiasi lungime medie

n n
B C
= = + + + = 0 5 1 0 25 2 0125 3 0125 4 1875 , , , , ,

q q

B C
B C
= = =
= =
1 75
1 875
14
15
1
15
,
,

Codul D are n
D
= + + = 0 5 1 0 25 2 0125 3 1 75 , , , , si
q
D D
= = =
1 75
1 75 2
1 0
2
,
, log

39

Testul nr. 1

1. Se d sursa A prin urmatoarea repartiie de probabiliti:

|
|
.
|
\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

S se codiIice sursa A utiliznd metoda de codiIicare HuIIman si s se calculeze
lungimea medie a cuvintelor de cod.

Testul nr. 2

2. Se d sursa A prin urmatoarea repartiie de probabiliti:

|
|
.
|
\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

S se codiIice sursa A utiliznd metoda de codiIicare Shannon-Fano si s se calculeze
lungimea medie a cuvintelor de cod.

7HPGHFRQWURO
Se consider o surs cu alIabetul | | | |
6 5 4 3 2 1
, , , , , s s s s s s S = si probabilitile
| | | | 2 . 0 , 1 . 0 , 25 . 0 , 3 . 0 , 1 . 0 , 05 . 0 = P :
a. s se determine un cod compact Iolosind algoritmul de codare HuIIman, dac
alfabetul codului este | | | | 1 , 0 = X si dac alIabetul codului este | | | | 2 , 1 , 0 = X ;
b. pentru cele dou cazuri s se calculeze lungimea medie a cuvintelor de cod si
eficiena codului.

40
|1| A. Sptaru: Teoria Transmisiunii Informaiei, Ed. Didactic si Pedagogic, Bu- curesti,
1983.

1983

[3] I. Angheloiu, Teoria codurilor, Ed. Militar, Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
|5| V. Munteanu, Transmiterea si codiIicarea inIormaiei, Note de curs.

41

MODULUL 3
CODURI DETECTOARE I CORECTOARE DE ERORI

n cazul transmisiilor la distane relativ mari, prin apariia inerent a
perturbaiilor, o parte din simbolurile din alIabetul codului, ce Iormeaz
cuvintele de cod atasate mesajelor, pot Ii modiIicate, astIel nct ceea ce se
recepioneaz nu mai corespunde cu ceea ce s-a transmis. Deoarece n marea
majoritate a situaiilor practice se Ioloseste ca alIabet al codului numai 0 si 1
(usor de realizat) vom considera n continuare doar acest caz. n situaia n care
alIabetul codului este numai 0 si 1, datorit perturbaiilor codului, un 0 transmis
poate deveni 1 si invers. Din aceast cauz se spune c perturbaiile care apar au
un caracter aditiv.

0 1

0

1

0 1

1 0

Dac se transmite 0 si se recepioneaz 1 perturbaia 0 1 = 1.
Din codarea mesajelor (surselor) pentru canale cu perturbaii se pun dou
probleme:
1. detecia erorilor
2. corecia automat a erorilor
1 codarea trebuie astfel efectuat nct la recepie s putem decide dac
ceea ce s-a recepionat este corect sau eronat, Ir pretenia de a stabili si
locurile n cuvntul de cod n care s-au introdus erori.
2 codarea trebuie astIel eIectuat, nct la recepie s avem posibilitatea
nu numai a decide dac ceea ce s-a obinut este corect, ci si de a corecta automat
erorile care au aprut pe canal.
Problema deteciei erorilor este mai simpl, n schimb necesit un canal
de transmisiuni cu dublu sens, deoarece, ori de cte ori la recepie se detecteaz
prezena erorilor, s existe posibilitatea cererii de retransmisie a cuvntului
recepionat eronat. Se cere transmiterea cuvntului recepionat eronat pn ce
acesta este recepionat corect ; rezult o ntrziere la recepionarea inIormaiei.
n scopul ntocmirii codurilor detectoare de erori sau corectoare de erori,
se Iolosesc o serie ntreag de coduri, bazate pe diIerite teorii matematice, o
prim clasiIicare constnd n :
coduri bloc la care Iiecare cuvnt de cod are aceeasi lungime
coduri nonbloc (sau recurente) la care transmisia se Iace cursiv, Ir o
delimitare precis a cuvntului de cod.

42

MODULUL 3
CAPITOLUL 1

CODURI DETECTOARE I CORECTOARE DE ERORI

3.1. Codarea si decodarea pe canale perturbate

S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este
probablitatea de eroare.
Transmiterea n banda de baza sau modulatia sunt aIectate de o serie de constrngeri
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise.
Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea
redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si
decodorul canalului.
Codorul canalului adauga n mod sistematic biti la mesajul transmis. Acesti biti
aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor.
Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.
Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura
5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei
^ ` b
k
cu un
debit r
b
pe un canal zgomotos.
Datorita zgomotului fluxului de date receptionate
^ `
b
k
difera uneori de secventa
transmisa
^ `
b
k
.
Se impune ca probabilitatea de eroare

P b b
k k
z sa Iie mai mica dect o anumita

valoare.
Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de
eroare.
Codorul mparte biti mesajului n blocuri de cte k biti si nlocuieste Iiecare bloc cu
un cuvnt de cod de n biti, adaugnd n k biti. Decodorul primeste cuvntul de cod, care
este uneori alterat si ncearca sa decodeze cei k biti ai mesajului.
Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa
detecteze si sa corecteze erorile de tramsmitere reducnd prin aceasta probabilitatea de eroare.
Proiectarea unui codor/decodor consta n selectarea regulilor de generare a cuvintelor
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea
receptionata de cuvnt de cod.
n Iigura 3.1 este prezentata schema bloc pentru un sistem de codare/decodare.

43

Codurile care eIectueaza controlul erorii sunt clasiIicate n: coduri bloc si coduri
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza un cuvnt de cod de n
biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de
control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile
convolutionare, biti de control sunt n mod continuu inserati ntre biti de inIormatie; biti de
control veriIicnd nu numai biti de inIormatie din blocul precedent ci si din alte blocuri
anterioare.
Distanta Hamming. Distanta ntre doua cuvinte binare de lungime
n u x x x v y y y
n n
= =
1 2 1 2
, ,......, ; , ,......, $
{ } ( )
x y
i i
, , e 0 1 este numarul pozitiilor
de acelas rang n care doua cuvinte diIera
( )
d u v x y
i i
i
n
, =
=
1
(3.1)
Observatie
Numarul natural ( )
d u v , verifica axiomele distantei
( ) ( )
( )
( ) ( ) ( )
( ) , ,
( ) ,
( ) , , ,
a d u v d v u
b d u v u v
c d u v d u w d w v
= >
= =
s +
0
0 (3.2)

Codor
canal
mesaj
k
mesaj control
k n-k
Modulator

Canal
cuvnt de cod
n
mesaj
k
Decodor
canal
Demodulator
r
b

r r
n
k
c b
=

Fig. 3.1

44
O reprezentare geometrica a lui u poate fi un punct de coordonate x x
n 1
,...... In
R
n
. Cele 2
n
combinatii de n biti sunt vrIurile unui hipercub de latura 1. In Iigura
urmtoare este reprezentat un astIel de cub pentru R
3
.

Daca toate cuvintele de cod au sens, atunci orice eroare conduce la un alt cuvnt de
cod si nu poate Ii depistata. Daca nsa separam din cele 2
n
cuvinte de cod, numai 2
k
atunci
este posibil sa se depisteze unele erori singulare deoarece 2
n k
combinate nu au sens. n
general, Iie un cod n care toate cuvintele sunt la distante mutuale de cel putin egale cu d
0
.

Cazul 1

Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este
ca d r
0
2 1 t

Cazul 2

Daca d r
0
2 t se pot corecta cel mult r 1 erori.

3.2. Coduri bloc liniare

Se considera coduri bloc, n care Iiecare, n Iiecare bloc de k biti mesaj este codat
ntr-un bloc de n k ! biti prin adaugarea de n k biti de control. Bitii de control sunt
obtinuti pe baza celor k biti mesaj, asa cum este ilustrat n Iigura 3.3.

000
001
011
111
010
110 100
101
x
1

x
3

x
2

Fig 3.2
Distanta Hamming
ntre doua vrIuri este cel
mai mic numar de laturi
care le unesc

45
Codor
canal
mesaj biti de control
k biti
k
n k
mesaj cod bloc
Fig. 3.3

Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod
si codurile pentru care biii mesaj apar la nceputul cuvntului de cod sunt numite coduri
sistematice. n plus daca Iiecare di cele 2
k
cuvinte de cod poate fi exprimat ca o
combinatie lineara de k vectori independenti, atunci codul este si linear.

Codarea consta n doua etape:
(1) secventa de biti inIormationali este segmentate n blocuri mesaj de cte k biti.
(2) codorul transforma fiecare bloc mesaj ntr-un bloc mai mare de n biti n
conformitate cu anumite reguli. Acesti n k biti aditionali sunt generati printr-o combinatie
lineara de biti mesaj si operatiile pot fi descrise folosind matrice.
Blocul mesaj este reprezentat printr-un vector linie avnd k componente

| | { }
( )
D d d d cu d i k
k i
= e e
1 2
0 1 1 ...... , ; , (3.3)

Fiecare bloc mesaj este transIormat ntr-un cuvnt de cod c de lungime n

| |
C c c c
n
=
1 2
......
Se observa ca eficienta acestui cod este k n.
Pentru un cod linear, sistematic primii k biti ai cuvntului de cod sunt bitii mesaj
adica

c d i k
i i
= =1 2 , ,......, (3.4)

Ultimii n k biti ai cuvntului de cod sunt bitii de control generatii pe baza celor k
biti ai mesajului n conIormitate cu anumite reguli predeterminate:

mesaj

46

c p d p d p d
c p d p d p d
k k k
n n k n k k n k k
+

= + + +
= + + +
1 11 1 21 2 1
1 1 2 2
,
, , ,
(3.5)

Coeficientii p
i j ,
din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2.
Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala

| | | |
c c d d
p p p
p p p
p p p
p p p
k n
n k
n k
n k
n k
k k k n k
1 1
11 12 1
21 22 2
31 32 3
1 2
1000 0
0100 0
0010 0
000 01
... ...
... ...
... ...
... ...
... ...
,
,
,
, ,
=
(
(
(
(
(
(

(3.6)

sau

C D G = (3.7)

unde G este o matrice de tip k n numita matricea generatoare a codului si are
forma

| |
G I P
k
k n
=
(3.8)

Matricea I
k
este matricea unitate de ordinul k iar P este o matrice arbritara
( )
k n k . Sa remarcam ca specificarea lui P defineste complet codul bloc ( )
n k , .
Proiectarea unui cod bloc ( )
n k , prin selectarea unei matrici P trebuie sa aiba n
vedere urmatoarele proprieteti
- comoditatea implementarii
- capacitatea de a corecta erorile singulare si pachetele de erori (burst errors)
- eficienta codului da fie ridicata
Prin eficienta codului se Intelege raportul
k
n
pentru o anumita capacitate de
detectie/corectie.
Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca
toate proprietatile de mai sus.

3.3. Exemple de coduri liniare

Codul Hamming
Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu
ajutorul matricei de control H, care este formata din m linii si
m
2
- 1 coloane, lar coloanele
sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima
egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici:

47
- lungimea combinatiilor de cod este n = 2m -1;
- numarul simbolurilor de control este r=n - k ;
-numarul simbolurilor informationale este k

Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa
codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri
simetrice pe k pozitii) .
La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate
fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan,
rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul
de cod receptionat.
Lungimea n a codului este o putere a lui 2, adic n2
m
. Pentru r, numr ntreg pozitiv,
numrul poziiilor inIormaionale este
0
r
i
m
i
k C
=
=
(3.8)
Numrul simbolurilor de control este dat de relaia

1
1
1 ...
m
m m r
n k C C

= + + +
(3.9)
Distana minim Hamming este d2
m-r

La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare
nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc
simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din
codul receptionat.
Fie Vn un spatiu vectorial peste GF(2), ndimensionali avand componentele 0 sau 1.
Fie u(a1,a2,a3,.,an) si v(b1,b2,b3,.,bn), pe spatiul vectorial Vn se poate deIini produsul
vectorial u x V(a1*b1, a2*b2,.an*bn) si produsul scalar
- =
i i
b a V u
&
&
*
si
) 2 ( * GF V u e
&
&
.
Se pot observa urmatoarele :
- produsul scalar este nul daca ponderea produsului vectorial este un numar par ;
- fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra
liniara, asociativa si comutativa.

Codul Reed-Muller se poate defini cu urmatorii parametrii :
- n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
-
=
=
r
k
k
n
C k
0
, unde k este numarul de simboluri informationale din cod ;
- d=2m-r, unde d este distanta minima a codurilor ;
-
1 2 1
... 1

+ + + + =
r n
m m m
C C C k n
, pentru care se defineste codul RM(m,r) ;
-
(

=
2
1 d
t
unde t este numarul de erori pe care il poate corecta codul RM(m,r).

Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu
vectorial, generat de urmatorii vectori liniari independenti care constituie matricea
generatoare :
V01111 1111 1111 ...1111
Vm0000 0000 0000 ...1111

48
Vm-10000 1111 0000 .. 1111
............
Vm x Vm-1 ........ (3.10)
.............
V2 x V1 ..........
..............
Vr x Vr-1 x V1 .......
Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x
Gkxn.

Codul Reed-Muller (5,2)
Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori :
m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3
erori pe cuvant.
Matricea V pentru RM(5,2) este :

(1111 1111 1111 1111 1111 1111 1111 1111){V0}
(0000 0000 0000 0000 1111 1111 1111 1111){V5}
(0000 0000 1111 1111 0000 0000 1111 1111){V4}
(0000 1111 0000 1111 0000 1111 0000 1111){V3}
(0011 0011 0011 0011 0011 0011 0011 0011){V2}
(0101 0101 0101 0101 0101 0101 0101 0101){V1}
(0000 0000 0000 0000 0000 0000 1111 1111){V54}
(0000 0000 0000 0000 0000 1111 0000 1111){V53} (3.11)
(0000 0000 0000 0000 0011 0011 0011 0011){V52}
(0000 0000 0000 0000 0101 0101 0101 0101){V51}
(0000 0000 0000 1111 0000 0000 0000 1111){V43}
(0000 0000 0011 0011 0000 0000 0011 0011){V42}
(0000 0000 0101 0101 0000 0000 0101 0101){V41}
(0000 0011 0000 0011 0000 0011 0000 0011){V32}
(0000 0101 0000 0101 0000 0111 0000 0101){V31}
(0001 0001 0001 0001 0001 0001 0001 0001);{V21}

Se defineste
G x m X
&
&
&
unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21).
Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de
control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand
de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite
de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom
scrie cate un set de relatii de control corespunzator componentei informationale din mesajul
transmis care are acelasi indice cu vectorul analizat.
Mesajul informational este :
a
1xk
=(a
0
a
5
a
4
a
3
a
2
a
1
a
54
a
53
a
52
a
51
a
43
a
42
a
41
a
32
a
31
a
21
).
Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara.
Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea
majoritara din sistem :

3 2 1 0 21
y y y y a
7 6 5 4 21
y y y y a

49
11 10 9 8 21
y y y y a
15 14 13 12 21
y y y y a
19 18 17 16 21
y y y y a
23 22 21 20 21
y y y y a
27 26 25 24 21
y y y y a
31 30 29 28 21
y y y y a
Iar a21 este valoarea majoritara a sistemului.
5 4 1 0 31
y y y y a
7 6 3 2 31
y y y y a
13 12 9 8 31
y y y y a
15 14 11 10 31
y y y y a
21 20 17 16 31
y y y y a
23 22 19 18 31
y y y y a
29 28 25 24 31
y y y y a
31 30 27 26 31
y y y y a
6 4 2 0 32
y y y y a
7 5 3 1 32
y y y y a
14 12 10 8 32
y y y y a
15 13 11 9 32
y y y y a
22 20 18 16 32
y y y y a
23 21 19 17 32
y y y y a
30 28 26 24 32
y y y y a
31 29 27 25 32
y y y y a
9 8 1 0 41
y y y y a
11 10 3 2 41
y y y y a
13 12 5 4 41
y y y y a
15 14 7 6 41
y y y y a

50
25 24 17 16 41
y y y y a
27 26 19 18 41
y y y y a
29 28 21 20 41
y y y y a
31 30 23 22 41
y y y y a
10 8 2 0 42
y y y y a
11 9 3 1 42
y y y y a
14 12 6 4 42
y y y y a
15 13 7 5 42
y y y y a
26 24 18 16 42
y y y y a
27 25 19 17 42
y y y y a
30 28 22 20 42
y y y y a
31 29 23 21 42
y y y y a
12 8 4 0 43
y y y y a
13 9 5 1 43
y y y y a
14 10 6 2 43
y y y y a
15 11 7 3 43
y y y y a
28 24 20 16 43
y y y y a
29 25 21 17 43
y y y y a
30 26 22 18 43
y y y y a

31 27 23 19 43
y y y y a
17 16 1 0 51
y y y y a
19 18 3 2 51
y y y y a
21 20 5 4 51
y y y y a
23 22 7 6 51
y y y y a
25 24 9 8 51
y y y y a
27 26 11 10 51
y y y y a
29 28 11 10 51
y y y y a

51
31 30 15 14 51
y y y y a
18 16 2 0 52
y y y y a
19 17 3 1 52
y y y y a
22 20 6 4 52
y y y y a
23 21 7 5 52
y y y y a
26 24 10 8 52
y y y y a
27 25 11 9 52
y y y y a
30 28 14 12 52
y y y y a
31 29 15 13 52
y y y y a
20 16 4 0 53
y y y y a
21 17 5 1 53
y y y y a
22 18 6 2 53
y y y y a
23 19 7 3 53
y y y y a
28 24 12 8 53
y y y y a
29 25 13 9 53
y y y y a
30 26 14 10 53
y y y y a
31 27 15 11 53
y y y y a
24 16 8 0 54
y y y y a
25 17 9 1 54
y y y y a
26 18 10 2 54
y y y y a
27 19 11 3 54
y y y y a
28 20 12 4 54
y y y y a
29 21 13 5 54
y y y y a
30 22 14 6 54
y y y y a
31 23 15 7 54
y y y y a

52
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se
procedeaza in felul urmator:
x se elimina influenta din relatiile de control a componentelor corespunzatoare
vectorilor compusi ;
x se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate
componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

Urmatorul pas este determinarea lui y` :
y
=
y-(a
54
*V
54
+a
53
*V
53
+a
52
*V
52
+a
51
*V
51
+a
43
*V
43
+a
42
*V
42
+a
41
*V
41
+a
32
*V
32
+a
31*
V
31
+a
21
*V
21
);

Pentru a vedea valoarea componentei mesajului informational :
(a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
se procedeaza pe baza logicii majoritare.
1 0 1
y y a
3 2 1
y y a
5 4 1
y y a
7 6 1
y y a
9 8 1
y y a
13 12 1
y y a
15 14 1
y y a
17 16 1
y y a
19 18 1
y y a
21 20 1
y y a
23 22 1
y y a
25 24 1
y y a
27 26 1
y y a
29 28 1
y y a
31 30 1
y y a
2 0 2
y y a
3 1 2
y y a
6 4 2
y y a
7 5 2
y y a
10 8 2
y y a

53
11 9 2
y y a
14 12 2
y y a
15 13 2
y y a
18 16 2
y y a
19 17 2
y y a
22 20 2
y y a
23 21 2
y y a
26 24 2
y y a
27 25 2
y y a
30 28 2
y y a
31 29 2
y y a
31 27 3
30 26 3
29 25 3
28 24 3
23 19 3
22 18 3
21 17 3
20 16 3
15 11 3
14 10 3
13 9 3
12 8 3
7 3 3
6 2 3
5 1 3
4 0 3
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a


54
31 23 4
30 22 4
29 21 4
28 20 4
27 19 4
26 18 4
25 17 4
24 16 4
15 7 4
14 6 4
13 5 4
12 4 4
11 3 4
10 2 4
9 1 4
8 0 4
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

31 15 5
30 14 5
29 11 5
28 12 5
27 11 5
26 10 5
25 9 5
24 8 5
23 7 5
22 6 5
21 5 5
20 4 5
19 3 5
18 2 5
17 1 5
16 0 5
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a


Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor
simpli din vectorul y` :
y y`-(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5)

55

Pentru a evalua pe a0, observam numarul majoritar de componente din y iar valoarea
celor mai multe componente va fi valoarea lui a0. Mesajul corectat este :
m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)

Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clas de coduri ciclice cu
o deosebit capacitate de corecie a erorilor, care generalizeaz codurile Hamming pentru
corecia erorilor multiple.
Un cod ciclic binar, corector de t erori, avnd
x Lungimea blocului n= , cu m , ntreg
x Numrul simbolurilor de control n-k mt, t ,
x Distana d ,
se numeste cod BHC dac are drept polinom generator g(x) polinomul de cel mai mic grad
peste cmpul GF(2) care are ca rdcini elementele ale cmpului Galois
GF( ).
Prin urmare g( )=0, i=
Fie polinomul minimal al lui , adic polinomul de cel mai mic grad peste
GF(2) astIel nct 0. Atunci polinomul generator g(x) trebuie s Iie cel mai mic
multiplu comun (c.m.m.m.c) al polinoamelor ,
si anume: g(x)= (c.m.m.m.c){ , }.
Un numr par i poate fi exprimat sub forma i=k* , k , impar. Atunci =
este conjugatul elementului . Dar un polinom care admite rdcinile
admite drept rdcini si conjugatele acestora. Prin urmare, si au acelasi polinom
minimal si deci . Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){ , }. (3.12)
Grdul Iiecrui polinom minimal Iiind cel mult egal cu m , polinomul g(x) va fi de grad
cel mult egal cu mt , astIel nct numrul simbolurilor de control, n-k , va fi cel mult egal cu
mt : n-k mt. La limit, n cazul coreciei unei singure erori, t1, rezult n-k mt.

56
Codul BCH de lungime , cu m 10 , se numesc coduri BCH n sens restrns
(sau primitive). Aceste coduri sunt generate de elemente primitive de ordin mai mic dect
din GF( ).
Un cod BCH de lungime corector de o singur eroare este generat de
polinomul g(x)= .
Polinoamele minimale ale elementelor din GF( ) generate de g(x)=1+x+

Exemplu. trebuie s Iie de grad m4 , deci de Iorma
=1+ (3.13)
Deoarece
=1+ (3.14)
Conform tabelului 3.3 nseamn c
(3.15)
si rezult

Deci
= 1+x+ (3.16)

57
Deoarece din 2t-13 rezult t2, se deduce un cod BCH corector de dou erori si de
lungime n= = 15 este generat de g(x)= (c.m.m.m.c){ ,
}= (x)=1+ .
Fie v(x) un polinom de cod cu coeficienii n GF(2), asociai unuo cuvnt de cod
v(x)= . Polinomul de cod admite rdcinile
din GF( ).
Dac este o rdcin a lui v(x) pentru 1 , atunci
+ (3.17)
Se introduce matricea
(3.18)
astIel nct v =0.
Rezult c v este n spaiul nul al matricei H si deci H este matrice de control a
codului.

Aplicaii

Simularea cu ajutorul programului MATLAB a codului BCH

Codurile BCH fac parte din categoria codurilor ciclice. Se va implementa n
programul MATLAB schema prezentat n Iigura urmtoare.
Se vor utiliza urmtoarele blocuri:
- Random-I nteger Generator: genereaz numere ntregi distribuite n
intervalul [0, M-1]. Parametrii blocului sunt:
- M-ary number` este 2^7 deoarece codul BCH utilizat este BCH(15,7)
si numerele generate sunt reprezentate n binar pe 7 bii.
- Initial seed` este [1458]. Modificnd acest parametru se modifica secvena
de numere generate.
- Sample time` este 1. Genereaz cte un numr la fiecare secund.
- I nteger to Bit Converter: transform un vector de ntregi ntr-un vector de bii.
Parametrul blocului este:
- Number of bits per integer` este 7. Se lucreaz pe 7 bii.
- BCH Encoder: creaz un cod BCH din datele vectorului binar. Parametrii blocului

58
sunt:
- Codeword length N` este 15.
- Message length K` este 7 deoarece se utilizeaz codul BCH(15,7).
- Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt:
- Error probability` este 0.1, pentru a nu introduce erori.
- Input vector length` este 15 deoarece cuvntul de cod cu care se adun
este reprezentat pe 15 bii.
- Initial seed` este 12345.
- Sample time` este 1 pentru a se genera un esantion la fiecare secund.- BCH Decoder:
decodeaz un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului
sunt:
- Codeword length N` este 15 .
- Message length K` este 7 deoarece se utilizeaz codul BCH(15,7).
- Bit to I nteger Converter: transform un vector de bii ntr-un vector de ntregi.
Parametrul blocului este:
- Number of bits per integer` este 7.
- Error Meter: compar semnalele de la intrare, le afiseaz si evalueaz rata de eroare.
Parametrii blocului sunt:
- Bit per symbol` este 7 deoarece utilizeaz 7 bii pentru fiecare simbol transmis.
- Number of digits on display` este 20 deoarece afiseaz 20 de
simboluri.
- Delay between input (1
st
port) and output (2
nd
port)` este 0.
- Sample time` este 1 deoarece se consider un esantion la fiecare secund.
- Sum: afiseaz suma elementelor de la intrare. Parametrii blocului sunt:
- Icon shape` este rectangular.
- List of signs` este +.
- Graph Scope: afiseaz numrul de erori. Parametrii blocului sunt:
- Time range` este 10.
- y-min` este -1.
- y-max` este 5.
- Line type` este 'ro/b*'
- Mux: multiplexeaz semnalele de la intrare.
- Display: afiseaz valoarea de la intrare.
Se va realiza schema bloc aratat si se va rula pentru diferite valori ale probabilitatii
de eroare si se vor analiza rezultatele.

59

Simularea cu ajutorul programului MATLAB a codului Hamming
n cadrul lucrrilor de laborator va Ii pus la dispoziie o aplicaie soItware care
implemeneaz algoritmul de compresie Shannon-Fano. Ecranul aplicaiei este prezentat n
Iigura urmtoare.

60

Exerciii rezolvate.
Un numr de 8 simboluri se transmit cu ajutorul unui cod Hamming grup corector de o
eroare si detector de erori duble. Se cere:
a. s se determine numrul simbolurilor de inIormaie k, al celor de control m, si
lungimea cuvntului de cod n;
b. s se scrie matricea de control H a codului;
c. s se stabileasc expresia corectorului corespunztor eronrii simbolului
2
c ;
d. s se determine corectorul corespunztor eronrii simbolurilor
2
c si
1
c ;
e. s se determine cuvintele de cod;
f. s se precizeze dac > @ 0 1 1 0 0 1 1 v este un cuvnt al acestui cod.

Soluie
a). Numrul simbolurilor de inIormaie k se determin cu relaia si
rezult k3.
Marginea Hamming d pentru numrul simbolurilor de control:
, din care rezult c m3.
La aceste simboluri de control, care permit corecia unei erori, trebuie adugat
simbolul de verificare la paritate, asa nct numrul total al simbolurilor de control va Ii:
=m+1=3+1=4
Structura cuvntului de cod va Ii:

Unde este simbolul de veriIicare a paritii, iar - simbolurile de control
pebtru codul corector de o eroare.
b). Matricea H a codului corector de o eroare este de forma:
H=[ ]
respectiv:
H=
Cu relaia (2.33) se obine pentru matricea expresia:

61
=
c). Pentru acest caz cuvntul de eroare este de Iorma:

Cu relaia (2.34) rezult pentru expresia corectorului

Din expresia corectorului rezult c apare o eroare corectabil ( pe poziia a
2-a (z= ).
d). Pentru acest caz cuvntul eroare este de Iorma:

si rezult:
=
Corectorul arat c apar dou erori detecctabile ( ).
e). Cuvintele de cod se pot scrie calculnd simbolurile de control din cele de inIormaie cu
relaia , din care rezult:

62
Cuvintele de cod se gsesc n tabelul urmtor.
Simboluri
Cuvinte

0 0 0 0 0 0 0

1 0 1 0 1 0 1

1 1 0 0 1 1 0

0 1 1 0 0 1 1

1 1 1 1 0 0 0

0 1 0 1 1 0 1

0 0 1 1 1 1 0

1 0 0 1 0 1 1

I). Se calculeaz corectorul astfel:
= =
Deoarece iar z0 cuvntul dat este un cuvnt al acestui cod, ceea ce era usor
de constatat si prin inspectarea tabelului anterior, n care l regsim sub Iorma cuvntului .


Testul nr. 1
Se consider un cod grup cu matricea de control de forma:
0 1 1 0 0
1 0 0 1 0
1 1 0 0 1
H
a. s se determine proprietile de corecie ale codului. Codul este perfect?
b. s se stabileasc dac matricea:

63
1 0 0 1 1
0 1 1 0 1
G
poate s Iie matricea generatoare a codului.
c. s se scrie cuvintele de cod utiliznd matricele H si G.

|1| A. Sptaru: Teoria Transmisiunii InIormaiei, Ed. Didactic si Pedagogic, Bu-
curesti, 1983.

1983

|3| I. Angheloiu, Teoria codurilor, Ed. Militar, Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John
Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ,
England,2006.

Transmiterea Si Codificarea Informatiei

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Transmiterea Si Codificarea Informatiei

Încărcat de

Drepturi de autor:

Formate disponibile

1

UNIVERSITATEA TITU MAIORESCU

log log log log

z sa Iie mai mica dect o anumita

S-ar putea să vă placă și