1

UNIVERSITATEA TITU MAIORESCU
Facultatea de INFORMATICĂ


Profesor univ. dr. ing. Lector univ. dr.ing.
RĂCUCIU CIPRIAN GRECU DAN













Curs pentru învăĠământul la distanĠă







BUCURESTI 2010

2

UNIVERSITATEA Titu MAIORESCU BUCURESTI
Facultatea de InIormatică
ÎnvăĠământ la DistanĠă

TEORI A TRANSMI TERI I SI CODIFICĂRII
INFORMAğIEI

Cursul 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ este o disciplină care
îngoblează într-o Iormă unitară concepte din teoria codurilor, teoria semnalelor
aleatoare si teoria deciziilor statistice si reprezintă una din disciplinele de pregătire
care. pentru proIilul INFORMATICĂ. este necesară pentru pregătirea studenĠilor si
pentru obĠinerea creditelor transIerabile prin procedurile de evaluare. Modul de
prezentare a acestui material are în vedere particularităĠile învăĠământului la
distanĠă. la care studiul individual este determinant. Pentru orice nelămuriri IaĠă de
acest material vă rugăm să contactaĠi tutorele de disciplină care are datoria să vă
ajute oferindu-vă toate explicaĠiile necesare.

Disciplina 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ îsi propune următoarele
obiective specifice:
ƒ Însusirea noĠiunilor Iundamentale din domeniul Teoriei transmiterii úL
codificăULLLQIRUPDĠLHL.
ƒ Formarea deprinderilor de modelare matematică si de transpunere în
programare a unor probleme de natură tehnică. socială sau economică. cu
utilizarea cunostinĠelor însusite.
ƒ Formarea si dezvoltarea bazei matematice a studenĠilor pentru disciplinele
Iundamentale si de specialitate din anii superiori;
ƒ Formarea si dezvoltarea aptitudinilor si deprinderilor de analiză logică.
Iormulare corectă si argumentare Iundamentată. în rezolvarea problemelor
tehnico-economice si de specialitate;
ƒ O comparaĠie critică a metodelor de rezolvare evidenĠiind. eventual. calea
optimă de soluĠionare.
Vă precizăm de asemenea că. din punct de vedere al veriIicărilor si al notării. cu
adevărat importantă este capacitatea pe care trebuie să o dobândiĠi si să o probaĠi
de a rezolva toată tipologia de probleme aplicative aIerente materialului teoretic
prezentat în continuare. De aceea vă recomandăm să parcurgeĠi cu atenĠie toate
aplicaĠiile rezolvate. să rezolvaĠi aplicaĠiile propuse prin testele de autoevaluare si
temele de control; IiĠi convinsi că examenul Iinal apelează la tipurile de aplicaĠii
prezente în secĠiunile menĠionate anterior

3
CUPRINS
MODULUL 1- MĂSURA CANTITATIVĂ A INFORMAğIEI .....................................pag.4
MODULUL 1- CAPITOLUL 1- ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI
..................................................................................................................................pag.5

1.1. Informatia - generaIităĠi...............................................................pag.5

1.2. Sistemul de transmitere a informatiei. .......................................pag.6

1.3. 1.3. Modele de surse informationale. .........................................pag.7

1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 - MĂSURI INFORMAğIONALE ................................pag.9

2.1. Modele de surse informationale.....................................................pag.9
2.2. Informatia proprie conditionata...................................................pag.10
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.......................pag.21
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1.......................... pag.21

MODULUL 2 - CODAREA SURSELOR INFORMAğIONALE .................... .........pag.22
MODULUL 2- CAPITOLUL 1- CODAREA SURSELOR INFORMAğIONALE .....pag.23
1.1 Codificarea surselor discrete.......................................................pag.23
1.2 Codificarea neuniforma................................................................ pag.23

1.3. Codarea si decodarea pe canale fara perturbatii........ pag.25

1.4. Coduri Huffman de dispersie minimă..........................................pag.28
1.5 . ProcedeuI de codare binară Shannon - Fano. .........................pag.34
TESTE DE AUTOEVALUARE SI TEME DE CONTROL................ pag.39
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2.....................pag.40
MODULUL 3- CODURI DETECTOARE SI CORECTOARE DE ERORI................pag.41
MODULUL 3 - CAPITOLUL 1 - CODURI DETECTOARE SI CORECTOARE DE
ERORI.....................................................................................................................pag.42
1.1. Codarea si decodarea pe canale perturbate ..............................pag.42
1.2. Coduri bIoc Iiniare.....................pag.44
1.3. Exemple de coduri liniare ...........................................................pag.46
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.................pag.62
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3: ...................pag.63

4
Coordonator disciplină: ProI. univ. dr.ing. RĂCUCIU CIPRIAN
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
MĂSURA CANTITATIVĂ A INFORMAğIEI


În acest modul sunt prezentate principalele noĠiuni cu care operează teoria
informaĠiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de
energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se
prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se
stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare.
Stabilirea notiunii generalizate de informatie pentru caracterizarea
proceselor de conducere dintr-un punct de vedere unitar,a fost un moment
important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se
analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de
substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea
dintr-un punct de vedere comun a celor mai diferite procese de comanda din
natura.
Se numeste informatie orice stire care poarta in sine urma unui fapt,
eveniment sau proces oarecare.
Informatia este comunicarea (mesajul) ce aduce stiri despre fapte,
evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot
cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se
obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie
inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte
asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
Timpul mediu necesar însusirii noĠiunilor teoretice. Iormării deprinderilor de
calcul si utilizării metodelor de rezolvare a problemelor specifice teoriei
inIormaĠiei este estimat la aproximativ 6-8 ore pentru fiecare modul. într-un ritm
de 2-3 ore pe zi.







5
MODULUL 1
CAPITOLUL 1
ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI

1.5. I nformatia - generalităĠi.

În procesele de comanda. procesele energetice care insotesc transmiterea informatiei
joaca un rol secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate
de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere,
care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si
actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de
energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati
reduse de energie.
În teoria inIormatiei. caracteristica energetica a Ienomenelor trece pe plan secundar.
evidentiindu-se in mod deosebit latura informafionala a sistemului.
Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate
forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de
telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului,
auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre
evenimentele din lumea ce il inconjoara.
Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului,
telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul
televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme,
transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa
a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie
se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar
greseli de imprimare.
Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic
informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la
greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea
metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii.
Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura
adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea
fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie
sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul
masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza
in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului.
Problema principala a teoriei informatiei este studierea transformarii, pastrarii si
transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de
telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
În realitate. inIormatia se transmite prin intermediul semnalelor care poarta stirea. Tipuri
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio,
imagine, video, semnale .

6

1.2. Sistemul de transmitere a informatiei.

Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite
informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui
sistem de transmisiuni este data in fig.1.1

Fig.1.1

Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea
prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date
sau introducerea unei redundante pentru lupta cu perturbatiile.
Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia
telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra
canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza
modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului
termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat
al adversarului etc.
Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce
la partea de receptie o copie acceptabila iesirii sursei.
Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza
modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de
canal.
Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de
semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri
binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse
date.
Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur
succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele
inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca.
Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare
sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o
precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau
destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o
succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea
informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se
calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de
dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a
transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
locul indicat de destinatar. Cand spunem 'reproduce" nu intelegem o reproducere absolut Iidela

7
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de
scopul transmisiuni. În descrierea 'obiectului" transmis prin sistemul de transmisie trebuie inclus
si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile
sursei, ci caracterizeaza proprietatile cuplulul 'sursa-destinatar". Vom numi acest obiect
'inIormatia transmisa".

1.3. Modele de surse informationale.

Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o
importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul
de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp
dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea
mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de
precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea
sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte
mesajul respectiv.
Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor
aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La
aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat,
a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic
independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ...,
p(ak). În cazul unei codiIicari de acest tip. combinatiile de cod vor avea aceeasi lungime pentru
ca sa fie posibila decodificarea lor.
Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o
forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de
numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o
succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa
se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru
reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a
cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea,
aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu
descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu
care sunt generate aceste mesaje admisibile.
Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor
da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.
Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a
mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri
binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea
mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta
sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei.
Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor
conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursa-
destinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.
Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda,
care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de
precizie adoptat.

8

1.4. Modelul probabilistic al semnalelor.

Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile
cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu
calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta
intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii
de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera
semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme
informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare
probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa
discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide
universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic.
Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si
intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari
unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea
unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele
discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea
probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in
cadrul unui experiment se considera ca un eveniment.
În cazul semnalelor discrete, totdeauna se poate realiza o corespondenta biunivoca intre
semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa
corespunda un numar natural x eX- si astfel multimea semnalelor discrete se poate inlocui cu o
multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie
numarul natural care corespunde semnalului respectiv.
Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei
aleatoare:

( ) ( ) ( )
|
|
.
|

\
|
=
M X X X
M
x P x P x P
x x x
X
...
...
2 1
2 1
(1,1)

Prin notatia
( )
k X
x P
se intelege probabilitatea de aparitie a evenimentului x=x
k
, adica
probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X
considerata. Evident:


( ) 1
1
=
¯
=
K
M
K
X
x P
(1.2)
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu
Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din
multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui
x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi
caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor
elemente.


9
MODULUL 1
CAPITOLUL 2
MĂSURI INFORMAğIONALE

2.1. Modele de surse informationale

Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare
si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din
multinea X se numeste entropia lui X si se calculeaza cu formula:
( ) ( )
( )
K X
K
K
K
X
x P
x P X H
1
log
1
¯
=
=
(1,3)
sau mai simplu se scrie sub forma:
( ) ( )
( ) x P
x P X H
K
1
log
1
¯
=
=
(1.4)

Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de
repartitia de probabilitati este data in fig 1.2:


Fig.1.2 Entropia semnalului

Fie

10
|
|
.
|

\
|
÷
=
p p
x x
X
1
2 1
(1.5)
atunci:

( ) ( ) ( ) p H
p
p
p
p X H =
÷
÷ + =
1
1
log 1
1
log
(1.6)

2.2. I nformatia proprie conditionata.

Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a
aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:

|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
y
x
i
k
Y
X
y
x
P
y
x
I
1
log
(1.7)
sau mai simplu se scrie:


|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
x
y
x
P
y
x
I
1
log
(1.8)
Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de
evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului
x=xk . dtupa ce a avut loc evenimentul y =yi.
Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o
diferenta intre informatia proprie si informatia proprie conditionata.


( )
( ) ( )
|
|
.
|

\
|
÷ =
|
|
.
|

\
|
=
y
x
P
x P x P
y
x
P
y x I
1
log
1
log log ;
(1.9)
de unde
( ) ( )
|
|
.
|

\
|
÷ =
y
x
I x I y x I ;
(1.10)
Din relatia anterioara se obtine pe baza reciprocitatii relatia:
( ) ( )
|
.
|

\
|
÷ =
x
y
I y I y x I ;
(1.11)

11
In mod analog I(x;y) se poate scrie sub forma:
( )
( )
( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( ) y x P y P x P x P y P
y x P
x P y P
y
x
P y P
x P
y
x
P
y x I
,
1
log
1
log
1
log
,
log log log ; ÷ + = =
|
|
.
|

\
|
=
|
|
.
|

\
|
=
(1.12)
deci:

( ) ( ) ( ) ( ) y x I y I x I y x I , ; ÷ + =
(1.13)

unde :
( )
( ) y x P
y x I
,
1
log , =
(1.14)

reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de
evenimente xy.
Tinand seama ca:
( ) ( ) ( )
|
|
.
|

\
|
=
|
.
|

\
|
=
y
x
P y P
x
y
P x P y x P ,
(1.15)
rezulta ca, cantitatea de informatie proprie a unui eveniment (x,y) se poate scrie sub forma:
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
y
x
I y I y x I
x
y
I x I y x I
,
,
(1.16)
Luand mediile expresiilor din relatiile anterioare se obtine:
( ) ( )
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
÷ + =
|
.
|

\
|
÷ =
|
|
.
|

\
|
÷ =
y
x
H y H y x H
x
y
H x H y x H
y x H y H x H y x I
x
y
H y H y x I
y
x
H x H y x I
,
,
, ;
;
;
(1.17)

Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X)
este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta
ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y,
adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru
care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt
transinformatia.

12
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca
entropia U(X) a multimii X depinde numai de probabilitatile de aparitie a elementelor xtX.
Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa
invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor.

Proprietatea 1. H(X)>0
In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau
egali cu zero pentru 0<P(x)<1. Daca P(xk)=1, repartitia lui X este degenerata si este de forma:


|
|
.
|

\
|
=
0 ... 1 ... 0
... ...
1 K k
x x x
X
(1.18)

si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.
Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a
fost pusa in evidenta de Jensen.
Fie x,y,Psi Q numere positive si P+Q=1,atunci avem:

( ) y Q x P Qy Px log log log + > +
(1.19)

in care avem egalitate daca si numai daca x=y.
Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o
proprietate care de asemenea joaca un rol important in teoria informatiei.



Fig.1.3.

Proprietatea 2.
Fie X multimea formata din K semnale ,atunci:

( ) K x H log s
(1.20)

unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:

13

|
|
.
|

\
|
=
k k k
x x x
X
k
1
...
1 1
...
2 1
(1.21)

Proprietetea 3.
Pentru doua multimi de semnale X si Y ,avem:

( ) ( ) ( ) y H x H y x H + s ,
(1.22)

in care avem egalitate daca si numai daca X si Y sunt statistic independente.

ExerciĠii rezolvate.

Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment
este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din
punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul
informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui
eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m m m
q 1 2
, , , cu probabilitatile
de aparitie p p p
q 1 2
, , , . Este evident ca probabilitatile satisfac relatia p p p
q 1 2
1 + + + = .
Continutul informational al mesajului k este notat cu I m
k
( ) . Pentru ca acest continut sa fie o
masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :

(i) daca p p I m I m
k j k j
< ¬ > ( ) ( )
(ii) daca p I m
k k
÷ ¬ ÷ 1 0 ( )
(iii) daca 0 1 0 s s ¬ > p I m
k k
( )
(iv) (aditivitatea) daca m
k
si m
j
sunt mesaje independente
¬ = + I m m I m I m
k j k j
( ) ( ) ( ) si

O functie continua de variabila p
k
care satisface proprietatile (i)-(iv) este functia
logaritmica.

I m
p
p
k
k
k
( ) log log = = ÷
1


Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone





14









se definesc
(a) rata de biti=(durata unui bit)
-1
=1/T
2
exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T
1
exprimata
in bauds.


Problema 1
Se considera o trasmisie fax : 2,25·10
6
pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?

Solutie
I=nr.elemente · informatie per element=
( ) | |
= · · ÷

= · · · = · + 2 25 10
1
12
2 25 10 2 3 2 25 10 2 3
6
2
6
2
2 6
2
, log , log , log biti

Problema 2
Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = · · · 24 80 128 3
2
log [ ] biti
(b) t =
1
f
c

R
I
I f
c
= = ·
t
[ ] bps

Problema 3
Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4
impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un
impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
T
2


E
M

15
(b) Care este rata de bauds ?

Solutie

(a) R
I
= =
·
=
÷
t
4 4
5 10
1 6
2
3
log
, [ ] kbps
(b) r
bauds
baud] kbaud] = = =
÷
1
10
10 1
3
3
[ [

Problema 4
Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se
cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii
daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.

Solutie
- cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
- cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara
este I
2 2 2
1
1
2
2 = = log log
- cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
- cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
I
3 2 2
1
1
3
3 = = ¬ log log numarul minim de cantariri I kI k
k
s ¬ s ¬ =
3
24 3 3.
- sa se propuna un algoritm de depistare.

Problema 5

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt
nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8
nivel 3:1/8

Solutie
R r H = · =
·
· ÷ ÷ ÷ ·

÷
1
5 10
1
2
1
2
1
4
1
4
2
1
8
1
8
3
log log log
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca
entropia este maxima pentru o sursa care genereaza simboluri echiprobabile H n
max
log =
2
.

Problema 6

16
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos









Solutie
Acest model descrie un canal care perturba simbolurile unei surse binare in masura in
care la receptie sa poata fi interpretate ca fiind incerte.
Metoda scalara

( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )

H Y p y p y
i
i
i
( ) ( ) log ( ) = ÷
=
¯
1
3

( ) ( ) ( ) ) ( ) 1 ( ) ( ) ( ) ( ) (
1 1 1 1 2 2 1 1 1 1 1
x p q x p x y p x p x y p x p x y p y p ÷ = = + =

S-a utilizat formula probabilitatii totale, evenimentele x
1
, x
2
fiind mutual exclusive.
Analog se poate scrie

p y q p x ( ) ( ) ( )
2 2
1 = ÷


( ) ( ) ( ) p y p y x p x p y x p x q p x p x q q ( ) ( ) ( ) ( ) ( )
3 3 1 1 3 2 2 1 2
1 = + = + = · = ¬


| |
| |
H Y q p x q p x q q q p x q p x
q p x p x p x p x q q q q
q H X q q q q
( ) ( ) ( ) log( ) ( ) log ( ) ( ) log( ) ( )
( ) ( ) log ( ) ( ) log ( ) ( ) log( ) log
( ) ( ) ( ) log( ) log
= ÷ ÷ ÷ + + ÷ ÷ =
= ÷ ÷ + ÷ ÷ ÷ ÷ =
= ÷ ÷ ÷ ÷ ÷
1 1 1 1
1 1 1
1 1 1
1 1 2 2
1 1 2 2



( ) ( )
H YX p x y p y x
i j j
i
j i
= ÷
= =
¯ ¯
( , ) log
1
3
1
2


Conform regulii de inlantuire


( )
p x y p y x p x
i j j i i
( , ) ( ) =

Din graf se deduce ca


( )
p y x q
1 1
1 = ÷
( )
p y x
1 2
0 =
BE
D
Equ
atio
n.2


EM
B
E
D

E
q
u
a
ti
o
n
.
2



E
M
BE
D
Equ
atio
n.2


EM
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
ua
ti
o
n.
2



E
M
B
E
D

E
q
u
a
ti
o
n
.
2







17

( )
p y x
2 1
0 =
( )
p y x q
2 2
=

( )
p y x q
3 1
=
( )
p y x q
3 2
1 = ÷

Se obtine

( )
H Y X q q q q = ÷ ÷ ÷ ÷ ( )log( ) log 1 1

C q H X q q
p x
i
= ÷ = ÷ · = ÷ ( ) max ( ) ( )
( )
1 1 1 1

pentru setul optim de probabilitate la intrare p x p x
0 1 0 2
1 ( ) ( ) = = .

Metoda matriciala

Se considera sursa care genereaza un alfabet de simboluri x i n
i
, , , = 1 si la destinatie
se receptioneaza un alfabet de simboluri y j m
j
, , , = 1 .
Se pot scrie urmatoarele relatii:


( )
P Y P X P Y X ( ) ( ) = ·

unde P X ( ) este matricea linie a sursei ( ) 1× n ;
P Y ( ) este matricea linie a destinatiei ( ) 1× m ;

( )
P Y X este matricea dreptunghiulara de zgomot ( ) n m × .

Observatie
In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate
iesirilor.
Matricea campurilor reunite (joint) este


( )
P X Y
p x
p x
p x
P Y X
n
( , )
( )
( )
( )
=

1
2
0 0
0 0
0

Matricea de zgomot
( )
P Y X se poate obtine prin impartirea fiecarei linii i prin p(x
i
).
Matricea de echivocatie
( )
P XY se poate obtine prin impartirea fiecarei coloane j prin p(y
j
) .

Problema 7
Fie matricea de tranzitie
( )
P Y X =

2 3 1 3
1 3 2 3
/ /
/ /
si p(x
1
)=3/4 si p(x
2
)=1/4.
Se cere sa se calculeze
(a) entropia campului de intrare

18
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului


Solutie

(a) H X p x p x
i
i
i
( ) ( ) log ( ) log log log , = ÷ = ÷ +
|
\

|
.
|
= ÷ ~
=
¯
1
2
3
4
3
4
1
4
1
4
2
3
4
3 0 81 bit / simbol

(b) H Y p y p y
j
j
j
( ) ( ) log ( ) = ÷
=
¯
1
2



| | | |
P Y ( ) / /
/ /
/ /
/ / =

= 3 4 1 4
2 3 1 3
1 3 2 3
7 12 5 12

H Y ( ) log log , = ÷ +
|
\

|
.
|
=
7
12
7
12
5
12
5
12
0 98 bit / simbol

(c)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2


P X Y ( , )
/
/
/ /
/ /
/ /
/ /
=

=

3 4 0
0 1 4
2 3 1 3
1 3 2 3
1 2 1 4
1 12 1 6


H X Y ( , ) log log log log , = ÷ + + +
|
\

|
.
|
=
1
2
1
2
1
4
1
4
1
12
1
12
1
6
1
6
1 73 bit / simbol

(d)
( ) ( )
H Y X p x y p y x
i j j
i
j i
= ÷ =
= =
¯ ¯
( , ) log , 0 92
1
2
1
2
bit / simbol

sau
( )
H Y X H X Y H X = ÷ ( , ) ( )
(e)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2

unde

19

( )
P XY =

=

1
2
7
12
1
4
5
12
1
12
7
12
1
6
5
12
6
7
3
5
1
7
2
5


si
( )
H XY = ÷ + + +
|
\

|
.
|
=
1
2
6
7
1
4
3
5
1
12
1
7
1
6
2
5
0 75 log log log log , bit / simbol

sau
( )
H XY H X Y H Y = ÷ ( , ) ( )

(f) I X Y H X H Y H X Y ( , ) ( ) ( ) ( , ) , = + ÷ = 0 06 bit / simbol

(g) canalul fiind dublu uniform

C= + ÷
|
\

|
.
|
÷
|
\

|
.
|
+ ÷ = log log ( ) log , 2 1
1
3
1
1
3
2 1
1
3
1
3
0 082 bit / simbol

Setul optim p x p x
0 1 0 2
( ) , ( ) se obtine din


( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )
0


p y p x p x ( ) ( ) ( )
1 0 1 0 2
2
3
1
3
= +

p y p x p x ( ) ( ) ( )
2 0 1 0 2
1
3
2
3
= +


( ) ( ) ( ) ( )
( )
H Y X p x y p y x p y x p x p y x
p x p x
i j j
i
j i
j i i j
i
j i
= ÷ = ÷ =
= ÷ +

+ = ÷ +

= = = =
¯ ¯ ¯ ¯
( , ) log ( ) log
log log ( ) ( ) log log
1
2
1
2
0
1
2
1
2
0 1 0 2
2
3
2
3
1
3
1
3
2
3
2
3
1
3
1
3


deci
( )
H Y X nu depinde de P X ( ) ¬ C H Y
p x
i
= + +

max ( ) log log
( )
0
2
3
2
3
1
3
1
3



20
dar max ( ) log ( ) ( )
( ) p x
i
H Y p y p y
0
1 2
2 1
1
2
= = · = = ¬


( ) ( )
( ) ( )
p y p y x p x p y x p x
p y p y x p x p y x p x
( ) ( ) ( )
( ) ( ) ( )
1 1 1 0 1 1 2 0 2
2 2 1 0 1 2
2
0 2
= +
= +
¦
´
¦
¹
¦


¬ p x p x
0 1 0 2
1
2
( ) ( ) = = .

Observatie

Se mai poate utiliza si relatia p x p x
0 1 0 2
1 ( ) ( ) + =

(h) n( )
( , )
, C
I X Y
C
= = 0 73

R C C I X Y ( ) ( , ) , = ÷ = 0 022 bit / simbol


Problema 8
Fie un canal binar simetric avand matricea campurilor reunite P X Y ( , )
, ?
? ,
=

0 4
0 4
si
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P X Y ( , ) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.

Solutie

(a) canalul fiind simetric ¬ = p x y p x y ( , ) ( , )
2 1 1 2
si folosind proprietatea (iii) a evenimentelor
mutual exclusive se obtine p x y p x y p x y p x y ( , ) ( , ) ( , ) ( , ) ,
1 1 1 2 2 2 1 2
2 1 01 + + = ¬ = si
P X Y ( , )
, ,
, ,
=

0 4 01
01 0 4
.


(b)
( )
P Y X =

=

0 4
1 2
01
1 2
0 1
1 2
0 4
1 2
0 8 0 2
0 2 0 8
,
/
,
/
,
/
,
/
, ,
, ,




21
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

Fie un alIabet Iormat din literele A.B.C. Se cere să se calculeze:
a. numărul maxim de mesaie de lungime 3 ce se pot Iorma cu acest alIabet;
b. cantitatea de informaĠie conĠinută de un asemenea mesai.

Testul nr. 2
Să se calculeze cantitatea de informaĠii necesară pentru precizarea poziĠiei unei figuri pe
tabla de sah.

7HPăGHFRQWURO

Matricea probabilităĠilor reunite intrare-iesire asociată unui canal de transmisie este de
forma:
( )

=
4 / 1 4 / 1
4 / 1 4 / 1
X Y P
Se cere să se calculeze:
a. entropia câmpului de la intrare;
b. entropia câmpului de la iesire;
c. entropia câmpurilor reunite;
d. eroarea medie si echivocaĠia;
e. transinformaĠia si capacitatea canalului.





BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1:


|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu, Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.

22



MODULUL 2
CODAREA SURSELOR INFORMAğIONALE



Compresia datelor este un proces de re prin care se urmăreste
micsorarea redundanĠei mesajului generat de o sursă. pentru a reduce resursele
necesare memorării sau transmiterii acestui mesaj. Deoarece, de regulă.
pentru memorarea sau transmiterea unui mesaj se foloseste. eventual într-o
Iormă intermediară. reprezentarea prin simboluri binare a acestuia. si pentru că
cele mai multe metode de compresie folosesc metode de codare binar - binar,
putem spune că obiectivul compresiei constă în reducerea numărului de
simboluri binare necesar pentru reprezentarea mesajului.
După cum sirul simbolurilor emise de sursă este împărĠit. pentru codare. în
subsiruri de aceeasi lungime sau de lungime variabilă. si după lungimea,
constantă sau variabilă. a cuvintelor de cod, codurile de compresie se clasifică în
bloc- bloc, bloc variabil, variabil bloc si variabil variabil, bloc bloc
indicând aceeasi lungime pentru subsirurile sursei si cuvinte de cod de lungime
fixă. iar variabil variabil corespunzând unor lungimi variabile ale subsirurilor
si ale cuvintelor de cod. Din punct de vedere al măsurii în care mesaiul reIăcut
prin decompresie se aseamănă cu cel original. asupra căruia s-a acĠionat prin
procesul de compresie, distingem două categorii de algoritmi de compresie: Iără
pierderi si cu pierderi.
Algoritmii de compresie Iără pierderi sunt reversibili, prin decompresie
obĠinându-se mesajul original întocmai. Algoritmii de compresie cu pierderi au
ca rezultat diferenĠe relativ mici între mesajul rezultat prin decompresie si cel
original si sunt utilizaĠi în compresia imaginilor si a mesajelor video si audio.
În acest modul vor Ii prezentate aspecte privind codiIicarea surselor
discrete si vor Ii analizaĠi algoritmii HuIIman si Shannon-Fano.







23
MODULUL 2
CAPITOLUL 1

CODAREA SURSELOR INFORMAğIONALE

1.1 Codificarea surselor discrete.

In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare
se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila
este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la
cele initiale, adica decodificarea sa fie unica.
Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul
semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si
secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si
fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui
simbol nu depinde de celelalte sinboluri anterioare.
Alfabetul sursei discrete se noteaza cu
{ }
L
a a a A ...., ,
2 1
=
,deci sursa produce
succesiuni de litere
n
u u u ,...., ,
2 1
formate cu ajutorul literelor din alfabetul sursei, deci
A u
i
e
pentru i÷1.2...
Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a
semnalelor,adica probabilitatea unei succesiuni date
( )
n
n
o o o o ,..., ,
2 1
=
de n litere de sursa este
egala cu produsul probabilitatilor literelor de sursa ,deci:

( ) ( )
I
=
=
n
i
i n
P P
1
2 1
,...., , o o o o
(2.1)

1.2 Codificarea neuniforma.

Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
sau litere notate cu
M
a a a ,...., ,
2 1
care apar cu probabilitatile
( ) ( ) ( )
M
a P a P a P ,.., ,
2 1
. Fiecare
litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din
alfabetul codului care contine D semnale
{ }
D
x x x X ,.., ,
2 1
=
.Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare
M
a a a ,.., ,
2 1
se noteaza cu
M
c c c ,.., ,
2 1
,iar totalitatea lor formeaza un cod,
{ }
M
c c c C ,.., ,
2 1
=
.Numarul semnalelor secundare
din cuvantul de cod
k
c
care,dupa cum s-a vazut,corespunde lui
k
a
,se noteaza cu
k
n
.

24
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere
economic,acel cod care conduce la un
n
-numarul mediu de litere de cod pe litere de sursa-cat
mai mic posibil,unde
n
se mai numeste si lungimea mediea combinatiilor de cod:
( )
k
M
K
k
n a P n
¯
=
=
1
(2.2)

Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie
de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod
atribuite semnalelor primare sunt distincte se numeste cod nesingular.
Codul
{ }
k
c c c C ,.., ,
2 1
=
se numeste unic decodabile daca succesiunile cuvintelor de
cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte.
Fie un cuvant de cod
im i i i
x x x c ,..., ,
2 1
=
.Sirul de litere
im i i
x x x ,..., ,
2 1
,unde
m k s
se
numeste prefixul lui
i
c
.
Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care
prezinta un interes deosebit din punct de vedere practice.
Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste
cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de
prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin
reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se
numesc si coduri ireductibile.
Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o
combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La
decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se
inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand
la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d.
Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind
faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre
codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea
teorema:orice cod cu conditia de prefix este un cod unic decodabil.
Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si
convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum
simplu,sau nodul final de la extremitatea drumului simplu corespunzator
Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta
biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii
corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o
combinatie de cod.
De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu
ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod
internediar.
Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este
asemanatoare, tinand cont ca din fiecare nod pomesc D arce.



25

1.3. Codarea si decodarea pe canale fara perturbatii.

In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un
codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor
mesaie cât mai scurte pentru a transmite aceiasi cantitate de inIormatie. Aceastâ operatie numita
generic . compresie de date ¨

Definirea unui cod. Fie o sursa discreta Iara memorie având alIabetul


{ } S s s s
N
=
1 2
, ,......, (2.3)

cu probabilitatea de aparitie ( ) p s p
i i
=


{ } P p p p
N
=
1 2
, ,......, (2.4)

Fie alfabetul canalului


{ }
X x x x
q
=
1 2
, ,......, (2.5)

constituit dintr-un numar finit de semne (litere, caractere)
Se considera reuniunea secventelor finite de litere din alfabetul canalului:

X X
n
n
*
=
>

(2.6)

Orice aplicatie S X ÷
*
se numeste codarea alfabetului Sprin alfabetul X

Un element s X
i
* *
e si care corespunde lui s
i
este un cuvânt de cod. Lungimea
cuvântului de cod. notatâ
( )
n s n
i i
*
= este numarul de litere cale Il formeaza. Totalitatea
cuvintelor de cod constitue codul lui S cu mentiunea ca X
*
poate contine si combinatii care nu
apartin codului, numite cuvinte fara sens.
Astfel, un text constituit din secvente de mesaje:

m s s s
j i i ik
=
1 2
, ,......, (2.7)

este codat prin secventele de cuvinte de cod (cu sens)

m s s s
j i i ik
=
1 2
* * *
, ,......, (2.8)


26
Decodarea implica posibilitatea de a repara cuvintele de cod în mod unic (aplicatia
S X ÷
*
sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular).
Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s s
1 2
10
* *
, = si s
3
01 = . Codul 010 poate fi interpretat fie s s
1 2
* *
, fie s s
3 1
* *
, .
Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i
corespunda o succesiune unica de litere, adica aplicatia S X
k
k
n
÷
>
*
1

sa fie si ea injectiva.
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta
proprietate sunt:
(a) utilizarea cuvintelor de cod de aceiasi lungime (bloc)
(b) utilizarea unui semn distinct Intre cuvintel (separator)
Exista însa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura
proprietate de unic decodabil. Aceste coduri se numesc separabile.


Alcatuirea unui cod. Teorema Kraft

Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de
lungime n n n
N 1 2
, ,......, este ca

q
n
i
i
N
÷
=
s
¯
1
1
(2.9)

Observatii

1. Se reaminteste ca ( ) q card X = este numarul de litere din alfabetul canalului.
2. Daca numarul cuvintelor de lungime k este r
k
atunci conditia (1.9) devine

r q
k
k
k
n
· s
÷
=
¯
1
1
(2.10)

cu N r
k
k
n
=
=
¯
1


Teorema Mac Millan

Un cod este ireductibil daca si numai daca

n n n
N 1 2
s s s ...... (2.11)

27


Criterii de apreciere a unui cod.
Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
convenabil de apreciere a unui cod este lungimea medie a unui cuvânt

n p n
i i
i
n
= ·
=
¯
1
(2.12)

unde p
i
sunt definite prin (1.4) si n
i
este numarul de litere din cuvântul de cod cu indicele i.
Este evident ca se cauta ca n sa Iie cât mai mic dar trebuie avut In vedere ca el este
limitat inferior de entropia informationala pe simbol a alfabetului de cod

n
H
q
>
log
2
(2.13)

unde H este entropia sursei. In aceste conditii, eficienta unui cod este

n =
·
s
H
n q log
2
1 (2.14)

iar redundanta codului este

p n = ÷ 1 (2.15)


Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se
numesc coduri absolut optimale

Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil
pentru care lungimea medie a cuvintelor eVWHRUFkWGHDSURSLDWDGHPDUJLQHDVDLQIHULRDUD.

Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima
teorema a lui Shannon se reIera la problema codarii cu o lungime medie posibila cât mai mica.
pe un canal neperturbat de capacitate data.
Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau
compacte.





28
1.4. Coduri Huffman de dispersie minimă.
Acest procedeu se bazează pe ideea de a partiĠiona mulĠimea mesaielor sursei S = {s1, s2
,..., sN} în submulĠimile si . astIel încât suma probabilităĠilor mesaielor incluse în să
Iie cât mai apropiată de suma probabilităĠilor mesaielor incluse în .
La rândul lor. submulĠimile si pot Ii partiĠionate în submulĠimile si ,
respectiv si astIel încât suma probabilităĠilor mesaielor incluse în cele patru
submulĠimi să Iie cât mai apropiate posibil. Procedeul se continuă în mod similar până când se
obĠin submulĠimi ce conĠin un singur mesai.
În Ielul acesta. pentru orice distribuĠie a sursei S ce urmează a Ii codată se va obĠine un
cod compact. adică lungimi medii ale cuvintelor de cod ce nu mai pot Ii micsorate prin nici un alt
procedeu de codare.
Pentru ca partiĠiile să satisIacă condiĠiile menĠionate. se procedează
astfel:
1). Se ordonează mulĠimea mesaielor sursei S în ordinea descrescătoare a probabilităĠilor.
obĠinându-se astIel mulĠimea ordonată ={ }, cu p( ) p( ) ... p( ), cu
schimbarea eventuală a indicilor mesaielor pentru realizarea ordonării respective;
2). Se reunesc ultimele două mesaie (de probabilităĠile cele mai mici) într-un nou mesaj,
notat cu . căruia i se alocă o probabilitate egală cu suma probabilităĠilor mesaielor
componente. Se ordonează din nou mesaiele în ordinea descrescătoare a probabilităĠilor.
Iormându-se astIel prima sursă restrânsă ={ cu p( ) p( ) ... p( ) ...
.
3). Se reunesc ultimele două mesaie din sursa restrânsă într-un nou mesaj , de
probabilitate egală cu suma probabilităĠilor mesaielor componente. Se ordonează mesaiele în
ordine descrescătoare. Iormându-se astIel sursa restrânsă . În mod analog, din se Iormează
sursa restrânsă si asa mai departe. până când se obĠine o sursă restrânsă Iormată numai din
două mesaje, , cu p( ) . De fapt, va fi si va fi sau
invers.

29
Din modul de Iormare a surselor restrânse . rezultă că mulĠimea S a mesajelor poate fi
partiĠionată în două submulĠimi si astIel încât probabilităĠile p( ) si sunt cele
mai apropiate posibil. La rândul lor. submulĠimile si . pot Ii partiĠionate în alte două
submulĠimi. de probabilităĠile cele mai apropiate posibil. PartiĠionările se continuă până se obĠin
submulĠimi care conĠin un singur mesai.
4). Cuvintele de cod corespunzătoare Iiecărui mesai se obĠin astIel:
- submulĠimii i se alocă simbolul "0" (sau "1");
- submulĠimii . i se alocă simbolul "1" (sau "0");
- la Iiecare partiĠionare se alocă arbitrar celor două submulĠimi "0" sau "1". operaĠia continuându-
se până se obĠin submulĠimi ce conĠin un singur mesaj , k= .
Deoarece alocarea lui "0" si "1" este arbitrară la Iiecare partiĠionare. rezultă că unei surse
S i se pot atasa o multitudine de coduri instantanee. toate. însă. având aceeasi lungime medie a
cuvintelor de cod. care nu mai poate Ii micsorată prin nici un alt procedeu de codare a mesaielor
luate individual.
Dacă sursa primară S poate furniza N mesaie. atunci submulĠimea restrânsă , va avea
N-1 mesaie. submulĠimea restrânsă va conĠine N-2 mesaie si asa mai departe. ultima
submulĠime restrânsă va conĠine N n mesaje, care sunt si . adică se poate scrie:
N-n=2 => n=N-2 (2.16)
Dacă submulĠimii i se alocă simbolul "0" si submulĠimii simbolul "1", celor N-2
partiĠionări putându-li-se aloca arbitrar "0" sau "1". rezultă un total de posibilităĠi de
codare. Dacă. însă. submulĠimii i se alocă simbolul "1". iar submulĠimii simbolul "0",
mai rezultă posibilităĠi de codare. Rezultă. deci. că prin acest procedeu de codare se pot
realiza coduri instantanee. toate având toate aceeasi lungime medie a
cuvintelor de cod.
Prin deIiniĠie. se numeste cod compact. codul care realizează lungimea medie minimă a
cuvintelor de cod. Deoarece prin procedeul de codare HuIIman se obĠine cea mai mică lungime
medie a cuvintelor de cod. înseamnă că prin acest procedeu se obĠin coduri instantanee
compacte. Evident. un cod absolut optimal este si compact. reciproca neIiind totdeauna valabilă.

30
Exemplul 3.1.
Se presupune sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Codarea binară HuIIman a acestei surse se poate realiza astfel:


Fig. 3.2. Schema de codare pentru exemplul 3.1
Graful si cuvintele de cod corespunzătoare codării efectuate sunt date în Fig. 3.3.

Fig.3.3. GraIul corespunzător codului

31

Codurile HuIIman de dispersie minimă se obĠin când la reordonarea sursei restrânse.
simbolul compus se plasează pe poziĠia cea mai de sus posibil în sursa restrânsă. În Ielul acesta
cuvântul de cod atribuit simbolului compus va avea cea mai mică lungime posibilă. Cum acest
cuvânt va deveni preIix pentru simbolurile constituente. cuvintele de cod corespunzătoare
acestora vor avea o lungime cu o unitate mai mare decât lungimea preIixului. deci si acestea vor
rezulta de lungime minimă. Ca urmare. diIerenĠele dintre lungimile cuvintelor de cod devin
minime, ceea ce va conduce. evident. si la o dispersie minimă.
Pentru Iixarea ideilor. se presupune sursa discretă de inIormaĠie caracterizată de
distribuĠia:
S :

Pentru această sursă se eIectuează codarea HuIIman. plasând întâi mesaiele sursei
restrânse pe poziĠiile cele mai ios posibile în listă si apoi pe poziĠiile cele mai de sus posibile. În
primul caz rezultă schema de codare din Fig. 3.4. iar graIul si cuvintele de cod ca în Fig. 3.5.


32


Pentru acest cod. lungimea medie si dispersia sunt:



Pentru cazul în care în codarea HuIIman mesaiele sursei restrânse se plasează pe poziĠiile
cele mai de sus în listă. se obĠine schema de codare din Fig. 3.6 si graIul si cuvintele de cod ca în
Fig. 3.7.


33

Pentru acest cod, lungimea medie este, evident. aceeasi. în timp ce dispersia devine:

Desi din punct de vedere inIormaĠional. cele două coduri sunt identice. în practică se
preIeră Iolosirea celor de dispersie minimă. din motive de transmisie. De exemplu. dacă se
doreste să se transmită mesaie ale sursei cu o viteză de 10.000 mesaie/sec.. este necesar un canal
cu capacitatea de 22.000 biĠi/sec. Deoarece viteza de generare a biĠilor oscilează în iurul valorii
de 22.000 biĠi/sec.. IuncĠie de succesiunea de mesaie Iurnizate la un moment dat. iesirea sursei
este încărcată într-un buffer.
Dacă. de exemplu. sursa generează la un moment dat siruri de mesaie si mai multe
secunde. pentru primul cod se generează 40.000 biĠi/sec. si în Iiecare secundă ar trebui un buIIer
de capacitate de 18.000 biĠi. Cu al doilea cod se generează 30.000 biĠi /sec. si buIIerul ar trebui
să aibă capacitatea de 8.000 biĠi. Dacă se transmit siruri de mesaie , cu primul cod se
generează 10.000 biĠi/sec. si canalul nu e Iolosit la capacitatea sa. rămânând un deIicit de 12.000
biĠi/sec. pe când cu al doilea cod se generează 20.000biĠi/sec. deIicitul existent în exploatarea
canalului Iiind numai de 2.000 biĠi/sec. Asadar. din motive de transmisie este mai rezonabil a se
alege al doilea cod decât primul.


34
1.5. Procedeul de codare binară Shannon - Fano.
Acest procedeu se aplică de obicei în cazurile particulare în care probabilităĠile de
Iurnizare ale mesaielor sunt puteri întregi pozitive ale lui (1/2). adică. de Iorma:
p( = , ( ) k= (2.17)
unde este un număr întreg pozitiv. Dacă relaĠia (3.48) este satisIăcută. mulĠimea S = {s1, s2
,..., sN} a mesaielor sursei discrete de inIormaĠie ce urmează a Ii codată poate Ii partiĠionată în
două submulĠimi si . astIel încât suma probabilităĠilor mesaielor incluse în . notată cu
p( ). să Iie egală cu suma probabilităĠilor mesaielor incluse în .. notată cu p( ). Sursa S
Iiind totdeauna completă. se poate scrie:
(2.18)

SubmulĠimile si se pot partiĠiona la rândul lor în si . respectiv în si
. astIel încât suma probabilităĠilor mesaielor incluse în cele patru submulĠimi să Iie aceeasi.
adică se poate scrie relaĠia:

(2.19)

Se procedează în mod analog până se obĠin submulĠimi care conĠin un singur mesai. Se
observă că Iiecare submulĠime are suma probabilităĠilor mesaielor incluse egală cu o putere
întreagă a lui (1/2). Puterea întreagă este egală cu numărul indicilor submulĠimii respective Dacă
submulĠimea conĠine un singur mesai. . si are un număr de indici egal cu , atunci se poate
scrie:

de unde rezultă necesitatea ca sursa S ce urmează a Ii codată să-si Iurnizeze mesaiele cu
probabilităĠi egale cu ½ la o putere întreagă. pozitivă.
Sursa Iiind completă. se poate scrie relaĠia (1.21):

35
(2.21)

Înlocuind (1.20) în (1.21). rezultă relaĠia (1.22):
(2.22)
ceea ce înseamnă că inegalitatea lui Kraft devine în acest caz egalitate.
Cuvintele de cod se vor obĠine, atunci, astfel:
1. Se atribuie simbolul "0" submulĠimii si simbolul "1" submulĠimii , (sau invers),
astIel că toate cuvintele corespunzătoare mesaielor incluse în vor începe cu "0" si toate
cuvintele corespunzătoare mesaielor incluse în , vor
începe cu "1" (sau invers);
2. Se alocă submulĠimilor si ca al doilea mesai "0". iar submulĠimilor si
ca al doilea mesai "1" (sau invers). În Ielul acesta. cuvintele de cod corespunzătoare
mesaielor incluse în vor începe cu 00. cuvintele de cod corespunzătoare mesaielor incluse în
vor începe cu 10 si asa mai departe. cuvintele de cod corespunzătoare mesaielor induse în
vor începe cu 11.
3. OperaĠia se continuă în acelasi mod. până când în Iiecare submulĠime rămâne un singur
mesai. căruia îi va corespunde cuvântul de cod Iormat din sirul de indici ai submulĠimii
respective. Deoarece la Iiecare partiĠionare în două submulĠimi atribuirea mesaielor "0" si "1"
este arbitrară. rezultă că prin acest procedeu se pot obĠine o multitudine de coduri instantanee.
dar toate absolut optimale.
În principiu. procedeul de codare descris s-ar putea aplica în general. adică si atunci când
relaĠia (1.21) nu este satisIăcută. În acest caz. partiĠionările în submulĠimi trebuie eIectuate astIel
încât suma probabilităĠilor mesaielor incluse în submulĠimile respective să Iie cât mai apropiate.
Atribuind simbolurile "0" si "1" ca în procedeul descris. se obĠin totdeauna coduri instantanee.
Cu cât sumele probabilităĠilor mesaielor componente ale submulĠimilor respective vor Ii
mai apropiate. cu atât lungimea medie a cuvintelor de cod va Ii mai mică.

36
Exemplul 3.2.
Se consideră sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Procedeul de codare binară Shannon - Fano este sintetizat în tabelul de mai ios:

Graful arborescent atasat codului astfel obĠinut este reprezentat în Fig. 3.8


37
$SOLFDĠLH

Simularea cu ajutorul programului MATLAB a algoritmului de compresie
Shannon-Fano
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în Iigura
următoare.



ExerciĠii rezolvate.

Exemplu
În tabelul de mai ios sunt prezentate patru coduri separabile,

mesaj A B C D
s
0

00 0 0 0
s
1

01 10 01 10
s
2

10 110 011 110
s
3

11 1110 0111 111


38
Folosind codul B, succesiunile s ss s
3 1 0 2
se codifica 1110100110. Dupa receptinarea
primelor sase biti se poate determina ca s-a receptionat s s
3 1
. Daca Insa se folosec codul C,
succesiunea s ss s
3 1 0 2
se codifica 011010011. Dupa receptionarea primelor sase biti conduce la
decodarea s
3
dar secventa 01 poate fi interpretata la acel moment fie care s
1
fie ca, s
2
fie ca s
3
,
ambiguitatea rezolvându-se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod
instantaneu.
Conditia necesara si suIicienta ca un cod sa Iie instantaneu este ca nici un cuvânt de cod
sa nu Iie preIix al altui cuvânt de cod (conditia de preIix).
Se considera sursa care genereaza simbolurile :
- s0 cu probabilitatea p1 = 0,5
- s1 cu probabilitatea p2 = 0,25
- s2 cu probabilitatea p3 = 0,125
- s3 cu probabilitatea p4 = 0,125

Se cere sa se determine eficienta codurilor A, B, C si D

Solutie

Entropia sursei este
H p p
i i
i
= ÷ · = ÷ ÷ ÷ · =
=
¯
log log log log
2
1
4
2 2
1
2
1
2
1
4
1
4
2
1
8
1
8
7
4
biti
Pentru codul A lungimea medie a codului este n
A
= 2 si n p
A
iar = = =
7
4
2 2
7
8
1
2
2
log

Codurile B si C cu aceiasi lungime medie

n n
B C
= = · + · + · + · = 0 5 1 0 25 2 0125 3 0125 4 1875 , , , , ,


n n
p p
B C
B C
= = =
= =
1 75
1 875
14
15
1
15
,
,


Codul D are n
D
= · + · + · = 0 5 1 0 25 2 0125 3 1 75 , , , , si
n p
D D
= = =
1 75
1 75 2
1 0
2
,
, log





39
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

1. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare HuIIman si să se calculeze
lungimea medie a cuvintelor de cod.

Testul nr. 2

2. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare Shannon-Fano si să se calculeze
lungimea medie a cuvintelor de cod.


7HPăGHFRQWURO
Se consideră o sursă cu alIabetul | | | |
6 5 4 3 2 1
, , , , , s s s s s s S = si probabilităĠile
| | | | 2 . 0 , 1 . 0 , 25 . 0 , 3 . 0 , 1 . 0 , 05 . 0 = P :
a. să se determine un cod compact Iolosind algoritmul de codare HuIIman. dacă
alfabetul codului este | | | | 1 , 0 = X si dacă alIabetul codului este | | | | 2 , 1 , 0 = X ;
b. pentru cele două cazuri să se calculeze lungimea medie a cuvintelor de cod si
eficienĠa codului.












40
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2:
|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
|5| V. Munteanu. Transmiterea si codiIicarea inIormaĠiei. Note de curs.






41

MODULUL 3
CODURI DETECTOARE SI CORECTOARE DE ERORI

În cazul transmisiilor la distanĠe relativ mari. prin apariĠia inerentă a
perturbaĠiilor. o parte din simbolurile din alIabetul codului. ce Iormează
cuvintele de cod atasate mesaielor. pot Ii modiIicate. astIel încât ceea ce se
recepĠionează nu mai corespunde cu ceea ce s-a transmis. Deoarece în marea
maioritate a situaĠiilor practice se Ioloseste ca alIabet al codului numai 0 si 1
(usor de realizat) vom considera în continuare doar acest caz. În situaĠia în care
alIabetul codului este numai 0 si 1. datorită perturbaĠiilor codului. un 0 transmis
poate deveni 1 si invers. Din această cauză se spune că perturbaĠiile care apar au
un caracter aditiv.

†
0 1

0

1

0 1

1 0

Dacă se transmite 0 si se recepĠionează 1 perturbaĠia 0 † 1 = 1.
Din codarea mesaielor (surselor) pentru canale cu perturbaĠii se pun două
probleme:
1. detecĠia erorilor
2. corecĠia automată a erorilor
1 codarea trebuie astfel efectuată încât la recepĠie să putem decide dacă
ceea ce s-a recepĠionat este corect sau eronat. Iără pretenĠia de a stabili si
locurile în cuvântul de cod în care s-au introdus erori.
2 codarea trebuie astIel eIectuată. încât la recepĠie să avem posibilitatea
nu numai a decide dacă ceea ce s-a obĠinut este corect. ci si de a corecta automat
erorile care au apărut pe canal.
Problema detecĠiei erorilor este mai simplă, în schimb necesită un canal
de transmisiuni cu dublu sens. deoarece. ori de câte ori la recepĠie se detectează
prezenĠa erorilor. să existe posibilitatea cererii de retransmisie a cuvântului
recepĠionat eronat. Se cere transmiterea cuvântului recepĠionat eronat până ce
acesta este recepĠionat corect ; rezultă o întârziere la recepĠionarea inIormaĠiei.
În scopul întocmirii codurilor detectoare de erori sau corectoare de erori.
se Iolosesc o serie întreagă de coduri. bazate pe diIerite teorii matematice. o
primă clasiIicare constând în :
„ coduri bloc la care Iiecare cuvânt de cod are aceeasi lungime
„ coduri nonbloc (sau recurente) la care transmisia se Iace cursiv. Iără o
delimitare precisă a cuvântului de cod.

42

MODULUL 3
CAPITOLUL 1

CODURI DETECTOARE SI CORECTOARE DE ERORI

3.1. Codarea si decodarea pe canale perturbate

S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este
probablitatea de eroare.
Transmiterea în banda de baza sau modulatia sunt aIectate de o serie de constrângeri
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise.
Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea
redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si
decodorul canalului.
Codorul canalului adauga în mod sistematic biti la mesaiul transmis. Acesti biti
aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor.
Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.
Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura
5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei
^ ` b
k
cu un
debit r
b
pe un canal zgomotos.
Datorita zgomotului fluxului de date receptionate
^ `

b
k
difera uneori de secventa
transmisa
^ `
b
k
.
Se impune ca probabilitatea de eroare

P b b
k k

z sa Iie mai mica decât o anumita
valoare.
Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de
eroare.
Codorul împarte biti mesaiului în blocuri de câte k biti si înlocuieste Iiecare bloc cu
un cuvânt de cod de n biti. adaugând n k biti. Decodorul primeste cuvântul de cod. care
este uneori alterat si încearca sa decodeze cei k biti ai mesajului.
Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa
detecteze si sa corecteze erorile de tramsmitere reducând prin aceasta probabilitatea de eroare.
Proiectarea unui codor/decodor consta în selectarea regulilor de generare a cuvintelor
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea
receptionata de cuvânt de cod.
În Iigura 3.1 este prezentata schema bloc pentru un sistem de codare/decodare.










43


























Codurile care eIectueaza controlul erorii sunt clasiIicate în: coduri bloc si coduri
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza un cuvânt de cod de n
biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de
control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile
convolutionare. biti de control sunt în mod continuu inserati între biti de inIormatie; biti de
control veriIicând nu numai biti de inIormatie din blocul precedent ci si din alte blocuri
anterioare.
Distanta Hamming. Distanta între doua cuvinte binare de lungime
n u x x x v y y y
n n
= =
1 2 1 2
, ,......, ; , ,......, $
{ } ( )
x y
i i
, , e 0 1 este numarul pozitiilor
de acelas rang în care doua cuvinte diIera
( )
d u v x y
i i
i
n
, = ©
=
¯
1
(3.1)
Observatie
Numarul natural ( )
d u v , verifica axiomele distantei
( ) ( )
( )
( ) ( ) ( )
( ) , ,
( ) ,
( ) , , ,
a d u v d v u
b d u v u v
c d u v d u w d w v
= >
= · =
s +
0
0 (3.2)

Codor
canal
mesaj
k
mesaj control
k n-k
Modulator

Canal
cuvânt de cod
n
mesaj
k
Decodor
canal
Demodulator
r
b

r r
n
k
c b
=

Fig. 3.1

44
O reprezentare geometrica a lui u poate fi un punct de coordonate x x
n 1
,...... In
R
n
. Cele 2
n
combinatii de n biti sunt vârIurile unui hipercub de latura 1. In Iigura
următoare este reprezentat un astIel de cub pentru R
3
.




















Daca toate cuvintele de cod au sens. atunci orice eroare conduce la un alt cuvânt de
cod si nu poate Ii depistata. Daca însa separam din cele 2
n
cuvinte de cod, numai 2
k
atunci
este posibil sa se depisteze unele erori singulare deoarece 2
n k
combinate nu au sens. În
general. Iie un cod în care toate cuvintele sunt la distante mutuale de cel putin egale cu d
0
.

Cazul 1

Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este
ca d r
0
2 1 t

Cazul 2

Daca d r
0
2 t se pot corecta cel mult r 1 erori.


3.2. Coduri bloc liniare

Se considera coduri bloc. în care Iiecare. în Iiecare bloc de k biti mesaj este codat
într-un bloc de n k ! biti prin adaugarea de n k biti de control. Bitii de control sunt
obtinuti pe baza celor k biti mesaj, asa cum este ilustrat în Iigura 3.3.




000
001
011
111
010
110 100
101
x
1

x
3

x
2

Fig 3.2
Distanta Hamming
între doua vârIuri este cel
mai mic numar de laturi
care le unesc

45
Codor
canal
mesaj biti de control
k biti
k
n k ÷
mesaj cod bloc
Fig. 3.3


















Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod
si codurile pentru care biii mesai apar la începutul cuvântului de cod sunt numite coduri
sistematice. În plus daca Iiecare di cele 2
k
cuvinte de cod poate fi exprimat ca o
combinatie lineara de k vectori independenti, atunci codul este si linear.

Codarea consta în doua etape:
(1) secventa de biti inIormationali este segmentate în blocuri mesai de câte k biti.
(2) codorul transforma fiecare bloc mesai într-un bloc mai mare de n biti în
conformitate cu anumite reguli. Acesti n k ÷ biti aditionali sunt generati printr-o combinatie
lineara de biti mesaj si operatiile pot fi descrise folosind matrice.
Blocul mesaj este reprezentat printr-un vector linie având k componente


| | { }
( )
D d d d cu d i k
k i
= e e
1 2
0 1 1 ...... , ; , (3.3)

Fiecare bloc mesai este transIormat într-un cuvânt de cod c de lungime n

| |
C c c c
n
=
1 2
......
Se observa ca eficienta acestui cod este k n.
Pentru un cod linear, sistematic primii k biti ai cuvântului de cod sunt bitii mesai
adica

c d i k
i i
= =1 2 , ,......, (3.4)

Ultimii n k ÷ biti ai cuvântului de cod sunt bitii de control generatii pe baza celor k
biti ai mesaiului în conIormitate cu anumite reguli predeterminate:


mesaj

46

c p d p d p d
c p d p d p d
k k k
n n k n k k n k k
+
÷ ÷ ÷
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
1 11 1 21 2 1
1 1 2 2
,
, , ,

(3.5)

Coeficientii p
i j ,
din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2.
Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala

| | | |
c c d d
p p p
p p p
p p p
p p p
k n
n k
n k
n k
n k
k k k n k
1 1
11 12 1
21 22 2
31 32 3
1 2
1000 0
0100 0
0010 0
000 01
... ...
... ...
... ...
... ...
... ...
,
,
,
, ,
=

×
÷
÷
÷
÷

(3.6)

sau

C D G = · (3.7)

unde G este o matrice de tip k n × numita matricea generatoare a codului si are
forma


| |
G I P
k
k n
=
×
(3.8)

Matricea I
k
este matricea unitate de ordinul k iar P este o matrice arbritara
( )
k n k × ÷ . Sa remarcam ca specificarea lui P defineste complet codul bloc ( )
n k , .
Proiectarea unui cod bloc ( )
n k , prin selectarea unei matrici P trebuie sa aiba în
vedere urmatoarele proprieteti
- comoditatea implementarii
- capacitatea de a corecta erorile singulare si pachetele de erori (burst errors)
- eficienta codului da fie ridicata
Prin eficienta codului se Intelege raportul
k
n
pentru o anumita capacitate de
detectie/corectie.
Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca
toate proprietatile de mai sus.

3.3. Exemple de coduri liniare

Codul Hamming
Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu
ajutorul matricei de control H, care este formata din m linii si
m
2
- 1 coloane, lar coloanele
sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima
egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici:

47
- lungimea combinatiilor de cod este n = 2m -1;
- numarul simbolurilor de control este r=n - k ;
-numarul simbolurilor informationale este k

Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa
codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri
simetrice pe k pozitii) .
La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate
fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan,
rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul
de cod receptionat.
Lungimea n a codului este o putere a lui 2. adică n÷2
m
. Pentru r. număr întreg pozitiv.
numărul poziĠiilor inIormaĠionale este
0
r
i
m
i
k C
=
=
¯
(3.8)
Numărul simbolurilor de control este dat de relaĠia

1
1
1 ...
m
m m r
n k C C
÷ ÷
÷ = + + +
(3.9)
DistanĠa minimă Hamming este d÷2
m-r

La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare
nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc
simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din
codul receptionat.
Fie Vn un spatiu vectorial peste GF(2), ndimensionali avand componentele 0 sau 1.
Fie u÷(a1.a2.a3...an) si v÷(b1.b2.b3...bn). pe spatiul vectorial Vn se poate deIini produsul
vectorial u x V÷(a1*b1. a2*b2..an*bn) si produsul scalar
¯
- =
i i
b a V u
&
&
*
si
) 2 ( * GF V u e
&
&
.
Se pot observa urmatoarele :
- produsul scalar este nul daca ponderea produsului vectorial este un numar par ;
- fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra
liniara, asociativa si comutativa.

Codul Reed-Muller se poate defini cu urmatorii parametrii :
- n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
-
¯
=
=
r
k
k
n
C k
0
, unde k este numarul de simboluri informationale din cod ;
- d=2m-r, unde d este distanta minima a codurilor ;
-
1 2 1
... 1
÷ ÷
+ + + + = ÷
r n
m m m
C C C k n
, pentru care se defineste codul RM(m,r) ;
-

÷
=
2
1 d
t
unde t este numarul de erori pe care il poate corecta codul RM(m,r).

Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu
vectorial, generat de urmatorii vectori liniari independenti care constituie matricea
generatoare :
V0÷1111 1111 1111 ...1111
Vm÷0000 0000 0000 ...1111

48
Vm-1÷0000 1111 0000 .. 1111
............
Vm x Vm-1÷ ........ (3.10)
.............
V2 x V1÷ ..........
..............
Vr x Vr-1 x V1÷ .......
Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x
Gkxn.

Codul Reed-Muller (5,2)
Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori :
m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3
erori pe cuvant.
Matricea V pentru RM(5,2) este :

(1111 1111 1111 1111 1111 1111 1111 1111){V0}
(0000 0000 0000 0000 1111 1111 1111 1111){V5}
(0000 0000 1111 1111 0000 0000 1111 1111){V4}
(0000 1111 0000 1111 0000 1111 0000 1111){V3}
(0011 0011 0011 0011 0011 0011 0011 0011){V2}
(0101 0101 0101 0101 0101 0101 0101 0101){V1}
(0000 0000 0000 0000 0000 0000 1111 1111){V54}
(0000 0000 0000 0000 0000 1111 0000 1111){V53} (3.11)
(0000 0000 0000 0000 0011 0011 0011 0011){V52}
(0000 0000 0000 0000 0101 0101 0101 0101){V51}
(0000 0000 0000 1111 0000 0000 0000 1111){V43}
(0000 0000 0011 0011 0000 0000 0011 0011){V42}
(0000 0000 0101 0101 0000 0000 0101 0101){V41}
(0000 0011 0000 0011 0000 0011 0000 0011){V32}
(0000 0101 0000 0101 0000 0111 0000 0101){V31}
(0001 0001 0001 0001 0001 0001 0001 0001);{V21}

Se defineste
G x m X
&
&
&

unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21).
Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de
control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand
de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite
de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom
scrie cate un set de relatii de control corespunzator componentei informationale din mesajul
transmis care are acelasi indice cu vectorul analizat.
Mesajul informational este :
a
1xk
=(a
0
a
5
a
4
a
3
a
2
a
1
a
54
a
53
a
52
a
51
a
43
a
42
a
41
a
32
a
31
a
21
).
Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara.
Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea
majoritara din sistem :

3 2 1 0 21
y y y y a † † †
7 6 5 4 21
y y y y a † † †

49
11 10 9 8 21
y y y y a † † †
15 14 13 12 21
y y y y a † † †
19 18 17 16 21
y y y y a † † †
23 22 21 20 21
y y y y a † † †
27 26 25 24 21
y y y y a † † †
31 30 29 28 21
y y y y a † † †
Iar a21 este valoarea majoritara a sistemului.
5 4 1 0 31
y y y y a † † †
7 6 3 2 31
y y y y a † † †
13 12 9 8 31
y y y y a † † †
15 14 11 10 31
y y y y a † † †
21 20 17 16 31
y y y y a † † †
23 22 19 18 31
y y y y a † † †
29 28 25 24 31
y y y y a † † †
31 30 27 26 31
y y y y a † † †
Iar a31 este valoarea majoritara a sistemului.
6 4 2 0 32
y y y y a † † †
7 5 3 1 32
y y y y a † † †
14 12 10 8 32
y y y y a † † †
15 13 11 9 32
y y y y a † † †
22 20 18 16 32
y y y y a † † †
23 21 19 17 32
y y y y a † † †
30 28 26 24 32
y y y y a † † †
31 29 27 25 32
y y y y a † † †
Iar a32 este valoarea majoritara a sistemului.
9 8 1 0 41
y y y y a † † †
11 10 3 2 41
y y y y a † † †
13 12 5 4 41
y y y y a † † †
15 14 7 6 41
y y y y a † † †

50
25 24 17 16 41
y y y y a † † †
27 26 19 18 41
y y y y a † † †
29 28 21 20 41
y y y y a † † †
31 30 23 22 41
y y y y a † † †
Iar a41 este valoarea majoritara a sistemului.
10 8 2 0 42
y y y y a † † †
11 9 3 1 42
y y y y a † † †
14 12 6 4 42
y y y y a † † †
15 13 7 5 42
y y y y a † † †
26 24 18 16 42
y y y y a † † †
27 25 19 17 42
y y y y a † † †
30 28 22 20 42
y y y y a † † †
31 29 23 21 42
y y y y a † † †
Iar a42 este valoarea majoritara a sistemului.
12 8 4 0 43
y y y y a † † †
13 9 5 1 43
y y y y a † † †
14 10 6 2 43
y y y y a † † †
15 11 7 3 43
y y y y a † † †
28 24 20 16 43
y y y y a † † †
29 25 21 17 43
y y y y a † † †
30 26 22 18 43
y y y y a † † †

31 27 23 19 43
y y y y a † † †
Iar a43 este valoarea majoritara a sistemului.
17 16 1 0 51
y y y y a † † †
19 18 3 2 51
y y y y a † † †
21 20 5 4 51
y y y y a † † †
23 22 7 6 51
y y y y a † † †
25 24 9 8 51
y y y y a † † †
27 26 11 10 51
y y y y a † † †
29 28 11 10 51
y y y y a † † †

51
31 30 15 14 51
y y y y a † † †
Iar a51 este valoarea majoritara a sistemului.
18 16 2 0 52
y y y y a † † †
19 17 3 1 52
y y y y a † † †
22 20 6 4 52
y y y y a † † †
23 21 7 5 52
y y y y a † † †
26 24 10 8 52
y y y y a † † †
27 25 11 9 52
y y y y a † † †
30 28 14 12 52
y y y y a † † †
31 29 15 13 52
y y y y a † † †
Iar a52 este valoarea majoritara a sistemului.
20 16 4 0 53
y y y y a † † †
21 17 5 1 53
y y y y a † † †
22 18 6 2 53
y y y y a † † †
23 19 7 3 53
y y y y a † † †
28 24 12 8 53
y y y y a † † †
29 25 13 9 53
y y y y a † † †
30 26 14 10 53
y y y y a † † †
31 27 15 11 53
y y y y a † † †
Iar a53 este valoarea majoritara a sistemului.
24 16 8 0 54
y y y y a † † †
25 17 9 1 54
y y y y a † † †
26 18 10 2 54
y y y y a † † †
27 19 11 3 54
y y y y a † † †
28 20 12 4 54
y y y y a † † †
29 21 13 5 54
y y y y a † † †
30 22 14 6 54
y y y y a † † †
31 23 15 7 54
y y y y a † † †
Iar a54 este valoarea majoritara a sistemului.


52
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se
procedeaza in felul urmator:
x se elimina influenta din relatiile de control a componentelor corespunzatoare
vectorilor compusi ;
x se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate
componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

Urmatorul pas este determinarea lui y` :
y

=
y-(a
54
*V
54
+a
53
*V
53
+a
52
*V
52
+a
51
*V
51
+a
43
*V
43
+a
42
*V
42
+a
41
*V
41
+a
32
*V
32
+a
31*
V
31
+a
21
*V
21
);

Pentru a vedea valoarea componentei mesajului informational :
(a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
se procedeaza pe baza logicii majoritare.
1 0 1
y y a †
3 2 1
y y a †
5 4 1
y y a †
7 6 1
y y a †
9 8 1
y y a †
13 12 1
y y a †
15 14 1
y y a †
17 16 1
y y a †
19 18 1
y y a †
21 20 1
y y a †
23 22 1
y y a †
25 24 1
y y a †
27 26 1
y y a †
29 28 1
y y a †
31 30 1
y y a †
Iar a1 este valoarea majoritara a sistemului.
2 0 2
y y a †
3 1 2
y y a †
6 4 2
y y a †
7 5 2
y y a †
10 8 2
y y a †

53
11 9 2
y y a †
14 12 2
y y a †
15 13 2
y y a †
18 16 2
y y a †
19 17 2
y y a †
22 20 2
y y a †
23 21 2
y y a †
26 24 2
y y a †
27 25 2
y y a †
30 28 2
y y a †
31 29 2
y y a †
Iar a2 este valoarea majoritara a sistemului.
31 27 3
30 26 3
29 25 3
28 24 3
23 19 3
22 18 3
21 17 3
20 16 3
15 11 3
14 10 3
13 9 3
12 8 3
7 3 3
6 2 3
5 1 3
4 0 3
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a


















Iar a3 este valoarea majoritara a sistemului.

54
31 23 4
30 22 4
29 21 4
28 20 4
27 19 4
26 18 4
25 17 4
24 16 4
15 7 4
14 6 4
13 5 4
12 4 4
11 3 4
10 2 4
9 1 4
8 0 4
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a4 este valoarea majoritara a sistemului.
31 15 5
30 14 5
29 11 5
28 12 5
27 11 5
26 10 5
25 9 5
24 8 5
23 7 5
22 6 5
21 5 5
20 4 5
19 3 5
18 2 5
17 1 5
16 0 5
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a5 este valoarea majoritara a sistemului.

Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor
simpli din vectorul y` :
y ÷y`-(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5)

55

Pentru a evalua pe a0, observam numarul majoritar de componente din y » iar valoarea
celor mai multe componente va fi valoarea lui a0. Mesajul corectat este :
m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)


Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clasă de coduri ciclice cu
o deosebită capacitate de corecĠie a erorilor, care generalizează codurile Hamming pentru
corecĠia erorilor multiple.
Un cod ciclic binar, corector de t erori. având
x Lungimea blocului n= , cu m . întreg
x Numărul simbolurilor de control n-k mt, t ,
x DistanĠa d ,
se numeste cod BHC dacă are drept polinom generator g(x) polinomul de cel mai mic grad
peste câmpul GF(2) care are ca rădăcini elementele ale câmpului Galois
GF( ).
Prin urmare g( )=0, i=
Fie polinomul minimal al lui . adică polinomul de cel mai mic grad peste
GF(2) astIel încât ÷0. Atunci polinomul generator g(x) trebuie să Iie cel mai mic
multiplu comun (c.m.m.m.c) al polinoamelor ,
si anume: g(x)= (c.m.m.m.c){ , }.
Un număr par i poate fi exprimat sub forma i=k* , k , impar. Atunci =
este conjugatul elementului . Dar un polinom care admite rădăcinile
admite drept rădăcini si conjugatele acestora. Prin urmare, si au acelasi polinom
minimal si deci . Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){ , }. (3.12)
Grdul Iiecărui polinom minimal Iiind cel mult egal cu m , polinomul g(x) va fi de grad
cel mult egal cu mt . astIel încât numărul simbolurilor de control. n-k , va fi cel mult egal cu
mt : n-k mt. La limită. în cazul corecĠiei unei singure erori. t÷1. rezultă n-k mt.

56
Codul BCH de lungime , cu m 10 . se numesc coduri BCH în sens restrâns
(sau primitive). Aceste coduri sunt generate de elemente primitive de ordin mai mic decât
din GF( ).
Un cod BCH de lungime corector de o singură eroare este generat de
polinomul g(x)= .
Polinoamele minimale ale elementelor din GF( ) generate de g(x)=1+x+


ƒ Exemplu. trebuie să Iie de grad m÷4 . deci de Iorma
=1+ (3.13)
Deoarece
=1+ (3.14)
Conform tabelului 3.3 înseamnă că
(3.15)
si rezultă

Deci
= 1+x+ (3.16)

57
Deoarece din 2t-1÷3 rezultă t÷2. se deduce un cod BCH corector de două erori si de
lungime n= = 15 este generat de g(x)= (c.m.m.m.c){ ,
}= (x)=1+ .
Fie v(x) un polinom de cod cu coeficienĠii în GF(2). asociaĠi unuo cuvânt de cod
v(x)= . Polinomul de cod admite rădăcinile
din GF( ).
Dacă este o rădăcină a lui v(x) pentru 1 , atunci
+ (3.17)
Se introduce matricea
(3.18)
astIel încât v =0.
Rezultă că v este în spaĠiul nul al matricei H si deci H este matrice de control a
codului.

AplicaĠii


Simularea cu ajutorul programului MATLAB a codului BCH

Codurile BCH fac parte din categoria codurilor ciclice. Se va implementa în
programul MATLAB schema prezentată în Iigura următoare.
Se vor utiliza următoarele blocuri:
- Random-I nteger Generator: generează numere întregi distribuite în
intervalul [0, M-1]. Parametrii blocului sunt:
- M-ary number` este 2^7 deoarece codul BCH utilizat este BCH(15,7)
si numerele generate sunt reprezentate în binar pe 7 biēi.
- Initial seed` este [1458]. Modificând acest parametru se modifica secvenēa
de numere generate.
- Sample time` este 1. Generează câte un număr la fiecare secundă.
- I nteger to Bit Converter: transformă un vector de întregi într-un vector de biēi.
Parametrul blocului este:
- Number of bits per integer` este 7. Se lucrează pe 7 biēi.
- BCH Encoder: crează un cod BCH din datele vectorului binar. Parametrii blocului

58
sunt:
- Codeword length N` este 15.
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt:
- Error probability` este 0.1, pentru a nu introduce erori.
- Input vector length` este 15 deoarece cuvântul de cod cu care se adună
este reprezentat pe 15 biēi.
- Initial seed` este 12345.
- Sample time` este 1 pentru a se genera un esantion la fiecare secundă.- BCH Decoder:
decodează un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului
sunt:
- Codeword length N` este 15 .
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Bit to I nteger Converter: transformă un vector de biēi într-un vector de întregi.
Parametrul blocului este:
- Number of bits per integer` este 7.
- Error Meter: compară semnalele de la intrare, le afisează si evaluează rata de eroare.
Parametrii blocului sunt:
- Bit per symbol` este 7 deoarece utilizează 7 biēi pentru fiecare simbol transmis.
- Number of digits on display` este 20 deoarece afisează 20 de
simboluri.
- Delay between input (1
st
port) and output (2
nd
port)` este 0.
- Sample time` este 1 deoarece se consideră un esantion la fiecare secundă.
- Sum: afisează suma elementelor de la intrare. Parametrii blocului sunt:
- Icon shape` este rectangular.
- List of signs` este +.
- Graph Scope: afisează numărul de erori. Parametrii blocului sunt:
- Time range` este 10.
- y-min` este -1.
- y-max` este 5.
- Line type` este 'ro/b*'
- Mux: multiplexează semnalele de la intrare.
- Display: afisează valoarea de la intrare.
Se va realiza schema bloc aratată si se va rula pentru diferite valori ale probabilitatii
de eroare si se vor analiza rezultatele.


59

Simularea cu ajutorul programului MATLAB a codului Hamming
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în
Iigura următoare.






60


ExerciĠii rezolvate.
Un număr de 8 simboluri se transmit cu aiutorul unui cod Hamming grup corector de o
eroare si detector de erori duble. Se cere:
a. să se determine numărul simbolurilor de inIormaĠie k, al celor de control m, si
lungimea cuvântului de cod n;
b. să se scrie matricea de control H a codului;
c. să se stabilească expresia corectorului corespunzător eronării simbolului
2
c ;
d. să se determine corectorul corespunzător eronării simbolurilor
2
c si
1
c ;
e. să se determine cuvintele de cod;
f. să se precizeze dacă > @ 0 1 1 0 0 1 1 v este un cuvânt al acestui cod.

SoluĠie
a). Numărul simbolurilor de inIormaĠie k se determină cu relaĠia si
rezultă k÷3.
Marginea Hamming dă pentru numărul simbolurilor de control:
. din care rezultă că m÷3.
La aceste simboluri de control, care permit corecĠia unei erori. trebuie adăugat
simbolul de verificare la paritate, asa încât numărul total al simbolurilor de control va Ii:
=m+1=3+1=4
Structura cuvântului de cod va Ii:

Unde este simbolul de veriIicare a parităĠii, iar - simbolurile de control
pebtru codul corector de o eroare.
b). Matricea H a codului corector de o eroare este de forma:
H=[ ]
respectiv:
H=
Cu relaĠia (2.33) se obĠine pentru matricea expresia:

61
=
c). Pentru acest caz cuvântul de eroare este de Iorma:

Cu relaĠia (2.34) rezultă pentru expresia corectorului

Din expresia corectorului rezultă că apare o eroare corectabilă ( pe poziĠia a
2-a (z= ).
d). Pentru acest caz cuvântul eroare este de Iorma:

si rezultă:
=
Corectorul arată că apar două erori detecctabile ( ).
e). Cuvintele de cod se pot scrie calculând simbolurile de control din cele de inIormaĠie cu
relaĠia . din care rezultă:








62
Cuvintele de cod se găsesc în tabelul următor.
Simboluri
Cuvinte


0 0 0 0 0 0 0

1 0 1 0 1 0 1

1 1 0 0 1 1 0

0 1 1 0 0 1 1

1 1 1 1 0 0 0

0 1 0 1 1 0 1

0 0 1 1 1 1 0

1 0 0 1 0 1 1


I). Se calculează corectorul astfel:
= =
Deoarece iar z÷0 cuvântul dat este un cuvânt al acestui cod. ceea ce era usor
de constatat si prin inspectarea tabelului anterior. în care îl regăsim sub Iorma cuvântului .

TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1
Se consideră un cod grup cu matricea de control de forma:
»
»
»
¼
º
«
«
«
¬
ª

0 1 1 0 0
1 0 0 1 0
1 1 0 0 1
H
a. să se determine proprietăĠile de corecĠie ale codului. Codul este perfect?
b. să se stabilească dacă matricea:

63
»
¼
º
«
¬
ª

1 0 0 1 1
0 1 1 0 1
G
poate să Iie matricea generatoare a codului.
c. să se scrie cuvintele de cod utilizând matricele H si G.




BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3:
|1| A. Spătaru: Teoria Transmisiunii InIormaĠiei. Ed. Didactică si Pedagogică. Bu-
curesti, 1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

|3| I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John
Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ,
England,2006.

UNIVERSITATE

TEORI A TRANSM I TERI I
Teoria transmiterii aleatoare i teoria deciziilor statistice

a codurilor, teoria semnalelor urile de evaluare. Modul de

ajute oferinduDisciplina Teoria transmiterii obiective specifice: Teoriei transmiterii codific .

disciplinele ; tehnicoO comp

tem

2

CUPRINS MODULUL 1pag.4 MODULUL 1- CAPITOLUL 1- ELEMENTE DE ..................................................................................................................................pag.5 1.1. 1.2. 1.3. 1.4. Informatia ..............................................................pag.5

Sistemul de transmitere a informatiei. .......................................pag.6 1.3. Modele de surse informationale. .........................................pag.7 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 2.1. Modele de surse informationale.....................................................pag.9 2.2. Informatia proprie conditionata...................................................pag.10 TESTE DE AUTOEVALUAR .......................pag.21 BIBLIOGRAFIE RECOMAN ....................... pag.21 MODULUL 2 - CODAREA SURSELOR MODULUL 2- CAPITOLUL 1.................... .........pag.22 .....pag.23

1.1 Codificarea surselor discrete.......................................................pag.23 1.2 Codificarea neuniforma................................................................ pag.23 1.3. Codarea si decodarea pe canale fara perturbatii ... pag.25

1.5 TESTE DE AUTOEVALUAR BIBLIOGRAFIE RECOMAN

Fano. .........................pag.34 ................ pag.39 ..................pag.40

MODULUL 3................pag.41 MODULUL 3 - CAPITOLUL 1 - CODUR ERORI.....................................................................................................................pag.42 1.1. Codarea si decodarea pe canale perturbate ..............................pag.42 ..pag.44 1.3. Exemple de coduri liniare ...........................................................pag.46 TESTE DE AUTOEVALUAR .................pag.62 BIBLIOGRAFIE RECOMAN ...................pag.63

3

care se obtin. abia in zilele noastre se stabilesc bazele intelegerii lor. se transforma. iar legile dupa care informatia apare. mai bine zis.In intelesul mai larg. GRECU DAN MODULUL 1 INFORMA IEI informa iei. dr.introducerea notiunii de informafie a permis studierea dintr-un punct de vedere comun a celor mai diferite procese de comanda din natura. se pastreaza. in interactiunea omului cu mediul inconjurator.. despre care s-a stiut mai putin inainte elor specifice teoriei este estimat la aproximativ 6-8 ore pentru fiecare modul -un ritm de 2-3 ore pe zi. Intocmai cum introducerea notiunii de energie a permis sa se analizeze toate fenomenele naturii dintr-un punct de vedere unic. Informatia este comunicarea (mesajul) ce aduce stiri despre fapte. Se numeste informatie orice stire care poarta in sine urma unui fapt. 4 . evenimente. fapt etc. obiecte. independent de substratul lor fizic. tot asa. se elucideaza metodele de studiu si investigare. eveniment sau proces oarecare.a fost un moment important in stiinta.ing. A obtine o informatie inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte asupra unui lucru. Notiunea de informatie a aparut mult mai tarziu decat notiunea de energie.Tutori: Lector univ. in nofiunea de informatie se pot cuprinde toate stirile despre mediul care ne inconjoara sau. Stabilirea notiunii generalizate de informatie pentru caracterizarea proceselor de conducere dintr-un punct de vedere unitar. se prelucreaza si se foloseste sunt inca insuficient studiate. procese.

Esenta proceselor de conducere. in televiziune se deformeaza imaginea. Tot asa.nu sunt determinate de cantitatea de energie folosita pentru transmiterea infornafiei. in telefonie se distorsioneaza semnalul de vorbire. care se desfasoara pe baza schimbului de informatie. Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura adecvata pentru caracterizarea ei. semnale . radio . imagine. pastrarii si transmiterii informatiei. Prin intermediul vazului. I nformatia i.MODULUL 1 CAPITOLUL 1 ELEMENTE DE TEORIA TRANSMITERII INFORMA IEI 1. in telegrafie apar greseli de imprimare. Cantitatea de informatie si cu atat mai mult efectul ei. unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme. informatii multimedia:audio. informatii logice. adica sa existe siguranta ca se pastreaza obiectul masuratorii. poate fi masurata. telegrafului si radioului.5. Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la greseli.una din problemele principale ale teoriei informatiei consta in stabilirea metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii. Asadar. Comunicari complexe. de tip text. consta tocmai in aceea ca miscarea si actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati reduse de energie. de informatie :informatii numerice. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de telecomunicatii. notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate forme: aceasta constituie o proprietate de seama a informatiei. precum si al celorlalte simturi. De aceea. sele energetice care insotesc transmiterea informatiei joaca un rol secundar. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie sa existe posibilitatea folosirii acestei masuri. Problema principala a teoriei informatiei este studierea transformarii. ordine si dispozitiuni se transmit cu ajutorul telefonului.se transmit informantii. transmiterea informatiei este insotita de un fenomen nedorit. care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei. Comunicari si mai complexe sunt cele transmise prin intermediul televiziunii.telegraf. 5 . omul primeste zilnic tot felul de informafii despre evenimentele din lumea ce il inconjoara.de adaugare la informatia transmisa a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii. Prin mijloacele de telecomunicatii -telefon. indiferent de natura sistemului. evidentiindu-se in mod deosebit latura informafionala a sistemului. video. informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza in limitele sistemului respectiv. O alta proprietate de seama a informatiei este aceea de a putea fi masurata. auzului.

1.isi pastreaza capacitatea sa de a transmite informatia numai in cadrul unui sistem de transmisiuni.in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse date. Reprezentarea informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se calculeze si sa se construiasca dispozitive de codificare si decodificare de canal. independent de proprietatile sursei sau destinatarului. independent de dispozitivele corespunzatoare care se refera la sursa. de exemplu. daca acest lucru este posibil sa se faca. Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia telefonica. Astfel.si cum sa se faca.1. adica de a reproduce mesajul de la iesirea sursei la 6 . Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare sau care apartin unui alfabet finit.1 executa orice prelucrare a semnalului generat de sursa. a zgomotului termic. consta in a stabili cate simboluri binare. din care decoderul sursei restabileste mesajul initial cu o precizie adoptata de catre destinatar. sursa carora pot fi schemele de comutare.2.semnalul . a bruiajului intentionat al adversarului etc. actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza modificarilor caracteristicii de frecventa. Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de semnale binare. Sistemul de transmitere a informatiei. dispozitivul de memorie sau organismul uman.1 Fig. Destinatarul poate fi omul sau un dispozitiv tehnic oarecare.1. a convorbirilor ce se induc din alte linii. Sarcina sistemului de transmisiuni.se formeaza o succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. comprimare de date sau introducerea unei redundante pentru lupta cu perturbatiile. si una din problemele importante ce apar. schema bloc destul de generala a unui sistem de transmisiuni este data in fig. este de a transmite mesajul de la sursa la destinatar. Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele inportante ce apare este. Pentru a simplifica analiza modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de canal. la intrarea coderului canalului si la iesirea decoderului canalului. o anumita combinatie de modulatie. Purtatorul material al informatiei . Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce la partea de receptie o copie acceptabila iesirii sursei. Asupra canalului.1. a impulsurilor parazite. linia radio sau radioreleu. O asemenea prelucrare poate include. de regula.1 Coderul din fig.

.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o succesiune de simboluri care fac parte dintr-un alfabet finit. ci caracterizeaza proprietatile cup -destinatar". poate fi luata ca o masura a cantitatii de informatie transmisa de sursa intr-un interval de timp.Rationamentul prezentat permite sa se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare.. Remarcam faptul ca scrierea numerelor. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. necesare pentru reprezentarea fiecarui mesaj din multimea mesajelor posibile . La aceste surse iesirea este o succesiune (in timp) de litere. exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat. Astfel.ci o reproducere care corespunde anumitor scopuri specifice. Shannon . In afara de aceasta. Vom numi acest obiect 1. ak. Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o importanta fundamentala. Existenta criteriului de precizie permite sa se grupeze toate mesajele posibile. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic independent si intamplator. in cazul transmiterii mesajelor admisinile. care.Sarcina sistemului de transmisiuni consta in reproducerea mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar.. Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor aleatorii. Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a mesajelor posibile in clase de echivalenta. dupa cum vom vedea. alegere ce are la baza o repartitie oarecare de probabilitati P(a1). de la iesirea sursei in clase disjuncte.. fiecare din ele alese dintr-un alfabet dat.3. care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de precizie adoptat. . Dar. in orice interval de timp.. Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda. ca sa fie posibila decodificarea lor. si criteriul acceptabilitatii.. . Prima teorema a lui C. obiectul ce se transmite nu determina numai proprietatile sursei. intr-o forma binara nu are o importanta principala. a1.teorema fundamentala a codificarii in lipsa zgomotelor da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod. aceasta presupunere este justa numai intr-un anumit caz.Criteriul acceptabilitatii depinde de scopul transmisiuni. admisibile pe timpul transmisiei. 7 . pentru fiecare cuplu sursadestinatar. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp dat. Sistemul de transmisiuni indica destinatarului clasa din care face parte mesajul respectiv. numarul mediu de sinboluri binare. M odele de surse informationale. intrucat conduce la enumerarea reprezentantilor claselor din intervalul de timp dat. a2. Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor conditii destul de generale poate fi indicat numarul R.generate intr-o secunda. Ele pot fi scrise in orice sistem de numeratie. depinde de intervalul de timp T cu care s-a lucrat la gruparea mesajelor in clase de echivalenta. p(ak). Numarul M de mesaje admise nu descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu care sunt generate aceste mesaje admisibile.

. Aparitia unui semnal in cadrul unui experiment se considera ca un eveniment. puten conchide universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic. Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si intotdeauna se face abstractie de continutul semantic al mesajului.. de asemenea. Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei aleatoare: X x1 P x1 X x2 P x2 X .4. fie numarul natural care corespunde semnalului respectiv.2) Probabilitatea ca rezultatul experimentului va fi un element oarecare x. xM P xM X (1. se noteaza cu Px(x) in care. M odelul probabilistic al semnalelor. Cauza acestei tratari unilaterale rezida in faptul ca aparatul matematic existent deocamdata. totdeauna se poate realiza o corespondenta biunivoca intre semnalele posibile si intre o multime de numere naturale X . Semnalele discrete care intervin in diferite sisteme informationale. Experimentele cu mai multe rezultate simultane vor fi caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor elemente.ceea ce se face cu ocazia observarii cu o precizie data.nu ne permite efectuarea unui studiu calitativ al informatiei.utilizate in cadrul unui sistem informational dat . destinate transmiterii si prelucrarii datelor. Construirea unui model probabilistic pentru semnalele discrete .1. iar semnalele continue. Evident: M P x P xK X K 1 1 (1.presupune cunoasterea probabilitatilor cu care apar aceste semnale in urma unui experiment.. La calculul cantitatii de informatie si la stabilirea unitatii de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera semnalele ca evenimente aleatoare. prin x se intelege fie un semnal oarecare. discrete.. prin indicele X se accentueaza ca rezultatul experimentului este un semnal din multimea semnalelor posibile X.facand ca fiecarui semnal sa corespunda un numar natural x X. Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta intr-un semnal purtator de informatie. adica probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X considerata.1) Prin notatia X k se intelege probabilitatea de aparitie a evenimentului x=xk. permit o tratare corespunzatoare probabilistica.. Astfel. permit o descriere probabilistica dupa discretizare . 8 . In cazul cand nu exista ambiguitati in privinta apartenentei lui x se poate suprima indicele X. In continuare.si astfel multimea semnalelor discrete se poate inlocui cu o multime de numere naturale X.

3) sau mai simplu se scrie sub forma: H X K 1 P x log (1.2 Entropia semnalului Fie 9 .4) Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de repartitia de probabilitati este data in fig 1. Valoarea medie a informatiei proprii pentru evenimente din multinea X se numeste entropia lui X si se calculeaza cu formula: K H X K 1 PX xK log 1 PX xK 1 Px (1.MODULUL 1 CAPITOLUL 2 2.2: Fig.1.1. M odele de surse informationale Informatia proprie. ca si informatia reciproca se poate considera ca o variabila aleatoare si se calculeaza valoarea sa medie.

y I x I x y (1.6) 2.5) atunci: H X p log 1 p 1 p log 1 1 p H p (1.X x1 x2 p 1 p (1.cu conditia ca a aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula: IX Y xk yi log 1 x Px k yi y (1.7) sau mai simplu se scrie: Ix x y log (1. y x y log Px P log 1 Px log 1 x P y (1.9) de unde I x. Cantitatea de informatie proprie conditionata a evenimentului X=Xk . y I y I x (1. 1 x P k yi I x.2. dtupa ce a avut loc evenimentul y =yi.8) Aceasta cantitate de informatie proprie a evenimentului X=Xk. conditionata de evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului x=xk .10) Din relatia anterioara se obtine pe baza reciprocitatii relatia: y I x. Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o diferenta intre informatia proprie si informatia proprie conditionata. I nformatia proprie conditionata.11) 10 .

15) rezulta ca. y H H H y x x y (1.iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y. adica ce cantitate de informatie se transmite despre X prin observarea lui Y. y log 1 P x.y) din produsul cartezian de evenimente xy. y (1. Tinand seama ca: y x P x.16) Luand mediile expresiilor din relatiile anterioare se obtine: x I x. y H y H x H x H y y x H y H x. y H x.In mod analog I(x. rezulta ca diferenta H(X) .y) se poate scrie sub forma: y I x.Y) este numita si informatia transmisa sau pe scurt transinformatia. y (1.Y).y) se poate scrie sub forma: x x P PyP y y P x. y I y I x y (1. y I x. cantitatea de informatie proprie a unui eveniment (x. y I x I x I x. y log log log Px PyPx PyPx deci: log 1 Px log 1 Py log 1 P x. y (1.12) I x.17) Prima relatie din sistemul de mai sus permite interpretarea lui I(X. y H x H y I x. Iata motivul pentru care cantitatea de informatie medie I(X. y P x P PyP x y (1.H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y. y H x. 11 . y unde : I x I y I x.13) I x.14) reprezinta cantitatea de informatie proprie a unui eveniment (x. Deoarece H(X) este nedeterminarea lui X. y I x.

atunci H(x)>0.Din formula entropiei. 0 (1.o proprietate care de asemenea joaca un rol important in teoria informatiei.suma H(X) contine termeni de forma P(x)log(1/P(x)).daca si numai daca repartitia lui X este uniforma adica: 12 .. Shannon in anul 1948 in lucrarea sa.1.. 1 . Proprietatea 2.atunci avem: log Px Qy P log x Q log y (1. xk 0 . repartitia lui X este degenerata si este de forma: X x1 .care sunt mai mari sau egali cu zero pentru 0<P(x)<1. Daca P(xk)=1. Fig.. data de catre C.19) in care avem egalitate daca si numai daca x=y.20) unde avem egalitate... Fie X multimea formata din K semnale . H(X)>0 In adevar..atunci: H x log K (1. Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a fost pusa in evidenta de Jensen. Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice.Psi Q numere positive si P+Q=1.y.. Proprietatea 1.3. rezulta ca entropia Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y). xK .18) si H(x)=0.Daca repartitia lui Xnu este degenerate.din egalitatea entropiilor nu rezulta identitatea repartitiilor. Fie x.insa invers..

avem: H x. . comunicatia este o variabila aleatoare. p2 . Pentru ca acest continut sa fie o masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati : (i) daca pk pj I (mk ) I (mj ) (ii) daca pk 1 I (mk ) 0 (iii) daca 0 pk 1 I (mk ) 0 (iv) (aditivitatea) daca mk I (mk si mj ) I (mk ) I (mj ) si mj sunt mesaje independente O functie continua de variabila pk care satisface proprietatile (i)-(iv) este functia logaritmica. Fie o sursa discreta care emite unul dintre cele q mesaje m . mq cu probabilitatile 1 de aparitie p1 . m2 .22) in care avem egalitate daca si numai daca X si Y sunt statistic independente. Pentru cazul simplu al unei transmiteri seriale asincrone 13 . unitatile de masura sunt biti (informationali). Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Pentru doua multimi de semnale X si Y . ate. Continutul informational al mesajului k este notat cu I (mk ) .X x1 1 k x2 1 k .. pq ... k (1. I (mk ) log 1 pk log pk Daca baza logaritmului este 2. . Din punctul de vedere al destinatarului.. continutul informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui eveniment. xk 1 . y H x H y (1. Este evident ca probabilitatile satisfac relatia p1 p2 pq 1.21) Proprietetea 3.

25 106 2 log 2 3 12 Problema 2 Un display monocolor cu biti 24 linii 80 caractere/linie 128 puncte/caracter 3 tonuri de gri/punct (a) Care este cantitatea de informatie pe pixel. Durata tuturor impusurilor este de 1 ms. Care este cantitatea de informatie transmisa ? Solutie I=nr. echiprobabile. ecran ? (b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ? Solutie (a) (b) 24 80 128 log2 3 [biti ] 1 fc I R I f c [bps] I Problema 3 Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4 impulsuri de tensiune care pot avea nivelurile 0. caracter.T2 E M se definesc (a) rata de biti=(durata unui bit) -1 =1/T2 exprimata in biti/secunda (abreviat bps). (a) Care este debitul de informatie ? 14 .1.elemente informatie per element= 1 2.25 106 pixeli cu 12 tonuri de gri. Problema 1 Se considera o trasmisie fax : 2. (b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T1 exprimata in bauds.25 106 log 2 22 3 2.25 106 log 2 2.2 sau 3 volti (echiprobabile) urmate de un impuls de pauza de nivel -1 volt.

Se cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea. I 3 log 2 log 2 3 1 3 sa se propuna un algoritm de depistare. Se foloseste pentru cantariri o balanta fara mase marcate. Solutie 1 log 2 12 1 12 cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara 1 este I 2 log 2 log 2 2 1 2 cantitatea de informatie totala necesara a fi determinata I I1 I 2 log2 24 cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei) 1 numarul minim de cantariri I kI 3 24 3k k 3. cantitatea de informatie necesara determinarii monedei false este I 1 log 2 Problema 5 Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt nivel 0: 1/2 nivel 1:1/4 nivel 2:1/8 nivel 3:1/8 Solutie 1 1 1 1 1 1 1 log log 2 log 3 5 10 2 2 4 4 8 8 Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca entropia este maxima pentru o sursa care genereaza simboluri echiprobabile Hmax log2 n .6 [kbps] 5 10 3 1 103 [baud] 1 [kbaud] 3 10 Problema 4 Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte).(b) Care este rata de bauds ? Solutie (a) (b) R rbauds I 4 log2 4 1. R r H Problema 6 15 .

yj ) p yj xi p( xi ) Din graf se deduce ca p y1 x1 1 q p y1 x2 0 16 . io at ati 2 ua EM Metoda scalara n.Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat matricei de tranzitie din figura de mai jos B E B D E B E D E q B E D u E D q BE B E E at D u Dq E q io E E at Equ D u Solutie q qu io atio simbolurile n. on p( xi ) o 3 2 n. evenimentele x1. n. io tio ti C max H (Y) H Y X 2 n. M fiind mutual exclusive. x2 E Analog se poate scrie BE D B Equ atio BE n.2 2 i 1 2 y x p( x ) (1 q) p( x ) p( y1 ) p y1 x1 p( x1 ) p y1 x2 p( x2 ) p 1 1 1 1 EM E S-a utilizat formula probabilitatii totale. H (Y) p( yi ) log p( yi ) . yj ) log p y j xi Conform regulii de inlantuire p( xi .2 q care la receptie sa poata fi interpretate ca fiind incerte. surse binare in masura in E at Acest model descrie un u canal care perturba unei 2 ua n. n.2 ED M E M p( y2 ) p( y3 ) H (Y) (1 q) p( x2 ) p y3 x1 p( x1 ) (1 (1 (1 E M E M q log q q p( x1 ) (1 (1 p y3 x2 p( x2 ) q) p( x1 ) q) p( x2 ) E q 1 M q q) p( x2 ) q log q q) p( x1 ) log(1 (1 q) p( x2 ) log(1 q) log(1 q) q) p( x1 ) log p( x1 ) q) H ( X ) 2 3 p( x2 ) log p( x2 ) q log q q) log(1 H YX i 1 j 1 p( xi .

Se considera sursa care genereaza un alfabet de simboluri xi . Problema 7 Fie matricea de tranzitie P Y X Se cere sa se calculeze (a) entropia campului de intrare 2 / 3 1/ 3 1/ 3 2 / 3 si p(x1)=3/4 si p(x2)=1/4. . m. P(Y) este matricea linie a destinatiei (1 m) . Matricea campurilor reunite (joint) este p( x1 ) P( X . Y) 0 0 0 p( x2 ) 0 0 p( xn ) PYX Matricea de zgomot P Y X se poate obtine prin impartirea fiecarei linii i prin p(xi ). Se pot scrie urmatoarele relatii: P(Y) P( X ) P Y X 1. . Matricea de echivocatie P X Y se poate obtine prin impartirea fiecarei coloane j prin p(yj) . j 1. Observatie In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate iesirilor.p y2 x1 p y3 x1 Se obtine H YX 0 q p y2 x2 p y3 x2 q 1 q (1 q) log(1 q) q log q p( xi ) C (1 q) max H ( X ) (1 q) 1 1 q pentru setul optim de probabilitate la intrare p0 ( x1 ) Metoda matriciala p0 ( x2 ) 1. P Y X este matricea dreptunghiulara de zgomot (n m) . i se receptioneaza un alfabet de simboluri y j . n si la destinatie unde P( X ) este matricea linie a sursei (1 n) . 17 .

81 bit / simbol (b) H (Y) j 1 p( yj ) log p( yj ) 2 / 3 1/ 3 1/ 3 2 / 3 P(Y) 3/ 4 1/ 4 7 / 12 5 / 12 H (Y) 7 7 log 12 12 2 2 5 5 log 12 12 0.73 bit / simbol (d) sau (e) unde H YX i 1 j 1 p( xi .98 bit / simbol (c) H XY i 1 j 1 p( xi . Y) 2 2 i 1 j 1 H XY p( xi . y j ) log p xi y j 0 2 / 3 1/ 3 1/ 2 1/ 4 P( X . Y) 3/ 4 0 1/ 4 1/ 3 2 / 3 1 / 12 1 / 6 H ( X . y j ) log p xi y j 18 .(b) entropia campului de iesire (c) entropia campurilor reunite (d) eroarea medie (e) echivocatia (f) transinformatia (g) capacitatea canalului si setul optim la intrare (h)eficienta si redundanta relativa a canalului Solutie 2 (a) H( X ) i 1 2 p( xi ) log p( xi ) 3 3 log 4 4 1 1 log 4 4 2 3 log 3 4 0. Y) 2 1 1 log 2 2 2 1 1 log 4 4 1 1 log 12 12 1 1 log 6 6 1. y j ) log p y j xi H( X ) 0.92 bit / simbol H YX H ( X .

06 bit / simbol (g) canalul fiind dublu uniform C log 2 1 1 1 log 1 3 3 1 1 (2 1) log 3 3 0. y j ) log p y j xi p0 ( x1 ) p0 ( x2 ) i 1 j 1 p y j xi p0 ( xi ) log p y j xi 1 1 log 3 3 2 2 log 3 3 1 1 log 3 3 2 2 log 3 3 deci H Y X nu depinde de P( X ) C max H (Y) p0 ( xi ) 2 2 log 3 3 1 1 log 3 3 19 . Y) 0.P XY 1 2 7 12 1 12 7 12 1 4 5 12 1 6 5 12 6 7 1 7 3 5 2 5 si sau (f) H XY H XY 1 6 log 2 7 H ( X .082 bit / simbol Setul optim p0 ( x1 ) . Y) H( X ) H(Y) H( X . Y) 1 3 1 1 log log 4 5 12 7 H (Y) 1 2 log 6 5 0. p0 ( x2 ) se obtine din C max H (Y) p0 ( xi ) H YX 1 p0 ( x2 ) 3 2 p0 ( x2 ) 3 2 2 p( y1 ) p( y2 ) 2 p0 ( x1 ) 3 1 p0 ( x1 ) 3 2 2 H YX i 1 j 1 p( xi .75 bit / simbol I ( X .

022 bit / simbol Problema 8 Fie un canal binar simetric avand matricea campurilor reunite P( X . y1 ) 2 p( x1 .4 1/ 2 0.dar max H (Y) p0 ( xi ) log 2 1 p( y1 ) p( y2 ) 1 2 p( y1 ) p( y2 ) p0 ( x1 ) p y1 x1 p0 ( x1 ) p y2 x1 p0 ( x1 ) p0 ( x2 ) 1 .73 p0 ( x2 ) 1 R(C) C I ( X . Y) . y2 ) 1 0.1 . y1 ) p( x1 . (a) Calculati matricea P( X .4 ? ? 0. Y) 0.1 si mutual exclusive se obtine p( x1 .2 0.8 0. 2 p y1 x2 p0 ( x2 ) p y2 x 2 p0 ( x2 ) Observatie Se mai poate utiliza si relatia p0 ( x1 ) (h) (C) I ( X .2 0. Y) 0. P( X .1 1/ 2 0.1 1/ 2 0. y2 ) 0.8 20 . Solutie 0. y2 ) p( x2 . (c) Calculati transinformatia.4 (b) PYX 0. (b) Calculati matricea de zgomot. y2 ) si folosind proprietatea (iii) a evenimentelor (a) canalul fiind simetric p( x1 .4 0.1 0.4 1/ 2 0.4 si p( x2 . Y) C 0. Y) pentru care sursa genereaza simboluri echiprobabile.

P. England. 1972. Angheloiu. b. iei unei figuri pe ilor reunite intrare-ie forma: PY X 1/ 4 1/ 4 1/ 4 1/ 4 uleze: a. b.G.2006. 1 a. [4] J. Chichester. eroarea medie i echivoca ia. Moreira. West Sussex PO19 8SQ.C. 2 uleze cantitatea de informa tabla de ah. d.TESTE DE AUTOEVALUARE Testul nr. John Wiley & Sons Ltd. Farrell. ti. 21 . Southern Gate. e.cure ti. Transmisiunii Informa iei 1983 [3] I. c. ire. cantitatea de informa ie con Testul nr. The Atrium. transinforma ia i capacitatea canalului. ESSENTIALS OF ERROR-CONTROL CODING. ti. 1983. BIBLIOGRAFIE RECOMAN i Informa .

cons au va cuvintelor de cod. distinge algoritmi de compresie pierde ersibili. codurile de compresie se clasif bloc. 22 . c e pentru codare ea. bloc bloc cuvinte de cod de lungime fi ar variabil variabil corespun cuvintelor de cod. ectivul compresiei c erea num de simboluri binare necesar pentru reprezentarea mesajului.MODULUL 2 CODAREA SURSELOR IONALE Compresia datelor este un proces de re prin car e edunda ei mesajului genera entru a reduce resursele necesare memor cestui mesaj. de re pentru memorarea sau transmiterea unui mesaj se folose -o ermedia eprezentarea prin simboluri bina cele mai multe metode de compresie folosesc metode de codare binar . prin decompresie ndu-se mesajul origina tocmai. Deoarece. Algoritmii de compresie cu pierderi au ca rezultat difer elativ mic tre mesajul rezultat prin decompre cel origina a compre esaje -Fano. bloc variabil.bloc.binar. Din punct de vedere a c cut prin decompresie se asea -a ac at prin procesul de compresie. variabil ariabil variabil.

u2 .. n de n litere de sursa este semnalelor.MODULUL 2 CAPITOLUL 1 CODAREA SURSELOR 1....1) 1. xD .. P a2 .Aceste combinatii se numesc si cuvinte de cod.. a2 . n i 1 P i (2. un formate cu ajutorul literelor din alfabetul sursei... adica decodificarea sa fie unica. a2 ..deci: n P 1 .. 2 .... cM . C c1 . adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui simbol nu depinde de celelalte sinboluri anterioare..deci sursa produce u1 .trecerea de la un sistem de semnale primare la un sistem de semnale secundare se numeste codificare...adica probabilitatea unei succesiuni date egala cu produsul probabilitatilor literelor de sursa .. In general......1 Codificarea surselor discrete.Numarul semnalelor secundare c a n din cuvantul de cod k care.iar totalitatea lor formeaza un cod. 2 . P aM . a ... 23 .dupa cum s-a vazut. Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare a .c2 ...cuvintele de cod care corespund semnalelor primare a1 ... Cerinta principala care se pune pentru orice codificare practic utilizabila este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la cele initiale.. aL ..2 Codificarea neuniforma.corespunde lui k ....se noteaza cu k . aM care apar cu probabilitatile P a1 . Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si fara memorie.. x2 .. deci ui A pentru Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a n 1 . aM se noteaza cu c1 .. c2 .. Fiecare sau litere notate cu 1 2 litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din alfabetul codului care contine D semnale X x1 .. Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si secundare. Alfabetul sursei discrete se noteaza cu succesiuni de litere A a1 . cM .

. Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si convenabila. Se observa ca in cazul unui cod D-nar.Sirul de litere xi1 . codurile unic decodabile prezinta un interes . Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste cod cu proprietate de prefix. deoarece o combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. fiecarui nod final ii corespunde o combinatie de cod.corespunzatoare diferitelor succesiuni de lungime finite a sursei. c 24 .. Momentul cand se obtine o succesiune cu sens.sau nodul final de la extremitatea drumului simplu corespunzator Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta biunivoca intre cuvintele de cod si intre nodurile finale. xi 2 .. La decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.cu ajutorul unui graf arborescent. ck se numeste unic decodabile daca succesiunile cuvintelor de cod. De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu ajutorul unui graf arborescent. dar in acest caz cel putin unui cuvant de cod ii corespunde un nod internediar.unde k m se numeste prefixul lui i .... xim .2) Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod atribuite semnalelor primare sunt distincte se numeste cod nesingular...constructia grafului arborescent corespunzator este asemanatoare. arata si sfarsitul unui cuvant de cod... c2 .Dintre toate. dat fiind faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin reducerea (suprimarea) ultinelor simboluri. Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care prezinta un interes deosebit din punct de vedere practice. tinand cont ca din fiecare nod pomesc D arce.unde n se mai numeste si lungimea mediea combinatiilor de cod: M n K 1 P ak nk (2. xi 2 .d. Codul C c1 .sunt distincte.Relatia care exista intre codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea teorema:orice cod cu conditia de prefix este un cod unic decodabil. Fie un cuvant de cod ci xi1 .. Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee.acel cod care conduce la un n -numarul mediu de litere de cod pe litere de sursa-cat mai mic posibil.motiv pentru care codurile cu proprietate de prefix se numesc si coduri ireductibile.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de prefix.Fiecarui cuvant de cod ii corespunde un drum simplu.din punct de vedere economic.m. xim . deci fiecarui cuvant de cod ii corespunde un nod final si nu un nod internediar si invers.

. Totalitatea cuvintelor de cod constitue codul lui S cu mentiunea ca X * poate contine si combinatii care nu apartin codului..1. un text constituit din secvente de mesaje: mj s1.6) Orice aplicatie S Un element s * i X * se numeste codarea alfabetului S prin alfabetul X X * si care corespunde lui si n si * ni este numarul de litere cale Il formeaza.. Astfel... s i i ik (2... Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor tie numita Definirea unui cod.... caractere) Se considera reuniunea secventelor finite de litere din alfabetul canalului: X* n Xn (2.. numite cuvinte fara sens.7) este codat prin secventele de cuvinte de cod (cu sens) mj * * si 1 ...... pN (2. Codarea si decodarea pe canale fara perturbatii... In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un codor/decodor al sursei..3) pi P p1... xq (2.5) constituit dintr-un numar finit de semne (litere.8) 25 . x2 ...... s 2 ..4) Fie alfabetul canalului X x1. s2 . S cu probabilitatea de aparitie p s i s ..3. sik 2 (2. sN 1 (2. si * ....... p2 ..

n2 .... s * .Decodarea implica posibilitate n mod unic (aplicatia S X sa fie injectiva).. Alcatuirea unui cod. Daca numarul cuvintelor de lungime k este rk atunci conditia (1... nN (2. Un cod de acest tip este un cod unic decodabil. adica aplicatia k 1 Sk X * sa fie si ea injectiva. Un cod cu aceasta probabilitate se numeste regulat (nesingular). 1 1 n Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i corespunda o succesiune unica de litere.9) Observatii 1. s2* 1 10 si s3 01.. Se reaminteste ca q card X este numarul de litere din alfabetul canalului. Aceste coduri se numesc separabile. Codul 010 poate fi interpretat fie s * .10) cu N k 1 rk Teorema Mac Millan Un cod este ireductibil daca si numai daca n1 26 n2 .... s2* fie s3* . nN este ca N ni q i 1 1 (2. 2. fie de exemplu * s * .11) .. Regularitatea este o conditie necesara dar nu suficienta pentru decodare.9) devine n rk q k 1 n k 1 (2. Teorema Kraft Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de lungime n1. Conditii suficiente care sa asigure aceasta proprietate sunt: (a) utilizarea cuvintelor de cod de aceiasi lungime (bloc) (b) utilizarea unui semn distinct Intre cuvintel (separator) Exista nsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura proprietate de unic decodabil..

Criterii de apreciere a unui cod.14) 1 (2. Prima pe un canal neperturbat de capacitate data. eficienta unui cod este H n log 2 q iar redundanta codului este 1 (2. n H log 2 q (2.4) si ni Este evident ca se cauta ca n limitat inferior de entropia informationala pe simbol a alfabetului de cod i. Pentru orice sursa omogena exista un cod ireductibil pentru care lungimea medie a cuvintelor e .12) unde pi sunt definite prin (1. Transmiterea mesajelor presupune un cost care creste linear cu timpul. Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau compacte.13) unde H este entropia sursei. Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. 27 .15) Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se numesc coduri absolut optimale Prima teorema a lui Shannon. In aceste conditii. Un criteriu n n i 1 pi ni (2.

respectiv S un alt procedeu de codare. notat cu .. invers.. p( ) .. cu -un nou mesaj. S = {s1. s2 ... p( ).. . ={ cu p( ) p( ) . -un nou mesaj ...4. . astfel: - ={ }. cu p( ) .1. cu p( ) p( ) . de ordine - analog. ... va fi i va fi sau 28 . din mesaje. sN} . De fapt.

tantanee 29 . S poate furniza N NN ine Nn mesaje. S cuvintelor de co luate individual.mea S a mesajelor poate fi ) i sunt cele - ii n singur mesaj .16) simbolul "1". k= . va avea realiza cuvintelor de cod. care sunt N-n=2 => n=N-2 (2. . celor N-2 -lisimbolul "0".

Schema de codare pentru exemplul 3. 3.1.Exemplul 3.1 Graful i cuvintele de cod corespunz toare cod rii efectuate sunt date n Fig.3.3 30 . Fig. 3. S: ate realiza astfel: Fig.2.

minime. ceea ce va c S: 31 .

32 .Fig.7. 3.

lungimea medie este. cu primul cod se rimul. mai multe de capacitat . evide ursei -un buffer. 33 .Pentru acest cod.

.. atunci se poate scrie: S rela ia (1.18) (2..5 Fano.21): - 34 .19) .. sN} = . s2 p( ) p( ). ( ) k= (2.17) S = {s1. Sursa S (2. p( unde .1.

.21) ia (1. rela 35 . egalitate. atunci.(2. astfel: . vor vor dar toate absolut optimale.22): (2.22) Kraft e. (sau invers).

S: - Graful arborescent ata at codului astfel ob 36 .2.Exemplul 3.

mesaj A 00 01 10 11 B 0 10 110 1110 C 0 01 011 0111 D 0 10 110 111 s0 s1 s2 s3 37 .Simularea cu ajutorul programului M ATLAB a algoritmului de compresie Shannon-Fano care - Exerci Exemplu .

Dupa receptinarea 1 primelor sase biti se poate determina ca s-a receptionat s3s .Folosind codul B. Un cod de tip C se numeste cod instantaneu.875 B C 1. Dupa receptionarea primelor sase biti conduce la 1 decodarea s3 dar secventa 01 poate fi interpretata la acel moment fie care s fie ca. Se considera sursa care genereaza simbolurile : .5 .125 .s1 cu probabilitatea p2 = 0.25 2 0.125 3 1.s3 cu probabilitatea p4 = 0. B.s2 cu probabilitatea p3 = 0. succesiunile s3s s0s2 se codifica 1110100110.25 2 0.875 1 15 14 15 Codul D are nD D 0.75 si 1.125 Se cere sa se determine eficienta codurilor A.25 .5 1 0. 75 1. s2 fie ca s3 .125 3 0.125 4 1.s0 cu probabilitatea p1 = 0. 1 succesiunea s3s s0s2 se codifica 011010011. 75 1.5 1 0. 75 log 2 2 1 D 0 38 . C si D Solutie Entropia sursei este 4 H i 1 p i log 2 p i 1 1 log 2 2 2 1 1 log 2 4 4 2 1 1 log 8 8 7 biti 4 Pentru codul A lungimea medie a codului este nA Codurile B si C cu aceiasi lungime medie 2 si A 7 4 2 log 2 2 7 iar 8 1 2 nB B nC C 0. 1 ambiguitatea -se abia dupa receptia urmatorilor biti. Daca Insa se folosec codul C.

07 0.02 0.0.05.2 .07 0.0.0.14 0.0. A a1 a2 a3 a4 a5 a6 a7 a8 a9 0. S s1 . 1 1.02 0.02 lungimea medie a cuvintelor de cod. 0.02 0. Testul nr.1. i 39 .04 0.14 0.25.04 0.14 0.1. s4 . s2 .TESTE DE AUTOEVALUAR Testul nr.07 0. s5 . eficien a codului. s3 .2 : a. s6 ile P 0. 2 2.48 0.14 0.07 0. alfabetul codului este X b.3.02 lungimea medie a cuvintelor de cod.1.48 0.1 X 0.0.02 0. A a1 a2 a3 a4 a5 a6 a7 a8 a9 0.

Southern Gate. John Wiley & Sons Ltd. ti. Transmisiunii Informa iei 1983 [3] I.C. unii Informa . Moreira. West Sussex PO19 8SQ.G.2006. England. [4] J.cure ti. 40 . Farrell. Angheloi ti. ESSENTIALS OF ERROR-CONTROL CODING. Chichester. P. The Atrium. 1972.BIBLIOGRAFIE RECOMAN 1983.

1 codarea trebuie astfel efec ceea ce s-au introdus erori.MODULUL 3 CODURI DETECTOARE DE ERORI - un caracter aditiv. tea coduri bloc coduri nonbloc (sau recurente) 41 ngime . probleme: 1. 2 . 0 1 0 1 0 1 1 0 1 = 1. 2.

Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de eroare. ei permit decodorului sa eroare.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei bk cu un debit rb pe un canal zgomotos. Problema codarii pe canale perturbate poate fi formulata astfel. Acesti biti aditionali. Datorita zgomotului fluxului de date receptionate transmisa bk . Codarea si decodarea pe canale perturbate S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este probablitatea de eroare. desi nu transporta informatie.1. fac posibili detectia si corectia erorilor. este uneori Desi biti de control nu aduc nici o informatie receptorului. care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise. Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare. Referindu-ne la figura 5. Se impune ca probabilitatea de eroare P bk bk difera uneori de secventa bk valoare. 42 . Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea redundantei controlate. de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea receptiona . Blocurile functionale care efectueaza aceasta sarcina sunt codorul si decodorul canalului.1 este prezentata schema bloc pentru un sistem de codare/decodare. transmis. k n n k k biti ai mesajului.MODULUL 3 CAPITOLUL 1 DE ERORI 3.

La receptie biti de control sunt utilizati pentru a verifica biti de informatie din blocul precedent..1 n convolutionare.... y n $ x i . x n .w 0 (3.rb Codor canal rc rb n k Modulator mesaj k mesaj k control n-k Canal mesaj k n Decodor canal Demodulator Fig.1) Observatie Numarul natural d u.v (c ) d u. Din codurile bloc. tre doua cuvinte n u x1... Pentru codurile anterioare..u 0 d u.v d v .v i 1 xi yi (3.. 3. x 2 ..1 binare de lungime este numarul pozitiilor d u. y 2 . v y1.v (b ) d u.. y i n 0.2) u v d w ..v 43 . unui mesaj de k biti i se asocieaza biti care actioneaza r biti pe baza celor k biti cu continut informational..v verifica axiomele distantei (a) d u...

. 3.. Cele 2 n combinatii de n R3 . Coduri bloc liniare k biti mesaj este codat -un bloc de n k biti prin adaugarea de n obtinuti pe baza celor k biti mesaj.2 111 010 x2 110 2 n cuvinte de cod.. a k biti de control. Bitii de control sunt . cod si nu poat Cazul 1 Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este ca d 0 2r 1 Cazul 2 Daca d 0 2 r se pot corecta cel mult r 1 erori.2...3. x n In R n .O reprezentare geometrica a lui u poate fi un punct de coordonate x1 . numai 2 k atunci este posibil sa se depisteze unele erori singulare deoarece 2 n k toate cuvintele sunt la distante mutuale de cel putin egale cu d 0 .. x3 001 011 Distanta Hamming mai mic numar de laturi care le unesc 101 000 100 x1 Fig 3. 44 .

3........ (2) codorul transforma fie -un bloc mai mare de n conformitate cu anumite reguli...2. k (3.mesaj Codor canal cod bloc mesaj mesaj biti de control k biti k n k Fig. atunci codul este si linear. d k - cu di 0. Acesti n k biti aditionali sunt generati printr-o combinatie lineara de biti mesaj si operatiile pot fi descrise folosind matrice... k biti..3) c de lungime n C c1 c2 . sistematic primii k adica ci Ultimii n di i 1..1 ..4) k k 45 . k (3... cn Se observa ca eficienta acestui cod este k n ..3 Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod 2 k cuvinte de cod poate fi exprimat ca o combinatie lineara de k vectori independenti. i 1. k componente Blocul mesaj este reprezentat printr- D d1 d 2 . Pentru un cod linear.

0 000.8) G Ik P k n k Matricea I k este matricea unitate de ordinul k iar P este o matrice arbritara n k .. Exemple de coduri liniare Codul Hamming Cele mai cunoscute coduri liniare sint codurile binare Hamming ..5) sunt booleene iar sumarea se face modulo -2. adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici: 46 ...01 sau p11 p12 ..5) pot fi combinate sub o forma matriceala 1000. n k d1 p 2. p2. Ele se dau cu m ajutorul matricei de control H.eficienta codului da fie ridicata Prin eficienta codului se Intelege raportul detectie/corectie. n p k .7) unde G este o matrice de tip k n numita matricea generatoare a codului si are (3.. c n d1 .. k prin selectarea unei matrici P tr vedere urmatoarele proprieteti ... Sa remarcam ca specificarea lui P defineste complet codul bloc n.. p k ... p3...1 coloane. j din ecuatiile (3.1 p k 2 .. n p21 p22 .comoditatea implementarii . d k 0010.capacitatea de a corecta erorile singulare si pachetele de erori (burst errors) .. Proiectarea unui cod bloc n. Ecuatiile (3. Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca toate proprietatile de mai sus. k .. p1. k pentru o anumita capacitate de n 3.3. n k d2 pk ..0 0100.6) k k n C forma D G (3. n k k k (3. lar coloanele sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima egala 3..5) cn p1. n p31 p32 .0 c1 . n kdk Coeficientii pi ..4) si (3.ck 1 p11d1 p21d 2 p k .1d k (3. care este formata din m linii si 2 .

Cm r 1 . rezultand in urma algoritmului in mod direct simbolurile informationale detinute din codul receptionat.r). La acest cod. ai bi si Se pot observa urmatoarele : produsul scalar este nul daca ponderea produsului vectorial este un numar par .9) La codul Reed-Muller.. 1 2 n n k 1 Cm Cm . generat de urmatorii vectori liniari independenti care constituie matricea generatoare : 47 . u *V u *V GF (2) . n dimensionali avand componentele 0 sau 1. Cm r m-r (3. in mod direct simbolurile informationale continute in cuvantul de cod receptionat.lungimea combinatiilor de cod este n = 2m -1. d=2m-r. corectia. fata de operatiile descrise. pentru care se defineste codul RM(m. Codul Reed-Muller se poate defini cu urmatorii parametrii : n=2m.8) 1 1 m n k 1 Cm . t d 1 2 unde t este numarul de erori pe care il poate corecta codul RM(m. ...r) . adica atat detectia cat si corectia si decodificarea propriu-zisa. spre deosebire de cele sistematice. se produc simultan. asociativa si comutativa. unde n este dimensiunea vectorilot cuvintelor de cod .k . -numarul simbolurilor informationale este k Codul Reed-Muller Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming .numarul simbolurilor de control este r=n .. coduri simetrice pe k pozitii) . unde k este numarul de simboluri informationale din cod . Fie Vn un spatiu vectorial peste GF(2). rezultand in urma algoritmului. cat si decodificarea propriu-zisa se produc simultan. Cn k Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu vectorial. r k k 0 . algoritmul de decodificare nu poate fi etapizat. atat detectia.. m Lungimea n a codulu r k i 0 i Cm (3. unde d este distanta minima a codurilor . spre deosebire de codurile simetrice algoritmul de decodificare nu poate fi etapizat. multimea vectorilor de n elemente formeaza o algebra liniara.

VmVm x Vm(3.10)

Vr x VrAlgoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x Gkxn. Codul Reed-Muller (5,2) Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori : m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3 erori pe cuvant. Matricea V pentru RM(5,2) este : (1111 (0000 (0000 (0000 (0011 (0101 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0001 1111 0000 0000 1111 0011 0101 0000 0000 0000 0000 0000 0000 0000 0011 0101 0001 1111 0000 1111 0000 0011 0101 0000 0000 0000 0000 0000 0011 0101 0000 0000 0001 1111 0000 1111 1111 0011 0101 0000 0000 0000 0000 1111 0011 0101 0011 0101 0001 1111 1111 0000 0000 0011 0101 0000 0000 0011 0101 0000 0000 0000 0000 0000 0001 1111 1111 0000 1111 0011 0101 0000 1111 0011 0101 0000 0000 0000 0011 0111 0001 1111 1111 1111 0000 0011 0101 1111 0000 0011 0101 0000 0011 0101 0000 0000 0001 1111){V0} 1111){V5} 1111){V4} 1111){V3} 0011){V2} 0101){V1} 1111){V54} 1111){V53} 0011){V52} 0101){V51} 1111){V43} 0011){V42} 0101){V41} 0011){V32} 0101){V31} 0001);{V21}

(3.11)

Se defineste X mxG unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21). Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom scrie cate un set de relatii de control corespunzator componentei informationale din mesajul transmis care are acelasi indice cu vectorul analizat. Mesajul informational este : a 1 x k =(a 0 a 5 a 4 a 3 a 2 a 1 a 5 4 a 5 3 a 5 2 a 5 1 a 4 3 a 4 2 a 4 1 a 3 2 a 3 1 a 2 1 ). Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara. Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea majoritara din sistem :
a21 a21 y0 y4 y1 y5 y2 y6 y3 y7

48

a21 a21 a21 a21 a21 a21

y8 y12 y16 y20 y24 y28

y9 y13 y17 y21 y25 y29

y10 y14 y18 y22 y26 y30 y4 y6 y12 y14 y20 y22 y28 y30 y4 y5 y12 y13 y20 y21 y28 y29 y8 y10 y12 y14

y11 y15 y19 y23 y27 y31 y5 y7 y13 y15 y21 y23 y29 y31 y6 y7 y14 y15 y22 y23 y30 y31 y9 y11 y13 y15

Iar a21 este valoarea majoritara a sistemului. a31 y0 y1
a31 a31 a31 a31 a31 a31 a31 y2 y8 y10 y16 y18 y24 y26 y3 y9 y11 y17 y19 y25 y27

Iar a31 este valoarea majoritara a sistemului. a32 y0 y2
a32 a32 a32 a32 a32 a32 a32 y1 y8 y9 y16 y17 y24 y25 y3 y10 y11 y18 y19 y26 y27

Iar a32 este valoarea majoritara a sistemului. a41 y0 y1
a41 a41 a41 y2 y4 y6 y3 y5 y7

49

a41 a41 a41 a41

y16 y18 y20 y22

y17 y19 y21 y23

y24 y26 y28 y30 y8 y9 y12 y13 y24 y25 y28 y29 y8 y9 y10 y11 y24 y25 y26

y25 y27 y29 y31 y10 y11 y14 y15 y26 y27 y30 y31 y12 y13 y14 y15 y28 y29 y30

Iar a41 este valoarea majoritara a sistemului. a42 y0 y2
a42 a42 a42 a42 a42 a42 a42 y1 y4 y5 y16 y17 y20 y21 y3 y6 y7 y18 y19 y22 y23

Iar a42 este valoarea majoritara a sistemului. a43 y0 y4
a43 a43 a43 a43 a43 a43 y1 y2 y3 y16 y17 y18 y5 y6 y7 y20 y21 y22

a43 y19 y23 y27 y31 Iar a43 este valoarea majoritara a sistemului. a51 y0 y1 y16 y17 a51 a51 a51 a51 a51 a51 y2 y4 y6 y8 y10 y10 y3 y5 y7 y9 y11 y11 y18 y20 y22 y24 y26 y28 y19 y21 y23 y25 y27 y29

50

a52 y0 y2 a52 a52 a52 a52 a52 a52 a52 y1 y4 y5 y8 y9 y12 y13 y3 y6 y7 y10 y11 y14 y15 Iar a52 este valoarea majoritara a sistemului. 51 . a53 y0 y4 a53 a53 a53 a53 a53 a53 y1 y2 y3 y8 y9 y10 y5 y6 y7 y12 y13 y14 a53 y11 y15 Iar a53 este valoarea majoritara a sistemului. a54 y0 y8 a54 a54 a54 a54 a54 a54 y1 y2 y3 y4 y5 y6 y9 y10 y11 y12 y13 y14 a54 y7 y15 Iar a54 este valoarea majoritara a sistemului.a51 y14 y15 y30 y31 y16 y17 y20 y21 y24 y25 y28 y29 y16 y17 y18 y19 y24 y25 y26 y27 y16 y17 y18 y19 y20 y21 y22 y23 y18 y19 y22 y23 y26 y27 y30 y31 y20 y21 y22 y23 y28 y29 y30 y31 y24 y25 y26 y27 y28 y29 y30 y31 Iar a51 este valoarea majoritara a sistemului.

: y =y-(a54* V54+a53* V53+a52* V52+a51* V51+a43* V43+a42* V42+a41* V41+a32* V32+a31* V31 +a21* V21). a1 y0 y1 a1 a1 y2 y4 y3 y5 a1 a1 a1 a1 a1 a1 a1 a1 y6 y8 y12 y14 y16 y18 y20 y22 y7 y9 y13 y15 y17 y19 y21 y23 a1 a1 a1 y24 y26 y28 y25 y27 y29 y31 y2 y3 y6 a1 y30 Iar a1 este valoarea majoritara a sistemului. se procedeaza in felul urmator: se elimina influenta din relatiile de control a componentelor corespunzatoare vectorilor compusi . se scriu numarul de relatii de control pentru vectorii simpli.Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi. Pentru a vedea valoarea componentei mesajului informational : (a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) se procedeaza pe baza logicii majoritare. a2 y0 a2 a2 y1 y4 a2 a2 y5 y8 y7 y10 52 . in numar de cate componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

a2 y9 y11 a2 a2 a2 y12 y13 y16 y14 y15 y18 a2 a2 y17 y20 y19 y22 a2 a2 a2 a2 y21 y24 y25 y28 y23 y26 y27 y30 a2 y29 y31 Iar a2 este valoarea majoritara a sistemului. a3 y0 y4 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 y1 y2 y3 y8 y9 y10 y11 y16 y17 y18 y19 y24 y25 y26 y27 y5 y6 y7 y12 y13 y14 y15 y20 y21 y22 y23 y28 y29 y30 y31 Iar a3 este valoarea majoritara a sistemului. 53 .

se elimina influenta vectorilor : y -(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5) 54 . Dupa ce au fost evaluate componentele de la a1 la a5. a5 y0 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y11 y14 y15 Iar a5 este valoarea majoritara a sistemului.a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 y0 y1 y2 y3 y4 y5 y6 y7 y16 y17 y18 y19 y20 y21 y22 y23 y8 y9 y10 y11 y12 y13 y14 y15 y24 y25 y26 y27 y28 y29 y30 y31 y16 y17 y18 y19 y20 y21 y22 y23 y24 y25 y26 y27 y28 y29 y30 y31 Iar a4 este valoarea majoritara a sistemului.

m. Atunci = i poate fi exprimat sub forma i=k* este conjugatul elementului . impar.c){ . minimal i deci g(x)= (c. cu m -k Distan a d se nume . observam numarul majoritar de componente din y celor mai multe componente va fi valoarea lui a0.m.D i conjugatele acestora.m.m.m. polinomul g(x) va fi de grad cel mult egal cu mt mt : n-k mt. i= polinomul minimal al lui multiplu comun (c. 55 . -k . Prin urmare. GF( ). corector de t Lungimea blocului n= .c){ i au acela i polinom . Prin urmare g( Fie )=0.c) al polinoamelor i anume: g(x)= (c.12) m . va fi cel mult egal cu n-k mt.m.k .m. care generalizeaz codurile Hamming pentru corec ia erorilor multiple. Un cod ciclic binar. t .m.Pentru a evalua pe a0.m. Atunci polinomul generator este de forma . }. . . (3. mt. }. Mesajul corectat este : m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) Codul BHC Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clas de coduri ciclice cu o deosebit capacitate de corec ie a erorilor.

16) 56 .3 (3.15) Deci = 1+x+ (3.13) (3. =1+ Deoarece =1+ Conform tabelului 3. Un cod BCH de lungime polinomul g(x)= .Codul BCH de lungime . ) generate de g(x)=1+x+ Polinoamele minimale ale elementelor din GF( Exemplu.14) (3. cu m (sau primitive). Aceste coduri sunt generate de elemente p din GF( ).

n spa iul nul al matricei H i deci H este matrice de control a Aplica ii Simularea cu ajutorul programului M ATLAB a codului BCH Codurile BCH fac parte din categoria codurilor ciclice Se vor utiliza urm toarele blocuri: .umber of bits per integer este 7.I nteger to Bit Converter: transform un vector de ntregi ntr-un vector de bi i. .BCH Encoder: creaz un cod BCH din datele vectorului binar.17) (3.m. Se lucreaz pe 7 bi i. Parametrii blocului 57 . Parametrul blocului este: . atunci + Se introduce matricea (3.c){ i de . g(x)= (c.Deoarece din 2tlungime }= n= = (x)=1+ 15 este generat de . .m. Genereaz c te un num la fiecare secun . v codului.Sample time este 1. Fie v(x) un polinom de cod cu coeficien v(x)= din GF( ).7) numerele generate sunt reprezentate n binar pe 7 bi i. . Parametrii blocului sunt: -ary number este 2^7 deoarece codul BCH utilizat este BCH(15. Modific nd acest parametru se modifica secven a de numere generate.nitial seed este [1458]. .18) =0.Random-I nteger Generator: genereaz numere ntregi distribuite n intervalul [0.m. M-1].

elay between input (1st port) and output (2nd port) este 0. . umber of digits on display este 20 deoarece afi eaz 20 de simboluri.M ux: multiplexeaz semnalele de la intrare.Codeword length N este 15.1. pentru a nu introduce erori. .Bit per symbol este 7 deoarece utilizeaz 7 bi i pentru fiecare simbol transmis. . . .Input vector length este 15 deoarece cuv ntul de cod cu care se adun este reprezentat pe 15 bi i.sunt: . . .y-ma este 5. .Icon shape este rectangular.List of signs este +.Message length K este 7 deoarece se utilizeaz codul BCH(15.Error probability este 0.7). Parametrii blocului sunt: . Parametrii blocului sunt: .Sample time este 1 pentru a se genera un e antion la fiecare sec . .Line type este 'ro/b*' . .Message length K este 7 deoarece se utilizeaz codul BCH(15.7).Bit to I nteger Converter: transform un vector de bi i ntr-un vector de ntregi.y-mi este -1. 58 . Parametrii blocului sunt: .Initial see este 12345. . . .Graph Scope: afi eaz num rul de erori.Sum: afi eaz suma elementelor de la intrare.BCH Decoder: decodeaz un cod BCH pentru a reface vectorul binar transmis. . .Binary Symmetric Channel: introduce erori binare. le afi eaz i evalueaz rata de eroare.umber of bits per integer este 7.Codeword length N este 15 .Sample time este 1 deoarece se consider un e antion la fiecare secund .Display: afi eaz valoarea de la intrare. Parametrul blocului este: . Parametrii blocului sunt: .Error M eter: compar semnalele de la intrare.Time range este 10. Parametrii blocului sunt: . Se va realiza schema bloc arat se va rula pentru diferite valori ale probabilitatii de eroare si se vor analiza rezultatele. . .

Simularea cu ajutorul programului M ATLAB a codului Hamming care - 59 .

a =m+1=3+1=4 Unde pebtru codul corector de o eroare. Matricea H a codului corector de o eroare este de forma: H=[ respectiv: H= ] Cu rela ia (2. Se cere: a. c. ii.eroare i detector de erori duble.33) se ob ine pentru matricea expresia: 60 . cod n. iar . d. b. c2 i c1 .simbolurile de control b). e. al celor de control m. v 1 1 0 0 1 1 0 Solu ie ie k ie k. i c2 . care permit corec simbolul de verificare la paritate. i ul simbolurilor de control: La aceste simboluri de control. f.

= Cu rela Din expresi 2-a (z= ). pe pozi ia a : = ). ie cu rela ia 61 .

1 ontrol de forma: 1 0 0 1 1 H 0 1 0 0 1 0 0 1 1 0 ile de corec ie ale codului.Cuvintele Simboluri Cuvinte 0 1 1 0 1 0 0 1 0 0 1 1 1 1 0 0 0 1 0 1 1 0 1 0 0 0 0 0 1 1 1 1 0 1 1 0 0 1 1 0 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1 astfel: = = Deoarece de constatat i prin inspectarea tabelului anterior . b. Codul este perfect? a. 62 . TESTE DE AUTOEVALUAR Testul nr.

Farrell.G 1 0 1 1 0 1 1 0 0 1 c. - 63 . Moreira. The Atrium. West Sussex PO19 8SQ. ESSENTIALS OF ERROR-CONTROL CODING. BIBLIOGRAFIE RECOMAN cure ti. England. P.C. d matricele H i G. Chichester.G. Southern Gate. [4] J. John Wiley & Sons Ltd. ti. Transmisiunii Informa iei 1983 ti. 1972. 1983.2006.

Sign up to vote on this title
UsefulNot useful