1

UNIVERSITATEA TITU MAIORESCU
Facultatea de INFORMATICĂ


Profesor univ. dr. ing. Lector univ. dr.ing.
RĂCUCIU CIPRIAN GRECU DAN













Curs pentru învăĠământul la distanĠă







BUCURESTI 2010

2

UNIVERSITATEA Titu MAIORESCU BUCURESTI
Facultatea de InIormatică
ÎnvăĠământ la DistanĠă

TEORI A TRANSMI TERI I SI CODIFICĂRII
INFORMAğIEI

Cursul 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ este o disciplină care
îngoblează într-o Iormă unitară concepte din teoria codurilor, teoria semnalelor
aleatoare si teoria deciziilor statistice si reprezintă una din disciplinele de pregătire
care. pentru proIilul INFORMATICĂ. este necesară pentru pregătirea studenĠilor si
pentru obĠinerea creditelor transIerabile prin procedurile de evaluare. Modul de
prezentare a acestui material are în vedere particularităĠile învăĠământului la
distanĠă. la care studiul individual este determinant. Pentru orice nelămuriri IaĠă de
acest material vă rugăm să contactaĠi tutorele de disciplină care are datoria să vă
ajute oferindu-vă toate explicaĠiile necesare.

Disciplina 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ îsi propune următoarele
obiective specifice:
ƒ Însusirea noĠiunilor Iundamentale din domeniul Teoriei transmiterii úL
codificăULLLQIRUPDĠLHL.
ƒ Formarea deprinderilor de modelare matematică si de transpunere în
programare a unor probleme de natură tehnică. socială sau economică. cu
utilizarea cunostinĠelor însusite.
ƒ Formarea si dezvoltarea bazei matematice a studenĠilor pentru disciplinele
Iundamentale si de specialitate din anii superiori;
ƒ Formarea si dezvoltarea aptitudinilor si deprinderilor de analiză logică.
Iormulare corectă si argumentare Iundamentată. în rezolvarea problemelor
tehnico-economice si de specialitate;
ƒ O comparaĠie critică a metodelor de rezolvare evidenĠiind. eventual. calea
optimă de soluĠionare.
Vă precizăm de asemenea că. din punct de vedere al veriIicărilor si al notării. cu
adevărat importantă este capacitatea pe care trebuie să o dobândiĠi si să o probaĠi
de a rezolva toată tipologia de probleme aplicative aIerente materialului teoretic
prezentat în continuare. De aceea vă recomandăm să parcurgeĠi cu atenĠie toate
aplicaĠiile rezolvate. să rezolvaĠi aplicaĠiile propuse prin testele de autoevaluare si
temele de control; IiĠi convinsi că examenul Iinal apelează la tipurile de aplicaĠii
prezente în secĠiunile menĠionate anterior

3
CUPRINS
MODULUL 1- MĂSURA CANTITATIVĂ A INFORMAğIEI .....................................pag.4
MODULUL 1- CAPITOLUL 1- ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI
..................................................................................................................................pag.5

1.1. Informatia - generaIităĠi...............................................................pag.5

1.2. Sistemul de transmitere a informatiei. .......................................pag.6

1.3. 1.3. Modele de surse informationale. .........................................pag.7

1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 - MĂSURI INFORMAğIONALE ................................pag.9

2.1. Modele de surse informationale.....................................................pag.9
2.2. Informatia proprie conditionata...................................................pag.10
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.......................pag.21
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1.......................... pag.21

MODULUL 2 - CODAREA SURSELOR INFORMAğIONALE .................... .........pag.22
MODULUL 2- CAPITOLUL 1- CODAREA SURSELOR INFORMAğIONALE .....pag.23
1.1 Codificarea surselor discrete.......................................................pag.23
1.2 Codificarea neuniforma................................................................ pag.23

1.3. Codarea si decodarea pe canale fara perturbatii........ pag.25

1.4. Coduri Huffman de dispersie minimă..........................................pag.28
1.5 . ProcedeuI de codare binară Shannon - Fano. .........................pag.34
TESTE DE AUTOEVALUARE SI TEME DE CONTROL................ pag.39
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2.....................pag.40
MODULUL 3- CODURI DETECTOARE SI CORECTOARE DE ERORI................pag.41
MODULUL 3 - CAPITOLUL 1 - CODURI DETECTOARE SI CORECTOARE DE
ERORI.....................................................................................................................pag.42
1.1. Codarea si decodarea pe canale perturbate ..............................pag.42
1.2. Coduri bIoc Iiniare.....................pag.44
1.3. Exemple de coduri liniare ...........................................................pag.46
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.................pag.62
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3: ...................pag.63

4
Coordonator disciplină: ProI. univ. dr.ing. RĂCUCIU CIPRIAN
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
MĂSURA CANTITATIVĂ A INFORMAğIEI


În acest modul sunt prezentate principalele noĠiuni cu care operează teoria
informaĠiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de
energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se
prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se
stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare.
Stabilirea notiunii generalizate de informatie pentru caracterizarea
proceselor de conducere dintr-un punct de vedere unitar,a fost un moment
important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se
analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de
substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea
dintr-un punct de vedere comun a celor mai diferite procese de comanda din
natura.
Se numeste informatie orice stire care poarta in sine urma unui fapt,
eveniment sau proces oarecare.
Informatia este comunicarea (mesajul) ce aduce stiri despre fapte,
evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot
cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se
obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie
inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte
asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
Timpul mediu necesar însusirii noĠiunilor teoretice. Iormării deprinderilor de
calcul si utilizării metodelor de rezolvare a problemelor specifice teoriei
inIormaĠiei este estimat la aproximativ 6-8 ore pentru fiecare modul. într-un ritm
de 2-3 ore pe zi.







5
MODULUL 1
CAPITOLUL 1
ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI

1.5. I nformatia - generalităĠi.

În procesele de comanda. procesele energetice care insotesc transmiterea informatiei
joaca un rol secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate
de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere,
care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si
actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de
energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati
reduse de energie.
În teoria inIormatiei. caracteristica energetica a Ienomenelor trece pe plan secundar.
evidentiindu-se in mod deosebit latura informafionala a sistemului.
Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate
forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de
telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului,
auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre
evenimentele din lumea ce il inconjoara.
Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului,
telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul
televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme,
transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa
a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie
se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar
greseli de imprimare.
Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic
informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la
greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea
metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii.
Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura
adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea
fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie
sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul
masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza
in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului.
Problema principala a teoriei informatiei este studierea transformarii, pastrarii si
transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de
telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
În realitate. inIormatia se transmite prin intermediul semnalelor care poarta stirea. Tipuri
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio,
imagine, video, semnale .

6

1.2. Sistemul de transmitere a informatiei.

Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite
informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui
sistem de transmisiuni este data in fig.1.1

Fig.1.1

Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea
prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date
sau introducerea unei redundante pentru lupta cu perturbatiile.
Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia
telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra
canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza
modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului
termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat
al adversarului etc.
Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce
la partea de receptie o copie acceptabila iesirii sursei.
Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza
modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de
canal.
Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de
semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri
binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse
date.
Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur
succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele
inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca.
Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare
sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o
precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau
destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o
succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea
informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se
calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de
dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a
transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
locul indicat de destinatar. Cand spunem 'reproduce" nu intelegem o reproducere absolut Iidela

7
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de
scopul transmisiuni. În descrierea 'obiectului" transmis prin sistemul de transmisie trebuie inclus
si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile
sursei, ci caracterizeaza proprietatile cuplulul 'sursa-destinatar". Vom numi acest obiect
'inIormatia transmisa".

1.3. Modele de surse informationale.

Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o
importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul
de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp
dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea
mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de
precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea
sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte
mesajul respectiv.
Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor
aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La
aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat,
a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic
independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ...,
p(ak). În cazul unei codiIicari de acest tip. combinatiile de cod vor avea aceeasi lungime pentru
ca sa fie posibila decodificarea lor.
Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o
forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de
numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o
succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa
se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru
reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a
cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea,
aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu
descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu
care sunt generate aceste mesaje admisibile.
Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor
da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.
Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a
mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri
binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea
mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta
sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei.
Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor
conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursa-
destinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.
Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda,
care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de
precizie adoptat.

8

1.4. Modelul probabilistic al semnalelor.

Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile
cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu
calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta
intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii
de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera
semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme
informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare
probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa
discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide
universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic.
Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si
intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari
unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea
unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele
discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea
probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in
cadrul unui experiment se considera ca un eveniment.
În cazul semnalelor discrete, totdeauna se poate realiza o corespondenta biunivoca intre
semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa
corespunda un numar natural x eX- si astfel multimea semnalelor discrete se poate inlocui cu o
multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie
numarul natural care corespunde semnalului respectiv.
Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei
aleatoare:

( ) ( ) ( )
|
|
.
|

\
|
=
M X X X
M
x P x P x P
x x x
X
...
...
2 1
2 1
(1,1)

Prin notatia
( )
k X
x P
se intelege probabilitatea de aparitie a evenimentului x=x
k
, adica
probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X
considerata. Evident:


( ) 1
1
=
¯
=
K
M
K
X
x P
(1.2)
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu
Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din
multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui
x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi
caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor
elemente.


9
MODULUL 1
CAPITOLUL 2
MĂSURI INFORMAğIONALE

2.1. Modele de surse informationale

Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare
si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din
multinea X se numeste entropia lui X si se calculeaza cu formula:
( ) ( )
( )
K X
K
K
K
X
x P
x P X H
1
log
1
¯
=
=
(1,3)
sau mai simplu se scrie sub forma:
( ) ( )
( ) x P
x P X H
K
1
log
1
¯
=
=
(1.4)

Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de
repartitia de probabilitati este data in fig 1.2:


Fig.1.2 Entropia semnalului

Fie

10
|
|
.
|

\
|
÷
=
p p
x x
X
1
2 1
(1.5)
atunci:

( ) ( ) ( ) p H
p
p
p
p X H =
÷
÷ + =
1
1
log 1
1
log
(1.6)

2.2. I nformatia proprie conditionata.

Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a
aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:

|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
y
x
i
k
Y
X
y
x
P
y
x
I
1
log
(1.7)
sau mai simplu se scrie:


|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
x
y
x
P
y
x
I
1
log
(1.8)
Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de
evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului
x=xk . dtupa ce a avut loc evenimentul y =yi.
Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o
diferenta intre informatia proprie si informatia proprie conditionata.


( )
( ) ( )
|
|
.
|

\
|
÷ =
|
|
.
|

\
|
=
y
x
P
x P x P
y
x
P
y x I
1
log
1
log log ;
(1.9)
de unde
( ) ( )
|
|
.
|

\
|
÷ =
y
x
I x I y x I ;
(1.10)
Din relatia anterioara se obtine pe baza reciprocitatii relatia:
( ) ( )
|
.
|

\
|
÷ =
x
y
I y I y x I ;
(1.11)

11
In mod analog I(x;y) se poate scrie sub forma:
( )
( )
( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( ) y x P y P x P x P y P
y x P
x P y P
y
x
P y P
x P
y
x
P
y x I
,
1
log
1
log
1
log
,
log log log ; ÷ + = =
|
|
.
|

\
|
=
|
|
.
|

\
|
=
(1.12)
deci:

( ) ( ) ( ) ( ) y x I y I x I y x I , ; ÷ + =
(1.13)

unde :
( )
( ) y x P
y x I
,
1
log , =
(1.14)

reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de
evenimente xy.
Tinand seama ca:
( ) ( ) ( )
|
|
.
|

\
|
=
|
.
|

\
|
=
y
x
P y P
x
y
P x P y x P ,
(1.15)
rezulta ca, cantitatea de informatie proprie a unui eveniment (x,y) se poate scrie sub forma:
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
y
x
I y I y x I
x
y
I x I y x I
,
,
(1.16)
Luand mediile expresiilor din relatiile anterioare se obtine:
( ) ( )
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
÷ + =
|
.
|

\
|
÷ =
|
|
.
|

\
|
÷ =
y
x
H y H y x H
x
y
H x H y x H
y x H y H x H y x I
x
y
H y H y x I
y
x
H x H y x I
,
,
, ;
;
;
(1.17)

Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X)
este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta
ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y,
adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru
care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt
transinformatia.

12
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca
entropia U(X) a multimii X depinde numai de probabilitatile de aparitie a elementelor xtX.
Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa
invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor.

Proprietatea 1. H(X)>0
In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau
egali cu zero pentru 0<P(x)<1. Daca P(xk)=1, repartitia lui X este degenerata si este de forma:


|
|
.
|

\
|
=
0 ... 1 ... 0
... ...
1 K k
x x x
X
(1.18)

si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.
Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a
fost pusa in evidenta de Jensen.
Fie x,y,Psi Q numere positive si P+Q=1,atunci avem:

( ) y Q x P Qy Px log log log + > +
(1.19)

in care avem egalitate daca si numai daca x=y.
Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o
proprietate care de asemenea joaca un rol important in teoria informatiei.



Fig.1.3.

Proprietatea 2.
Fie X multimea formata din K semnale ,atunci:

( ) K x H log s
(1.20)

unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:

13

|
|
.
|

\
|
=
k k k
x x x
X
k
1
...
1 1
...
2 1
(1.21)

Proprietetea 3.
Pentru doua multimi de semnale X si Y ,avem:

( ) ( ) ( ) y H x H y x H + s ,
(1.22)

in care avem egalitate daca si numai daca X si Y sunt statistic independente.

ExerciĠii rezolvate.

Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment
este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din
punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul
informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui
eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m m m
q 1 2
, , , cu probabilitatile
de aparitie p p p
q 1 2
, , , . Este evident ca probabilitatile satisfac relatia p p p
q 1 2
1 + + + = .
Continutul informational al mesajului k este notat cu I m
k
( ) . Pentru ca acest continut sa fie o
masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :

(i) daca p p I m I m
k j k j
< ¬ > ( ) ( )
(ii) daca p I m
k k
÷ ¬ ÷ 1 0 ( )
(iii) daca 0 1 0 s s ¬ > p I m
k k
( )
(iv) (aditivitatea) daca m
k
si m
j
sunt mesaje independente
¬ = + I m m I m I m
k j k j
( ) ( ) ( ) si

O functie continua de variabila p
k
care satisface proprietatile (i)-(iv) este functia
logaritmica.

I m
p
p
k
k
k
( ) log log = = ÷
1


Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone





14









se definesc
(a) rata de biti=(durata unui bit)
-1
=1/T
2
exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T
1
exprimata
in bauds.


Problema 1
Se considera o trasmisie fax : 2,25·10
6
pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?

Solutie
I=nr.elemente · informatie per element=
( ) | |
= · · ÷

= · · · = · + 2 25 10
1
12
2 25 10 2 3 2 25 10 2 3
6
2
6
2
2 6
2
, log , log , log biti

Problema 2
Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = · · · 24 80 128 3
2
log [ ] biti
(b) t =
1
f
c

R
I
I f
c
= = ·
t
[ ] bps

Problema 3
Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4
impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un
impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
T
2


E
M

15
(b) Care este rata de bauds ?

Solutie

(a) R
I
= =
·
=
÷
t
4 4
5 10
1 6
2
3
log
, [ ] kbps
(b) r
bauds
baud] kbaud] = = =
÷
1
10
10 1
3
3
[ [

Problema 4
Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se
cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii
daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.

Solutie
- cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
- cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara
este I
2 2 2
1
1
2
2 = = log log
- cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
- cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
I
3 2 2
1
1
3
3 = = ¬ log log numarul minim de cantariri I kI k
k
s ¬ s ¬ =
3
24 3 3.
- sa se propuna un algoritm de depistare.

Problema 5

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt
nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8
nivel 3:1/8

Solutie
R r H = · =
·
· ÷ ÷ ÷ ·

÷
1
5 10
1
2
1
2
1
4
1
4
2
1
8
1
8
3
log log log
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca
entropia este maxima pentru o sursa care genereaza simboluri echiprobabile H n
max
log =
2
.

Problema 6

16
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos









Solutie
Acest model descrie un canal care perturba simbolurile unei surse binare in masura in
care la receptie sa poata fi interpretate ca fiind incerte.
Metoda scalara

( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )

H Y p y p y
i
i
i
( ) ( ) log ( ) = ÷
=
¯
1
3

( ) ( ) ( ) ) ( ) 1 ( ) ( ) ( ) ( ) (
1 1 1 1 2 2 1 1 1 1 1
x p q x p x y p x p x y p x p x y p y p ÷ = = + =

S-a utilizat formula probabilitatii totale, evenimentele x
1
, x
2
fiind mutual exclusive.
Analog se poate scrie

p y q p x ( ) ( ) ( )
2 2
1 = ÷


( ) ( ) ( ) p y p y x p x p y x p x q p x p x q q ( ) ( ) ( ) ( ) ( )
3 3 1 1 3 2 2 1 2
1 = + = + = · = ¬


| |
| |
H Y q p x q p x q q q p x q p x
q p x p x p x p x q q q q
q H X q q q q
( ) ( ) ( ) log( ) ( ) log ( ) ( ) log( ) ( )
( ) ( ) log ( ) ( ) log ( ) ( ) log( ) log
( ) ( ) ( ) log( ) log
= ÷ ÷ ÷ + + ÷ ÷ =
= ÷ ÷ + ÷ ÷ ÷ ÷ =
= ÷ ÷ ÷ ÷ ÷
1 1 1 1
1 1 1
1 1 1
1 1 2 2
1 1 2 2



( ) ( )
H YX p x y p y x
i j j
i
j i
= ÷
= =
¯ ¯
( , ) log
1
3
1
2


Conform regulii de inlantuire


( )
p x y p y x p x
i j j i i
( , ) ( ) =

Din graf se deduce ca


( )
p y x q
1 1
1 = ÷
( )
p y x
1 2
0 =
BE
D
Equ
atio
n.2


EM
B
E
D

E
q
u
a
ti
o
n
.
2



E
M
BE
D
Equ
atio
n.2


EM
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
ua
ti
o
n.
2



E
M
B
E
D

E
q
u
a
ti
o
n
.
2







17

( )
p y x
2 1
0 =
( )
p y x q
2 2
=

( )
p y x q
3 1
=
( )
p y x q
3 2
1 = ÷

Se obtine

( )
H Y X q q q q = ÷ ÷ ÷ ÷ ( )log( ) log 1 1

C q H X q q
p x
i
= ÷ = ÷ · = ÷ ( ) max ( ) ( )
( )
1 1 1 1

pentru setul optim de probabilitate la intrare p x p x
0 1 0 2
1 ( ) ( ) = = .

Metoda matriciala

Se considera sursa care genereaza un alfabet de simboluri x i n
i
, , , = 1 si la destinatie
se receptioneaza un alfabet de simboluri y j m
j
, , , = 1 .
Se pot scrie urmatoarele relatii:


( )
P Y P X P Y X ( ) ( ) = ·

unde P X ( ) este matricea linie a sursei ( ) 1× n ;
P Y ( ) este matricea linie a destinatiei ( ) 1× m ;

( )
P Y X este matricea dreptunghiulara de zgomot ( ) n m × .

Observatie
In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate
iesirilor.
Matricea campurilor reunite (joint) este


( )
P X Y
p x
p x
p x
P Y X
n
( , )
( )
( )
( )
=

1
2
0 0
0 0
0

Matricea de zgomot
( )
P Y X se poate obtine prin impartirea fiecarei linii i prin p(x
i
).
Matricea de echivocatie
( )
P XY se poate obtine prin impartirea fiecarei coloane j prin p(y
j
) .

Problema 7
Fie matricea de tranzitie
( )
P Y X =

2 3 1 3
1 3 2 3
/ /
/ /
si p(x
1
)=3/4 si p(x
2
)=1/4.
Se cere sa se calculeze
(a) entropia campului de intrare

18
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului


Solutie

(a) H X p x p x
i
i
i
( ) ( ) log ( ) log log log , = ÷ = ÷ +
|
\

|
.
|
= ÷ ~
=
¯
1
2
3
4
3
4
1
4
1
4
2
3
4
3 0 81 bit / simbol

(b) H Y p y p y
j
j
j
( ) ( ) log ( ) = ÷
=
¯
1
2



| | | |
P Y ( ) / /
/ /
/ /
/ / =

= 3 4 1 4
2 3 1 3
1 3 2 3
7 12 5 12

H Y ( ) log log , = ÷ +
|
\

|
.
|
=
7
12
7
12
5
12
5
12
0 98 bit / simbol

(c)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2


P X Y ( , )
/
/
/ /
/ /
/ /
/ /
=

=

3 4 0
0 1 4
2 3 1 3
1 3 2 3
1 2 1 4
1 12 1 6


H X Y ( , ) log log log log , = ÷ + + +
|
\

|
.
|
=
1
2
1
2
1
4
1
4
1
12
1
12
1
6
1
6
1 73 bit / simbol

(d)
( ) ( )
H Y X p x y p y x
i j j
i
j i
= ÷ =
= =
¯ ¯
( , ) log , 0 92
1
2
1
2
bit / simbol

sau
( )
H Y X H X Y H X = ÷ ( , ) ( )
(e)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2

unde

19

( )
P XY =

=

1
2
7
12
1
4
5
12
1
12
7
12
1
6
5
12
6
7
3
5
1
7
2
5


si
( )
H XY = ÷ + + +
|
\

|
.
|
=
1
2
6
7
1
4
3
5
1
12
1
7
1
6
2
5
0 75 log log log log , bit / simbol

sau
( )
H XY H X Y H Y = ÷ ( , ) ( )

(f) I X Y H X H Y H X Y ( , ) ( ) ( ) ( , ) , = + ÷ = 0 06 bit / simbol

(g) canalul fiind dublu uniform

C= + ÷
|
\

|
.
|
÷
|
\

|
.
|
+ ÷ = log log ( ) log , 2 1
1
3
1
1
3
2 1
1
3
1
3
0 082 bit / simbol

Setul optim p x p x
0 1 0 2
( ) , ( ) se obtine din


( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )
0


p y p x p x ( ) ( ) ( )
1 0 1 0 2
2
3
1
3
= +

p y p x p x ( ) ( ) ( )
2 0 1 0 2
1
3
2
3
= +


( ) ( ) ( ) ( )
( )
H Y X p x y p y x p y x p x p y x
p x p x
i j j
i
j i
j i i j
i
j i
= ÷ = ÷ =
= ÷ +

+ = ÷ +

= = = =
¯ ¯ ¯ ¯
( , ) log ( ) log
log log ( ) ( ) log log
1
2
1
2
0
1
2
1
2
0 1 0 2
2
3
2
3
1
3
1
3
2
3
2
3
1
3
1
3


deci
( )
H Y X nu depinde de P X ( ) ¬ C H Y
p x
i
= + +

max ( ) log log
( )
0
2
3
2
3
1
3
1
3



20
dar max ( ) log ( ) ( )
( ) p x
i
H Y p y p y
0
1 2
2 1
1
2
= = · = = ¬


( ) ( )
( ) ( )
p y p y x p x p y x p x
p y p y x p x p y x p x
( ) ( ) ( )
( ) ( ) ( )
1 1 1 0 1 1 2 0 2
2 2 1 0 1 2
2
0 2
= +
= +
¦
´
¦
¹
¦


¬ p x p x
0 1 0 2
1
2
( ) ( ) = = .

Observatie

Se mai poate utiliza si relatia p x p x
0 1 0 2
1 ( ) ( ) + =

(h) n( )
( , )
, C
I X Y
C
= = 0 73

R C C I X Y ( ) ( , ) , = ÷ = 0 022 bit / simbol


Problema 8
Fie un canal binar simetric avand matricea campurilor reunite P X Y ( , )
, ?
? ,
=

0 4
0 4
si
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P X Y ( , ) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.

Solutie

(a) canalul fiind simetric ¬ = p x y p x y ( , ) ( , )
2 1 1 2
si folosind proprietatea (iii) a evenimentelor
mutual exclusive se obtine p x y p x y p x y p x y ( , ) ( , ) ( , ) ( , ) ,
1 1 1 2 2 2 1 2
2 1 01 + + = ¬ = si
P X Y ( , )
, ,
, ,
=

0 4 01
01 0 4
.


(b)
( )
P Y X =

=

0 4
1 2
01
1 2
0 1
1 2
0 4
1 2
0 8 0 2
0 2 0 8
,
/
,
/
,
/
,
/
, ,
, ,




21
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

Fie un alIabet Iormat din literele A.B.C. Se cere să se calculeze:
a. numărul maxim de mesaie de lungime 3 ce se pot Iorma cu acest alIabet;
b. cantitatea de informaĠie conĠinută de un asemenea mesai.

Testul nr. 2
Să se calculeze cantitatea de informaĠii necesară pentru precizarea poziĠiei unei figuri pe
tabla de sah.

7HPăGHFRQWURO

Matricea probabilităĠilor reunite intrare-iesire asociată unui canal de transmisie este de
forma:
( )

=
4 / 1 4 / 1
4 / 1 4 / 1
X Y P
Se cere să se calculeze:
a. entropia câmpului de la intrare;
b. entropia câmpului de la iesire;
c. entropia câmpurilor reunite;
d. eroarea medie si echivocaĠia;
e. transinformaĠia si capacitatea canalului.





BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1:


|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu, Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.

22



MODULUL 2
CODAREA SURSELOR INFORMAğIONALE



Compresia datelor este un proces de re prin care se urmăreste
micsorarea redundanĠei mesajului generat de o sursă. pentru a reduce resursele
necesare memorării sau transmiterii acestui mesaj. Deoarece, de regulă.
pentru memorarea sau transmiterea unui mesaj se foloseste. eventual într-o
Iormă intermediară. reprezentarea prin simboluri binare a acestuia. si pentru că
cele mai multe metode de compresie folosesc metode de codare binar - binar,
putem spune că obiectivul compresiei constă în reducerea numărului de
simboluri binare necesar pentru reprezentarea mesajului.
După cum sirul simbolurilor emise de sursă este împărĠit. pentru codare. în
subsiruri de aceeasi lungime sau de lungime variabilă. si după lungimea,
constantă sau variabilă. a cuvintelor de cod, codurile de compresie se clasifică în
bloc- bloc, bloc variabil, variabil bloc si variabil variabil, bloc bloc
indicând aceeasi lungime pentru subsirurile sursei si cuvinte de cod de lungime
fixă. iar variabil variabil corespunzând unor lungimi variabile ale subsirurilor
si ale cuvintelor de cod. Din punct de vedere al măsurii în care mesaiul reIăcut
prin decompresie se aseamănă cu cel original. asupra căruia s-a acĠionat prin
procesul de compresie, distingem două categorii de algoritmi de compresie: Iără
pierderi si cu pierderi.
Algoritmii de compresie Iără pierderi sunt reversibili, prin decompresie
obĠinându-se mesajul original întocmai. Algoritmii de compresie cu pierderi au
ca rezultat diferenĠe relativ mici între mesajul rezultat prin decompresie si cel
original si sunt utilizaĠi în compresia imaginilor si a mesajelor video si audio.
În acest modul vor Ii prezentate aspecte privind codiIicarea surselor
discrete si vor Ii analizaĠi algoritmii HuIIman si Shannon-Fano.







23
MODULUL 2
CAPITOLUL 1

CODAREA SURSELOR INFORMAğIONALE

1.1 Codificarea surselor discrete.

In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare
se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila
este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la
cele initiale, adica decodificarea sa fie unica.
Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul
semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si
secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si
fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui
simbol nu depinde de celelalte sinboluri anterioare.
Alfabetul sursei discrete se noteaza cu
{ }
L
a a a A ...., ,
2 1
=
,deci sursa produce
succesiuni de litere
n
u u u ,...., ,
2 1
formate cu ajutorul literelor din alfabetul sursei, deci
A u
i
e
pentru i÷1.2...
Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a
semnalelor,adica probabilitatea unei succesiuni date
( )
n
n
o o o o ,..., ,
2 1
=
de n litere de sursa este
egala cu produsul probabilitatilor literelor de sursa ,deci:

( ) ( )
I
=
=
n
i
i n
P P
1
2 1
,...., , o o o o
(2.1)

1.2 Codificarea neuniforma.

Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
sau litere notate cu
M
a a a ,...., ,
2 1
care apar cu probabilitatile
( ) ( ) ( )
M
a P a P a P ,.., ,
2 1
. Fiecare
litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din
alfabetul codului care contine D semnale
{ }
D
x x x X ,.., ,
2 1
=
.Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare
M
a a a ,.., ,
2 1
se noteaza cu
M
c c c ,.., ,
2 1
,iar totalitatea lor formeaza un cod,
{ }
M
c c c C ,.., ,
2 1
=
.Numarul semnalelor secundare
din cuvantul de cod
k
c
care,dupa cum s-a vazut,corespunde lui
k
a
,se noteaza cu
k
n
.

24
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere
economic,acel cod care conduce la un
n
-numarul mediu de litere de cod pe litere de sursa-cat
mai mic posibil,unde
n
se mai numeste si lungimea mediea combinatiilor de cod:
( )
k
M
K
k
n a P n
¯
=
=
1
(2.2)

Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie
de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod
atribuite semnalelor primare sunt distincte se numeste cod nesingular.
Codul
{ }
k
c c c C ,.., ,
2 1
=
se numeste unic decodabile daca succesiunile cuvintelor de
cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte.
Fie un cuvant de cod
im i i i
x x x c ,..., ,
2 1
=
.Sirul de litere
im i i
x x x ,..., ,
2 1
,unde
m k s
se
numeste prefixul lui
i
c
.
Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care
prezinta un interes deosebit din punct de vedere practice.
Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste
cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de
prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin
reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se
numesc si coduri ireductibile.
Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o
combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La
decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se
inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand
la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d.
Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind
faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre
codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea
teorema:orice cod cu conditia de prefix este un cod unic decodabil.
Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si
convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum
simplu,sau nodul final de la extremitatea drumului simplu corespunzator
Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta
biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii
corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o
combinatie de cod.
De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu
ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod
internediar.
Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este
asemanatoare, tinand cont ca din fiecare nod pomesc D arce.



25

1.3. Codarea si decodarea pe canale fara perturbatii.

In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un
codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor
mesaie cât mai scurte pentru a transmite aceiasi cantitate de inIormatie. Aceastâ operatie numita
generic . compresie de date ¨

Definirea unui cod. Fie o sursa discreta Iara memorie având alIabetul


{ } S s s s
N
=
1 2
, ,......, (2.3)

cu probabilitatea de aparitie ( ) p s p
i i
=


{ } P p p p
N
=
1 2
, ,......, (2.4)

Fie alfabetul canalului


{ }
X x x x
q
=
1 2
, ,......, (2.5)

constituit dintr-un numar finit de semne (litere, caractere)
Se considera reuniunea secventelor finite de litere din alfabetul canalului:

X X
n
n
*
=
>

(2.6)

Orice aplicatie S X ÷
*
se numeste codarea alfabetului Sprin alfabetul X

Un element s X
i
* *
e si care corespunde lui s
i
este un cuvânt de cod. Lungimea
cuvântului de cod. notatâ
( )
n s n
i i
*
= este numarul de litere cale Il formeaza. Totalitatea
cuvintelor de cod constitue codul lui S cu mentiunea ca X
*
poate contine si combinatii care nu
apartin codului, numite cuvinte fara sens.
Astfel, un text constituit din secvente de mesaje:

m s s s
j i i ik
=
1 2
, ,......, (2.7)

este codat prin secventele de cuvinte de cod (cu sens)

m s s s
j i i ik
=
1 2
* * *
, ,......, (2.8)


26
Decodarea implica posibilitatea de a repara cuvintele de cod în mod unic (aplicatia
S X ÷
*
sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular).
Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s s
1 2
10
* *
, = si s
3
01 = . Codul 010 poate fi interpretat fie s s
1 2
* *
, fie s s
3 1
* *
, .
Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i
corespunda o succesiune unica de litere, adica aplicatia S X
k
k
n
÷
>
*
1

sa fie si ea injectiva.
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta
proprietate sunt:
(a) utilizarea cuvintelor de cod de aceiasi lungime (bloc)
(b) utilizarea unui semn distinct Intre cuvintel (separator)
Exista însa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura
proprietate de unic decodabil. Aceste coduri se numesc separabile.


Alcatuirea unui cod. Teorema Kraft

Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de
lungime n n n
N 1 2
, ,......, este ca

q
n
i
i
N
÷
=
s
¯
1
1
(2.9)

Observatii

1. Se reaminteste ca ( ) q card X = este numarul de litere din alfabetul canalului.
2. Daca numarul cuvintelor de lungime k este r
k
atunci conditia (1.9) devine

r q
k
k
k
n
· s
÷
=
¯
1
1
(2.10)

cu N r
k
k
n
=
=
¯
1


Teorema Mac Millan

Un cod este ireductibil daca si numai daca

n n n
N 1 2
s s s ...... (2.11)

27


Criterii de apreciere a unui cod.
Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
convenabil de apreciere a unui cod este lungimea medie a unui cuvânt

n p n
i i
i
n
= ·
=
¯
1
(2.12)

unde p
i
sunt definite prin (1.4) si n
i
este numarul de litere din cuvântul de cod cu indicele i.
Este evident ca se cauta ca n sa Iie cât mai mic dar trebuie avut In vedere ca el este
limitat inferior de entropia informationala pe simbol a alfabetului de cod

n
H
q
>
log
2
(2.13)

unde H este entropia sursei. In aceste conditii, eficienta unui cod este

n =
·
s
H
n q log
2
1 (2.14)

iar redundanta codului este

p n = ÷ 1 (2.15)


Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se
numesc coduri absolut optimale

Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil
pentru care lungimea medie a cuvintelor eVWHRUFkWGHDSURSLDWDGHPDUJLQHDVDLQIHULRDUD.

Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima
teorema a lui Shannon se reIera la problema codarii cu o lungime medie posibila cât mai mica.
pe un canal neperturbat de capacitate data.
Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau
compacte.





28
1.4. Coduri Huffman de dispersie minimă.
Acest procedeu se bazează pe ideea de a partiĠiona mulĠimea mesaielor sursei S = {s1, s2
,..., sN} în submulĠimile si . astIel încât suma probabilităĠilor mesaielor incluse în să
Iie cât mai apropiată de suma probabilităĠilor mesaielor incluse în .
La rândul lor. submulĠimile si pot Ii partiĠionate în submulĠimile si ,
respectiv si astIel încât suma probabilităĠilor mesaielor incluse în cele patru
submulĠimi să Iie cât mai apropiate posibil. Procedeul se continuă în mod similar până când se
obĠin submulĠimi ce conĠin un singur mesai.
În Ielul acesta. pentru orice distribuĠie a sursei S ce urmează a Ii codată se va obĠine un
cod compact. adică lungimi medii ale cuvintelor de cod ce nu mai pot Ii micsorate prin nici un alt
procedeu de codare.
Pentru ca partiĠiile să satisIacă condiĠiile menĠionate. se procedează
astfel:
1). Se ordonează mulĠimea mesaielor sursei S în ordinea descrescătoare a probabilităĠilor.
obĠinându-se astIel mulĠimea ordonată ={ }, cu p( ) p( ) ... p( ), cu
schimbarea eventuală a indicilor mesaielor pentru realizarea ordonării respective;
2). Se reunesc ultimele două mesaie (de probabilităĠile cele mai mici) într-un nou mesaj,
notat cu . căruia i se alocă o probabilitate egală cu suma probabilităĠilor mesaielor
componente. Se ordonează din nou mesaiele în ordinea descrescătoare a probabilităĠilor.
Iormându-se astIel prima sursă restrânsă ={ cu p( ) p( ) ... p( ) ...
.
3). Se reunesc ultimele două mesaie din sursa restrânsă într-un nou mesaj , de
probabilitate egală cu suma probabilităĠilor mesaielor componente. Se ordonează mesaiele în
ordine descrescătoare. Iormându-se astIel sursa restrânsă . În mod analog, din se Iormează
sursa restrânsă si asa mai departe. până când se obĠine o sursă restrânsă Iormată numai din
două mesaje, , cu p( ) . De fapt, va fi si va fi sau
invers.

29
Din modul de Iormare a surselor restrânse . rezultă că mulĠimea S a mesajelor poate fi
partiĠionată în două submulĠimi si astIel încât probabilităĠile p( ) si sunt cele
mai apropiate posibil. La rândul lor. submulĠimile si . pot Ii partiĠionate în alte două
submulĠimi. de probabilităĠile cele mai apropiate posibil. PartiĠionările se continuă până se obĠin
submulĠimi care conĠin un singur mesai.
4). Cuvintele de cod corespunzătoare Iiecărui mesai se obĠin astIel:
- submulĠimii i se alocă simbolul "0" (sau "1");
- submulĠimii . i se alocă simbolul "1" (sau "0");
- la Iiecare partiĠionare se alocă arbitrar celor două submulĠimi "0" sau "1". operaĠia continuându-
se până se obĠin submulĠimi ce conĠin un singur mesaj , k= .
Deoarece alocarea lui "0" si "1" este arbitrară la Iiecare partiĠionare. rezultă că unei surse
S i se pot atasa o multitudine de coduri instantanee. toate. însă. având aceeasi lungime medie a
cuvintelor de cod. care nu mai poate Ii micsorată prin nici un alt procedeu de codare a mesaielor
luate individual.
Dacă sursa primară S poate furniza N mesaie. atunci submulĠimea restrânsă , va avea
N-1 mesaie. submulĠimea restrânsă va conĠine N-2 mesaie si asa mai departe. ultima
submulĠime restrânsă va conĠine N n mesaje, care sunt si . adică se poate scrie:
N-n=2 => n=N-2 (2.16)
Dacă submulĠimii i se alocă simbolul "0" si submulĠimii simbolul "1", celor N-2
partiĠionări putându-li-se aloca arbitrar "0" sau "1". rezultă un total de posibilităĠi de
codare. Dacă. însă. submulĠimii i se alocă simbolul "1". iar submulĠimii simbolul "0",
mai rezultă posibilităĠi de codare. Rezultă. deci. că prin acest procedeu de codare se pot
realiza coduri instantanee. toate având toate aceeasi lungime medie a
cuvintelor de cod.
Prin deIiniĠie. se numeste cod compact. codul care realizează lungimea medie minimă a
cuvintelor de cod. Deoarece prin procedeul de codare HuIIman se obĠine cea mai mică lungime
medie a cuvintelor de cod. înseamnă că prin acest procedeu se obĠin coduri instantanee
compacte. Evident. un cod absolut optimal este si compact. reciproca neIiind totdeauna valabilă.

30
Exemplul 3.1.
Se presupune sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Codarea binară HuIIman a acestei surse se poate realiza astfel:


Fig. 3.2. Schema de codare pentru exemplul 3.1
Graful si cuvintele de cod corespunzătoare codării efectuate sunt date în Fig. 3.3.

Fig.3.3. GraIul corespunzător codului

31

Codurile HuIIman de dispersie minimă se obĠin când la reordonarea sursei restrânse.
simbolul compus se plasează pe poziĠia cea mai de sus posibil în sursa restrânsă. În Ielul acesta
cuvântul de cod atribuit simbolului compus va avea cea mai mică lungime posibilă. Cum acest
cuvânt va deveni preIix pentru simbolurile constituente. cuvintele de cod corespunzătoare
acestora vor avea o lungime cu o unitate mai mare decât lungimea preIixului. deci si acestea vor
rezulta de lungime minimă. Ca urmare. diIerenĠele dintre lungimile cuvintelor de cod devin
minime, ceea ce va conduce. evident. si la o dispersie minimă.
Pentru Iixarea ideilor. se presupune sursa discretă de inIormaĠie caracterizată de
distribuĠia:
S :

Pentru această sursă se eIectuează codarea HuIIman. plasând întâi mesaiele sursei
restrânse pe poziĠiile cele mai ios posibile în listă si apoi pe poziĠiile cele mai de sus posibile. În
primul caz rezultă schema de codare din Fig. 3.4. iar graIul si cuvintele de cod ca în Fig. 3.5.


32


Pentru acest cod. lungimea medie si dispersia sunt:



Pentru cazul în care în codarea HuIIman mesaiele sursei restrânse se plasează pe poziĠiile
cele mai de sus în listă. se obĠine schema de codare din Fig. 3.6 si graIul si cuvintele de cod ca în
Fig. 3.7.


33

Pentru acest cod, lungimea medie este, evident. aceeasi. în timp ce dispersia devine:

Desi din punct de vedere inIormaĠional. cele două coduri sunt identice. în practică se
preIeră Iolosirea celor de dispersie minimă. din motive de transmisie. De exemplu. dacă se
doreste să se transmită mesaie ale sursei cu o viteză de 10.000 mesaie/sec.. este necesar un canal
cu capacitatea de 22.000 biĠi/sec. Deoarece viteza de generare a biĠilor oscilează în iurul valorii
de 22.000 biĠi/sec.. IuncĠie de succesiunea de mesaie Iurnizate la un moment dat. iesirea sursei
este încărcată într-un buffer.
Dacă. de exemplu. sursa generează la un moment dat siruri de mesaie si mai multe
secunde. pentru primul cod se generează 40.000 biĠi/sec. si în Iiecare secundă ar trebui un buIIer
de capacitate de 18.000 biĠi. Cu al doilea cod se generează 30.000 biĠi /sec. si buIIerul ar trebui
să aibă capacitatea de 8.000 biĠi. Dacă se transmit siruri de mesaie , cu primul cod se
generează 10.000 biĠi/sec. si canalul nu e Iolosit la capacitatea sa. rămânând un deIicit de 12.000
biĠi/sec. pe când cu al doilea cod se generează 20.000biĠi/sec. deIicitul existent în exploatarea
canalului Iiind numai de 2.000 biĠi/sec. Asadar. din motive de transmisie este mai rezonabil a se
alege al doilea cod decât primul.


34
1.5. Procedeul de codare binară Shannon - Fano.
Acest procedeu se aplică de obicei în cazurile particulare în care probabilităĠile de
Iurnizare ale mesaielor sunt puteri întregi pozitive ale lui (1/2). adică. de Iorma:
p( = , ( ) k= (2.17)
unde este un număr întreg pozitiv. Dacă relaĠia (3.48) este satisIăcută. mulĠimea S = {s1, s2
,..., sN} a mesaielor sursei discrete de inIormaĠie ce urmează a Ii codată poate Ii partiĠionată în
două submulĠimi si . astIel încât suma probabilităĠilor mesaielor incluse în . notată cu
p( ). să Iie egală cu suma probabilităĠilor mesaielor incluse în .. notată cu p( ). Sursa S
Iiind totdeauna completă. se poate scrie:
(2.18)

SubmulĠimile si se pot partiĠiona la rândul lor în si . respectiv în si
. astIel încât suma probabilităĠilor mesaielor incluse în cele patru submulĠimi să Iie aceeasi.
adică se poate scrie relaĠia:

(2.19)

Se procedează în mod analog până se obĠin submulĠimi care conĠin un singur mesai. Se
observă că Iiecare submulĠime are suma probabilităĠilor mesaielor incluse egală cu o putere
întreagă a lui (1/2). Puterea întreagă este egală cu numărul indicilor submulĠimii respective Dacă
submulĠimea conĠine un singur mesai. . si are un număr de indici egal cu , atunci se poate
scrie:

de unde rezultă necesitatea ca sursa S ce urmează a Ii codată să-si Iurnizeze mesaiele cu
probabilităĠi egale cu ½ la o putere întreagă. pozitivă.
Sursa Iiind completă. se poate scrie relaĠia (1.21):

35
(2.21)

Înlocuind (1.20) în (1.21). rezultă relaĠia (1.22):
(2.22)
ceea ce înseamnă că inegalitatea lui Kraft devine în acest caz egalitate.
Cuvintele de cod se vor obĠine, atunci, astfel:
1. Se atribuie simbolul "0" submulĠimii si simbolul "1" submulĠimii , (sau invers),
astIel că toate cuvintele corespunzătoare mesaielor incluse în vor începe cu "0" si toate
cuvintele corespunzătoare mesaielor incluse în , vor
începe cu "1" (sau invers);
2. Se alocă submulĠimilor si ca al doilea mesai "0". iar submulĠimilor si
ca al doilea mesai "1" (sau invers). În Ielul acesta. cuvintele de cod corespunzătoare
mesaielor incluse în vor începe cu 00. cuvintele de cod corespunzătoare mesaielor incluse în
vor începe cu 10 si asa mai departe. cuvintele de cod corespunzătoare mesaielor induse în
vor începe cu 11.
3. OperaĠia se continuă în acelasi mod. până când în Iiecare submulĠime rămâne un singur
mesai. căruia îi va corespunde cuvântul de cod Iormat din sirul de indici ai submulĠimii
respective. Deoarece la Iiecare partiĠionare în două submulĠimi atribuirea mesaielor "0" si "1"
este arbitrară. rezultă că prin acest procedeu se pot obĠine o multitudine de coduri instantanee.
dar toate absolut optimale.
În principiu. procedeul de codare descris s-ar putea aplica în general. adică si atunci când
relaĠia (1.21) nu este satisIăcută. În acest caz. partiĠionările în submulĠimi trebuie eIectuate astIel
încât suma probabilităĠilor mesaielor incluse în submulĠimile respective să Iie cât mai apropiate.
Atribuind simbolurile "0" si "1" ca în procedeul descris. se obĠin totdeauna coduri instantanee.
Cu cât sumele probabilităĠilor mesaielor componente ale submulĠimilor respective vor Ii
mai apropiate. cu atât lungimea medie a cuvintelor de cod va Ii mai mică.

36
Exemplul 3.2.
Se consideră sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Procedeul de codare binară Shannon - Fano este sintetizat în tabelul de mai ios:

Graful arborescent atasat codului astfel obĠinut este reprezentat în Fig. 3.8


37
$SOLFDĠLH

Simularea cu ajutorul programului MATLAB a algoritmului de compresie
Shannon-Fano
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în Iigura
următoare.



ExerciĠii rezolvate.

Exemplu
În tabelul de mai ios sunt prezentate patru coduri separabile,

mesaj A B C D
s
0

00 0 0 0
s
1

01 10 01 10
s
2

10 110 011 110
s
3

11 1110 0111 111


38
Folosind codul B, succesiunile s ss s
3 1 0 2
se codifica 1110100110. Dupa receptinarea
primelor sase biti se poate determina ca s-a receptionat s s
3 1
. Daca Insa se folosec codul C,
succesiunea s ss s
3 1 0 2
se codifica 011010011. Dupa receptionarea primelor sase biti conduce la
decodarea s
3
dar secventa 01 poate fi interpretata la acel moment fie care s
1
fie ca, s
2
fie ca s
3
,
ambiguitatea rezolvându-se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod
instantaneu.
Conditia necesara si suIicienta ca un cod sa Iie instantaneu este ca nici un cuvânt de cod
sa nu Iie preIix al altui cuvânt de cod (conditia de preIix).
Se considera sursa care genereaza simbolurile :
- s0 cu probabilitatea p1 = 0,5
- s1 cu probabilitatea p2 = 0,25
- s2 cu probabilitatea p3 = 0,125
- s3 cu probabilitatea p4 = 0,125

Se cere sa se determine eficienta codurilor A, B, C si D

Solutie

Entropia sursei este
H p p
i i
i
= ÷ · = ÷ ÷ ÷ · =
=
¯
log log log log
2
1
4
2 2
1
2
1
2
1
4
1
4
2
1
8
1
8
7
4
biti
Pentru codul A lungimea medie a codului este n
A
= 2 si n p
A
iar = = =
7
4
2 2
7
8
1
2
2
log

Codurile B si C cu aceiasi lungime medie

n n
B C
= = · + · + · + · = 0 5 1 0 25 2 0125 3 0125 4 1875 , , , , ,


n n
p p
B C
B C
= = =
= =
1 75
1 875
14
15
1
15
,
,


Codul D are n
D
= · + · + · = 0 5 1 0 25 2 0125 3 1 75 , , , , si
n p
D D
= = =
1 75
1 75 2
1 0
2
,
, log





39
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

1. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare HuIIman si să se calculeze
lungimea medie a cuvintelor de cod.

Testul nr. 2

2. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare Shannon-Fano si să se calculeze
lungimea medie a cuvintelor de cod.


7HPăGHFRQWURO
Se consideră o sursă cu alIabetul | | | |
6 5 4 3 2 1
, , , , , s s s s s s S = si probabilităĠile
| | | | 2 . 0 , 1 . 0 , 25 . 0 , 3 . 0 , 1 . 0 , 05 . 0 = P :
a. să se determine un cod compact Iolosind algoritmul de codare HuIIman. dacă
alfabetul codului este | | | | 1 , 0 = X si dacă alIabetul codului este | | | | 2 , 1 , 0 = X ;
b. pentru cele două cazuri să se calculeze lungimea medie a cuvintelor de cod si
eficienĠa codului.












40
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2:
|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
|5| V. Munteanu. Transmiterea si codiIicarea inIormaĠiei. Note de curs.






41

MODULUL 3
CODURI DETECTOARE SI CORECTOARE DE ERORI

În cazul transmisiilor la distanĠe relativ mari. prin apariĠia inerentă a
perturbaĠiilor. o parte din simbolurile din alIabetul codului. ce Iormează
cuvintele de cod atasate mesaielor. pot Ii modiIicate. astIel încât ceea ce se
recepĠionează nu mai corespunde cu ceea ce s-a transmis. Deoarece în marea
maioritate a situaĠiilor practice se Ioloseste ca alIabet al codului numai 0 si 1
(usor de realizat) vom considera în continuare doar acest caz. În situaĠia în care
alIabetul codului este numai 0 si 1. datorită perturbaĠiilor codului. un 0 transmis
poate deveni 1 si invers. Din această cauză se spune că perturbaĠiile care apar au
un caracter aditiv.

†
0 1

0

1

0 1

1 0

Dacă se transmite 0 si se recepĠionează 1 perturbaĠia 0 † 1 = 1.
Din codarea mesaielor (surselor) pentru canale cu perturbaĠii se pun două
probleme:
1. detecĠia erorilor
2. corecĠia automată a erorilor
1 codarea trebuie astfel efectuată încât la recepĠie să putem decide dacă
ceea ce s-a recepĠionat este corect sau eronat. Iără pretenĠia de a stabili si
locurile în cuvântul de cod în care s-au introdus erori.
2 codarea trebuie astIel eIectuată. încât la recepĠie să avem posibilitatea
nu numai a decide dacă ceea ce s-a obĠinut este corect. ci si de a corecta automat
erorile care au apărut pe canal.
Problema detecĠiei erorilor este mai simplă, în schimb necesită un canal
de transmisiuni cu dublu sens. deoarece. ori de câte ori la recepĠie se detectează
prezenĠa erorilor. să existe posibilitatea cererii de retransmisie a cuvântului
recepĠionat eronat. Se cere transmiterea cuvântului recepĠionat eronat până ce
acesta este recepĠionat corect ; rezultă o întârziere la recepĠionarea inIormaĠiei.
În scopul întocmirii codurilor detectoare de erori sau corectoare de erori.
se Iolosesc o serie întreagă de coduri. bazate pe diIerite teorii matematice. o
primă clasiIicare constând în :
„ coduri bloc la care Iiecare cuvânt de cod are aceeasi lungime
„ coduri nonbloc (sau recurente) la care transmisia se Iace cursiv. Iără o
delimitare precisă a cuvântului de cod.

42

MODULUL 3
CAPITOLUL 1

CODURI DETECTOARE SI CORECTOARE DE ERORI

3.1. Codarea si decodarea pe canale perturbate

S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este
probablitatea de eroare.
Transmiterea în banda de baza sau modulatia sunt aIectate de o serie de constrângeri
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise.
Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea
redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si
decodorul canalului.
Codorul canalului adauga în mod sistematic biti la mesaiul transmis. Acesti biti
aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor.
Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.
Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura
5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei
^ ` b
k
cu un
debit r
b
pe un canal zgomotos.
Datorita zgomotului fluxului de date receptionate
^ `

b
k
difera uneori de secventa
transmisa
^ `
b
k
.
Se impune ca probabilitatea de eroare

P b b
k k

z sa Iie mai mica decât o anumita
valoare.
Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de
eroare.
Codorul împarte biti mesaiului în blocuri de câte k biti si înlocuieste Iiecare bloc cu
un cuvânt de cod de n biti. adaugând n k biti. Decodorul primeste cuvântul de cod. care
este uneori alterat si încearca sa decodeze cei k biti ai mesajului.
Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa
detecteze si sa corecteze erorile de tramsmitere reducând prin aceasta probabilitatea de eroare.
Proiectarea unui codor/decodor consta în selectarea regulilor de generare a cuvintelor
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea
receptionata de cuvânt de cod.
În Iigura 3.1 este prezentata schema bloc pentru un sistem de codare/decodare.










43


























Codurile care eIectueaza controlul erorii sunt clasiIicate în: coduri bloc si coduri
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza un cuvânt de cod de n
biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de
control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile
convolutionare. biti de control sunt în mod continuu inserati între biti de inIormatie; biti de
control veriIicând nu numai biti de inIormatie din blocul precedent ci si din alte blocuri
anterioare.
Distanta Hamming. Distanta între doua cuvinte binare de lungime
n u x x x v y y y
n n
= =
1 2 1 2
, ,......, ; , ,......, $
{ } ( )
x y
i i
, , e 0 1 este numarul pozitiilor
de acelas rang în care doua cuvinte diIera
( )
d u v x y
i i
i
n
, = ©
=
¯
1
(3.1)
Observatie
Numarul natural ( )
d u v , verifica axiomele distantei
( ) ( )
( )
( ) ( ) ( )
( ) , ,
( ) ,
( ) , , ,
a d u v d v u
b d u v u v
c d u v d u w d w v
= >
= · =
s +
0
0 (3.2)

Codor
canal
mesaj
k
mesaj control
k n-k
Modulator

Canal
cuvânt de cod
n
mesaj
k
Decodor
canal
Demodulator
r
b

r r
n
k
c b
=

Fig. 3.1

44
O reprezentare geometrica a lui u poate fi un punct de coordonate x x
n 1
,...... In
R
n
. Cele 2
n
combinatii de n biti sunt vârIurile unui hipercub de latura 1. In Iigura
următoare este reprezentat un astIel de cub pentru R
3
.




















Daca toate cuvintele de cod au sens. atunci orice eroare conduce la un alt cuvânt de
cod si nu poate Ii depistata. Daca însa separam din cele 2
n
cuvinte de cod, numai 2
k
atunci
este posibil sa se depisteze unele erori singulare deoarece 2
n k
combinate nu au sens. În
general. Iie un cod în care toate cuvintele sunt la distante mutuale de cel putin egale cu d
0
.

Cazul 1

Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este
ca d r
0
2 1 t

Cazul 2

Daca d r
0
2 t se pot corecta cel mult r 1 erori.


3.2. Coduri bloc liniare

Se considera coduri bloc. în care Iiecare. în Iiecare bloc de k biti mesaj este codat
într-un bloc de n k ! biti prin adaugarea de n k biti de control. Bitii de control sunt
obtinuti pe baza celor k biti mesaj, asa cum este ilustrat în Iigura 3.3.




000
001
011
111
010
110 100
101
x
1

x
3

x
2

Fig 3.2
Distanta Hamming
între doua vârIuri este cel
mai mic numar de laturi
care le unesc

45
Codor
canal
mesaj biti de control
k biti
k
n k ÷
mesaj cod bloc
Fig. 3.3


















Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod
si codurile pentru care biii mesai apar la începutul cuvântului de cod sunt numite coduri
sistematice. În plus daca Iiecare di cele 2
k
cuvinte de cod poate fi exprimat ca o
combinatie lineara de k vectori independenti, atunci codul este si linear.

Codarea consta în doua etape:
(1) secventa de biti inIormationali este segmentate în blocuri mesai de câte k biti.
(2) codorul transforma fiecare bloc mesai într-un bloc mai mare de n biti în
conformitate cu anumite reguli. Acesti n k ÷ biti aditionali sunt generati printr-o combinatie
lineara de biti mesaj si operatiile pot fi descrise folosind matrice.
Blocul mesaj este reprezentat printr-un vector linie având k componente


| | { }
( )
D d d d cu d i k
k i
= e e
1 2
0 1 1 ...... , ; , (3.3)

Fiecare bloc mesai este transIormat într-un cuvânt de cod c de lungime n

| |
C c c c
n
=
1 2
......
Se observa ca eficienta acestui cod este k n.
Pentru un cod linear, sistematic primii k biti ai cuvântului de cod sunt bitii mesai
adica

c d i k
i i
= =1 2 , ,......, (3.4)

Ultimii n k ÷ biti ai cuvântului de cod sunt bitii de control generatii pe baza celor k
biti ai mesaiului în conIormitate cu anumite reguli predeterminate:


mesaj

46

c p d p d p d
c p d p d p d
k k k
n n k n k k n k k
+
÷ ÷ ÷
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
1 11 1 21 2 1
1 1 2 2
,
, , ,

(3.5)

Coeficientii p
i j ,
din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2.
Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala

| | | |
c c d d
p p p
p p p
p p p
p p p
k n
n k
n k
n k
n k
k k k n k
1 1
11 12 1
21 22 2
31 32 3
1 2
1000 0
0100 0
0010 0
000 01
... ...
... ...
... ...
... ...
... ...
,
,
,
, ,
=

×
÷
÷
÷
÷

(3.6)

sau

C D G = · (3.7)

unde G este o matrice de tip k n × numita matricea generatoare a codului si are
forma


| |
G I P
k
k n
=
×
(3.8)

Matricea I
k
este matricea unitate de ordinul k iar P este o matrice arbritara
( )
k n k × ÷ . Sa remarcam ca specificarea lui P defineste complet codul bloc ( )
n k , .
Proiectarea unui cod bloc ( )
n k , prin selectarea unei matrici P trebuie sa aiba în
vedere urmatoarele proprieteti
- comoditatea implementarii
- capacitatea de a corecta erorile singulare si pachetele de erori (burst errors)
- eficienta codului da fie ridicata
Prin eficienta codului se Intelege raportul
k
n
pentru o anumita capacitate de
detectie/corectie.
Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca
toate proprietatile de mai sus.

3.3. Exemple de coduri liniare

Codul Hamming
Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu
ajutorul matricei de control H, care este formata din m linii si
m
2
- 1 coloane, lar coloanele
sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima
egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici:

47
- lungimea combinatiilor de cod este n = 2m -1;
- numarul simbolurilor de control este r=n - k ;
-numarul simbolurilor informationale este k

Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa
codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri
simetrice pe k pozitii) .
La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate
fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan,
rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul
de cod receptionat.
Lungimea n a codului este o putere a lui 2. adică n÷2
m
. Pentru r. număr întreg pozitiv.
numărul poziĠiilor inIormaĠionale este
0
r
i
m
i
k C
=
=
¯
(3.8)
Numărul simbolurilor de control este dat de relaĠia

1
1
1 ...
m
m m r
n k C C
÷ ÷
÷ = + + +
(3.9)
DistanĠa minimă Hamming este d÷2
m-r

La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare
nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc
simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din
codul receptionat.
Fie Vn un spatiu vectorial peste GF(2), ndimensionali avand componentele 0 sau 1.
Fie u÷(a1.a2.a3...an) si v÷(b1.b2.b3...bn). pe spatiul vectorial Vn se poate deIini produsul
vectorial u x V÷(a1*b1. a2*b2..an*bn) si produsul scalar
¯
- =
i i
b a V u
&
&
*
si
) 2 ( * GF V u e
&
&
.
Se pot observa urmatoarele :
- produsul scalar este nul daca ponderea produsului vectorial este un numar par ;
- fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra
liniara, asociativa si comutativa.

Codul Reed-Muller se poate defini cu urmatorii parametrii :
- n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
-
¯
=
=
r
k
k
n
C k
0
, unde k este numarul de simboluri informationale din cod ;
- d=2m-r, unde d este distanta minima a codurilor ;
-
1 2 1
... 1
÷ ÷
+ + + + = ÷
r n
m m m
C C C k n
, pentru care se defineste codul RM(m,r) ;
-

÷
=
2
1 d
t
unde t este numarul de erori pe care il poate corecta codul RM(m,r).

Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu
vectorial, generat de urmatorii vectori liniari independenti care constituie matricea
generatoare :
V0÷1111 1111 1111 ...1111
Vm÷0000 0000 0000 ...1111

48
Vm-1÷0000 1111 0000 .. 1111
............
Vm x Vm-1÷ ........ (3.10)
.............
V2 x V1÷ ..........
..............
Vr x Vr-1 x V1÷ .......
Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x
Gkxn.

Codul Reed-Muller (5,2)
Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori :
m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3
erori pe cuvant.
Matricea V pentru RM(5,2) este :

(1111 1111 1111 1111 1111 1111 1111 1111){V0}
(0000 0000 0000 0000 1111 1111 1111 1111){V5}
(0000 0000 1111 1111 0000 0000 1111 1111){V4}
(0000 1111 0000 1111 0000 1111 0000 1111){V3}
(0011 0011 0011 0011 0011 0011 0011 0011){V2}
(0101 0101 0101 0101 0101 0101 0101 0101){V1}
(0000 0000 0000 0000 0000 0000 1111 1111){V54}
(0000 0000 0000 0000 0000 1111 0000 1111){V53} (3.11)
(0000 0000 0000 0000 0011 0011 0011 0011){V52}
(0000 0000 0000 0000 0101 0101 0101 0101){V51}
(0000 0000 0000 1111 0000 0000 0000 1111){V43}
(0000 0000 0011 0011 0000 0000 0011 0011){V42}
(0000 0000 0101 0101 0000 0000 0101 0101){V41}
(0000 0011 0000 0011 0000 0011 0000 0011){V32}
(0000 0101 0000 0101 0000 0111 0000 0101){V31}
(0001 0001 0001 0001 0001 0001 0001 0001);{V21}

Se defineste
G x m X
&
&
&

unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21).
Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de
control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand
de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite
de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom
scrie cate un set de relatii de control corespunzator componentei informationale din mesajul
transmis care are acelasi indice cu vectorul analizat.
Mesajul informational este :
a
1xk
=(a
0
a
5
a
4
a
3
a
2
a
1
a
54
a
53
a
52
a
51
a
43
a
42
a
41
a
32
a
31
a
21
).
Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara.
Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea
majoritara din sistem :

3 2 1 0 21
y y y y a † † †
7 6 5 4 21
y y y y a † † †

49
11 10 9 8 21
y y y y a † † †
15 14 13 12 21
y y y y a † † †
19 18 17 16 21
y y y y a † † †
23 22 21 20 21
y y y y a † † †
27 26 25 24 21
y y y y a † † †
31 30 29 28 21
y y y y a † † †
Iar a21 este valoarea majoritara a sistemului.
5 4 1 0 31
y y y y a † † †
7 6 3 2 31
y y y y a † † †
13 12 9 8 31
y y y y a † † †
15 14 11 10 31
y y y y a † † †
21 20 17 16 31
y y y y a † † †
23 22 19 18 31
y y y y a † † †
29 28 25 24 31
y y y y a † † †
31 30 27 26 31
y y y y a † † †
Iar a31 este valoarea majoritara a sistemului.
6 4 2 0 32
y y y y a † † †
7 5 3 1 32
y y y y a † † †
14 12 10 8 32
y y y y a † † †
15 13 11 9 32
y y y y a † † †
22 20 18 16 32
y y y y a † † †
23 21 19 17 32
y y y y a † † †
30 28 26 24 32
y y y y a † † †
31 29 27 25 32
y y y y a † † †
Iar a32 este valoarea majoritara a sistemului.
9 8 1 0 41
y y y y a † † †
11 10 3 2 41
y y y y a † † †
13 12 5 4 41
y y y y a † † †
15 14 7 6 41
y y y y a † † †

50
25 24 17 16 41
y y y y a † † †
27 26 19 18 41
y y y y a † † †
29 28 21 20 41
y y y y a † † †
31 30 23 22 41
y y y y a † † †
Iar a41 este valoarea majoritara a sistemului.
10 8 2 0 42
y y y y a † † †
11 9 3 1 42
y y y y a † † †
14 12 6 4 42
y y y y a † † †
15 13 7 5 42
y y y y a † † †
26 24 18 16 42
y y y y a † † †
27 25 19 17 42
y y y y a † † †
30 28 22 20 42
y y y y a † † †
31 29 23 21 42
y y y y a † † †
Iar a42 este valoarea majoritara a sistemului.
12 8 4 0 43
y y y y a † † †
13 9 5 1 43
y y y y a † † †
14 10 6 2 43
y y y y a † † †
15 11 7 3 43
y y y y a † † †
28 24 20 16 43
y y y y a † † †
29 25 21 17 43
y y y y a † † †
30 26 22 18 43
y y y y a † † †

31 27 23 19 43
y y y y a † † †
Iar a43 este valoarea majoritara a sistemului.
17 16 1 0 51
y y y y a † † †
19 18 3 2 51
y y y y a † † †
21 20 5 4 51
y y y y a † † †
23 22 7 6 51
y y y y a † † †
25 24 9 8 51
y y y y a † † †
27 26 11 10 51
y y y y a † † †
29 28 11 10 51
y y y y a † † †

51
31 30 15 14 51
y y y y a † † †
Iar a51 este valoarea majoritara a sistemului.
18 16 2 0 52
y y y y a † † †
19 17 3 1 52
y y y y a † † †
22 20 6 4 52
y y y y a † † †
23 21 7 5 52
y y y y a † † †
26 24 10 8 52
y y y y a † † †
27 25 11 9 52
y y y y a † † †
30 28 14 12 52
y y y y a † † †
31 29 15 13 52
y y y y a † † †
Iar a52 este valoarea majoritara a sistemului.
20 16 4 0 53
y y y y a † † †
21 17 5 1 53
y y y y a † † †
22 18 6 2 53
y y y y a † † †
23 19 7 3 53
y y y y a † † †
28 24 12 8 53
y y y y a † † †
29 25 13 9 53
y y y y a † † †
30 26 14 10 53
y y y y a † † †
31 27 15 11 53
y y y y a † † †
Iar a53 este valoarea majoritara a sistemului.
24 16 8 0 54
y y y y a † † †
25 17 9 1 54
y y y y a † † †
26 18 10 2 54
y y y y a † † †
27 19 11 3 54
y y y y a † † †
28 20 12 4 54
y y y y a † † †
29 21 13 5 54
y y y y a † † †
30 22 14 6 54
y y y y a † † †
31 23 15 7 54
y y y y a † † †
Iar a54 este valoarea majoritara a sistemului.


52
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se
procedeaza in felul urmator:
x se elimina influenta din relatiile de control a componentelor corespunzatoare
vectorilor compusi ;
x se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate
componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

Urmatorul pas este determinarea lui y` :
y

=
y-(a
54
*V
54
+a
53
*V
53
+a
52
*V
52
+a
51
*V
51
+a
43
*V
43
+a
42
*V
42
+a
41
*V
41
+a
32
*V
32
+a
31*
V
31
+a
21
*V
21
);

Pentru a vedea valoarea componentei mesajului informational :
(a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
se procedeaza pe baza logicii majoritare.
1 0 1
y y a †
3 2 1
y y a †
5 4 1
y y a †
7 6 1
y y a †
9 8 1
y y a †
13 12 1
y y a †
15 14 1
y y a †
17 16 1
y y a †
19 18 1
y y a †
21 20 1
y y a †
23 22 1
y y a †
25 24 1
y y a †
27 26 1
y y a †
29 28 1
y y a †
31 30 1
y y a †
Iar a1 este valoarea majoritara a sistemului.
2 0 2
y y a †
3 1 2
y y a †
6 4 2
y y a †
7 5 2
y y a †
10 8 2
y y a †

53
11 9 2
y y a †
14 12 2
y y a †
15 13 2
y y a †
18 16 2
y y a †
19 17 2
y y a †
22 20 2
y y a †
23 21 2
y y a †
26 24 2
y y a †
27 25 2
y y a †
30 28 2
y y a †
31 29 2
y y a †
Iar a2 este valoarea majoritara a sistemului.
31 27 3
30 26 3
29 25 3
28 24 3
23 19 3
22 18 3
21 17 3
20 16 3
15 11 3
14 10 3
13 9 3
12 8 3
7 3 3
6 2 3
5 1 3
4 0 3
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a


















Iar a3 este valoarea majoritara a sistemului.

54
31 23 4
30 22 4
29 21 4
28 20 4
27 19 4
26 18 4
25 17 4
24 16 4
15 7 4
14 6 4
13 5 4
12 4 4
11 3 4
10 2 4
9 1 4
8 0 4
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a4 este valoarea majoritara a sistemului.
31 15 5
30 14 5
29 11 5
28 12 5
27 11 5
26 10 5
25 9 5
24 8 5
23 7 5
22 6 5
21 5 5
20 4 5
19 3 5
18 2 5
17 1 5
16 0 5
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a5 este valoarea majoritara a sistemului.

Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor
simpli din vectorul y` :
y ÷y`-(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5)

55

Pentru a evalua pe a0, observam numarul majoritar de componente din y » iar valoarea
celor mai multe componente va fi valoarea lui a0. Mesajul corectat este :
m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)


Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clasă de coduri ciclice cu
o deosebită capacitate de corecĠie a erorilor, care generalizează codurile Hamming pentru
corecĠia erorilor multiple.
Un cod ciclic binar, corector de t erori. având
x Lungimea blocului n= , cu m . întreg
x Numărul simbolurilor de control n-k mt, t ,
x DistanĠa d ,
se numeste cod BHC dacă are drept polinom generator g(x) polinomul de cel mai mic grad
peste câmpul GF(2) care are ca rădăcini elementele ale câmpului Galois
GF( ).
Prin urmare g( )=0, i=
Fie polinomul minimal al lui . adică polinomul de cel mai mic grad peste
GF(2) astIel încât ÷0. Atunci polinomul generator g(x) trebuie să Iie cel mai mic
multiplu comun (c.m.m.m.c) al polinoamelor ,
si anume: g(x)= (c.m.m.m.c){ , }.
Un număr par i poate fi exprimat sub forma i=k* , k , impar. Atunci =
este conjugatul elementului . Dar un polinom care admite rădăcinile
admite drept rădăcini si conjugatele acestora. Prin urmare, si au acelasi polinom
minimal si deci . Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){ , }. (3.12)
Grdul Iiecărui polinom minimal Iiind cel mult egal cu m , polinomul g(x) va fi de grad
cel mult egal cu mt . astIel încât numărul simbolurilor de control. n-k , va fi cel mult egal cu
mt : n-k mt. La limită. în cazul corecĠiei unei singure erori. t÷1. rezultă n-k mt.

56
Codul BCH de lungime , cu m 10 . se numesc coduri BCH în sens restrâns
(sau primitive). Aceste coduri sunt generate de elemente primitive de ordin mai mic decât
din GF( ).
Un cod BCH de lungime corector de o singură eroare este generat de
polinomul g(x)= .
Polinoamele minimale ale elementelor din GF( ) generate de g(x)=1+x+


ƒ Exemplu. trebuie să Iie de grad m÷4 . deci de Iorma
=1+ (3.13)
Deoarece
=1+ (3.14)
Conform tabelului 3.3 înseamnă că
(3.15)
si rezultă

Deci
= 1+x+ (3.16)

57
Deoarece din 2t-1÷3 rezultă t÷2. se deduce un cod BCH corector de două erori si de
lungime n= = 15 este generat de g(x)= (c.m.m.m.c){ ,
}= (x)=1+ .
Fie v(x) un polinom de cod cu coeficienĠii în GF(2). asociaĠi unuo cuvânt de cod
v(x)= . Polinomul de cod admite rădăcinile
din GF( ).
Dacă este o rădăcină a lui v(x) pentru 1 , atunci
+ (3.17)
Se introduce matricea
(3.18)
astIel încât v =0.
Rezultă că v este în spaĠiul nul al matricei H si deci H este matrice de control a
codului.

AplicaĠii


Simularea cu ajutorul programului MATLAB a codului BCH

Codurile BCH fac parte din categoria codurilor ciclice. Se va implementa în
programul MATLAB schema prezentată în Iigura următoare.
Se vor utiliza următoarele blocuri:
- Random-I nteger Generator: generează numere întregi distribuite în
intervalul [0, M-1]. Parametrii blocului sunt:
- M-ary number` este 2^7 deoarece codul BCH utilizat este BCH(15,7)
si numerele generate sunt reprezentate în binar pe 7 biēi.
- Initial seed` este [1458]. Modificând acest parametru se modifica secvenēa
de numere generate.
- Sample time` este 1. Generează câte un număr la fiecare secundă.
- I nteger to Bit Converter: transformă un vector de întregi într-un vector de biēi.
Parametrul blocului este:
- Number of bits per integer` este 7. Se lucrează pe 7 biēi.
- BCH Encoder: crează un cod BCH din datele vectorului binar. Parametrii blocului

58
sunt:
- Codeword length N` este 15.
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt:
- Error probability` este 0.1, pentru a nu introduce erori.
- Input vector length` este 15 deoarece cuvântul de cod cu care se adună
este reprezentat pe 15 biēi.
- Initial seed` este 12345.
- Sample time` este 1 pentru a se genera un esantion la fiecare secundă.- BCH Decoder:
decodează un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului
sunt:
- Codeword length N` este 15 .
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Bit to I nteger Converter: transformă un vector de biēi într-un vector de întregi.
Parametrul blocului este:
- Number of bits per integer` este 7.
- Error Meter: compară semnalele de la intrare, le afisează si evaluează rata de eroare.
Parametrii blocului sunt:
- Bit per symbol` este 7 deoarece utilizează 7 biēi pentru fiecare simbol transmis.
- Number of digits on display` este 20 deoarece afisează 20 de
simboluri.
- Delay between input (1
st
port) and output (2
nd
port)` este 0.
- Sample time` este 1 deoarece se consideră un esantion la fiecare secundă.
- Sum: afisează suma elementelor de la intrare. Parametrii blocului sunt:
- Icon shape` este rectangular.
- List of signs` este +.
- Graph Scope: afisează numărul de erori. Parametrii blocului sunt:
- Time range` este 10.
- y-min` este -1.
- y-max` este 5.
- Line type` este 'ro/b*'
- Mux: multiplexează semnalele de la intrare.
- Display: afisează valoarea de la intrare.
Se va realiza schema bloc aratată si se va rula pentru diferite valori ale probabilitatii
de eroare si se vor analiza rezultatele.


59

Simularea cu ajutorul programului MATLAB a codului Hamming
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în
Iigura următoare.






60


ExerciĠii rezolvate.
Un număr de 8 simboluri se transmit cu aiutorul unui cod Hamming grup corector de o
eroare si detector de erori duble. Se cere:
a. să se determine numărul simbolurilor de inIormaĠie k, al celor de control m, si
lungimea cuvântului de cod n;
b. să se scrie matricea de control H a codului;
c. să se stabilească expresia corectorului corespunzător eronării simbolului
2
c ;
d. să se determine corectorul corespunzător eronării simbolurilor
2
c si
1
c ;
e. să se determine cuvintele de cod;
f. să se precizeze dacă > @ 0 1 1 0 0 1 1 v este un cuvânt al acestui cod.

SoluĠie
a). Numărul simbolurilor de inIormaĠie k se determină cu relaĠia si
rezultă k÷3.
Marginea Hamming dă pentru numărul simbolurilor de control:
. din care rezultă că m÷3.
La aceste simboluri de control, care permit corecĠia unei erori. trebuie adăugat
simbolul de verificare la paritate, asa încât numărul total al simbolurilor de control va Ii:
=m+1=3+1=4
Structura cuvântului de cod va Ii:

Unde este simbolul de veriIicare a parităĠii, iar - simbolurile de control
pebtru codul corector de o eroare.
b). Matricea H a codului corector de o eroare este de forma:
H=[ ]
respectiv:
H=
Cu relaĠia (2.33) se obĠine pentru matricea expresia:

61
=
c). Pentru acest caz cuvântul de eroare este de Iorma:

Cu relaĠia (2.34) rezultă pentru expresia corectorului

Din expresia corectorului rezultă că apare o eroare corectabilă ( pe poziĠia a
2-a (z= ).
d). Pentru acest caz cuvântul eroare este de Iorma:

si rezultă:
=
Corectorul arată că apar două erori detecctabile ( ).
e). Cuvintele de cod se pot scrie calculând simbolurile de control din cele de inIormaĠie cu
relaĠia . din care rezultă:








62
Cuvintele de cod se găsesc în tabelul următor.
Simboluri
Cuvinte


0 0 0 0 0 0 0

1 0 1 0 1 0 1

1 1 0 0 1 1 0

0 1 1 0 0 1 1

1 1 1 1 0 0 0

0 1 0 1 1 0 1

0 0 1 1 1 1 0

1 0 0 1 0 1 1


I). Se calculează corectorul astfel:
= =
Deoarece iar z÷0 cuvântul dat este un cuvânt al acestui cod. ceea ce era usor
de constatat si prin inspectarea tabelului anterior. în care îl regăsim sub Iorma cuvântului .

TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1
Se consideră un cod grup cu matricea de control de forma:
»
»
»
¼
º
«
«
«
¬
ª

0 1 1 0 0
1 0 0 1 0
1 1 0 0 1
H
a. să se determine proprietăĠile de corecĠie ale codului. Codul este perfect?
b. să se stabilească dacă matricea:

63
»
¼
º
«
¬
ª

1 0 0 1 1
0 1 1 0 1
G
poate să Iie matricea generatoare a codului.
c. să se scrie cuvintele de cod utilizând matricele H si G.




BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3:
|1| A. Spătaru: Teoria Transmisiunii InIormaĠiei. Ed. Didactică si Pedagogică. Bu-
curesti, 1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

|3| I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John
Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ,
England,2006.

UNIVERSITATE

TEORI A TRANSM I TERI I
Teoria transmiterii aleatoare i teoria deciziilor statistice

a codurilor, teoria semnalelor urile de evaluare. Modul de

ajute oferinduDisciplina Teoria transmiterii obiective specifice: Teoriei transmiterii codific .

disciplinele ; tehnicoO comp

tem

2

CUPRINS MODULUL 1pag.4 MODULUL 1- CAPITOLUL 1- ELEMENTE DE ..................................................................................................................................pag.5 1.1. 1.2. 1.3. 1.4. Informatia ..............................................................pag.5

Sistemul de transmitere a informatiei. .......................................pag.6 1.3. Modele de surse informationale. .........................................pag.7 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 2.1. Modele de surse informationale.....................................................pag.9 2.2. Informatia proprie conditionata...................................................pag.10 TESTE DE AUTOEVALUAR .......................pag.21 BIBLIOGRAFIE RECOMAN ....................... pag.21 MODULUL 2 - CODAREA SURSELOR MODULUL 2- CAPITOLUL 1.................... .........pag.22 .....pag.23

1.1 Codificarea surselor discrete.......................................................pag.23 1.2 Codificarea neuniforma................................................................ pag.23 1.3. Codarea si decodarea pe canale fara perturbatii ... pag.25

1.5 TESTE DE AUTOEVALUAR BIBLIOGRAFIE RECOMAN

Fano. .........................pag.34 ................ pag.39 ..................pag.40

MODULUL 3................pag.41 MODULUL 3 - CAPITOLUL 1 - CODUR ERORI.....................................................................................................................pag.42 1.1. Codarea si decodarea pe canale perturbate ..............................pag.42 ..pag.44 1.3. Exemple de coduri liniare ...........................................................pag.46 TESTE DE AUTOEVALUAR .................pag.62 BIBLIOGRAFIE RECOMAN ...................pag.63

3

se transforma. independent de substratul lor fizic.. evenimente. in nofiunea de informatie se pot cuprinde toate stirile despre mediul care ne inconjoara sau. in interactiunea omului cu mediul inconjurator.a fost un moment important in stiinta. abia in zilele noastre se stabilesc bazele intelegerii lor. care se obtin. 4 .In intelesul mai larg. mai bine zis. Intocmai cum introducerea notiunii de energie a permis sa se analizeze toate fenomenele naturii dintr-un punct de vedere unic.introducerea notiunii de informafie a permis studierea dintr-un punct de vedere comun a celor mai diferite procese de comanda din natura. A obtine o informatie inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte asupra unui lucru.Tutori: Lector univ. Se numeste informatie orice stire care poarta in sine urma unui fapt. se prelucreaza si se foloseste sunt inca insuficient studiate. Informatia este comunicarea (mesajul) ce aduce stiri despre fapte. procese.ing. GRECU DAN MODULUL 1 INFORMA IEI informa iei. despre care s-a stiut mai putin inainte elor specifice teoriei este estimat la aproximativ 6-8 ore pentru fiecare modul -un ritm de 2-3 ore pe zi. tot asa. se pastreaza. dr. fapt etc. iar legile dupa care informatia apare. obiecte. Stabilirea notiunii generalizate de informatie pentru caracterizarea proceselor de conducere dintr-un punct de vedere unitar. Notiunea de informatie a aparut mult mai tarziu decat notiunea de energie. se elucideaza metodele de studiu si investigare. eveniment sau proces oarecare.

5 . care se desfasoara pe baza schimbului de informatie. in televiziune se deformeaza imaginea. telegrafului si radioului.MODULUL 1 CAPITOLUL 1 ELEMENTE DE TEORIA TRANSMITERII INFORMA IEI 1. Cantitatea de informatie si cu atat mai mult efectul ei.una din problemele principale ale teoriei informatiei consta in stabilirea metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii. Comunicari complexe. transmiterea informatiei este insotita de un fenomen nedorit. Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura adecvata pentru caracterizarea ei. in telefonie se distorsioneaza semnalul de vorbire. evidentiindu-se in mod deosebit latura informafionala a sistemului. De aceea. auzului. care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei. indiferent de natura sistemului. Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la greseli. Tot asa.de adaugare la informatia transmisa a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii. de informatie :informatii numerice.nu sunt determinate de cantitatea de energie folosita pentru transmiterea infornafiei.telegraf. Prin intermediul vazului. precum si al celorlalte simturi. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de telecomunicatii. in telegrafie apar greseli de imprimare. radio . O alta proprietate de seama a informatiei este aceea de a putea fi masurata. sele energetice care insotesc transmiterea informatiei joaca un rol secundar. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie sa existe posibilitatea folosirii acestei masuri. Prin mijloacele de telecomunicatii -telefon. Esenta proceselor de conducere. I nformatia i.se transmit informantii. consta tocmai in aceea ca miscarea si actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati reduse de energie. video. informatii multimedia:audio.5. semnale . Problema principala a teoriei informatiei este studierea transformarii. poate fi masurata. ordine si dispozitiuni se transmit cu ajutorul telefonului. omul primeste zilnic tot felul de informafii despre evenimentele din lumea ce il inconjoara. informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza in limitele sistemului respectiv. pastrarii si transmiterii informatiei. unde imaginile in miscare sunt insotite de semnale audio. adica sa existe siguranta ca se pastreaza obiectul masuratorii. Asadar. Comunicari si mai complexe sunt cele transmise prin intermediul televiziunii. imagine. notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate forme: aceasta constituie o proprietate de seama a informatiei.La toate aceste sisteme. de tip text. informatii logice.

linia radio sau radioreleu.1. Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia telefonica. o anumita combinatie de modulatie. dispozitivul de memorie sau organismul uman. Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare sau care apartin unui alfabet finit. Astfel. Reprezentarea informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se calculeze si sa se construiasca dispozitive de codificare si decodificare de canal. a convorbirilor ce se induc din alte linii. a bruiajului intentionat al adversarului etc. Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce la partea de receptie o copie acceptabila iesirii sursei. consta in a stabili cate simboluri binare. Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele inportante ce apare este. Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. de regula. Pentru a simplifica analiza modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de canal. schema bloc destul de generala a unui sistem de transmisiuni este data in fig. este de a transmite mesajul de la sursa la destinatar. actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza modificarilor caracteristicii de frecventa. a impulsurilor parazite. Sistemul de transmitere a informatiei. independent de dispozitivele corespunzatoare care se refera la sursa.1 Coderul din fig. si una din problemele importante ce apar. Asupra canalului. la intrarea coderului canalului si la iesirea decoderului canalului. daca acest lucru este posibil sa se faca.in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse date. Purtatorul material al informatiei . Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de semnale binare. O asemenea prelucrare poate include. de exemplu.1 executa orice prelucrare a semnalului generat de sursa. comprimare de date sau introducerea unei redundante pentru lupta cu perturbatiile. sursa carora pot fi schemele de comutare.1.semnalul . a zgomotului termic.se formeaza o succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit.2. independent de proprietatile sursei sau destinatarului.1 Fig.si cum sa se faca.1. din care decoderul sursei restabileste mesajul initial cu o precizie adoptata de catre destinatar. adica de a reproduce mesajul de la iesirea sursei la 6 . Sarcina sistemului de transmisiuni.isi pastreaza capacitatea sa de a transmite informatia numai in cadrul unui sistem de transmisiuni.1.

Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie.. intrucat conduce la enumerarea reprezentantilor claselor din intervalul de timp dat. a1. ci caracterizeaza proprietatile cup -destinatar".3.. care.teorema fundamentala a codificarii in lipsa zgomotelor da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.Criteriul acceptabilitatii depinde de scopul transmisiuni.generate intr-o secunda. In afara de aceasta. Vom numi acest obiect 1.ci o reproducere care corespunde anumitor scopuri specifice. Ele pot fi scrise in orice sistem de numeratie. p(ak). Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a mesajelor posibile in clase de echivalenta. alegere ce are la baza o repartitie oarecare de probabilitati P(a1).Sarcina sistemului de transmisiuni consta in reproducerea mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar.. necesare pentru reprezentarea fiecarui mesaj din multimea mesajelor posibile . ca sa fie posibila decodificarea lor. La aceste surse iesirea este o succesiune (in timp) de litere. Existenta criteriului de precizie permite sa se grupeze toate mesajele posibile. de la iesirea sursei in clase disjuncte. in orice interval de timp. in cazul transmiterii mesajelor admisinile. 7 . Pentru a mari eficacitatea sistemulul de transmisiuni se cauta sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei. Astfel. M odele de surse informationale. fiecare din ele alese dintr-un alfabet dat. . Sistemul de transmisiuni indica destinatarului clasa din care face parte mesajul respectiv. aceasta presupunere este justa numai intr-un anumit caz. Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor aleatorii.Rationamentul prezentat permite sa se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare. intr-o forma binara nu are o importanta principala.. ... poate fi luata ca o masura a cantitatii de informatie transmisa de sursa intr-un interval de timp. Numarul M de mesaje admise nu descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu care sunt generate aceste mesaje admisibile. Shannon . exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat. obiectul ce se transmite nu determina numai proprietatile sursei. pentru fiecare cuplu sursadestinatar. si criteriul acceptabilitatii. numarul mediu de sinboluri binare. Remarcam faptul ca scrierea numerelor. ak. Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o importanta fundamentala. depinde de intervalul de timp T cu care s-a lucrat la gruparea mesajelor in clase de echivalenta.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o succesiune de simboluri care fac parte dintr-un alfabet finit. Prima teorema a lui C. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic independent si intamplator. Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor conditii destul de generale poate fi indicat numarul R. Dar. admisibile pe timpul transmisiei. a2. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp dat. dupa cum vom vedea. care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de precizie adoptat.

Aparitia unui semnal in cadrul unui experiment se considera ca un eveniment. Construirea unui model probabilistic pentru semnalele discrete . xM P xM X (1. Cauza acestei tratari unilaterale rezida in faptul ca aparatul matematic existent deocamdata.2) Probabilitatea ca rezultatul experimentului va fi un element oarecare x.1. adica probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X considerata. prin x se intelege fie un semnal oarecare. fie numarul natural care corespunde semnalului respectiv.. Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si intotdeauna se face abstractie de continutul semantic al mesajului. se noteaza cu Px(x) in care. de asemenea. permit o tratare corespunzatoare probabilistica. prin indicele X se accentueaza ca rezultatul experimentului este un semnal din multimea semnalelor posibile X.ceea ce se face cu ocazia observarii cu o precizie data. totdeauna se poate realiza o corespondenta biunivoca intre semnalele posibile si intre o multime de numere naturale X . In continuare. M odelul probabilistic al semnalelor. In cazul cand nu exista ambiguitati in privinta apartenentei lui x se poate suprima indicele X. Evident: M P x P xK X K 1 1 (1. Experimentele cu mai multe rezultate simultane vor fi caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor elemente. discrete. permit o descriere probabilistica dupa discretizare .si astfel multimea semnalelor discrete se poate inlocui cu o multime de numere naturale X. Semnalele discrete care intervin in diferite sisteme informationale. .4. La calculul cantitatii de informatie si la stabilirea unitatii de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera semnalele ca evenimente aleatoare..utilizate in cadrul unui sistem informational dat . 8 . iar semnalele continue.nu ne permite efectuarea unui studiu calitativ al informatiei.facand ca fiecarui semnal sa corespunda un numar natural x X. destinate transmiterii si prelucrarii datelor. Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei aleatoare: X x1 P x1 X x2 P x2 X .1) Prin notatia X k se intelege probabilitatea de aparitie a evenimentului x=xk. Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta intr-un semnal purtator de informatie.. puten conchide universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic. Astfel.presupune cunoasterea probabilitatilor cu care apar aceste semnale in urma unui experiment..

MODULUL 1 CAPITOLUL 2 2. ca si informatia reciproca se poate considera ca o variabila aleatoare si se calculeaza valoarea sa medie.2: Fig.1.4) Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de repartitia de probabilitati este data in fig 1.2 Entropia semnalului Fie 9 .3) sau mai simplu se scrie sub forma: H X K 1 P x log (1. Valoarea medie a informatiei proprii pentru evenimente din multinea X se numeste entropia lui X si se calculeaza cu formula: K H X K 1 PX xK log 1 PX xK 1 Px (1. M odele de surse informationale Informatia proprie.1.

1 x P k yi I x. y I x I x y (1.5) atunci: H X p log 1 p 1 p log 1 1 p H p (1.11) 10 . conditionata de evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului x=xk . Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o diferenta intre informatia proprie si informatia proprie conditionata.10) Din relatia anterioara se obtine pe baza reciprocitatii relatia: y I x.8) Aceasta cantitate de informatie proprie a evenimentului X=Xk.cu conditia ca a aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula: IX Y xk yi log 1 x Px k yi y (1. I nformatia proprie conditionata.X x1 x2 p 1 p (1. dtupa ce a avut loc evenimentul y =yi. y I y I x (1.7) sau mai simplu se scrie: Ix x y log (1.9) de unde I x.2.6) 2. Cantitatea de informatie proprie conditionata a evenimentului X=Xk . y x y log Px P log 1 Px log 1 x P y (1.

y P x P PyP x y (1. adica ce cantitate de informatie se transmite despre X prin observarea lui Y.y) se poate scrie sub forma: y I x. y I x I x I x.15) rezulta ca.Y) este numita si informatia transmisa sau pe scurt transinformatia. Tinand seama ca: y x P x.y) din produsul cartezian de evenimente xy.y) se poate scrie sub forma: x x P PyP y y P x. cantitatea de informatie proprie a unui eveniment (x.Y). y I x. y H x H y I x. 11 . Deoarece H(X) este nedeterminarea lui X.H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y. y H y H x H x H y y x H y H x. y unde : I x I y I x. Iata motivul pentru care cantitatea de informatie medie I(X. y (1.17) Prima relatie din sistemul de mai sus permite interpretarea lui I(X. y I x. rezulta ca diferenta H(X) .In mod analog I(x.12) I x. y log 1 P x. y H x. y (1.16) Luand mediile expresiilor din relatiile anterioare se obtine: x I x.14) reprezinta cantitatea de informatie proprie a unui eveniment (x. y (1.13) I x. y log log log Px PyPx PyPx deci: log 1 Px log 1 Py log 1 P x. y H H H y x x y (1. y I y I x y (1. y H x.iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y.

.20) unde avem egalitate.y. Fig.insa invers.atunci H(x)>0. data de catre C.18) si H(x)=0... Proprietatea 1..o proprietate care de asemenea joaca un rol important in teoria informatiei.care sunt mai mari sau egali cu zero pentru 0<P(x)<1.suma H(X) contine termeni de forma P(x)log(1/P(x)).. xK . Daca P(xk)=1.atunci: H x log K (1.3.din egalitatea entropiilor nu rezulta identitatea repartitiilor. Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice.Din formula entropiei. Proprietatea 2..daca si numai daca repartitia lui X este uniforma adica: 12 .1..Daca repartitia lui Xnu este degenerate. repartitia lui X este degenerata si este de forma: X x1 . Shannon in anul 1948 in lucrarea sa. Fie x. xk 0 . 1 .atunci avem: log Px Qy P log x Q log y (1. rezulta ca entropia Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y).Psi Q numere positive si P+Q=1. 0 (1.19) in care avem egalitate daca si numai daca x=y.. Fie X multimea formata din K semnale . H(X)>0 In adevar. Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a fost pusa in evidenta de Jensen.

mq cu probabilitatile 1 de aparitie p1 . unitatile de masura sunt biti (informationali). Pentru ca acest continut sa fie o masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati : (i) daca pk pj I (mk ) I (mj ) (ii) daca pk 1 I (mk ) 0 (iii) daca 0 pk 1 I (mk ) 0 (iv) (aditivitatea) daca mk I (mk si mj ) I (mk ) I (mj ) si mj sunt mesaje independente O functie continua de variabila pk care satisface proprietatile (i)-(iv) este functia logaritmica. . Fie o sursa discreta care emite unul dintre cele q mesaje m . p2 . pq .X x1 1 k x2 1 k ... I (mk ) log 1 pk log pk Daca baza logaritmului este 2. m2 . Este evident ca probabilitatile satisfac relatia p1 p2 pq 1. y H x H y (1. Continutul informational al mesajului k este notat cu I (mk ) . Pentru cazul simplu al unei transmiteri seriale asincrone 13 . Din punctul de vedere al destinatarului. . k (1.. continutul informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui eveniment. Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment.21) Proprietetea 3. comunicatia este o variabila aleatoare. ate.22) in care avem egalitate daca si numai daca X si Y sunt statistic independente. xk 1 .avem: H x.. Pentru doua multimi de semnale X si Y .

25 106 log 2 22 3 2.25 106 log 2 2. Problema 1 Se considera o trasmisie fax : 2.elemente informatie per element= 1 2. Durata tuturor impusurilor este de 1 ms.2 sau 3 volti (echiprobabile) urmate de un impuls de pauza de nivel -1 volt. ecran ? (b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ? Solutie (a) (b) 24 80 128 log2 3 [biti ] 1 fc I R I f c [bps] I Problema 3 Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4 impulsuri de tensiune care pot avea nivelurile 0.25 106 2 log 2 3 12 Problema 2 Un display monocolor cu biti 24 linii 80 caractere/linie 128 puncte/caracter 3 tonuri de gri/punct (a) Care este cantitatea de informatie pe pixel.25 106 pixeli cu 12 tonuri de gri. echiprobabile. (b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T1 exprimata in bauds.1. caracter. Care este cantitatea de informatie transmisa ? Solutie I=nr. (a) Care este debitul de informatie ? 14 .T2 E M se definesc (a) rata de biti=(durata unui bit) -1 =1/T2 exprimata in biti/secunda (abreviat bps).

Se cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea.(b) Care este rata de bauds ? Solutie (a) (b) R rbauds I 4 log2 4 1. R r H Problema 6 15 . cantitatea de informatie necesara determinarii monedei false este I 1 log 2 Problema 5 Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt nivel 0: 1/2 nivel 1:1/4 nivel 2:1/8 nivel 3:1/8 Solutie 1 1 1 1 1 1 1 log log 2 log 3 5 10 2 2 4 4 8 8 Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca entropia este maxima pentru o sursa care genereaza simboluri echiprobabile Hmax log2 n . I 3 log 2 log 2 3 1 3 sa se propuna un algoritm de depistare. Se foloseste pentru cantariri o balanta fara mase marcate.6 [kbps] 5 10 3 1 103 [baud] 1 [kbaud] 3 10 Problema 4 Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Solutie 1 log 2 12 1 12 cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara 1 este I 2 log 2 log 2 2 1 2 cantitatea de informatie totala necesara a fi determinata I I1 I 2 log2 24 cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei) 1 numarul minim de cantariri I kI 3 24 3k k 3.

n.Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat matricei de tranzitie din figura de mai jos B E B D E B E D E q B E D u E D q BE B E E at D u Dq E q io E E at Equ D u Solutie q qu io atio simbolurile n. evenimentele x1.2 q care la receptie sa poata fi interpretate ca fiind incerte. H (Y) p( yi ) log p( yi ) . yj ) log p y j xi Conform regulii de inlantuire p( xi . io tio ti C max H (Y) H Y X 2 n.2 2 i 1 2 y x p( x ) (1 q) p( x ) p( y1 ) p y1 x1 p( x1 ) p y1 x2 p( x2 ) p 1 1 1 1 EM E S-a utilizat formula probabilitatii totale. io at ati 2 ua EM Metoda scalara n. surse binare in masura in E at Acest model descrie un u canal care perturba unei 2 ua n.2 ED M E M p( y2 ) p( y3 ) H (Y) (1 q) p( x2 ) p y3 x1 p( x1 ) (1 (1 (1 E M E M q log q q p( x1 ) (1 (1 p y3 x2 p( x2 ) q) p( x1 ) q) p( x2 ) E q 1 M q q) p( x2 ) q log q q) p( x1 ) log(1 (1 q) p( x2 ) log(1 q) log(1 q) q) p( x1 ) log p( x1 ) q) H ( X ) 2 3 p( x2 ) log p( x2 ) q log q q) log(1 H YX i 1 j 1 p( xi . x2 E Analog se poate scrie BE D B Equ atio BE n. on p( xi ) o 3 2 n. M fiind mutual exclusive. yj ) p yj xi p( xi ) Din graf se deduce ca p y1 x1 1 q p y1 x2 0 16 . n.

Se considera sursa care genereaza un alfabet de simboluri xi . Y) 0 0 0 p( x2 ) 0 0 p( xn ) PYX Matricea de zgomot P Y X se poate obtine prin impartirea fiecarei linii i prin p(xi ). Matricea campurilor reunite (joint) este p( x1 ) P( X . . P Y X este matricea dreptunghiulara de zgomot (n m) . 17 .p y2 x1 p y3 x1 Se obtine H YX 0 q p y2 x2 p y3 x2 q 1 q (1 q) log(1 q) q log q p( xi ) C (1 q) max H ( X ) (1 q) 1 1 q pentru setul optim de probabilitate la intrare p0 ( x1 ) Metoda matriciala p0 ( x2 ) 1. j 1. Problema 7 Fie matricea de tranzitie P Y X Se cere sa se calculeze (a) entropia campului de intrare 2 / 3 1/ 3 1/ 3 2 / 3 si p(x1)=3/4 si p(x2)=1/4. Se pot scrie urmatoarele relatii: P(Y) P( X ) P Y X 1. P(Y) este matricea linie a destinatiei (1 m) . m. . n si la destinatie unde P( X ) este matricea linie a sursei (1 n) . Matricea de echivocatie P X Y se poate obtine prin impartirea fiecarei coloane j prin p(yj) . Observatie In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate iesirilor. i se receptioneaza un alfabet de simboluri y j .

y j ) log p xi y j 0 2 / 3 1/ 3 1/ 2 1/ 4 P( X .(b) entropia campului de iesire (c) entropia campurilor reunite (d) eroarea medie (e) echivocatia (f) transinformatia (g) capacitatea canalului si setul optim la intrare (h)eficienta si redundanta relativa a canalului Solutie 2 (a) H( X ) i 1 2 p( xi ) log p( xi ) 3 3 log 4 4 1 1 log 4 4 2 3 log 3 4 0. Y) 3/ 4 0 1/ 4 1/ 3 2 / 3 1 / 12 1 / 6 H ( X .81 bit / simbol (b) H (Y) j 1 p( yj ) log p( yj ) 2 / 3 1/ 3 1/ 3 2 / 3 P(Y) 3/ 4 1/ 4 7 / 12 5 / 12 H (Y) 7 7 log 12 12 2 2 5 5 log 12 12 0. y j ) log p xi y j 18 .98 bit / simbol (c) H XY i 1 j 1 p( xi .92 bit / simbol H YX H ( X . y j ) log p y j xi H( X ) 0. Y) 2 2 i 1 j 1 H XY p( xi .73 bit / simbol (d) sau (e) unde H YX i 1 j 1 p( xi . Y) 2 1 1 log 2 2 2 1 1 log 4 4 1 1 log 12 12 1 1 log 6 6 1.

75 bit / simbol I ( X . p0 ( x2 ) se obtine din C max H (Y) p0 ( xi ) H YX 1 p0 ( x2 ) 3 2 p0 ( x2 ) 3 2 2 p( y1 ) p( y2 ) 2 p0 ( x1 ) 3 1 p0 ( x1 ) 3 2 2 H YX i 1 j 1 p( xi .06 bit / simbol (g) canalul fiind dublu uniform C log 2 1 1 1 log 1 3 3 1 1 (2 1) log 3 3 0. Y) 1 3 1 1 log log 4 5 12 7 H (Y) 1 2 log 6 5 0. Y) H( X ) H(Y) H( X .082 bit / simbol Setul optim p0 ( x1 ) . Y) 0.P XY 1 2 7 12 1 12 7 12 1 4 5 12 1 6 5 12 6 7 1 7 3 5 2 5 si sau (f) H XY H XY 1 6 log 2 7 H ( X . y j ) log p y j xi p0 ( x1 ) p0 ( x2 ) i 1 j 1 p y j xi p0 ( xi ) log p y j xi 1 1 log 3 3 2 2 log 3 3 1 1 log 3 3 2 2 log 3 3 deci H Y X nu depinde de P( X ) C max H (Y) p0 ( xi ) 2 2 log 3 3 1 1 log 3 3 19 .

(a) Calculati matricea P( X . y2 ) 0.1 0. (b) Calculati matricea de zgomot.8 0.73 p0 ( x2 ) 1 R(C) C I ( X .1 .4 ? ? 0.4 1/ 2 0.1 1/ 2 0. Y) .4 si p( x2 . y2 ) si folosind proprietatea (iii) a evenimentelor (a) canalul fiind simetric p( x1 . y1 ) p( x1 .2 0. Solutie 0. Y) 0.022 bit / simbol Problema 8 Fie un canal binar simetric avand matricea campurilor reunite P( X .4 1/ 2 0.8 20 .2 0. Y) pentru care sursa genereaza simboluri echiprobabile.dar max H (Y) p0 ( xi ) log 2 1 p( y1 ) p( y2 ) 1 2 p( y1 ) p( y2 ) p0 ( x1 ) p y1 x1 p0 ( x1 ) p y2 x1 p0 ( x1 ) p0 ( x2 ) 1 . Y) 0.1 1/ 2 0. 2 p y1 x2 p0 ( x2 ) p y2 x 2 p0 ( x2 ) Observatie Se mai poate utiliza si relatia p0 ( x1 ) (h) (C) I ( X .1 si mutual exclusive se obtine p( x1 . y2 ) 1 0. y1 ) 2 p( x1 . y2 ) p( x2 .4 0. (c) Calculati transinformatia.4 (b) PYX 0. P( X . Y) C 0.

The Atrium. iei unei figuri pe ilor reunite intrare-ie forma: PY X 1/ 4 1/ 4 1/ 4 1/ 4 uleze: a. ti. Chichester. Moreira. Transmisiunii Informa iei 1983 [3] I.2006.cure ti. Angheloiu. transinforma ia i capacitatea canalului. 1972. 1983. 21 . ESSENTIALS OF ERROR-CONTROL CODING. e. cantitatea de informa ie con Testul nr. 1 a. ti. BIBLIOGRAFIE RECOMAN i Informa .C. b. John Wiley & Sons Ltd. P.G. ire.TESTE DE AUTOEVALUARE Testul nr. England. West Sussex PO19 8SQ. d. Southern Gate. eroarea medie i echivoca ia. [4] J. 2 uleze cantitatea de informa tabla de ah. b. Farrell. c.

c e pentru codare ea. 22 . ectivul compresiei c erea num de simboluri binare necesar pentru reprezentarea mesajului. prin decompresie ndu-se mesajul origina tocmai. variabil ariabil variabil. cons au va cuvintelor de cod. Din punct de vedere a c cut prin decompresie se asea -a ac at prin procesul de compresie. bloc variabil. de re pentru memorarea sau transmiterea unui mesaj se folose -o ermedia eprezentarea prin simboluri bina cele mai multe metode de compresie folosesc metode de codare binar . Algoritmii de compresie cu pierderi au ca rezultat difer elativ mic tre mesajul rezultat prin decompre cel origina a compre esaje -Fano.MODULUL 2 CODAREA SURSELOR IONALE Compresia datelor este un proces de re prin car e edunda ei mesajului genera entru a reduce resursele necesare memor cestui mesaj. Deoarece.bloc.binar. bloc bloc cuvinte de cod de lungime fi ar variabil variabil corespun cuvintelor de cod. codurile de compresie se clasif bloc. distinge algoritmi de compresie pierde ersibili.

.iar totalitatea lor formeaza un cod...... Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si fara memorie.dupa cum s-a vazut. a2 . P aM ....se noteaza cu k .c2 . P a2 . u2 . a2 ... adica decodificarea sa fie unica.. Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si secundare. a . cM . Alfabetul sursei discrete se noteaza cu succesiuni de litere A a1 .deci sursa produce u1 .. Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare a . 23 .. deci ui A pentru Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a n 1 ..deci: n P 1 .Aceste combinatii se numesc si cuvinte de cod. aL .cuvintele de cod care corespund semnalelor primare a1 ...MODULUL 2 CAPITOLUL 1 CODAREA SURSELOR 1.. n i 1 P i (2. adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui simbol nu depinde de celelalte sinboluri anterioare.. 2 ... aM se noteaza cu c1 . aM care apar cu probabilitatile P a1 . In general. x2 . C c1 .. cM .corespunde lui k ..1 Codificarea surselor discrete..... Cerinta principala care se pune pentru orice codificare practic utilizabila este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la cele initiale. un formate cu ajutorul literelor din alfabetul sursei.Numarul semnalelor secundare c a n din cuvantul de cod k care..adica probabilitatea unei succesiuni date egala cu produsul probabilitatilor literelor de sursa ..... n de n litere de sursa este semnalelor... Fiecare sau litere notate cu 1 2 litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din alfabetul codului care contine D semnale X x1 .....2 Codificarea neuniforma.1) 1.trecerea de la un sistem de semnale primare la un sistem de semnale secundare se numeste codificare. xD . c2 . 2 .

. ck se numeste unic decodabile daca succesiunile cuvintelor de cod.. arata si sfarsitul unui cuvant de cod. La decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a. c 24 .dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin reducerea (suprimarea) ultinelor simboluri. xi 2 . Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care prezinta un interes deosebit din punct de vedere practice. tinand cont ca din fiecare nod pomesc D arce.2) Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod atribuite semnalelor primare sunt distincte se numeste cod nesingular.m. xi 2 ..unde k m se numeste prefixul lui i . dar in acest caz cel putin unui cuvant de cod ii corespunde un nod internediar. Fie un cuvant de cod ci xi1 ..din punct de vedere economic.sunt distincte.constructia grafului arborescent corespunzator este asemanatoare. fiecarui nod final ii corespunde o combinatie de cod. deoarece o combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. deci fiecarui cuvant de cod ii corespunde un nod final si nu un nod internediar si invers. xim . dat fiind faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.corespunzatoare diferitelor succesiuni de lungime finite a sursei...cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum simplu.unde n se mai numeste si lungimea mediea combinatiilor de cod: M n K 1 P ak nk (2.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de prefix.. De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu ajutorul unui graf arborescent..acel cod care conduce la un n -numarul mediu de litere de cod pe litere de sursa-cat mai mic posibil. Codul C c1 .. Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee. c2 . Momentul cand se obtine o succesiune cu sens.Sirul de litere xi1 . Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si convenabila.Dintre toate..d. xim .motiv pentru care codurile cu proprietate de prefix se numesc si coduri ireductibile. Se observa ca in cazul unui cod D-nar.. Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste cod cu proprietate de prefix.Relatia care exista intre codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea teorema:orice cod cu conditia de prefix este un cod unic decodabil. codurile unic decodabile prezinta un interes .sau nodul final de la extremitatea drumului simplu corespunzator Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta biunivoca intre cuvintele de cod si intre nodurile finale.

.5) constituit dintr-un numar finit de semne (litere.... p2 . caractere) Se considera reuniunea secventelor finite de litere din alfabetul canalului: X* n Xn (2.. pN (2. s2 ........ Astfel. In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un codor/decodor al sursei... un text constituit din secvente de mesaje: mj s1........ sik 2 (2.. x2 .... Codarea si decodarea pe canale fara perturbatii.. s i i ik (2. Totalitatea cuvintelor de cod constitue codul lui S cu mentiunea ca X * poate contine si combinatii care nu apartin codului... s 2 . S cu probabilitatea de aparitie p s i s ..8) 25 . numite cuvinte fara sens.1.6) Orice aplicatie S Un element s * i X * se numeste codarea alfabetului S prin alfabetul X X * si care corespunde lui si n si * ni este numarul de litere cale Il formeaza..... Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor tie numita Definirea unui cod.4) Fie alfabetul canalului X x1.. xq (2.3.7) este codat prin secventele de cuvinte de cod (cu sens) mj * * si 1 .3) pi P p1. sN 1 (2.. si * .

Decodarea implica posibilitate n mod unic (aplicatia S X sa fie injectiva). Un cod de acest tip este un cod unic decodabil.. Un cod cu aceasta probabilitate se numeste regulat (nesingular). Teorema Kraft Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de lungime n1. Se reaminteste ca q card X este numarul de litere din alfabetul canalului. 1 1 n Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i corespunda o succesiune unica de litere..10) cu N k 1 rk Teorema Mac Millan Un cod este ireductibil daca si numai daca n1 26 n2 . Codul 010 poate fi interpretat fie s * ... s * .. s2* 1 10 si s3 01. s2* fie s3* ..11) . 2. fie de exemplu * s * .9) devine n rk q k 1 n k 1 (2. Regularitatea este o conditie necesara dar nu suficienta pentru decodare. nN (2. Daca numarul cuvintelor de lungime k este rk atunci conditia (1..9) Observatii 1... adica aplicatia k 1 Sk X * sa fie si ea injectiva... Conditii suficiente care sa asigure aceasta proprietate sunt: (a) utilizarea cuvintelor de cod de aceiasi lungime (bloc) (b) utilizarea unui semn distinct Intre cuvintel (separator) Exista nsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura proprietate de unic decodabil. n2 . Aceste coduri se numesc separabile. Alcatuirea unui cod. nN este ca N ni q i 1 1 (2..

4) si ni Este evident ca se cauta ca n limitat inferior de entropia informationala pe simbol a alfabetului de cod i.15) Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se numesc coduri absolut optimale Prima teorema a lui Shannon.13) unde H este entropia sursei. Transmiterea mesajelor presupune un cost care creste linear cu timpul. In aceste conditii. Prima pe un canal neperturbat de capacitate data. eficienta unui cod este H n log 2 q iar redundanta codului este 1 (2. 27 . Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau compacte.Criterii de apreciere a unui cod.12) unde pi sunt definite prin (1.14) 1 (2. n H log 2 q (2. Pentru orice sursa omogena exista un cod ireductibil pentru care lungimea medie a cuvintelor e . Un criteriu n n i 1 pi ni (2.

cu p( ) p( ) . respectiv S un alt procedeu de codare.. astfel: - ={ }.. p( ) .. s2 .. cu p( ) . . p( ). cu -un nou mesaj.4. . de ordine - analog. sN} . va fi i va fi sau 28 .... ={ cu p( ) p( ) . invers.... din mesaje. -un nou mesaj . De fapt. S = {s1. .1. notat cu .

va avea realiza cuvintelor de cod.mea S a mesajelor poate fi ) i sunt cele - ii n singur mesaj .16) simbolul "1". k= . celor N-2 -lisimbolul "0". care sunt N-n=2 => n=N-2 (2. tantanee 29 . . S cuvintelor de co luate individual. S poate furniza N NN ine Nn mesaje.

S: ate realiza astfel: Fig.Exemplul 3. 3.3 30 . 3.1 Graful i cuvintele de cod corespunz toare cod rii efectuate sunt date n Fig.1. Fig. Schema de codare pentru exemplul 3.2.3.

minime. ceea ce va c S: 31 .

32 .7. 3.Fig.

33 . lungimea medie este.Pentru acest cod. mai multe de capacitat . evide ursei -un buffer. cu primul cod se rimul.

. p( unde .21): - 34 . atunci se poate scrie: S rela ia (1... sN} = ..1. Sursa S (2.5 Fano.17) S = {s1. s2 p( ) p( ).19) . ( ) k= (2.18) (2.

21) ia (1. rela 35 . astfel: . egalitate. . atunci.22) Kraft e.(2. (sau invers).22): (2. vor vor dar toate absolut optimale.

S: - Graful arborescent ata at codului astfel ob 36 .2.Exemplul 3.

Simularea cu ajutorul programului M ATLAB a algoritmului de compresie Shannon-Fano care - Exerci Exemplu . mesaj A 00 01 10 11 B 0 10 110 1110 C 0 01 011 0111 D 0 10 110 111 s0 s1 s2 s3 37 .

Daca Insa se folosec codul C.s2 cu probabilitatea p3 = 0.125 3 0. 75 1.25 2 0. Un cod de tip C se numeste cod instantaneu.75 si 1.5 1 0.5 .125 Se cere sa se determine eficienta codurilor A. 1 succesiunea s3s s0s2 se codifica 011010011.Folosind codul B.875 1 15 14 15 Codul D are nD D 0.s1 cu probabilitatea p2 = 0. Dupa receptinarea 1 primelor sase biti se poate determina ca s-a receptionat s3s .875 B C 1. 1 ambiguitatea -se abia dupa receptia urmatorilor biti. C si D Solutie Entropia sursei este 4 H i 1 p i log 2 p i 1 1 log 2 2 2 1 1 log 2 4 4 2 1 1 log 8 8 7 biti 4 Pentru codul A lungimea medie a codului este nA Codurile B si C cu aceiasi lungime medie 2 si A 7 4 2 log 2 2 7 iar 8 1 2 nB B nC C 0.125 .125 4 1.125 3 1.5 1 0.s3 cu probabilitatea p4 = 0. Se considera sursa care genereaza simbolurile : . Dupa receptionarea primelor sase biti conduce la 1 decodarea s3 dar secventa 01 poate fi interpretata la acel moment fie care s fie ca.25 2 0. s2 fie ca s3 . 75 log 2 2 1 D 0 38 . 75 1. succesiunile s3s s0s2 se codifica 1110100110.25 .s0 cu probabilitatea p1 = 0. B.

04 0.02 0.02 0.0.05. eficien a codului.1.25. s6 ile P 0.0.1.0.02 0.02 lungimea medie a cuvintelor de cod.48 0.07 0.1.02 lungimea medie a cuvintelor de cod.07 0.TESTE DE AUTOEVALUAR Testul nr. 2 2.0.07 0. s5 .02 0. s4 . A a1 a2 a3 a4 a5 a6 a7 a8 a9 0. Testul nr.14 0.2 : a. 1 1. S s1 . s3 . i 39 .07 0.3. A a1 a2 a3 a4 a5 a6 a7 a8 a9 0.0.1 X 0.48 0.14 0.04 0. alfabetul codului este X b. s2 .14 0.14 0. 0.2 .

1972. Transmisiunii Informa iei 1983 [3] I. England. ESSENTIALS OF ERROR-CONTROL CODING. ti. Chichester. Southern Gate. Moreira. Angheloi ti. [4] J.G.2006. The Atrium.cure ti. unii Informa . John Wiley & Sons Ltd.C. 40 .BIBLIOGRAFIE RECOMAN 1983. Farrell. P. West Sussex PO19 8SQ.

tea coduri bloc coduri nonbloc (sau recurente) 41 ngime . 1 codarea trebuie astfel efec ceea ce s-au introdus erori. 2 . 2.MODULUL 3 CODURI DETECTOARE DE ERORI - un caracter aditiv. probleme: 1. 0 1 0 1 0 1 1 0 1 = 1.

1.1 este prezentata schema bloc pentru un sistem de codare/decodare. transmis. este uneori Desi biti de control nu aduc nici o informatie receptorului.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei bk cu un debit rb pe un canal zgomotos. Referindu-ne la figura 5. de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea receptiona . Problema codarii pe canale perturbate poate fi formulata astfel. 42 . Codarea si decodarea pe canale perturbate S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este probablitatea de eroare. Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare. desi nu transporta informatie. Se impune ca probabilitatea de eroare P bk bk difera uneori de secventa bk valoare. care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise. Acesti biti aditionali. Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea redundantei controlate. k n n k k biti ai mesajului. ei permit decodorului sa eroare. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si decodorul canalului.MODULUL 3 CAPITOLUL 1 DE ERORI 3. fac posibili detectia si corectia erorilor. Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de eroare. Datorita zgomotului fluxului de date receptionate transmisa bk .

..v verifica axiomele distantei (a) d u. v y1. Din codurile bloc.v (c ) d u.. x 2 . y 2 .. y n $ x i .1 n convolutionare..v i 1 xi yi (3.1 binare de lungime este numarul pozitiilor d u.rb Codor canal rc rb n k Modulator mesaj k mesaj k control n-k Canal mesaj k n Decodor canal Demodulator Fig. La receptie biti de control sunt utilizati pentru a verifica biti de informatie din blocul precedent.u 0 d u..v 43 .1) Observatie Numarul natural d u...v d v ... Pentru codurile anterioare. x n .w 0 (3.. 3.v (b ) d u.. tre doua cuvinte n u x1. y i n 0.2) u v d w ... unui mesaj de k biti i se asocieaza biti care actioneaza r biti pe baza celor k biti cu continut informational.

Coduri bloc liniare k biti mesaj este codat -un bloc de n k biti prin adaugarea de n obtinuti pe baza celor k biti mesaj. Cele 2 n combinatii de n R3 ... a k biti de control. Bitii de control sunt . 3. x n In R n .O reprezentare geometrica a lui u poate fi un punct de coordonate x1 . 44 ..2. numai 2 k atunci este posibil sa se depisteze unele erori singulare deoarece 2 n k toate cuvintele sunt la distante mutuale de cel putin egale cu d 0 ... x3 001 011 Distanta Hamming mai mic numar de laturi care le unesc 101 000 100 x1 Fig 3.2 111 010 x2 110 2 n cuvinte de cod.. cod si nu poat Cazul 1 Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este ca d 0 2r 1 Cazul 2 Daca d 0 2 r se pot corecta cel mult r 1 erori.3.

i 1. d k - cu di 0.. k componente Blocul mesaj este reprezentat printr- D d1 d 2 ..4) k k 45 . k (3... cn Se observa ca eficienta acestui cod este k n ...mesaj Codor canal cod bloc mesaj mesaj biti de control k biti k n k Fig.. (2) codorul transforma fie -un bloc mai mare de n conformitate cu anumite reguli...2.3 Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod 2 k cuvinte de cod poate fi exprimat ca o combinatie lineara de k vectori independenti....3) c de lungime n C c1 c2 .. k biti.... atunci codul este si linear. 3. Pentru un cod linear.1 . Acesti n k biti aditionali sunt generati printr-o combinatie lineara de biti mesaj si operatiile pot fi descrise folosind matrice. sistematic primii k adica ci Ultimii n di i 1.. k (3.

c n d1 . n k d1 p 2. p1. n k d2 pk . j din ecuatiile (3... k prin selectarea unei matrici P tr vedere urmatoarele proprieteti .1d k (3.01 sau p11 p12 ..4) si (3. n p21 p22 .. k pentru o anumita capacitate de n 3. lar coloanele sunt toate elementele nenule de lungime m. n kdk Coeficientii pi .5) pot fi combinate sub o forma matriceala 1000..0 c1 . Spatiul nul al acestei matrice are distanta minima egala 3... Ecuatiile (3. p2. n k k k (3. p3.5) cn p1.7) unde G este o matrice de tip k n numita matricea generatoare a codului si are (3.6) k k n C forma D G (3..ck 1 p11d1 p21d 2 p k ..0 0100. adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici: 46 . Proiectarea unui cod bloc n. Ele se dau cu m ajutorul matricei de control H..0 000.. d k 0010.eficienta codului da fie ridicata Prin eficienta codului se Intelege raportul detectie/corectie..capacitatea de a corecta erorile singulare si pachetele de erori (burst errors) . Sa remarcam ca specificarea lui P defineste complet codul bloc n. Exemple de coduri liniare Codul Hamming Cele mai cunoscute coduri liniare sint codurile binare Hamming .. n p31 p32 .5) sunt booleene iar sumarea se face modulo -2. Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca toate proprietatile de mai sus..1 coloane.. p k .8) G Ik P k n k Matricea I k este matricea unitate de ordinul k iar P este o matrice arbritara n k ...1 p k 2 . n p k .3.. k ...comoditatea implementarii . care este formata din m linii si 2 .

multimea vectorilor de n elemente formeaza o algebra liniara. asociativa si comutativa.. d=2m-r.numarul simbolurilor de control este r=n . rezultand in urma algoritmului in mod direct simbolurile informationale detinute din codul receptionat. 1 2 n n k 1 Cm Cm . Codul Reed-Muller se poate defini cu urmatorii parametrii : n=2m. -numarul simbolurilor informationale este k Codul Reed-Muller Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming .9) La codul Reed-Muller. Cn k Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu vectorial. . coduri simetrice pe k pozitii) .k .. r k k 0 .8) 1 1 m n k 1 Cm .r) .. Cm r m-r (3. n dimensionali avand componentele 0 sau 1.r). algoritmul de decodificare nu poate fi etapizat. adica atat detectia cat si corectia si decodificarea propriu-zisa. generat de urmatorii vectori liniari independenti care constituie matricea generatoare : 47 . spre deosebire de cele sistematice. Fie Vn un spatiu vectorial peste GF(2). unde n este dimensiunea vectorilot cuvintelor de cod . spre deosebire de codurile simetrice algoritmul de decodificare nu poate fi etapizat. atat detectia. m Lungimea n a codulu r k i 0 i Cm (3. Cm r 1 . ai bi si Se pot observa urmatoarele : produsul scalar este nul daca ponderea produsului vectorial este un numar par . se produc simultan. u *V u *V GF (2) . fata de operatiile descrise.. unde k este numarul de simboluri informationale din cod . La acest cod. rezultand in urma algoritmului..lungimea combinatiilor de cod este n = 2m -1. cat si decodificarea propriu-zisa se produc simultan. pentru care se defineste codul RM(m. corectia. in mod direct simbolurile informationale continute in cuvantul de cod receptionat. unde d este distanta minima a codurilor . t d 1 2 unde t este numarul de erori pe care il poate corecta codul RM(m.

VmVm x Vm(3.10)

Vr x VrAlgoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x Gkxn. Codul Reed-Muller (5,2) Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori : m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3 erori pe cuvant. Matricea V pentru RM(5,2) este : (1111 (0000 (0000 (0000 (0011 (0101 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0001 1111 0000 0000 1111 0011 0101 0000 0000 0000 0000 0000 0000 0000 0011 0101 0001 1111 0000 1111 0000 0011 0101 0000 0000 0000 0000 0000 0011 0101 0000 0000 0001 1111 0000 1111 1111 0011 0101 0000 0000 0000 0000 1111 0011 0101 0011 0101 0001 1111 1111 0000 0000 0011 0101 0000 0000 0011 0101 0000 0000 0000 0000 0000 0001 1111 1111 0000 1111 0011 0101 0000 1111 0011 0101 0000 0000 0000 0011 0111 0001 1111 1111 1111 0000 0011 0101 1111 0000 0011 0101 0000 0011 0101 0000 0000 0001 1111){V0} 1111){V5} 1111){V4} 1111){V3} 0011){V2} 0101){V1} 1111){V54} 1111){V53} 0011){V52} 0101){V51} 1111){V43} 0011){V42} 0101){V41} 0011){V32} 0101){V31} 0001);{V21}

(3.11)

Se defineste X mxG unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21). Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom scrie cate un set de relatii de control corespunzator componentei informationale din mesajul transmis care are acelasi indice cu vectorul analizat. Mesajul informational este : a 1 x k =(a 0 a 5 a 4 a 3 a 2 a 1 a 5 4 a 5 3 a 5 2 a 5 1 a 4 3 a 4 2 a 4 1 a 3 2 a 3 1 a 2 1 ). Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara. Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea majoritara din sistem :
a21 a21 y0 y4 y1 y5 y2 y6 y3 y7

48

a21 a21 a21 a21 a21 a21

y8 y12 y16 y20 y24 y28

y9 y13 y17 y21 y25 y29

y10 y14 y18 y22 y26 y30 y4 y6 y12 y14 y20 y22 y28 y30 y4 y5 y12 y13 y20 y21 y28 y29 y8 y10 y12 y14

y11 y15 y19 y23 y27 y31 y5 y7 y13 y15 y21 y23 y29 y31 y6 y7 y14 y15 y22 y23 y30 y31 y9 y11 y13 y15

Iar a21 este valoarea majoritara a sistemului. a31 y0 y1
a31 a31 a31 a31 a31 a31 a31 y2 y8 y10 y16 y18 y24 y26 y3 y9 y11 y17 y19 y25 y27

Iar a31 este valoarea majoritara a sistemului. a32 y0 y2
a32 a32 a32 a32 a32 a32 a32 y1 y8 y9 y16 y17 y24 y25 y3 y10 y11 y18 y19 y26 y27

Iar a32 este valoarea majoritara a sistemului. a41 y0 y1
a41 a41 a41 y2 y4 y6 y3 y5 y7

49

a41 a41 a41 a41

y16 y18 y20 y22

y17 y19 y21 y23

y24 y26 y28 y30 y8 y9 y12 y13 y24 y25 y28 y29 y8 y9 y10 y11 y24 y25 y26

y25 y27 y29 y31 y10 y11 y14 y15 y26 y27 y30 y31 y12 y13 y14 y15 y28 y29 y30

Iar a41 este valoarea majoritara a sistemului. a42 y0 y2
a42 a42 a42 a42 a42 a42 a42 y1 y4 y5 y16 y17 y20 y21 y3 y6 y7 y18 y19 y22 y23

Iar a42 este valoarea majoritara a sistemului. a43 y0 y4
a43 a43 a43 a43 a43 a43 y1 y2 y3 y16 y17 y18 y5 y6 y7 y20 y21 y22

a43 y19 y23 y27 y31 Iar a43 este valoarea majoritara a sistemului. a51 y0 y1 y16 y17 a51 a51 a51 a51 a51 a51 y2 y4 y6 y8 y10 y10 y3 y5 y7 y9 y11 y11 y18 y20 y22 y24 y26 y28 y19 y21 y23 y25 y27 y29

50

a51 y14 y15 y30 y31 y16 y17 y20 y21 y24 y25 y28 y29 y16 y17 y18 y19 y24 y25 y26 y27 y16 y17 y18 y19 y20 y21 y22 y23 y18 y19 y22 y23 y26 y27 y30 y31 y20 y21 y22 y23 y28 y29 y30 y31 y24 y25 y26 y27 y28 y29 y30 y31 Iar a51 este valoarea majoritara a sistemului. 51 . a53 y0 y4 a53 a53 a53 a53 a53 a53 y1 y2 y3 y8 y9 y10 y5 y6 y7 y12 y13 y14 a53 y11 y15 Iar a53 este valoarea majoritara a sistemului. a54 y0 y8 a54 a54 a54 a54 a54 a54 y1 y2 y3 y4 y5 y6 y9 y10 y11 y12 y13 y14 a54 y7 y15 Iar a54 este valoarea majoritara a sistemului. a52 y0 y2 a52 a52 a52 a52 a52 a52 a52 y1 y4 y5 y8 y9 y12 y13 y3 y6 y7 y10 y11 y14 y15 Iar a52 este valoarea majoritara a sistemului.

a1 y0 y1 a1 a1 y2 y4 y3 y5 a1 a1 a1 a1 a1 a1 a1 a1 y6 y8 y12 y14 y16 y18 y20 y22 y7 y9 y13 y15 y17 y19 y21 y23 a1 a1 a1 y24 y26 y28 y25 y27 y29 y31 y2 y3 y6 a1 y30 Iar a1 este valoarea majoritara a sistemului. : y =y-(a54* V54+a53* V53+a52* V52+a51* V51+a43* V43+a42* V42+a41* V41+a32* V32+a31* V31 +a21* V21).Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi. a2 y0 a2 a2 y1 y4 a2 a2 y5 y8 y7 y10 52 . se scriu numarul de relatii de control pentru vectorii simpli. Pentru a vedea valoarea componentei mesajului informational : (a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) se procedeaza pe baza logicii majoritare. se procedeaza in felul urmator: se elimina influenta din relatiile de control a componentelor corespunzatoare vectorilor compusi . in numar de cate componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

53 .a2 y9 y11 a2 a2 a2 y12 y13 y16 y14 y15 y18 a2 a2 y17 y20 y19 y22 a2 a2 a2 a2 y21 y24 y25 y28 y23 y26 y27 y30 a2 y29 y31 Iar a2 este valoarea majoritara a sistemului. a3 y0 y4 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 y1 y2 y3 y8 y9 y10 y11 y16 y17 y18 y19 y24 y25 y26 y27 y5 y6 y7 y12 y13 y14 y15 y20 y21 y22 y23 y28 y29 y30 y31 Iar a3 este valoarea majoritara a sistemului.

a5 y0 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y11 y14 y15 Iar a5 este valoarea majoritara a sistemului. Dupa ce au fost evaluate componentele de la a1 la a5. se elimina influenta vectorilor : y -(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5) 54 .a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 y0 y1 y2 y3 y4 y5 y6 y7 y16 y17 y18 y19 y20 y21 y22 y23 y8 y9 y10 y11 y12 y13 y14 y15 y24 y25 y26 y27 y28 y29 y30 y31 y16 y17 y18 y19 y20 y21 y22 y23 y24 y25 y26 y27 y28 y29 y30 y31 Iar a4 este valoarea majoritara a sistemului.

55 .m. }.Pentru a evalua pe a0. corector de t Lungimea blocului n= .m. minimal i deci g(x)= (c. polinomul g(x) va fi de grad cel mult egal cu mt mt : n-k mt.m.m. Atunci = i poate fi exprimat sub forma i=k* este conjugatul elementului . va fi cel mult egal cu n-k mt. -k . impar.m. Mesajul corectat este : m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) Codul BHC Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clas de coduri ciclice cu o deosebit capacitate de corec ie a erorilor. i= polinomul minimal al lui multiplu comun (c.k . mt. care generalizeaz codurile Hamming pentru corec ia erorilor multiple.c){ i au acela i polinom . .D i conjugatele acestora.m. . GF( ). Prin urmare.m. Prin urmare g( Fie )=0. t . (3. Un cod ciclic binar. Atunci polinomul generator este de forma .12) m . cu m -k Distan a d se nume . }. observam numarul majoritar de componente din y celor mai multe componente va fi valoarea lui a0.c) al polinoamelor i anume: g(x)= (c.m.m.c){ .

Aceste coduri sunt generate de elemente p din GF( ).16) 56 .15) Deci = 1+x+ (3. ) generate de g(x)=1+x+ Polinoamele minimale ale elementelor din GF( Exemplu.3 (3. cu m (sau primitive).13) (3. =1+ Deoarece =1+ Conform tabelului 3. Un cod BCH de lungime polinomul g(x)= .14) (3.Codul BCH de lungime .

n spa iul nul al matricei H i deci H este matrice de control a Aplica ii Simularea cu ajutorul programului M ATLAB a codului BCH Codurile BCH fac parte din categoria codurilor ciclice Se vor utiliza urm toarele blocuri: . Modific nd acest parametru se modifica secven a de numere generate.m. . Parametrul blocului este: . . M-1].Sample time este 1. Genereaz c te un num la fiecare secun .umber of bits per integer este 7. g(x)= (c.I nteger to Bit Converter: transform un vector de ntregi ntr-un vector de bi i. atunci + Se introduce matricea (3.m. Se lucreaz pe 7 bi i. .18) =0.17) (3.Deoarece din 2tlungime }= n= = (x)=1+ 15 este generat de . Parametrii blocului 57 . Fie v(x) un polinom de cod cu coeficien v(x)= din GF( ).nitial seed este [1458]. v codului. Parametrii blocului sunt: -ary number este 2^7 deoarece codul BCH utilizat este BCH(15.BCH Encoder: creaz un cod BCH din datele vectorului binar.Random-I nteger Generator: genereaz numere ntregi distribuite n intervalul [0.7) numerele generate sunt reprezentate n binar pe 7 bi i. .m.c){ i de .

Time range este 10. .Error probability este 0.Bit per symbol este 7 deoarece utilizeaz 7 bi i pentru fiecare simbol transmis.Message length K este 7 deoarece se utilizeaz codul BCH(15.BCH Decoder: decodeaz un cod BCH pentru a reface vectorul binar transmis.umber of bits per integer este 7.List of signs este +. Se va realiza schema bloc arat se va rula pentru diferite valori ale probabilitatii de eroare si se vor analiza rezultatele. Parametrii blocului sunt: . .Sample time este 1 pentru a se genera un e antion la fiecare sec .Bit to I nteger Converter: transform un vector de bi i ntr-un vector de ntregi. .Binary Symmetric Channel: introduce erori binare. . Parametrii blocului sunt: .1. .Message length K este 7 deoarece se utilizeaz codul BCH(15.Initial see este 12345.elay between input (1st port) and output (2nd port) este 0. .7). umber of digits on display este 20 deoarece afi eaz 20 de simboluri. Parametrul blocului este: .7).y-ma este 5. .Input vector length este 15 deoarece cuv ntul de cod cu care se adun este reprezentat pe 15 bi i. . . Parametrii blocului sunt: . .sunt: .Sum: afi eaz suma elementelor de la intrare. .Graph Scope: afi eaz num rul de erori.y-mi este -1. Parametrii blocului sunt: .Display: afi eaz valoarea de la intrare. . 58 . le afi eaz i evalueaz rata de eroare.Codeword length N este 15 .Error M eter: compar semnalele de la intrare. Parametrii blocului sunt: .M ux: multiplexeaz semnalele de la intrare. . .Line type este 'ro/b*' .Icon shape este rectangular. pentru a nu introduce erori. .Sample time este 1 deoarece se consider un e antion la fiecare secund . . .Codeword length N este 15.

Simularea cu ajutorul programului M ATLAB a codului Hamming care - 59 .

care permit corec simbolul de verificare la paritate. iar . ii.33) se ob ine pentru matricea expresia: 60 . Matricea H a codului corector de o eroare este de forma: H=[ respectiv: H= ] Cu rela ia (2. c.eroare i detector de erori duble. al celor de control m. i c2 . d. b. v 1 1 0 0 1 1 0 Solu ie ie k ie k. cod n. Se cere: a. i ul simbolurilor de control: La aceste simboluri de control. f. a =m+1=3+1=4 Unde pebtru codul corector de o eroare. e. c2 i c1 .simbolurile de control b).

= Cu rela Din expresi 2-a (z= ). ie cu rela ia 61 . pe pozi ia a : = ).

b. TESTE DE AUTOEVALUAR Testul nr. 62 . 1 ontrol de forma: 1 0 0 1 1 H 0 1 0 0 1 0 0 1 1 0 ile de corec ie ale codului.Cuvintele Simboluri Cuvinte 0 1 1 0 1 0 0 1 0 0 1 1 1 1 0 0 0 1 0 1 1 0 1 0 0 0 0 0 1 1 1 1 0 1 1 0 0 1 1 0 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1 astfel: = = Deoarece de constatat i prin inspectarea tabelului anterior . Codul este perfect? a.

Farrell. [4] J.C.G 1 0 1 1 0 1 1 0 0 1 c. ti. Moreira. The Atrium. P.G. ESSENTIALS OF ERROR-CONTROL CODING. 1983. d matricele H i G.2006. Transmisiunii Informa iei 1983 ti. West Sussex PO19 8SQ. Chichester. Southern Gate. England. 1972. - 63 . John Wiley & Sons Ltd. BIBLIOGRAFIE RECOMAN cure ti.

Sign up to vote on this title
UsefulNot useful