P. 1
Transmit Ere A Si Codificarea Informatiei

Transmit Ere A Si Codificarea Informatiei

|Views: 158|Likes:
Published by ben_razvan_1

More info:

Published by: ben_razvan_1 on Jun 02, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

12/11/2012

pdf

text

original

1

UNIVERSITATEA TITU MAIORESCU
Facultatea de INFORMATICĂ


Profesor univ. dr. ing. Lector univ. dr.ing.
RĂCUCIU CIPRIAN GRECU DAN













Curs pentru învăĠământul la distanĠă







BUCURESTI 2010

2

UNIVERSITATEA Titu MAIORESCU BUCURESTI
Facultatea de InIormatică
ÎnvăĠământ la DistanĠă

TEORI A TRANSMI TERI I SI CODIFICĂRII
INFORMAğIEI

Cursul 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ este o disciplină care
îngoblează într-o Iormă unitară concepte din teoria codurilor, teoria semnalelor
aleatoare si teoria deciziilor statistice si reprezintă una din disciplinele de pregătire
care. pentru proIilul INFORMATICĂ. este necesară pentru pregătirea studenĠilor si
pentru obĠinerea creditelor transIerabile prin procedurile de evaluare. Modul de
prezentare a acestui material are în vedere particularităĠile învăĠământului la
distanĠă. la care studiul individual este determinant. Pentru orice nelămuriri IaĠă de
acest material vă rugăm să contactaĠi tutorele de disciplină care are datoria să vă
ajute oferindu-vă toate explicaĠiile necesare.

Disciplina 'Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL¨ îsi propune următoarele
obiective specifice:
ƒ Însusirea noĠiunilor Iundamentale din domeniul Teoriei transmiterii úL
codificăULLLQIRUPDĠLHL.
ƒ Formarea deprinderilor de modelare matematică si de transpunere în
programare a unor probleme de natură tehnică. socială sau economică. cu
utilizarea cunostinĠelor însusite.
ƒ Formarea si dezvoltarea bazei matematice a studenĠilor pentru disciplinele
Iundamentale si de specialitate din anii superiori;
ƒ Formarea si dezvoltarea aptitudinilor si deprinderilor de analiză logică.
Iormulare corectă si argumentare Iundamentată. în rezolvarea problemelor
tehnico-economice si de specialitate;
ƒ O comparaĠie critică a metodelor de rezolvare evidenĠiind. eventual. calea
optimă de soluĠionare.
Vă precizăm de asemenea că. din punct de vedere al veriIicărilor si al notării. cu
adevărat importantă este capacitatea pe care trebuie să o dobândiĠi si să o probaĠi
de a rezolva toată tipologia de probleme aplicative aIerente materialului teoretic
prezentat în continuare. De aceea vă recomandăm să parcurgeĠi cu atenĠie toate
aplicaĠiile rezolvate. să rezolvaĠi aplicaĠiile propuse prin testele de autoevaluare si
temele de control; IiĠi convinsi că examenul Iinal apelează la tipurile de aplicaĠii
prezente în secĠiunile menĠionate anterior

3
CUPRINS
MODULUL 1- MĂSURA CANTITATIVĂ A INFORMAğIEI .....................................pag.4
MODULUL 1- CAPITOLUL 1- ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI
..................................................................................................................................pag.5

1.1. Informatia - generaIităĠi...............................................................pag.5

1.2. Sistemul de transmitere a informatiei. .......................................pag.6

1.3. 1.3. Modele de surse informationale. .........................................pag.7

1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 - MĂSURI INFORMAğIONALE ................................pag.9

2.1. Modele de surse informationale.....................................................pag.9
2.2. Informatia proprie conditionata...................................................pag.10
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.......................pag.21
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1.......................... pag.21

MODULUL 2 - CODAREA SURSELOR INFORMAğIONALE .................... .........pag.22
MODULUL 2- CAPITOLUL 1- CODAREA SURSELOR INFORMAğIONALE .....pag.23
1.1 Codificarea surselor discrete.......................................................pag.23
1.2 Codificarea neuniforma................................................................ pag.23

1.3. Codarea si decodarea pe canale fara perturbatii........ pag.25

1.4. Coduri Huffman de dispersie minimă..........................................pag.28
1.5 . ProcedeuI de codare binară Shannon - Fano. .........................pag.34
TESTE DE AUTOEVALUARE SI TEME DE CONTROL................ pag.39
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2.....................pag.40
MODULUL 3- CODURI DETECTOARE SI CORECTOARE DE ERORI................pag.41
MODULUL 3 - CAPITOLUL 1 - CODURI DETECTOARE SI CORECTOARE DE
ERORI.....................................................................................................................pag.42
1.1. Codarea si decodarea pe canale perturbate ..............................pag.42
1.2. Coduri bIoc Iiniare.....................pag.44
1.3. Exemple de coduri liniare ...........................................................pag.46
TESTE DE AUTOEVALUARE SI TEME DE CONTROL.................pag.62
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3: ...................pag.63

4
Coordonator disciplină: ProI. univ. dr.ing. RĂCUCIU CIPRIAN
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
MĂSURA CANTITATIVĂ A INFORMAğIEI


În acest modul sunt prezentate principalele noĠiuni cu care operează teoria
informaĠiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de
energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se
prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se
stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare.
Stabilirea notiunii generalizate de informatie pentru caracterizarea
proceselor de conducere dintr-un punct de vedere unitar,a fost un moment
important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se
analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de
substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea
dintr-un punct de vedere comun a celor mai diferite procese de comanda din
natura.
Se numeste informatie orice stire care poarta in sine urma unui fapt,
eveniment sau proces oarecare.
Informatia este comunicarea (mesajul) ce aduce stiri despre fapte,
evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot
cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se
obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie
inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte
asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
Timpul mediu necesar însusirii noĠiunilor teoretice. Iormării deprinderilor de
calcul si utilizării metodelor de rezolvare a problemelor specifice teoriei
inIormaĠiei este estimat la aproximativ 6-8 ore pentru fiecare modul. într-un ritm
de 2-3 ore pe zi.







5
MODULUL 1
CAPITOLUL 1
ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI

1.5. I nformatia - generalităĠi.

În procesele de comanda. procesele energetice care insotesc transmiterea informatiei
joaca un rol secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate
de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere,
care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si
actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de
energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati
reduse de energie.
În teoria inIormatiei. caracteristica energetica a Ienomenelor trece pe plan secundar.
evidentiindu-se in mod deosebit latura informafionala a sistemului.
Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate
forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de
telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului,
auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre
evenimentele din lumea ce il inconjoara.
Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului,
telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul
televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme,
transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa
a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie
se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar
greseli de imprimare.
Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic
informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la
greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea
metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii.
Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura
adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea
fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie
sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul
masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza
in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului.
Problema principala a teoriei informatiei este studierea transformarii, pastrarii si
transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de
telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
În realitate. inIormatia se transmite prin intermediul semnalelor care poarta stirea. Tipuri
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio,
imagine, video, semnale .

6

1.2. Sistemul de transmitere a informatiei.

Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite
informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui
sistem de transmisiuni este data in fig.1.1

Fig.1.1

Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea
prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date
sau introducerea unei redundante pentru lupta cu perturbatiile.
Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia
telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra
canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza
modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului
termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat
al adversarului etc.
Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce
la partea de receptie o copie acceptabila iesirii sursei.
Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza
modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de
canal.
Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de
semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri
binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse
date.
Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur
succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele
inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca.
Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare
sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o
precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau
destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o
succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea
informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se
calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de
dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a
transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
locul indicat de destinatar. Cand spunem 'reproduce" nu intelegem o reproducere absolut Iidela

7
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de
scopul transmisiuni. În descrierea 'obiectului" transmis prin sistemul de transmisie trebuie inclus
si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile
sursei, ci caracterizeaza proprietatile cuplulul 'sursa-destinatar". Vom numi acest obiect
'inIormatia transmisa".

1.3. Modele de surse informationale.

Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o
importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul
de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp
dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea
mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de
precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea
sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte
mesajul respectiv.
Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor
aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La
aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat,
a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic
independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ...,
p(ak). În cazul unei codiIicari de acest tip. combinatiile de cod vor avea aceeasi lungime pentru
ca sa fie posibila decodificarea lor.
Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o
forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de
numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o
succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa
se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru
reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a
cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea,
aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu
descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu
care sunt generate aceste mesaje admisibile.
Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor
da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.
Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a
mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri
binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea
mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta
sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei.
Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor
conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursa-
destinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.
Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda,
care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de
precizie adoptat.

8

1.4. Modelul probabilistic al semnalelor.

Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile
cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu
calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta
intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii
de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera
semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme
informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare
probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa
discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide
universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic.
Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si
intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari
unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea
unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele
discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea
probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in
cadrul unui experiment se considera ca un eveniment.
În cazul semnalelor discrete, totdeauna se poate realiza o corespondenta biunivoca intre
semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa
corespunda un numar natural x eX- si astfel multimea semnalelor discrete se poate inlocui cu o
multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie
numarul natural care corespunde semnalului respectiv.
Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei
aleatoare:

( ) ( ) ( )
|
|
.
|

\
|
=
M X X X
M
x P x P x P
x x x
X
...
...
2 1
2 1
(1,1)

Prin notatia
( )
k X
x P
se intelege probabilitatea de aparitie a evenimentului x=x
k
, adica
probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X
considerata. Evident:


( ) 1
1
=
¯
=
K
M
K
X
x P
(1.2)
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu
Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din
multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui
x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi
caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor
elemente.


9
MODULUL 1
CAPITOLUL 2
MĂSURI INFORMAğIONALE

2.1. Modele de surse informationale

Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare
si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din
multinea X se numeste entropia lui X si se calculeaza cu formula:
( ) ( )
( )
K X
K
K
K
X
x P
x P X H
1
log
1
¯
=
=
(1,3)
sau mai simplu se scrie sub forma:
( ) ( )
( ) x P
x P X H
K
1
log
1
¯
=
=
(1.4)

Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de
repartitia de probabilitati este data in fig 1.2:


Fig.1.2 Entropia semnalului

Fie

10
|
|
.
|

\
|
÷
=
p p
x x
X
1
2 1
(1.5)
atunci:

( ) ( ) ( ) p H
p
p
p
p X H =
÷
÷ + =
1
1
log 1
1
log
(1.6)

2.2. I nformatia proprie conditionata.

Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a
aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:

|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
y
x
i
k
Y
X
y
x
P
y
x
I
1
log
(1.7)
sau mai simplu se scrie:


|
|
.
|

\
|
=
|
|
.
|

\
|
i
k
x
y
x
P
y
x
I
1
log
(1.8)
Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de
evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului
x=xk . dtupa ce a avut loc evenimentul y =yi.
Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o
diferenta intre informatia proprie si informatia proprie conditionata.


( )
( ) ( )
|
|
.
|

\
|
÷ =
|
|
.
|

\
|
=
y
x
P
x P x P
y
x
P
y x I
1
log
1
log log ;
(1.9)
de unde
( ) ( )
|
|
.
|

\
|
÷ =
y
x
I x I y x I ;
(1.10)
Din relatia anterioara se obtine pe baza reciprocitatii relatia:
( ) ( )
|
.
|

\
|
÷ =
x
y
I y I y x I ;
(1.11)

11
In mod analog I(x;y) se poate scrie sub forma:
( )
( )
( )
( ) ( )
( )
( ) ( ) ( ) ( ) ( ) y x P y P x P x P y P
y x P
x P y P
y
x
P y P
x P
y
x
P
y x I
,
1
log
1
log
1
log
,
log log log ; ÷ + = =
|
|
.
|

\
|
=
|
|
.
|

\
|
=
(1.12)
deci:

( ) ( ) ( ) ( ) y x I y I x I y x I , ; ÷ + =
(1.13)

unde :
( )
( ) y x P
y x I
,
1
log , =
(1.14)

reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de
evenimente xy.
Tinand seama ca:
( ) ( ) ( )
|
|
.
|

\
|
=
|
.
|

\
|
=
y
x
P y P
x
y
P x P y x P ,
(1.15)
rezulta ca, cantitatea de informatie proprie a unui eveniment (x,y) se poate scrie sub forma:
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
y
x
I y I y x I
x
y
I x I y x I
,
,
(1.16)
Luand mediile expresiilor din relatiile anterioare se obtine:
( ) ( )
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
|
|
.
|

\
|
+ =
|
.
|

\
|
+ =
÷ + =
|
.
|

\
|
÷ =
|
|
.
|

\
|
÷ =
y
x
H y H y x H
x
y
H x H y x H
y x H y H x H y x I
x
y
H y H y x I
y
x
H x H y x I
,
,
, ;
;
;
(1.17)

Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X)
este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta
ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y,
adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru
care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt
transinformatia.

12
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca
entropia U(X) a multimii X depinde numai de probabilitatile de aparitie a elementelor xtX.
Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa
invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor.

Proprietatea 1. H(X)>0
In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau
egali cu zero pentru 0<P(x)<1. Daca P(xk)=1, repartitia lui X este degenerata si este de forma:


|
|
.
|

\
|
=
0 ... 1 ... 0
... ...
1 K k
x x x
X
(1.18)

si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.
Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a
fost pusa in evidenta de Jensen.
Fie x,y,Psi Q numere positive si P+Q=1,atunci avem:

( ) y Q x P Qy Px log log log + > +
(1.19)

in care avem egalitate daca si numai daca x=y.
Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o
proprietate care de asemenea joaca un rol important in teoria informatiei.



Fig.1.3.

Proprietatea 2.
Fie X multimea formata din K semnale ,atunci:

( ) K x H log s
(1.20)

unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:

13

|
|
.
|

\
|
=
k k k
x x x
X
k
1
...
1 1
...
2 1
(1.21)

Proprietetea 3.
Pentru doua multimi de semnale X si Y ,avem:

( ) ( ) ( ) y H x H y x H + s ,
(1.22)

in care avem egalitate daca si numai daca X si Y sunt statistic independente.

ExerciĠii rezolvate.

Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment
este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din
punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul
informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui
eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m m m
q 1 2
, , , cu probabilitatile
de aparitie p p p
q 1 2
, , , . Este evident ca probabilitatile satisfac relatia p p p
q 1 2
1 + + + = .
Continutul informational al mesajului k este notat cu I m
k
( ) . Pentru ca acest continut sa fie o
masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :

(i) daca p p I m I m
k j k j
< ¬ > ( ) ( )
(ii) daca p I m
k k
÷ ¬ ÷ 1 0 ( )
(iii) daca 0 1 0 s s ¬ > p I m
k k
( )
(iv) (aditivitatea) daca m
k
si m
j
sunt mesaje independente
¬ = + I m m I m I m
k j k j
( ) ( ) ( ) si

O functie continua de variabila p
k
care satisface proprietatile (i)-(iv) este functia
logaritmica.

I m
p
p
k
k
k
( ) log log = = ÷
1


Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone





14









se definesc
(a) rata de biti=(durata unui bit)
-1
=1/T
2
exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T
1
exprimata
in bauds.


Problema 1
Se considera o trasmisie fax : 2,25·10
6
pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?

Solutie
I=nr.elemente · informatie per element=
( ) | |
= · · ÷

= · · · = · + 2 25 10
1
12
2 25 10 2 3 2 25 10 2 3
6
2
6
2
2 6
2
, log , log , log biti

Problema 2
Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?

Solutie

(a) I = · · · 24 80 128 3
2
log [ ] biti
(b) t =
1
f
c

R
I
I f
c
= = ·
t
[ ] bps

Problema 3
Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4
impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un
impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
T
2


E
M

15
(b) Care este rata de bauds ?

Solutie

(a) R
I
= =
·
=
÷
t
4 4
5 10
1 6
2
3
log
, [ ] kbps
(b) r
bauds
baud] kbaud] = = =
÷
1
10
10 1
3
3
[ [

Problema 4
Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se
cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii
daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.

Solutie
- cantitatea de informatie necesara determinarii monedei false este I
1 2 2
1
1
12
12 = = log log
- cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara
este I
2 2 2
1
1
2
2 = = log log
- cantitatea de informatie totala necesara a fi determinata I I I = + =
1 2 2
24 log
- cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
I
3 2 2
1
1
3
3 = = ¬ log log numarul minim de cantariri I kI k
k
s ¬ s ¬ =
3
24 3 3.
- sa se propuna un algoritm de depistare.

Problema 5

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt
nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8
nivel 3:1/8

Solutie
R r H = · =
·
· ÷ ÷ ÷ ·

÷
1
5 10
1
2
1
2
1
4
1
4
2
1
8
1
8
3
log log log
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca
entropia este maxima pentru o sursa care genereaza simboluri echiprobabile H n
max
log =
2
.

Problema 6

16
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos









Solutie
Acest model descrie un canal care perturba simbolurile unei surse binare in masura in
care la receptie sa poata fi interpretate ca fiind incerte.
Metoda scalara

( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )

H Y p y p y
i
i
i
( ) ( ) log ( ) = ÷
=
¯
1
3

( ) ( ) ( ) ) ( ) 1 ( ) ( ) ( ) ( ) (
1 1 1 1 2 2 1 1 1 1 1
x p q x p x y p x p x y p x p x y p y p ÷ = = + =

S-a utilizat formula probabilitatii totale, evenimentele x
1
, x
2
fiind mutual exclusive.
Analog se poate scrie

p y q p x ( ) ( ) ( )
2 2
1 = ÷


( ) ( ) ( ) p y p y x p x p y x p x q p x p x q q ( ) ( ) ( ) ( ) ( )
3 3 1 1 3 2 2 1 2
1 = + = + = · = ¬


| |
| |
H Y q p x q p x q q q p x q p x
q p x p x p x p x q q q q
q H X q q q q
( ) ( ) ( ) log( ) ( ) log ( ) ( ) log( ) ( )
( ) ( ) log ( ) ( ) log ( ) ( ) log( ) log
( ) ( ) ( ) log( ) log
= ÷ ÷ ÷ + + ÷ ÷ =
= ÷ ÷ + ÷ ÷ ÷ ÷ =
= ÷ ÷ ÷ ÷ ÷
1 1 1 1
1 1 1
1 1 1
1 1 2 2
1 1 2 2



( ) ( )
H YX p x y p y x
i j j
i
j i
= ÷
= =
¯ ¯
( , ) log
1
3
1
2


Conform regulii de inlantuire


( )
p x y p y x p x
i j j i i
( , ) ( ) =

Din graf se deduce ca


( )
p y x q
1 1
1 = ÷
( )
p y x
1 2
0 =
BE
D
Equ
atio
n.2


EM
B
E
D

E
q
u
a
ti
o
n
.
2



E
M
BE
D
Equ
atio
n.2


EM
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
u
at
io
n.
2



E
M
B
E
D
E
q
ua
ti
o
n.
2



E
M
B
E
D

E
q
u
a
ti
o
n
.
2







17

( )
p y x
2 1
0 =
( )
p y x q
2 2
=

( )
p y x q
3 1
=
( )
p y x q
3 2
1 = ÷

Se obtine

( )
H Y X q q q q = ÷ ÷ ÷ ÷ ( )log( ) log 1 1

C q H X q q
p x
i
= ÷ = ÷ · = ÷ ( ) max ( ) ( )
( )
1 1 1 1

pentru setul optim de probabilitate la intrare p x p x
0 1 0 2
1 ( ) ( ) = = .

Metoda matriciala

Se considera sursa care genereaza un alfabet de simboluri x i n
i
, , , = 1 si la destinatie
se receptioneaza un alfabet de simboluri y j m
j
, , , = 1 .
Se pot scrie urmatoarele relatii:


( )
P Y P X P Y X ( ) ( ) = ·

unde P X ( ) este matricea linie a sursei ( ) 1× n ;
P Y ( ) este matricea linie a destinatiei ( ) 1× m ;

( )
P Y X este matricea dreptunghiulara de zgomot ( ) n m × .

Observatie
In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate
iesirilor.
Matricea campurilor reunite (joint) este


( )
P X Y
p x
p x
p x
P Y X
n
( , )
( )
( )
( )
=

1
2
0 0
0 0
0

Matricea de zgomot
( )
P Y X se poate obtine prin impartirea fiecarei linii i prin p(x
i
).
Matricea de echivocatie
( )
P XY se poate obtine prin impartirea fiecarei coloane j prin p(y
j
) .

Problema 7
Fie matricea de tranzitie
( )
P Y X =

2 3 1 3
1 3 2 3
/ /
/ /
si p(x
1
)=3/4 si p(x
2
)=1/4.
Se cere sa se calculeze
(a) entropia campului de intrare

18
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului


Solutie

(a) H X p x p x
i
i
i
( ) ( ) log ( ) log log log , = ÷ = ÷ +
|
\

|
.
|
= ÷ ~
=
¯
1
2
3
4
3
4
1
4
1
4
2
3
4
3 0 81 bit / simbol

(b) H Y p y p y
j
j
j
( ) ( ) log ( ) = ÷
=
¯
1
2



| | | |
P Y ( ) / /
/ /
/ /
/ / =

= 3 4 1 4
2 3 1 3
1 3 2 3
7 12 5 12

H Y ( ) log log , = ÷ +
|
\

|
.
|
=
7
12
7
12
5
12
5
12
0 98 bit / simbol

(c)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2


P X Y ( , )
/
/
/ /
/ /
/ /
/ /
=

=

3 4 0
0 1 4
2 3 1 3
1 3 2 3
1 2 1 4
1 12 1 6


H X Y ( , ) log log log log , = ÷ + + +
|
\

|
.
|
=
1
2
1
2
1
4
1
4
1
12
1
12
1
6
1
6
1 73 bit / simbol

(d)
( ) ( )
H Y X p x y p y x
i j j
i
j i
= ÷ =
= =
¯ ¯
( , ) log , 0 92
1
2
1
2
bit / simbol

sau
( )
H Y X H X Y H X = ÷ ( , ) ( )
(e)
( )
( )
H XY p x y p x y
i j i
j
j i
= ÷
= =
¯ ¯
( , ) log
1
2
1
2

unde

19

( )
P XY =

=

1
2
7
12
1
4
5
12
1
12
7
12
1
6
5
12
6
7
3
5
1
7
2
5


si
( )
H XY = ÷ + + +
|
\

|
.
|
=
1
2
6
7
1
4
3
5
1
12
1
7
1
6
2
5
0 75 log log log log , bit / simbol

sau
( )
H XY H X Y H Y = ÷ ( , ) ( )

(f) I X Y H X H Y H X Y ( , ) ( ) ( ) ( , ) , = + ÷ = 0 06 bit / simbol

(g) canalul fiind dublu uniform

C= + ÷
|
\

|
.
|
÷
|
\

|
.
|
+ ÷ = log log ( ) log , 2 1
1
3
1
1
3
2 1
1
3
1
3
0 082 bit / simbol

Setul optim p x p x
0 1 0 2
( ) , ( ) se obtine din


( )
| |
C H Y H Y X
p x
i
= ÷ max ( )
( )
0


p y p x p x ( ) ( ) ( )
1 0 1 0 2
2
3
1
3
= +

p y p x p x ( ) ( ) ( )
2 0 1 0 2
1
3
2
3
= +


( ) ( ) ( ) ( )
( )
H Y X p x y p y x p y x p x p y x
p x p x
i j j
i
j i
j i i j
i
j i
= ÷ = ÷ =
= ÷ +

+ = ÷ +

= = = =
¯ ¯ ¯ ¯
( , ) log ( ) log
log log ( ) ( ) log log
1
2
1
2
0
1
2
1
2
0 1 0 2
2
3
2
3
1
3
1
3
2
3
2
3
1
3
1
3


deci
( )
H Y X nu depinde de P X ( ) ¬ C H Y
p x
i
= + +

max ( ) log log
( )
0
2
3
2
3
1
3
1
3



20
dar max ( ) log ( ) ( )
( ) p x
i
H Y p y p y
0
1 2
2 1
1
2
= = · = = ¬


( ) ( )
( ) ( )
p y p y x p x p y x p x
p y p y x p x p y x p x
( ) ( ) ( )
( ) ( ) ( )
1 1 1 0 1 1 2 0 2
2 2 1 0 1 2
2
0 2
= +
= +
¦
´
¦
¹
¦


¬ p x p x
0 1 0 2
1
2
( ) ( ) = = .

Observatie

Se mai poate utiliza si relatia p x p x
0 1 0 2
1 ( ) ( ) + =

(h) n( )
( , )
, C
I X Y
C
= = 0 73

R C C I X Y ( ) ( , ) , = ÷ = 0 022 bit / simbol


Problema 8
Fie un canal binar simetric avand matricea campurilor reunite P X Y ( , )
, ?
? ,
=

0 4
0 4
si
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P X Y ( , ) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.

Solutie

(a) canalul fiind simetric ¬ = p x y p x y ( , ) ( , )
2 1 1 2
si folosind proprietatea (iii) a evenimentelor
mutual exclusive se obtine p x y p x y p x y p x y ( , ) ( , ) ( , ) ( , ) ,
1 1 1 2 2 2 1 2
2 1 01 + + = ¬ = si
P X Y ( , )
, ,
, ,
=

0 4 01
01 0 4
.


(b)
( )
P Y X =

=

0 4
1 2
01
1 2
0 1
1 2
0 4
1 2
0 8 0 2
0 2 0 8
,
/
,
/
,
/
,
/
, ,
, ,




21
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

Fie un alIabet Iormat din literele A.B.C. Se cere să se calculeze:
a. numărul maxim de mesaie de lungime 3 ce se pot Iorma cu acest alIabet;
b. cantitatea de informaĠie conĠinută de un asemenea mesai.

Testul nr. 2
Să se calculeze cantitatea de informaĠii necesară pentru precizarea poziĠiei unei figuri pe
tabla de sah.

7HPăGHFRQWURO

Matricea probabilităĠilor reunite intrare-iesire asociată unui canal de transmisie este de
forma:
( )

=
4 / 1 4 / 1
4 / 1 4 / 1
X Y P
Se cere să se calculeze:
a. entropia câmpului de la intrare;
b. entropia câmpului de la iesire;
c. entropia câmpurilor reunite;
d. eroarea medie si echivocaĠia;
e. transinformaĠia si capacitatea canalului.





BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 1:


|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu, Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.

22



MODULUL 2
CODAREA SURSELOR INFORMAğIONALE



Compresia datelor este un proces de re prin care se urmăreste
micsorarea redundanĠei mesajului generat de o sursă. pentru a reduce resursele
necesare memorării sau transmiterii acestui mesaj. Deoarece, de regulă.
pentru memorarea sau transmiterea unui mesaj se foloseste. eventual într-o
Iormă intermediară. reprezentarea prin simboluri binare a acestuia. si pentru că
cele mai multe metode de compresie folosesc metode de codare binar - binar,
putem spune că obiectivul compresiei constă în reducerea numărului de
simboluri binare necesar pentru reprezentarea mesajului.
După cum sirul simbolurilor emise de sursă este împărĠit. pentru codare. în
subsiruri de aceeasi lungime sau de lungime variabilă. si după lungimea,
constantă sau variabilă. a cuvintelor de cod, codurile de compresie se clasifică în
bloc- bloc, bloc variabil, variabil bloc si variabil variabil, bloc bloc
indicând aceeasi lungime pentru subsirurile sursei si cuvinte de cod de lungime
fixă. iar variabil variabil corespunzând unor lungimi variabile ale subsirurilor
si ale cuvintelor de cod. Din punct de vedere al măsurii în care mesaiul reIăcut
prin decompresie se aseamănă cu cel original. asupra căruia s-a acĠionat prin
procesul de compresie, distingem două categorii de algoritmi de compresie: Iără
pierderi si cu pierderi.
Algoritmii de compresie Iără pierderi sunt reversibili, prin decompresie
obĠinându-se mesajul original întocmai. Algoritmii de compresie cu pierderi au
ca rezultat diferenĠe relativ mici între mesajul rezultat prin decompresie si cel
original si sunt utilizaĠi în compresia imaginilor si a mesajelor video si audio.
În acest modul vor Ii prezentate aspecte privind codiIicarea surselor
discrete si vor Ii analizaĠi algoritmii HuIIman si Shannon-Fano.







23
MODULUL 2
CAPITOLUL 1

CODAREA SURSELOR INFORMAğIONALE

1.1 Codificarea surselor discrete.

In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare
se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila
este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la
cele initiale, adica decodificarea sa fie unica.
Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul
semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si
secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si
fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui
simbol nu depinde de celelalte sinboluri anterioare.
Alfabetul sursei discrete se noteaza cu
{ }
L
a a a A ...., ,
2 1
=
,deci sursa produce
succesiuni de litere
n
u u u ,...., ,
2 1
formate cu ajutorul literelor din alfabetul sursei, deci
A u
i
e
pentru i÷1.2...
Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a
semnalelor,adica probabilitatea unei succesiuni date
( )
n
n
o o o o ,..., ,
2 1
=
de n litere de sursa este
egala cu produsul probabilitatilor literelor de sursa ,deci:

( ) ( )
I
=
=
n
i
i n
P P
1
2 1
,...., , o o o o
(2.1)

1.2 Codificarea neuniforma.

Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
sau litere notate cu
M
a a a ,...., ,
2 1
care apar cu probabilitatile
( ) ( ) ( )
M
a P a P a P ,.., ,
2 1
. Fiecare
litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din
alfabetul codului care contine D semnale
{ }
D
x x x X ,.., ,
2 1
=
.Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare
M
a a a ,.., ,
2 1
se noteaza cu
M
c c c ,.., ,
2 1
,iar totalitatea lor formeaza un cod,
{ }
M
c c c C ,.., ,
2 1
=
.Numarul semnalelor secundare
din cuvantul de cod
k
c
care,dupa cum s-a vazut,corespunde lui
k
a
,se noteaza cu
k
n
.

24
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere
economic,acel cod care conduce la un
n
-numarul mediu de litere de cod pe litere de sursa-cat
mai mic posibil,unde
n
se mai numeste si lungimea mediea combinatiilor de cod:
( )
k
M
K
k
n a P n
¯
=
=
1
(2.2)

Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie
de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod
atribuite semnalelor primare sunt distincte se numeste cod nesingular.
Codul
{ }
k
c c c C ,.., ,
2 1
=
se numeste unic decodabile daca succesiunile cuvintelor de
cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte.
Fie un cuvant de cod
im i i i
x x x c ,..., ,
2 1
=
.Sirul de litere
im i i
x x x ,..., ,
2 1
,unde
m k s
se
numeste prefixul lui
i
c
.
Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care
prezinta un interes deosebit din punct de vedere practice.
Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste
cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de
prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin
reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se
numesc si coduri ireductibile.
Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o
combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La
decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se
inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand
la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d.
Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind
faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre
codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea
teorema:orice cod cu conditia de prefix este un cod unic decodabil.
Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si
convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum
simplu,sau nodul final de la extremitatea drumului simplu corespunzator
Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta
biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii
corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o
combinatie de cod.
De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu
ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod
internediar.
Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este
asemanatoare, tinand cont ca din fiecare nod pomesc D arce.



25

1.3. Codarea si decodarea pe canale fara perturbatii.

In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un
codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor
mesaie cât mai scurte pentru a transmite aceiasi cantitate de inIormatie. Aceastâ operatie numita
generic . compresie de date ¨

Definirea unui cod. Fie o sursa discreta Iara memorie având alIabetul


{ } S s s s
N
=
1 2
, ,......, (2.3)

cu probabilitatea de aparitie ( ) p s p
i i
=


{ } P p p p
N
=
1 2
, ,......, (2.4)

Fie alfabetul canalului


{ }
X x x x
q
=
1 2
, ,......, (2.5)

constituit dintr-un numar finit de semne (litere, caractere)
Se considera reuniunea secventelor finite de litere din alfabetul canalului:

X X
n
n
*
=
>

(2.6)

Orice aplicatie S X ÷
*
se numeste codarea alfabetului Sprin alfabetul X

Un element s X
i
* *
e si care corespunde lui s
i
este un cuvânt de cod. Lungimea
cuvântului de cod. notatâ
( )
n s n
i i
*
= este numarul de litere cale Il formeaza. Totalitatea
cuvintelor de cod constitue codul lui S cu mentiunea ca X
*
poate contine si combinatii care nu
apartin codului, numite cuvinte fara sens.
Astfel, un text constituit din secvente de mesaje:

m s s s
j i i ik
=
1 2
, ,......, (2.7)

este codat prin secventele de cuvinte de cod (cu sens)

m s s s
j i i ik
=
1 2
* * *
, ,......, (2.8)


26
Decodarea implica posibilitatea de a repara cuvintele de cod în mod unic (aplicatia
S X ÷
*
sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular).
Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s s
1 2
10
* *
, = si s
3
01 = . Codul 010 poate fi interpretat fie s s
1 2
* *
, fie s s
3 1
* *
, .
Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i
corespunda o succesiune unica de litere, adica aplicatia S X
k
k
n
÷
>
*
1

sa fie si ea injectiva.
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta
proprietate sunt:
(a) utilizarea cuvintelor de cod de aceiasi lungime (bloc)
(b) utilizarea unui semn distinct Intre cuvintel (separator)
Exista însa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura
proprietate de unic decodabil. Aceste coduri se numesc separabile.


Alcatuirea unui cod. Teorema Kraft

Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de
lungime n n n
N 1 2
, ,......, este ca

q
n
i
i
N
÷
=
s
¯
1
1
(2.9)

Observatii

1. Se reaminteste ca ( ) q card X = este numarul de litere din alfabetul canalului.
2. Daca numarul cuvintelor de lungime k este r
k
atunci conditia (1.9) devine

r q
k
k
k
n
· s
÷
=
¯
1
1
(2.10)

cu N r
k
k
n
=
=
¯
1


Teorema Mac Millan

Un cod este ireductibil daca si numai daca

n n n
N 1 2
s s s ...... (2.11)

27


Criterii de apreciere a unui cod.
Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
convenabil de apreciere a unui cod este lungimea medie a unui cuvânt

n p n
i i
i
n
= ·
=
¯
1
(2.12)

unde p
i
sunt definite prin (1.4) si n
i
este numarul de litere din cuvântul de cod cu indicele i.
Este evident ca se cauta ca n sa Iie cât mai mic dar trebuie avut In vedere ca el este
limitat inferior de entropia informationala pe simbol a alfabetului de cod

n
H
q
>
log
2
(2.13)

unde H este entropia sursei. In aceste conditii, eficienta unui cod este

n =
·
s
H
n q log
2
1 (2.14)

iar redundanta codului este

p n = ÷ 1 (2.15)


Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se
numesc coduri absolut optimale

Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil
pentru care lungimea medie a cuvintelor eVWHRUFkWGHDSURSLDWDGHPDUJLQHDVDLQIHULRDUD.

Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima
teorema a lui Shannon se reIera la problema codarii cu o lungime medie posibila cât mai mica.
pe un canal neperturbat de capacitate data.
Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau
compacte.





28
1.4. Coduri Huffman de dispersie minimă.
Acest procedeu se bazează pe ideea de a partiĠiona mulĠimea mesaielor sursei S = {s1, s2
,..., sN} în submulĠimile si . astIel încât suma probabilităĠilor mesaielor incluse în să
Iie cât mai apropiată de suma probabilităĠilor mesaielor incluse în .
La rândul lor. submulĠimile si pot Ii partiĠionate în submulĠimile si ,
respectiv si astIel încât suma probabilităĠilor mesaielor incluse în cele patru
submulĠimi să Iie cât mai apropiate posibil. Procedeul se continuă în mod similar până când se
obĠin submulĠimi ce conĠin un singur mesai.
În Ielul acesta. pentru orice distribuĠie a sursei S ce urmează a Ii codată se va obĠine un
cod compact. adică lungimi medii ale cuvintelor de cod ce nu mai pot Ii micsorate prin nici un alt
procedeu de codare.
Pentru ca partiĠiile să satisIacă condiĠiile menĠionate. se procedează
astfel:
1). Se ordonează mulĠimea mesaielor sursei S în ordinea descrescătoare a probabilităĠilor.
obĠinându-se astIel mulĠimea ordonată ={ }, cu p( ) p( ) ... p( ), cu
schimbarea eventuală a indicilor mesaielor pentru realizarea ordonării respective;
2). Se reunesc ultimele două mesaie (de probabilităĠile cele mai mici) într-un nou mesaj,
notat cu . căruia i se alocă o probabilitate egală cu suma probabilităĠilor mesaielor
componente. Se ordonează din nou mesaiele în ordinea descrescătoare a probabilităĠilor.
Iormându-se astIel prima sursă restrânsă ={ cu p( ) p( ) ... p( ) ...
.
3). Se reunesc ultimele două mesaie din sursa restrânsă într-un nou mesaj , de
probabilitate egală cu suma probabilităĠilor mesaielor componente. Se ordonează mesaiele în
ordine descrescătoare. Iormându-se astIel sursa restrânsă . În mod analog, din se Iormează
sursa restrânsă si asa mai departe. până când se obĠine o sursă restrânsă Iormată numai din
două mesaje, , cu p( ) . De fapt, va fi si va fi sau
invers.

29
Din modul de Iormare a surselor restrânse . rezultă că mulĠimea S a mesajelor poate fi
partiĠionată în două submulĠimi si astIel încât probabilităĠile p( ) si sunt cele
mai apropiate posibil. La rândul lor. submulĠimile si . pot Ii partiĠionate în alte două
submulĠimi. de probabilităĠile cele mai apropiate posibil. PartiĠionările se continuă până se obĠin
submulĠimi care conĠin un singur mesai.
4). Cuvintele de cod corespunzătoare Iiecărui mesai se obĠin astIel:
- submulĠimii i se alocă simbolul "0" (sau "1");
- submulĠimii . i se alocă simbolul "1" (sau "0");
- la Iiecare partiĠionare se alocă arbitrar celor două submulĠimi "0" sau "1". operaĠia continuându-
se până se obĠin submulĠimi ce conĠin un singur mesaj , k= .
Deoarece alocarea lui "0" si "1" este arbitrară la Iiecare partiĠionare. rezultă că unei surse
S i se pot atasa o multitudine de coduri instantanee. toate. însă. având aceeasi lungime medie a
cuvintelor de cod. care nu mai poate Ii micsorată prin nici un alt procedeu de codare a mesaielor
luate individual.
Dacă sursa primară S poate furniza N mesaie. atunci submulĠimea restrânsă , va avea
N-1 mesaie. submulĠimea restrânsă va conĠine N-2 mesaie si asa mai departe. ultima
submulĠime restrânsă va conĠine N n mesaje, care sunt si . adică se poate scrie:
N-n=2 => n=N-2 (2.16)
Dacă submulĠimii i se alocă simbolul "0" si submulĠimii simbolul "1", celor N-2
partiĠionări putându-li-se aloca arbitrar "0" sau "1". rezultă un total de posibilităĠi de
codare. Dacă. însă. submulĠimii i se alocă simbolul "1". iar submulĠimii simbolul "0",
mai rezultă posibilităĠi de codare. Rezultă. deci. că prin acest procedeu de codare se pot
realiza coduri instantanee. toate având toate aceeasi lungime medie a
cuvintelor de cod.
Prin deIiniĠie. se numeste cod compact. codul care realizează lungimea medie minimă a
cuvintelor de cod. Deoarece prin procedeul de codare HuIIman se obĠine cea mai mică lungime
medie a cuvintelor de cod. înseamnă că prin acest procedeu se obĠin coduri instantanee
compacte. Evident. un cod absolut optimal este si compact. reciproca neIiind totdeauna valabilă.

30
Exemplul 3.1.
Se presupune sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Codarea binară HuIIman a acestei surse se poate realiza astfel:


Fig. 3.2. Schema de codare pentru exemplul 3.1
Graful si cuvintele de cod corespunzătoare codării efectuate sunt date în Fig. 3.3.

Fig.3.3. GraIul corespunzător codului

31

Codurile HuIIman de dispersie minimă se obĠin când la reordonarea sursei restrânse.
simbolul compus se plasează pe poziĠia cea mai de sus posibil în sursa restrânsă. În Ielul acesta
cuvântul de cod atribuit simbolului compus va avea cea mai mică lungime posibilă. Cum acest
cuvânt va deveni preIix pentru simbolurile constituente. cuvintele de cod corespunzătoare
acestora vor avea o lungime cu o unitate mai mare decât lungimea preIixului. deci si acestea vor
rezulta de lungime minimă. Ca urmare. diIerenĠele dintre lungimile cuvintelor de cod devin
minime, ceea ce va conduce. evident. si la o dispersie minimă.
Pentru Iixarea ideilor. se presupune sursa discretă de inIormaĠie caracterizată de
distribuĠia:
S :

Pentru această sursă se eIectuează codarea HuIIman. plasând întâi mesaiele sursei
restrânse pe poziĠiile cele mai ios posibile în listă si apoi pe poziĠiile cele mai de sus posibile. În
primul caz rezultă schema de codare din Fig. 3.4. iar graIul si cuvintele de cod ca în Fig. 3.5.


32


Pentru acest cod. lungimea medie si dispersia sunt:



Pentru cazul în care în codarea HuIIman mesaiele sursei restrânse se plasează pe poziĠiile
cele mai de sus în listă. se obĠine schema de codare din Fig. 3.6 si graIul si cuvintele de cod ca în
Fig. 3.7.


33

Pentru acest cod, lungimea medie este, evident. aceeasi. în timp ce dispersia devine:

Desi din punct de vedere inIormaĠional. cele două coduri sunt identice. în practică se
preIeră Iolosirea celor de dispersie minimă. din motive de transmisie. De exemplu. dacă se
doreste să se transmită mesaie ale sursei cu o viteză de 10.000 mesaie/sec.. este necesar un canal
cu capacitatea de 22.000 biĠi/sec. Deoarece viteza de generare a biĠilor oscilează în iurul valorii
de 22.000 biĠi/sec.. IuncĠie de succesiunea de mesaie Iurnizate la un moment dat. iesirea sursei
este încărcată într-un buffer.
Dacă. de exemplu. sursa generează la un moment dat siruri de mesaie si mai multe
secunde. pentru primul cod se generează 40.000 biĠi/sec. si în Iiecare secundă ar trebui un buIIer
de capacitate de 18.000 biĠi. Cu al doilea cod se generează 30.000 biĠi /sec. si buIIerul ar trebui
să aibă capacitatea de 8.000 biĠi. Dacă se transmit siruri de mesaie , cu primul cod se
generează 10.000 biĠi/sec. si canalul nu e Iolosit la capacitatea sa. rămânând un deIicit de 12.000
biĠi/sec. pe când cu al doilea cod se generează 20.000biĠi/sec. deIicitul existent în exploatarea
canalului Iiind numai de 2.000 biĠi/sec. Asadar. din motive de transmisie este mai rezonabil a se
alege al doilea cod decât primul.


34
1.5. Procedeul de codare binară Shannon - Fano.
Acest procedeu se aplică de obicei în cazurile particulare în care probabilităĠile de
Iurnizare ale mesaielor sunt puteri întregi pozitive ale lui (1/2). adică. de Iorma:
p( = , ( ) k= (2.17)
unde este un număr întreg pozitiv. Dacă relaĠia (3.48) este satisIăcută. mulĠimea S = {s1, s2
,..., sN} a mesaielor sursei discrete de inIormaĠie ce urmează a Ii codată poate Ii partiĠionată în
două submulĠimi si . astIel încât suma probabilităĠilor mesaielor incluse în . notată cu
p( ). să Iie egală cu suma probabilităĠilor mesaielor incluse în .. notată cu p( ). Sursa S
Iiind totdeauna completă. se poate scrie:
(2.18)

SubmulĠimile si se pot partiĠiona la rândul lor în si . respectiv în si
. astIel încât suma probabilităĠilor mesaielor incluse în cele patru submulĠimi să Iie aceeasi.
adică se poate scrie relaĠia:

(2.19)

Se procedează în mod analog până se obĠin submulĠimi care conĠin un singur mesai. Se
observă că Iiecare submulĠime are suma probabilităĠilor mesaielor incluse egală cu o putere
întreagă a lui (1/2). Puterea întreagă este egală cu numărul indicilor submulĠimii respective Dacă
submulĠimea conĠine un singur mesai. . si are un număr de indici egal cu , atunci se poate
scrie:

de unde rezultă necesitatea ca sursa S ce urmează a Ii codată să-si Iurnizeze mesaiele cu
probabilităĠi egale cu ½ la o putere întreagă. pozitivă.
Sursa Iiind completă. se poate scrie relaĠia (1.21):

35
(2.21)

Înlocuind (1.20) în (1.21). rezultă relaĠia (1.22):
(2.22)
ceea ce înseamnă că inegalitatea lui Kraft devine în acest caz egalitate.
Cuvintele de cod se vor obĠine, atunci, astfel:
1. Se atribuie simbolul "0" submulĠimii si simbolul "1" submulĠimii , (sau invers),
astIel că toate cuvintele corespunzătoare mesaielor incluse în vor începe cu "0" si toate
cuvintele corespunzătoare mesaielor incluse în , vor
începe cu "1" (sau invers);
2. Se alocă submulĠimilor si ca al doilea mesai "0". iar submulĠimilor si
ca al doilea mesai "1" (sau invers). În Ielul acesta. cuvintele de cod corespunzătoare
mesaielor incluse în vor începe cu 00. cuvintele de cod corespunzătoare mesaielor incluse în
vor începe cu 10 si asa mai departe. cuvintele de cod corespunzătoare mesaielor induse în
vor începe cu 11.
3. OperaĠia se continuă în acelasi mod. până când în Iiecare submulĠime rămâne un singur
mesai. căruia îi va corespunde cuvântul de cod Iormat din sirul de indici ai submulĠimii
respective. Deoarece la Iiecare partiĠionare în două submulĠimi atribuirea mesaielor "0" si "1"
este arbitrară. rezultă că prin acest procedeu se pot obĠine o multitudine de coduri instantanee.
dar toate absolut optimale.
În principiu. procedeul de codare descris s-ar putea aplica în general. adică si atunci când
relaĠia (1.21) nu este satisIăcută. În acest caz. partiĠionările în submulĠimi trebuie eIectuate astIel
încât suma probabilităĠilor mesaielor incluse în submulĠimile respective să Iie cât mai apropiate.
Atribuind simbolurile "0" si "1" ca în procedeul descris. se obĠin totdeauna coduri instantanee.
Cu cât sumele probabilităĠilor mesaielor componente ale submulĠimilor respective vor Ii
mai apropiate. cu atât lungimea medie a cuvintelor de cod va Ii mai mică.

36
Exemplul 3.2.
Se consideră sursa discretă de inIormaĠie caracterizată de distribuĠia:

S :

Procedeul de codare binară Shannon - Fano este sintetizat în tabelul de mai ios:

Graful arborescent atasat codului astfel obĠinut este reprezentat în Fig. 3.8


37
$SOLFDĠLH

Simularea cu ajutorul programului MATLAB a algoritmului de compresie
Shannon-Fano
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în Iigura
următoare.



ExerciĠii rezolvate.

Exemplu
În tabelul de mai ios sunt prezentate patru coduri separabile,

mesaj A B C D
s
0

00 0 0 0
s
1

01 10 01 10
s
2

10 110 011 110
s
3

11 1110 0111 111


38
Folosind codul B, succesiunile s ss s
3 1 0 2
se codifica 1110100110. Dupa receptinarea
primelor sase biti se poate determina ca s-a receptionat s s
3 1
. Daca Insa se folosec codul C,
succesiunea s ss s
3 1 0 2
se codifica 011010011. Dupa receptionarea primelor sase biti conduce la
decodarea s
3
dar secventa 01 poate fi interpretata la acel moment fie care s
1
fie ca, s
2
fie ca s
3
,
ambiguitatea rezolvându-se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod
instantaneu.
Conditia necesara si suIicienta ca un cod sa Iie instantaneu este ca nici un cuvânt de cod
sa nu Iie preIix al altui cuvânt de cod (conditia de preIix).
Se considera sursa care genereaza simbolurile :
- s0 cu probabilitatea p1 = 0,5
- s1 cu probabilitatea p2 = 0,25
- s2 cu probabilitatea p3 = 0,125
- s3 cu probabilitatea p4 = 0,125

Se cere sa se determine eficienta codurilor A, B, C si D

Solutie

Entropia sursei este
H p p
i i
i
= ÷ · = ÷ ÷ ÷ · =
=
¯
log log log log
2
1
4
2 2
1
2
1
2
1
4
1
4
2
1
8
1
8
7
4
biti
Pentru codul A lungimea medie a codului este n
A
= 2 si n p
A
iar = = =
7
4
2 2
7
8
1
2
2
log

Codurile B si C cu aceiasi lungime medie

n n
B C
= = · + · + · + · = 0 5 1 0 25 2 0125 3 0125 4 1875 , , , , ,


n n
p p
B C
B C
= = =
= =
1 75
1 875
14
15
1
15
,
,


Codul D are n
D
= · + · + · = 0 5 1 0 25 2 0125 3 1 75 , , , , si
n p
D D
= = =
1 75
1 75 2
1 0
2
,
, log





39
TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1

1. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare HuIIman si să se calculeze
lungimea medie a cuvintelor de cod.

Testul nr. 2

2. Se dă sursa A prin urmatoarea repartiĠie de probabilităĠi:

|
|
.
|

\
|
=
02 . 0 02 . 0 02 . 0 04 . 0 07 . 0 07 . 0 14 . 0 14 . 0 48 . 0
9 8 7 6 5 4 3 2 1
a a a a a a a a a
A

Să se codiIice sursa A utilizând metoda de codiIicare Shannon-Fano si să se calculeze
lungimea medie a cuvintelor de cod.


7HPăGHFRQWURO
Se consideră o sursă cu alIabetul | | | |
6 5 4 3 2 1
, , , , , s s s s s s S = si probabilităĠile
| | | | 2 . 0 , 1 . 0 , 25 . 0 , 3 . 0 , 1 . 0 , 05 . 0 = P :
a. să se determine un cod compact Iolosind algoritmul de codare HuIIman. dacă
alfabetul codului este | | | | 1 , 0 = X si dacă alIabetul codului este | | | | 2 , 1 , 0 = X ;
b. pentru cele două cazuri să se calculeze lungimea medie a cuvintelor de cod si
eficienĠa codului.












40
BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 2:
|1| A. Spătaru: Teoria Transmisiunii InformaĠiei. Ed. Didactică si Pedagogică. Bu- curesti,
1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

[3] I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
|5| V. Munteanu. Transmiterea si codiIicarea inIormaĠiei. Note de curs.






41

MODULUL 3
CODURI DETECTOARE SI CORECTOARE DE ERORI

În cazul transmisiilor la distanĠe relativ mari. prin apariĠia inerentă a
perturbaĠiilor. o parte din simbolurile din alIabetul codului. ce Iormează
cuvintele de cod atasate mesaielor. pot Ii modiIicate. astIel încât ceea ce se
recepĠionează nu mai corespunde cu ceea ce s-a transmis. Deoarece în marea
maioritate a situaĠiilor practice se Ioloseste ca alIabet al codului numai 0 si 1
(usor de realizat) vom considera în continuare doar acest caz. În situaĠia în care
alIabetul codului este numai 0 si 1. datorită perturbaĠiilor codului. un 0 transmis
poate deveni 1 si invers. Din această cauză se spune că perturbaĠiile care apar au
un caracter aditiv.

†
0 1

0

1

0 1

1 0

Dacă se transmite 0 si se recepĠionează 1 perturbaĠia 0 † 1 = 1.
Din codarea mesaielor (surselor) pentru canale cu perturbaĠii se pun două
probleme:
1. detecĠia erorilor
2. corecĠia automată a erorilor
1 codarea trebuie astfel efectuată încât la recepĠie să putem decide dacă
ceea ce s-a recepĠionat este corect sau eronat. Iără pretenĠia de a stabili si
locurile în cuvântul de cod în care s-au introdus erori.
2 codarea trebuie astIel eIectuată. încât la recepĠie să avem posibilitatea
nu numai a decide dacă ceea ce s-a obĠinut este corect. ci si de a corecta automat
erorile care au apărut pe canal.
Problema detecĠiei erorilor este mai simplă, în schimb necesită un canal
de transmisiuni cu dublu sens. deoarece. ori de câte ori la recepĠie se detectează
prezenĠa erorilor. să existe posibilitatea cererii de retransmisie a cuvântului
recepĠionat eronat. Se cere transmiterea cuvântului recepĠionat eronat până ce
acesta este recepĠionat corect ; rezultă o întârziere la recepĠionarea inIormaĠiei.
În scopul întocmirii codurilor detectoare de erori sau corectoare de erori.
se Iolosesc o serie întreagă de coduri. bazate pe diIerite teorii matematice. o
primă clasiIicare constând în :
„ coduri bloc la care Iiecare cuvânt de cod are aceeasi lungime
„ coduri nonbloc (sau recurente) la care transmisia se Iace cursiv. Iără o
delimitare precisă a cuvântului de cod.

42

MODULUL 3
CAPITOLUL 1

CODURI DETECTOARE SI CORECTOARE DE ERORI

3.1. Codarea si decodarea pe canale perturbate

S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este
probablitatea de eroare.
Transmiterea în banda de baza sau modulatia sunt aIectate de o serie de constrângeri
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise.
Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea
redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si
decodorul canalului.
Codorul canalului adauga în mod sistematic biti la mesaiul transmis. Acesti biti
aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor.
Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.
Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura
5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei
^ ` b
k
cu un
debit r
b
pe un canal zgomotos.
Datorita zgomotului fluxului de date receptionate
^ `

b
k
difera uneori de secventa
transmisa
^ `
b
k
.
Se impune ca probabilitatea de eroare

P b b
k k

z sa Iie mai mica decât o anumita
valoare.
Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de
eroare.
Codorul împarte biti mesaiului în blocuri de câte k biti si înlocuieste Iiecare bloc cu
un cuvânt de cod de n biti. adaugând n k biti. Decodorul primeste cuvântul de cod. care
este uneori alterat si încearca sa decodeze cei k biti ai mesajului.
Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa
detecteze si sa corecteze erorile de tramsmitere reducând prin aceasta probabilitatea de eroare.
Proiectarea unui codor/decodor consta în selectarea regulilor de generare a cuvintelor
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea
receptionata de cuvânt de cod.
În Iigura 3.1 este prezentata schema bloc pentru un sistem de codare/decodare.










43


























Codurile care eIectueaza controlul erorii sunt clasiIicate în: coduri bloc si coduri
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza un cuvânt de cod de n
biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de
control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile
convolutionare. biti de control sunt în mod continuu inserati între biti de inIormatie; biti de
control veriIicând nu numai biti de inIormatie din blocul precedent ci si din alte blocuri
anterioare.
Distanta Hamming. Distanta între doua cuvinte binare de lungime
n u x x x v y y y
n n
= =
1 2 1 2
, ,......, ; , ,......, $
{ } ( )
x y
i i
, , e 0 1 este numarul pozitiilor
de acelas rang în care doua cuvinte diIera
( )
d u v x y
i i
i
n
, = ©
=
¯
1
(3.1)
Observatie
Numarul natural ( )
d u v , verifica axiomele distantei
( ) ( )
( )
( ) ( ) ( )
( ) , ,
( ) ,
( ) , , ,
a d u v d v u
b d u v u v
c d u v d u w d w v
= >
= · =
s +
0
0 (3.2)

Codor
canal
mesaj
k
mesaj control
k n-k
Modulator

Canal
cuvânt de cod
n
mesaj
k
Decodor
canal
Demodulator
r
b

r r
n
k
c b
=

Fig. 3.1

44
O reprezentare geometrica a lui u poate fi un punct de coordonate x x
n 1
,...... In
R
n
. Cele 2
n
combinatii de n biti sunt vârIurile unui hipercub de latura 1. In Iigura
următoare este reprezentat un astIel de cub pentru R
3
.




















Daca toate cuvintele de cod au sens. atunci orice eroare conduce la un alt cuvânt de
cod si nu poate Ii depistata. Daca însa separam din cele 2
n
cuvinte de cod, numai 2
k
atunci
este posibil sa se depisteze unele erori singulare deoarece 2
n k
combinate nu au sens. În
general. Iie un cod în care toate cuvintele sunt la distante mutuale de cel putin egale cu d
0
.

Cazul 1

Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este
ca d r
0
2 1 t

Cazul 2

Daca d r
0
2 t se pot corecta cel mult r 1 erori.


3.2. Coduri bloc liniare

Se considera coduri bloc. în care Iiecare. în Iiecare bloc de k biti mesaj este codat
într-un bloc de n k ! biti prin adaugarea de n k biti de control. Bitii de control sunt
obtinuti pe baza celor k biti mesaj, asa cum este ilustrat în Iigura 3.3.




000
001
011
111
010
110 100
101
x
1

x
3

x
2

Fig 3.2
Distanta Hamming
între doua vârIuri este cel
mai mic numar de laturi
care le unesc

45
Codor
canal
mesaj biti de control
k biti
k
n k ÷
mesaj cod bloc
Fig. 3.3


















Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod
si codurile pentru care biii mesai apar la începutul cuvântului de cod sunt numite coduri
sistematice. În plus daca Iiecare di cele 2
k
cuvinte de cod poate fi exprimat ca o
combinatie lineara de k vectori independenti, atunci codul este si linear.

Codarea consta în doua etape:
(1) secventa de biti inIormationali este segmentate în blocuri mesai de câte k biti.
(2) codorul transforma fiecare bloc mesai într-un bloc mai mare de n biti în
conformitate cu anumite reguli. Acesti n k ÷ biti aditionali sunt generati printr-o combinatie
lineara de biti mesaj si operatiile pot fi descrise folosind matrice.
Blocul mesaj este reprezentat printr-un vector linie având k componente


| | { }
( )
D d d d cu d i k
k i
= e e
1 2
0 1 1 ...... , ; , (3.3)

Fiecare bloc mesai este transIormat într-un cuvânt de cod c de lungime n

| |
C c c c
n
=
1 2
......
Se observa ca eficienta acestui cod este k n.
Pentru un cod linear, sistematic primii k biti ai cuvântului de cod sunt bitii mesai
adica

c d i k
i i
= =1 2 , ,......, (3.4)

Ultimii n k ÷ biti ai cuvântului de cod sunt bitii de control generatii pe baza celor k
biti ai mesaiului în conIormitate cu anumite reguli predeterminate:


mesaj

46

c p d p d p d
c p d p d p d
k k k
n n k n k k n k k
+
÷ ÷ ÷
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
= + + ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ +
1 11 1 21 2 1
1 1 2 2
,
, , ,

(3.5)

Coeficientii p
i j ,
din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2.
Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala

| | | |
c c d d
p p p
p p p
p p p
p p p
k n
n k
n k
n k
n k
k k k n k
1 1
11 12 1
21 22 2
31 32 3
1 2
1000 0
0100 0
0010 0
000 01
... ...
... ...
... ...
... ...
... ...
,
,
,
, ,
=

×
÷
÷
÷
÷

(3.6)

sau

C D G = · (3.7)

unde G este o matrice de tip k n × numita matricea generatoare a codului si are
forma


| |
G I P
k
k n
=
×
(3.8)

Matricea I
k
este matricea unitate de ordinul k iar P este o matrice arbritara
( )
k n k × ÷ . Sa remarcam ca specificarea lui P defineste complet codul bloc ( )
n k , .
Proiectarea unui cod bloc ( )
n k , prin selectarea unei matrici P trebuie sa aiba în
vedere urmatoarele proprieteti
- comoditatea implementarii
- capacitatea de a corecta erorile singulare si pachetele de erori (burst errors)
- eficienta codului da fie ridicata
Prin eficienta codului se Intelege raportul
k
n
pentru o anumita capacitate de
detectie/corectie.
Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca
toate proprietatile de mai sus.

3.3. Exemple de coduri liniare

Codul Hamming
Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu
ajutorul matricei de control H, care este formata din m linii si
m
2
- 1 coloane, lar coloanele
sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima
egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici:

47
- lungimea combinatiilor de cod este n = 2m -1;
- numarul simbolurilor de control este r=n - k ;
-numarul simbolurilor informationale este k

Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa
codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri
simetrice pe k pozitii) .
La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate
fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan,
rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul
de cod receptionat.
Lungimea n a codului este o putere a lui 2. adică n÷2
m
. Pentru r. număr întreg pozitiv.
numărul poziĠiilor inIormaĠionale este
0
r
i
m
i
k C
=
=
¯
(3.8)
Numărul simbolurilor de control este dat de relaĠia

1
1
1 ...
m
m m r
n k C C
÷ ÷
÷ = + + +
(3.9)
DistanĠa minimă Hamming este d÷2
m-r

La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare
nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc
simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din
codul receptionat.
Fie Vn un spatiu vectorial peste GF(2), ndimensionali avand componentele 0 sau 1.
Fie u÷(a1.a2.a3...an) si v÷(b1.b2.b3...bn). pe spatiul vectorial Vn se poate deIini produsul
vectorial u x V÷(a1*b1. a2*b2..an*bn) si produsul scalar
¯
- =
i i
b a V u
&
&
*
si
) 2 ( * GF V u e
&
&
.
Se pot observa urmatoarele :
- produsul scalar este nul daca ponderea produsului vectorial este un numar par ;
- fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra
liniara, asociativa si comutativa.

Codul Reed-Muller se poate defini cu urmatorii parametrii :
- n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
-
¯
=
=
r
k
k
n
C k
0
, unde k este numarul de simboluri informationale din cod ;
- d=2m-r, unde d este distanta minima a codurilor ;
-
1 2 1
... 1
÷ ÷
+ + + + = ÷
r n
m m m
C C C k n
, pentru care se defineste codul RM(m,r) ;
-

÷
=
2
1 d
t
unde t este numarul de erori pe care il poate corecta codul RM(m,r).

Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu
vectorial, generat de urmatorii vectori liniari independenti care constituie matricea
generatoare :
V0÷1111 1111 1111 ...1111
Vm÷0000 0000 0000 ...1111

48
Vm-1÷0000 1111 0000 .. 1111
............
Vm x Vm-1÷ ........ (3.10)
.............
V2 x V1÷ ..........
..............
Vr x Vr-1 x V1÷ .......
Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x
Gkxn.

Codul Reed-Muller (5,2)
Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori :
m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3
erori pe cuvant.
Matricea V pentru RM(5,2) este :

(1111 1111 1111 1111 1111 1111 1111 1111){V0}
(0000 0000 0000 0000 1111 1111 1111 1111){V5}
(0000 0000 1111 1111 0000 0000 1111 1111){V4}
(0000 1111 0000 1111 0000 1111 0000 1111){V3}
(0011 0011 0011 0011 0011 0011 0011 0011){V2}
(0101 0101 0101 0101 0101 0101 0101 0101){V1}
(0000 0000 0000 0000 0000 0000 1111 1111){V54}
(0000 0000 0000 0000 0000 1111 0000 1111){V53} (3.11)
(0000 0000 0000 0000 0011 0011 0011 0011){V52}
(0000 0000 0000 0000 0101 0101 0101 0101){V51}
(0000 0000 0000 1111 0000 0000 0000 1111){V43}
(0000 0000 0011 0011 0000 0000 0011 0011){V42}
(0000 0000 0101 0101 0000 0000 0101 0101){V41}
(0000 0011 0000 0011 0000 0011 0000 0011){V32}
(0000 0101 0000 0101 0000 0111 0000 0101){V31}
(0001 0001 0001 0001 0001 0001 0001 0001);{V21}

Se defineste
G x m X
&
&
&

unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21).
Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de
control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand
de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite
de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom
scrie cate un set de relatii de control corespunzator componentei informationale din mesajul
transmis care are acelasi indice cu vectorul analizat.
Mesajul informational este :
a
1xk
=(a
0
a
5
a
4
a
3
a
2
a
1
a
54
a
53
a
52
a
51
a
43
a
42
a
41
a
32
a
31
a
21
).
Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara.
Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea
majoritara din sistem :

3 2 1 0 21
y y y y a † † †
7 6 5 4 21
y y y y a † † †

49
11 10 9 8 21
y y y y a † † †
15 14 13 12 21
y y y y a † † †
19 18 17 16 21
y y y y a † † †
23 22 21 20 21
y y y y a † † †
27 26 25 24 21
y y y y a † † †
31 30 29 28 21
y y y y a † † †
Iar a21 este valoarea majoritara a sistemului.
5 4 1 0 31
y y y y a † † †
7 6 3 2 31
y y y y a † † †
13 12 9 8 31
y y y y a † † †
15 14 11 10 31
y y y y a † † †
21 20 17 16 31
y y y y a † † †
23 22 19 18 31
y y y y a † † †
29 28 25 24 31
y y y y a † † †
31 30 27 26 31
y y y y a † † †
Iar a31 este valoarea majoritara a sistemului.
6 4 2 0 32
y y y y a † † †
7 5 3 1 32
y y y y a † † †
14 12 10 8 32
y y y y a † † †
15 13 11 9 32
y y y y a † † †
22 20 18 16 32
y y y y a † † †
23 21 19 17 32
y y y y a † † †
30 28 26 24 32
y y y y a † † †
31 29 27 25 32
y y y y a † † †
Iar a32 este valoarea majoritara a sistemului.
9 8 1 0 41
y y y y a † † †
11 10 3 2 41
y y y y a † † †
13 12 5 4 41
y y y y a † † †
15 14 7 6 41
y y y y a † † †

50
25 24 17 16 41
y y y y a † † †
27 26 19 18 41
y y y y a † † †
29 28 21 20 41
y y y y a † † †
31 30 23 22 41
y y y y a † † †
Iar a41 este valoarea majoritara a sistemului.
10 8 2 0 42
y y y y a † † †
11 9 3 1 42
y y y y a † † †
14 12 6 4 42
y y y y a † † †
15 13 7 5 42
y y y y a † † †
26 24 18 16 42
y y y y a † † †
27 25 19 17 42
y y y y a † † †
30 28 22 20 42
y y y y a † † †
31 29 23 21 42
y y y y a † † †
Iar a42 este valoarea majoritara a sistemului.
12 8 4 0 43
y y y y a † † †
13 9 5 1 43
y y y y a † † †
14 10 6 2 43
y y y y a † † †
15 11 7 3 43
y y y y a † † †
28 24 20 16 43
y y y y a † † †
29 25 21 17 43
y y y y a † † †
30 26 22 18 43
y y y y a † † †

31 27 23 19 43
y y y y a † † †
Iar a43 este valoarea majoritara a sistemului.
17 16 1 0 51
y y y y a † † †
19 18 3 2 51
y y y y a † † †
21 20 5 4 51
y y y y a † † †
23 22 7 6 51
y y y y a † † †
25 24 9 8 51
y y y y a † † †
27 26 11 10 51
y y y y a † † †
29 28 11 10 51
y y y y a † † †

51
31 30 15 14 51
y y y y a † † †
Iar a51 este valoarea majoritara a sistemului.
18 16 2 0 52
y y y y a † † †
19 17 3 1 52
y y y y a † † †
22 20 6 4 52
y y y y a † † †
23 21 7 5 52
y y y y a † † †
26 24 10 8 52
y y y y a † † †
27 25 11 9 52
y y y y a † † †
30 28 14 12 52
y y y y a † † †
31 29 15 13 52
y y y y a † † †
Iar a52 este valoarea majoritara a sistemului.
20 16 4 0 53
y y y y a † † †
21 17 5 1 53
y y y y a † † †
22 18 6 2 53
y y y y a † † †
23 19 7 3 53
y y y y a † † †
28 24 12 8 53
y y y y a † † †
29 25 13 9 53
y y y y a † † †
30 26 14 10 53
y y y y a † † †
31 27 15 11 53
y y y y a † † †
Iar a53 este valoarea majoritara a sistemului.
24 16 8 0 54
y y y y a † † †
25 17 9 1 54
y y y y a † † †
26 18 10 2 54
y y y y a † † †
27 19 11 3 54
y y y y a † † †
28 20 12 4 54
y y y y a † † †
29 21 13 5 54
y y y y a † † †
30 22 14 6 54
y y y y a † † †
31 23 15 7 54
y y y y a † † †
Iar a54 este valoarea majoritara a sistemului.


52
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se
procedeaza in felul urmator:
x se elimina influenta din relatiile de control a componentelor corespunzatoare
vectorilor compusi ;
x se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate
componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).

Urmatorul pas este determinarea lui y` :
y

=
y-(a
54
*V
54
+a
53
*V
53
+a
52
*V
52
+a
51
*V
51
+a
43
*V
43
+a
42
*V
42
+a
41
*V
41
+a
32
*V
32
+a
31*
V
31
+a
21
*V
21
);

Pentru a vedea valoarea componentei mesajului informational :
(a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
se procedeaza pe baza logicii majoritare.
1 0 1
y y a †
3 2 1
y y a †
5 4 1
y y a †
7 6 1
y y a †
9 8 1
y y a †
13 12 1
y y a †
15 14 1
y y a †
17 16 1
y y a †
19 18 1
y y a †
21 20 1
y y a †
23 22 1
y y a †
25 24 1
y y a †
27 26 1
y y a †
29 28 1
y y a †
31 30 1
y y a †
Iar a1 este valoarea majoritara a sistemului.
2 0 2
y y a †
3 1 2
y y a †
6 4 2
y y a †
7 5 2
y y a †
10 8 2
y y a †

53
11 9 2
y y a †
14 12 2
y y a †
15 13 2
y y a †
18 16 2
y y a †
19 17 2
y y a †
22 20 2
y y a †
23 21 2
y y a †
26 24 2
y y a †
27 25 2
y y a †
30 28 2
y y a †
31 29 2
y y a †
Iar a2 este valoarea majoritara a sistemului.
31 27 3
30 26 3
29 25 3
28 24 3
23 19 3
22 18 3
21 17 3
20 16 3
15 11 3
14 10 3
13 9 3
12 8 3
7 3 3
6 2 3
5 1 3
4 0 3
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a


















Iar a3 este valoarea majoritara a sistemului.

54
31 23 4
30 22 4
29 21 4
28 20 4
27 19 4
26 18 4
25 17 4
24 16 4
15 7 4
14 6 4
13 5 4
12 4 4
11 3 4
10 2 4
9 1 4
8 0 4
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a4 este valoarea majoritara a sistemului.
31 15 5
30 14 5
29 11 5
28 12 5
27 11 5
26 10 5
25 9 5
24 8 5
23 7 5
22 6 5
21 5 5
20 4 5
19 3 5
18 2 5
17 1 5
16 0 5
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a
y y a

















Iar a5 este valoarea majoritara a sistemului.

Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor
simpli din vectorul y` :
y ÷y`-(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5)

55

Pentru a evalua pe a0, observam numarul majoritar de componente din y » iar valoarea
celor mai multe componente va fi valoarea lui a0. Mesajul corectat este :
m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)


Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clasă de coduri ciclice cu
o deosebită capacitate de corecĠie a erorilor, care generalizează codurile Hamming pentru
corecĠia erorilor multiple.
Un cod ciclic binar, corector de t erori. având
x Lungimea blocului n= , cu m . întreg
x Numărul simbolurilor de control n-k mt, t ,
x DistanĠa d ,
se numeste cod BHC dacă are drept polinom generator g(x) polinomul de cel mai mic grad
peste câmpul GF(2) care are ca rădăcini elementele ale câmpului Galois
GF( ).
Prin urmare g( )=0, i=
Fie polinomul minimal al lui . adică polinomul de cel mai mic grad peste
GF(2) astIel încât ÷0. Atunci polinomul generator g(x) trebuie să Iie cel mai mic
multiplu comun (c.m.m.m.c) al polinoamelor ,
si anume: g(x)= (c.m.m.m.c){ , }.
Un număr par i poate fi exprimat sub forma i=k* , k , impar. Atunci =
este conjugatul elementului . Dar un polinom care admite rădăcinile
admite drept rădăcini si conjugatele acestora. Prin urmare, si au acelasi polinom
minimal si deci . Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){ , }. (3.12)
Grdul Iiecărui polinom minimal Iiind cel mult egal cu m , polinomul g(x) va fi de grad
cel mult egal cu mt . astIel încât numărul simbolurilor de control. n-k , va fi cel mult egal cu
mt : n-k mt. La limită. în cazul corecĠiei unei singure erori. t÷1. rezultă n-k mt.

56
Codul BCH de lungime , cu m 10 . se numesc coduri BCH în sens restrâns
(sau primitive). Aceste coduri sunt generate de elemente primitive de ordin mai mic decât
din GF( ).
Un cod BCH de lungime corector de o singură eroare este generat de
polinomul g(x)= .
Polinoamele minimale ale elementelor din GF( ) generate de g(x)=1+x+


ƒ Exemplu. trebuie să Iie de grad m÷4 . deci de Iorma
=1+ (3.13)
Deoarece
=1+ (3.14)
Conform tabelului 3.3 înseamnă că
(3.15)
si rezultă

Deci
= 1+x+ (3.16)

57
Deoarece din 2t-1÷3 rezultă t÷2. se deduce un cod BCH corector de două erori si de
lungime n= = 15 este generat de g(x)= (c.m.m.m.c){ ,
}= (x)=1+ .
Fie v(x) un polinom de cod cu coeficienĠii în GF(2). asociaĠi unuo cuvânt de cod
v(x)= . Polinomul de cod admite rădăcinile
din GF( ).
Dacă este o rădăcină a lui v(x) pentru 1 , atunci
+ (3.17)
Se introduce matricea
(3.18)
astIel încât v =0.
Rezultă că v este în spaĠiul nul al matricei H si deci H este matrice de control a
codului.

AplicaĠii


Simularea cu ajutorul programului MATLAB a codului BCH

Codurile BCH fac parte din categoria codurilor ciclice. Se va implementa în
programul MATLAB schema prezentată în Iigura următoare.
Se vor utiliza următoarele blocuri:
- Random-I nteger Generator: generează numere întregi distribuite în
intervalul [0, M-1]. Parametrii blocului sunt:
- M-ary number` este 2^7 deoarece codul BCH utilizat este BCH(15,7)
si numerele generate sunt reprezentate în binar pe 7 biēi.
- Initial seed` este [1458]. Modificând acest parametru se modifica secvenēa
de numere generate.
- Sample time` este 1. Generează câte un număr la fiecare secundă.
- I nteger to Bit Converter: transformă un vector de întregi într-un vector de biēi.
Parametrul blocului este:
- Number of bits per integer` este 7. Se lucrează pe 7 biēi.
- BCH Encoder: crează un cod BCH din datele vectorului binar. Parametrii blocului

58
sunt:
- Codeword length N` este 15.
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt:
- Error probability` este 0.1, pentru a nu introduce erori.
- Input vector length` este 15 deoarece cuvântul de cod cu care se adună
este reprezentat pe 15 biēi.
- Initial seed` este 12345.
- Sample time` este 1 pentru a se genera un esantion la fiecare secundă.- BCH Decoder:
decodează un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului
sunt:
- Codeword length N` este 15 .
- Message length K` este 7 deoarece se utilizează codul BCH(15,7).
- Bit to I nteger Converter: transformă un vector de biēi într-un vector de întregi.
Parametrul blocului este:
- Number of bits per integer` este 7.
- Error Meter: compară semnalele de la intrare, le afisează si evaluează rata de eroare.
Parametrii blocului sunt:
- Bit per symbol` este 7 deoarece utilizează 7 biēi pentru fiecare simbol transmis.
- Number of digits on display` este 20 deoarece afisează 20 de
simboluri.
- Delay between input (1
st
port) and output (2
nd
port)` este 0.
- Sample time` este 1 deoarece se consideră un esantion la fiecare secundă.
- Sum: afisează suma elementelor de la intrare. Parametrii blocului sunt:
- Icon shape` este rectangular.
- List of signs` este +.
- Graph Scope: afisează numărul de erori. Parametrii blocului sunt:
- Time range` este 10.
- y-min` este -1.
- y-max` este 5.
- Line type` este 'ro/b*'
- Mux: multiplexează semnalele de la intrare.
- Display: afisează valoarea de la intrare.
Se va realiza schema bloc aratată si se va rula pentru diferite valori ale probabilitatii
de eroare si se vor analiza rezultatele.


59

Simularea cu ajutorul programului MATLAB a codului Hamming
În cadrul lucrărilor de laborator va Ii pusă la dispoziĠie o aplicaĠie soItware care
implemenează algoritmul de compresie Shannon-Fano. Ecranul aplicaĠiei este prezentat în
Iigura următoare.






60


ExerciĠii rezolvate.
Un număr de 8 simboluri se transmit cu aiutorul unui cod Hamming grup corector de o
eroare si detector de erori duble. Se cere:
a. să se determine numărul simbolurilor de inIormaĠie k, al celor de control m, si
lungimea cuvântului de cod n;
b. să se scrie matricea de control H a codului;
c. să se stabilească expresia corectorului corespunzător eronării simbolului
2
c ;
d. să se determine corectorul corespunzător eronării simbolurilor
2
c si
1
c ;
e. să se determine cuvintele de cod;
f. să se precizeze dacă > @ 0 1 1 0 0 1 1 v este un cuvânt al acestui cod.

SoluĠie
a). Numărul simbolurilor de inIormaĠie k se determină cu relaĠia si
rezultă k÷3.
Marginea Hamming dă pentru numărul simbolurilor de control:
. din care rezultă că m÷3.
La aceste simboluri de control, care permit corecĠia unei erori. trebuie adăugat
simbolul de verificare la paritate, asa încât numărul total al simbolurilor de control va Ii:
=m+1=3+1=4
Structura cuvântului de cod va Ii:

Unde este simbolul de veriIicare a parităĠii, iar - simbolurile de control
pebtru codul corector de o eroare.
b). Matricea H a codului corector de o eroare este de forma:
H=[ ]
respectiv:
H=
Cu relaĠia (2.33) se obĠine pentru matricea expresia:

61
=
c). Pentru acest caz cuvântul de eroare este de Iorma:

Cu relaĠia (2.34) rezultă pentru expresia corectorului

Din expresia corectorului rezultă că apare o eroare corectabilă ( pe poziĠia a
2-a (z= ).
d). Pentru acest caz cuvântul eroare este de Iorma:

si rezultă:
=
Corectorul arată că apar două erori detecctabile ( ).
e). Cuvintele de cod se pot scrie calculând simbolurile de control din cele de inIormaĠie cu
relaĠia . din care rezultă:








62
Cuvintele de cod se găsesc în tabelul următor.
Simboluri
Cuvinte


0 0 0 0 0 0 0

1 0 1 0 1 0 1

1 1 0 0 1 1 0

0 1 1 0 0 1 1

1 1 1 1 0 0 0

0 1 0 1 1 0 1

0 0 1 1 1 1 0

1 0 0 1 0 1 1


I). Se calculează corectorul astfel:
= =
Deoarece iar z÷0 cuvântul dat este un cuvânt al acestui cod. ceea ce era usor
de constatat si prin inspectarea tabelului anterior. în care îl regăsim sub Iorma cuvântului .

TESTE DE AUTOEVALUARE SI TEME DE CONTROL

Testul nr. 1
Se consideră un cod grup cu matricea de control de forma:
»
»
»
¼
º
«
«
«
¬
ª

0 1 1 0 0
1 0 0 1 0
1 1 0 0 1
H
a. să se determine proprietăĠile de corecĠie ale codului. Codul este perfect?
b. să se stabilească dacă matricea:

63
»
¼
º
«
¬
ª

1 0 0 1 1
0 1 1 0 1
G
poate să Iie matricea generatoare a codului.
c. să se scrie cuvintele de cod utilizând matricele H si G.




BIBLIOGRAFIE RECOMANDATĂ LA MODULUL 3:
|1| A. Spătaru: Teoria Transmisiunii InIormaĠiei. Ed. Didactică si Pedagogică. Bu-
curesti, 1983.

|2| A. T. Murgan. I. Spânu. I. Gavăt. I. Sztoianov. V. E. Neagoe. A. Vlad: Teoria
Transmisiunii InformaĠiei - probleme. Ed. Didactică si Pedagogică. Bucuresti,
1983

|3| I. Angheloiu. Teoria codurilor. Ed. Militară. Bucuresti, 1972.

[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John
Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ,
England,2006.

UNIVERSITATE

TEORI A TRANSM I TERI I
Teoria transmiterii aleatoare i teoria deciziilor statistice

a codurilor, teoria semnalelor urile de evaluare. Modul de

ajute oferinduDisciplina Teoria transmiterii obiective specifice: Teoriei transmiterii codific .

disciplinele ; tehnicoO comp

tem

2

CUPRINS MODULUL 1pag.4 MODULUL 1- CAPITOLUL 1- ELEMENTE DE ..................................................................................................................................pag.5 1.1. 1.2. 1.3. 1.4. Informatia ..............................................................pag.5

Sistemul de transmitere a informatiei. .......................................pag.6 1.3. Modele de surse informationale. .........................................pag.7 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 2.1. Modele de surse informationale.....................................................pag.9 2.2. Informatia proprie conditionata...................................................pag.10 TESTE DE AUTOEVALUAR .......................pag.21 BIBLIOGRAFIE RECOMAN ....................... pag.21 MODULUL 2 - CODAREA SURSELOR MODULUL 2- CAPITOLUL 1.................... .........pag.22 .....pag.23

1.1 Codificarea surselor discrete.......................................................pag.23 1.2 Codificarea neuniforma................................................................ pag.23 1.3. Codarea si decodarea pe canale fara perturbatii ... pag.25

1.5 TESTE DE AUTOEVALUAR BIBLIOGRAFIE RECOMAN

Fano. .........................pag.34 ................ pag.39 ..................pag.40

MODULUL 3................pag.41 MODULUL 3 - CAPITOLUL 1 - CODUR ERORI.....................................................................................................................pag.42 1.1. Codarea si decodarea pe canale perturbate ..............................pag.42 ..pag.44 1.3. Exemple de coduri liniare ...........................................................pag.46 TESTE DE AUTOEVALUAR .................pag.62 BIBLIOGRAFIE RECOMAN ...................pag.63

3

se transforma. dr. fapt etc. se elucideaza metodele de studiu si investigare. in interactiunea omului cu mediul inconjurator.introducerea notiunii de informafie a permis studierea dintr-un punct de vedere comun a celor mai diferite procese de comanda din natura. in nofiunea de informatie se pot cuprinde toate stirile despre mediul care ne inconjoara sau. evenimente. se prelucreaza si se foloseste sunt inca insuficient studiate.Tutori: Lector univ.a fost un moment important in stiinta.In intelesul mai larg. eveniment sau proces oarecare.. A obtine o informatie inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte asupra unui lucru. iar legile dupa care informatia apare. mai bine zis. Intocmai cum introducerea notiunii de energie a permis sa se analizeze toate fenomenele naturii dintr-un punct de vedere unic. Notiunea de informatie a aparut mult mai tarziu decat notiunea de energie. 4 . care se obtin. obiecte.ing. Se numeste informatie orice stire care poarta in sine urma unui fapt. Stabilirea notiunii generalizate de informatie pentru caracterizarea proceselor de conducere dintr-un punct de vedere unitar. tot asa. GRECU DAN MODULUL 1 INFORMA IEI informa iei. independent de substratul lor fizic. se pastreaza. Informatia este comunicarea (mesajul) ce aduce stiri despre fapte. procese. despre care s-a stiut mai putin inainte elor specifice teoriei este estimat la aproximativ 6-8 ore pentru fiecare modul -un ritm de 2-3 ore pe zi. abia in zilele noastre se stabilesc bazele intelegerii lor.

La toate aceste sisteme. Comunicari si mai complexe sunt cele transmise prin intermediul televiziunii. pastrarii si transmiterii informatiei. Problema principala a teoriei informatiei este studierea transformarii. Asadar. 5 . poate fi masurata. informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza in limitele sistemului respectiv.telegraf. video. de tip text. I nformatia i. Tot asa.MODULUL 1 CAPITOLUL 1 ELEMENTE DE TEORIA TRANSMITERII INFORMA IEI 1. semnale . informatii logice. care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei. care se desfasoara pe baza schimbului de informatie. Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea fi masurata. De aceea.nu sunt determinate de cantitatea de energie folosita pentru transmiterea infornafiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de telecomunicatii. in telegrafie apar greseli de imprimare.se transmit informantii. Comunicari complexe. unde imaginile in miscare sunt insotite de semnale audio. telegrafului si radioului. radio . sele energetice care insotesc transmiterea informatiei joaca un rol secundar. consta tocmai in aceea ca miscarea si actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati reduse de energie. precum si al celorlalte simturi. in telefonie se distorsioneaza semnalul de vorbire. imagine. Esenta proceselor de conducere. notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate forme: aceasta constituie o proprietate de seama a informatiei.una din problemele principale ale teoriei informatiei consta in stabilirea metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii. evidentiindu-se in mod deosebit latura informafionala a sistemului. ordine si dispozitiuni se transmit cu ajutorul telefonului. transmiterea informatiei este insotita de un fenomen nedorit. in televiziune se deformeaza imaginea. auzului.5. informatii multimedia:audio. de informatie :informatii numerice. indiferent de natura sistemului. Prin intermediul vazului. Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la greseli. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie sa existe posibilitatea folosirii acestei masuri. omul primeste zilnic tot felul de informafii despre evenimentele din lumea ce il inconjoara. Cantitatea de informatie si cu atat mai mult efectul ei. Prin mijloacele de telecomunicatii -telefon. adica sa existe siguranta ca se pastreaza obiectul masuratorii.de adaugare la informatia transmisa a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii.

Purtatorul material al informatiei . o anumita combinatie de modulatie. daca acest lucru este posibil sa se faca. si una din problemele importante ce apar.1 Fig.1. Reprezentarea informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se calculeze si sa se construiasca dispozitive de codificare si decodificare de canal. Astfel. din care decoderul sursei restabileste mesajul initial cu o precizie adoptata de catre destinatar.isi pastreaza capacitatea sa de a transmite informatia numai in cadrul unui sistem de transmisiuni. de exemplu.in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse date. Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. a bruiajului intentionat al adversarului etc.1 Coderul din fig.1 executa orice prelucrare a semnalului generat de sursa. Asupra canalului.2. consta in a stabili cate simboluri binare. linia radio sau radioreleu.1. comprimare de date sau introducerea unei redundante pentru lupta cu perturbatiile.se formeaza o succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit.si cum sa se faca. adica de a reproduce mesajul de la iesirea sursei la 6 . a impulsurilor parazite. Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce la partea de receptie o copie acceptabila iesirii sursei. Sistemul de transmitere a informatiei. O asemenea prelucrare poate include.1. a zgomotului termic. de regula. Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia telefonica. independent de proprietatile sursei sau destinatarului. Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare sau care apartin unui alfabet finit.1. este de a transmite mesajul de la sursa la destinatar. Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de semnale binare. dispozitivul de memorie sau organismul uman. actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza modificarilor caracteristicii de frecventa. Sarcina sistemului de transmisiuni. Pentru a simplifica analiza modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de canal. la intrarea coderului canalului si la iesirea decoderului canalului. Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele inportante ce apare este.semnalul . sursa carora pot fi schemele de comutare. a convorbirilor ce se induc din alte linii. independent de dispozitivele corespunzatoare care se refera la sursa. schema bloc destul de generala a unui sistem de transmisiuni este data in fig.

numarul mediu de sinboluri binare. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp dat. Dar.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o succesiune de simboluri care fac parte dintr-un alfabet finit. admisibile pe timpul transmisiei. Existenta criteriului de precizie permite sa se grupeze toate mesajele posibile. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic independent si intamplator. Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda.teorema fundamentala a codificarii in lipsa zgomotelor da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod. .. fiecare din ele alese dintr-un alfabet dat. pentru fiecare cuplu sursadestinatar. 7 . Numarul M de mesaje admise nu descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu care sunt generate aceste mesaje admisibile. obiectul ce se transmite nu determina numai proprietatile sursei. Shannon . Remarcam faptul ca scrierea numerelor. Astfel. de la iesirea sursei in clase disjuncte. . necesare pentru reprezentarea fiecarui mesaj din multimea mesajelor posibile . exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.Sarcina sistemului de transmisiuni consta in reproducerea mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar.. Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor aleatorii. Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor conditii destul de generale poate fi indicat numarul R. alegere ce are la baza o repartitie oarecare de probabilitati P(a1). depinde de intervalul de timp T cu care s-a lucrat la gruparea mesajelor in clase de echivalenta.. Vom numi acest obiect 1. Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o importanta fundamentala. Prima teorema a lui C. Ele pot fi scrise in orice sistem de numeratie. poate fi luata ca o masura a cantitatii de informatie transmisa de sursa intr-un interval de timp.. M odele de surse informationale. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei. si criteriul acceptabilitatii. a1. In afara de aceasta. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La aceste surse iesirea este o succesiune (in timp) de litere. Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a mesajelor posibile in clase de echivalenta. p(ak).Rationamentul prezentat permite sa se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare. dupa cum vom vedea. in cazul transmiterii mesajelor admisinile.3. intrucat conduce la enumerarea reprezentantilor claselor din intervalul de timp dat. a2. in orice interval de timp.generate intr-o secunda. ci caracterizeaza proprietatile cup -destinatar". care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de precizie adoptat..ci o reproducere care corespunde anumitor scopuri specifice.. ak. Sistemul de transmisiuni indica destinatarului clasa din care face parte mesajul respectiv. ca sa fie posibila decodificarea lor. aceasta presupunere este justa numai intr-un anumit caz.Criteriul acceptabilitatii depinde de scopul transmisiuni. care. intr-o forma binara nu are o importanta principala.

puten conchide universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic. fie numarul natural care corespunde semnalului respectiv. xM P xM X (1.4.ceea ce se face cu ocazia observarii cu o precizie data. In cazul cand nu exista ambiguitati in privinta apartenentei lui x se poate suprima indicele X. totdeauna se poate realiza o corespondenta biunivoca intre semnalele posibile si intre o multime de numere naturale X . iar semnalele continue. destinate transmiterii si prelucrarii datelor. Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si intotdeauna se face abstractie de continutul semantic al mesajului. La calculul cantitatii de informatie si la stabilirea unitatii de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera semnalele ca evenimente aleatoare.utilizate in cadrul unui sistem informational dat .. Aparitia unui semnal in cadrul unui experiment se considera ca un eveniment. Evident: M P x P xK X K 1 1 (1. M odelul probabilistic al semnalelor. adica probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X considerata. Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei aleatoare: X x1 P x1 X x2 P x2 X . permit o tratare corespunzatoare probabilistica..1) Prin notatia X k se intelege probabilitatea de aparitie a evenimentului x=xk. prin x se intelege fie un semnal oarecare. Astfel. Cauza acestei tratari unilaterale rezida in faptul ca aparatul matematic existent deocamdata. . Semnalele discrete care intervin in diferite sisteme informationale.nu ne permite efectuarea unui studiu calitativ al informatiei.. Construirea unui model probabilistic pentru semnalele discrete . In continuare.2) Probabilitatea ca rezultatul experimentului va fi un element oarecare x.. Experimentele cu mai multe rezultate simultane vor fi caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor elemente. permit o descriere probabilistica dupa discretizare . prin indicele X se accentueaza ca rezultatul experimentului este un semnal din multimea semnalelor posibile X. de asemenea. se noteaza cu Px(x) in care. discrete. Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta intr-un semnal purtator de informatie. 8 .presupune cunoasterea probabilitatilor cu care apar aceste semnale in urma unui experiment.1.si astfel multimea semnalelor discrete se poate inlocui cu o multime de numere naturale X.facand ca fiecarui semnal sa corespunda un numar natural x X.

2 Entropia semnalului Fie 9 . M odele de surse informationale Informatia proprie. Valoarea medie a informatiei proprii pentru evenimente din multinea X se numeste entropia lui X si se calculeaza cu formula: K H X K 1 PX xK log 1 PX xK 1 Px (1.4) Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de repartitia de probabilitati este data in fig 1.1.3) sau mai simplu se scrie sub forma: H X K 1 P x log (1. ca si informatia reciproca se poate considera ca o variabila aleatoare si se calculeaza valoarea sa medie.MODULUL 1 CAPITOLUL 2 2.2: Fig.1.

dtupa ce a avut loc evenimentul y =yi.11) 10 .cu conditia ca a aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula: IX Y xk yi log 1 x Px k yi y (1.5) atunci: H X p log 1 p 1 p log 1 1 p H p (1.2.7) sau mai simplu se scrie: Ix x y log (1. y I y I x (1. conditionata de evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului x=xk .6) 2. Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o diferenta intre informatia proprie si informatia proprie conditionata. 1 x P k yi I x. y I x I x y (1.10) Din relatia anterioara se obtine pe baza reciprocitatii relatia: y I x. y x y log Px P log 1 Px log 1 x P y (1.8) Aceasta cantitate de informatie proprie a evenimentului X=Xk. Cantitatea de informatie proprie conditionata a evenimentului X=Xk .9) de unde I x.X x1 x2 p 1 p (1. I nformatia proprie conditionata.

Y). rezulta ca diferenta H(X) . y I y I x y (1. y I x.y) se poate scrie sub forma: x x P PyP y y P x. adica ce cantitate de informatie se transmite despre X prin observarea lui Y. y H x H y I x. y H H H y x x y (1.Y) este numita si informatia transmisa sau pe scurt transinformatia.12) I x. y (1. cantitatea de informatie proprie a unui eveniment (x.y) din produsul cartezian de evenimente xy.H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y. y log log log Px PyPx PyPx deci: log 1 Px log 1 Py log 1 P x. y I x. y P x P PyP x y (1. y unde : I x I y I x. Iata motivul pentru care cantitatea de informatie medie I(X.14) reprezinta cantitatea de informatie proprie a unui eveniment (x. y log 1 P x. Deoarece H(X) este nedeterminarea lui X. y H y H x H x H y y x H y H x.In mod analog I(x.16) Luand mediile expresiilor din relatiile anterioare se obtine: x I x.17) Prima relatie din sistemul de mai sus permite interpretarea lui I(X. 11 . y I x I x I x. y H x.15) rezulta ca. y H x. y (1. Tinand seama ca: y x P x. y (1.iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y.y) se poate scrie sub forma: y I x.13) I x.

H(X)>0 In adevar..atunci: H x log K (1. 0 (1.suma H(X) contine termeni de forma P(x)log(1/P(x)).daca si numai daca repartitia lui X este uniforma adica: 12 . Proprietatea 1.. Proprietatea 2. Daca P(xk)=1.. xK .Psi Q numere positive si P+Q=1. 1 . Fig.3.atunci H(x)>0. Shannon in anul 1948 in lucrarea sa.y.1. rezulta ca entropia Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y). Fie X multimea formata din K semnale .din egalitatea entropiilor nu rezulta identitatea repartitiilor..20) unde avem egalitate..Daca repartitia lui Xnu este degenerate.atunci avem: log Px Qy P log x Q log y (1.Din formula entropiei. Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice.18) si H(x)=0. Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a fost pusa in evidenta de Jensen...insa invers. Fie x.care sunt mai mari sau egali cu zero pentru 0<P(x)<1. xk 0 ..o proprietate care de asemenea joaca un rol important in teoria informatiei. repartitia lui X este degenerata si este de forma: X x1 .19) in care avem egalitate daca si numai daca x=y. data de catre C.

unitatile de masura sunt biti (informationali). k (1. comunicatia este o variabila aleatoare. Este evident ca probabilitatile satisfac relatia p1 p2 pq 1. I (mk ) log 1 pk log pk Daca baza logaritmului este 2..21) Proprietetea 3. m2 . y H x H y (1.avem: H x. mq cu probabilitatile 1 de aparitie p1 . Pentru ca acest continut sa fie o masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati : (i) daca pk pj I (mk ) I (mj ) (ii) daca pk 1 I (mk ) 0 (iii) daca 0 pk 1 I (mk ) 0 (iv) (aditivitatea) daca mk I (mk si mj ) I (mk ) I (mj ) si mj sunt mesaje independente O functie continua de variabila pk care satisface proprietatile (i)-(iv) este functia logaritmica. ate. Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Continutul informational al mesajului k este notat cu I (mk ) . Fie o sursa discreta care emite unul dintre cele q mesaje m . Pentru cazul simplu al unei transmiteri seriale asincrone 13 . xk 1 . p2 ..X x1 1 k x2 1 k . continutul informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui eveniment. pq . . . Din punctul de vedere al destinatarului. Pentru doua multimi de semnale X si Y .22) in care avem egalitate daca si numai daca X si Y sunt statistic independente...

25 106 pixeli cu 12 tonuri de gri.25 106 log 2 2. Care este cantitatea de informatie transmisa ? Solutie I=nr. (a) Care este debitul de informatie ? 14 .elemente informatie per element= 1 2. Durata tuturor impusurilor este de 1 ms. Problema 1 Se considera o trasmisie fax : 2.1. caracter.T2 E M se definesc (a) rata de biti=(durata unui bit) -1 =1/T2 exprimata in biti/secunda (abreviat bps).2 sau 3 volti (echiprobabile) urmate de un impuls de pauza de nivel -1 volt.25 106 log 2 22 3 2. echiprobabile. (b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T1 exprimata in bauds.25 106 2 log 2 3 12 Problema 2 Un display monocolor cu biti 24 linii 80 caractere/linie 128 puncte/caracter 3 tonuri de gri/punct (a) Care este cantitatea de informatie pe pixel. ecran ? (b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ? Solutie (a) (b) 24 80 128 log2 3 [biti ] 1 fc I R I f c [bps] I Problema 3 Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4 impulsuri de tensiune care pot avea nivelurile 0.

Solutie 1 log 2 12 1 12 cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara 1 este I 2 log 2 log 2 2 1 2 cantitatea de informatie totala necesara a fi determinata I I1 I 2 log2 24 cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei) 1 numarul minim de cantariri I kI 3 24 3k k 3.6 [kbps] 5 10 3 1 103 [baud] 1 [kbaud] 3 10 Problema 4 Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). I 3 log 2 log 2 3 1 3 sa se propuna un algoritm de depistare. cantitatea de informatie necesara determinarii monedei false este I 1 log 2 Problema 5 Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt nivel 0: 1/2 nivel 1:1/4 nivel 2:1/8 nivel 3:1/8 Solutie 1 1 1 1 1 1 1 log log 2 log 3 5 10 2 2 4 4 8 8 Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca entropia este maxima pentru o sursa care genereaza simboluri echiprobabile Hmax log2 n . Se cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii daca ea este mai usoara sau mai grea. R r H Problema 6 15 . Se foloseste pentru cantariri o balanta fara mase marcate.(b) Care este rata de bauds ? Solutie (a) (b) R rbauds I 4 log2 4 1.

2 2 i 1 2 y x p( x ) (1 q) p( x ) p( y1 ) p y1 x1 p( x1 ) p y1 x2 p( x2 ) p 1 1 1 1 EM E S-a utilizat formula probabilitatii totale. n. surse binare in masura in E at Acest model descrie un u canal care perturba unei 2 ua n. yj ) p yj xi p( xi ) Din graf se deduce ca p y1 x1 1 q p y1 x2 0 16 . n. io tio ti C max H (Y) H Y X 2 n. evenimentele x1. x2 E Analog se poate scrie BE D B Equ atio BE n. H (Y) p( yi ) log p( yi ) . M fiind mutual exclusive.2 q care la receptie sa poata fi interpretate ca fiind incerte.Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat matricei de tranzitie din figura de mai jos B E B D E B E D E q B E D u E D q BE B E E at D u Dq E q io E E at Equ D u Solutie q qu io atio simbolurile n.2 ED M E M p( y2 ) p( y3 ) H (Y) (1 q) p( x2 ) p y3 x1 p( x1 ) (1 (1 (1 E M E M q log q q p( x1 ) (1 (1 p y3 x2 p( x2 ) q) p( x1 ) q) p( x2 ) E q 1 M q q) p( x2 ) q log q q) p( x1 ) log(1 (1 q) p( x2 ) log(1 q) log(1 q) q) p( x1 ) log p( x1 ) q) H ( X ) 2 3 p( x2 ) log p( x2 ) q log q q) log(1 H YX i 1 j 1 p( xi . on p( xi ) o 3 2 n. io at ati 2 ua EM Metoda scalara n. yj ) log p y j xi Conform regulii de inlantuire p( xi .

Observatie In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate iesirilor. Se considera sursa care genereaza un alfabet de simboluri xi . Se pot scrie urmatoarele relatii: P(Y) P( X ) P Y X 1. Matricea de echivocatie P X Y se poate obtine prin impartirea fiecarei coloane j prin p(yj) . . P Y X este matricea dreptunghiulara de zgomot (n m) . Y) 0 0 0 p( x2 ) 0 0 p( xn ) PYX Matricea de zgomot P Y X se poate obtine prin impartirea fiecarei linii i prin p(xi ). Problema 7 Fie matricea de tranzitie P Y X Se cere sa se calculeze (a) entropia campului de intrare 2 / 3 1/ 3 1/ 3 2 / 3 si p(x1)=3/4 si p(x2)=1/4. i se receptioneaza un alfabet de simboluri y j . n si la destinatie unde P( X ) este matricea linie a sursei (1 n) . Matricea campurilor reunite (joint) este p( x1 ) P( X .p y2 x1 p y3 x1 Se obtine H YX 0 q p y2 x2 p y3 x2 q 1 q (1 q) log(1 q) q log q p( xi ) C (1 q) max H ( X ) (1 q) 1 1 q pentru setul optim de probabilitate la intrare p0 ( x1 ) Metoda matriciala p0 ( x2 ) 1. m. j 1. . 17 . P(Y) este matricea linie a destinatiei (1 m) .

92 bit / simbol H YX H ( X . y j ) log p xi y j 18 . y j ) log p xi y j 0 2 / 3 1/ 3 1/ 2 1/ 4 P( X . y j ) log p y j xi H( X ) 0.73 bit / simbol (d) sau (e) unde H YX i 1 j 1 p( xi . Y) 2 2 i 1 j 1 H XY p( xi .(b) entropia campului de iesire (c) entropia campurilor reunite (d) eroarea medie (e) echivocatia (f) transinformatia (g) capacitatea canalului si setul optim la intrare (h)eficienta si redundanta relativa a canalului Solutie 2 (a) H( X ) i 1 2 p( xi ) log p( xi ) 3 3 log 4 4 1 1 log 4 4 2 3 log 3 4 0.81 bit / simbol (b) H (Y) j 1 p( yj ) log p( yj ) 2 / 3 1/ 3 1/ 3 2 / 3 P(Y) 3/ 4 1/ 4 7 / 12 5 / 12 H (Y) 7 7 log 12 12 2 2 5 5 log 12 12 0. Y) 3/ 4 0 1/ 4 1/ 3 2 / 3 1 / 12 1 / 6 H ( X .98 bit / simbol (c) H XY i 1 j 1 p( xi . Y) 2 1 1 log 2 2 2 1 1 log 4 4 1 1 log 12 12 1 1 log 6 6 1.

75 bit / simbol I ( X .082 bit / simbol Setul optim p0 ( x1 ) . Y) 0.P XY 1 2 7 12 1 12 7 12 1 4 5 12 1 6 5 12 6 7 1 7 3 5 2 5 si sau (f) H XY H XY 1 6 log 2 7 H ( X . y j ) log p y j xi p0 ( x1 ) p0 ( x2 ) i 1 j 1 p y j xi p0 ( xi ) log p y j xi 1 1 log 3 3 2 2 log 3 3 1 1 log 3 3 2 2 log 3 3 deci H Y X nu depinde de P( X ) C max H (Y) p0 ( xi ) 2 2 log 3 3 1 1 log 3 3 19 . Y) 1 3 1 1 log log 4 5 12 7 H (Y) 1 2 log 6 5 0. p0 ( x2 ) se obtine din C max H (Y) p0 ( xi ) H YX 1 p0 ( x2 ) 3 2 p0 ( x2 ) 3 2 2 p( y1 ) p( y2 ) 2 p0 ( x1 ) 3 1 p0 ( x1 ) 3 2 2 H YX i 1 j 1 p( xi .06 bit / simbol (g) canalul fiind dublu uniform C log 2 1 1 1 log 1 3 3 1 1 (2 1) log 3 3 0. Y) H( X ) H(Y) H( X .

2 0.4 1/ 2 0.73 p0 ( x2 ) 1 R(C) C I ( X .1 si mutual exclusive se obtine p( x1 .8 20 .1 0. Y) 0.1 1/ 2 0. y2 ) 1 0.1 1/ 2 0.4 1/ 2 0. (a) Calculati matricea P( X .dar max H (Y) p0 ( xi ) log 2 1 p( y1 ) p( y2 ) 1 2 p( y1 ) p( y2 ) p0 ( x1 ) p y1 x1 p0 ( x1 ) p y2 x1 p0 ( x1 ) p0 ( x2 ) 1 . Y) pentru care sursa genereaza simboluri echiprobabile. 2 p y1 x2 p0 ( x2 ) p y2 x 2 p0 ( x2 ) Observatie Se mai poate utiliza si relatia p0 ( x1 ) (h) (C) I ( X .2 0. Y) 0. y2 ) 0. (c) Calculati transinformatia. y2 ) si folosind proprietatea (iii) a evenimentelor (a) canalul fiind simetric p( x1 . P( X .4 si p( x2 . y1 ) 2 p( x1 .8 0.4 ? ? 0.022 bit / simbol Problema 8 Fie un canal binar simetric avand matricea campurilor reunite P( X .1 . Y) .4 0. (b) Calculati matricea de zgomot. Y) C 0. Solutie 0.4 (b) PYX 0. y1 ) p( x1 . y2 ) p( x2 .

P. c. d. ESSENTIALS OF ERROR-CONTROL CODING. Southern Gate. 1 a. ire. b.2006. 21 . cantitatea de informa ie con Testul nr. ti. Angheloiu. England. [4] J. eroarea medie i echivoca ia. e.C. The Atrium.cure ti. Farrell. Chichester. 1983.G. 1972. iei unei figuri pe ilor reunite intrare-ie forma: PY X 1/ 4 1/ 4 1/ 4 1/ 4 uleze: a. BIBLIOGRAFIE RECOMAN i Informa . b. transinforma ia i capacitatea canalului. West Sussex PO19 8SQ. 2 uleze cantitatea de informa tabla de ah. Moreira. Transmisiunii Informa iei 1983 [3] I.TESTE DE AUTOEVALUARE Testul nr. ti. John Wiley & Sons Ltd.

Algoritmii de compresie cu pierderi au ca rezultat difer elativ mic tre mesajul rezultat prin decompre cel origina a compre esaje -Fano. variabil ariabil variabil. distinge algoritmi de compresie pierde ersibili. codurile de compresie se clasif bloc.binar. c e pentru codare ea. de re pentru memorarea sau transmiterea unui mesaj se folose -o ermedia eprezentarea prin simboluri bina cele mai multe metode de compresie folosesc metode de codare binar . prin decompresie ndu-se mesajul origina tocmai.bloc.MODULUL 2 CODAREA SURSELOR IONALE Compresia datelor este un proces de re prin car e edunda ei mesajului genera entru a reduce resursele necesare memor cestui mesaj. ectivul compresiei c erea num de simboluri binare necesar pentru reprezentarea mesajului. Deoarece. Din punct de vedere a c cut prin decompresie se asea -a ac at prin procesul de compresie. 22 . cons au va cuvintelor de cod. bloc bloc cuvinte de cod de lungime fi ar variabil variabil corespun cuvintelor de cod. bloc variabil.

n de n litere de sursa este semnalelor.. aM se noteaza cu c1 . Cerinta principala care se pune pentru orice codificare practic utilizabila este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la cele initiale.. P a2 .. C c1 . xD . In general. 23 ..Numarul semnalelor secundare c a n din cuvantul de cod k care.. aM care apar cu probabilitatile P a1 . n i 1 P i (2.c2 ..adica probabilitatea unei succesiuni date egala cu produsul probabilitatilor literelor de sursa ....corespunde lui k . cM .. Fiecare sau litere notate cu 1 2 litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din alfabetul codului care contine D semnale X x1 . Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare a .. adica decodificarea sa fie unica.Aceste combinatii se numesc si cuvinte de cod.. aL ...trecerea de la un sistem de semnale primare la un sistem de semnale secundare se numeste codificare. un formate cu ajutorul literelor din alfabetul sursei.. deci ui A pentru Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a n 1 ..MODULUL 2 CAPITOLUL 1 CODAREA SURSELOR 1. a .deci: n P 1 ..dupa cum s-a vazut. cM ... c2 .iar totalitatea lor formeaza un cod...2 Codificarea neuniforma.cuvintele de cod care corespund semnalelor primare a1 ..1) 1.....deci sursa produce u1 .. u2 . adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui simbol nu depinde de celelalte sinboluri anterioare...se noteaza cu k . Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si secundare... Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si fara memorie.. x2 . Alfabetul sursei discrete se noteaza cu succesiuni de litere A a1 . a2 ... 2 ..1 Codificarea surselor discrete.. 2 . a2 .. P aM ..

.Sirul de litere xi1 ..Dintre toate.sunt distincte.m.. deci fiecarui cuvant de cod ii corespunde un nod final si nu un nod internediar si invers.din punct de vedere economic.dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin reducerea (suprimarea) ultinelor simboluri. arata si sfarsitul unui cuvant de cod. deoarece o combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. tinand cont ca din fiecare nod pomesc D arce.acel cod care conduce la un n -numarul mediu de litere de cod pe litere de sursa-cat mai mic posibil. Codul C c1 .d.. c 24 .motiv pentru care codurile cu proprietate de prefix se numesc si coduri ireductibile. Fie un cuvant de cod ci xi1 . Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste cod cu proprietate de prefix.cu ajutorul unui graf arborescent. dat fiind faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod. Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee. ck se numeste unic decodabile daca succesiunile cuvintelor de cod.Fiecarui cuvant de cod ii corespunde un drum simplu. xi 2 .. Se observa ca in cazul unui cod D-nar.Relatia care exista intre codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea teorema:orice cod cu conditia de prefix este un cod unic decodabil. Momentul cand se obtine o succesiune cu sens.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de prefix..unde n se mai numeste si lungimea mediea combinatiilor de cod: M n K 1 P ak nk (2.. xi 2 . Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si convenabila. dar in acest caz cel putin unui cuvant de cod ii corespunde un nod internediar.. codurile unic decodabile prezinta un interes .constructia grafului arborescent corespunzator este asemanatoare. c2 ...unde k m se numeste prefixul lui i . fiecarui nod final ii corespunde o combinatie de cod.corespunzatoare diferitelor succesiuni de lungime finite a sursei. xim . La decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.2) Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod atribuite semnalelor primare sunt distincte se numeste cod nesingular. xim .. De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu ajutorul unui graf arborescent.sau nodul final de la extremitatea drumului simplu corespunzator Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta biunivoca intre cuvintele de cod si intre nodurile finale. Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care prezinta un interes deosebit din punct de vedere practice.

. p2 ..... Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor tie numita Definirea unui cod.6) Orice aplicatie S Un element s * i X * se numeste codarea alfabetului S prin alfabetul X X * si care corespunde lui si n si * ni este numarul de litere cale Il formeaza..... caractere) Se considera reuniunea secventelor finite de litere din alfabetul canalului: X* n Xn (2. In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un codor/decodor al sursei.. xq (2.... x2 ... s 2 ... sik 2 (2...3...... numite cuvinte fara sens. sN 1 (2. S cu probabilitatea de aparitie p s i s . s2 . s i i ik (2. un text constituit din secvente de mesaje: mj s1.. pN (2.5) constituit dintr-un numar finit de semne (litere.7) este codat prin secventele de cuvinte de cod (cu sens) mj * * si 1 .1.. si * ... Codarea si decodarea pe canale fara perturbatii.... Astfel..3) pi P p1.. Totalitatea cuvintelor de cod constitue codul lui S cu mentiunea ca X * poate contine si combinatii care nu apartin codului..4) Fie alfabetul canalului X x1..8) 25 .

nN este ca N ni q i 1 1 (2. fie de exemplu * s * . 2...... Codul 010 poate fi interpretat fie s * . Un cod de acest tip este un cod unic decodabil. Se reaminteste ca q card X este numarul de litere din alfabetul canalului. Un cod cu aceasta probabilitate se numeste regulat (nesingular).10) cu N k 1 rk Teorema Mac Millan Un cod este ireductibil daca si numai daca n1 26 n2 .9) Observatii 1. Alcatuirea unui cod.. adica aplicatia k 1 Sk X * sa fie si ea injectiva. Daca numarul cuvintelor de lungime k este rk atunci conditia (1... s2* fie s3* . 1 1 n Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i corespunda o succesiune unica de litere.11) . Teorema Kraft Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de lungime n1. n2 ..Decodarea implica posibilitate n mod unic (aplicatia S X sa fie injectiva). s * . Regularitatea este o conditie necesara dar nu suficienta pentru decodare. s2* 1 10 si s3 01....9) devine n rk q k 1 n k 1 (2. Aceste coduri se numesc separabile. nN (2. Conditii suficiente care sa asigure aceasta proprietate sunt: (a) utilizarea cuvintelor de cod de aceiasi lungime (bloc) (b) utilizarea unui semn distinct Intre cuvintel (separator) Exista nsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura proprietate de unic decodabil.

12) unde pi sunt definite prin (1.14) 1 (2. Pentru orice sursa omogena exista un cod ireductibil pentru care lungimea medie a cuvintelor e . Transmiterea mesajelor presupune un cost care creste linear cu timpul. n H log 2 q (2.Criterii de apreciere a unui cod.13) unde H este entropia sursei. eficienta unui cod este H n log 2 q iar redundanta codului este 1 (2. Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau compacte. In aceste conditii. 27 . Prima pe un canal neperturbat de capacitate data.15) Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se numesc coduri absolut optimale Prima teorema a lui Shannon.4) si ni Este evident ca se cauta ca n limitat inferior de entropia informationala pe simbol a alfabetului de cod i. Un criteriu n n i 1 pi ni (2.

.. . cu p( ) . cu p( ) p( ) . .. respectiv S un alt procedeu de codare. invers.. cu -un nou mesaj. va fi i va fi sau 28 . sN} .4. de ordine - analog. S = {s1.. notat cu .. p( ). s2 . din mesaje. astfel: - ={ }. -un nou mesaj . .... p( ) . ={ cu p( ) p( ) .1.. De fapt.

16) simbolul "1". .mea S a mesajelor poate fi ) i sunt cele - ii n singur mesaj . tantanee 29 . S cuvintelor de co luate individual. va avea realiza cuvintelor de cod. care sunt N-n=2 => n=N-2 (2. celor N-2 -lisimbolul "0". k= . S poate furniza N NN ine Nn mesaje.

Exemplul 3. S: ate realiza astfel: Fig.3.1 Graful i cuvintele de cod corespunz toare cod rii efectuate sunt date n Fig. 3.2.3 30 .1. Schema de codare pentru exemplul 3. 3. Fig.

minime. ceea ce va c S: 31 .

7. 32 .Fig. 3.

mai multe de capacitat .Pentru acest cod. cu primul cod se rimul. evide ursei -un buffer. 33 . lungimea medie este.

.19) .. atunci se poate scrie: S rela ia (1.5 Fano.. ( ) k= (2.1.18) (2.17) S = {s1.. Sursa S (2. sN} = . p( unde .21): - 34 . s2 p( ) p( ).

(sau invers). atunci.22) Kraft e.(2. . egalitate. astfel: .21) ia (1. rela 35 . vor vor dar toate absolut optimale.22): (2.

S: - Graful arborescent ata at codului astfel ob 36 .2.Exemplul 3.

Simularea cu ajutorul programului M ATLAB a algoritmului de compresie Shannon-Fano care - Exerci Exemplu . mesaj A 00 01 10 11 B 0 10 110 1110 C 0 01 011 0111 D 0 10 110 111 s0 s1 s2 s3 37 .

5 1 0.25 2 0.s2 cu probabilitatea p3 = 0.125 . C si D Solutie Entropia sursei este 4 H i 1 p i log 2 p i 1 1 log 2 2 2 1 1 log 2 4 4 2 1 1 log 8 8 7 biti 4 Pentru codul A lungimea medie a codului este nA Codurile B si C cu aceiasi lungime medie 2 si A 7 4 2 log 2 2 7 iar 8 1 2 nB B nC C 0.5 1 0.875 1 15 14 15 Codul D are nD D 0. Daca Insa se folosec codul C.125 Se cere sa se determine eficienta codurilor A. Se considera sursa care genereaza simbolurile : .Folosind codul B.25 .125 3 1. 75 log 2 2 1 D 0 38 . Dupa receptinarea 1 primelor sase biti se poate determina ca s-a receptionat s3s .s0 cu probabilitatea p1 = 0.75 si 1. B.s3 cu probabilitatea p4 = 0.875 B C 1.s1 cu probabilitatea p2 = 0.5 . s2 fie ca s3 . 75 1. 1 ambiguitatea -se abia dupa receptia urmatorilor biti.25 2 0. 75 1. Dupa receptionarea primelor sase biti conduce la 1 decodarea s3 dar secventa 01 poate fi interpretata la acel moment fie care s fie ca.125 3 0. Un cod de tip C se numeste cod instantaneu. succesiunile s3s s0s2 se codifica 1110100110. 1 succesiunea s3s s0s2 se codifica 011010011.125 4 1.

07 0.05. s4 .02 0. 1 1.25.0.48 0.1.14 0.02 lungimea medie a cuvintelor de cod. 2 2. 0.04 0. eficien a codului.14 0.07 0.02 0. S s1 .2 : a. i 39 .48 0. s6 ile P 0.02 0.02 lungimea medie a cuvintelor de cod. alfabetul codului este X b.14 0.0. A a1 a2 a3 a4 a5 a6 a7 a8 a9 0.1.04 0. s5 .3. s2 . Testul nr. s3 .1. A a1 a2 a3 a4 a5 a6 a7 a8 a9 0.1 X 0.TESTE DE AUTOEVALUAR Testul nr.0.14 0.2 .0.07 0.0.07 0.02 0.

2006. ti. ESSENTIALS OF ERROR-CONTROL CODING. Moreira. West Sussex PO19 8SQ. The Atrium. Angheloi ti. [4] J.BIBLIOGRAFIE RECOMAN 1983. John Wiley & Sons Ltd. P. unii Informa .cure ti. Chichester.C. Transmisiunii Informa iei 1983 [3] I. 40 . England. 1972. Farrell.G. Southern Gate.

MODULUL 3 CODURI DETECTOARE DE ERORI - un caracter aditiv. tea coduri bloc coduri nonbloc (sau recurente) 41 ngime . 1 codarea trebuie astfel efec ceea ce s-au introdus erori. probleme: 1. 2 . 0 1 0 1 0 1 1 0 1 = 1. 2.

1 este prezentata schema bloc pentru un sistem de codare/decodare. transmis.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei bk cu un debit rb pe un canal zgomotos. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si decodorul canalului. Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de eroare. Problema codarii pe canale perturbate poate fi formulata astfel. de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea receptiona . desi nu transporta informatie. Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.1. Codarea si decodarea pe canale perturbate S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este probablitatea de eroare. ei permit decodorului sa eroare. Datorita zgomotului fluxului de date receptionate transmisa bk . Referindu-ne la figura 5. este uneori Desi biti de control nu aduc nici o informatie receptorului. fac posibili detectia si corectia erorilor. care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise. Acesti biti aditionali.MODULUL 3 CAPITOLUL 1 DE ERORI 3. 42 . Se impune ca probabilitatea de eroare P bk bk difera uneori de secventa bk valoare. k n n k k biti ai mesajului. Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea redundantei controlate.

..2) u v d w ..rb Codor canal rc rb n k Modulator mesaj k mesaj k control n-k Canal mesaj k n Decodor canal Demodulator Fig... y 2 ....v d v . y n $ x i .v 43 .v (b ) d u...v i 1 xi yi (3.1 n convolutionare. x 2 . Pentru codurile anterioare.w 0 (3.. v y1.u 0 d u. 3.1 binare de lungime este numarul pozitiilor d u. La receptie biti de control sunt utilizati pentru a verifica biti de informatie din blocul precedent.v verifica axiomele distantei (a) d u. unui mesaj de k biti i se asocieaza biti care actioneaza r biti pe baza celor k biti cu continut informational. x n . Din codurile bloc. tre doua cuvinte n u x1.1) Observatie Numarul natural d u.v (c ) d u... y i n 0..

Coduri bloc liniare k biti mesaj este codat -un bloc de n k biti prin adaugarea de n obtinuti pe baza celor k biti mesaj.3. Bitii de control sunt . a k biti de control.. x3 001 011 Distanta Hamming mai mic numar de laturi care le unesc 101 000 100 x1 Fig 3.O reprezentare geometrica a lui u poate fi un punct de coordonate x1 . x n In R n . 3.2 111 010 x2 110 2 n cuvinte de cod.. cod si nu poat Cazul 1 Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este ca d 0 2r 1 Cazul 2 Daca d 0 2 r se pot corecta cel mult r 1 erori.. Cele 2 n combinatii de n R3 .. numai 2 k atunci este posibil sa se depisteze unele erori singulare deoarece 2 n k toate cuvintele sunt la distante mutuale de cel putin egale cu d 0 .. 44 ..2.

Acesti n k biti aditionali sunt generati printr-o combinatie lineara de biti mesaj si operatiile pot fi descrise folosind matrice.. d k - cu di 0.. k (3.2..4) k k 45 . k biti... sistematic primii k adica ci Ultimii n di i 1.. 3... atunci codul este si linear....3 Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod 2 k cuvinte de cod poate fi exprimat ca o combinatie lineara de k vectori independenti.. Pentru un cod linear.3) c de lungime n C c1 c2 . (2) codorul transforma fie -un bloc mai mare de n conformitate cu anumite reguli.. cn Se observa ca eficienta acestui cod este k n . k (3. i 1..1 ..mesaj Codor canal cod bloc mesaj mesaj biti de control k biti k n k Fig.. k componente Blocul mesaj este reprezentat printr- D d1 d 2 ..

6) k k n C forma D G (3. k . p3. n k k k (3.0 000.. Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca toate proprietatile de mai sus.0 0100. k prin selectarea unei matrici P tr vedere urmatoarele proprieteti ..1d k (3.....1 p k 2 .3. p k . Spatiul nul al acestei matrice are distanta minima egala 3..0 c1 . p2...1 coloane.8) G Ik P k n k Matricea I k este matricea unitate de ordinul k iar P este o matrice arbritara n k ...... d k 0010.5) sunt booleene iar sumarea se face modulo -2.ck 1 p11d1 p21d 2 p k . p1. Ele se dau cu m ajutorul matricei de control H. n k d1 p 2. Ecuatiile (3.eficienta codului da fie ridicata Prin eficienta codului se Intelege raportul detectie/corectie. Exemple de coduri liniare Codul Hamming Cele mai cunoscute coduri liniare sint codurile binare Hamming . j din ecuatiile (3.. n p k .5) cn p1. lar coloanele sunt toate elementele nenule de lungime m.capacitatea de a corecta erorile singulare si pachetele de erori (burst errors) . Sa remarcam ca specificarea lui P defineste complet codul bloc n.. n p31 p32 . Proiectarea unui cod bloc n. k pentru o anumita capacitate de n 3.comoditatea implementarii ...01 sau p11 p12 . n p21 p22 .5) pot fi combinate sub o forma matriceala 1000.4) si (3..7) unde G este o matrice de tip k n numita matricea generatoare a codului si are (3. n kdk Coeficientii pi . n k d2 pk . adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici: 46 . c n d1 .. care este formata din m linii si 2 .

unde n este dimensiunea vectorilot cuvintelor de cod .r) .. rezultand in urma algoritmului in mod direct simbolurile informationale detinute din codul receptionat. 1 2 n n k 1 Cm Cm . fata de operatiile descrise.r). coduri simetrice pe k pozitii) .9) La codul Reed-Muller. adica atat detectia cat si corectia si decodificarea propriu-zisa. -numarul simbolurilor informationale este k Codul Reed-Muller Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming .lungimea combinatiilor de cod este n = 2m -1. u *V u *V GF (2) . atat detectia.. La acest cod. . generat de urmatorii vectori liniari independenti care constituie matricea generatoare : 47 ... in mod direct simbolurile informationale continute in cuvantul de cod receptionat. Cm r m-r (3. m Lungimea n a codulu r k i 0 i Cm (3. rezultand in urma algoritmului. multimea vectorilor de n elemente formeaza o algebra liniara. spre deosebire de codurile simetrice algoritmul de decodificare nu poate fi etapizat. r k k 0 . cat si decodificarea propriu-zisa se produc simultan. asociativa si comutativa. corectia. d=2m-r. n dimensionali avand componentele 0 sau 1. algoritmul de decodificare nu poate fi etapizat.8) 1 1 m n k 1 Cm . unde k este numarul de simboluri informationale din cod . se produc simultan. pentru care se defineste codul RM(m. t d 1 2 unde t este numarul de erori pe care il poate corecta codul RM(m. Cn k Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu vectorial. Cm r 1 ..numarul simbolurilor de control este r=n .k . spre deosebire de cele sistematice. Codul Reed-Muller se poate defini cu urmatorii parametrii : n=2m. ai bi si Se pot observa urmatoarele : produsul scalar este nul daca ponderea produsului vectorial este un numar par . unde d este distanta minima a codurilor . Fie Vn un spatiu vectorial peste GF(2).

VmVm x Vm(3.10)

Vr x VrAlgoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x Gkxn. Codul Reed-Muller (5,2) Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori : m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3 erori pe cuvant. Matricea V pentru RM(5,2) este : (1111 (0000 (0000 (0000 (0011 (0101 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0000 (0001 1111 0000 0000 1111 0011 0101 0000 0000 0000 0000 0000 0000 0000 0011 0101 0001 1111 0000 1111 0000 0011 0101 0000 0000 0000 0000 0000 0011 0101 0000 0000 0001 1111 0000 1111 1111 0011 0101 0000 0000 0000 0000 1111 0011 0101 0011 0101 0001 1111 1111 0000 0000 0011 0101 0000 0000 0011 0101 0000 0000 0000 0000 0000 0001 1111 1111 0000 1111 0011 0101 0000 1111 0011 0101 0000 0000 0000 0011 0111 0001 1111 1111 1111 0000 0011 0101 1111 0000 0011 0101 0000 0011 0101 0000 0000 0001 1111){V0} 1111){V5} 1111){V4} 1111){V3} 0011){V2} 0101){V1} 1111){V54} 1111){V53} 0011){V52} 0101){V51} 1111){V43} 0011){V42} 0101){V41} 0011){V32} 0101){V31} 0001);{V21}

(3.11)

Se defineste X mxG unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21). Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom scrie cate un set de relatii de control corespunzator componentei informationale din mesajul transmis care are acelasi indice cu vectorul analizat. Mesajul informational este : a 1 x k =(a 0 a 5 a 4 a 3 a 2 a 1 a 5 4 a 5 3 a 5 2 a 5 1 a 4 3 a 4 2 a 4 1 a 3 2 a 3 1 a 2 1 ). Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara. Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea majoritara din sistem :
a21 a21 y0 y4 y1 y5 y2 y6 y3 y7

48

a21 a21 a21 a21 a21 a21

y8 y12 y16 y20 y24 y28

y9 y13 y17 y21 y25 y29

y10 y14 y18 y22 y26 y30 y4 y6 y12 y14 y20 y22 y28 y30 y4 y5 y12 y13 y20 y21 y28 y29 y8 y10 y12 y14

y11 y15 y19 y23 y27 y31 y5 y7 y13 y15 y21 y23 y29 y31 y6 y7 y14 y15 y22 y23 y30 y31 y9 y11 y13 y15

Iar a21 este valoarea majoritara a sistemului. a31 y0 y1
a31 a31 a31 a31 a31 a31 a31 y2 y8 y10 y16 y18 y24 y26 y3 y9 y11 y17 y19 y25 y27

Iar a31 este valoarea majoritara a sistemului. a32 y0 y2
a32 a32 a32 a32 a32 a32 a32 y1 y8 y9 y16 y17 y24 y25 y3 y10 y11 y18 y19 y26 y27

Iar a32 este valoarea majoritara a sistemului. a41 y0 y1
a41 a41 a41 y2 y4 y6 y3 y5 y7

49

a41 a41 a41 a41

y16 y18 y20 y22

y17 y19 y21 y23

y24 y26 y28 y30 y8 y9 y12 y13 y24 y25 y28 y29 y8 y9 y10 y11 y24 y25 y26

y25 y27 y29 y31 y10 y11 y14 y15 y26 y27 y30 y31 y12 y13 y14 y15 y28 y29 y30

Iar a41 este valoarea majoritara a sistemului. a42 y0 y2
a42 a42 a42 a42 a42 a42 a42 y1 y4 y5 y16 y17 y20 y21 y3 y6 y7 y18 y19 y22 y23

Iar a42 este valoarea majoritara a sistemului. a43 y0 y4
a43 a43 a43 a43 a43 a43 y1 y2 y3 y16 y17 y18 y5 y6 y7 y20 y21 y22

a43 y19 y23 y27 y31 Iar a43 este valoarea majoritara a sistemului. a51 y0 y1 y16 y17 a51 a51 a51 a51 a51 a51 y2 y4 y6 y8 y10 y10 y3 y5 y7 y9 y11 y11 y18 y20 y22 y24 y26 y28 y19 y21 y23 y25 y27 y29

50

a51 y14 y15 y30 y31 y16 y17 y20 y21 y24 y25 y28 y29 y16 y17 y18 y19 y24 y25 y26 y27 y16 y17 y18 y19 y20 y21 y22 y23 y18 y19 y22 y23 y26 y27 y30 y31 y20 y21 y22 y23 y28 y29 y30 y31 y24 y25 y26 y27 y28 y29 y30 y31 Iar a51 este valoarea majoritara a sistemului. a53 y0 y4 a53 a53 a53 a53 a53 a53 y1 y2 y3 y8 y9 y10 y5 y6 y7 y12 y13 y14 a53 y11 y15 Iar a53 este valoarea majoritara a sistemului. 51 . a54 y0 y8 a54 a54 a54 a54 a54 a54 y1 y2 y3 y4 y5 y6 y9 y10 y11 y12 y13 y14 a54 y7 y15 Iar a54 este valoarea majoritara a sistemului. a52 y0 y2 a52 a52 a52 a52 a52 a52 a52 y1 y4 y5 y8 y9 y12 y13 y3 y6 y7 y10 y11 y14 y15 Iar a52 este valoarea majoritara a sistemului.

in numar de cate componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli). se procedeaza in felul urmator: se elimina influenta din relatiile de control a componentelor corespunzatoare vectorilor compusi . Pentru a vedea valoarea componentei mesajului informational : (a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) se procedeaza pe baza logicii majoritare. : y =y-(a54* V54+a53* V53+a52* V52+a51* V51+a43* V43+a42* V42+a41* V41+a32* V32+a31* V31 +a21* V21). se scriu numarul de relatii de control pentru vectorii simpli. a1 y0 y1 a1 a1 y2 y4 y3 y5 a1 a1 a1 a1 a1 a1 a1 a1 y6 y8 y12 y14 y16 y18 y20 y22 y7 y9 y13 y15 y17 y19 y21 y23 a1 a1 a1 y24 y26 y28 y25 y27 y29 y31 y2 y3 y6 a1 y30 Iar a1 este valoarea majoritara a sistemului. a2 y0 a2 a2 y1 y4 a2 a2 y5 y8 y7 y10 52 .Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi.

53 .a2 y9 y11 a2 a2 a2 y12 y13 y16 y14 y15 y18 a2 a2 y17 y20 y19 y22 a2 a2 a2 a2 y21 y24 y25 y28 y23 y26 y27 y30 a2 y29 y31 Iar a2 este valoarea majoritara a sistemului. a3 y0 y4 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 a3 y1 y2 y3 y8 y9 y10 y11 y16 y17 y18 y19 y24 y25 y26 y27 y5 y6 y7 y12 y13 y14 y15 y20 y21 y22 y23 y28 y29 y30 y31 Iar a3 este valoarea majoritara a sistemului.

se elimina influenta vectorilor : y -(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5) 54 . a5 y0 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 a5 y1 y2 y3 y4 y5 y6 y7 y8 y9 y10 y11 y12 y11 y14 y15 Iar a5 este valoarea majoritara a sistemului.a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 a4 y0 y1 y2 y3 y4 y5 y6 y7 y16 y17 y18 y19 y20 y21 y22 y23 y8 y9 y10 y11 y12 y13 y14 y15 y24 y25 y26 y27 y28 y29 y30 y31 y16 y17 y18 y19 y20 y21 y22 y23 y24 y25 y26 y27 y28 y29 y30 y31 Iar a4 este valoarea majoritara a sistemului. Dupa ce au fost evaluate componentele de la a1 la a5.

m. t .Pentru a evalua pe a0. mt. i= polinomul minimal al lui multiplu comun (c.c) al polinoamelor i anume: g(x)= (c. polinomul g(x) va fi de grad cel mult egal cu mt mt : n-k mt. . corector de t Lungimea blocului n= . Atunci polinomul generator este de forma . 55 . Prin urmare.m. -k . impar. GF( ). observam numarul majoritar de componente din y celor mai multe componente va fi valoarea lui a0.m.D i conjugatele acestora.m.c){ i au acela i polinom . (3. cu m -k Distan a d se nume .m. va fi cel mult egal cu n-k mt. . }. Mesajul corectat este : m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21) Codul BHC Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clas de coduri ciclice cu o deosebit capacitate de corec ie a erorilor. Atunci = i poate fi exprimat sub forma i=k* este conjugatul elementului .m. minimal i deci g(x)= (c.c){ .m.k .m. }. Un cod ciclic binar.12) m . Prin urmare g( Fie )=0.m. care generalizeaz codurile Hamming pentru corec ia erorilor multiple.

3 (3. =1+ Deoarece =1+ Conform tabelului 3.13) (3.16) 56 .Codul BCH de lungime . Aceste coduri sunt generate de elemente p din GF( ).15) Deci = 1+x+ (3. ) generate de g(x)=1+x+ Polinoamele minimale ale elementelor din GF( Exemplu. Un cod BCH de lungime polinomul g(x)= . cu m (sau primitive).14) (3.

Random-I nteger Generator: genereaz numere ntregi distribuite n intervalul [0. Parametrul blocului este: .m. Parametrii blocului 57 .7) numerele generate sunt reprezentate n binar pe 7 bi i.nitial seed este [1458].18) =0.BCH Encoder: creaz un cod BCH din datele vectorului binar. Genereaz c te un num la fiecare secun . M-1]. Modific nd acest parametru se modifica secven a de numere generate.Deoarece din 2tlungime }= n= = (x)=1+ 15 este generat de . . .m.I nteger to Bit Converter: transform un vector de ntregi ntr-un vector de bi i.Sample time este 1. Parametrii blocului sunt: -ary number este 2^7 deoarece codul BCH utilizat este BCH(15. Se lucreaz pe 7 bi i. g(x)= (c.umber of bits per integer este 7. . v codului.c){ i de . Fie v(x) un polinom de cod cu coeficien v(x)= din GF( ). atunci + Se introduce matricea (3.m.17) (3. . n spa iul nul al matricei H i deci H este matrice de control a Aplica ii Simularea cu ajutorul programului M ATLAB a codului BCH Codurile BCH fac parte din categoria codurilor ciclice Se vor utiliza urm toarele blocuri: .

Se va realiza schema bloc arat se va rula pentru diferite valori ale probabilitatii de eroare si se vor analiza rezultatele. Parametrul blocului este: . Parametrii blocului sunt: . .Sample time este 1 pentru a se genera un e antion la fiecare sec .Graph Scope: afi eaz num rul de erori.Initial see este 12345. 58 .7).Codeword length N este 15 .Error probability este 0.Bit to I nteger Converter: transform un vector de bi i ntr-un vector de ntregi. .y-mi este -1. . .M ux: multiplexeaz semnalele de la intrare. . Parametrii blocului sunt: .1. umber of digits on display este 20 deoarece afi eaz 20 de simboluri.7).Error M eter: compar semnalele de la intrare.Codeword length N este 15. .Binary Symmetric Channel: introduce erori binare.Display: afi eaz valoarea de la intrare. . Parametrii blocului sunt: .List of signs este +. . .Icon shape este rectangular. . Parametrii blocului sunt: . .Bit per symbol este 7 deoarece utilizeaz 7 bi i pentru fiecare simbol transmis.Time range este 10. .elay between input (1st port) and output (2nd port) este 0.Sample time este 1 deoarece se consider un e antion la fiecare secund . . .Line type este 'ro/b*' .sunt: . Parametrii blocului sunt: .BCH Decoder: decodeaz un cod BCH pentru a reface vectorul binar transmis. .umber of bits per integer este 7.Input vector length este 15 deoarece cuv ntul de cod cu care se adun este reprezentat pe 15 bi i. .Message length K este 7 deoarece se utilizeaz codul BCH(15. le afi eaz i evalueaz rata de eroare. .Sum: afi eaz suma elementelor de la intrare.Message length K este 7 deoarece se utilizeaz codul BCH(15.y-ma este 5. pentru a nu introduce erori.

Simularea cu ajutorul programului M ATLAB a codului Hamming care - 59 .

i ul simbolurilor de control: La aceste simboluri de control. f.simbolurile de control b).eroare i detector de erori duble. al celor de control m.33) se ob ine pentru matricea expresia: 60 . care permit corec simbolul de verificare la paritate. v 1 1 0 0 1 1 0 Solu ie ie k ie k. ii. a =m+1=3+1=4 Unde pebtru codul corector de o eroare. i c2 . Matricea H a codului corector de o eroare este de forma: H=[ respectiv: H= ] Cu rela ia (2. c2 i c1 . b. iar . c. e. Se cere: a. d. cod n.

= Cu rela Din expresi 2-a (z= ). ie cu rela ia 61 . pe pozi ia a : = ).

TESTE DE AUTOEVALUAR Testul nr.Cuvintele Simboluri Cuvinte 0 1 1 0 1 0 0 1 0 0 1 1 1 1 0 0 0 1 0 1 1 0 1 0 0 0 0 0 1 1 1 1 0 1 1 0 0 1 1 0 0 0 1 1 0 0 1 1 0 1 0 1 0 1 0 1 astfel: = = Deoarece de constatat i prin inspectarea tabelului anterior . Codul este perfect? a. b. 1 ontrol de forma: 1 0 0 1 1 H 0 1 0 0 1 0 0 1 1 0 ile de corec ie ale codului. 62 .

P. - 63 .2006. Chichester.G.G 1 0 1 1 0 1 1 0 0 1 c. [4] J. ESSENTIALS OF ERROR-CONTROL CODING.C. Moreira. 1983. England. West Sussex PO19 8SQ. BIBLIOGRAFIE RECOMAN cure ti. ti. 1972. d matricele H i G. Farrell. The Atrium. Transmisiunii Informa iei 1983 ti. John Wiley & Sons Ltd. Southern Gate.

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->