Transmit Ere A Si Codificarea Informatiei

UNIVERSITATEA TITU MAIORESCU
)DFXOWDWHDGH,1)250$7,&Ă
Profesor univ. dr. ing. Lector univ. dr.ing.
5Ă&8&,8&,35,$1 GRECU DAN
&XUVSHQWUXvQYăĠăPkQWXOODGLVWDQĠă
%8&85(ù7,± 2010
1
UNIVERSITATE$7LWX0$,25(6&8%8&85(ù7,
)DFXOWDWHDGH,QIRUPDWLFă
ÌQYăĠăPkQWOD'LVWDQĠă
TEORI A TRANSM I TERI I ù,&2',),&Ă5,,

,1)250$ğ,(,
&XUVXO³Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL´HVWHRGLVFLSOLQăFDUH
vQJREOHD]ă vQWU-R IRUPă XQLWDUă FRQFHSWH GLQ WHRULa codurilor, teoria semnalelor
aleatoare úi teoria deciziilor statistice úLUHSUH]LQWăXQDGLQGLVFLSOLQHOHGHSUHJăWLUH
FDUHSHQWUXSURILOXO,1)250$7,&ĂHVWHQHFHVDUăSHQWUXSUHJăWLUHDVWXGHQĠLORUúL
SHQWUX REĠLQHUHD FUHGLWHORU WUDQVIHUDELOH SULQ SURFHGurile de evaluare. Modul de
SUH]HQWDUH D DFHVWXL PDWHULDO DUH vQ YHGHUH SDUWLFXODULWăĠLOH vQYăĠăPkQWXOXL OD
GLVWDQĠăODFDUHVWXGLXOLQGLYLGXDOHVWHGHWHUPLQDQW3HQWUXRULFHQHOăPXULULIDĠăGH
DFHVW PDWHULDO Yă UXJăP Vă FRQWDFWDĠL WXWRUHOH GH GLVFLSOLQă FDUH DUH GDWRULD Vă Yă
ajute oferindu-YăWRDWHH[SOLFDĠLLOHQHFHVDUH
Disciplina ³Teoria transmiterii úLFRGLILFăULLLQIRUPDĠLHL´vúLSURSXQHXUPăWRDUHOH
obiective specifice:
ÌQVXúLUHD QRĠLXQLORU IXQGDPHQWDOH GLQ GRPHQLXO Teoriei transmiterii úL
codificăULLLQIRUPDĠLHL.
)RUPDUHD GHSULQGHULORU GH PRGHODUH PDWHPDWLFă úL GH WUDQVSXQHUH vQ
SURJUDPDUH D XQRU SUREOHPH GH QDWXUă WHKQLFă VRFLDOă VDX HFRQRPLFă FX
XWLOL]DUHDFXQRúWLQĠHORUvQVXúLWH
)RUPDUHD úL GH]YROWDUHD ED]HL PDWHPDWLFH D VWXGHQĠLORU SHQWUX disciplinele
IXQGDPHQWDOHúLGHVSHFLDOLWDWHGLQDQLLVXSHULRUL;
)RUPDUHD úL GH]YROWDUHD DSWLWXGLQLORU úL GHSULQGHULORU GH DQDOL]ă ORJLFă
IRUPXODUH FRUHFWă úL DUJXPHQWDUH IXQGDPHQWDWă vQ UH]ROYDUHD SUREOHPHORU
tehnico-HFRQRPLFHúLGHVSHFLDOLWDWH
O compDUDĠLH FULWLFă D PHWRGHORU GH UH]ROYDUH HYLGHQĠLLQG HYHQWXDO FDOHD
RSWLPăGHVROXĠLRQDUH
9ăSUHFL]ăPGHDVHPHQHDFăGLQSXQFWGHYHGHUHDO YHULILFăULORUúLDO QRWăULLFX
DGHYăUDW LPSRUWDQWăHVWHFDSDFLWDWHDSHFDUHWUHEXLHVăRGREkQGLĠLúLVăRSUREDĠL
GH D UH]ROYD WRDWă WLSRORJLD GH SUREOHPH DSOLFDWLYH DIHUHQWH PDWHULDOXOXL WHRUHWLF
SUH]HQWDW vQ FRQWLQXDUH 'H DFHHD Yă UHFRPDQGăP Vă SDUFXUJHĠL FX DWHQĠLH WRDWH
DSOLFDĠLLOHUH]ROYDWHVăUH]ROYDĠLDSOLFDĠLLOHSURSXVHSULQWHVWHOHGHDXWRHYDOXDUHúL
temHOH GH FRQWURO ILĠL FRQYLQúL Fă H[DPHQXO ILQDO DSHOHD]ă OD WLSXULOH GH DSOLFDĠLL
SUH]HQWHvQVHFĠLXQLOHPHQĠLRQDWHDQWHULRU
2
CUPRINS
MODULUL 1- 0Ă685$&$17,7$7,9Ă$,1)250$ğ,(,pag.4
MODULUL 1- CAPITOLUL 1- ELEMENTE DE 7(25,$75$160,7(5,,,1)250$ğ,(,
..................................................................................................................................pag.5
1.1. Informatia ± JHQHUDOLWăĠL..............................................................pag.5
1.2. Sistemul de transmitere a informatiei. .......................................pag.6
1.3. 1.3. Modele de surse informationale. .........................................pag.7
1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8
MODULUL 1- CAPITOLUL 2 - 0Ă685,,1)250$ğ,21$/(SDJ
2.1. Modele de surse informationale.....................................................pag.9

2.2. Informatia proprie conditionata...................................................pag.10
TESTE DE AUTOEVALUAR(ù,7(0('(&21752/.......................pag.21
BIBLIOGRAFIE RECOMAN'$7Ă/$02'8/8/....................... pag.21
MODULUL 2 - CODAREA SURSELOR ,1)250$ğ,21$/( .................... .........pag.22

MODULUL 2- CAPITOLUL 1- &2'$5($6856(/25,1)250$ğ,21$/( .....pag.23
1.1 Codificarea surselor discrete.......................................................pag.23
1.2 Codificarea neuniforma................................................................ pag.23
1.3. Codarea si decodarea pe canale fara perturbatii«««««... pag.25
&RGXUL+XIIPDQGHGLVSHUVLHPLQLPăSDJ
1.5 3URFHGHXOGHFRGDUHELQDUă6KDQQRQ± Fano. .........................pag.34
TESTE DE AUTOEVALUAR(ù,7(0('(&21752/................ pag.39
BIBLIOGRAFIE RECOMAN'$7Ă/$02'8/8/..................pag.40
MODULUL 3- &2'85,'(7(&72$5(ù,&25(&72$5('((525,................pag.41
MODULUL 3 - CAPITOLUL 1 - CODUR, '(7(&72$5( ù, &25(&72$5( '(
ERORI.....................................................................................................................pag.42
1.1. Codarea si decodarea pe canale perturbate ..............................pag.42
&RGXULEORFOLQLDUH«««««««««««««««««««..pag.44
1.3. Exemple de coduri liniare ...........................................................pag.46
TESTE DE AUTOEVALUAR(ù,7(0('(&21752/.................pag.62
BIBLIOGRAFIE RECOMAN'$7Ă/$02'8/8/ ...................pag.63
3
&RRUGRQDWRUGLVFLSOLQă3URIXQLYGULQJ5Ă&8&,8&,35,$1
Tutori: Lector univ. dr.ing. GRECU DAN
MODULUL 1
0Ă685$&$17,7$7,9Ă$INFORMAğIEI
ÌQ DFHVW PRGXO VXQW SUH]HQWDWH SULQFLSDOHOH QRĠLXQL FX FDUH RSHUHD]ă WHRULD
informaĠiei. Notiunea de informatie a aparut mult mai tarziu decat notiunea de
energie, iar legile dupa care informatia apare, se transforma, se pastreaza, se
prelucreaza si se foloseste sunt inca insuficient studiate; abia in zilele noastre se
stabilesc bazele intelegerii lor, se elucideaza metodele de studiu si investigare.
Stabilirea notiunii generalizate de informatie pentru caracterizarea
proceselor de conducere dintr-un punct de vedere unitar,a fost un moment
important in stiinta. Intocmai cum introducerea notiunii de energie a permis sa se
analizeze toate fenomenele naturii dintr-un punct de vedere unic, independent de
substratul lor fizic, tot asa,introducerea notiunii de informafie a permis studierea
dintr-un punct de vedere comun a celor mai diferite procese de comanda din
natura.
Se numeste informatie orice stire care poarta in sine urma unui fapt,
eveniment sau proces oarecare.
Informatia este comunicarea (mesajul) ce aduce stiri despre fapte,
evenimente, obiecte, procese.In intelesul mai larg, in nofiunea de informatie se pot
cuprinde toate stirile despre mediul care ne inconjoara sau, mai bine zis, care se
obtin, in interactiunea omului cu mediul inconjurator. A obtine o informatie
inseamna a afla lucruri ce nu se cunosteau mai inainte sau a obtine noi cunostinte
asupra unui lucru, fapt etc., despre care s-a stiut mai putin inainte
7LPSXOPHGLXQHFHVDUvQVXúLULLQRĠLXQLORUWHRUHWLFHIRUPăULLGHSULQGHULORUGH
FDOFXO úL XWLOL]ăULL PHWRGHORU GH UH]ROYDUH D SUREOHPelor specifice teoriei
LQIRUPDĠLHL este estimat la aproximativ 6-8 ore pentru fiecare modul vQWU-un ritm
de 2-3 ore pe zi.
4
MODULUL 1
CAPITOLUL 1
ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI

1.5. I nformatia ± JHQHUDOLWăĠi.
ÌQ SURFHVHOH GH FRPDQGD SURFHsele energetice care insotesc transmiterea informatiei
joaca un rol secundar. Cantitatea de informatie si cu atat mai mult efectul ei,nu sunt determinate
de cantitatea de energie folosita pentru transmiterea infornafiei. Esenta proceselor de conducere,
care se desfasoara pe baza schimbului de informatie, consta tocmai in aceea ca miscarea si
actiunea unor mase materiale mari sau transmiterea si transformarea unor cantitati mari de
energie se dirijeaza si se controleaza cu ajutorul unor mase materiale mici si al unor cantitati
reduse de energie.
ÌQ WHRULD LQIRUPDWLHL FDUDFWHULVWLFD HQHUJHWLFD D IHQRPHQHORU WUHFH SH SODQ VHFXQGDU
evidentiindu-se in mod deosebit latura informafionala a sistemului.
Asadar, notiunea de informatie este foarte larga si se poate prezenta sub cele mai variate
forme: aceasta constituie o proprietate de seama a informatiei. Prin mijloacele de
telecomunicatii -telefon,telegraf, radio - se transmit informantii. Prin intermediul vazului,
auzului, precum si al celorlalte simturi, omul primeste zilnic tot felul de informafii despre
evenimentele din lumea ce il inconjoara.
Comunicari complexe, ordine si dispozitiuni se transmit cu ajutorul telefonului,
telegrafului si radioului. Comunicari si mai complexe sunt cele transmise prin intermediul
televiziunii, unde imaginile in miscare sunt insotite de semnale audio.La toate aceste sisteme,
transmiterea informatiei este insotita de un fenomen nedorit,de adaugare la informatia transmisa
a unor semnale perturbatoare ce nu au fost produse de sursele initiale de informantii; in telefonie
se distorsioneaza semnalul de vorbire, in televiziune se deformeaza imaginea, in telegrafie apar
greseli de imprimare.
Aceste exemple evidentiaza o alta proprietate de baza a informatiei: in nici un sistem fizic
informatia nu apare intr-o forma curata ci este insotita de diferite perturbatii care pot duce la
greseli. De aceea,una din problemele principale ale teoriei informatiei consta in stabilirea
metodelor optime pentru extragerea informatiei din semnalele care sunt insotite de perturbatii.
Notiunea de informatie a cucerit un loc sigur in stiinta numai atunci cand s-a gasit o masura
adecvata pentru caracterizarea ei. O alta proprietate de seama a informatiei este aceea de a putea
fi masurata. Nu este suficient insa sa se gaseasca o modalitate de masurare a informafiei: trebuie
sa existe posibilitatea folosirii acestei masuri, adica sa existe siguranta ca se pastreaza obiectul
masuratorii. Tot asa, informatia care ia nastere in cadrul unui sistem bine definit si se pastreaza
in limitele sistemului respectiv, poate fi masurata, indiferent de natura sistemului.
Problema principala a teoriei informatiei este studierea transformarii, pastrarii si
transmiterii informatiei. Analiza acestui fenomen a fost facuta pentru prima data de inginerii de
telecomunicatii, care s-au ocupat cu organizarea canalelor destinate transmiterii informatiei.
ÌQUHDOLWDWHLQIRUPDWLDVHWUDQVPLWHSULQLQWHUPHGLXOVHPQDOHORUFDUHSRDUWDVWLUHD7LSXUL
de informatie :informatii numerice, informatii logice, de tip text, informatii multimedia:audio,
imagine, video, semnale .
5
1.2. Sistemul de transmitere a informatiei.
Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite

informatia numai in cadrul unui sistem de transmisiuni; schema bloc destul de generala a unui
sistem de transmisiuni este data in fig.1.1
Fig.1.1
Coderul din fig.1.1 executa orice prelucrare a semnalului generat de sursa. O asemenea
prelucrare poate include, de exemplu, o anumita combinatie de modulatie, comprimare de date
sau introducerea unei redundante pentru lupta cu perturbatiile.
Canalul este mediul fizic utilizat pentru transmiterea semanalului:de exemplu linia
telefonica, linia radio sau radioreleu, dispozitivul de memorie sau organismul uman. Asupra
canalului, de regula, actioneaza diferite perturbatii care in liniile de telefonie pot apare din cauza
modificarilor caracteristicii de frecventa, a convorbirilor ce se induc din alte linii, a zgomotului
termic, a impulsurilor parazite, sursa carora pot fi schemele de comutare, a bruiajului intentionat
al adversarului etc.
Decoderul executa prelucrarea semnalului de la iesirea canalului in scopul de a reproduce
la partea de receptie o copie acceptabila iesirii sursei.
Destinatarul poate fi omul sau un dispozitiv tehnic oarecare. Pentru a simplifica analiza
modelelor de surse si canale este de dorit a separa efectele legate de sursa de efectele legate de
canal.
Sarcina coderului sursei este de a reprezenta iesirea sursei cu ajutorul succesiunilor de
semnale binare, si una din problemele importante ce apar, consta in a stabili cate simboluri
binare,in unitatea de timp sunt necesare pentru reprezentarea semnalului de la iesirea unei surse
date.
Sarcina coderului si decoderului canalului consta in a reproduce cat mai sigur
succesiunile binare ale datelor obtinute la iesirea decoderului canalului si una din problemele
inportante ce apare este, daca acest lucru este posibil sa se faca,si cum sa se faca.
Coderul sursei transforma mesajul de la iesirea sursei intr-o succesiune de semnale binare
sau care apartin unui alfabet finit, din care decoderul sursei restabileste mesajul initial cu o
precizie adoptata de catre destinatar. Astfel, independent de proprietatile sursei sau
destinatarului, la intrarea coderului canalului si la iesirea decoderului canalului,se formeaza o
succesiune de simboluri binare sau de simboluri care apartin unui alfabet finit. Reprezentarea
informatiei de transmis sub forma unei succesiuni binare intermediare da posibilitatea sa se
calculeze si sa se construiasca dispozitive de codificare si decodificare de canal, independent de
dispozitivele corespunzatoare care se refera la sursa. Sarcina sistemului de transmisiuni, este de a
transmite mesajul de la sursa la destinatar, adica de a reproduce mesajul de la iesirea sursei la
ORFXOLQGLFDWGHGHVWLQDWDU&DQGVSXQHP³UHSURGXFHQXLQWHOHJHPRUHSURGXFHUHDEVROXWILGHOD
6
ci o reproducere care corespunde anumitor scopuri specifice.Criteriul acceptabilitatii depinde de
scopul transmisiuni. ÌQGHVFULHUHD³RELHFWXOXLWUDQVPLVSULQVLVWHPXOGHWUDQVPLVLHWUHEXLHLQFOXV
si criteriul acceptabilitatii. Astfel, obiectul ce se transmite nu determina numai proprietatile
sursei, ci caracterizeaza proprietatile cupOXOXO ³VXUVD-destinatar". Vom numi acest obiect
³LQIRUPDWLDWUDQVPLVD
1.3. M odele de surse informationale.
Ideea fractionarii mesajelor posibile la iesirea sursei intr-o multine discreta de clase are o
importanta fundamentala, intrucat conduce la enumerarea reprezentantilor claselor din intervalul
de timp dat. Multimea claselor se numeste multimea de mesaje posibile din intervalul de timp
dat, admisibile pe timpul transmisiei.Sarcina sistemului de transmisiuni consta in reproducerea
mesajului de la iesirea sursei cu o precizie adoptata de catre destinatar. Existenta criteriului de
precizie permite sa se grupeze toate mesajele posibile, in orice interval de timp, de la iesirea
sursei in clase disjuncte. Sistemul de transmisiuni indica destinatarului clasa din care face parte
mesajul respectiv.
Toate sursele in teoria informatiei se modeleaza cu ajutorul proceselor sau succesiunilor
aleatorii. Cea mai simpla clasa de modele de surse este clasa surselor discrete fara memorie. La
aceste surse iesirea este o succesiune (in timp) de litere, fiecare din ele alese dintr-un alfabet dat,
a1, a2, ..., ak. Succesiunea la iesirea sursei este formata din aceste litere alese din alfabet statistic
independent si intamplator, alegere ce are la baza o repartitie oarecare de probabilitati P(a1), ...,
p(ak). ÌQFD]XOXQHLFRGLILFDULGHDFHVWWLSFRPELQDWLLOHGHFRGYRUDYHDDFHHDVLOXQJLPHSHQWUX
ca sa fie posibila decodificarea lor.
Remarcam faptul ca scrierea numerelor, in cazul transmiterii mesajelor admisinile, intr-o
forma binara nu are o importanta principala. Ele pot fi scrise in orice sistem de
numeratie.Prezinta importanta posibilitatea insasi de transformare a mesajului admisibil intr-o
succesiune de simboluri care fac parte dintr-un alfabet finit.Rationamentul prezentat permite sa
se presupuna ca numarul de mesaje admisibile sau numarul de simboluri binare, necesare pentru
reprezentarea fiecarui mesaj din multimea mesajelor posibile , poate fi luata ca o masura a
cantitatii de informatie transmisa de sursa intr-un interval de timp. Dar, dupa cum vom vedea,
aceasta presupunere este justa numai intr-un anumit caz. Numarul M de mesaje admise nu
descrie complet multimea mesajelor si este necesar sa se ia in consideratie si probabilitatile cu
care sunt generate aceste mesaje admisibile.
Prima teorema a lui C. Shannon - teorema fundamentala a codificarii in lipsa zgomotelor
da tocmai o limita inferioara si una superioara pentru lungimea medie a combinatiilor de cod.
Probabilitatile p(ai) depind de caracteristicile statistice ale sursei si de procedeul de grupare a
mesajelor posibile in clase de echivalenta. In afara de aceasta, numarul mediu de sinboluri
binare,generate intr-o secunda, depinde de intervalul de timp T cu care s-a lucrat la gruparea
mesajelor in clase de echivalenta. Pentru a mari eficacitatea sistemulul de transmisiuni se cauta
sa se minimizeze numarul mediu de simboluri binare generate intr-o secunda de coderul sursei.
Unul din rezultatele principale ale teoriei transmisiunii informatiei este: in cazul unor
conditii destul de generale poate fi indicat numarul R, care, pentru fiecare cuplu sursa-
destinatar, exprima viteza de generare a informatiei pentru un criteriu de precizie adoptat.
Aceasta viteza se determina ca cel mai mic numar mediu de simboluri binare intr-o secunda,
care trebuie sa se transmita pentru ca mesajul sa poata fi reprodus in conformitate cu criteriul de
precizie adoptat.
7
1.4. M odelul probabilistic al semnalelor.
Avand in vedere ca pentru orice fenomen din natura sau din societate aprecierile
cantitative constituie o conditie de baza a analizei stiintifice s-a cautat o modalitate pentu
calculul cantitatii de informatie si s-a stabilit o unitate de masura pentru informatia continuta
intr-un semnal purtator de informatie. La calculul cantitatii de informatie si la stabilirea unitatii
de masura a informatiei se pleaca de la o descriere probabilistica a semnalelor si se considera
semnalele ca evenimente aleatoare. Semnalele discrete care intervin in diferite sisteme
informationale, destinate transmiterii si prelucrarii datelor, permit o tratare corespunzatoare
probabilistica, iar semnalele continue, de asemenea, permit o descriere probabilistica dupa
discretizare - ceea ce se face cu ocazia observarii cu o precizie data. Astfel, puten conchide
universalitatea cantitatii de informatie obtinuta pe baza unui model probabilistic.
Unitatea de masura a informatiei se refera numai la partea cantitativa a informatiei si
intotdeauna se face abstractie de continutul semantic al mesajului. Cauza acestei tratari
unilaterale rezida in faptul ca aparatul matematic existent deocamdata,nu ne permite efectuarea
unui studiu calitativ al informatiei. Construirea unui model probabilistic pentru semnalele
discrete - utilizate in cadrul unui sistem informational dat - presupune cunoasterea
probabilitatilor cu care apar aceste semnale in urma unui experiment. Aparitia unui semnal in
cadrul unui experiment se considera ca un eveniment.
ÌQFD]XOVHPQDOHORU discrete, totdeauna se poate realiza o corespondenta biunivoca intre
semnalele posibile si intre o multime de numere naturale X - facand ca fiecarui semnal sa
corespunda un numar natural x X- si astfel multimea semnalelor discrete se poate inlocui cu o
multime de numere naturale X. In continuare, prin x se intelege fie un semnal oarecare, fie
numarul natural care corespunde semnalului respectiv.
Modelul probabilistic al semnalelor X este dat prin urmatoarea repartitie a variabilei
aleatoare:
§ x1 x2 ... xM ·
X ¨
¨ P x ¸ (1,1)
© X 1 PX x2 ... PX xM ¸
¹
P x
Prin notatia X k se intelege probabilitatea de aparitie a evenimentului x=xk, adica
probabilitatea de aparitie a semnalului care corespunde lui xk si care face parte din multimea X
considerata. Evident:
¦ P x
K 1
X K 1 (1.2)
Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu

Px(x) in care, prin indicele X se accentueaza ca rezultatul experimentului este un semnal din
multimea semnalelor posibile X. In cazul cand nu exista ambiguitati in privinta apartenentei lui
x se poate suprima indicele X. Experimentele cu mai multe rezultate simultane vor fi
caracterizate prin elementele unui produs de multimi si prin probabilitatile de aparitie a acestor
elemente.
8
MODULUL 1
CAPITOLUL 2
0Ă685,,1)250$ğ,21$/(
2.1. M odele de surse informationale
Informatia proprie, ca si informatia reciproca se poate considera ca o variabila aleatoare
si se calculeaza valoarea sa medie. Valoarea medie a informatiei proprii pentru evenimente din
multinea X se numeste entropia lui X si se calculeaza cu formula:
K
1
H X ¦ P x log P x
X K
K 1 X K (1,3)
sau mai simplu se scrie sub forma:
1
H X ¦ Pxlog Px
K 1 (1.4)
Variatia entropiei unui sistem de evenimente format din doua evenimente in functie de
repartitia de probabilitati este data in fig 1.2:
Fig.1.2 Entropia semnalului
Fie
9
§ x1 x2 ·
X ¨¨ ¸¸
© p 1 p¹ (1.5)
atunci:
1 1
H X p log 1 p log H p
p 1 p (1.6)
2.2. I nformatia proprie conditionata.
Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a

aparut evenimentul Y=Yi se defineste pe produsul cartezian XY si se calculeaza cu formula:
§x · 1
I X ¨¨ k ¸¸ log
y
Y © i ¹ §x ·
Px ¨¨ k ¸¸
y© i
y ¹ (1.7)
sau mai simplu se scrie:
§ x· 1
I x ¨¨ ¸¸ log
© y¹ · §x
¸¸ P¨¨ k
¹ © yi (1.8)
Aceasta cantitate de informatie proprie a evenimentului X=Xk, conditionata de
evenimentul y=yi se poate interpreta ca informatia necesara pentru specificarea evenimentului
x=xk . dtupa ce a avut loc evenimentul y =yi.
Cu ajutorul relatiilor anterioare se poate exprima cantitatea de informatie reciproca ca o
diferenta intre informatia proprie si informatia proprie conditionata.
§ x·
P¨¨ ¸¸
1 1
log © ¹
y
I x; y log log
Px Px § x·
P¨¨ ¸¸
© y¹ (1.9)
de unde
§ x·
I x; y
I x I ¨¨ ¸¸
© y¹ (1.10)
Din relatia anterioara se obtine pe baza reciprocitatii relatia:
§ y·
I x; y I y I ¨ ¸
© x¹ (1.11)
10
In mod analog I(x;y) se poate scrie sub forma:
§ x· § x·
P¨¨ ¸¸ P yP¨¨ ¸¸
I x; y log © ¹ log
y © y ¹ log Px, y log
1
log
1
log
1
Px P yPx P yPx Px P y Px, y (1.12)
deci:
I x; y I x I y I x, y (1.13)
unde :
1
I x, y log
Px, y (1.14)
reprezinta cantitatea de informatie proprie a unui eveniment (x;y) din produsul cartezian de
evenimente xy.
Tinand seama ca:
§ y· § x·
Px, y PxP¨ ¸ P yP¨¨ ¸¸
© x¹ © y¹ (1.15)
rezulta ca, cantitatea de informatie proprie a unui eveniment (x,y) se poate scrie sub forma:
§ y·
I x, y I x I ¨ ¸
© x¹
§ x·
I x, yI y I ¨¨ ¸¸
© y¹ (1.16)
Luand mediile expresiilor din relatiile anterioare se obtine:
§ x·
I x; y H x H ¨¨ ¸¸
© y¹
§ y·
I x; y H y H ¨ ¸
© x¹
I x; y H x H y H x, y
§ y·
H x, y H x H ¨ ¸
© x¹
§ x·
H x, y H y H ¨¨ ¸¸
© y¹ (1.17)
Prima relatie din sistemul de mai sus permite interpretarea lui I(X;Y). Deoarece H(X)
este nedeterminarea lui X,iar H(X/Y) este nedeterminarea lui X dupa receptionarea lui Y, rezulta
ca diferenta H(X) - H(X/Y) arata cu cat s-a micsorat nedeterminarea lui X prin observarea lui y,
adica ce cantitate de informatie se transmite despre X prin observarea lui Y. Iata motivul pentru
care cantitatea de informatie medie I(X;Y) este numita si informatia transmisa sau pe scurt
transinformatia.
11
Din formula entropiei, data de catre C. Shannon in anul 1948 in lucrarea sa, rezulta ca
entropia 8; D PXOWLPLL ; GHSLQGH QXPDL GH SUREDELOLWDWLOH GH DSDULWLH D HOHPHQWHORU [¼;
Evident daca multimile X si Y au aceeasi repartitie de probabilitati atunci H(X)=H(y),insa
invers,din egalitatea entropiilor nu rezulta identitatea repartitiilor.
Proprietatea 1. H(X)>0
In adevar,suma H(X) contine termeni de forma P(x)log(1/P(x)),care sunt mai mari sau
egali cu zero pentru 0<P(x)<1. Daca P(xk)=1, repartitia lui X este degenerata si este de forma:
§ x1 ... xk ... xK ·
X ¨¨ ¸
© 0 ... 1 ... 0 ¸¹ (1.18)
si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.

Inainte de a trata celelalte prorprietati ale entropiei se da o inegalitate importanta care a
fost pusa in evidenta de Jensen.
Fie x,y,Psi Q numere positive si P+Q=1,atunci avem:
logPx Qy t P log x Q log y (1.19)
in care avem egalitate daca si numai daca x=y.

Aceasta inegalitate scoate in evidenta proprietatea de convexitate a functiei logaritmice,o
proprietate care de asemenea joaca un rol important in teoria informatiei.
Fig.1.3.
Proprietatea 2.
Fie X multimea formata din K semnale ,atunci:
H x d log K (1.20)
unde avem egalitate,daca si numai daca repartitia lui X este uniforma adica:
12
§ x1 x2 ... xk ·
X ¨1 1 1 ¸¸
¨ ...
©k k k¹ (1.21)
Proprietetea 3.
Pentru doua multimi de semnale X si Y ,avem:
H x, y d H x H y (1.22)
in care avem egalitate daca si numai daca X si Y sunt statistic independente.
([HUFLĠLLUH]ROYate.
Conceptia Shannon pleaca de la premiza ca orice informatie cu privire la un eveniment
este utilizata in scopul reducerii gradului de incertitudine asupra realizarii acelui eveniment. Din
punctul de vedere al destinatarului, comunicatia este o variabila aleatoare, continutul
informational fiind cu atat mai mare cu cat el se asteapta mai putin la realizarea acelui
eveniment.
Fie o sursa discreta care emite unul dintre cele q mesaje m1 , m2 ,, mq cu probabilitatile
de aparitie p1 , p2 ,, pq . Este evident ca probabilitatile satisfac relatia p1 p2 pq 1.
Continutul informational al mesajului k este notat cu I (mk ) . Pentru ca acest continut sa fie o
masura adecvata a cantitatii de informatie este necesara satisfacerea urmatoarelor proprietati :
(i) daca pk p j I (mk ) ! I (mj )

(ii) daca pk o 1 I (mk ) o 0
(iii) daca 0 d pk d 1 I (mk ) t 0
(iv) (aditivitatea) daca mk si mj sunt mesaje independente
I (mk si mj ) I (mk ) I (mj )
O functie continua de variabila pk care satisface proprietatile (i)-(iv) este functia

logaritmica.
1
I (mk ) log log pk
pk
Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).
Pentru cazul simplu al unei transmiteri seriale asincrone
13
T2
E
M
se definesc
(a) rata de biti=(durata unui bit) -1 =1/T2 exprimata in biti/secunda (abreviat bps).
(b) rata de bauds=(durata minima intre doua modificari ale semnalului) =1/T1 exprimata
in bauds.
Problema 1
Se considera o trasmisie fax : 2,25106 pixeli cu 12 tonuri de gri, echiprobabile. Care este
cantitatea de informatie transmisa ?
Solutie
I=nr.elemente informatie per element=
ª 1º
2,25 106 « log 2 » 2,25 106 log 2 22 3 2,25 106 2 log 2 3 >biti@
¬ 12 ¼
Problema 2
Un display monocolor cu 24 linii
80 caractere/linie
128 puncte/caracter
3 tonuri de gri/punct
(a) Care este cantitatea de informatie pe pixel, caracter, ecran ?
(b) Care este debitul de informatie stiind ca frecventa cadrelor este de 24 cadre/secunda ?
Solutie
(a) I 24 80 128 log2 3 [biti ]

1
(b) W
fc
I
R I f c [bps]
W
Problema 3
Un echipament de teletransmisie genereaza cuvinte constituite dintr-un grup de 4
impulsuri de tensiune care pot avea nivelurile 0,1,2 sau 3 volti (echiprobabile) urmate de un
impuls de pauza de nivel -1 volt. Durata tuturor impusurilor este de 1 ms.
(a) Care este debitul de informatie ?
14
(b) Care este rata de bauds ?
Solutie
I 4 log2 4
(a) R 1,6 [kbps]
W 5 103
1
(b) rbauds 3
103 [baud] 1 [kbaud]
10
Problema 4
Fie 12 monede dintre care una este falsa (mai usoara sau mai grea decat celelalte). Se
cere sa se deterrmine numarul minim de cantariri necesar depistarii monedei false si precizarii
daca ea este mai usoara sau mai grea. Se foloseste pentru cantariri o balanta fara mase marcate.
Solutie
1
x cantitatea de informatie necesara determinarii monedei false este I 1 log 2 log 2 12
1
12
x cantitatea de informatie necesara pentru a decide daca moneda este mai grea sau mai usoara
1
este I 2 log 2 log 2 2
1
2
x cantitatea de informatie totala necesara a fi determinata I I1 I 2 log2 24
x cantitatea de informatie furnizata de o cantarire (exista 3 stari ale balantei)
1
I 3 log 2 log 2 3 numarul minim de cantariri I d kI 3 24 d 3k k 3 .
1
3
x sa se propuna un algoritm de depistare.
Problema 5
Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt

nivel 0: 1/2
nivel 1:1/4
nivel 2:1/8
nivel 3:1/8
Solutie
1 ª 1 1 1 1 1 1º
R rH log log 2 log »
3 «
5 10 ¬ 2 2 4 4 8 8¼
Se reaminteste ca entropia unei surse reprezinta numarul mediu de biti/simbol si ca
entropia este maxima pentru o sursa care genereaza simboluri echiprobabile Hmax log2 n .
Problema 6
15
Sa se determine capacitatea unui canal binar cu zona de anulare avand graful asociat
matricei de tranzitie din figura de mai jos
BE B
B D E
EquB D
E B
D BE
atio E
E
B
E ED
n.2 q
E Du
q D
BE B
D E E
at
u Dq Eq
E
at E
Equ io
Du
Solutie
ioq qu
atio n.
E
at
Acest model descrie un ucanal care perturba
n. u a simbolurile 2qunei surse binare in masura in
n.2
care la receptie sa poata fi interpretate ca fiind incerte.
at ti io
Metoda scalara 2 a
EM ua
io o n.
C max > H (Y) H Y X @
ti
2ti
p( xi ) n. on o
3 2 n. n.
H (Y) ¦ p( yi ) log p( yi ) 2
i 1
. 2
p( y1 ) p y1 x1 p( x1 ) p y1 x2 p( x2 ) p y1 x1 p( x1 ) (1 q) p( x1 )
2
EM
E
S-a utilizat formula probabilitatii totale, evenimentele x1, M x2 fiind mutual exclusive.
Analog se poate scrie
E
M E
p( y2 ) (1 q) p( x2 ) M
E
M
p( y3 ) p y3 x1 p( x1 ) p y3 x2 p( x2 ) q p( x1 ) p( x2 )E q 1 q
E M
H (Y)
M
>(1 q) p( x ) log(1 q) p( x ) q log q (1 q) p( x ) log(1 q) p( x )@
1 1 2 2
(1 q)> p( x1 ) log p( x1 ) p( x2 ) log p( x2 )@ (1 q) log(1 q) q log q

(1 q) H ( X ) (1 q) log(1 q) q log q
2 3
HY X
¦ ¦ p( xi , yj ) log p y j xi
i 1 j 1
Conform regulii de inlantuire
p( xi , yj )
p yj xi p( xi )
Din graf se deduce ca
p y1 x1 1 q p y1 x2 0
16
p y2 x1 0 p y2 x2 q
p y3 x1 q p y3 x2 1 q
Se obtine
HY X (1 q) log(1 q) q log q
C (1 q) max H ( X ) (1 q) 1 1 q
p( xi )
pentru setul optim de probabilitate la intrare p0 ( x1 ) p0 ( x2 ) 1.
Metoda matriciala
Se considera sursa care genereaza un alfabet de simboluri xi , i 1,, n si la destinatie

se receptioneaza un alfabet de simboluri y j , j 1, , m.
Se pot scrie urmatoarele relatii:
P(Y) P( X ) PY X
unde P( X ) este matricea linie a sursei (1u n) ;

P(Y) este matricea linie a destinatiei (1u m) ;
P Y X este matricea dreptunghiulara de zgomot (n u m) .
Observatie
In matricea de tranzitie (zgomot) liniile sunt asociate intrarilor iar coloanele sunt asociate
iesirilor.
Matricea campurilor reunite (joint) este
ª p( x1 ) 0 0 º
« 0 p( x2 ) 0 »
P( X , Y) « » P Y X
« »
« »
¬ 0 p( xn ) ¼
Matricea de zgomot P Y X se poate obtine prin impartirea fiecarei linii i prin p(xi ).
Matricea de echivocatie P X Y se poate obtine prin impartirea fiecarei coloane j prin p(yj) .
Problema 7
ª2 / 3 1 / 3 º
Fie matricea de tranzitie P Y X «1 / 3 2 / 3» si p(x1)=3/4 si p(x2)=1/4.
¬ ¼
Se cere sa se calculeze
(a) entropia campului de intrare
17
(b) entropia campului de iesire
(c) entropia campurilor reunite
(d) eroarea medie
(e) echivocatia
(f) transinformatia
(g) capacitatea canalului si setul optim la intrare
(h)eficienta si redundanta relativa a canalului
Solutie
2
§3 3 1 1· 3
(a) H( X ) ¦ p( xi ) log p( xi ) ¨ log log ¸ 2 log 3 # 0,81 bit / simbol
i 1
©4 4 4 4¹ 4
2
(b) H (Y) ¦ p( yj ) log p( yj )
j 1
ª2 / 3 1 / 3 º
P(Y) >3 / 4 1 / 4@« » >7 / 12 5 / 12@
¬1 / 3 2 / 3¼
§ 7 7 5 5·
H (Y) ¨ log log ¸ 0,98 bit / simbol
© 12 12 12 12 ¹

2 2
(c) H X Y ¦ ¦ p( xi , y j ) log p xi y j
i 1 j 1
ª3 / 4 0 º ª2 / 3 1 / 3 º ª 1 / 2 1 / 4º
P( X , Y) « 0 1 / 4» «1 / 3 2 / 3» «1 / 12 1 / 6»
¬ ¼¬ ¼ ¬ ¼
§1 1 1 1 1 1 1 1·
H ( X , Y) ¨ log log log log ¸ 1,73 bit / simbol
©2 2 4 4 12 12 6 6¹
2 2
(d) HY X
¦ ¦ p( xi , y j ) log p y j xi 0,92 bit / simbol
i 1 j 1
sau HY X H ( X , Y) H ( X )

2 2
(e) H X Y ¦ ¦ p( xi , y j ) log p xi y j
i 1 j 1
unde
18
ª 1 1º
«2 4 »
«7 5» ª6 3º
« » «7
« 12 12 » 5»
P X Y « »
« »
«1 2 »»
« 1 1» «
« 12 6» ¬7 5¼
«7 5»
« »
¬ 12 12 ¼
§1 6 1 3 1 1 1 2·
si H X Y ¨ log log log log ¸ 0,75 bit / simbol
©2 7 4 5 12 7 6 5¹
sau H X Y H ( X , Y) H (Y)
(f) I ( X , Y) H( X ) H(Y) H( X , Y) 0,06 bit / simbol
(g) canalul fiind dublu uniform
§ 1· § 1· 1 1
C log 2 ¨1 ¸ log¨1 ¸ (2 1) log 0,082 bit / simbol
© 3¹ © 3¹ 3 3
Setul optim p0 ( x1 ) , p0 ( x2 ) se obtine din
C >
max H (Y) H Y X
p0 ( xi )
@
2 1
p( y1 ) p0 ( x1 ) p0 ( x2 )
3 3
1 2
p( y2 ) p0 ( x1 ) p0 ( x2 )
3 3
2 2 2 2
HY X
¦ ¦ p( xi , y j ) log p y j xi
i 1 j 1

¦ ¦ p y j xi p0 ( xi ) log p y j xi
i 1 j 1

ª2 2 1 1º ª2 2 1 1º
« log log » p0 ( x1 ) p0 ( x2 ) « log log »
¬3 3 3 3¼ ¬3 3 3 3¼
ª2 2 1 1º
deci H Y X nu depinde de P( X ) C max H (Y) « log log »
p0 ( xi )
¬3 3 3 3¼
19
1
dar max H (Y) log 2 1 p( y1 ) p( y2 )
p0 ( xi ) 2

° p( y1 ) p y1 x1 p0 ( x1 ) p y1 x2 p0 ( x2 )
®
°̄ p( y2 )
p y2 x1 p0 ( x1 ) p y2 x 2 p0 ( x2 )
1
p0 ( x1 ) p0 ( x2 ) .
2
Observatie
Se mai poate utiliza si relatia p0 ( x1 ) p0 ( x2 ) 1
I ( X , Y)
(h) K(C) 0,73
C
R(C) C I ( X , Y) 0,022 bit / simbol
Problema 8
ª0,4 ? º
Fie un canal binar simetric avand matricea campurilor reunite P( X , Y) « ? 0,4» si
¬ ¼
pentru care sursa genereaza simboluri echiprobabile.
(a) Calculati matricea P( X , Y) .
(b) Calculati matricea de zgomot.
(c) Calculati transinformatia.
Solutie
(a) canalul fiind simetric p( x2 , y1 ) p( x1 , y2 ) si folosind proprietatea (iii) a evenimentelor

mutual exclusive se obtine p( x1 , y1 ) 2 p( x1 , y2 ) p( x2 , y2 ) 1 p( x1 , y2 ) 0,1 si
ª0,4 0,1º
P( X , Y) « ».
¬ 0,1 0,4¼
ª 0,4 0,1 º
«1 / 2 1/ 2» ª0,8 0,2º
(b) P Y X « »
«0,2 0,8»
« » ¬ ¼
« 0,1 0,4 »
«¬1 / 2 1 / 2 »¼
20
TESTE DE AUTOEVALUARE ù,7(0('(&21752/
Testul nr. 1
)LHXQDOIDEHWIRUPDWGLQOLWHUHOH$%&6HFHUHVăVHFDOFXOH]H
a. QXPăUXOPD[LPGHPHVDMHGHOXQJLPHFHVHSRWIRUPDFXDFHVWDOIDEHW
b. cantitatea de informaĠie conĠLQXWăGHXQDVHPHQHDPHVDM
Testul nr. 2
6ăVHFDOFuleze cantitatea de informaĠLLQHFHVDUăSHQWUXSUHFL]DUHDSR]LĠiei unei figuri pe
tabla de úah.
7HPăGHFRQWURO
0DWULFHD SUREDELOLWăĠilor reunite intrare-ieúLUH DVRFLDWă XQXL FDQDO GH WUDQVPLVLH HVWH GH
forma:
ª1 / 4 1 / 4º
PY X « »
¬1 / 4 1 / 4¼
6HFHUHVăVHFDOFuleze:
a. HQWURSLDFkPSXOXLGHODLQWUDUH
b. HQWURSLDFkPSXOXLGHODLHúire;
c. HQWURSLDFkPSXULORUUHXQLWH
d. eroarea medie úi echivocaĠia;
e. transinformaĠia úi capacitatea canalului.
BIBLIOGRAFIE RECOMAN'$7Ă/$02'8/8/
>@$6SăWDUX7HRULD7UDQVPLVLXQLi InformaĠLHL(G'LGDFWLFă úL3HGDJRJLFă%X- cureúti,

1983.
>@$70XUJDQ,6SkQX,*DYăW,6]WRMDQRY9(1HDJRH$9ODG7HRULD
Transmisiunii InformaĠiei - SUREOHPH(G'LGDFWLFăúL3HGDJRJLFă%XFXUHúti,
1983
[3] I. Angheloiu, 7HRULDFRGXULORU(G0LOLWDUă%XFXUHúti, 1972.
[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
21
MODULUL 2
CODAREA SURSELOR ,1)250$ğIONALE
Compresia datelor este un proces de re prin carH VH XUPăUeúWH

PLFúRUDUHD UedundaQĠei mesajului generaW GHRVXUVăSentru a reduce resursele
necesare memorăULL VDX WUDQVPLWHULL Dcestui mesaj. Deoarece, de reJXOă
pentru memorarea sau transmiterea unui mesaj se foloseúWH HYHQWXDO vQWU-o
IRUPăLQWermediaUăUeprezentarea prin simboluri binaUHDDFHVWXLDúLSHQWUXFă
cele mai multe metode de compresie folosesc metode de codare binar - binar,
SXWHP VSXQH Fă RELectivul compresiei cRQVWă vQ UHGXFerea număUXOXL de
simboluri binare necesar pentru reprezentarea mesajului.
'XSăcXPúLUXOVLPEROXULORUePLVHGHVXUVăHVWHvPSăUĠLWpentru codarevQ
VXEúLUXUL GH DFHHDúL OXQJLPH VDX GH OXQJLPH YDULDELOă úL GXSă OXQJLPea,
consWDQWăVau vaULDELOăDcuvintelor de cod, codurile de compresie se clasifLFăvQ
bloc- bloc, bloc ± variabil, variabil ± EORF úL Yariabil ± variabil, bloc ± bloc
LQGLFkQGDFHHDúLOXQJLPHSHQWUXVXEúLUXULOHVXUVHLúL cuvinte de cod de lungime
fi[ăLar variabil ± variabil corespun]kQGXQRUOXQJLPLYDULDELOHDOHVXEúLUXULORU
úLDOHcuvintelor de cod. Din punct de vedere aOPăVXULLvQcDUHPHVDMXOUHIăcut
prin decompresie se aseaPăQă FX FHO RULJLQDO DVXSUD FăUXLD V-a acĠLRQat prin
procesul de compresie, distingePGRXăFDWHJRULLGHalgoritmi de compresieIăUă
pierdeULúLFXSLHUGHUL
$OJRULWPLL GH FRPSUHVLH IăUă SLHUGHUL VXQW UHYersibili, prin decompresie
REĠLQkndu-se mesajul originaOvQtocmai. Algoritmii de compresie cu pierderi au
ca rezultat diferHQĠHUelativ micLvQtre mesajul rezultat prin decompreVLHúL cel
originaOúLVXQWXWLOL]aĠLvQcompreVLDLPDJLQLORUúLDPesajeORUYLGHRúLDXGLR
ÌQ DFHVW PRGXO YRU IL SUH]HQWDWH DVSHFWH SULYLQG FRGLILFDUHD VXUVHORU
GLVFUHWHúLYRUILDQDOL]DĠLDOJRULWPLL+XIIPDQúL6KDQQRQ-Fano.
22
MODULUL 2
CAPITOLUL 1
CODAREA SURSELOR ,1)250$ğ,21$/(
1.1 Codificarea surselor discrete.
In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare

se numeste codificare. Cerinta principala care se pune pentru orice codificare practic utilizabila
este ca codificarea sa fie efectuata in asa fel ca revenirea de la sistemul de semnale secundare la
cele initiale, adica decodificarea sa fie unica.
Pentru a prezenta problematicile legate de codificarea semnalelor prinare cu ajutorul
semnalelor secundare este necesar sa se precizeze forma concreta a semnalelor primare si
secundare. Se considera ca semnalele prinare sunt semnale generate de catre o sursa discreta si
fara memorie, adica semnalele apar sub o forma discreta si probabilitatea de aparitie a unui
simbol nu depinde de celelalte sinboluri anterioare.
Alfabetul sursei discrete se noteaza cu A ^a1 , a2 ...., aL `,deci sursa produce
succesiuni de litere
u1 , u2 ,...., un formate cu ajutorul literelor din alfabetul sursei, deci
ui A pentru L «
Faptul ca sursa este fara memorie se exprima prin interdependenta statistica a
semnalelor,adica probabilitatea unei succesiuni date D
n
D1 ,D 2 ,...,D n de n litere de sursa este
egala cu produsul probabilitatilor literelor de sursa ,deci:
n
PD 1 , D 2 ,...., D n PD i
i 1 (2.1)
1.2 Codificarea neuniforma.
Presupunem ca alfabetul unei surse discrete si fara memorie contine M semnale primare
a , a ,...., aM care apar cu probabilitatile Pa1 , Pa2 ,.., PaM . Fiecare
sau litere notate cu 1 2
litera a sursei trebuie sa fie codificata printr-o combinatie de semnale secundare luate din
alfabetul codului care contine D semnale X ^x1 , x2 ,.., xD `.Aceste combinatii se numesc si
cuvinte de cod;cuvintele de cod care corespund semnalelor primare a1 , a2 ,.., aM se noteaza cu
c1 ,c2 ,.., cM ,iar totalitatea lor formeaza un cod, C ^c1 , c2 ,.., cM ` .Numarul semnalelor secundare
c a n
din cuvantul de cod k care,dupa cum s-a vazut,corespunde lui k ,se noteaza cu k .
23
Dintre toate, codurile unic decodabile prezinta un interes ,din punct de vedere
economic,acel cod care conduce la un n -numarul mediu de litere de cod pe litere de sursa-cat
mai mic posibil,unde n se mai numeste si lungimea mediea combinatiilor de cod:
M
n ¦ Pa n k k
K 1 (2.2)
Codul in care doua semnale primare distincte sunt codificate printr-o singura combinatie
de cod se numeste cod singular si in mod corespunzator codul in care toate combinatiile de cod
atribuite semnalelor primare sunt distincte se numeste cod nesingular.
Codul C ^c1 , c2 ,.., ck `se numeste unic decodabile daca succesiunile cuvintelor de
cod,corespunzatoare diferitelor succesiuni de lungime finite a sursei,sunt distincte.
Fie un cuvant de cod

ci xi1 , xi 2 ,..., xim .Sirul de litere xi1 , xi 2 ,..., xim ,unde k d m se
c
numeste prefixul lui i .
Cu ajutorul notiunii de prefix putem defini subclasa codurilor unic decodabile care
prezinta un interes deosebit din punct de vedere practice.
Codul in care nici un cuvant de cod nu este prefixul unui alt cuvant de cod se numeste
cod cu proprietate de prefix.Din aceasta definitie rezulta ca in cazul unui cod cu proprietate de
prefix,dintr-un cuvant de cod mai lung nu se poate obtine un cuvant de cod mai scurt prin
reducerea (suprimarea) ultinelor simboluri,motiv pentru care codurile cu proprietate de prefix se
numesc si coduri ireductibile.
Codurile cu proprietatea de prefix se mai numesc uneori si coduri instantanee, deoarece o
combinatie de cod se poate recunoaste fara nici o referinta la urmatoarea combinatie de cod. La
decodificarea unei succesiuni de cuvinte de cod dintr-un cod cu proprietatea de prefix se
inainteaza in succesiunea semnnlelor pana la identificarea primului cuvant de cod si apoi lasand
la o parte succesiunea identificata se trece la identificarea urmatoarei succesiuni si a.m.d.
Momentul cand se obtine o succesiune cu sens, arata si sfarsitul unui cuvant de cod, dat fiind
faptul ca nici un cuvant de cod nu este prefixul unui alt cuvant de cod.Relatia care exista intre
codurile cu proprietate de prefix si codurile unic decodabile se pune in evidenta prin urmatoarea
teorema:orice cod cu conditia de prefix este un cod unic decodabil.
Codurile cu proprietate de prefix permit o reprezentare geometrica foarte intuitiva si
convenabila,cu ajutorul unui graf arborescent.Fiecarui cuvant de cod ii corespunde un drum
simplu,sau nodul final de la extremitatea drumului simplu corespunzator
Este important ca in cazul unui cod cu conditia de prefix exista o corespondenta
biunivoca intre cuvintele de cod si intre nodurile finale, deci fiecarui cuvant de cod ii
corespunde un nod final si nu un nod internediar si invers, fiecarui nod final ii corespunde o
combinatie de cod.
De asenenea si codurile care nu au proprietatea de prefix pot sa fie reprezentate grafic cu
ajutorul unui graf arborescent, dar in acest caz cel putin unui cuvant de cod ii corespunde un nod
internediar.
Se observa ca in cazul unui cod D-nar,constructia grafului arborescent corespunzator este
asemanatoare, tinand cont ca din fiecare nod pomesc D arce.
24
1.3. Codarea si decodarea pe canale fara perturbatii.
In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un

codor/decodor al sursei. Rolul acestuia este de a mari eficienta transmiterii prin utilizarea unor
PHVDMHFkWPDLVFXUWHSHQWUXDWUDQVPLWHDFHLDVLFDQWLWDWHGHLQIRUPDWLH$FHDVWkRSHUDtie numita
JHQHULFÄFRPSUHVLHGHGDWH´
Definirea unui cod. )LHRVXUVDGLVFUHWDIDUDPHPRULHDYkQGDOIDEHWXO
S ^s1, s2 ,......, sN ` (2.3)
cu probabilitatea de aparitie p si pi
P ^ p1, p2 ,......, pN ` (2.4)
Fie alfabetul canalului
X ^x1, x2 ,......, xq` (2.5)
constituit dintr-un numar finit de semne (litere, caractere)

Se considera reuniunea secventelor finite de litere din alfabetul canalului:
X* Xn (2.6)
nt
Orice aplicatie S o X * se numeste codarea alfabetului S prin alfabetul X
Un element si * X * si care corespunde lui si HVWH XQ FXYkQW GH FRG /XQJLPHD

FXYkQWXOXL GH FRG QRWDWk n si * ni este numarul de litere cale Il formeaza. Totalitatea
cuvintelor de cod constitue codul lui S cu mentiunea ca X * poate contine si combinatii care nu
apartin codului, numite cuvinte fara sens.
Astfel, un text constituit din secvente de mesaje:
mj si 1, si 2 ,......, sik (2.7)
este codat prin secventele de cuvinte de cod (cu sens)
mj si 1* , si *2 ,......, sik* (2.8)
25
Decodarea implica posibilitateD GH D UHSDUD FXYLQWHOH GH FRG vn mod unic (aplicatia
S o X * sa fie injectiva). Un cod cu aceasta probabilitate se numeste regulat (nesingular).
Regularitatea este o conditie necesara dar nu suficienta pentru decodare. fie de exemplu
s1* , s2* 10 si s3 01. Codul 010 poate fi interpretat fie s1* , s2* fie s3* , s1* .
Pentru a distinge fara ambiguitati un text trebuie ca fiecarui succesiune de cuvinte sa-i
n
corespunda o succesiune unica de litere, adica aplicatia S k
o X * sa fie si ea injectiva.
k t1
Un cod de acest tip este un cod unic decodabil. Conditii suficiente care sa asigure aceasta
proprietate sunt:
(a) utilizarea cuvintelor de cod de aceiasi lungime (bloc)
(b) utilizarea unui semn distinct Intre cuvintel (separator)
Exista vnsa si coduri care nu necesita utilizarea unui mijloc suplimentar pentru a asigura
proprietate de unic decodabil. Aceste coduri se numesc separabile.
Alcatuirea unui cod. Teorema Kraft
Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de

lungime n1, n2 ,......, nN este ca
¦q ni
d1 (2.9)
i 1
Observatii
1. Se reaminteste ca q card X este numarul de litere din alfabetul canalului.

2. Daca numarul cuvintelor de lungime k este rk atunci conditia (1.9) devine
¦r k q k d 1 (2.10)
k 1
n
cu N ¦r k
k 1
Teorema Mac Millan
Un cod este ireductibil daca si numai daca
n1 d n2 d...... d nN (2.11)
26
Criterii de apreciere a unui cod.
Transmiterea mesajelor presupune un cost care creste linear cu timpul. Un criteriu
FRQYHQDELOGHDSUHFLHUHDXQXLFRGHVWHOXQJLPHDPHGLHDXQXLFXYkQW
n
n ¦ p ni i (2.12)
i 1
unde pi sunt definite prin (1.4) si ni HVWHQXPDUXOGHOLWHUHGLQFXYkQWXOGHFRGFXLQGLFHOHi.

Este evident ca se cauta ca n VD ILH FkW PDL PLF GDU WUHEXLH DYXW ,Q YHGHUH FD HO HVWH
limitat inferior de entropia informationala pe simbol a alfabetului de cod
H
nt (2.13)
log 2 q
unde H este entropia sursei. In aceste conditii, eficienta unui cod este
H
K d1 (2.14)
n log 2 q
iar redundanta codului este
U 1 K (2.15)
Codurile cu o eficienta egala cu unitatea si deci care au lungimea medie minima se

numesc coduri absolut optimale
Prima teorema a lui Shannon. Pentru orice sursa omogena exista un cod ireductibil
pentru care lungimea medie a cuvintelor eVWHRUFkWGHDSURSLDWDGHPDUJLQHDVDLQIHULRDUD.
Aceasta teorema se mai numeste si teorema codarii pe canale neperturbate. Prima

WHRUHPDDOXL6KDQQRQVHUHIHUDODSUREOHPDFRGDULLFXROXQJLPHPHGLHSRVLELODFkWPDLPLFD
pe un canal neperturbat de capacitate data.
Codurile care asigura cea mai mica lungime medie posibila se numesc cvasioptimale sau
compacte.
27
1.4. &RGXUL+XIIPDQGHGLVSHUVLHPLQLPă.
$FHVWSURFHGHXVHED]HD]ăSHLGHHDGHDSDUWLĠLRQDPXOĠLPHDPHVDMHORUVXUVHLS = {s1, s2
,..., sN} vQVXEPXOĠLPLOH úL DVWIHOvQFkWVXPDSUREDELOLWăĠLORUPHVDMHORULQFOXVHvQ Vă
ILHFkWPDLDSURSLDWăGHVXPDSUREDELOLWăĠLORUPHVDMHORULQFOXVHvQ .
/D UkQGXO ORU VXEPXOĠLPLOH úL SRW IL SDUWLĠLRQDWH vQ VXEPXOĠLPLOH úL ,
respectiv úL DVWIHO vQFkW VXPD SUREDELOLWăĠLORU PHVDMHORU LQFOXVH vQ FHOH SDWUX
VXEPXOĠLPL Vă ILHFkW PDL DSURSLDWHSRVLELO3URFHGHXOVHFRQWLQXă vQ PRGVLPLODUSkQăFkQGVH
REĠLQVXEPXOĠLPLFHFRQĠLQXQVLQJXUPHVDM
ÌQIHOXODFHVWDSHQWUXRULFHGLVWULEXĠLHDVXUVHL S FHXUPHD]ăDILFRGDWăVHYDREĠLQHXQ
FRGFRPSDFWDGLFăOXQJLPLPHGLLDOHFXYLQWHORUGHFRGFHQXPDLSRWILPLFúRUDWHSULQQLFLun alt
procedeu de codare.
3HQWUXFDSDUWLĠLLOHVăVDWLVIDFăFRQGLĠLLOHPHQĠLRQDWHVHSURFHGHD]ă
astfel:
6HRUGRQHD]ăPXOĠLPHDPHVDMHORUVXUVHL6vQRUGLQHDGHVFUHVFăWRDUHDSUREDELOLWăĠLORU
REĠLQkQGX-VH DVWIHO PXOĠLPHD RUGRQDWă ={ }, cu p( ) p( ) ... p( ), cu
VFKLPEDUHDHYHQWXDOăDLQGLFLORUPHVDMHORUSHQWUXUHDOL]DUHDRUGRQăULLUHVSHFWLYH
6HUHXQHVFXOWLPHOHGRXăPHVDMHGHSUREDELOLWăĠLOHFHOHPDLPLFLvQWU-un nou mesaj,
notat cu FăUXLD L VH DORFă R SUREDELOLWDWH HJDOă FX VXPD SUREDELOLWăĠLORU PHVDMHORU
FRPSRQHQWH 6H RUGRQHD]ă GLQ QRX PHVDMHOH vQ RUGLQHD GHVFUHVFăWRDUH D SUREDELOLWăĠLORU
IRUPkQGX-VHDVWIHOSULPDVXUVăUHVWUkQVă ={ cu p( ) p( ) ... p( ) ...
.
6H UHXQHVF XOWLPHOH GRXă PHVDMH GLQ VXUVD UHVWUkQVă vQWU-un nou mesaj , de
SUREDELOLWDWH HJDOă FX VXPD SUREDELOLWăĠLORU PHVDMHORU FRPSRQHQWH 6H RUGRQHD]ă PHVDMHOH vQ
ordine GHVFUHVFăWRDUHIRUPkQGX-VHDVWIHOVXUVDUHVWUkQVă ÌQPRG analog, din VHIRUPHD]ă
VXUVDUHVWUkQVă úLDúD PDLGHSDUWH SkQăFkQGVH REĠLQHRVXUVăUHVWUkQVă IRUPDWăQXPDLGLQ
GRXă mesaje, , cu p( ) . De fapt, va fi úi va fi sau
invers.
28
'LQPRGXOGHIRUPDUHDVXUVHORUUHVWUkQVH UH]XOWăFăPXOĠLmea S a mesajelor poate fi
SDUWLĠLRQDWăvQGRXăVXEPXOĠLPL úL DVWIHOvQFkWSUREDELOLWăĠLOHS ) úi sunt cele
PDL DSURSLDWH SRVLELO /D UkQGXO ORU VXEPXOĠLPLOH úL SRW IL SDUWLĠLRQDWH vQ DOWH GRXă
VXEPXOĠLPLGHSUREDELOLWăĠLOHFHOHPDLDSURSLDWHSRVLELO3DUWLĠLRQăULOHVHFRQWLQXăSkQăVHREĠLQ
VXEPXOĠLPLFDUHFRQĠLQXQVLQJXUPHVDM
&XYLQWHOHGHFRGFRUHVSXQ]ăWRDUHILHFăUXLPHVDMVHREĠLQDVWIHO
- VXEPXOĠLPii LVHDORFăVLPEROXOVDX
- VXEPXOĠLPLL LVHDORFăVLPEROXOVDX

- ODILHFDUHSDUWLĠLRQDUHVHDORFăDUELWUDUFHORUGRXăVXEPXOĠLPLVDXRSHUDĠLDFRQWLQXkQGX-
VHSkQăVHREĠLQVXEPXOĠLPLFHFRQĠLQXn singur mesaj , k= .
'HRDUHFHDORFDUHDOXLúLHVWHDUELWUDUăODILHFDUHSDUWLĠLRQDUHUH]XOWăFăXQHLVXUVH
S LVHSRWDWDúDRPXOWLWXGLQHGHFRGXULLQVWDQWDQHHWRDWHvQVăDYkQGDFHHDúLOXQJLPHPHGLHD
cuvintelor de coGFDUHQXPDLSRDWHILPLFúRUDWăSULQQLFLXQDOWSURFHGHXGHFRGDUHDPHVDMHORU
luate individual.
'DFăVXUVDSULPDUăS poate furniza N PHVDMHDWXQFLVXEPXOĠLPHDUHVWUkQVă , va avea
N- PHVDMH VXEPXOĠLPHD UHVWUkQVă YD FRQĠine N- PHVDMH úL DúD PDL GHSDUWH XOWLPD
VXEPXOĠLPHUHVWUkQVă YDFRQĠLQHN í n mesaje, care sunt úL DGLFăVHSRDWHVFULH

N-n=2 => n=N-2 (2.16)
'DFăVXEPXOĠLPLL LVHDORFăVLPEROXOúLVXEPXOĠLPLL simbolul "1", celor N-2
SDUWLĠLRQăUL SXWkQGX-li-VH DORFD DUELWUDU VDX UH]XOWă XQ WRWDO GH SRVLELOLWăĠL GH
FRGDUH'DFăvQVăVXEPXOĠLPLL L VHDORFăVLPEROXO LDUVXEPXOĠLPLL simbolul "0",
PDLUH]XOWă SRVLELOLWăĠLGHFRGDUH5H]XOWăGHFL FăSULQDFHVWSURFHGHXGHFRGDUHVHSRW
realiza FRGXUL LQVWDQWDQHH WRDWH DYkQG WRDWH DFHHDúL OXQJLPH PHGLH D

cuvintelor de cod.
3ULQGHILQLĠLHVHQXPHúWHFRGFRPSDFWFRGXOFDUHUHDOL]HD]ăOXQJLPHDPHGLHPLQLPăD
FXYLQWHORUGHFRG'HRDUHFHSULQSURFHGHXOGHFRGDUH+XIIPDQVHREĠLQHFHDPDLPLFăOXQJLPH
PHGLH D FXYLQWHORU GH FRG vQVHDPQă Fă SULQ DFHVW SURFHGHX VH REĠLQ FRGXUL LQVtantanee
FRPSDFWH(YLGHQWXQFRGDEVROXWRSWLPDOHVWHúLFRPSDFWUHFLSURFDQHILLQGWRWGHDXQDYDODELOă
29
Exemplul 3.1.
6HSUHVXSXQHVXUVDGLVFUHWăGHLQIRUPDĠLHFDUDFWHUL]DWăGHGLVWULEXĠLD
S:
&RGDUHDELQDUă+XIIPDQDDFHVWHLVXUVHVHSRate realiza astfel:
Fig. 3.2. Schema de codare pentru exemplul 3.1

Graful úi cuvintele de cod corespunzătoare codării efectuate sunt date vn Fig. 3.3.
Fig.3*UDIXOFRUHVSXQ]ăWRUFRGXOXL
30
&RGXULOH +XIIPDQ GH GLVSHUVLH PLQLPă VH REĠLQ FkQG OD UHRUGRQDUHD VXUVHL UHVWUkQVH
VLPEROXOFRPSXVVHSODVHD]ăSHSR]LĠLDFHDPDLGHVXVSRVLELOvQVXUVDUHVWUkQVăÌQIHOXODFHVWD
FXYkQWXOGHFRGDWULEXLWVLPEROXOXLFRPSXV YDDYHDFHD PDL PLFă OXQJLPHSRVLELOă&XPDFHVW
FXYkQW YD GHYHQL SUHIL[ SHQWUX VLPEROXULOH FRQVWLWXHQWH FXYLQWHOH GH FRG FRUHVSXQ]ăWRDUH
DFHVWRUDYRUDYHDROXQJLPHFXRXQLWDWHPDLPDUHGHFkWOXQJLPHDSUHIL[XOXLGHFLúLDFHVWHDYRU
UH]XOWD GH OXQJLPH PLQLPă &D XUPDUH GLIHUHQĠHOH GLQWUH OXQJLPLOH FXYLQWHORU GH FRG GHYLQ
minime, ceea ce va cRQGXFHHYLGHQWúLODRGLVSHUVLHPLQLPă
3HQWUX IL[DUHD LGHLORU VH SUHVXSXQH VXUVD GLVFUHWă GH LQIRUPDĠLH FDUDFWHUL]DWă GH
GLVWULEXĠLD
S:
3HQWUX DFHDVWă VXUVă VH HIHFWXHD]ă FRGDUHD +XIIPDQ SODVkQG vQWkL PHVDMHOH VXUVHL
UHVWUkQVHSHSR]LĠLLOHFHOHPDLMRVSRVLELOHvQOLVWăúLDSRLSHSR]LĠLLOHFHOHPDLGHVXVSRVLELOHÌQ
SULPXOFD]UH]XOWăVFKHPDGHFRGDUHGLQ)LJLDU JUDIXOúLFXYLQWHOHGHFRGFDvQ)LJ
31
3HQWUXDFHVWFRGOXQJLPHDPHGLHúLGLVSHUVLDVXQW
3HQWUXFD]XOvQFDUHvQFRGDUHD+XIIPDQPHVDMHOHVXUVHLUHVWUkQVHVHSODVHD]ăSHSR]LĠLLOH
FHOHPDLGHVXVvQOLVWăVHREĠLQHVFKHPDGHFRGDUHGLQ)LJúLJUDIXOúLFXYLQWHOHGHFRGFDvQ
Fig. 3.7.
32
Pentru acest cod, lungimea medie este, evideQWDFHHDúLvQWLPSFHGLVSHUVLDGHYLQH
'HúL GLQ SXQFW GH YHGHUH LQIRUPDĠLRQDO FHOH GRXă FRGXUL VXQW LGHQWLFH vQ SUDFWLFă VH
SUHIHUă IRORVLUHD FHORU GH GLVSHUVLH PLQLPă GLQ PRWLYH GH WUDQVPLVLH 'H H[HPSOX GDFă VH
GRUHúWHVăVHWUDQVPLWăPHVDMHDOH VXUVHLFXRYLWH]ăGHPHVDMHVHFHVWHQHFHVDUXQFDQDO
FXFDSDFLWDWHDGHELĠLVHF'HRDUHFHYLWH]DGHJHQHUDUHDELĠLORURVFLOHD]ăvQMXUXOYDORULL
GHELĠLVHFIXQFĠLHGHVXFFHVLXQHDGH PHVDMH IXUQL]DWH ODXQ PRPHQWGDWLHúLUHDVursei
HVWHvQFăUFDWă vQWU-un buffer.
'DFăGHH[HPSOXVXUVDJHQHUHD]ăODXQPRPHQWGDWúLUXULGHPHVDMH úL mai multe
VHFXQGHSHQWUXSULPXOFRGVHJHQHUHD]ăELĠLVHFúLvQILHFDUHVHFXQGăDUWUHEXLXQEXIIHU
de capacitatHGHELĠL&XDOGRLOHDFRGVHJHQHUHD]ăELĠLVHFúLEXIIHUXODUWUHEXL
Vă DLEă FDSDFLWDWHD GH ELĠL 'DFă VH WUDQVPLW úLUXUL GH PHVDMH , cu primul cod se
JHQHUHD]ăELĠLVHFúLFDQDOXOQXHIRORVLWODFDSDFLWDWHDVDUăPkQkQGXQGHILFLWGH
ELĠLVHF SH FkQG FX DO GRLOHD FRG VH JHQHUHD]ă ELĠLVHF GHILFLWXO H[LVWHQW vQ H[SORDWDUHD
FDQDOXOXLILLQGQXPDLGHELĠLVHF$úDGDUGLQPRWLYHGHWUDQVPLVLHHVWHPDLUH]RQDELODVH
DOHJHDOGRLOHDFRGGHFkWSrimul.
33
1.53URFHGHXOGHFRGDUHELQDUă6KDQQRQ± Fano.
$FHVW SURFHGHX VH DSOLFă GH RELFHL vQ FD]XULOH SDUWLFXODUH vQ FDUH SUREDELOLWăĠLOH GH
IXUQL]DUHDOHPHVDMHORUVXQWSXWHULvQWUHJLSR]LWLYHDOHOXLDGLFăGHIRUPD
p( = , ( ) k= (2.17)
unde HVWHXQQXPăUvQWUHJSR]LWLY'DFăUHODĠLDHVWHVDWLVIăFXWăPXOĠLPHDS = {s1, s2
,..., sN} DPHVDMHORUVXUVHLGLVFUHWHGHLQIRUPDĠLHFHXUPHD]ăDILFRGDWăSRDWHILSDUWLĠLRQDWă vQ

GRXăVXEPXOĠLPL úL DVWIHO vQFkWVXPDSUREDELOLWăĠLORU PHVDMHORU LQFOXVH vQ QRWDWăFX
p( ) Vă ILH HJDOă FX VXPD SUREDELOLWăĠLORU PHVDMHORU LQFOXVH vQ QRWDWă FX p( ). Sursa S
ILLQGWRWGHDXQDFRPSOHWăVHSRDWHVFULH
(2.18)
6XEPXOĠLPLOH úL VHSRWSDUWLĠLRQDODUkQGXOORUvQ úL UHVSHFWLYvQ úL
DVWIHOvQFkWVXPDSUREDELOLWăĠLORUPHVDMHORULQFOXVHvQFHOHSDWUXVXEPXOĠLPLVăILHDFHHDúL
DGLFăVHSRDWHVFULHUHODĠLD
(2.19)
6HSURFHGHD]ă vQ PRGDQDORJSkQăVHREĠLQVXEPXOĠLPLFDUHFRQĠLQXQVLQJXU PHVDM6H

REVHUYă Fă ILHFDUH VXEPXOĠLPH DUH VXPD SUREDELOLWăĠLORU PHVDMHORU LQFOXVH HJDOă FX R SXWHUH
vQWUHDJăDOXL3XWHUHDvQWUHDJăHVWHHJDOăFXQXPăUXOLQGLFLORUVXEPXOĠLPLLUHVSHFWLYH'DFă
VXEPXOĠLPHDFRQĠLQHXQVLQJXUPHVDM úLDUHXQQXPăUGHLQGLFLHJDOFX , atunci se poate
scrie:
GH XQGH UH]XOWă QHFHVLWDWHD FD VXUVD S FH XUPHD]ă D IL FRGDWă Vă-úL IXUQL]H]H PHVDMHOH FX
SUREDELOLWăĠLHJDOHFXò ODRSXWHUHvQWUHDJăSR]LWLYă
6XUVDILLQGFRPSOHWăVHSRDWHVFULH relaĠia (1.21):
34
(2.21)
ÌQORFXLQGvQUH]XOWăUHODĠia (1.22):
(2.22)
FHHDFHvQVHDPQăFăLQHJDOLWDWHDOXLKraft GHYLQHvQDFHVWFD] egalitate.
&XYLQWHOHGHFRGVHYRUREĠLQe, atunci, astfel:
6HDWULEXLHVLPEROXOVXEPXOĠLPLL úLVLPEROXOVXEPXOĠLPLL , (sau invers),
DVWIHO Fă WRDWH FXYLQWHOH FRUHVSXQ]ăWRDUH PHVDMHORU LQFOXVH vQ YRU vQFHSH FX úL WRDWH
FXYLQWHOHFRUHVSXQ]ăWRDUHPHVDMHORULQFOXVHvQ , vor
vQFHSHFXVDXLQYHUV
6H DORFă VXEPXOĠLPLORU úL FD DO GRLOHD PHVDM LDU VXEPXOĠLPLORU úL
FD DO GRLOHD PHVDM VDX LQYHUV ÌQ IHOXO DFHVWD FXYLQWHOH GH FRG FRUHVSXQ]ăWRDUH
PHVDMHORULQFOXVHvQ YRUvQFHSHFXFXYLQWHOHGHFRGFRUHVSXQ]ăWRDUHPHVDMHORULQFOXVHvQ
YRUvQFHSHFXúLDúDPDLGHSDUWHFXYLQWHOHGHFRGFRUHVSXQ]ăWRDUHPHVDMHORULQGXVHvQ
vor vQFHSHFX
2SHUDĠLDVHFRQWLQXăvQDFHODúLPRGSkQăFkQGvQILHFDUHVXEPXOĠLPHUăPkQHXQVLQJXU
PHVDM FăUXLD vL YD FRUHVSXQGH FXYkQWXO GH FRG IRUPDW GLQ úLUXO GH LQGLFL DL VXEPXOĠLPLL
UHVSHFWLYH 'HRDUHFH OD ILHFDUH SDUWLĠLRQDUH vQ GRXă VXEPXOĠLPL DWULEXLUHD PHVDMHORU úL
HVWH DUELWUDUă UH]XOWă Fă SULQ DFHVW SURFHGHX VH SRWREĠLQH R PXOWLWXGLQH GH FRGXUL LQVWDQWDQHH
dar toate absolut optimale.
ÌQSULQFLSLXSURFHGHXOGHFRGDUHGHVFULVV-DUSXWHDDSOLFDvQJHQHUDODGLFăúLDWXQFLFkQG
relaĠLDQXHVWHVDWLVIăFXWăÌQDFHVWFD]SDUWLĠLRQăULOHvQVXEPXOĠLPLWUHEXLHHIHFWXDWHDVWIHO
vQFkWVXPDSUREDELOLWăĠLORUPHVDMHORULQFOXVHvQVXEPXOĠLPLOHUHVSHFWLYHVăILHFkWPDLDSURSLDWH
$WULEXLQGVLPEROXULOHúLFDvQSURFHGHXOGHVFULV VHREĠLQWRWGHDXQDFRGXULLQVWDQWDQHH
&XFkWVXPHOHSUREDELOLWăĠLORUPHVDMHORUFRPSRQHQWHDOHVXEPXOĠLPLORUUHVSHFWLYHYRUIL
PDLDSURSLDWHFXDWkWOXQJLPHDPHGLHDFXYLQWHORUGHFRGYDILPDLPLFă
35
Exemplul 3.2.
6HFRQVLGHUăVXUVDGLVFUHWăGHLQIRUPDĠLHFDUDFWHUL]DWăGHGLVWULEXĠLD
S:
3URFHGHXOGHFRGDUHELQDUă6KDQQRQ- )DQRHVWHVLQWHWL]DWvQWDEHOXOGHPDLMRV
Graful arborescent ataúat codului astfel obĠLQXWHVWHUHSUH]HQWDWvQ)LJ
36
$SOLFDĠLH
Simularea cu ajutorul programului M ATLAB a algoritmului de compresie

Shannon-Fano
ÌQ FDGUXO OXFUăULORU GH ODERUDWRU YD IL SXVă OD GLVSR]LĠLH R DSOLFDĠLH VRIWZDUH care
LPSOHPHQHD]ăDOJRULWPXOGHFRPSUHVLH6KDQQRQ-)DQR(FUDQXODSOLFDĠLHLHVWHSUH]HQWDWvQILJXUD
XUPăWRDUH
ExerciĠLLUH]ROYDWH
Exemplu
ÌQWDEHOXOGHPDLMRVVXQWSUH]HQWDWHSDWUXFRGXULVHSDUDELOH,
mesaj A B C D
s0 00 0 0 0
s1 01 10 01 10
s2 10 110 011 110
s3 11 1110 0111 111
37
Folosind codul B, succesiunile s3s1s0s2 se codifica 1110100110. Dupa receptinarea
primelor sase biti se poate determina ca s-a receptionat s3s1 . Daca Insa se folosec codul C,
succesiunea s3s1s0s2 se codifica 011010011. Dupa receptionarea primelor sase biti conduce la
decodarea s3 dar secventa 01 poate fi interpretata la acel moment fie care s1 fie ca, s2 fie ca s3 ,
ambiguitatea UH]ROYkQGX-se abia dupa receptia urmatorilor biti. Un cod de tip C se numeste cod
instantaneu.
&RQGLWLDQHFHVDUDVLVXILFLHQWDFDXQFRGVDILHLQVWDQWDQHXHVWHFDQLFLXQFXYkQWGHFRG
VDQXILHSUHIL[DODOWXLFXYkQWGHFRGFRQGLWLDGHSUHIL[
Se considera sursa care genereaza simbolurile :
- s0 cu probabilitatea p1 = 0,5
Se cere sa se determine eficienta codurilor A, B, C si D
Solutie
Entropia sursei este

4
¦p
1 1 1 1 1 1 7
H i log 2 p i log 2 log 2 2 log biti
2 2 4 4 8 8 4
i 1
7
4 7 1
Pentru codul A lungimea medie a codului este nA 2 si K A iarU
2 log 2 2 8 2
Codurile B si C cu aceiasi lungime medie
nB nC 0,5 1 0,25 2 0,125 3 0,125 4 1,875
1, 75 14
KB KC
1,875 15
1
UB UC
15
Codul D are nD 0,5 1 0,25 2 0,125 3 1,75 si
1, 75
KD 1 UD 0
1, 75 log 2 2
38
TESTE DE AUTOEVALUAR(ù,7(0('(&21752/
Testul nr. 1
1. 6HGăVXUVD$SULQXUPDWRDUHDUHSDUWLĠLHGHSUREDELOLWăĠL
§ a a2 a3 a4 a5 a6 a7 a8 a9 ·
A ¨¨ 1 ¸¸
© 0.48 0.14 0.14 0.07 0.07 0.04 0.02 0.02 0.02 ¹
6ă VH FRGLILFH VXUVD $ XWLOL]kQG PHWRGD GH FRGLILFDUH +XIIPDQ úL Vă VH FDOFXOH]H
lungimea medie a cuvintelor de cod.
Testul nr. 2
2. 6HGăVXUVD$SULQXUPDWRDUHDUHSDUWLĠLHGHSUREDELOLWăĠL
§ a a2 a3 a4 a5 a6 a7 a8 a9 ·
A ¨¨ 1 ¸¸
© 0.48 0.14 0.14 0.07 0.07 0.04 0.02 0.02 0.02 ¹
6ă VH FRGLILFH VXUVD $ XWLOL]kQG PHWRGD GH FRGLILFDUH 6KDQQRQ-)DQR úL Vă VH FDOFXOH]H
lungimea medie a cuvintelor de cod.
7HPăGHFRQWURO
6HFRQVLGHUăRVXUVăFXDOIDEHWXO >S@ >s1 , s2 , s3 , s4 , s5 , s6 @ úLSUREDELOLWăĠile
>P@ >0.05,0.1,0.3,0.25,0.1,0.2@ :
a. Vă VH GHWHUPLQH XQ FRG FRPSDFW IRORVLQG DOJRULWPXO GH FRGDUH +XIIPDQ GDFă
alfabetul codului este >X @ >0,1@ úLGDFăDOIDEHWXOFRGXOXLHVWH >X @ >0,1,2@ ;
b. SHQWUX FHOH GRXă FD]XUL Vă VH FDOFXOH]H OXQJLPHD PHGLH D FXYLQWHORU GH FRG úi
eficienĠa codului.
39
>@$6SăWDUX7HRULD7UDQVPLVLunii InformaĠLHL(G'LGDFWLFă úL3HGDJRJLFă%X- cureúti,
1983.
1983
[3] I. AngheloiX7HRULDFRGXULORU(G0LOLWDUă%XFXUHúti, 1972.
[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John Wiley &
Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England,2006.
>@90XQWHDQX7UDQVPLWHUHDúLFRGLILFDUHDLQIRUPDĠLHL1RWHGHFXUV
40
MODULUL 3
CODURI DETECTOARE ù,&25(&72$5( DE ERORI
ÌQ FD]XO WUDQVPLVLLORU OD GLVWDQĠH UHODWLY PDUL SULQ DSDULĠLD LQHUHQWă D
SHUWXUEDĠLLORU R SDUWH GLQ VLPEROXULOH GLQ DOIDEHWXO FRGXOXL FH IRUPHD]ă
FXYLQWHOH GH FRG DWDúDWH PHVDMHORU SRW IL PRGLILFDWH DVWIHO vQFkW FHHD FH VH
UHFHSĠLRQHD]ă QX PDL FRUHVSXQGH FX FHHD FH V-D WUDQVPLV 'HRDUHFH vQ PDUHD
PDMRULWDWH D VLWXDĠLLORU SUDFWLFH VH IRORVHúWH FD DOIDEHW DO FRGXOXL QXPDL úL
XúRUGHUHDOL]DWYRPFRQVLGHUDvQFRQWLQXDUHGRDUDFHVWFD]ÌQVLWXDĠLD vQFDUH
DOIDEHWXOFRGXOXLHVWHQXPDLúLGDWRULWăSHUWXUEDĠLLORUFRGXOXLXQWUDQVPLV
SRDWHGHYHQLúLLQYHUV'LQDFHDVWăFDX]ăVHVSXQHFăSHUWXUEDĠLLOHFDUHDSDUDX
un caracter aditiv.
0 1
0 0 1
1 1 0
'DFăVHWUDQVPLWHúLVHUHFHSĠLRQHD]ă SHUWXUEDĠLD 1 = 1.
'LQFRGDUHDPHVDMHORUVXUVHORUSHQWUXFDQDOHFXSHUWXUEDĠLLVHSXQGRXă
probleme:
1. GHWHFĠLDHURULORU
2. FRUHFĠLDDXWRPDWăDHURULORU
1 codarea trebuie astfel efecWXDWă vQFkW OD UHFHSĠLH Vă SXWHP GHFLGH GDFă
ceea ce s-D UHFHSĠLRQDW HVWH FRUHFW VDX HURQDW IăUă SUHWHQĠLD GH D VWDELOL úL
ORFXULOHvQFXYkQWXOGHFRGvQFDUHV-au introdus erori.
2 FRGDUHDWUHEXLHDVWIHOHIHFWXDWăvQFkWODUHFHSĠLHVăDYHPSRVLELOLWDtea
QXQXPDLDGHFLGHGDFăFHHDFHV-DREĠLQXWHVWHFRUHFWFLúLGHDFRUHFWDDXWRPDW
HURULOHFDUHDXDSăUXWSHFDQDO
3UREOHPD GHWHFĠLHL HURULORU HVWH PDL VLPSOă, vQ VFKLPE QHFHVLWă XQ FDQDO
GHWUDQVPLVLXQLFXGXEOXVHQVGHRDUHFHRULGHFkWHRULODUHFHSĠLHVHGHWHFWHD]ă
SUH]HQĠD HURULORU Vă H[LVWH SRVLELOLWDWHD FHUHULL GH UHWUDQVPLVLH D FXYkQWXOXL
UHFHSĠLRQDW HURQDW 6H FHUH WUDQVPLWHUHD FXYkQWXOXL UHFHSĠLRQDW HURQDW SkQă FH
DFHVWDHVWHUHFHSĠLRQDWFRUHFWUH]XOWăRvQWkU]LHUHODUHFHSĠLRQDUHDLQIRUPDĠLHL
ÌQVFRSXOvQWRFPLULLFRGXULORUGHWHFWRDUHGHHURULVDXFRUHFWRDUHGHHURUL
VH IRORVHVF R VHULH vQWUHDJă GH FRGXUL ED]DWH SH GLIHULWH WHRULL PDWHPDWLFH R
SULPăFODVLILFDUHFRQVWkQGvQ
coduri bloc ODFDUHILHFDUHFXYkQWGHFRGDUHDFHHDúLOXngime
coduri nonbloc (sau recurente) OD FDUH WUDQVPLVLD VH IDFH FXUVLY IăUă R
GHOLPLWDUHSUHFLVăDFXYkQWXOXLGHFRG
41
MODULUL 3
CAPITOLUL 1
&2'85,'(7(&72$5(ù,&25(&72$5( DE ERORI
3.1. Codarea si decodarea pe canale perturbate
S-a aratat anterior ca performanta globala a unui sistem de transmitere de date este
probablitatea de eroare.
7UDQVPLWHUHDvQEDQGDGHED]DVDXPRGXODWLDVXQWDIHFWDWHGHRVHULHGHFRQVWUkQJHUL
care fac uneori imposibila obtinerea unei probabilitati de eroare prescrise.
Calea prin care se poate obtine probabilitatea de eroare prescrisa este folosirea
redundantei controlate. Blocurile functionale care efectueaza aceasta sarcina sunt codorul si
decodorul canalului.
&RGRUXO FDQDOXOXL DGDXJD vQ PRG VLVWHPDWLF ELWL OD PHVDMXO transmis. Acesti biti
aditionali, desi nu transporta informatie, fac posibili detectia si corectia erorilor.
Detectia erorilor si/sau corectia lor coboara probabilitatea de eroare.
Problema codarii pe canale perturbate poate fi formulata astfel. Referindu-ne la figura
5.1 sistemul digital de comunicatie urmareste transmiterea iesirii codorului sursei ^bk ` cu un
debit rb pe un canal zgomotos.
Datorita zgomotului fluxului de date receptionate ^bk ` difera uneori de secventa
transmisa ^bk ` .

Se impune ca probabilitatea de eroare P bk z bk VD ILH PDL PLFD GHFkW R DQXPLWD
valoare.
Codorul canalului si decodorul canalului au ca scop reducerea probabilitatii globale de
eroare.
&RGRUXOvPSDUWHELWLPHVDMXOXLvQEORFXULGHFkWH k ELWLVLvQORFXLHVWHILHFDUHEORFFX
XQFXYkQWGHFRGGH n ELWLDGDXJkQG n k ELWL'HFRGRUXOSULPHVWHFXYkQWXOGHFRGFDUH
este uneori DOWHUDWVLvQFHDUFDVDGHFRGH]HFHL k biti ai mesajului.
Desi biti de control nu aduc nici o informatie receptorului, ei permit decodorului sa
GHWHFWH]HVLVDFRUHFWH]HHURULOHGHWUDPVPLWHUHUHGXFkQGSULQDFHDVWDSUREDELOLWDWHDGHeroare.
3URLHFWDUHDXQXLFRGRUGHFRGRUFRQVWDvQVHOHFWDUHDUHJXOLORUGHJHQHUDUHDFXYLQWHORU
de cod pornind de la blocurile mesaj si apoi de extragere a blocurilor mesaj din versiunea
receptionaWDGHFXYkQWGHFRG
ÌQILJXUD.1 este prezentata schema bloc pentru un sistem de codare/decodare.
42
n
rc rb
rb Codor k
Modulator
canal
mesaj mesaj control

k k n-k
Canal
mesaj FXYkQWGHFRG
k n
Decodor
Demodulator
canal
Fig. 3.1
&RGXULOH FDUH HIHFWXHD]D FRQWUROXO HURULL VXQW FODVLILFDWH vQ FRGXUL EORF VL FRGXUL
convolutionare. Din codurile bloc, unui mesaj de k biti i se asocieaza XQFXYkQWGHFRGGH n
biti care actioneaza r biti pe baza celor k biti cu continut informational. La receptie biti de
control sunt utilizati pentru a verifica biti de informatie din blocul precedent. Pentru codurile
FRQYROXWLRQDUH ELWL GH FRQWURO VXQW vQ PRG FRQWLQXX LQVHUDWL vQWUH ELWL GH LQIRUPDWLH ELWL GH
FRQWURO YHULILFkQG QX QXPDL ELWL GH LQIRUPDWLH GLQ EORFXO SUHFHGHQW FL VL GLQ DOWH EORFXUL
anterioare.
'LVWDQWD +DPPLQJ 'LVWDQWD vQtre doua cuvinte binare de lungime

n u x1, x 2 ,......, x n ; v y1, y 2 ,......, y n $ x i , y i ^ 0,1` este numarul pozitiilor
GHDFHODVUDQJvQFDUHGRXDFXYLQWHGLIHUD
n
d u , v ¦x i yi (3.1)
i 1
Observatie
Numarul natural d u,v verifica axiomele distantei
(a) d u,v d v , u t 0
(b ) d u,v 0 u v (3.2)
(c ) d u,v d d u,w d w ,v
43
O reprezentare geometrica a lui u poate fi un punct de coordonate x1 ,...... x n In
R n . Cele 2 n combinatii de n ELWL VXQW YkUIXULOH XQXL KLSHUFXE GH ODWXUD ,Q ILJXUD
XUPăWRDUHHVWHUHSUH]HQWDWXQDVWIHOGHFXESHQWUX R 3 .
x3
Distanta Hamming
001 011 vQWUHGRXDYkUIXULHVWHFHO
mai mic numar de laturi
care le unesc
101 111
000 010
x2
100 110
x1
Fig 3.2
'DFDWRDWHFXYLQWHOHGHFRGDX VHQVDWXQFLRULFHHURDUHFRQGXFH ODXQDOWFXYkQWGH

cod si nu poatHILGHSLVWDWD'DFDvQVDVHSDUDPGLQFHOH 2 n cuvinte de cod, numai 2 k atunci
este posibil sa se depisteze unele erori singulare deoarece 2 n k FRPELQDWH QX DX VHQV ÌQ
JHQHUDOILHXQFRGvQFDUH toate cuvintele sunt la distante mutuale de cel putin egale cu d 0 .
Cazul 1
Conditia necesara si suficienta ca un cod binar sa poata corecta cel mult r erori este
ca d 0 t 2 r 1
Cazul 2
Daca d 0 t 2 r se pot corecta cel mult r 1 erori.
3.2. Coduri bloc liniare

6H FRQVLGHUD FRGXUL EORF vQ FDUH ILHFDUH vQ ILHFDUH EORF GH k biti mesaj este codat
vQWU-un bloc de n ! k biti prin adaugarea de n k biti de control. Bitii de control sunt
obtinuti pe baza celor k biti mesaj, aVDFXPHVWHLOXVWUDWvQILJXUD.3.
44
mesaj cod bloc
Codor
canal
mesaj mesaj biti de control
k biti k nk
Fig. 3.3
Blocurile de n biti de la iesirea codorului canalului sunt numite cuvinte de cod

VLFRGXULOHSHQWUXFDUHELLLPHVDMDSDUODvQFHSXWXOFXYkQWXOXLGHFRGVXQWQXPLWHFRGXUL
VLVWHPDWLFH ÌQ SOXV GDFD ILHFDUH GL FHOH 2 k cuvinte de cod poate fi exprimat ca o
combinatie lineara de k vectori independenti, atunci codul este si linear.
&RGDUHDFRQVWDvQGRXDHWDSH
VHFYHQWDGHELWLLQIRUPDWLRQDOLHVWHVHJPHQWDWHvQEORFXULPHVDMGHFkWH k biti.
(2) codorul transforma fieFDUH EORF PHVDM vQWU-un bloc mai mare de n ELWL vQ
conformitate cu anumite reguli. Acesti n k biti aditionali sunt generati printr-o combinatie
lineara de biti mesaj si operatiile pot fi descrise folosind matrice.
Blocul mesaj este reprezentat printr-XQYHFWRUOLQLHDYkQG k componente
D >d1 d2 ...... d k @ cu
d i ^ 0,1`; i 1, k (3.3)
)LHFDUHEORFPHVDMHVWHWUDQVIRUPDWvQWU-XQFXYkQWGHFRG c de lungime n
C >c1 c2 ...... cn @
Se observa ca eficienta acestui cod este k n .
Pentru un cod linear, sistematic primii k ELWL DL FXYkQWXOXL GH FRG VXQW ELWLL PHVDM
adica
ci di i 1,2,......, k (3.4)
Ultimii n k ELWLDLFXYkQWXOXLGHFRGVXQWELWLLGHFRQWUROJHQHUDWLLSHED]DFHORU k
ELWLDLPHVDMXOXLvQFRQIRUPLWDWHFXDQXPLWHUHJXOLSUHGHWHUPLQDWH
45
c k 1 p11d1 p21d 2 p k ,1d k

(3.5)

cn p1, n k d1 p2, n k d 2 p k , n k d k
Coeficientii pi , j din ecuatiile (3.5) sunt booleene iar sumarea se face modulo -2.
Ecuatiile (3.4) si (3.5) pot fi combinate sub o forma matriceala
ª1000...0 p11 p12 ... p1, n k º

«0100...0 p21 p22 ... p2, n k »»
«
>c1 ... c n @ >d1 ... d k @ «0010...0 p31 p32 ... p3, n k » (3.6)
« »
« »
« 000...01 p k ,1 p k 2 ... p k , n k »¼ k u n
¬
sau
C D G (3.7)
unde G este o matrice de tip k u n numita matricea generatoare a codului si are

forma
G >I k P @ k u n (3.8)
Matricea I k este matricea unitate de ordinul k iar P este o matrice arbritara

k u n k . Sa remarcam ca specificarea lui P defineste complet codul bloc n, k .
Proiectarea unui cod bloc n, k prin selectarea unei matrici P trHEXLH VD DLED vQ
vedere urmatoarele proprieteti
- comoditatea implementarii
- capacitatea de a corecta erorile singulare si pachetele de erori (burst errors)
- eficienta codului da fie ridicata
k
Prin eficienta codului se Intelege raportul pentru o anumita capacitate de
n
detectie/corectie.
Trebuie mentionat ca nu exista o procedura de selectie a matricei P care sa satisfaca
toate proprietatile de mai sus.
3.3. Exemple de coduri liniare
Codul Hamming
Cele mai cunoscute coduri liniare sint codurile binare Hamming . Ele se dau cu
m
ajutorul matricei de control H, care este formata din m linii si 2 - 1 coloane, lar coloanele
sunt toate elementele nenule de lungime m. Spatiul nul al acestei matrice are distanta minima
egala 3, adica este un cod (n k) ce corecteaza o eroare si are urmatoarele caracteristici:
46
- lungimea combinatiilor de cod este n = 2m -1;
- numarul simbolurilor de control este r=n - k ;
-numarul simbolurilor informationale este k
Codul Reed-Muller
Reprezinta o categorie de coduri liniare care se deosebesc in mod esential de clasa
codurilor liniare prin algoritmul de codificare si decodificare (codul Hamming , coduri
simetrice pe k pozitii) .
La acest cod, spre deosebire de codurile simetrice algoritmul de decodificare nu poate
fi etapizat, atat detectia, corectia, cat si decodificarea propriu-zisa se produc simultan,
rezultand in urma algoritmului, in mod direct simbolurile informationale continute in cuvantul
de cod receptionat.
Lungimea n a coduluLHVWHRSXWHUHDOXLDGLFăQ m3HQWUXUQXPăUvQWUHJSR]LWLY
QXPăUXOSR]LĠLLORULQIRUPDĠLRQDOHHVWH
r
k ¦C i
m
i 0 (3.8)
1XPăUXOVLPEROXULORUGHFRQWUROHVWHGDWGHUHODĠLD
n k 1 Cm1 ... Cmmr 1 (3.9)
'LVWDQĠDPLQLPă+DPPLQJHVWHG m-r
La codul Reed-Muller, spre deosebire de cele sistematice, algoritmul de decodificare
nu poate fi etapizat, adica atat detectia cat si corectia si decodificarea propriu-zisa, se produc
simultan, rezultand in urma algoritmului in mod direct simbolurile informationale detinute din
codul receptionat.
Fie Vn un spatiu vectorial peste GF(2), n±dimensionali avand componentele 0 sau 1.
)LHX DDD«DQVLY EEE«EQSHVSDWLXOYHFWRULDO9QVHSRDWHGHILQLSURGXVXO
& &
u *V ¦ ai x bi
YHFWRULDO X [ 9 D E D E«DQ EQ VL SURGXVXO VFDODU si
& &
u *V GF (2) .
Se pot observa urmatoarele :
x produsul scalar este nul daca ponderea produsului vectorial este un numar par ;
x fata de operatiile descrise, multimea vectorilor de n elemente formeaza o algebra
liniara, asociativa si comutativa.
Codul Reed-Muller se poate defini cu urmatorii parametrii :

x n=2m, unde n este dimensiunea vectorilot cuvintelor de cod ;
r
¦C
k
k n
x k 0 , unde k este numarul de simboluri informationale din cod ;
x d=2m-r, unde d este distanta minima a codurilor ;
n k 1 Cm1 Cm2 ... Cmnr 1
x , pentru care se defineste codul RM(m,r) ;
ª d 1º
t « 2 »
x ¬ ¼ unde t este numarul de erori pe care il poate corecta codul RM(m,r).
Un cod Reed-Muller de ordinul r avand lungimea cuvintelor de cod 2m este un subspatiu

vectorial, generat de urmatorii vectori liniari independenti care constituie matricea
generatoare :
9 «
9P «
47
Vm- «
««««««««««««
Vm x Vm- ««««««« (3.10)
««««««««««««
9[9 ««««««««
««««««««««««
Vr x Vr-[9 ««««««
Algoritmul de codificare presupune produsul dintre mesajul informational X=a1xk x
Gkxn.
Codul Reed-Muller (5,2)

Folosind relatiile generale ale codului Reed-Muller(m,r) ne rezulta urmatoarele valori :
m=5 ; r=2 ; n=32 ; k=16 ; n-k=16 ; d=8 ; t=3, de aici rezulta ca putem corecta maxim 3
erori pe cuvant.
Matricea V pentru RM(5,2) este :
(1111 1111 1111 1111 1111 1111 1111 1111){V0}

(0000 0000 0000 0000 1111 1111 1111 1111){V5}
(0000 0000 1111 1111 0000 0000 1111 1111){V4}
(0000 1111 0000 1111 0000 1111 0000 1111){V3}
(0011 0011 0011 0011 0011 0011 0011 0011){V2}
(0101 0101 0101 0101 0101 0101 0101 0101){V1}
(0000 0000 0000 0000 0000 0000 1111 1111){V54}
(0000 0000 0000 0000 0000 1111 0000 1111){V53} (3.11)
(0000 0000 0000 0000 0011 0011 0011 0011){V52}
(0000 0000 0000 0000 0101 0101 0101 0101){V51}
(0000 0000 0000 1111 0000 0000 0000 1111){V43}
(0000 0000 0011 0011 0000 0000 0011 0011){V42}
(0000 0000 0101 0101 0000 0000 0101 0101){V41}
(0000 0011 0000 0011 0000 0011 0000 0011){V32}
(0000 0101 0000 0101 0000 0111 0000 0101){V31}
(0001 0001 0001 0001 0001 0001 0001 0001);{V21}
& & &
Se defineste X mxG unde m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31
a21).
Algoritmul de decodificare se bazeaza pe relatii de control. Pentru a scrie relatiile de
control pentru fiecare componenta a vectorului mesaj informational, se va analiza V, incepand
de la ultima linie V21, spre prima linie V0, pentru a identifica numarul componentelor diferite
de zero din fiecare linie a matricii. Pentru fiecare componenta nenula din liniile matricii vom
scrie cate un set de relatii de control corespunzator componentei informationale din mesajul
transmis care are acelasi indice cu vectorul analizat.
Mesajul informational este :
a 1 x k =(a 0 a 5 a 4 a 3 a 2 a 1 a 5 4 a 5 3 a 5 2 a 5 1 a 4 3 a 4 2 a 4 1 a 3 2 a 3 1 a 2 1 ).
Pentru determinarea lui aij se folosesc urmatoarele sisteme, apeland la logica majoritara.
Sumele din sistem sunt modulo2. Se calculeaza valoarea pentru fiecare aij si aij este valoarea
majoritara din sistem :
a21 y0 y1 y2 y3
a21 y4 y5 y6 y7
48
a21 y8 y9 y10 y11
a21 y12 y13 y14 y15
a21 y16 y17 y18 y19
a21 y20 y21 y22 y23
a21 y24 y25 y26 y27
a21 y28 y29 y30 y31

Iar a21 este valoarea majoritara a sistemului.
a31 y0 y1 y4 y5
a31 y2 y3 y6 y7
a31 y8 y9 y12 y13
a31 y10 y11 y14 y15
a31 y16 y17 y20 y21
a31 y18 y19 y22 y23
a31 y24 y25 y28 y29
a31 y26 y27 y30 y31

a32 y0 y2 y4 y6
a32 y1 y3 y5 y7
a32 y8 y10 y12 y14
a32 y9 y11 y13 y15
a32 y16 y18 y20 y22
a32 y17 y19 y21 y23
a32 y24 y26 y28 y30
a32 y25 y27 y29 y31

a41 y0 y1 y8 y9
a41 y2 y3 y10 y11
a41 y4 y5 y12 y13
a41 y6 y7 y14 y15
49
a41 y16 y17 y24 y25
a41 y18 y19 y26 y27
a41 y20 y21 y28 y29
a41 y22 y23 y30 y31

a42 y0 y2 y8 y10
a42 y1 y3 y9 y11
a42 y4 y6 y12 y14
a42 y5 y7 y13 y15
a42 y16 y18 y24 y26
a42 y17 y19 y25 y27
a42 y20 y22 y28 y30
a42 y21 y23 y29 y31

a43 y0 y4 y8 y12
a43 y1 y5 y9 y13
a43 y2 y6 y10 y14
a43 y3 y7 y11 y15
a43 y16 y20 y24 y28
a43 y17 y21 y25 y29
a43 y18 y22 y26 y30
a43 y19 y23 y27 y31

a51 y0 y1 y16 y17
a51 y2 y3 y18 y19
a51 y4 y5 y20 y21
a51 y6 y7 y22 y23
a51 y8 y9 y24 y25
a51 y10 y11 y26 y27
a51 y10 y11 y28 y29

50
a51 y14 y15 y30 y31
a52 y0 y2 y16 y18
a52 y1 y3 y17 y19
a52 y4 y6 y20 y22
a52 y5 y7 y21 y23
a52 y8 y10 y24 y26
a52 y9 y11 y25 y27
a52 y12 y14 y28 y30
a52 y13 y15 y29 y31

a53 y0 y4 y16 y20
a53 y1 y5 y17 y21
a53 y2 y6 y18 y22
a53 y3 y7 y19 y23
a53 y8 y12 y24 y28
a53 y9 y13 y25 y29
a53 y10 y14 y26 y30
a53 y11 y15 y27 y31

a54 y0 y8 y16 y24
a54 y1 y9 y17 y25
a54 y2 y10 y18 y26
a54 y3 y11 y19 y27
a54 y4 y12 y20 y28
a54 y5 y13 y21 y29
a54 y6 y14 y22 y30
a54 y7 y15 y23 y31

51
Dupa ce au fost scrise relatiile de control corespunzatoare vectorilor compusi, se
procedeaza in felul urmator:
x se elimina influenta din relatiile de control a componentelor corespunzatoare
vectorilor compusi ;
x se scriu numarul de relatii de control pentru vectorii simpli, in numar de cate
componente diferite de zero sunt pe fiecare din liniile lui V (pentru vectorii simpli).
8UPDWRUXOSDVHVWHGHWHUPLQDUHDOXL\¶ :
y¶=y-(a54* V54+a53* V53+a52* V52+a51* V51+a43* V43+a42* V42+a41* V41+a32* V32+a31* V31 +a21* V21);
Pentru a vedea valoarea componentei mesajului informational :

(a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
se procedeaza pe baza logicii majoritare.
a1 y0 y1
a1 y2 y3
a1 y4 y5
a1 y6 y7
a1 y8 y9
a1 y12 y13
a1 y14 y15
a1 y16 y17
a1 y18 y19
a1 y20 y21
a1 y22 y23
a1 y24 y25
a1 y26 y27
a1 y28 y29
a1 y30 y31
a2 y0 y2
a2 y1 y3
a2 y4 y6
a2 y5 y7
a2 y8 y10
52
a2 y9 y11
a2 y12 y14
a2 y13 y15
a2 y16 y18
a2 y17 y19
a2 y20 y22
a2 y21 y23
a2 y24 y26
a2 y25 y27
a2 y28 y30
a2 y29 y31
a3 y0 y4
a3 y1 y5
a3 y 2 y6
a3 y3 y 7
a3 y8 y12
a3 y9 y13
a3 y10 y14
a3 y11 y15
a3 y16 y20
a3 y17 y21
a3 y18 y22
a3 y19 y23
a3 y24 y28
a3 y25 y29
a3 y26 y30
a3 y27 y31
53
a4 y0 y8
a4 y1 y9
a4 y2 y10
a4 y3 y11
a4 y4 y12
a4 y5 y13
a4 y6 y14
a4 y7 y15
a4 y16 y24
a4 y17 y25
a4 y18 y26
a4 y19 y27
a4 y20 y28
a4 y21 y29
a4 y22 y30
a4 y23 y31
a5 y0 y16
a5 y1 y17
a5 y2 y18
a5 y3 y19
a5 y4 y20
a5 y5 y21
a5 y6 y22
a5 y7 y23
a5 y8 y24
a5 y9 y25
a5 y10 y26
a5 y11 y27
a5 y12 y28
a5 y11 y29
a5 y14 y30
a5 y15 y31
Dupa ce au fost evaluate componentele de la a1 la a5, se elimina influenta vectorilor

VLPSOLGLQYHFWRUXO\¶ :
y \¶-(a1*V1+ a2*V2+ a3*V3+ a4*V4+ a5*V5)
54
Pentru a evalua pe a0, observam numarul majoritar de componente din y ª LDU YDORDUHD
celor mai multe componente va fi valoarea lui a0. Mesajul corectat este :
m=(a0 a5 a4 a3 a2 a1 a54 a53 a52 a51 a43 a42 a41 a32 a31 a21)
Codul BHC
Codurile Bose-Chadhuri-Hocquenghem (BCH) constituie o clasă de coduri ciclice cu
o deosebită capacitate de corecĠie a erorilor, care generalizează codurile Hamming pentru
corecĠia erorilor multiple.
Un cod ciclic binar, corector de t HURULDYkQG
x Lungimea blocului n= , cu m vQWUHJ
x 1XPăUXOVLPEROXULORUGHFRQWUROQ-k mt, t ,
x DistanĠa d ,
se numeúWH FRG %+& GDFă DUH GUHSW SROLQRP JHQHUDWRU J[ SROLQRPXO GH FHO PDL PLF JUDG
SHVWHFkPSXO*)FDUHDUHFDUăGăFLQLHOHPHQWHOH DOHFkPSXOXL*DORLV
GF( ).
Prin urmare g( )=0, i=
Fie polinomul minimal al lui DGLFăSROLQRPXO GHFHO PDL PLFJUDGSHVWH
*) DVWIHO vQFkW $WXQFL SROLQRPXO JHQHUDWRU J[ WUHEXLH Vă ILH FHO PDL PLF
multiplu comun (c.m.m.m.c) al polinoamelor ,
úi anume: g(x)= (c.m.m.m.c){ , }.
8QQXPăUSDUi poate fi exprimat sub forma i=k* ,k , impar. Atunci =
este conjugatul elementului . DDUXQSROLQRPFDUHDGPLWHUăGăFLQLOH
DGPLWH GUHSW UăGăFLQL úi conjugatele acestora. Prin urmare, úi au acelaúi polinom
minimal úi deci . Atunci polinomul generator este de forma
g(x)= (c.m.m.m.c){ , }. (3.12)
*UGXOILHFăUXLSROLQRPPLQLPDOILLQGFHOPXOWHJDOFXm , polinomul g(x) va fi de grad

cel mult egal cu mt DVWIHOvQFkWQXPăUXOVLPEROXULORUGHFRQWUROQ-k , va fi cel mult egal cu
mt : n-k mt. /DOLPLWăvQFD]XOFRUHFĠLHLXQHLVLQJXUHHURULW UH]XOWăn-k mt.
55
Codul BCH de lungime , cu m VHQXPHVFFRGXUL%&+vQVHQVUHVWUkQV
(sau primitive). Aceste coduri sunt generate de elemente pULPLWLYHGHRUGLQPDLPLFGHFkW
din GF( ).
Un cod BCH de lungime FRUHFWRU GH R VLQJXUă HURDUH HVWH JHQHUDW GH
polinomul g(x)= .
Polinoamele minimale ale elementelor din GF( ) generate de g(x)=1+x+
Exemplu. WUHEXLHVăILHGHJUDGP GHFLGHIRUPD
=1+ (3.13)
Deoarece
=1+ (3.14)
Conform tabelului 3.3 vQVHDPQăFă
(3.15)
úLUH]XOWă
Deci
= 1+x+ (3.16)
56
Deoarece din 2t- UH]XOWăW VHGHGXFHXQFRG%&+FRUHFWRUGHGRXăHURUL úi de
lungime n= = 15 este generat de g(x)= (c.m.m.m.c){ ,
}= (x)=1+ .
Fie v(x) un polinom de cod cu coeficienĠLL vQ *) DVRFLDĠL XQXR FXYkQW GH FRG
v(x)= 3ROLQRPXO GH FRG DGPLWH UăGăFLQLOH
din GF( ).
'DFă HVWHRUăGăFLQăDOXLY[SHQWUX , atunci
+ (3.17)
Se introduce matricea
(3.18)
DVWIHOvQFkWY =0.
5H]XOWă Fă v HVWH vn spaĠiul nul al matricei H úi deci H este matrice de control a
codului.
AplicaĠii
Simularea cu ajutorul programului M ATLAB a codului BCH
Codurile BCH fac parte din categoria codurilor ciclice 6H YD LPSOHPHQWD vQ
SURJUDPXO0$7/$%VFKHPDSUH]HQWDWăvQILJXUDXUPăWRDUH
Se vor utiliza următoarele blocuri:
- Random-I nteger Generator: generează numere vntregi distribuite vn
intervalul [0, M-1]. Parametrii blocului sunt:
- µ0-ary number¶ este 2^7 deoarece codul BCH utilizat este BCH(15,7)
úLnumerele generate sunt reprezentate vn binar pe 7 biēi.
- µ,nitial seed¶ este [1458]. Modificknd acest parametru se modifica secvenēa
de numere generate.
- µSample time¶ este 1. Generează ckte un număU la fiecare secunGă
- I nteger to Bit Converter: transformă un vector de vntregi vntr-un vector de biēi.
Parametrul blocului este:
- µ1umber of bits per integer¶ este 7. Se lucrează pe 7 biēi.
- BCH Encoder: crează un cod BCH din datele vectorului binar. Parametrii blocului
57
sunt:
- µCodeword length N¶ este 15.
- µMessage length K¶este 7 deoarece se utilizează codul BCH(15,7).
- Binary Symmetric Channel: introduce erori binare. Parametrii blocului sunt:
- µError probability¶ este 0.1, pentru a nu introduce erori.
- µInput vector length¶ este 15 deoarece cuvkntul de cod cu care se adună
este reprezentat pe 15 biēi.
- µInitial seeG¶ este 12345.
- µSample time¶ este 1 pentru a se genera un eúantion la fiecare secXQGă- BCH Decoder:
decodează un cod BCH pentru a reface vectorul binar transmis. Parametrii blocului
sunt:
- µCodeword length N¶ este 15 .
- µMessage length K¶este 7 deoarece se utilizează codul BCH(15,7).
- Bit to I nteger Converter: transformă un vector de biēi vntr-un vector de vntregi.
Parametrul blocului este:
- µ1umber of bits per integer¶ este 7.
- Error M eter: compară semnalele de la intrare, le afiúează úi evaluează rata de eroare.
Parametrii blocului sunt:
- µBit per symbol¶ este 7 deoarece utilizează 7 biēi pentru fiecare simbol transmis.
- µ1umber of digits on display¶ este 20 deoarece afiúează 20 de
simboluri.
- µ'elay between input (1st port) and output (2nd port)¶ este 0.
- µSample time¶ este 1 deoarece se consideră un eúantion la fiecare secundă.
- Sum: afiúează suma elementelor de la intrare. Parametrii blocului sunt:
- µIcon shape¶ este rectangular.
- µList of signs¶ este +.
- Graph Scope: afiúează numărul de erori. Parametrii blocului sunt:
- µTime range¶ este 10.
- µy-miQ¶ este -1.
- µy-ma[¶ este 5.
- µLine type¶este 'ro/b*'
- M ux: multiplexează semnalele de la intrare.
- Display: afiúează valoarea de la intrare.
Se va realiza schema bloc aratDWă úL se va rula pentru diferite valori ale probabilitatii
de eroare si se vor analiza rezultatele.
58
Simularea cu ajutorul programului M ATLAB a codului Hamming
ÌQ FDGUXO OXFUăULORU GH ODERUDWRU YD IL SXVă OD GLVSR]LĠLH R DSOLFDĠLH VRIWZDUH care
LPSOHPHQHD]ă DOJRULWPXO GH FRPSUHVLH 6KDQQRQ-)DQR (FUDQXO DSOLFDĠLHL HVWH SUH]HQWDW vQ
ILJXUDXUPăWRDUH
59
([HUFLĠLLUH]ROYDWH
8QQXPăUGHVLPEROXULVHWUDQVPLWFXDMXWRUXOXQXLFRG+DPPLQJJUXSFRUHFWRUGHR
eroare úi detector de erori duble. Se cere:
a. Vă VH GHWHUPLQH QXPăUXO VLPEROXULORU GH LQIRUPDĠie k, al celor de control m, úi
OXQJLPHDFXYkQWXOXLGHcod n;
b. VăVHVFULHPDWULFHDGHFRQWURO+DFRGXOXL
c. VăVHVWDELOHDVFăH[SUHVLDFRUHFWRUXOXLFRUHVSXQ]ăWRUHURQăULLVLPEROXOXL c2 ;
d. VăVHGHWHUPLQHFRUHFWRUXOFRUHVSXQ]ăWRUHURQăULLVLPEROXULORU c2 úi c1 ;
e. VăVHGHWHUPLQHFXYLQWHOHGHFRG
f. VăVHSUHFL]H]HGDFă v >1 1 0 0 1 1 0@ HVWHXQFXYkQWDODFHVWXLFRG
SoluĠie
D 1XPăUXO VLPEROXULORU GH LQIRUPDĠie k VH GHWHUPLQă FX UHODĠLD úi
UH]XOWăN
0DUJLQHD +DPPLQJ Gă SHQWUX QXPăUul simbolurilor de control:
GLQFDUHUH]XOWăFăP
La aceste simboluri de control, care permit corecĠLD XQHL HURUL WUHEXLH DGăXJDW
simbolul de verificare la paritate, aúDvQFkWQXPăUXOWRWDODOVLPEROXULORUGHFRQWUROYDIL
=m+1=3+1=4
6WUXFWXUDFXYkQWXOXLGHFRGYDIL
Unde HVWHVLPEROXOGHYHULILFDUHDSDULWăĠii, iar - simbolurile de control

pebtru codul corector de o eroare.
b). Matricea H a codului corector de o eroare este de forma:
H=[ ]
respectiv:
H=
Cu relaĠia (2.33) se obĠine pentru matricea expresia:
60
=
F3HQWUXDFHVWFD]FXYkQWXOGHHURDUHHVWHGHIRUPD
Cu relaĠLDUH]XOWăSHQWUXH[SUHVLDFRUHFWRUXOXL
Din expresiDFRUHFWRUXOXLUH]XOWăFăDSDUHRHURDUHFRUHFWDELOă pe poziĠia a
2-a (z= ).
G3HQWUXDFHVWFD]FXYkQWXOHURDUHHVWHGHIRUPD
úLUH]XOWă:
&RUHFWRUXODUDWăFăDSDUGRXăHURULGHWHFFWDELOH ).
H &XYLQWHOH GH FRG VH SRW VFULH FDOFXOkQG VLPEROXULOH GH FRQWURO GLQ FHOH GH LQIRUPDĠie cu
relaĠia GLQFDUHUH]XOWă
61
Cuvintele GHFRGVHJăVHVFvQWDEHOXOXUPăWRU
Simboluri
Cuvinte
0 0 0 0 0 0 0
1 0 1 0 1 0 1
1 1 0 0 1 1 0
0 1 1 0 0 1 1
1 1 1 1 0 0 0
0 1 0 1 1 0 1
0 0 1 1 1 1 0
1 0 0 1 0 1 1
I6HFDOFXOHD]ăFRUHFWRUXO astfel:
= =
Deoarece LDU] FXYkQWXOGDWHVWHXQFXYkQWDODFHVWXLFRGFHHDFHHUDXVRU
de constatat úi prin inspectarea tabelului anteriorvQFDUHvOUHJăVLPVXEIRUPDFXYkQWXOXL .
TESTE DE AUTOEVALUAR(ù,7(0('(&21752/
Testul nr. 1
6HFRQVLGHUăXQFRGJUXSFXPDWULFHDGHFontrol de forma:
ª1 0 0 1 1º
H «0 1 0 0 1 »
« »
«¬0 0 1 1 0»¼
a. VăVHGHWHUPLQHSURSULHWăĠile de corecĠie ale codului. Codul este perfect?
b. VăVHVWDELOHDVFăGDFăPDWULFHD
62
ª1 0 1 1 0º
G «1 1 0 0 1»
¬ ¼
SRDWHVăILHPDWULFHDJHQHUDWRDUHDFRGXOXL
c. VăVHVFULHFXYLQWHOHGHFRGXWLOL]kQd matricele H úi G.
>@ $ 6SăWDUX 7HRULD 7UDQVPLVLXQLL ,QIRUPDĠLHL (G 'LGDFWLFă úL 3HGDJRJLFă %X-
cureúti, 1983.
1983
>@,$QJKHORLX7HRULDFRGXULORU(G0LOLWDUă%XFXUHúti, 1972.
[4] J.C. Moreira, P.G. Farrell, ESSENTIALS OF ERROR-CONTROL CODING, John

Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ,
England,2006.
63

Transmit Ere A Si Codificarea Informatiei

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Transmit Ere A Si Codificarea Informatiei

Încărcat de

Drepturi de autor:

Formate disponibile

UNIVERSITATEA TITU MAIORESCU

Profesor univ. dr. ing. Lector univ. dr.ing.

5Ă&8&,8&,35,$1 GRECU DAN

TEORI A TRANSM I TERI I ù,&2',),&Ă5,,

1.1. Informatia ± JHQHUDOLWăĠL..............................................................pag.5

1.2. Sistemul de transmitere a informatiei. .......................................pag.6

1.3. 1.3. Modele de surse informationale. .........................................pag.7

1.4. 1.4. Modelul probabilistic al semnalelor.....................................pag.8

MODULUL 1- CAPITOLUL 2 - 0Ă685,,1)250$ğ,21$/(SDJ

2.1. Modele de surse informationale.....................................................pag.9

MODULUL 2 - CODAREA SURSELOR ,1)250$ğ,21$/( .................... .........pag.22

1.1 Codificarea surselor discrete.......................................................pag.23

1.2 Codificarea neuniforma................................................................ pag.23

1.3. Codarea si decodarea pe canale fara perturbatii«««««... pag.25

ELEMENTE DE TEORIA TRANSMITERII INFORMAğIEI

Purtatorul material al informatiei - semnalul - isi pastreaza capacitatea sa de a transmite

1.3. M odele de surse informationale.

Probabilitatea ca rezultatul experimentului va fi un element oarecare x, se noteaza cu

Fig.1.2 Entropia semnalului

2.2. I nformatia proprie conditionata.

Cantitatea de informatie proprie conditionata a evenimentului X=Xk ,cu conditia ca a

si H(x)=0.Daca repartitia lui Xnu este degenerate,atunci H(x)>0.

log Px  Qy t P log x  Q log y (1.19)

in care avem egalitate daca si numai daca x=y.

in care avem egalitate daca si numai daca X si Y sunt statistic independente.

(i) daca pk  p j  I (mk ) ! I (mj )

O functie continua de variabila pk care satisface proprietatile (i)-(iv) este functia

Daca baza logaritmului este 2, unitatile de masura sunt biti (informationali).

Pentru cazul simplu al unei transmiteri seriale asincrone

(a) I 24  80  128  log2 3 [biti ]

Sa se reia problema # 3 daca probabilitatile de aparitie a nivelurilor sunt

(1  q)> p( x1 ) log p( x1 )  p( x2 ) log p( x2 )@  (1  q) log(1  q)  q log q

Conform regulii de inlantuire

Din graf se deduce ca

pentru setul optim de probabilitate la intrare p0 ( x1 ) p0 ( x2 ) 1.

Se considera sursa care genereaza un alfabet de simboluri xi , i 1,, n si la destinatie

unde P( X ) este matricea linie a sursei (1u n) ;

(f) I ( X , Y) H( X )  H(Y)  H( X , Y) 0,06 bit / simbol

(g) canalul fiind dublu uniform

Setul optim p0 ( x1 ) , p0 ( x2 ) se obtine din

Se mai poate utiliza si relatia p0 ( x1 )  p0 ( x2 ) 1

R(C) C  I ( X , Y) 0,022 bit / simbol

(a) canalul fiind simetric  p( x2 , y1 ) p( x1 , y2 ) si folosind proprietatea (iii) a evenimentelor

>@$6SăWDUX7HRULD7UDQVPLVLXQLi InformaĠLHL(G'LGDFWLFă úL3HGDJRJLFă%X- cureúti,

Compresia datelor este un proces de re prin carH VH XUPăUeúWH

CODAREA SURSELOR ,1)250$ğ,21$/(

1.1 Codificarea surselor discrete.

In general,trecerea de la un sistem de semnale primare la un sistem de semnale secundare

1.2 Codificarea neuniforma.

Fie un cuvant de cod

In cadrul modulului 1 s-a aratat ca un sistem digital de comunicatie presupune un

Definirea unui cod. )LHRVXUVDGLVFUHWDIDUDPHPRULHDYkQGDOIDEHWXO

S ^s1, s2 ,......, sN ` (2.3)

P ^ p1, p2 ,......, pN ` (2.4)

Fie alfabetul canalului

X ^x1, x2 ,......, xq` (2.5)

constituit dintr-un numar finit de semne (litere, caractere)

Orice aplicatie S o X * se numeste codarea alfabetului S prin alfabetul X

mj si 1, si 2 ,......, sik (2.7)

este codat prin secventele de cuvinte de cod (cu sens)

mj si 1* , si *2 ,......, sik* (2.8)

Alcatuirea unui cod. Teorema Kraft

Conditia necesara si suficienta pentru existenta unui cod ireductibil de N cuvinte de

1. Se reaminteste ca q card X este numarul de litere din alfabetul canalului.

1.1. Informatia ± JHQHUDOLWăĠL..............................................................pag.5

MODULUL 1- CAPITOLUL 2 - 0Ă685,,1)250$ğ,21$/(SDJ

logPx Qy t P log x Q log y (1.19)

(i) daca pk p j I (mk ) ! I (mj )

(a) I 24 80 128 log2 3 [biti ]

(1 q)> p( x1 ) log p( x1 ) p( x2 ) log p( x2 )@ (1 q) log(1 q) q log q

Se considera sursa care genereaza un alfabet de simboluri xi , i 1,, n si la destinatie

(f) I ( X , Y) H( X ) H(Y) H( X , Y) 0,06 bit / simbol

Se mai poate utiliza si relatia p0 ( x1 ) p0 ( x2 ) 1

R(C) C I ( X , Y) 0,022 bit / simbol

(a) canalul fiind simetric p( x2 , y1 ) p( x1 , y2 ) si folosind proprietatea (iii) a evenimentelor

>@$6SăWDUX7HRULD7UDQVPLVLXQLi InformaĠLHL(G'LGDFWLFă úL3HGDJRJLFă%X- cureúti,

mj si 1* , si 2 ,......, sik (2.8)

VXUVDUHVWUkQVă úLDúD PDLGHSDUWH SkQăFkQGVH REĠLQHRVXUVăUHVWUkQVă IRUPDWăQXPDLGLQ

- VXEPXOĠLPLL LVHDORFăVLPEROXOVDX

VXEPXOĠLPHUHVWUkQVă YDFRQĠLQHN í n mesaje, care sunt úL DGLFăVHSRDWHVFULH

FRGDUH'DFăvQVăVXEPXOĠLPLL L VHDORFăVLPEROXO LDUVXEPXOĠLPLL simbolul "0",

PDLUH]XOWă SRVLELOLWăĠLGHFRGDUH5H]XOWăGHFL FăSULQDFHVWSURFHGHXGHFRGDUHVHSRW

realiza FRGXUL LQVWDQWDQHH WRDWH DYkQG WRDWH DFHHDúL OXQJLPH PHGLH D

'DFăGHH[HPSOXVXUVDJHQHUHD]ăODXQPRPHQWGDWúLUXULGHPHVDMH úL mai multe

unde HVWHXQQXPăUvQWUHJSR]LWLY'DFăUHODĠLDHVWHVDWLVIăFXWăPXOĠLPHDS = {s1, s2

6XEPXOĠLPLOH úL VHSRWSDUWLĠLRQDODUkQGXOORUvQ úL UHVSHFWLYvQ úL

6HSURFHGHD]ă vQ PRGDQDORJSkQăVHREĠLQVXEPXOĠLPLFDUHFRQĠLQXQVLQJXU PHVDM6H

VXEPXOĠLPHDFRQĠLQHXQVLQJXUPHVDM úLDUHXQQXPăUGHLQGLFLHJDOFX , atunci se poate

ÌQORFXLQGvQUH]XOWăUHODĠia (1.22):

Graful arborescent ataúat codului astfel obĠLQXWHVWHUHSUH]HQWDWvQ)LJ

nB nC 0,5 1 0,25 2 0,125 3 0,125 4 1,875

Codul D are nD 0,5 1 0,25 2 0,125 3 1,75 si

'DFDWRDWHFXYLQWHOHGHFRGDX VHQVDWXQFLRULFHHURDUHFRQGXFH ODXQDOWFXYkQWGH

Daca d 0 t 2 r se pot corecta cel mult r 1 erori.

ª1000...0 p11 p12 ... p1, n k º

a21 y12 y13 y14 y15

a21 y16 y17 y18 y19

a21 y20 y21 y22 y23

a21 y24 y25 y26 y27

a21 y28 y29 y30 y31

a31 y8 y9 y12 y13

a31 y10 y11 y14 y15

a31 y16 y17 y20 y21

a31 y18 y19 y22 y23

a31 y24 y25 y28 y29

a31 y26 y27 y30 y31

a32 y8 y10 y12 y14

a32 y9 y11 y13 y15

a32 y16 y18 y20 y22

a32 y17 y19 y21 y23

a32 y24 y26 y28 y30

a32 y25 y27 y29 y31

a41 y2 y3 y10 y11

a41 y4 y5 y12 y13

a41 y6 y7 y14 y15

a41 y18 y19 y26 y27

a41 y20 y21 y28 y29

a41 y22 y23 y30 y31

a42 y4 y6 y12 y14

a42 y5 y7 y13 y15

a42 y16 y18 y24 y26