Curs Teoria Informatiei Si A Codarii

CURS TEORIA
INFORMATIEI SI A
CODARII
Prof.dr.ing. Adrian Mihaescu
Curs TTI
Curs TTI EA CUPRINS
1.1.2 Modelul unui sistem de transmisiune a informaiei
1.1.3 Cerinele unui sistem de transmisiune a informaiei
1.1.4 Msura informaiei n cazul semnalelor discrete
1.1.5 Tipuri de surse de informaie
1.1.6 Parametrii surselor de informaie
1.2.1 Terminologie
1.2.2 Entropii condiionate
Transinformaia
1.2.3 Capacitatea canalului discret
1.3 Codarea surselor pentru canale fr perturbaii

1.3.1 Scopul codrii surselor de informaie
1.3.2 Tipuri de coduri
1.3.3 Lungimea medie a unui cuvnt de cod
1.3.4 Eficiena i redundana unui cod
1.3.5 Prima teorem a lui SHANON (teorema codrii canalelor fr zgomot )
1.3.6 Metode de codare binar
Codarea Shannon-Fano
Cap.2 Codarea pentru canale cu pertubaii

2.1 Scopul codrii pentru protecie
2.2 Clasificarea codurilor detectoare sau corectoare de erori
2.3 Teorema lui Shanonn II pentru canale cu perturbaii
2.4 Reguli de decizie
2.5Coduri simple detectoare de erori
2.5.1 Codul cu repetiie detector de erori
2.5.2 Cod cu pondere constant detector de erori
2.6 Coduri grup

2.6.1 Principiul decodrii utiliznd matricea de control
2.6.2 Condiii impuse matricei de control pentru a detecta sau corecta erori
2.6.3 Construcia matricei de control pentru a detecta un numr impar de erori
2.6.4 Construcia matricii de control pentru a detecta dou erori
2.7 Codul grup Hamming, corector de o eroare

2.7.1 Descrierea codului grup Hamming
2.7.2 Codarea codului grup Hamming
2.7.3 Decodarea codului grup Hamming
Curs TTI
Codul Hamming corector de o eroare i detector de dou erori
2.8 Coduri iterate

2.8.1 Coduri iterate cu distana Hamming 2 x 2
2.8.2 Coduri iterate cu distan Hamming 2 x 3
2.9 Coduri ciclice

2.9.1 Descrierea codurilor ciclice
2.9.2 Codarea cuvintelor cu ajutorul polinomului generator g(x)
2.9.3 Codarea cu ajutorul matricii de control
T
T
: GH = HG
2.9.4 Decodarea codurilor ciclice

2.9.5 Decodor cu registru de deplasare cu reacie
Cap.3 SEMNALE ALEATOARE

3.1 Definiia i clasificarea semnalelor aleatoare:
3.2 Variabile aleatoare
3.2.1 Funcia de repartiie a variabilei aleatoare
3.2.2 Densitatea de probabilitate a unei v.a.
3.2.3 Distribuia uniform
3.2.4 Distribuia normal
3.2.5 Momentele de ordinul k ale v.a.
3.3 Valori medii ale semnalelor aleatore

3.3.1 Valori medii statistice ale semnalelor aleatore
3.3.2 Valori medii temporale ale semnalelor aleatoare
3.3.3 Semnale aleatoare staionare
3.3.4 Semnale aleatoare ergodice
3.3.5 Semnalul aleator pur
3.4 Densitatea spectral de putere. Teorema Wiener Hincin
3.4.1 Densitatea spectral de putere a semnalelor aleatoare staionare
Curs TTI
3.4.2 Teorema Wiener Hincin
3.5 Dezvoltarea Karhunen-Love a semnalelor aleatoare n serie cu coeficieni necorelai
3.6 Transformri liniare ale semnalelor aleatoare
Cap.4 Transmiterea discret a semnalelor continue

4.1. Sisteme cu modulaia impulsurilor
4.2 Transferul informaiei n sistemele cu modulaie n impuls
4.3Eantionarea. Spectrul semnalelor MIA
4.3.1 MIAN modulaia impulsurilor n amplitudine natural
4.3.2 MIAV modulaia impulsurilor n amplitudine uniform
4.3.3 Teorema eantionrii
4.4 Conversia Analog-numeric

4.4.1 Cuantizarea
4.5 Modulaia delta

4.5.1 Modulaia delta uniform
4.5.2 Modulaia delta adaptiv
.
Cap.5 DETECTIA SEMANALELOR BINARE ACOPERITE DE

ZGOMOT
5.1 CRITERII DE DECIZIE BINARA
5.1.1 Criteriul lui BAYES
5.1.2 Criteriul observatorului ideal
5.1.3 Criteriul probabilitii aposteriori maxime
5.1.4 Criteriul min-max
5.1.5 Criteriul Neuman-Pearson
5.2 Detecia discret a semnalului binar

5.2.1 Calculul raportului de plauzibilitate
5.2.2 Probabilitile deciziilor corecte i false
5.3 Detecia continuu a unui semnal binar

5.3.1 Descompunerea semnalului recepinat n sum de funcii ortonormate
5.4 Detecia a dou semnale binare observate continuu
Curs TTI
Cap.6 ESTIMAREA PARAMETRILOR

6.1 Introducere
6.2 Parametrii aleatori: estimatori de tip Bayes

6.2.1 Criteriul de estimare mediu ptratic.
6.2.2 Criteriul de estimare maxim aposteriori.
6.3 Estimarea discret
6.3.1 Estimarea discret utiliznd criteriul estimrii maximum aposteriori

6.4 Estimarea continu
6.4.2 Estimarea unui parametru determinat necunoscut
6.4.3 Estimarea liniar prin observaii continue a unui parametru determinist

necunoscut.
6.5 Criterii de evaluare ale calitii estimailor
Curs TTI
Cap.1 Surse de informaie. Canale de transmisiune
1.1 Surse de informaie

1.1.1 Terminologie
Noiunile utilizate n teoria transmisiunii informaiei:
Informaie - Presupunem c ntr-o situaie oarecare pot avea loc N evenimete diferite, egal
probabile, probabilitatea de realizare a unui eveniment A fiind p(A)=1/N. Odat ce unul din cele
N evenimente au fost realizate se obine o informaie. Aceast informaie este cu att mai mare cu
ct evenimentul este mai imprevizibil, respectiv cu ct probabilitatea sa este mai mic. Prin
definitie informaia obinut este:
i ( A ) = log 2
1
= log 2 p ( A ) = log 2 N
p (A )
Ex 1. Aruncarea zarului.
Ex 2. Exist 12 monede din care una fals ce poate fi mai uoar sau mai grea. Folosind o
balan egal s se determine, utiliznd noiunea de informaie, cte cntriri sunt necesare pentru
a determina moneda fals i s se specifice dac este mai uoar sau mai grea.
A- evenimentul determinrii monedei false;
B- evenimentul determinrii dac moneda fals este mai uoar sau mai grea;
C- evenimentul compus: A intersectat cu B.
p(A)= 1/12;
p(B)=1/2;
p(C)=1/12*1/2= 1/24
1
= log 2 24
p (C )
i C = log 2
iC informaie necesar pentru a solva problema.

io = log2 3 informaia furnizat de o cntrire (balaa, la o cntrire, poate s se ncline
spre dreapta, spre stnga sau s nu se incline 3 posibiliti).
kmin se afl punnd condiia ca informaia furnizat de cntriri s fie mai mare dect
informaia necesar:
kmin log23 log224
kmin =3
Concluzii:
- informaia, dup definiia probabilitii, ne d o msur calitativ asupra unui sistem, ne
spune de cte cntriri avem nevoie; nu spune cum se face msurarea cu balana;
- informaia este o msur cantitativ util pentru analiza sistemelor de transmitere a
informaiei.
1
Curs TTI
1.1.2 Modelul unui sistem de transmisiune a informaiei
Cel mai simplu model al unui sistem de transmisiune a informaiei este:
Sursa de informaie un mecanism tehnic sau o procedur matematic care poate alege i
emite un mesaj dintr-un ansamblu de mesaje posibile, alegerea fcndu-se n mod aleator.
Sursa de informaie se caracterizeaz prin setul de mesaje posibil a fi selectate denumite
simboluri sau litere.
Utilizator destinaia final la care trebuie s ajung mesajul transmis.
Canal totalitatea mijloacelor destinate transmiterii mesajului; prin mijloace ntelegem
att aparatura ct i mediul prin care se poate transmite, i include toate sursele de perturbaii.
Modulare transformarea unui mesaj ntr-un semnal, cu scopul de a facilita transmisiunea
printr-un canal dat sau de a realiza transmisiuni multiple prin acelai mediu. Scopul secundar al
modulaiei este de a mri eficiena transmisiunii prin micorarea efectului perturbaiilor ce
intervin n pocesul de transmisiune.
Demodulare operaia invers modulrii.
Codare- prelucrarea discret a mesajului cu scopul mririi eficienei de transmisie.
Uneori termenul de codare nglobeaz i modularea.
Decodare operaia invers codrii.
1.1.3 Cerinele unui sistem de transmisiune a informaiei
Sarcina unui sistem de transmisiune a informaiei este de a pune la dispoziia
utilizatorului informaia generat de surs, cu un grad de deteriorare specificat, admis.
n tehnicile de comunicaii se obinuiete s se introduc un criteriu de fidelitate, pentru
aprecierea reproducerii semnalului generat de surs la utilizator.
n sistemele de transmisiune analogic, criteriul de fidelitate ales este uneori eroarea
medie ptratic:
x(t) mesaj transmis; y(t) mesaj recepionat;

iar medierea se face n raport cu timpul; alteori se alege drept criteriu de fidelitate raportul
semnal/ zgomot.
Curs TTI
n(t) zgomot perturbator;
n sistemele de transmisie numeric criteriul de fidelitate l reprezint probabilitatea
recepionrii unui mesaj eronat, numit rata erorii (BER Bit Error Rate).
1.1.4 Msura informaiei n cazul semnalelor discrete
Informaia este o msur a nedeterminrii asupra unui sistem de evenimente, respectiv o
msur a incertitudinii asupra rezultatului alegerii printr-un mecanism oarecare aleator, a unui
eveniment din mulimea evenimentelor posibile distincte. Aceast msur nu se refer la valoarea
subiectiv a informaiei. Ea este o msur obiectiv privind incertitudinea mecanismului prin care
se realizeaz un eveniment din mulimea evenimentelor psibile.
Fie un experiment care are n realizri posibile pe care le organizm n spaiul
eantioanelor.
X={x1, x2,, xn}
Fiecrui eveniment i se asociaz o probabilitate
n
P={p(x1),p(x2),,p(xn)} a..
p(x i ) = 1
i =1
Ansamblul [x,p] formeaz o surs de informaie discret.
xn
x
X= 1
p (x 1 ) p (x n )
Msura incertitudinii asupra realizrii unui eveniment xi este o funcie de probabilitate
apriorii de realizare a acestui eveniment F(pi), unde: Pi = p(xi); U(xi) = F(pi) i reprezint
incertitudinea iniial (apriori) asupra realizrii evenimentului xi.
Cnd evenimentul elementar xi se realizeaz, aceast incertitudine a fost nlturat i se spune
c s-a obinut o informaie i(xi) asupra realizrii lui xi. Acest informaie poate fi definit prin :
- informaia obinut asupra lui xi prin realizarea lui xI;
- anularea incertitudinii asupra realizrii lui xi dup ce s-a realizat xi
def
i (x i ) = U (x i ) = F (p i )
Funcia F poate fi aleas dintr-o clas mare de functii care s ndeplineasc condiia de
aditivitate: dac un eveniment xi este format din 2 evenimente xi1 i xi2, xI = xi1 intersectat cu xi2
i(xi)=i(xi1)+i(xi2)
F (x
)=
F[p(xi)]=F[p(xi1)]+F[p(xi2)]
1
= log 2 x
x
Fie cazul cel mai simplu al unei surse discrete format din 2 evenimente:
log
x2
x1
p (x ) p (x )
1
2
S-a convenit s se aleag unitatea de informaie ca informaia ce se obine prin alegerea la
ntmplare a unui eveniment din dou evenimente egale probabile:
Curs TTI
i (x 1 ) = i (x 2 ) = log
x
X= 1
1 / 2
2 = 1 bit
x2
1 / 2
1.1.5 Tipuri de surse de informaie

Surse discrete care debiteaz mesaje n form discret (de ex. succesiunea de impulsuri)
Def: Xi simbol sau liter este elementul fundamental ireductibil care conine informaie,
respectiv o realizare particular a sursei de informaie.
{Xi}- alfabet, totalitatea simbolurilor;
Cuvnt - o succesiune finit de simboluri binare;
Limb - totalitatea cuvintelor formate cu un anumit alfabet;
Codare sau cifrare - se stabilete o coresponten ntre o limb i alt limb;
Decodare sau decifrare - operaia invers codrii;
Surs discret fr memorie sursa la care probabilitatea de apariie a unui simbol nu
depinde de simbolurile precedente:
P (x i / x i 1 , x i 2 ,...
)=
P (x i )
Surs discret cu memorie sursa la care probabilitatea de apariie a unui simbol depinde
de simbolul precedent sau de un ir de simboluri anterioare, dac sursa are o memorie mai mare.
Surs staionar sursa la care probabilitaile diferitelor simboluri nu depind de originea
timpului n care ncepe observarea acesteia.
Surs ergodic este sursa pentru care frecvenele de apariie a diferitelor simboluri
obinute prin observarea unei secvene particulare de simboluri emise de surs tind ctre
probabilitaile acestora p1,,pn.
Surs discret fr constrngeri - sursa staionar care nu are memorie, adic sursa la care
dup un simbol poate urma orice alt simbol cu aceeai probabilitate.
Sursa discret cu constrngeri fixe este sursa la care unele simboluri pot fi folosite
numai n condiii bine precizate.
1.1.6 Parametrii surselor de informaie
Entropia H(X) este incertitudinea medie apriori asupra evenimentelor sursei X sau
informaia proprie medie pe simbol a respectivei surse.
n
H (X ) = p i log 2 p i =
i =1
i (x i ) p (x i )
i =1
Proprietile entropiei:
1. Continuitatea - H(X) este o functie continu n raport cu pi [0,1];
2. Simetria - simetric n raport cu pI;
3. Aditivitatea - aditivitatea informaiei proprie;
4. Entropia are maximul pentru P1=P2==Pn;
Exemplificm pentru cazul unei surse binare:
x
X = 1
p1
x2
p 2
Curs TTI
H (X ) = p1 log 2 p1 p 2 log 2 p 2 =
= p1 log 2 p1 (1 p1 ) log 2 (1 p1 )
Debitul de informaie
n unele situaii este util ca noiunea de informaie s fie legat de timp. n acest caz, se
definete debitul de informaie ca raportul ntre entropia sursei i timpul mediu de emisie a unui
simbol al sursei.
n
H ( X ) bit
D=
;
=
pi i
s
i =1
Redundana unei surse
Pentru a indica ct de mult se ndeprteaz entropia unei surse de la valoarea ei maxim
posibil, se definete redundana ca fiind diferena ntre valoarea maxim a entropiei sursei i
valoarea ei real.
R = H max H (X ) , unde: H max = log 2 n

Eficiena sursei
Eficiena unei surse se definete ca fiind:
H (X )
=
H max
Redundana relativ
Este redundana raportat la entropia maxim:
H (X )
R
= 1
=
H max
H max
Curs TTI
1.2 Canale discrete

1.2.1 Terminologie
ntre sursa de informaie i utilizator, exist un mediu prin care trebuiesc transmise
informaiile, care se numete canal.
Canalul ca i model matematic, stabilete o transformare de la spaiul simbolurilor de
intrare X = {x i }, la spaiul simbolurilor de ieire Y = {y j }m .
Canalul se numete discret, dac att spaiul de intrare, ct i cel de ieire, sunt discrete.
Vom analiza un astfel de canal discret.
x ..........x n
X= 1
p(x 1 )......p( x n )
y ..........y m
Y= 1
p(y1 )......p(y m )
Dac nu se face nici o ipotez asupra independenei sau dependenei elementelor xi i yj ,

avem matricea de probabiliti sau matricea de transfer a canalului:
p(y1 , x1 ) p(y 2 , x1 )........p (y m , x1 )

.
P(X, Y ) =
.
p(y1 , x n ).........................p (y m , x n )
Aceast matrice, are proprietatea c:
m
1 = p{U(y1 , x i ) I U(y 2 , x i ) I ... I U(y m , x i )} = p(y j , x i )

j=1
p ( y j , xi ) = p( xi , y j ) = p( xi ) p( y j / xi ) = p ( y j ) p( xi / y j )
Canalul discret poate fi definit de trei cmpuri crora le corespund trei entropii:
- cmpul de intrare H(X);
- cmpul de ieire H(Y);
- cmpul reunit intrare ieire H(X,Y).
Expresiile acestor entropii sunt:
n
H(X ) = p(x i )log 2 p(x i )

i =1
H(Y ) = p(y j ) log 2 p(y j )

m
j =1
H(X, Y ) =
i =1
p(x , y ) log p(x , y )

m
j =1
Curs TTI
1.2.2 Entropii condiionate
Echivocaia
Dac, cmpul de evenimente de la ieirea din canal este cunoscut, datorit efectelor
perturbaiilor rmne totui o oarecare incertitudine asupra cmpului de la intrare.
Valoarea medie a acestor incertitudini, entropia cmpului X condiionat de cmpul Y, se
noteaz cu H(X/Y) i se numete echivocaie. Reprezint msura echivocului, a incertitudinii
asupra cmpului de intrare, cnd se cunoate cmpul de ieire Y.
x1 o
.
.
.
.
.
xno
oy1
.
.
oyj
.
.
ym
Dac la ieirea din canal, apare simbolul yj, exist o incertitudine asupra simbolului care a
fost de fapt emis. Acesta poate s fie oricare dintre x1,..xn. Incertitudinea asupra emiterii
simbolului x1 dac s-a recepionat yj, este:
1
= log 2 p x i / y j
p xi / y j
I x i / y j = U x i / y j = log 2
Valoarea medie a acestei incertitudini este:
H X/y j = p x i y j
) U (x i y j ) = p(x i y j )log2 p(x i y j )

n
i =1
Dac facem valoarea medie pentru toate valorile posibile ale lui yj este:
H(X/Y ) = p(y j ) H (X/y j ) =
n
=
i =1
j=1
i =1
p(y ) p(x /y )logp(x /y ) =

m
j=1
p(x , y ) logp(x /y )
m
j=1
Eroarea medie. n mod analog, se poate determina entropia cmpului de ieire, dac se cunoate
cmpul de la intrare.
n
H (Y/X ) =
p(x i )p(y j/x i )logp(y j/x i ) =

m
i =1 j =1
n m
i =1 j=1
) (
p x i , y j logp y j/x i
Curs TTI
Eroarea medie, este o msur a incertitudinii cmpului de la ieire cnd se cunoate

cmpul de la intrare.
Dac, canalul nu are perturbaii atunci:
(p(x i /y j ) = 1)
H (X/Y ) = H (Y/X ) = 0
Dac, canalul are perturbaii foarte puternice, atunci:

H (X/Y ) = H (X ), H (Y/X ) = H (Y )
Pentru determinarea entropiilor condiionate este necesar s cunoatem matricile
condiionate de transfer ale canalului.
p(x1/y1 ) .......p (x n /y1 ).
;
P(X/Y ) =
p(x1/y m )........p (x n /y m )
i =1
p x i /y j = 1
p(y1/x1 ) .......p(y m /x1 ).
P(Y/X ) =
p(y1/x n )........p(y m /x n )
j=1
p y j/x i = 1
Transinformaia
Dac considerm ieirea canalului i observm la un moment dat evenimentul yj, msura
incertitudinii, dac la intrarea acestuia s-a introdus xi, este:
U x i /y j = F p x i /y j
) [(
)]
Informaia obinut la ieirea canalului asupra realizrii lui xi, cnd a ieit yj, este egal cu
scderea din incertitudinea apriori despre realizarea lui xi a incertitudinii aposteriori U x i / y j ,
adic:
I x i , y j = U (x i ) U x i /y j =
= F[p(x i )] F p x i /y j = log 2 p(x i ) + log 2 p x i /y j
[(
)]
sau
I x i , y j = log 2
p(x i )
p x i /y j
Curs TTI
Deci I(x i , y i ) reprezint informaia mutual ce se obine asupra evenimentului xi cnd se
recepioneaz y j .
n absena perturbaiilor recepionnd simbolul yj, putem afirma cu certitudine c s-a emis
xi, adic:
p x i /y j = 1
I x i , y j = logp(x i )
n cazul general, din cauza zgomotelor p(xi/yj)<1 i n consecin informaia mutual este
mai mic dect informaia proprie i este dat de expresiile:
p(x i /y j )
p(y j /x i )
p(x i , y j )
= log 2
= log 2
p (x i )
p(y j )
p(x i )p(y j )
I(x i , y j ) = log 2
unde
deci:
( )( )
( ) (
p y j p x i /y j = p(x i )p y j/x i
p y j, xi = p xi , y j
Valoarea medie a informaiei mutuale se obine considernd toate perechile de simboluri

posibile intrare-ieire (xi;yj), cu probabilitile p(xi;yj).
n
I ( X ,Y ) =
i=1
p(x , y )
P(x , y )log p(x ) p(y ) =
m
j =1
p ( xi )
( )
p y
647j48
64748
= log2 p(xi ) P(xi , yi ) log2 p( y j ) p(xi , yi ) +
P(x , y )log (x , y ) =
= p(xi ) log2 p(xi ) p( y j )log2 p( y j ) +
i =1
j =1
j =1
i =1
i=1
i =1
j =1
i=1
j =1
P(x , y )log p(x , y ) =

m
j =1
I(X, Y ) = H (X ) + H (Y ) H (X, Y )
unde H(X,Y), reprezint entropia cmpurilor reunite de intrare i ieire.
n
H(X, Y ) =
i =1
j =1
p(x i , y j ) logp(x i , y j ) =
n
i =1
i =1
i =1
= p(x i ) log 2 p(x i )

p(x i , y j ) = p(x i )p(y j , x i )
j =1
p(x i , y j )logp(x i )
n
i =1
p(x )p(y /x )logp(y , x )

m
j =1
H (X, Y ) = H (X ) + H (Y/X ) = H (Y ) + H (X/Y )
analog
p(x , y )logp(y /x ) =
m
j =1
Curs TTI
Deci:
I(X, Y ) = H (X ) H (X/Y ) = H (Y ) H (Y/X )

I(X,Y), este valoarea medie a informaiei mutuale, adic a informaiei ce se obine asupra
alfabetului de intrare X, prin recepionarea alfabetului de la ieire Y, cu alte cuvinte, informaia
medie transmis prin canal. Din aceast cauz, se numete transinformaie. Dac, canalul nu are
perturbaii:
I(X, Y ) = H (X ) = H (Y )
1.2.3 Capacitatea canalului discret
Pentru a defini o msur a eficienei n care se transmite informaia i a gsi o limit
superioar a acesteia Shannon a introdus noiunea de capacitate a canalului.
Capacitatea canalului este definit ca fiind valoarea maxim a transinformaiei.
C=
max
{p ( x 1 ),...p ( x n )}
I(X, Y ) = max[H(X ) H(X/Y )] = max[H(Y ) H(Y/X )]
Maximizarea, se face n raport cu setul de probabiliti a cmpului de intrare

p(x1)p(xn).
p( y1 / x1 ) = 1 p
p
1 p
P(Y / X ) =
1 - p
p
Capacitatea canalului binar simetric:
C = max I ( X , Y ) = max[H (Y ) H (Y / X )]
2
H (Y/X ) =
p(x i )p(y j/x i )logp(y j/x i ) =

2
i =1 j =1
= [plogp + (1 p )log(1 p )]
P(x 1 ) = P(x 2 ) P(y 1 ) = P(y 2 )
[H (Y ) + p log p + (1 p )log(1 p )] =
= max H (Y ) + p log p + (1 p )log(1 p ) = 1 + p log p + (1 p )log(1 p )
C = max
[ p ( x1 ) p ( x 2 )]
rezult C = 1 + p log 2 p + (1 p ) log 2 (1 p )
10
Curs TTI
1.3 Codarea surselor pentru canale fr perturbaii

1.3.1 Scopul codrii surselor de informaie
n general alfabetul unei surse difer de alfabetul canalului i, ca urmare, primul obiectiv
al codrii surselor este acela de a trece de la alfabetul sursei la alfabetul canalului. Mai mult dect
att, dorim ca transinformaia s fie maxim pentru a se atinge eficiena maxim, i, n acest
scop, prin codare, trebuie s asigurm ca sursa secundar, definit la ieirea codorului, s
genereze simboluri cu probabiliti care s asigure maximul transinformaiei sau ct mai aproape
de acesta .
n cazul canalelor fr perturbaii acest obiectiv se atinge cnd sursa secundar este o surs de
entropie maxim :
C = max H(X) = log 2 N ;
( H(X,Y)=0 )
unde N este numrul de simboluri din alfabetul canalului sau respectiv a codului folosit.
Obiectivul codrii surselor este de a transforma o surs dat cu un set de probabiliti
determinat, pe care o numim surs primar, ntr-o surs cu entropie maxim sau, cu alte cuvinte,
prin codare se caut s se anuleze redundana sursei.
1.3.2 Tipuri de coduri
Coduri unic decodabile
Fie o surs discret, fr memorie, furniznd simboluri dintr-o mulime [S] numit
alfabetul sursei:
...
[S] = s1 s2 s N
p1 p 2 ... p N
Fie [X] = {x1 , x2 , ... ,xN } alfabetul finit al codului respectiv al canalului. Cu aceste
litere se formeaz N cuvinte de cod:
[C] = [ c1 , c2 ,..., cN ]
Cuvintele de cod sunt succesiuni de litere din alfabetul [X] . Codarea reprezint stabilirea
unei corespondene biunivoce ntre simbolurile sk S i cuvintele ck C. Totalitatea cuvintelor
ck formeaz un cod. Cu alfabetul [X] se pot forma cuvinte crora s nu le corespund simboluri
din alfabetul sursei. Acestea se numesc cuvinte fr sens, n contrast cu cele crora le corespund
simboluri ale sursei care se numesc cu sens.
Cod unic decodabil prin alegerea convenabil a cuvintelor de cod se poate ajunge la
rezultatul c fiecrei succesiuni de cuvinte de cod i va corespunde o singur succesiune de
simboluri ale sursei (decodare unic)
Cod separabil este un cod unic decodabil care nu utilizeaz semne de demarcare ntre
cuvintele de cod.
Ex:
A B
C
D
s1 00 0
0
0
s2 01 10 01
10
s3 10 110 011 110
s4 11 1110 0111 111
11
Curs TTI
A unic decodabil; B unic decodabil, 0 indic sfritul fiecrui cuvnt de cod; C unic
decodabil, 0 indic nceputul fiecrui cuvnt; D este de asemenea unic decodabil.
Coduri instantanee. ntre codurile B i C din exemplul de mai sus exist o diferen
important: la codul B pe msur ce se recepioneaz succesiunea de litere din alfabetul codului
se pot determina cuvintele codului fr referin la literele urmtoare :
0 10
110
1110
s1 s2
s3
s1
s4
s1
adic dac succesiunea de litere din alfabetul codului formeaz un cuvnt din vocabularul codului
(cruia i corespunde un simbol al sursei) acesta este unic, deoarece prin adugarea unei litere la
un cuvnt de cod nu se obine alt cuvnt de cod. Un asemenea cod se numete instantaneu.
Codul C nu este instantaneu ex: s2
adaug 1
s3
( 01
011 )
Definiie: Fie [Ci] = [ xi1 , xi2 , ... , xiN ] un cuvnt de cod; irul de litere xi1 , .. , xik cu
k<m se numete prefixul cuvntului Ci.
Condiia necesar i suficient ca un cod s fie instantaneu este ca nici un cuvnt al
codului s nu fie un prefix al altui cuvnt de cod ; se mai numesc i coduri ireductibile.
Algoritm
s
0
1
s0
0
s1
1
s00
s01
0 1
0 1
s10
s11
0 1
0 1
1.3.3 Lungimea medie a unui cuvnt de cod

n general prin codare se urmrete mrirea eficienei transmisiei informaiei. n calculul
ce urmeaz se va defini noiunea de eficien . n cazul canalelor fr zgomot eficiena este
apreciat printr-o valoare medie a unei anumite funcii de cost care este egal n acest caz cu
lungimea medie a cuvntului de cod.
N
C = p(si) li = l
i =1
Mrirea eficienei transmisiei n cazul canalelor fr zgomot se poate face deci atribuind
n mod convenabil fiecrui simbol al sursei si , un cuvnt de cod ci ,de lungime li astfel aleas
nct lungimea medie a cuvintelor de cod rezultate s fie minim . Eficiena transmisiei poate fi
definit numai dac se cunoate marginea inferioara a lui l .
Limita inferioara a lungimii medii a unui cuvnt de cod
Fie o sursa [S] i codul corespunztor [C]
c1..... cN
s1.....s N
S=
; C = l1..... lN ; cu alfabetul: [X ] = {x1 ,..., x M}
p1..... pN
p ..... p
N
1
Entropia sursei este:
12
Curs TTI
N
i =1
i =1
H(S) = H(C) = p(si) log p(si) = p log p

2
i
2 i
Entropia alfabetului codului [X] este:
M
H(X) = p(x i ) log p(x i )

2
i =1
Informaia medie pe un cuvnt de cod este dat de produsul dintre numrul mediu de
litere l i informaia medie pe liter H(X)
H(S) = H(C) = l H(X )
Valoarea maxim a entropiei H(X) se obine atunci cnd :
p(x1) = p(x2) = ... = p(xM) =
1
, aceast valoare este
M
H max (X )
= log 2 M i deci
H(X) log 2 M
Deci :
H(S) = H(C) = l H(X) l log 2 M ,
de unde rezult:
H(S)
=
log2 M lmin
Relaia de mai sus arat c lungimea medie a unui cuvnt de cod are o valoare minim. n
cazul n care codul este binar, M=2, lungimea minim a cuvintelor de cod devine egal cu
entropia sursei.
1.3.4 Eficiena i redundana unui cod
Eficiena codului este raportul dintre lungimea medie minim i lungimea medie a
cuvintelor de cod.
_ lmin _ H(S)
sau innd seama de relaia
l log M
H(X)
iar pentru cazul binar M = 2
log 2
l _ H(S)
H(X)
_ H(S)
l
Redundana codului este mrimea complementar eficienei:

=1-
Coduri absolut optimale. Definiia lungimii medii minime a cuvintelor de cod
H (S)
H (C)
lmin = log M = log M

2
2
13
Curs TTI
ne d condiia eficienei maxime : H(C) = lmin log 2 M.
Aceast egalitate poate avea loc numai dac literele alfabetului codului au probabiliti
egale.
p(x1) = p(x2) = ... = p(xM) = 1/ M
-n acest caz
H(X) = log 2 M i
rezult :
_ H(X)
_ 1
log 2 M
Literele din alfabetul codului fiind considerate independente rezult:
l
i
1
p(si) = p(ci) = = M li
M
i deoarece:
N
i =1
i =1
i =1
p(si) = 1 Mli = 1 = 2li = 1 cazul binar
Aceast relaie ne d legtur care trebuie s existe ntre lungimea li i numrul de litere M din
alfabetul codului n cazul unui cod absolut optimal . Codurile cu eficien egal cu unitatea se
numesc coduri absolut optimale . Teorema de existen a codurilor ireductibile se exprim cu
inegalitatea McMillan:
N
Mli 1
i =1
1.3.5 Prima teorem a lui SHANON (teorema codrii canalelor fr zgomot )

Dac probabilitile mesajelor sursei au anumite valori particulare care satisfac relaia:
P(si) = M -li
(= 2 -li
n cazul binar )
eficiena codului este maxim . n acest caz:
li =
log2 p(si )
(= log2 p(si)) n cazul binar
log2 M
Se pune problema ce se ntmpl dac simbolurile sunt codate cu un set arbitrar de

probabiliti care nu satisfac relaia de mai sus .
n acest caz: li = - log2 p(si) / log2 M nu mai este un numr ntreg care s poate fi
considerat ca fiind lungimea li a cuvntului de cod ci . Dar li va satisface inegalitatea :
_ log2 pi
log 2 M
li < _ log2 pi
+ 1
sau n cazul binar -log2 pi li < -log2 pi +1
log 2 M
Urmeaz s se verifice dac lungimile date de relaia de mai sus verific relaia lui
McMillan care indic dac cu acestea se poate forma un cod ireductibil.
14
Curs TTI
Avem mai departe :
-log 2 pi li log 2 M log 2 M -li
pi M -li
=>
M -li
i=1
adic exist un cod ireductibil avnd cuvinte de lungime li

N
_ log2 pi li < _ log2 pi

log 2 M
+1
* pi
log 2 M
log 2 M
i obinem :
i=1
l < _ H(s)
H(S)
+1
log 2 M
Aceast relaie este valabil pentru orice surs fr memorie. n particular este valabil i
pentru o surs oarecare [ S n ] unde fiecare simbol este format dintr-o succesiune de n
simboluri ale sursei [S].
n acest caz entropia sursei [Sn] este: H(S) = n H(S) deoarece s-a vzut c entropia a dou
cmpuri de evenimente independente reunite este suma entropiilor corespunztoare
H (X,Y) = H(X) + H(Y) => H(S,S) = H(S) = 2 H(S); ca atare vom avea :
H(Sn ) ln < H (Sn ) +1
log 2 M
log 2 M
unde prin ln am notat lungimea medie a unui cuvnt de cod corespunztor mesajului din Sn
format din n simboluri ale sursei S
n H(S) ln < n H (S) +1
log 2 M
log 2 M
H(S) ln <
H (S)
log 2 M
log 2 M
lim ln _
n
H (S)
+ 1
_ l
Dac n este foarte mare rezult :
n
min
log 2 M
unde l min este lungimea medie a cuvintelor de cod [C] . Relaia de mai sus ne arat c printro codare corespunztoare (codarea de grupuri de lungime n a simbolurilor sursei) informaia
medie pe liter din alfabetul codului H(S) /l poate fi fcut orict de apropiat de log 2 M,
adic codarea este absolut optimal . Sau altfel spus o codare se poate face cu eficien maxim
egal cu unitatea (=1) dac se supune codrii extensia de ordin mare [S n ] a sursei de informaie
[S].
15
Curs TTI
1.3.6 Metode de codare binar
Codarea Shannon-Fano
Se consider c simbolurile sursei sunt codate n mod individual unul cte unul .n cazul
particular n care mulimea simbolurilor sursei [S]=[s1 ,.sN], poate fi mprit n dou
mulimi So i S1 de aceeai probabilitate P(So)=P(S1)=1/2 iar mulimile So i S1 la nivelul lor pot
fi divizate n Soo i So1 respectiv n S1o i S11 toate avnd aceeai probabilitate egal cu
.Continum aceast operaie pn cnd mulimile respective nu conin dect un singur element.
n acest fel codarea Shannon-Fano conduce la un cod absolut optimal.
EX:
s1 s2 s3 s4 s5 s6 s7 s8
S = 1 1 1 1 1 1 1 1
4 4 8 8 16 16 16 16
Ck
S1
So
S2
S3
S4
S5
Soo
00
Lk
2
So1
01
S100
100
S101
S1100
101
1100
3
4
S1101
1101
S1110
1110
S1111
1111
1/8
S1o
1/8
S1
S110
S6
S7
S11
S111
S8
pi=1
I=2.75
H(S)=2x 0.25log0.25+2x 0.125log0.125+4x 0.0625log0.0625=2.75 bii/simbol

Codarea binar Huffman
s1...s N
cu probabilitile ordonate p1p2p3 pN
...
p
p
1 N
Fie sursa S =
Codarea Huffman este bazat pe ideea de a mpri mulimea mesajelor S = s1..sN

ordonat descresctor n funcie de probabilitile corespunztoare n submulimile So i S1 cu
probabiliti ct mai apropiate, iar mulimile S00 i S01 respectiv cu probabiliti ct mai apropiate.
n cazul particular n care probabilitile mulimilor obinute sunt egale codarea este absolut
optimal de tip Shannon-Fano. Algoritmul de codare funcioneaz dup urmtorii pai:
1) Se ordoneaz mulimea mesajelor [S] n ordinea probabilitilor descresctoare.
S=[s1,s2, .. sN]
p(s1)p(s2).p(sN)
16
Curs TTI
2) Se formeaz mulimi de simboluri care s poat fi furnizate n dou submulimi de
probabiliti ct mai apropiate:
a) Se grupeaz r1=sN U sN-1 => p(r1)=p(sN)+p(sN-1)
b) Mulimea r1 se consider ca un nou mesaj care se include n mulimea celorlalte mesaje
n ordinea probabilitilor descresctoare.
[R1]=[s1,s2, .r1] cu p(s1)>p(s2)..p(r1)..
Ultimele dou mesaje se grupeaz ca i n cazul precedent operaia continund pn n cazul
n care se ajunge la un ir de numai dou elemente [rn ,rn-1]=[Rn]
c) Cuvintele de cod corespunztoare fiecrui mesaj se obin n felul urmtor:
-mulimii rn i se aloc simbolul 0;
-mulimii rn-1 i se aloc simbolul 1;
-la fiecare nou diviziune se aloc n plus un nou simbol 0 sau 1 pn cnd se ajunge la o
mulime care conine un singur element sk.
d) Din cele precedente rezult c formarea cuvntului de cod corespunztor mesajului sk
nu este unic fiindc la fiecare diviziune alocarea lui o sau 1 este arbitrar.
Rezult c se pot forma mai multe coduri care au aceeai lungime medie.
EX:
s1
s2
s3
s4 s5 s6
0,3 0,25 0,15 0.15 0.1 0.05
Se consider sursa: S =
Se aranjeaz simbolurile sursei n ordinea descresctoare a probabilitilor i se construiete

urmtorul tablou al surselor restrnse:
Ck
R1
R2
R3
S1 0.3(00)
0.3(00)
0.3(00)
0.4(1)
0.6(0)
0.3 (01)
0.25(10)
0.25 10
0.3 00
0.4(1)
S2 0.25(10)
S3
0.15(11)
0.15(11)
S4
0.15(010)
0.15(010)
0.15(011)
0.15 11
0.3 01
S5 0.10(0110)
S6 0.05(0111)
H(S)=0.3log0.3+0.25log0.25+0.3log0.5+0.1log0.1+0.05log0.05=2.4 bit/simbol
l = 2.45 bit/simbol = lipi
H(S)
= 0,975
l log2 2
17
Curs TTI
Cap.2 Codarea pentru canale cu pertubaii
2.1 Scopul codrii pentru protecie

n capitolul precedent s-a studiat metoda de a transforma o surs oarecare ntr-o surs de
entropie maxim sau apropiat de valoarea maxim n vederea obinerii unei eficiene ct mai
mari.
n prezentul apropiat se consider sursa ca fiind de entropie maxim, adic avem o surs a
crei simboluri, numite simboluri de informaie au aceeai probabilitate. nainte de a transmite
aceste simboluri pe canalul cu perturbaii se adaug o anumit redundan de obicei prin
adugarea unor simboluri numite simboluri de control care au menirea s indice utilizatorului
prezena erorilor, ba chiar s-i dea posibilitatea s le corecteze.
n acest sens vorbim de coduri detectoare de erori i de coduri corectoare de erori.
n cazul deteciei erorilor este necesar un canal de ntoarcere prin care utilizatorul s
solicite sursei repetarea mesajului eronat.
P
Cd
S
Ci
P
Deoarece cantitatea de informaie necesar solicitrii unei retransmisii este foarte mic
rezult c i capacitatea canalului de retur este foarte mic. Sistemul de detecie al erorilor i de
repetare la cerere a mesajelor eronate cunoscut sub numele ARQ (automatic repetition request)
este larg utilizat n cazul surselor cu debit controlabil.
n cazul surselor cu perturbaii mari pentru a se evita repetri prea frecvente se folosete
un sistem de corecie automat a erorilor , rmnnd ca eroarea de repetiie s fie fcut numai
atunci cnd numrul erorilor depete probabilitatea sistemului de corecie.
n cazul surselor cu debit necontrolabil sau atunci cnd informaia este nmagazinat n
diferite tipuri de memorii susceptibile a se degrada este necesar s se utilizeze un sistem de
corecie automat a erorilor.
18
Curs TTI
2.2 Clasificarea codurilor detectoare sau corectoare de erori

Coduri bloc-dac prelucrrile necesare funciilor de detecie sau de corecie se fac n
blocuri de n simboluri spunem c avem de a face cu coduri bloc.
Coduri convoluionale-prelucrarea simbolurilor generate de sursa nu se face pe blocuri ci
n mod continuu.
Codurile bloc grup-n care cuvintele sunt considerate ca fcnd parte dintr-un spaiu
vectorial.
Codurile bloc ciclice-n care cuvintele sunt considerate ca fcnd parte dintr-o algebr.
2.3 Teorema lui Shanonn II pentru canale cu perturbaii

Dac avem o surs cu un debit de informaie de R bii/sec i un canal cu capacitate C
bii/sec i dac R<C exist un cod cu cuvinte de lungime n astfel nct probabilitatea unei erori de
decodare PE s fie fcut orict de mic.
PE 2 n E ( R )
unde n-lungimea cuvntului de cod;
E(R)-o funcie nenegativ de R(debitul de transmisie) numit exponentul erorii.
Teorema afirm existena unor coduri a cror probabilitate de decodare eronat este
arbitrar de mic, dar nu arat cum pot fi construite asemenea coduri .
Aceast teorem afirma un lucru surprinztor i anume c se pot face transmisiuni cu o
probabilitate a erorii orict de mic.
2.4 Reguli de decizie

Prin canalul binar se transmit succesiuni de simboluri binare, numite la emisie cuvinte de
cod, iar la recepie cuvinte recepionate. n general cuvntul emis nu este identic cu cel
recepionat, diferena provenind din canal i numindu-se cuvntul eroare. Un cuvnt de cod Vi
aparine submulimii cuvintelor de cod V, oricare Vi putnd fi emis. Cuvntul recepionat Vi
difer de primul prin cuvntul de eroare Ei.
Vi=Vi+Ei
Se pune problema ca pe baza cuvntului recepionat ,Vi ,s se determine cuvntul emis Vj
,cunoscnd statistica canalului de transmisie i mulimea cuvintelor de cod emisibile.
Decizia pe baza probabilitii aposteriori maxime - aceast metod stabilete cuvntul
care s-a emis Vj ca fiind acela pentru care probabilitatea aposteriori P(Vj/Vi) este maxim.
Deoarece P(Vj/Vi)=P(Vj)P(Vi/Vj)/P(Vi) este clar c pentru a calcula probabilitatea aposteriori
trebuie s cunoatem att probabilitatea sursei P(Vj) ct i matricea de transfer a canalului
P(Vi/Vj). Aceste din urm probabiliti pot fi determinate i pe baza distanei Hamming. Atunci
cnd P(Vj) nu se cunoate i se accept echiprobabilitatea simbolurilor, sursei P(Vj)=ct, regula
deciziei maxime aposteriori se transforma n regula de decizie a probabilitii maxime conform
creia s-a transmis acel cuvnt de cod Vj care are cea mai mare probabilitate p(Vi/Vj) adic:
P(Vi/Vj)>p(Vi/Vk) => s-a emis Vj
Decizia pe baza distanei Hamming minime
Distana Hamming dintre dou cuvinte de cod de aceeai lungime este egal cu numrul
de simboluri prin care cele dou cuvinte se deosebesc.
19
Curs TTI
Presupunem c avem cazul unui canal binar simetric caracterizat de probabilitatea p. n
acest caz p condiionat:P(Vi/Vj) i P(Vi/Vj) pentru cuvinte de cod de lungime n sunt:
D(Vi,Vj)
P(Vi/Vj)= P
n-D(Vi,Vj)
(1-P)
D(Vi,Vk)
n-D(Vi,Vk)
P(Vi/Vk)=P
(1-P)
unde D(Vi,Vj) este distanta Hamming dintre cuvintele (Vi,Vj) .
Regula de decizie a probabilitii maxime enunat mai sus conduce la:
P(Vi/Vj)>P(Vi/Vk) =>s-a transmis Vi deoarece p<<1 n cazurile reale condiia de mai
sus conduce la:
D(Vi/Vj)<D(Vi/Vk) =>Vj
Aceasta este regula de decizie dup valoarea minim a distantei Hamming.
2.5Coduri simple detectoare de erori

2.5.1 Codul cu repetiie detector de erori
Codul cu repetiie codeaz informaia coninut n k bii pe 2k bii. Astfel:
a) dac secvena de informaie conine un numr par de 1 secvena de k bii se repet aa cum
este;
b) dac secvena de informaie are un numr impar de 1 se repet complementat bit cu bit.
EX: 1010
1101
k
10101010
11010010
cuv. cod
Absena corelaiei ntre primii i ultimii k bii indic prezena erorii.

Capacitatea de detecie se definete ca raportul dintre numrul cuvintelor detectabile supra
numrul total de cuvinte eronate care se pot forma cu 2k bii.
(22 k 1) (2k 1) 22 k 2k
=
= 2k
Cd
2k
2 1
2 1
unde
k
2 1 este numrul de cuvinte de cod care se pot forma.
Probabilitatea deciziei false se va calcula tiind c o asemenea decizie se ia dac ,dup

introducerea unor erori n prima jumtate a cuvntului de cod, se vor introduce erori n mod
corespunztor i n a doua jumtate astfel nct ntre cele dou jumti s existe corelaia care st
la baza codrii. Dac codul are k>3 probabilitatea erorii false este dat de relaia:
Pf = C 2k p 4 [1 p]2k 4
unde p este rata erorii din canalul binar simetric.
2.5.2 Cod cu pondere constant detector de erori
Cunoscut i sub numele de cod M din N acesta are cuvinte de cod de lungime N compuse
din M unuri i N-M zerouri. Numrul cuvintelor de cod este: CM

N.
Capacitatea de detecie a codului este numrul de cuvinte detectabile supra numrul total
de cuvinte eronate, atunci cnd s-a emis un cuvnt de cod.
20
Curs TTI
Cd =
(2N 1) (CM
N 1)
N
2 1
= 2 N CN
2 1
N
O alt mrime care caracterizeaz codul M/N este probabilitatea deciziei false Pf. O decizie fals
se ia dac sunt erori n numr par i jumtate din ele sunt 0- uri transformate n 1- uri, iar
cealalt jumtate 1 0. Pentru dou erori n cuvntul de cod, una va fi de tipul 1 0 iar alta 0
1.
Numrul total de cuvinte astfel eronate este M(N-M) pentru c M sunt unuri care sufer
prima transformare iar N-M sunt zerouri care sufer cea de a doua transformare, probabilitatea
p (1 p)
2
unui asemenea cuvnt eronat este

probabilitatea
p (1 p)
4
N4
N2
. Pentru dou erori avem
, n total:
Pf = p (1 p)
2i
i =1
n care = min (M, N-M).
21
N 2i
CM CNM
2
2
CM CNM , cu
TTI
M
N
(2N 1) (CM
2 CN
N 1)
=
=
Cd
N
N
2 1
2 1
O alt mrime care caracterizeaz codul M/N este probabilitatea deciziei false Pf. O decizie
fals se ia dac sunt erori n numr par i jumtate din ele sunt 0- uri transformate n 1uri, iar cealalt jumtate 1 0. Pentru dou erori n cuvntul de cod, una va fi de tipul 1 0
iar alta 0 1.
Numrul total de cuvinte astfel eronate este M(N-M) pentru c M sunt unuri care
sufer prima transformare iar N-M sunt zerouri care sufer cea de a doua transformare,
probabilitatea unui asemenea cuvnt eronat este
2
2
CM CNM , cu probabilitatea p (1 p)
N 4
N 2
. Pentru dou erori avem
, n total:
Pf = p (1 p)
2i
i=1
n care = min (M, N-M).
p (1 p)
N 2i
CM CNM
2.6 Coduri grup

2.6.1 Principiul decodrii utiliznd matricea de control
Procesul de detecie i corecie a erorilor presupune tratarea ntr-un anumit mod a
semnalului recepionat, astfel nct s fie corectat efectul perturbaiilor din canalul de
transmisie. Putem face considernd o mulime Z, numit mulimea corectorilor i care
conine vectori m dimensionali, capabili s corecteze sau s detecteze erorile introduse n
canal. ntre mulimea cuvintelor recepionate, W i mulimea corectorilor Z se stabilete o
aplicaie definit pe W cu valori n Z astfel nct pentru orice cuvnt recepionat s putem
defini un corector Zi. Avnd n vedere caracterul vectorial al cmpurilor W i Z n care
vectorii pot fi reprezentai prin matrici, aplicaia va fi definit ca un produs matricial:
(1.) Zi = H v'iT , unde v'iT este transpusa matricei v'i .
Matricea H poart numele de matrice de control i este alctuit din m linii i n
coloane. Prin definiie:
h11.......... h1n
..........
h
h
21
2n
H=
= [h1......... h n ]
....................
h m1......... h mn
Avnd n vedere scopul introducerii mulimii Z, acela de a detecta i corecta erori de
transmisie, convenim s construim n aa fel aceast mulime nct oricnd operaia (1.) se
0
efectueaz asupra unui cuvnt de cod vi V s se obin acelai corector Z0 = : care

0
are toate componentele nule.
21
TTI
(2.) H vT = 0 Aceast condiie va constitui i relaia de codare. Dac la recepia
unui cuvnt de cod
T
v'i avem ndeplinit relaia (2.) v'i este fr erori i dac H v'i 0
rezult c n
v'i sunt erori. Relaia (1.) servete deci la DETECIA ERORILOR.

T
(3.) Zi = H v'iT = H ( vi + Ei ) = H viT + H EiT = H EiT
unde Ei este cuvntul eroare. Deci relaia (1.) poate conduce la localizarea erorilor care au
afectat cuvntul de cod, dac se decodific corectorul cu ajutorul relaiei (3.) obinnd
cuvntul eroare.
2.6.2 Condiii impuse matricei de control pentru a detecta sau corecta erori
Stabilim condiia pe care trebuie s o satisfac matricea de control H, pentru a detecta
prezena erorilor. n acest scop presupunem H compus din coloane:
H = h1 h 2 ... hi ... h n , iar pe Ei de forma: Ei = [0... i1... i 2 ... it ...0...] , n care s-au
inclus t componente ij cu valoare 1. Se constat c Zi 0 .
T
Zi = H Ei = hi1 + hi 2 + ... + hit 0
Deci pentru a detecta prezena unui cuvnt eroare cu t erori este suficient ca suma a t
coloane oarecare din H s fie nenul.
Stabilim condiia pe care trebuie s o ndeplineasc matricea H pentru a putea corecta
cuvinte cu maxim t erori. n acest caz calculm corectorul Zi pentru dou cuvinte de eroare
diferite cu t erori, i obinem:
Zi = hi1 + hi 2 + ... + hit i Z j = h j1 + h j2 + ... + h jt ,
Zi Z j sau Zi + Z j 0 , adic:
hi1 + hi 2 + ... + hit + h j1 + h j2 + ... + h jt 0
iar condiiile de injectivitate impun c:
Cu alte cuvinte pentru ca matricea de control s poat fi folosit la corecia a t erori,

este necesar ca suma a oricror 2t coloane din matrice s fie diferit de zero. Din cele dou
condiii de a corecta respectiv de a detecta erori, rezult suplimentar c o matrice de control
capabil s corecteze t erori, este capabil s detecteze 2t erori. Denumim pondere a unui
cuvnt de cod, numrul componentelor sale diferite de zero. Fie dou cuvinte de cod vi i vj
V. Deoarece V are structur de grup rezult c vi+vjV i este i el un cuvnt de cod. Pe
de alt parte vi + vj d un cuvnt a crui pondere este egal cu distana Hamming dintre vi i
vj. Denumim distana Hamming a unui cod, cea mai mic distan Hamming dintre
cuvintele codului. Se vede deci c distana Hamming a unui cod este egal cu ponderea cea
mai mic a cuvintelor de cod exceptnd cuvntul nul.
Dac distana Hamming a codului este 2t+1, atunci exist un cuvnt de cod vr, cu
ponderea 2t+1. Pentru acest cuvnt: H vTr = hi1 + hi 2 + ... + hi , 2 t +1 = 0 , ceea ce nseamn
c suma a 2t+1 coloane este zero. Dac matricea H poate corecta t erori rezult c suma a 2t
coloane este diferit de zero i c exist un cuvnt de cod pentru care suma a 2t+1 coloane
este nul. Ceea ce nseamn c un cod capabil s corecteze t erori are distana Hamming cel
puin 2t+1. Un cod capabil s detecteze t erori are distana Hamming 2t+1.
2.6.3 Construcia matricei de control pentru a detecta un numr impar de erori
Ne propunem s aflm structura unei matrice de control capabile s detecteze 2t+1
erori. Fie:
h ..... h n
H= 1
1........1
22
TTI
n care considerm c fiecare coloan se termin cu 1, ca atare relaia (1.) devine:
hi, 2 r hi, 2 r +1
T h i1
Zi = H Ei = 1 + ... + 1 + 1 0

Aceast sum de coloane va conine n ultima linie un numr impar de 1-uri a cror
sum nu este zero ceea ce nseamn c se satisface condiia detectrii erorii (1.), indiferent
de coninutul coloanelor h1...hn din matricea H, acestea putnd fi nule. Fie: H1 = [11.....1] .
O asemenea matrice are dimensiunea m=1, ceea ce nseamn c n mulimea Z a
corectorilor vor fi numai 2 elemente: corectorul Z=0 i Z=1. Primul va indica absena
erorilor n numr impar iar al doilea Z=1 va indica prezena erorilor n numr impar. Acest
procedeu de codare cu H1 vT = 0 implic existena unui numr par de 1 n cuvintele de cod
v V ' . Acest tip de codare se numete codare cu control de paritate.
2.6.4 Construcia matricii de control pentru a detecta dou erori
Am stabilit n paragraful precedent c adugarea unui simbol de control la cele n-1
simboluri de informaie poate verifica existena unui numr impar de erori. Tot aa de bine
putem spune c verific i existena unui numr par de erori, n acest caz numrul de 1
uri din cuvntul recepionat fiind par.
Admitem c n-1 bii ai cuvntului transmis sunt constituii astfel nct s poat corecta
o eroare satisfcndu-se condiia H' vT = 0 pentru cuvntul cu n-1 bii. Dac adugm nc
un bit, cel de al n-lea, obinem un cuvnt de cod care corecteaz o eroare i detecteaz 2
0 H'
din matricea H prin adugarea unei
1 1
erori. n acest scop construim matricea H =
coloane nule i a unei linii compuse numai din 1. n acest caz condiia de codare devine:
0 h '1 h '2
H vT =
1
1 1
v0
..... h 'n 1 v1 v1 h '1 + v2 h '2 + .... + vn 1 h 'n 1
=
=0
.....
1 ......
v0 + v1 + .... + vn 1
vn 1
La recepie:
v'1 h '1 + v'2 h '2 + .... + v'n 1 h 'n 1 Z'1

T
Zi = H v' =
= e
v'0 + v'1 + .... + v'n 1

Se constat c la emisie: v1 h '1 + v2 h '2 + .... + vn 1 h 'n 1 = 0 ; reprezint condiia pentru un
cuvnt de cod cu n-1 simboluri.
La recepie: v'1 h '1 + v'2 h '2 + .... + v'n 1 h 'n 1 = Z' ; reprezint corectorul acestui cuvnt de
cod. O eroare n cuvntul recepionat se va detecta i se va corecta prin intermediul
corectorului Z'i .
Constatm c la emisie: v0 + v1 + .... + vn 1 = 0 ceea ce nseamn c v0 face paritatea
canalului de cod.
La recepie: C = v'0 + v'1 + .... + v'n 1 ; care poate s fie 1 (numrul de erori este impar),
sau 0 (numrul de erori este par).
Avem situaia:
23
TTI
Z'i = 0 , e=0 nu sunt erori;

Z'i 0 , e=1 este o eroare corectabil prin Z'i
Z'i = 0 , e=1 este o eroare n poziia v'o
Z'i 0 , e=0 sunt detectate dou erori
2.7 Codul grup Hamming, corector de o eroare
2.7.1 Descrierea codului grup Hamming
Structura cuvntului de cod Hamming este vi = c1 c2 i3 c4 i5 i6 i7 c8 i9 i10 .... unde prin
ci am notat simbolurile de control, iar prin i j simbolurile de informaie. Matricea de
control are particularitatea c fiecare coloan reprezint codul binar al numrului de ordine
al coloanei respective.
...
0
H=
0
... ... ... ....

0 0 1 1...
1 1 0 0...
0 1 0 1...
Din aceast structur rezult o facilitate privind corectorii. Fie cuvntul de eroare:
Ei=00..1 00... cu un 1 n poziia i.
=H
0
0

...
=
1
...

0
E = [h h ... h ... h ]
T
i
h;
i
adic coloana
hi a matricii de control.
n=k+m
k
2 N
numrul de simboluri ale sursei care se codeaz.
erori care se corecteaz. Dac e = 1 avem:
i
m
2 Cn este numrul de
i =1
2 k + m +1
k
2.7.2 Codarea codului grup Hamming

Din relaia de codare H vT = 0 rezult:
c1 + i3 + i5 + i7 + i9 + ... = 0;
c1 = i3 + i5 + i7 + i9 + ...
c2 + i3 + i6 + i7 + i10 + ... = 0 ; c2 = i3 + i6 + i7 + i10 + ...
c4 + i5 + i6 + i7 + i12 + ... = 0 ; c4 = i5 + i6 + i7 + i12 + ...
c8 + i9 + i10 + i11 + i12 + ... = 0; c8 = i9 + i10 + i11 + i12+ ...
Aplicaie: Fie k = 6, s determinm valorile simbolurilor de control a unui cod
Hamming corector de o eroare precum i schema de codare. n acest caz:
v = c1c2i3c4i5i6i7c8i9i10
c1 = i3 + i5 + i7 + i9
c2 = i3 + i6 + i7 + i10
24
TTI
c4 = i5 + i6 + i7
c8 = i9 + i10
i3
c1
i5
i6
i7
c2
c4
i9
c8
i10
Atunci cnd se implementeaz o transmisie a unor semnale codate cu un cod
Hamming, n canal se introduc semnalele n serie. n acest scop cele n ieiri ale schemei
combinaionale vor fi serializate n ordinea biilor din cuvntul de cod cu ajutorul unui
convertor paralel serie.
2.7.3 Decodarea codului grup Hamming
La recepie se obine cuvntul v'i , sum dintre cuvntul de cod
vi i cuvntul eroare
Aa cum s-a artat: Zi = H v'iT = H EiT = hi . Pentru calculul lui j, care indic bitul
eronat, se decodeaz n zecimal expresia binar a lui hi .
Ei .
v' = Z
i
4
=
i
2
1
Z
Z
Z
Z1 = c1 + i3+i5+i7+i9
Z2 = c2 + i3 + i6 + i7 + i10
Z4 = c4 + i5 + i6 + i7 + i12
Z8 = c8 + i9 + i10 + i11 + i12
m
j=
j 1
2j
Aplicaie: Pentru cazul k=6 considerat i n aplicaia anterioar la emisie schema de
corecie este:
i =1
25
TTI
Codul Hamming corector de o eroare i detector de dou erori

vi = C0 C1 C 2 i3 C4 i5 i6 i7 C8 i9 K
0 H ' 0 h1 K hn
H =
=
1 1 1 1 K 1
C0 = C1 + C2 + i3 + C4 + i5 + i6 + i7 + C8 + i9 K
wi, = C0' C1' C 2' i3' C 4' i5' i6' K
0 h1
z i = H v iT =
1 1
C 0

C1
h2 K hn C 2 z i'
=
1 K 1 i3 C
M

i n
zi' = 0 C = 0 - nu avem erori

zi' 0 C = 1 - avem o eroare a crei poziie este indicat de zi'
zi' 0 C = 0 - avem dou erori

zi' = 0 C = 1 - este eronat C0'
26
TTI
2.8 Coduri iterate

Combinnd dou coduri cu performane modeste se poate obine un cod cu
performane mai bune. Spre exemplu o combinaie din dou coduri detectoare de o eroare,
poate constitui un cod corector de o eroare, sau un cod detector de o eroare compus cu un cod
corector de o eroare, poate corecta dou erori independente. n acest mod se obin coduri
iterate sau cu control ncruciat .
2.8.1 Coduri iterate cu distana Hamming 2 x 2
Dac combinm dou coduri detectoare de erori cu distana Hamming 2 , codul
obinut va avea distana Hamming egal cu produsul distanelor celor dou coduri adic 2 x 2
= 4 fiind deci capabil s detecteze 3 erori sau s corecteze o eroare . O transmisie cu cod iterat
2 x 2 se face organiznd informaia binar n pachete de (n 1) cuvinte a (t 1) simboluri
fiecare. Acest pachet se codeaz de dou ori. Prima codare se face completnd fiecare linie cu
bitul de paritate iar a doua codare completnd fiecare coloan cu bitul de paritate .
1
0
1
1
0
1
0
1
1
0
0
0
1
0
1
0
1
1
0
1
0
0
1
0
1
0
0
1
0
0
0
1
1
1
0
1
1
1
0
1
0
1
Decodarea unui asemenea pachet se face efectund controlul paritii pe orizontal i

pe vertical. Dac este o singur eroare aceasta va schimba paritatea pe linia i pe coloana pe
care se afl. n consecin dac vom depista la decodare, o linie cu defect de paritate i o
coloan cu defect de paritate, la intersecia acestor dou se gsete simbolul eronat.
2.8.2 Coduri iterate cu distan Hamming 2 x 3
Un cod iterat cu distane Hamming 2 x 3 se compune dintr-un cod detector de o eroare
(D = 2) i un cod corector de o eroare (D = 3). Noul cod obinut de aceast combinaie are
distana egal cu 2 x 3 = 6 i deci poate corecta dou erori sau poate detecta cinci erori. Ca i
codul iterat descris anterior vom organiza informaia n pachete .
Prima codare va consta n completarea fiecrei linii cu un bit de paritate. A doua
codare va urmri ca fiecare coloan s reprezinte un cuvnt de cod corector de o eroare.
Aceasta poate fi un cod Hamming corector de o eroare sau un cod ciclic corector de o eroare:
Exemplificm pentru cazul codului Hamming corector de o eroare. Coloana de paritate e1e2
trebuie i ea s fie un cuvnt de cod Hamming. Pachetul obinut va arta astfel:
e1
C11 C12 KKKKKK C1t 1
e2
C 21 C 22 KKKKKK C 2t 1
1
2
t 1
e3
i3 i3 KKKKKKK i3
C 41
C 42 KKKKKK C 4t 1
KKKKKKK
t 1
5
e4
e5
KKKKKKK
i6t 1
e6
i71
i72 KKKKKKK
i7t 1
e7
C 81
C 82
1
5
1
6
2
5
2
6
KKKKKK C 8t 1
M
27
e8
M
TTI
Exemplu numeric de codare
Fiind dat pachetul de informaie :
1 0 0 1
1 1 1 0
0 1 0 1
S se codeze cu un cod iterat 2 x 3
1 1 0 1
0 0 0 1 1 1 1
H = 0 1 1 0 0 1 1
1 0 1 0 1 0 1
v = C1 C 2 i 3 C 4 i 5 i 6 i 7
C1 = i 3 + i 5 + i 7
C2 = i3 + i6 + i7
C4 = i5 + i6 + i7
1 0 1 0
0 0 0 1
1 0 0 1
0 1 1 0
1 1 1 0
0 1 0 1
1 1 0 1
Avem urmtoarele situaii :

1.Nu sunt erori n pachetul recepionat. Acest fapt se pune n eviden prin existena
paritii pe orizontal i prin faptul c cuvintele de cod de pe vertical satisfac relaia
Hv T = 0 .
2.Exist o eroare n pachet Hveronat 0 i controlul de paritate indic la
intersecie poziia erori.
3.Exist dou erori pe aceeai linie . Controlul de paritate nu d nici un rezultat n
T
T
schimb Hve1 = [z1 ] i Hv e 2 = [z 2 ] prin decodare se obine poziia erorii .
4.Exist dou erori pe aceeai coloan Hv er 0 i controlul de paritate indic poziia

erorii.
5.Exist dou erori n dou coloane i dou linii diferite. Controlul paritii pune n
T
eviden cele dou linii iar Hv eT1 0 i Hv e 2 0 determin coloanele .
6.Exist mai mult de dou erori i nu se pot corecta, dar se pot detecta. De exemplu dac
pe o coloan avem trei defecte, paritatea va indica prezena a trei erori, dar att cuvntul de pe
T
coloan ct i cel de paritate vor da Hv 0 , nct nu se va ti unde sunt localizate erorile.
1 0 1 0 0
T
0 0 0 1 1
0 0 0 0 0
Ex. numeric: decodarea :
0 1 1 0 0
1 1 1 0 1
0 1 0 1 0
1 1 0 1 1
28
TTI
2.9 Coduri ciclice

2.9.1 Descrierea codurilor ciclice
Codurile ciclice sunt coduri bloc n care cele n simboluri care formeaz un cuvnt sunt
considerate ca fiind coeficienii unui polinom de gradul n-1 i anume:
v( x ) = a 0 + a1 x + K a n 1 x n 1 .
Ca i n cazul codurilor grup simbolurile unui cuvnt de cod respectiv coeficienii
polinomului v( x ) pot fi reprezentai sub form de matrice.
v = [a 0
a1 K a n 1 ]
Codurile ciclice au proprietatea c dac v este un cuvnt cu sens atunci i orice

permutare ciclic a simbolurilor sale este un cuvnt cu sens :
[ai
ai +1 K a n 1
a 0 K ai 1 ]
Mulimea tuturor cuvintelor cu sens formeaz un ideal iar mulimea tuturor cuvintelor de n bit
formeaz o algebr . Mulimea claselor de resturi modulo:
p( x ) = x n + 1 are 2 n elemente.
k
Din acestea alegem 2 crora le atribuim un sens i anume le atribuim sens elementelor
generate de un polinom g ( x ) de gradul m numit polinom generator .
g (x ) =
p( x ) x n + 1
=
h( x )
h( x )
Polinomul g(x) trebuie s fie divizor a lui p(x) iar h(x) poart denumirea de polinom de
control.
2.9.2 Codarea cuvintelor cu ajutorul polinomului generator g(x)
n acest caz v( x ) trebuie s fie un multiplu a lui g ( x ) : v( x ) = i( x ) g ( x ) unde i( x )
m 1
+ x m Im+k
este polinomul simbolurilor de informaie i ( x ) = i m + i m +1 x + K + i m + k 1 x
m 1
+ x m fiind n mod
Polinomul generator este notat cu : g ( x ) = g 0 + g 1 x + K + g m 1 x
obligatoriu de grad m . Polinomul simbolurilor de control se noteaz cu :
C ( x ) = C 0 + C1 x + K + C m 1 x m 1
v = C 0 C1 KC m 1 im im +1 Kim + k 1
v(x ) = C ( x ) + x m i(x )
dar
sau
sau
x m i(x )
r (x )
= q( x ) +
g (x )
g (x )
q(x ) =
r (x ) x m i(x )
+
g (x )
g (x )
r (x ) + x m i (x ) = g (x ) q( x ) = v(x )
29
TTI
x m i(x )
Cuvntul de cod fiind multiplu a lui g ( x ) rezult : C ( x ) = ( x ) = rest
g (x)
adic polinomul simbolurilor de control se obine prin divizarea polinomului cu polinomul
generator g ( x ) .
Relaia de codare polinomial v( x ) = i( x ) g ( x ) mai poate fi scris i sub form

matricial v = i G unde:
g 0
0
G=
L
g1 L
gm
g 0 L g m1 g m
L L
L
0 0
g 0 g1
L 0
L 0
L L
L gm
n
2.9.3 Codarea cu ajutorul matricii de control
k
Polinomul de control h( x ) este: h( x ) = h0 + h1 x + K + hk x
i este legat de polinomul generator prin relaia :
xn +1
h( x ) =
g (x )
Cu ajutorul coeficienilor si se formeaz matricea de control:
0
0
H =
L
hk
L 0 hk
L h0
L hk hk 1 L h0 0
L
L
L L
L h0 0 L 0 0
T
T
T
iar codarea se face dup relaia bine cunoscut : Hv = 0 i n plus avem: GH = HG
2.9.4 Decodarea codurilor ciclice
Problema decodrii ciclice const n gsirea unei corespondene ntre cuvntul eronat
recepionat v(x) i cuvntul de eroare (x), care reprezint erorile introduse n canal.
v ' ( x ) = v( x ) + ( x )
Dac, recepionnd v(x) se poate calcula (x), atunci corecia se realizeaz cu relaia:
v(x ) = v ' (x ) + (x )
Corectorul se obine prin nsumarea simbolurilor de control recepionate c(x). Cu

simbolurile de control obinute prin codificarea simbolurilor de informaie recepionate:
C '' (x ) = rest
x m i ' (x )
g (x )
adic :
z (x ) = C ' ( x ) + C '' ( x ) = C ' ( x ) + rest

C ' ( x ) fiind de grad mai mic dect m se poate scrie :
30
x m i ' (x )
g (x )
TTI
z ( x ) = rest
C ' ( x ) + x m i '( x )
v ' (x )
(x )
= rest
= rest
g (x )
g (x )
g (x )
Dac v ( x ) = v( x ) condiia pe care un cuvnt recepionat trebuie s o ndeplineasc

ca s fie cuvnt de cod .
Decodarea se poate face n mai multe moduri :
a) Pe baza tabloului claselor de resturi la care pentru fiecare z ( x ) i
'
corespunde un ( x ) cu ajutorul cruia se face corecia pe baza relaiei :
v( x ) = v ' ( x ) + ( x )
b) Recodarea cu ajutorul circuitelor de deplasare care realizeaz n mod automat

cutarea lui E(x).
c) Decodarea cu ajutorul registrelor de deplasare cu reacie care realizeaz aceeai
funcie.
Explicm codarea i decodarea cu ajutorul registrelor de deplasare cu reacie:
RDR
Registrul de deplasare cu reacie este un circuit secvenial liniar care poate funciona
autonom fr semnal din exterior numai cu semnal reacie:
Sn-1
Sn-2
S1
S0
Cm-1
Cm-2
gm =1
gm-1
C1
gm-2
C0
g2
g1
g0=1
E
g ( x ) = g 0 + g 1 x + ... + g m 1 x m 1 + x m
Starea registrului poate fi descris matricial:
S 00
S 0 = ...
S m0 =1
n 1
S 01
S 1 = ...
S m1 =1
0
0
T = .
0
g 0
S = TS = T S
Numrul de stri nenule este:
n=2m-1
Convenim s notm starea iniial a registrului starea:
n
0
0
U=
.
1
n acest caz strile nenule ale registrului sunt:
31
...
0
.
0
1
.
0
...
.
...
0
.
1
g m = 1
0
TTI
T 0U = U , TU , T 2U ,..., T
n 1
U , T nU = U
Exemplificarea codri i decodri cu RDR a codului ciclic o facem n cazul particular al unei
probleme. Considerm un numr de 16 simboluri care se transmit pe un canal cu perturbaii
care utilizeaz un cod ciclic corector de o eroare.
S se determine:
a)parametri codului.
b)s se aleag polinomul generator dintre polinoamele:
x + 1, x 2 + 1, x 3 + x + 1, x 4 + x 2 + x + 7
c)s se scrie matricea generatoare G i de control H.
d)s se scrie relaiile dintre biii de control i cei de informaie.
e)s se fac codarea cu un RDR.
f)s se fac decodarea cu o schem ce utilizeaz un RDR.
a)
N = 16
2
k = 4
i=0
= 1 + n
i
n
m = 3
n = m + k = 7
b)
g ( x) = x 3 + x + 1 = g 0 + g1 x + g 2 x 2 + g 3 x 3
c)
g0
0
G =
0
g1
g0
0
g2
g1
g0
g3
g2
g1
0
g3
g2
0
0
g3
g0
g1
g2
= 0
g3
0
0
0
0
1
1
0
0
1
1
1
0
1
0
1
0
0
0
1
0
0
0
v = c 0 c1 c 2 i 3 i 4 i 5 i 6
p( x) = x n + 1 = x 7 + 1
h( x) = p ( x )
0
H = 0
h 4
Hv T
g ( x)
= x 4 + x 2 + x + 1 = h 0 + h1 x + h 2 x 2 + h 3 x 3 + h 4 x 4
h4
h3
h2
h1
h4
h3
h2
h1
h0
h3
h2
h1
h0
h 0 0 0 1 0 1 1 1
0 = 0 1 0 1 1 1 0
0 1 0 1 1 1 0 0
c 2 = i 4 + i 5 + i 6
= 0 c 1 = i 3 + i 4 + i 5
c = c + i + i = i + i + i
2
3
4
3
5
6
0
32
TTI
d)Schema de codare cu RDR:
Cm-1
Cm-2
C1
C0
gm-1
g1
g0
gm
A
B
2
1
I{In-1.In-k}
n cazul nostru
g ( x) = g 0 + g1 x + g 2 x 2 + g 3 x 3 = 1 + x + x 3
g3
C2
C1
C0
g1
g0
A
S2
B
S1
C
1
E i6i5i4i3c2c1c0
i6i5i4i3
Codorul este format din RDR cu C0, C1, C2, comutatorul k i sumatoarele modulo2, S1
i S2. Pe primele 4 tacte comutatorul C este pe poziia 1 n codor vor intra i6, i5, i4, i3, care se
transmit n acelai timp la ieire. n decursul ultimelor tacte n registru (datorit faptului c
C2) se introduce zero, starea final fiind 000. La ieire vor aprea simbolurile de control c2,
c1, c0, corespunztoare ieirii sumatorului S1:
S1=St(C1)St(C0)
Avem tabelul care indic funcionarea:
Tact
Intrare
St(C2)
St(C1)
St(C0)
Ieire
I6
I6
I6
I5
I5
I6
I5
I4
I6+I4
I5
I6
I4
I3
I3+I5+I6
I4+I6
I5
I3
C2
I3+I5+I6
I4+I6
C2=I4+I5+I6
C1
I3+I5+I6
C1=I3+I4+I6
C0
C0=I3+I5+I6
33
TTI
Acelai lucru se poate obine folosind relaiile matriciale care descriu starea RDR:
1
0
0
0
S i = TS i 1 + a n 1U
unde
U = 0 si
T =0
0
1
1
g 0 g 1 g 2
0
1
0
1
1
2
3
4
5
TU = 1 T U = 0 T U = 1 T U = 1 T U = 1 T 6U =
0
1
1
1
0
0
0
0
iar S 0 = 0 S 1 = i 6U = 0 S 2 = TS 1 + i5U = i5U + i 6TU = i 6

0
i 6
i5
i6
2
S 3 = TS 2 + i 4U = i 4U + i5TU + i 6T U = i5
i 4 + i6
1
0 = T =1U

0
c0
= c1
c 2
i5
S 4 = TS 3 + i3U = i3U + i 4TU + i5T U + i 6T U = i 4 + i 6

i3 + i5 + i 6
2
n timpul ultimelor 3 tacte C fiind n poziia 2 simbolurile de la intrarea sumatorului S3

sunt simbolurile de control accesibile i la ieire:
i 4 + i6
2
3
4
S 5 = TS 4 + C 2U = C 2U + i3TU + i 4T U + i5T U + i6T U = i3 + i5 + i6
i3 + i5 + i6
S 6 = TS 5 + C1U = C1U + C 2TU + i3T U + i 4T U + i5T U + i6T U =

0
C1 + C1
0
0
S 7 = TS 6 + C 2U = 0 = C0U + C1TU + C 2T 2U + i3T 3U + i4T 4U + i5T 5U + i6T 6U = 0

C0 + C0
0
2
2.9.5 Decodor cu registru de deplasare cu reacie

Schema bloc este dat n figura de mai jos. Unitatea de decodare conine un registru de
deplasare numit principial (RP)i doi decodori DC1 i DC2.
n registrul principal se nmagazineaz cuvntul recepionat de lungime n. Aceast
nmagazinare trebuie s dureze pn cnd se recepioneaz toate simbolurile de control i se
face calculul necesar.
Decodorul are un RDR identic cu cel de la codare, la celulele cruia este legat
decodificatorul de erori D. Funcia decodificatorului este de a recunoate anumite stri ale
registrului de deplasare cu reacie i de a emite 1 atunci cnd registrul se gsete n una din
aceste stri. Acest simbol 1 se nsumeaz modulo 2 cu simbolul eronat cnd acesta se afl
n ultima celul M0 a registrului principal efectund n acest fel corecia erorii.
34
TTI
g(x) = x3 + x +1
Mn-1
RP
. .
M1
M0
E
I
DC1
P
Cm-1
Cm-1
C1
gm-1
C0
g1
g0
1
2
Cm-1
..
C1
gm-1
C0
g1
g0
Continum exemplul din problema propus:

j) Decodorul este format din registrul principal cu 7 celule RP, registrele DEC1 si
DEC2 i un comutator C. Cuvntul recepionat v este introdus n DEC1 cnd comutatorul C
este pe poziia 1 i n DEC2 cnd comutatorul C este pe poziia 2; DEC1 va asigura corecia
cuvintelor impare 1,3,5iar DEC2 pe cele pare 2,4,6 . Semnalul de corecie se obine la
ieirile circuitelor SI1 i SI2 i se aplic celulei M0 prin circuitul SAU.
Presupunem c decodorul a recepionat cuvntul v. n primele 7 tacte simbolurile
circuitului snt introduse n DEC1. n urmtoarele 7 tacte DEC1 determin poziia eronat.
Dac v=v este corect la sfritul primelor 7 tacte DEC1 va ajunge la starea zero.
Pentru a vedea cum funcioneaz s presupunem c: v' = c0c1c'2 i3i 4i5i 6
recepionat are simbolul eronat C'2 .
35
TTI
0
S1 =i6U = 0
i6
0 0 1 0 0 0
S2 =i5U +TS1 =i5U +i6TU=i5 0 + 0 0 1 0 = i6
1 1 1 0 i6 i5
i6
2
S3 =i4U +TS2 =i4U +i5TU+i6T U = i5
i6 +i4
i5
S4 =i3U +TS3 =i3U +i4TU+i5T U +i6T U = i4 +i6

i3 +i5 +i6
2
i4 +i6
S5 =C U +TS4 =(C2 +1)U +TS4 =U +C2U +TS4 =U +C2U +i3TU+i4T U +i5T U +i6T U =
i3 +i5 +i6
c2 +i4 +i5 +i6 +1=1

'
2
i3 +i5 +i6
S6 =C1U +TS5 =TU+C1U +C2TU+i3T U +i4T U +i5T U +i6T U =

1
c1 +i3 +i4 +i5 =0

2
1
S7 =C0U +TS6 =T U +C0U +C1TU+C2T U +i3T U +i4T U +i5T U +i6T U =T U = h2 = 0
1
Schema decodorului:
v
M6
M5
M4
M3
M2
M1
2
D SI1
C2
C1
C0
g1
0
0
1
SI2
g0
A
B
S3
S1
S0
1
2
DEC2
36
DEC1
M0
E
v
TTI
Dup primele 7 tacte n registrul principal de 7 celule a intrat cuvntul v iar
decodorul a ajuns n starea: S7 = T 2 U 0 . Din acest moment DEC1 determin poziia e
eronat iar din RP se ia pe rnd simbolurile cuvntului de cod:
S 8 = TS
0
= T 3 U = 1
1
din M0 iese i6 st(M0)< i5

n continuare:
S 9 = TS
1
= T 4 U = 1
1
iar din M0 iese i5 ;st(M0) = i4
S 10 = TS
1
= T 5 U = 1
0
iar din M0 iese i4; st(M0) = i3
S 11 = TS
1
= T U = 0
0
6
10
iar din M0 iese i3; st(M0)= c'2

Deci simbolul eronat se afl n M0 i RDR trece prin starea fix:
S 11
1
= T =1U = 0
0
Aceast stare este recunoscut de circuitul SI1 care formeaz impulsul de corecie aplicat
celulei M0 prin circuitul SAU. Impulsul de corecie este de asemenea folosit pentru aducerea
pe zero a celulei C0 a DEC prin bistabilul B. Circuitul SI2 inhib formarea impulsului de
corecie dac n decursul primelor 7 tacte a aprut starea: T-1U
37
4. Codurile convolutionale
Codurile convolutionale sau recurente, sunt coduri corectoare de erori,
caracterizate prin absenta cuvintelor de cod, mesajul beneficiind de o
transmitere continua, cu un inceput dar fara sfarsit. Secventa emisa in canal
contine biti de informatie si biti de control, acestia din urma depinzand ca
numar, valoare si pozitie, de codul utilizat si de bitii de informatie. O secventa
de cod se va constitui din combinatii, o combinatie avand k biti de informatie,
urmati de m biti de control .
4.1.
Descrierea codurilor convolutionale
Un cod convolutional este caracterizat prin urmatorii parametrii:

n numar de simboluri binare dintr-o cumbinatie, din acestea m simboluri
fiind de control,
k numarul de simboluri de informatie dintr-o combinatie,
N lungimea de constrangere egala cu numarul cel mai mare de combinatii
in care se afla simboluri de informatie participante la constructia unui simbol de
control oarecare,
u distanta de deplasare egala cu cel mai mic numar de combinatii existente
intre simbolul de informatie si simbolul de control la constructia caruia a
participat.
Fiind data o succesiune de simboluri informationale, 1, va trebui sa
construim succesiunea codata, v, folosind una din urmatoarele metode de
descriere a codului convolutional, descriere prin matrice generatoare sau
descriere prin polinoame generatoare.
4.1.1 Matricea generatoare a codului convolutional
Caracterul semiinfinit al secventei emise ne conduce la o matrice
generatoare cu acelasi caracter, deoarece , ca si mai inainte este
valabila relatia generala :
V= iG
(4.1)
In care v este secventa de cod, i este secventa de informatie, semiinfinita, iar

G este matricea generatoare.
38
Aceasta din urma este o matrice si contine:

matrice nula, o, avand k linii si k coloane, sau k linii si n coloane,
matricea unitate, IK,
matrice de codare, P1, P2, , PN, cu k linii si n coloane.
Aranjarea acestora se vede mai jos
Ik
P1
P2
P3
Ik
P1
P2
Ik
P1
G=
PN
PN 1
PN
.
.
.
.
.
.
Ik
P1
P2
Ik
P1
(4.2)
.
.
.
Numarul matricelor de codare este egal cu N, lungimea de constrangere.

Continutul acestora este astfel aranjat incat codarea si decodarea sa permita
corectia unor erori.
Din modul de aranjarea a matricelor componente in matricea generatoare se
observa ca secventa codata contine:
k simboluri de informatie rezultate prin inmultirea secventei de
informatie, i, cu matricea unitate de ordinul k,
m simboluri de control, obtinute din simbolurile de informatie
cuprinse in N combinatii, generate atunci cand produsul (4.1) se
executa pentru coloanele din G componente ale matricelor de codare
Pi (i= 1N)
Parametrul u, care ofera indicii asupra intarzierii transmisiei bitilor de
control, se pune in evidenta prin numarul de matrici nule plasate in dreapta
matricei unitate. In 4.2, in aceasta pozitie nefiind o matrice nula, rezulta u = 0,
matricele Pi se plaseaza mai sus lasand in dreapta matricei I o coloana de u
39
matrice nule, fiecare avand k linii. Pentru exemplificare scriem in 4.2 matricea
generatoare a unui cod convolutional avand k=2; m=1; N=3; u=2.
10
01
00
00
00
00
00
G=
00
00
00
00
00
00
00
0
0
0
0
0
0
0
0
0
0
0
0
0
0
00
00
10
01
00
00
00
00
00
00
00
00
00
00
0
0
0
0
0
0
0
0
0
0
0
0
0
0
00
00
00
00
10
01
00
00
00
00
00
00
00
00
1
0
0
0
0
0
0
0
0
0
0
0
0
0
00
00
00
00
00
00
10
01
00
00
00
00
00
00
0
1
1
0
0
0
0
0
0
0
0
0
0
0
00
00
00
00
00
00
00
00
10
01
00
00
00
00
1
1
0
1
1
0
0
0
0
0
0
0
0
0
00
00
00
00
00
00
00
00
00
00
10
01
00
00
0
0
1
1
0
1
1
0
0
0
0
0
0
0
00
00
00
00
00
00
00
00
00
10
00
00
10
01
0
0
0
0
1
1
0
1
1
0
0
0
0
0
N= 3
u=2
Se poate observa ca matricea generatoare G se compune dintr-un pachet de

matrice ce se deplaseaza in stanga si in jos asa cum apar succesiunile de beti de
informatie urmate de succesiuni de biti de control.
4.1.2 Descrierea polinomiala a codului convolutional
Codul convolutional poate fii descris comod cu ajutorul polinoamelor facand
aceeasi echivalenta intre polinoame si secvente binare pe care am intalnit-o si in
cazul codurilor ciclice.
Fata de codurile ciclice, in care polinoamele associate cuvintelor binare erau
de grad finit, la codurile convolutionale, unde secventele sunt semiinfinite, vom
intalni polinoame asociate de grad semiinfinit. Puterea 0 a variabilei x este
asociata primului simbol emis in canal. Puterea 1 a variabilei x este asociata
celui de-al 2-lea semnal emis, si asa mai departe. Pe masura ce un simbol binar
apare mai tarziu, exponentul lui x care il reprezinta in descrierea polinomiala
este mai mare.
40
Acceptam pentru secventa de informatie k polinomiale semiinfinite:

a(x) = a0x 0 + a1x 1 + a2x 2 + a3x 3 +
b(x) = b0x 0 + b1x 1 + b2x 2 + b3x 3 +
a(x) = a0x 0 + a1x 1 + a2x 2 + a3x 3 +
.
.
.
k(x) = k0x 0 + k1x 1 + k2x 2 + k3x 3 +
iar pentru secventa de control urmatoare m polinoame
(x) = 0x 0 + 1x 1 + 2x 2 + 3x 3 +
(x) = 0x 0 + 1x 1 + 2x 2 + 3x 3 +
.
.
.
m(x) = m0x 0 + m1x 1 + m2x 2 + m3x 3 +
In aceast caz, pentru secventa transmisa in linie, rezulta urmatoarea
succesiune:
V=a0 b0 k0
0 0 m0
k biti
de informatie
m biti
de control
a1 b1 ... k1 1 1 m1 2 2
n biti
in secventa
In care se observa organizarea in combinatii de cate n simboluri binare, k de

informatie si n de control, o combinatie fiind constituita din coeficientii
variabili x de acelasi grad, existenti in polinoamele care descriu secventele de
informatie, respective de control. Coeficientii polinoamelor de informatie sunt
simboluri binare ce se vor coda, iar coeficientii polinoamelor de control rezulta
din produsul dintre polinoamele de informatie si polinoame generatoare, adica:
(x) = haa(x) + hbb(x) + + hkk(x)

(x) = ha a(x) + hbb(x) + + hkk(x)
41
(4.4)
In care orice polinom hij , i = 1 k, j = 1 n, este un subgenerator al

codului convolutional. Numarul polinoamelor generatoare este egal cu k*m,
pentru ca se introduce k polinoame generatoare in constructia fiecarui polinom
de control, pentru a inmulti, fiecare in parte, cate un polinom de informatie si
pentru ca se construiesc m polinoame de control.
Ca sa descriem ceilalti parametri codului convolutional, punem fiecare
polinom generator in forma:
h(x) = x q (1 + + xp)
(4.5)
Lungimea de constrangere, N este cu 1 mai mare decat gradul p al

polinomului generator de cel mai mare grad, daca acesta se scrie in forma (4.5);
distanta de deplasare este egala cu gradul q al monomului de cel mai mic grad.
Cele mai des utilizate coduri convolutionale au k = n 1, ceea ce inseamna
un singur simbol de informatie in fiecare combinatie si deci k polinoame
generatoare.
4.1.3 Codarea codurilor convolutionale
Daca descriem codul convolutional prin matricea generatoare, codarea va

insemna executarea produsului matriceal:
v = iG
asupra secventei de informatie i nefiind nici o restrictie. Dupa executarea
produsului, daca pentru i am putut scrie succesiunea:
i =i1 i2 i3 ik ik+1 ik+2 . . . i2k i2k+1
pentru v va rezulta o succesiune de forma:
v = i1 i2 i3 ik c1 c2 cm ik+1 ik+2 . . . i2k cm+1 cm+2
astfel realizandu-se fragmentarea secventei codate in combinatii de k + m
simboluri.
Daca codul convolutional este descris prin polinoame generatoare, codarea
inseamna executarea produselor polinoamelor in forma 4.4 si insumarea
produselor apoi emiterea succesiva in linie a bitilor de informatie urmati de bitii
de control de acelasi grad. Realizarea tehnica a produselor polinoamelor ca
42
coeficienti binari, se executa cu register de deplasare si sumatoare modulo 2.

Semnalul de la iesirea unui registru de deplasare cu o celula apare intarziat cu
un tact fata de semnalul de la intrarea sa. Aceasta inseamna ca exponentul
variabilei x din semnalul de iesire, este cu 1 mai mare decat al semnalului de
intrare. Daca la intrare se aduce a5 * x 5 in intervalul al 6-lea de timp, atunci,
trecandu-l prin registrul de deplasare cu o celula, va apare la iesire in intervalul
al 7-lea de timp. Semnalul de iesire va fii deci a5 * x 6 adica x * a5 * x 5 . In
consecinta orice inmultire se face prin trecerea semnalului prin registre de
deplasare. Insumarea polinoamelor se face cu sumatoare modulo 2, fara alte
complicatii, deoarece la un moment dat, se vor aduna coeficientii variabilei x de
acelasi exponent, un exponent dar fixand, valoarea sa, tocmai momentul de
timp in care apare coeficientul pe langa care sta.
Fie spre exemplu codul cu n = 3 si k =2 avand polinoamele generatoare,
ha(x) = x + 1 si hb(x) = x 2 + 1. Schema de codare se va conduce dupa relatia:
c(x) = a(x) * ha(x) + b(x) * hb(x) = a(x)( x + 1) + b(x)( x 2 + 1)
(4.6)
Si va avea deci 2 registre de deplasare si un sumator. Pentru transmisia in

linii punem un comutator cu 3 pozitii pentru ca prin deplasare sa transmita pe
rand un semnal din secventa a, un semnal dn secventa b apoi un semnal din
secventa de control, c.
a(x)
a(x)
a(x)
b(x)
xa(x)
x 2 b(x)
c(x)
emisie in linie
b(x)
b(x)
fig .4.1.
43
La figura 4.1. se prezinta schema adecvata relatiei de codare 4.6. Pentru a

calcula a(x)*(1+x) se utilizeaza un registru de deplasare cu o celula, obtinanduse la iesirea acestuia produsul xa(x). In acelasi mod utilizand un registru de
deplasare cu 2 celule, se obtine x 2 b(x). Intr-un sumator cu 4 intrari se face
suma necesara obtinerii secventei de control c(x).
4.1.4 Decodarea codurilor convolutionale
Pentru decodarea codurilor convolutionale se compune un sincron si prin

analiza acestuia se precizeaza pozitia erorilor. Schema generara de decodare
este prezentata in figura 4.2
v(x)
Sortare
i(x)
Codare
Intarziere
c(x)
c(x)
S(x)
Analiza
(x)
ir(x)
Fig.4.2.
Prima operatie care se face este sortarea secventei receptionate, v(x), in 2
secvente, una continand simbolurile de informatie receptionate, i(x), cealalalta
continand simbolurile de control receptionate, c(x). A doua operatie consta in
codarea secventei de informatie receptionate, cu acelasi procedeu cu care s-a
codat si la emisie, obtinandu-se secventa de control c(x). Evident c(x) =
i'(x)h(x) in care h(x) este polinomul generator. Intr-un sumator se aduna c'(x)
cu c(x) si se obine sindromul S(x). A treia operatie consta in analiza
sindromului S(x), pentru a se pune in evidenta erorile. La iesirea blocului de
analiza se obtin semnale diferite de zero, numa in intervalele de timp in care,
trecand printr-un circuit de intarzaiere, secventa de informatie receptionata,
i' , prezinta tocmai un simbol eronat. Circuitul de intarzaiere de pe traseul
secventei I' este necesar, deoarece procesul de analiza a sindromului
44
consuma timp. Un sumator modulo doi aduna i'(x) cu semnalul analizat (x),
pentru a furniza informatia receptionata si corectata ir(x).
Introducerea erorilor in secventa transmisa se poate exprima prin
polinoame semiinfinite, Ei(x), aferent simbolulrilor de informatie, respectiv
Ec(x), aferent secventei de control, adica
i'(x) = i(x) + Ei(x) ; c'(x) = c(x) + Ec(x) (4.7)
in care evident : c(x) = i(x)h(x) (4.8)
In acest caz se va scrie pentru sindromul S(x) :
S(x) = c'(x) + c(x) = [i(x) + Ei(x)]h(x) + c(x) + Ec(x)
adica, tinand cont de (4.8)
S(x) = Ei(x)h(x) + Ec(x) (4.9)
ceea ce inseamna ca, sindromul este independent de semnalul de informatie
emis, fiind dependent de polinoamele erorilor si de polinomul generator.
Daca informatia are mai multe componente, k>1, rezultand mai multe
polinoame generatoare, concluziile asupra dependentei sindromului nu se
schimba.
Schema blocului de analiza trebuie conceputa in functie de
performantele pe care urmeaza sa le aiba codul, fiind deci dependenta, ca si
structura polinoamelor generatoare, de capacitatea de corectie pe care
urmeaza sa o realizam. In fiecare caz in parte se va putea preciza structura
acestui bloc.
4.2. CODURI CONVOLUTIONALE CORECTOARE
DE ERORI MULTIPLE
Dintre codurile convolutionale, cele care au m=1 se bucura de o

raspandire larga. Cu asemenea coduri se pot corecta erori independente, daca
intre doua erori exista un interval de siguranta compus din simboluri corecte.
Lungimea intervalului de siguranta se poate preciza pentru fiecare cod in
parte.
Avand n biti intr-o secventa, codul convolutional corector de erori
independente, are k=n-1 biti de informatie. Pentru descrierea lui sunt
necesare k polinoame generatoare, h1(x) h2(x)...hk(x). Structura acestor
polinoame da indicatii asupra parametrilor codului, spre exemplu gradul cel
mai mare al polinoamelor h1(x) precizeaza lungimea de constrangere a
codului.
45
4.2.1 Codarea codului dconvolutional corector de

erori independente
Un cod convolutional corector de erori independente se exprima

comod cu ajutorul polinoamelor. Pentru secventa de informatie acceptam
partitia in grup de cate k smboluri, notate polinomial astfel :
0
i 1 x = a 10 x a 11 x a 12 x a 13 x ...
0
1
2
3
i 2 x= a 20 x a 21 x a 22 x a 23 x ...
.
.
.
i k x = a k0 x0 a k1 x 1 a k2 x 2 a k3 x 3 ...
Secventa de control se obtine prin suma de produse de polinoame, de

forma :
c x = i 1 x h 1 x i 2 x h 2 x ...i k xhk x
si va avea structura secventiala : c x = c 0 x

In canal se transmite succesiunea :
c 1 x1 c 2 x 2 c 3 x 3 ...
a 10 a 20 ... a k0 c 0 a 11 a 21 ... a k1 c1 a 12 a 22 ... a k2 c2 a 13 ...
compusa, dupa cum se vede, din secvente de cate n simboluri, k, de

informatie si unul de control.
Procesul de codare implica scheme de inmultire in campul binar si
sumatoare modulo doi. Pentru polinoamele generatoare, se aleg polinoame
diferite unele de altele si de grad ca mai mic. O analiza sumara ne conduce
la concluzia ca pentru k se va alege o valoare care satisface relatia 2t -1k, t
urmand sa fie gradul maxim al polinoamelor generatoare, deoarece in acest
1
2
t
caz se pot construi c t ct ... c t = k polinoame distincte de grad maxim t,
fiecare avand un termen liber.
4.2.2Codarea codului convolutional (n=4, m=1)
corector de erori independente
Pentru acest cod rezulta t=2 si deci se vor utiliza k=3 polinoame
generatoare de grad maxim doi
2
2
h 1 x= x x 1 ; h2 x= x 1 ; h 3 x = x 1 (4.11)
Schema de codare este reprezentata in figura 4.3 si contine trei circuite de
inmultire realizate, prin registre de deplasare, c1` , c2 ; c2' , c2 si c3' ,
urmate de un sumator cu sapte intrari, deoarece pentru c(x) urmeaza a se
scrie un polinom cu coeficientii compusi din cate sapte componente :
2
c x = i 1 x x x 1 i 2 x x 1 i 3 xx 1
46
xi1(x)
i1(x)
2
x i1(x)
C1
C1'
i1(x)
2
x i2(x)
C2
i2(x) C '
2
c(x)
i2(x)
i3(x)
C3' xi3(x)
i3(x)
fig. 4.3.
Incanalul de transmisie se introduc consecutiv trei simboluri de
informati, urmate de control, toate patru fiid coeficientii variabilei x la
aceiasi putere, apoi o alta secventa de aceeasi structura etc.
4.2.3 Decodarea codului convolutional corector de
erori independente
Ca orice cod convolutional si acesta va utiliza algoritmul descris in

cap 4.1.4. Aceasta inseamna ca sindromul va fi de forma relatiei 4.9 :
k
S x = h j xP j x E x
j=1
in care Pj(x) este polinomul erorii care efectueaza secventa de informatie,

ij(x), j=l-k, iar E(x) este polinomul erorii care afecteaza succesiunea de
control. Spre exemplu :
P j x= j0 x 0 j1 x 1 j2 x 2 j3 x 3 ... (4.13)
Sindromul S(x) are forma :
S x = S 0 x 0 S 1 x 1 S 2 x 2 S 3 x 3 ...
ceea ce se poate scrie printr-un termen general :

47
r 1
S x = ... 1r x x 1r 1 x x i , r 2 ... +
r
r 1
2
r 2
2x x x 2, x l x x 2, r 2 x ... +
r
r 1
r
kr x x k , r 1 x ... cr x ...
(4.14)
Cata vreme nu sunt erori, coeficientii Sr sunt nuli. La prima eroare
aparuta in secventa de informatie sau in cod de contro, un termen din
sindrom va avea coeficientul diferit de zero. Daca toate polinoamele
generatoare au termen liber atunci termenul Sr0 contine urmatoarele n
componente :
1r , 2r , 3r ... kr , cr
dintre care una este nenula. Celelalte componente ale termenului Sr, asa cum
se vede in relatia (4.14), provin din inmultirea lui x, x2...xt din polinoamele
generatoare h(x), cu termeni de grad mai mic decat r din polinoamele eroare,
avand deci forma :
1, r 1 1, r 2 ... 2, r 1 2, r 2 ... k , r 1 ...
Deoarece aceste componente au figurat in Sr-1 , Sr-2, inseamna ca sunt nule,

termenii Sr-1 ... fiind nuli.
Aceasta inseamna ca la primul Sr0 se sesizeaza aparitia unei erori si
aceasta nu poate fi decat printre cei k+1 coeficienti ai polinoamelor eorirlor
de pe langa variabila xr. Pentru gasirea erorii vom folosi informatiile oferite
de urmatorii coeficienti din sindrom, Sr+1 , Sr+2, ..., deoarece acestia contin
eroarea, ca urmare a multiplicarii acesteia cu termenii x, x2,... din
polinoamele generatoare. Se vede de aici ca, este necesar ca polinoamele
generatoare sa fie diferite unul fata de altul, in caz contrar eroarea dintr-o
secventa de informatie are acelleasi urmari ca si eroarea din alta secventa de
informatie si deci decalarea nu este posibila.
Avand n componente suspecte, ne sunt necesari t coeficienti Sr+1 , Sr+2
... Sr+t, cu t dat de relatia :
2tn
pentru ca din combinatiile posibile ale celor t coeficienti binari sa gasim una
din cele n erori posibile. Se vede de aici ca este nevoie ca in urmatorii t
termeni din sindrom sa nu apara o eroare noua pe langa aceea pe care o
cautam, adica sa existe un spatiu de siguranta, care sa cuprinda un numar de
t combinatii a n simboluri receptionate fara erori.
Structura polinoameler generatoare, ofera in fiecare caz in parte,
posibilitatea constructiei unei scheme, care sa execute analiza sindromului, a
coeficientilor Sr+1, Sr+2, ... pentru a indica eroarea aparuta.
48
4.2.4. Decodarea codulului convolutional (n=4;m=1)

corector de erori incependente
Acceptam pentru polinoamele erorilor secventelor de informatie si a
celei de control, expresii de forma (4.13) si scriem :
0
P 1 x = 10 c 11 x 12 x ...
0
1
2
P 2 x = 20 x 21 x 22 x ...
0
1
2
P 3 x = 30 x 31 x 32 x ...
0
1
2
E x = c0 x c1 x c2 x ...
Aplicand relatia de calcul a sindromului (4.12) si tinand cont de expresiile

polinoamelor generatoare (4.11) vom obtine pentru sindrom termeni de
forma :
r
S x= ... 1, r 2 1, r 1 2, r 2 3, r 1 1r 2r 3r cr x +
r 1
+ 1, r 1 1, r 2, r 1 3r 1, r 1 2, r 1 3, r 1 c ,r 1x +
r 2
+ 1, r 1, r 1 2, r 3, r 1 1, r 2 2, r 2 c , r 2 x ...
Acceptam ca primul termen nenul este Srxr, ceea ce inseamna ca una din
componentele 1r , 2r , 3r , cr este nenula. Celelalte componente fiind mai
vechi si deci nule. Deoarece toate simbolurile cu indice r+1, r+2 nu mai au
erori, fiind cuprinse in spatiul de siguranta, rezulta ca in termenii Sr+1xr+1 ,
Sr+2xr+2 nu va mai fi o alta eroare in afara celei cautate. Daca eroarea este 1r
, deoarece apare in Sr+1 si in Sr+2, inseamna ca aceasi coeficienti vor fi
amandoi diferiti de zero. Daca 2r este nenul, deoarece apare si in Sr+2, dar nu
apare in Sr+1, inseamna ca Sr+2=1 si Sr+1=0. Daza 3r este nenul, atunci Sr+1=1
si Sr+2 = 0, deoarece 3r mai apare si in Sr+1 dar nu apare in Sr+2, si in final,
daca cr este nenul, atunci inseamna ca Sr+1=Sr+2=0, ambele necontinand pe
cr . Din aceasta analiza urmeaza sa se construiasca o schema de decodare,
asa cum se vede in figura 4.4, construita conform tabelului :
Sr
Sr+1
Sr+2
eroare 1r
eroare 2r
eroare 3r
eroare cr
acesta putendu-se materializa prin scheme de coincidenta. Localizarea erorii
impune existenta simulata a coeficientilor Sr , Sr+1 si Sr+2. Acestia apar in

S(x) decalati in timp cu unu si doua tacte. Pentru a-i avea
49
simultan si a-i
introduce intr-o
schema de
coincidenta,
sindromul se trece
printr-un registru de
deplasare cu doua
celule, astfel ca
dupa prima celula
apare S(x) intarziat
cu un tact iar la
capat intarziat cu
Fig.4.4.
Daca 1 1 aceste doua conditii sunt indeplinite, asa cum am vazut
in capitolul anterior, cu observatia ca acum conditia a doua, fiind mai
complexa, impune suplimentar ca, gradul maxim al polinomului 11 (x)x 2t +1
din S(x), sa fie mai mic decat gradul minim al polinomului E 12 (x)x p 2t 1 din
S(x). Aceasta conditie revine, daca 1 t, la :
l-1+2t+1 p-2t-1 p>5t+1
ceea ce presupune ca p-l componente de informatie sunt fara erori.
Aceasta inseamna ca spatial de siguranta dintre doua pachete de
erori, compus din 2I simboluri ale secventei codate, unde nu sunt admise
erori, trebuie sa se supuna restrictiei:
I>4t+1
4.3.4. Codarea si decodarea codului Fink-Hagelbarger
Instalatia de codare a codurilor convolutionale accepta la intrare o
secventa continua de simboluri binare si scoate o secventa continua de
simboluri codate. In secventa codata apar succesiv un symbol de informatie
si un symbol de control. Procesul de codare va executa produsul i(x)h(x),
ceea ce inseamna introducerea unor circuite de inmultire cu celule de
register. Pentru a se evita inmultirile cu polinoame avand exponenti negativi,
secventa de informatie i(x) va suferi o deplasare initiala trecand printr-un
registru cu t+1 celule asa cum se vede in figura 4.5.
50
Fig 4.5.
Registrele de deplasare sunt conduse cu o secventa de tact. Iesind
din registrul t+1, secventa de informatie trece spre canal conditionata de
semnalul P i existent in decursul primei jumatati a semnalului de tact.
Daca exprimam v(x) drept polinom al secventei de cod, avand cate
doua componente pentru fiecare putere a variabilei x, prima pentru partea de
informatie si a doua pentru partea de control, sub forma:
v(x)=v i (x); v c (x)
constatam ca:
v i (x)=i(x)* x t +1
La intrarea sumatorului + se aplica doua secvente, decalate intre
ele cu 2t+1 tacte, astfel incat iesirea va corespunde polinomului:
i(x)+ i(x) x 2t +1 = x t +1
i(x)[x t +x t 1 ]= x t +1 *c(x)
ceea ce inseamna, asa cum rezulta prin comparatie cu (4.17), ca este

polinomul secventei de control, c(x) decalat cu t+1 tacte. Impreuna cu
semnalul P c , existent in decursul celei de a doua jumatati a intervalulu ide
tact, in canal va patrunde iesirea din sumator,constituind componenta v c (x)
v c (x)=c(x)* x t +1
Decodarea codului Fink-Hagelberger are nevoie de o separare a
secventei de control de cea de informatie, de o racordare a acesteia, de o
insumare cu secventa de control receptionata pentru a crea sindromul si de
deplasari ale sindromului pentru a avea polinoame din care eroarea
secventei de informatie sa poata fi extrasa prin circuite de coincidenta. In
figura 4.6. se prezinta sumar o schema de decodare.
51
Fig.4.6.
P i si P c , existente fiecare de-a lungul unei jumatati din intervalul

de tact, sincrone cu semnale cu acelasi nume din schema de codare. Din
acest motiv secventa v i (x), impreuna cu eroarea care a afectat-o la trecerea
prin canal, E 1 (x), va patrunde in registrul cu 2t+1 celule, iar secventa de
control, v c (x) impreuna cu eroarea obtinuta la traversarea canalului, E c (x),
va patrunde in registrul cu t+1 celule. In consecinta
i 1 (x)=v 1 (x)+ E 1 (x)=i(x)*x t +1 +E 1 (x)
c 1 (x)= v c (x)+E c (x)=i(x)*x t +1 ( x t +x t 1 )+ E c (x)
La iesirea celor doua register se obtin:
i 2 (x)=i 1 (x)*x 2t +1 =i(x)*x 3t + 2 +E 1 (x)*x 2t +1
c 2 (x)=c 1 (x)*x t +1 = i(x)*x 2t + 2 (x t +x t 1 )+ E c (x)*x t +1
(4.23)
Sumatorul cu trei intrari, R 1 scoate sindromul S 1 adunand

secventele i 1 , i 2 si c 2 adica
S 1 (x)= i 1 (x)+i 2 (x)+c 2 (x)
S 1 (x)=i(x)[x t +1 +x 3t + 2 +x 3t + 2 +x t +1 ]+E 1 (x)+E 1 (x)*x 2t +1 +E c (x)*x t +1
Se poate observa ca S 1 (x) este un polinom deplasat cu t+1 tacte fata de
sindromul S(x) (rel 4.18). Sinromul S 2 , care este deplasarea cu 2t+1 tacte a
sindromului S 1 , se aplica circuitului de coincidenta P impreuna cu semnalul
S 1 astfel ca iesirea din P va avea numai componentele comune din S 1 si S 2 .
Scriem sindromul S 2 :
S 2 (x)= x 2t +1 * S 1 (x)= E 1 (x)*x 2t +1 + E 1 (x)*x 4t + 2 + E c (x)* x 3t + 2
Si deci
52
P= S 1 (x) S 2 (x)= E 1 (x)*x 2t +1
(4.24)
Sumatorul de iesire, R, ofera semnalul i r ca suma a doua

semnale, primul sosit din canal, i 2 , iar al doilea oferit de circuitul de
coincidenta, P, deci, coniderand relatiile (4.23) si (4.24) obtinem:
i r (x)= i 2 (x)+ S 1 (x) S 2 (x)
i r (x)=i(x)*x 3t +1 + E 1 (x)*x 2t +1 + E 1 (x)*x 2t +1 =i(x) *x 3t +1
din ultima relatie se vede ca iesirea i r a decodorului contine semnalul
secventei de informatie, i(x) decalat cu 3t+1 intervale de tact si cu erorile
E 1 (x) eliminate prin procesul de decodare.
Problema. Nu se cunoaste parametrul t al codului convolutional tip
Fink-Hagelbarger, corector de pachete de erori. Daca se transmite in linie
informatie cu un debit de 2000 bit/secunda, iar perturbatia care deformeaza
semnalul are o durata de 10 ms, cat trebuie sa fie t, cayt este intervalul de
siguranta si cat este lungimea de constrangere, dar lungimea pachetului de
erori?
R: t=10; I=41 ms(82 bits); n=22; l 20 bits.
Problema. Pentru codul de mai sus care va fi polinomul erorii
secventei de informatie, daca sindromul receptiei are expresia: 0000 0000
0101 0100 1000 0100 0000 1110 1010 0100
R=x 20 +x 22 +x 24 +x 27
Problema. Pentru codul de mai sus avand insa t=5 si informatia de
forma:
i(x)=x 30 +x 32 +x 33 +x 38
care va fi secventa emisa in linie, dar secventa receptionata cu erorile
definite prin polinoamele:
E 1 (x)= x 30 + x 33 ; E c (x)=x 31 + x 32
Care va fi expresia polinomiala a sindromului?
R: V=000101000100001010011000010100110000000001
53
x 23
V=000101000100010011000000010101110000000001
S(x)= x 24 +x 27 + x 31 + x 32 +x 35 + x 38
4.4. DECODAREA SECVENTIALA A CODURILOR
CONVOLUTIONALE
Sub aceasta denumire este cunoscuta o metoda pprobabilistica de
decodare a codurilor convolutionale, in care caracterul convolutional este
pregnant, iar cel probabilistic este evidentiat atat prin considerarea
particulitatilor canalului cat si prin parametrii introdusi in calcule, asa cum
se va vadea in continuare.
4.4.1.Graful de codare
Codul convolutional ce va fi decodat secvential, se codeaza sau cu o
matrice generatoare,sau cu polinoame generatoare. In mod obisnuit secventa
codata, v(x), contine in fiecare grupa un bit de informatie urmat de unul sau
doi biti de control:
V(x)=i(x); c 1 (x); c 2 (x)
Fiecare secventa de control se compune cu un polinom generator
propriu,
c 1(x)=i(x)*h 1 (x); c 2 (x)=i(x)*h 2 (x)
avand gradul egal cu 3 sau 4, ceea ce inseamna ca se va obtine o lungime de
constrangere egala cu 4 sau 5.
Atat i(x) cat si c 1(x) si c 2 (x) contin termini cu x la toate puteriile
incepand cu 0. In canal se va transmite pentru fiecare bit de informatie trei
simboluri reprezentand pe i(x), pe c 1(x) si c 2 (x).
Considerand un graf construit prin ramnificatie in doua directi a
fiecarui nod, o directie pentru simbolul 0 iar a doua pentru simbolul 1 din
secventa de informatie. Existentei unei anumite secvente de informatie ai
corespunde un anumit traseu in arboreal astfel construit. Pe fiecare ramura a
acestui graf se poate nota secventa de cod ce corespunde emisiei secventei
de informatie considerat, dependenta de polinoamele generatoare. In figura
4.7 se prezinta un graf de codare pentru un cod convolutional cu
h 1 (x)=1+x 2 +x 3 si h 2 (x)=1+x+x 3
Daca pentru i(x) se scrie:
54
i(x)=a 0 *x 0 +a 1 *x 1 +a 2 *x 2 +a 3 *x 3+a 4 *x 4
Atunci pentru polinoamele de control se obtine:
c 1(x)= a 0 *x 0 +a 1 *x 1 +(a 0 +a 2 )*x 2 +( a 0 + a 1 +a 3 )* x 3+( a 1 +a 2 + a 4 )* x 4
c 2 (x)=a 0 *x 0 +(a 0 + a 1 )* x 1 +(a 1 +a 2 )*x 2 +(a 0 +a 2 +a 3 )* x 3+(a 1 +a 3 +a 4 )* x 4
In graf sa notat, deasupra arcelor, valoarea simbolurilor de
informatie, iar dedesubt secventa de cod corespunzatoare. In partea
superioara sa notat variabila x.
Pentru o secventa de informatie i=10100.., drumul strabatut la
emisie este desenat ingrosat, iar secventa emisa in canal va fi:
v=111001101010010..
Decodarea secventiala urmareste reconstituirea drumului parcurs
la codare, facand analize statistice. Pentru un simbol oarecare se analizeaza
secventa in care apare acest symbol de informatie si inca 3 sau 4 secvente
care urmeaza. In acest fel inainte de a se lua o decizie asupra unui bit se vor
receptiona inca 3-4 grupe de simboluri si se vor analiza 2 3 -2 4 drumuri
posibile in graful de codare. Decizia se va lua statistic analizand
probabilitatea fiecarui drum de a se fi urmat la emisie, atunci cand se
cunoaste secventa receptionata. Dupa luarea deciziei asupra unui
55
nivel
x0
x1
x2
x3
x4
Fig. 4.7.
simbol, se va analiza simbolul urmator intr-o maniera asemanatoare,
procesul decurgand secvential.
Daca drumulreconstruit este correct, si are n biti emisi, acesta va
avea drept correspondent o secventa care difera de cea emisa in pn pozitii, p
fiind rata erorilor din canal (p<0,5). Daca drumul se indeparteaza de cel
emis, succesiunea emisa si aceea considerate la receptie devin tot mai
independente si distanta Hamming tinde spre 0,5 N.
56
4.4.2. Funcia de plauzabilitate

Considerm c am aflat temenul at-1xt-1 din secvena de informaie i
urmeaz s calculm termenul atxt. Vom considera secvena sosit,
n1' = a t' c1' t c 2' t . n graful de decodare ne gsim n nodul corespunztor ultimului
simbol decodat, din care pornesc dou arce, corespunztoare emisiei
simbolului de informaie at=1 respectiv at=0, precum i dou secvene ce s-ar
fi emis n canal n10 ; n11 , corespunztoare acestor dou valori ale simbolului de
informaie. Se compar cele dou secvene posibile a fi emise , n10 ; n11 cu
secvena sosit n1' , n funcie de diferen (distan Hamming) se calculeaz
un numr P
{(
P0 = f D n1' ; n10
)} ;
{(
P1 = f D n1' ; n11
)}
(4.25)
Dependena f a numerelor P de distana Hamming D se estimeaz dup

experiena analistului, pentru nceput putnd fi o dependen liniar. Se
compar ambele valori, P0, P1 cu un prag K1. Dac una din valorile P0, P1
este mai mic dect pragul K1 se termin analiza si se decide:
P0 < K 1 a t = 0 ;
P1 < K 1 a t = 1
Daca nu se ndeplinete nici una din aceste relaii, atunci se ateapt

secvena urmtoare, n2' .
Acum se consider n1 n2 ca secven sosit i patru secvene emisibile,
conform grafului de codare . Se vor calcula patru diferene i vor rezulta, cu
relaii asemanatoare cu (4.25) patru funcii de plauzabilitate.
{(
= f {D(n n
= f {D(n n
= f {D(n n
)}
: n n )}
: n n )}
: n n )}
P00 = f D n1' n 2' : n10 n 20
P01
P10
P11
'
1
'
2
'
1
'
2
'
1
'
2
0
1
1
2
1
1
0
2
1
1
1
2
;
;
;
;
P00 < K 2 a t = 0
P01 < K 2 a t = 0
P10 < K 2 a t = 1
(4.26)
P11 < K 2 a t = 1
Se face comparaia fiecrei funcii de plauzabilitate cu pragul testului K2

corespunztor nivelului doi de testare. Dac una din funcii este mai mic
dect K2 se decide n mod corespunztor. (Funcia de plauzabilitate P10 spre
exemplu este dependent de distana dintre cele dou secvene sosite i
57
secvenele ce s-ar fi emis dac informaia ar fi fost 10). Decizia asupra

simbolului at, prin relaiile (4.26) nu implic si deciziile asupra lui at+1,
pentru aceasta urmnd s executm analize ca i pentru at , de la nivelul unu
de testare. Dac nici una dintre relaiile de testare un este ndeplinit, se
ateapt n3' i se reface calculul pentru opt secvene emisibile, rezultnd
funcii de plauzabilitate ce se vor compara cu pragul K3 de pe nivelul al
treilea. In mod obinuit nu se depete nivelul patru n calculele care se fac.
Asupra pragurilor K1,K2,K3 .... se fac urmtoarele observaii. Praguri
mai mari nseamn posibilitatea ca nc de la primele ncercri, la nivelele
inferioare de testare s se ia decizia i aceasta ar putea fi deseori fals.
Probabilitatea de a decide fals crete cu creterea pragului de testare. Dac
pragurile sunt mici, volumul de calcule crte i ar crete i volumul
memoriei n care se pstreaz secvenele sosite pn la decodificare.
Creterea timpului de calcul este exponenial cu numrul nivelului la cere
se ia decizia. Din aceste motive stabilirea pragurilor nu se poate face uor,
fiind necesar un proces de observare a canalului i de cutare a valorilor
pragurilor, care s duc la o decizie acceptabil ntr-un numr nu prea mare
de testri. Unii autori accept ca limit maxim 4-5 secvene sosite i
analizate, pentru a lua decizia asupra primei secvene.
4.4.3 Exemplu de decodare
Considerm pentru funcia de plauzabilitate egalitatea cu distana
Hamming, iar iar pentru pragurile de testare valorile K1=1, K2=2,
K3=3,K4=4, K5=5.
Fie secevena recepionat v=010101011010 ... iar poziia n graful
de decodare n punctul A, reprezentnd bitul at-1 care a fost decodat deja.
Nivelul unu de testare se face fa de K1=1, cu funciile de
plauzabilitate calculate pentru:
n1' = 010 , primele trei simboluri din v
n10 = 001 , secvena care s-ar fi emis dac at=0
n11 = 110 , secvena care s-ar fi emis dac at=1
P0= D(010:001) =2 >K1 ; P1 = D(101:110) = 1 < K1
Dup nivelul unu de testare nu se poate decide asupra bitlui at , existnd
indicii c ar putea fi at=1.
Nivelul doi de testare se face fa de K2 , construind patru funcii de
plauzabilitate, corespunztoare celor patru secvene posibile a fi emise,
pentru secvena receptionat:
n1' n2' = 010101 , primele 6 simboluri recepionate
n10 n20 = 001010, P00 = D(010101 : 001010) = 5 > K 2
58
n10 n12 = 001101, P01 = D (010101 : 001101) = 2 < K 2
n11n20 = 110011, P10 = D(010101 : 110011) = 4 > K 2
n11n12 = 110100, P11 = D(010101 : 110100) = 2 < K 2
Nefiind mplinit pragul testului (6), nu se poate lua decizia. Conotm

ca pn acum n prima etap at=1 avea anse mari de a se confirma. n a
doua etap at=1 i at=0 au obinut anse egale, funcia de plauzabilitate fiind
de aceai valoare pantru dou drumuri, unul ncepnd cu at=1, iar cellalt
ncepnd cu at=0. trecerea de la prima atap la a doua etap a decurs n
favoarea ipotezei at=0. Continum cu etapa a treia. Vor fi opt funcii de
plauzabilitate. Nu vom scrie pe cele care au ca prime doua secvene n10 n20
sau n11 n20 , acestea avn deja n etapa anterioarfuncia de plauzabilitate mare.
Vom scrie doar pentru acelea ce deriv din funciile de plauzabilitate cu
valori mici.
n1' n2' n3' = 010101011
n10 n12 n30 =001101010 , P000=3 =K3
n10 n12 n31 =001101111
, P011=3 =K3
n n n =110100000 , P110=4 >K3
n11n12 n31 =110100111 , P111=3 =K3
1 1 0
1 2 3
Dup etapa a treia, avem trei dintre cele opt funcii de plauzabilitate
egale cu pragul de testare, nu putem lua decizia dar constatm c a crescut
gradul de ncredere n ipoteza at=0, deoarece dou din cele trei funcii cu
valoare minim conduc la aceast concluzie.
Etapa a patra se va calcula pentru ase funcii, corespunztoare celor
trei funcii de plauzabilitate de egal valoare din etapa a treia:
n1' n2' n3' n4' = 010101011010
n10 n12 n30 n40 = 001101010010 , P0100 = 3 < K4
n10 n12 n30 n14 = 001101010101 , P0101 = 6 > K4
n10 n12 n31 n40 = 001101111011 , P0110 = 4 = K4
n10 n12 n31 n14 = 001101111100 , P0111 = 5 > K4
n11n12 n31 n40 = 110100111000 , P1110 = 4 = K4
n11n12 n31 n14 = 110100111111 , P1111 = 5 > K4
Acum se poate lua decizia, secvena sosit fiind distanat de cea

emisibil sub forma 001101010010 , la o distan mai mic dect pragul
K4=4 . Se poate constata c at=0 i c ar fi fost greit s se decid at=1 dup
59
aprecierea distanei Hamming din etapa ntia, n care at=1 prea mai
posibil dect at=0.
4.5
COMPARAIA CODURILOR DETECOARE I CORECTOARE

DE ERORI
4.5.1 Condiiile comparaiei codurilor

O comparaie ntre mai multe coduri, ce pot fi luate n funcie de
implemetarea unui sistem de transmisie numeric, cu scopul lurii unei
decizii asupra codului ce va fi utilizat., implic o analiz din care s rezulte,
n condiiile date ale aplicaiei, care cod este mai eficient. Calitatea de cod
corector nu este suficient pentru a alege, doarece un astfel de cod este mult
mai redundant dect un cod corector de erori, iar acesta este el nsui mai
redundant dect codul neprotejat la zgomotele din canal. Ori, cu ct este mai
redundant un cod, cu att este mai scump transmisia i s-ar putea obine o
transmisie mai economic, la aceai calitate, cu un cod mai simplu. Analiza
trebuie s ia n discuie costuri, viteze de transmisie, complexitatea in
exploatare etc.
Aprecierea eficienei oricrui cod, trebuie fcut si din punctul de
vedere al utilizatorului, care solicit o transmisie cu un grad precizat de
fidelitate, de asemnare ntre semnalul predat spre transmisie i cel primit la
cellalt capt al canalului. O comparaie care ine seama de fidelitatea
transmisiei, face considernd constante anumite mrimi, cum ar fi puterea
emisiei, puterea zgomotului din canal, viteza de transmisie a mesajelor ctre
utilizator.
4.5.2 Comparaie ntre coduri corectoare de erori
Vom accepta existena a dou coduri corectoare de erori R1 i R2 cu
parametrii n1,k1,e1; n2,k2,e2, reprezentnd numrul simbolurilor din cuvntul
de cod, numrul simbolurilor de informaie din cuvntul de cod i numrul
de erori corectabile. Indicele 1 respectiv 2 se refer la la primul respectiv la
al doilea cod supuse comparaiei. Acceptm de asemenea ca beneficiarul
primete mesajul cu viteza de q bii/secund. Puterea emitorului este aceai
pentru ambele coduri i aceai este i puterea zgomotului din canal.
O constatare sumar, calitativ , se face imediat. Dac codul R1 este
mai capabil de a corecta erori dect R2, adic e1/n1>e2/n2, atunci R1 este mai
redundant i, la viteza q=constant, trebuie s aib, relativ la al doilea cod,
mai muli bii utilizai la protecie, adic (n1-k1)/n1>(n2-k2)/n2 , ceea ce va
nsemna c, durata unui bit va fi mai mic, deci frecvena n canal va fi mai
60
mare i puterea zgomotului care trece prin filtrul de la intrare, de band mai
larg, va fi mai mare, evident conducnd la creterea ratei erorilor. De aici se
vede c , dac e1>e2, nu nseamn neaparat c codul R1 este mai bun dect
codul R2.
n analiza care o facem acceptm c, la orice transmisie, probabilitatea
eronrii unui bit nu depinde de poziia bitului n cuvntul de cod transmis.
Acceptm de asemenea c eronarea sau recepia corect a unor simboluri,
sunt procese independen1te, necorelate ntre ele, precum i faptul c rata
erorilor n canalele de transmisie este suficient de mic, pentru ca uneori s
se poat face aproximaia 1-p = 1 , p fiind probabilitatea eronrii unui bit la
trecerea prin canal.
Pentru n1,k1,e1, ori de cte ori numrul erorilo manifestate n cuvntul
transmis este mai mic sau egal cu e1, schema de decodare va face corecia
necesar. Dac numrul erorilor este mai mare dect e1, se va lua o decizie
fals asupra semnalului recepionat. Probabilitatea deciziei falese sau
probabilitatea deciziei corecte , poate fi un criteriu de comparaie ntre cele
dou coduri corectoare de erori.
Fie p1 probabilitatea de eronare a unui bit la transmisia codului R1.
probabilitatea lurii unei decizii false asupra unui cuvnt, atunci cnd sunt
prezente mai multe erori dect aste capabil codul s corecteze se scrie
relaia:
Pe1 =
n1
i = e1 +1
i
n1
p1i (1 p1 ) n1 1
(4.27)
n care intervine p1i pentru c sunt i evenimente independente constituite de

erori de un bit, fiecare avnd probabilitatea p1 i n-i evenimente, de
asemenea independente, constituite de recepia corect a celorlali n-1 bii.
Se ia n combinri din n cte i, pentru c attea secvene diferite se pot
recepiona, n fiecare existnd i bii eronai i n-i bii coreci, aranjai cumva.
nsumarea pe domeniul e+1n se face, pentru c numai cnd numrul de
erori din cuvntul recepionat este mai mare ca e1 se ia deci o decizie fals.
Limita superioar a numrului erorilor este n1, cnd toi biii sunt eronai.
n cazul transmisiei informaiei cu cel de al doilea cod, probabilitatea
deciziei false asupra unui cuvnt recepionat va fi asemntor relaiei (4.27)
Pe 2 =
n2
i = e2 +1
i
n2
p 2i (1 p 2 ) n2 1
(4.28)
Drept criteriu de fideliate acceptat de beneficiarul transmisiei, vom

considera probabilitatea deciziei corecte asupra unei cantiti de simboluri
61
binare, aceai pentru ambele coduri, coninut n N1 cuvinte transmise prin

codul R1 ca i n N2 cuvinte transmise prin codul R2. Evident N1k1=N2k2.
Dac 1-Pe1 este probabilitatea luri unei decizii corecte asupra unui
cuvnt recepionat la transmisia codului R1, iar 1-Pe2 este probabilitatea
similar la transmisia codului R2, conform criteriului de fidelitate acceptat
mai sus, se va considera c R1 este mai eficient dect R2 adic
(1 Pe1 )N
> (1 Pe 2 )
N2
(4.29)
n relaia (4.29) cele dou pri ale inegalitii exprim probabilitatea
interseciilor unor evenimente independente i de egal probabilitate
(deciziile corecte luate asupra cuvintelor codurilor R1 respectiv R2).
1
Deoarece
<<1;
>>11-
<<1, se va putea scrie pentru(4.29) :
sau,
<
<
(4.30)
Considerand relatia (4.27) si observand ca
cu relatia :
<<1 vom putea exprima
deoarece ceilalti termeni din suma vor contine la o putere mai mare cu o
unitate, deci vor avea ponderi de circa ori mai mici decat primul termen.
In acest fel relatia (4.30) devine :
(4.31)
pentru a decide ca este mai eficient ca .
Pentru a putea preciza valorile probabilitatiilor si acceptam in
canal un zgmot gaussian cu densitatea spectrala de putere constanta, . In
acest caz, puterea zgomotului care afecteaza decizia asupra unui bit
receptionat si face posibila o eroare, va depinde de largimea de banda a
filtrului de intrare la receptor. Pentru probabilitatea unei decizii eronate
asupra unui bit, vom scrie urmatoarea relatie, dedusa in capitolul detectiei
semnalelor binare de sub zgomot
=1-F(
)
(4.32)
In care F(x) este functia integrala Laplace, tabelata, E este energia
semnalului util receptionat, este puterea zgomotului suprapus peste
semnalul util in receptor. Vom scrie
62
dw =
(4.33)
in care
este frecventa de taiere a filtrului de bansa de la intrarea in
receptor. Cele 2 coduri si , vor fi dotate cu filter diferite, in corformitate
cu diferentele intre
.
Pentru a se transmite cu viteza de mesaj constanta, q biti /secunda,
cele 2 coduri vor folosi frecventele
diferite. Acceptam pentru
frecventa de transmisie jumatatea inversului duratei unui bit din linie
=
; =
(4.34)
fiind duratele impuslsurilor in cele doua coduri. Viteza de transmisie
rezultata impartind numarul de biti de informatie transmisi la durata
transmisiei
=
;
=
iar la aceiasi viteza de transmisie
= =q
=
(4.35)
Considerand ultima relatie, se va scrie pentru (4.34)

=q
;
=q
iar pentru (4.33)
= q
(4.36)
In acest fel, rezulta urmatoarea relatie de decizie asupra codului mai
eficient, obtinuta prin introducerea relatiei (4.35) in relatia (4.32) si apoi in
(4.31) :
(4.37)
In aceasta relatie, produsul
se deci face.
este constant, comparatia necesara putandu-
4.5.3. Comparatie intre coduri detectoare de erori

Ca si pentru codurile detectoare de erori, vom accepta existenta a doua
coduri detectoare de erori, si , caracterizate prin parametri
recpectiv
, de data aceasta prin si
intelegand numarul de
erori detectate.
63
Drept criterii de alegere vom putea considera urmatoarele :

- Eficienta detectarii cuvintelor eronate
- probabilitatea deciziei corecte.
Eficienta detectarii cuvintelor eronate se calculeaza din parametri
codului, fara sa se tina seama de probabilitatea de eroare a bitilor, la trecerea
prin canal, ca raport intre numarul de secvente eronate detectate ca eronate,
catre numarul total de secvente eronate.
=
(4.38)
Este lesne de inteles ca numarul total de secvente eronate, , este cu 1
mai mic decat numarul maxim de secvente ce se poate construi din n biti.
Numarul de secvente eronate detectate, , este egal cu diferenta dintre
numarul de secvente construibile din n biti, si numarul de cuvinte de cod,
, deoarece detectia erorilor se bazeaza pe inexistenta cuvintului cu erori
printre cuvintele transmisibile. In consecinta,criteriul eficientei detectarii
cuvintelor eronate (4.38) se va scrie pentru cele doua coduri comparate :
(4.39)
In multe coduri detectore de erori, k poate fi un numar fractionar, ca in
codul de pondere constanta M din N.
Criteriul de decizie (4.38), bazat pe eficienta detectarii nu tine seama
decat de parametri codului, ignoreza atat actiunea canalului cat si eficienta
transmisiei. Din acest motiv un cod lent, cu raportul n/k mare, va avea
eficienta detectarii mare, desi in transmisie nu este deosebit de economic.
Eficienta codului detector de erori, estimata pe baza probabilitatii
deciziei corecte, are o baza de calcul mai apropiata de necesitatiile
beneficiarului, pe acesta interesandu-l in primul rand fidelitatatea,
asemanarea intre ce a primit si ceea ce s-a emis. Daca in relatia (4.27), vom
intelege prin numarul de erori detectabile prin codul , probabilitatea
va reprezenta probabilitatea deciziei false, aceasta avand loc de cate ori
numarul de erori introduse de canal depaseste pe . In aceeasi maniera vom
discuta despre relatia (4.28), referitoare la codul .
Relatiile (4.27 si 4.28) au stat la baza deducerii formulei (4.31), care
acum va indica conditia in care codul este mai eficient decat codul .
Toate deductiile referitoare la probabilitatea eronarii unui semnal in canalul
64
de transmisie, prezentate in cazul codurilor detectoare de erori, efectul

pertubatiilor asupra unui semnal ce traverseaza canalul fiind independent de
calitatiile de structura ale codului. Din acest motiv relatia (4.37) este
potrivita, pentru a decide care cod este mai eficient, atat in cazul codurilor
corectoare de erori , cat si in cazul celor detectoare de erori. Trebuie sa
facem precizarea urmatoare. Numarul de erori detectabile este garantat de
cod. In unele situatii insa, codul in cauza poate detecta un numar mai mare
de erori.
Spre exemplu codul cu repetitie, cu n>6 detecteaza simple, duble si triple
avand e=3. El insa detecteza si unele erori cvadruple. La analiza eficientei,
aceasta situatie trebuie luata in consideratie, pentru ca ar putea sa schimbe
decizia. In acest scop va trebui sa se intervina asupra coeficientului ,
acesta urmand sa fie calculat in conformitate cu performantele reale ale
codului pus in discutie. Din acest motiv, pentru a evidentia probabilitatea
corecta a deciziei false la un cod, relatia de decizie asupra eficientei
codurilor codul si comparate, se va scrie
[1-F
[1-F
in relatia de mai sus (respectiv ) reprezinta numarul de secvente diferite

ce pot sosi cu
(respectiv
) erori, pe care codul nu le poate detecta,
daca evident toate secventele posibile cu (respectiv ) erori sunt detectate.
Probleme
1.intr-un cod convolutional se stie ca (x)=1+x si (x)=1+ , n=3
sunt in numar de 3 , distantate intre ele prin ? biti neeronati. Sa se exprime
sindromul receptiei.
R. n=3 ; k=2 ; m=1
I. prima eroare in sirul primei informatii , in pozitia si deci :
(x) =
(x) =
(x) =
S(x) = (x) (x) +
(x) + (x)
S(x) = +
+
II. prima eroare in sirul informatiei in pozitia
(x) =
(x) =
(x) =
65
S(x) = +
+
III. prima eroare apare in secventa de control i pozitia
(x) =
(x) =
(x) =
S(x) = +
+
+
+
2. Un cod convolutional corector de pacete de erori, de tip FinkHagelberber, are n=2 si t=7. O portiune din sindrom se scrie in binar cu
expresia
... 001001101000110001001101000 ...
Sa se scrie expresia posibila a polinomului erorii secventei de informatie.
R.
E(x) =
+( +
+
+
) cu p N.
3. La receptia unui cod convolutional corector de erori independente
s-a calculat sindromul
s = 00000011000010100010010000 ...
Se stie ca n=3, redundanta este 1/3 iar polinoamele subgeneratoare au cel
mai mic grad posibil si cei mai putini termeni. Sa se scrie parametri codului,
polinoamele subgeneratoare si locul erorilor in secventa receptionata. Sa se
rezolve aceiasi problema daca polinoamele generatoare au cel mai mare
numar de termeni ramanand in continuare de grad minim.
R. n=3 ; k=2 ; m=1 ; H=3
I. (x) = 1 + x
(x) = 1 +
(x) =
;
(x) =
;
(x) =
+
II. (x) = 1 + x
(x) = 1 + x +
(x) =
;
(x) =
+
indica erori care au depasit capacitatea de corectie a codului.
66
TTI
Cap.3 SEMNALE ALEATOARE

3.1 Definiia i clasificarea semnalelor aleatoare:
Semnalele care apar n natur i n tehnic se mpart n trei mari clase:
1. semnale deterministe;
2. semnale aleatoare;
3. semnale pseudo-aleatoare;
Semnalele deterministe: sunt semnalele a cror evoluie n timp poate fi prezis, mai
exact a cror amplitudine la un moment de timp dat t1 este bine precizat.
Semnalele aleatoare: sunt semnalele a cror evoluie n timp nu poate fi prevzut,
ele supunndu-se legilor ntmpltoare, probabilistice.
Semnalele pseudo-aleatoare: sunt acele semnale care au o evoluie aleatoare doar pe
o durat de timp limitat T, dup care i reiau ciclul de evoluie.
v.a.1
v.a.2
v.a.n
t1 t2
tn
t
Fig. 3.1
Un semnal aleator se definete ca o funcie (x:TV) definit pe o mulime de timp
cu valori n mulimea variabilelor aleatoare care descriu starea unui sistem de evenimente
. Fiecrui moment tT i se asociaz o variabil aleatoare, deci semnalul aleator x reflect
evoluia n timp a sistemului dat.
Deci, spre deosebire de semnalele deterministe, semnalele aleatoare descriu
evoluia unor sisteme care, n momentul dat de timp, au o stare nedeterminat (aleatoare),
stare care poate fi cunoscut numai probabilistic.
Formal, un semnal aleator depinde de dou variabile tT i . Se pot folosi
notaiile echivalente x(t,) sau xt(). Pentru fiecare moment de timp tT, xt(). reprezint
o variabil aleatoare, iar pentru fiecare eveniment elementar , x(,) reprezint o
funcie de timp definit pe T, numit traiectorie (realizare, selecie), a semnalului aleator.
Orice realizare apare ca rezultat al unei observri a semnalului aleator i este un semnal
determinist.
Astfel un semnal aleator x poate fi privit ca o coresponden ntre un cmp de
evenimente {1, .n}, care definesc un sistem fizic i o familie de semnale
deterministe {x(,)}, . Deci noiunea de semnal aleator constituie o extindere a
noiunii de semnal determinist, acesta putnd fi considerat ca un semnal aleator cu o
singur traiectorie sau cu N traiectorii identice.
Dup tipul discret sau continuu al domeniului amplitudinilor i mulimii de timp T,
semnalele aleatoare se mpart n 4 categorii mai importante pe care le-am reprezentat n
fig.3.2 printr-o singur realizare x(k, t) = x(k)(t).
1. Procesul aleator continuu: semnalul aleator are att domeniul amplitudinilor X ct i
domeniul de timp continuu.
67
TTI
xk(t)
t
Fig. 3.2a
2. Procesul aleator discret: semnalul aleator are domeniul amplitudinilor discret {x1, x2 ,
.xn} i domeniul de timp continuu.
k
x (t)
x1
x2
x3
x4
Fig. 3.2b
3. Seria aleatoare continu: semnalul are domeniul amplitudinilor continuu, iar
domeniul de timp T este discret: t1, t2,.tn
xk(t)
t3
t1
t2
t4
Fig.3.2c
4. Seria aleatoare discret: semnalul are valori discrete att n domeniul timp ct i
n domeniul amplitudinilor .
xk(t)
Fig.3.2d
t4
t1
t2
t3
Din punct de vedere al proprietilor statistice clasificarea semnalelor aleatoare este:

nestaionare
staionare:-ergodice
-neergodice
a) n sens larg
b) n sens strict
3.2 Variabile aleatoare

Expresia cantitativ a realizrilor unui eveniment aleator poart numele de variabil
aleatoare. Variabilele aleatoare pot fi continue sau discrete dup cum valorile numerice pe
care le pot lua aparin unui interval sau unei mulimi numrabile de valori.
68
TTI
Ex.2:
v.a . discret finit =
x1
x 2 x3 x4 x5
-2,5 -0,2 0,31 1,4 2,53
1
2 3 4 5
0,2 0,3 0,25 0,1 0,15
v.a. continu x[a , b ];

P(x)[a , b ];
3.2.1 Funcia de repartiie a variabilei aleatoare

Fie v.a. discret din exemplul anterior. Valoarea funciei de repartiie a v.a. n x3
este egal cu probabilitatea ca variabila aleatoare discret s nu depeasc nivelul x3
adic:
F1(x3) = P{x3} = P1+P2+P3 = 0,75; avem n plus F1(x<x1) = 0 i F1(x>x5) = 1
n cazul mai general cnd variabila aleatoare este continu i x(- , )
F1 (x) = P { x} i n cazul v.a. discrete F1(x)= pk
xkx
unde pk =P{x=xk}
Dac reprezentm grafic funcia de repartiie din Ex.2 obinem:
Ex.3:
sau
F(x)
n
1 0.85
F1(x)= Pk u(x-xk); Pk=P{=xk}
0.75
k=1
0.5
0.2
1;x0
i u (x) =
x
-2,5
-0,2 0,31 1,4 2,53
0 ; x< 0
fig.1.3
n cazul unei v.a. continue funcia de repartiie arat ca n figura urmtoare:
F(x)
P{x1< x2}= F(x2)-F(x1)

Dem. F(x2)=P{ x2}= P{ x1 sau
(x1; x2)}= P{ x1}+ P{x1< x2}=
==>P{x1< x2}= F(x2)-F(x1) .
fig. 1.4
3.2.2 Densitatea de probabilitate a unei v.a.

Dac funcia de repartiie a unei v.a. continue este continu i derivabil, derivata
sa se numete densitate de probabilitate:
p1 (x ) =
dF1 (x)
dx
Din probabilitatea ca o variabil aleatoare s ia valori cuprinse ntr-un interval

(x1,x2) se poate deduce acum definiia densitii de probabilitate:
x2
P{x1< x2}= p1(x) dx
x1
69
TTI
Pentru cazul unor v.a. discrete

n
F1(x) = Pj u(x-xj); unde Pj=P{ = xj}
i=1
1;x
iar u(x)=
0 ; x<0
este funcia treapt unitar; ca urmare funcia
densitate de probabilitate va fi:
P1(x)
x1
x2
F1(x)
P3
x
P2
Fig.3.5
P1
P4
x1
x2
x3
x4 . . . .
Fig. 3.6
F1(x)
= Pj (x-xj)
i arat ca n fig .3.6 prezentat mai sus.
x
j
n continuare prezentm dou din cele mai ntlnite distribuii de v.a. precum i
cteva din proprietile acestora.
P1(x) =
3.2.3 Distribuia uniform

n acest caz funcia de repartiie i densitatea de probabilitate de ordinul nti sunt:
x a
b a ;a x b
F1 ( x ) = 0; x < a
1; x > b
F1(x)
1
;a x b
p1 ( x ) = b a
0; x < a , x > b
P1(x)
1
b-a
a
3.2.4 Distribuia normal

F(x)
0,4
1
0,5
-3
-2 -1
x a
-3 -2
70
0,3
0,2
0,1
-1 0 1 2
x a
TTI
1 x 1 u a
F1 ( x ) =
e 2 du
2
1 x a
1
e 2
P1 ( x ) =
2
a = valoarea medie a v.a.
= dispersia v.a
a
z = x1
1 z 1 t2
{
}
{
}
(
)
P
x
P
y
z
F
(
z
)
=
=
=
F1 x1
x1
e 2 dt
2
sau normaliznd:
y=
x a
;
F(z) poart numele de integral Laplace i se gsete n tabele.

3.2.5 Momentele de ordinul k ale v.a.
Funcia de repartiie i densitatea de probabilitate a v.a. dau o caracterizare
complet a v.a., dar n multe aplicaii sunt necesari doar nite parametrii pentru
caracterizarea v.a.. Aceti parametrii sunt de obicei momentele de ordinul k.
mk( )= xk p1(x) dx
pt. v.a. continu
-
n
mk( )= xkI pi
unde pi=P{ = xi}
i=1
Cunoaterea tuturor momentelor de ordin k nseamn de obicei cunoaterea
complet a v.a.. n practic se utilizeaz doar trei:
Valoarea medie de ordinul 1:
a = m1{} = x p1(x) dx
v.a. continu
-
n
= xi Pi
v.a. discret
i=1
Media de ordinul 2
x2 p1(x) dx
v.a. continu
-
m2 ( x ) =
n
xi2 pi
v.a. discret
i=1
Dispersia (sau varian) v.a , 2
(x-a)2 , 1(x)dx
v.a. continu
-
2 = m2 {- a } =
n
(x1-a)2 Pi
v.a. discret
i =1
n
n general avem: P1 =1 = P1(x) dx

i =1
-
71
TTI
3.3 Valori medii ale semnalelor aleatore

3.3.1 Valori medii statistice ale semnalelor aleatore
Deoarece aa cum am artat, semnalele aleatore pot fi cunoscute numai din
proprietile lor probabilistice, definim principalele caracteristici statistice ale semnalelor
aleatoare care prezint interes n aplicaii. Acestea se calculeaz pe ansamblul realizrilor
{x(.,)} ale unui semnal aleator x(t,) pe care de acum n colo l vom nota simplu
x(t). Avem urmtoarele mrimi mai importante definite la momente de timp t1,,tn alese
arbitrar.
-valoarea medie, sau momentul de ordinul nti
x(ti) = xi pi(x, tI) dx

-
-valoarea ptratic medie (puterea momentan a semnalului):
P( t i ) = x 2 ( t i ) =
x p ( x, t )dx
2
-funcia de autocorelaie:

Bxx ( t1 , t 2 ) = x ( t1 ) x ( t 2 ) =
x x p (x , x , t , t
1 2 2
)dx1dx 2
-funcia de corelaie mutual (intercorelaie):
Bxy ( t1 , t 2 ) = x ( t1 ) y( t 2 ) =
xyp ( x, y, t , t
2
)dxdy
-dispersia 2:
x (t 1 ) = disp(t 1 ) = [x(t 1 ) x(t 1 )] 2 = x 2 (t 1 ) 2x(t 1 ) x(t 1 ) + [ x(t 1 )]2 =

2
= x 2 (t 1 ) 2x(t 1 ) x(t 1 ) + [ x(t 1 )]2 = x 2 (t 1 ) [ x(t 1 )]2

-funcia de covariaie:
K xx ( t1 , t 2 ) = [x ( t1 ) x ( t1 )][ x ( t 2 ) x ( t 2 )]
-funcia de covariaie mutual:
K xy ( t1 , t 2 ) = [ x ( t1 ) x ( t1 )][ y( t 2 ) y( t 2 )]
O diferen imediat ntre funcia de corelaie mutual Bxy(t1,t2) i cea de covariaie
mutual Kxy(t1,t2) a semnalelor aleatoare se remarc n cazul semnalelor statistic
independente. Astfel, funcia de covariaie mutual este nul fr ca mediile semnalelor
aleatoare s fie nule, pe cnd funcia de corelaie mutual este nul numai dac mediile
semnalelor sunt nule. Adic pentru:
x ( t 1 ) = y( t 2 ) = 0
P2 ( x1 , y 2 , t1 + t 2 ) = P11 ( x1 , t1 ) P12 ( y 2 , t 2 )
avem:
Bxy ( t 1 , t 2 ) = K xy ( t 1 , t 2 ) = 0
72
TTI
3.3.2 Valori medii temporale ale semnalelor aleatoare

n acest caz din mulimea realizrilor {x(,)} se consider o realizare
particular x(t, )=x(k)(t) i se calculeaz valorile medii temporale ale acesteia.
-valoarea medie temporal:
T
1 2
x ( k ) ( t o + t ) = T lim [x ( k ) ( t 0 + t )]dt = x ( k ) ( t )
T T
2
care nu depinde de momentul iniial t0 al medierii i reprezint componenta continu a

realizrii semnalului aleator.
-valoarea ptratic medie temporal:
T
1 2
[ x ( t o + t )] = T lim [x ( k ) ( t 0 + t )]2dt = [ x ( k ) ( t )]2
T T
(k)
care nu depinde de originea timpului t0 i reprezint puterea medie a semnalului pe o

sarcin unitar.
- funcia de autocorelaie temporal:
T
R xx
(k)
( t1 , t 2 ) = x
(k)
( t1 + t ) x
(k )
1 2 (k)
(k)
(k)
(t 2 + t ) =T lim x (t1 + t) x (t2 + t)dt = Rx (t2 t1)
T T
2
aceasta nu depinde de originea timpului i numai de =t2-t1

- funcia de corelaie mutual temporal:
T
1 2 (k)
(k)
( k)
R xy ( k ) ( t1 , t 2 ) = x ( k ) (t 1 + t ) y ( k ) ( t 2 + t ) = T lim x ( t1 + t ) y ( t 2 + t )dt = R xy ( )
T T
2
acesta nu depinde de originea timpului. n general, Rxy
(k)
() nu este o funcie simetric.
3.3.3 Semnale aleatoare staionare

Cu ajutorul definiiilor proprietilor statistice ale semnalelor aleatoare putem
caracteriza principalele clase de semnale aleatoare prezentate. O clas de semnale aleatoare
cu o deosebit importan practic sunt semnalele aleatoare staionare. Acestea sunt acele
semnale aleatoare ale cror proprieti statistice sunt invariante la schimbarea arbitrar a
originii timpului.
Pn(x1,x2,,xn,t1,,tn)=pn(x1,,xn,t1+,,tn+)
Semnalele care se bucur de proprietatea anunat se numesc semnale aleatoare n
sens STRICT.
3.3.4 Semnale aleatoare ergodice
Semnalele aleatoare ergodice sunt semnale staionare n sens strict care au
proprietatea c mediile statistice sunt egale cu cele temporale. Adic :
x( t) = x k ( t)
[ x ( t )]2 = [x ( k ) ( t )]2
Bxx ( t1 , t 2 ) = x ( t1 ) x ( t 2 ) = x ( k ) ( t1 + t )x ( k ) ( t 2 + t ) = R xx ( t1 , t 2 )
(k)
73
funciile de
autocorelaie
TTI
egalitatea funcB xy ( t1 , t 2 ) = x ( t 1 ) y( t 2 ) = x ( t1 + t ) y ( t 2 + t ) = R xy ( t1 , t 2 ) iilor de corelaie

mutual
Egalitile de mai sus se iau n sensul convergenei n probabilitate
(k)
(k )
(k)
lim P{| x ( t ) x T ( t ) |< } = 1

Clasa semnalelor ergodice are o deosebit nsemntate deoarece elimin necesitatea
obinerii tuturor realizrilor unui semnal aleator x(t), putndu-se determina probabilitile
statistice dintr-o singur realizare.
(k)
3.3.5 Semnalul aleator pur

Semnalul aleator pur este acel semnal pentru care variabilele aleatoare succesive
ale lui x(t) luate la intervale orict de mici sunt independente. Se poate exprima acest fapt
prin:
n
Pn ( x1 , x 2 ,..., x n , t1 ,..., t n ) = P1 ( x k , t k )
k =1
Se observ c acest semnal este descris complet de densitatea de probabilitate de

ordinul nti. Zgomotul alb este un semnal aleator pur i are funcia de autocorelaie egal
cu funcia Dirac.
Bxx ( ) = N 0( )
x () = 2 N 0
Deoarece aa cum vom vedea densitatea spectral de putere a semnalului aleator
este pereche Fourier cu funcia de autocorelaie, rezult c zgomotul alb are un spectru de
putere uniform i infinit.
3.4 Densitatea spectral de putere. Teorema Wiener Hincin

3.4.1 Densitatea spectral de putere a semnalelor aleatoare staionare
Deoarece semnalele aleatoare sunt infinite rezult c norma lor este infinit
| x
(k)
( t ) |2 dt
i ca atare nu se poate aplica analiza armonic a semnalelor deterministe. Pentru a se putea

extinde analiza spectral i n cazul semnalelor aleatoare se consider semnalul xT(k)(t)
dintr-o realizare particular x(k)(t) a semnalului aleator x(t).
xT(k)
xT(k)(t)= x(k)(t)
xT(k)(t)=0
, pentru
pentru
|t|<=T/2
|t|>T/2
t
-T
Puterea medie a semnalului trunchiat este:

(k)
PT
(k)
E
= T
T
1 2 (k) 2
1
(k)
=
[ x ( t )] dt = [x T ( t )]2 dt
T T
T
2
Dac se noteaz cu:

X T () = F{x T ( t )}
( k)
(k)
74
TTI
rezult :
PT
=
(k)
1
(k)
(k)
x T ( t )dt ( X T ( )e jt d) =
1 1
(k)
(k)
X T ( )( x T e jt dt )d =
2 T
1 1
1 | X T ( ) |2
(k)
(k)
=
X T ( )x *T ()d =
d
2 T
2
T
Densitatea spectral de putere a semnalului trunchiat se definete prin relaia:
| X T ( ) |2
T
(k)
(k)
QT ( ) =
(k)
iar puterea medie a realizrii
PT
(k)
xT(k)(t)
( , )
este:
1
(k)
QT ( )d
2
Deoarece | xT(k)()|2 este o funcie par de , densitatea spectral de putere poate fi definit
n domeniul >0 prin:
>0
2 | X T ( ) |2
(k)
= 2Q T ( )
() =
T
(k)
SX
(k)
n cazul n care se consider c ntreaga realizare T tinde la infinit, rezult puterea

medie a semnalului, presupunnd existena limitei:
1
(k)
P = T lim PT = T lim
QT ()d
2
Aceast presupunere este justificat deoarece semnalul are ntotdeauna o putere
finit. Deoarece nu ne intereseaz puterea unei realizri particulare (k), ci puterea medie
a semnalului aleator nainte de a trece de la limit n relaia de mai sus se face o mediere
peste toate realizrile i obinem puterea medie:
( k)
( k)
1
1
(k)
P = T lim
QT ()d =
Q X ( )d
2
2
| X T () |2
Q X ( ) = T lim
T
( k)
este densitatea spectral de putere DSP.

DSP se poate definii i pentru frecvenele ne negative:
U()=1 , dac >=0
SX ( ) = 2Q X ( ) U( )
U()=0 , dac <0
P=
1
1
SX ( )d =
Q X ()d = Bxx (0) = x 2 ( t )
2 0
2
Puterea unui semnal aleator ntr-o band finit se obine din:
1
P =
SX ()d
2 0
75
TTI
3.4.2 Teorema Wiener Hincin

Teorema Wiener Hincin, reprezint un rezultat remarcabil al teoriei semnalelor
aleatoare staionare i afirm c densitatea spectral de putere i funcia de autocorelaie
ale unui semnal aleator sunt perechi Fourier. Adic
Bxx() jd() =
Qx() =
Bxx() cos()d() =2 Bxx() cos()d()
Sx() = 2Qx()U() = 4 Bxx() cos()d()

0
i reciproc.
1
Bxx () = F {Qx ()} =
=
Bxx () =
1
1
j
Qx () e d () =
Qx () cos( )d () =
2
2
1
Qx () cos( )d()
0
1
1
j
Sx () e d () =
Sx () cos( )d () =
4
4
1
Sx () cos( )d()
2 0
Puterea total a unui semnal aleator este:
x2 (t) = Bxx(0) =
1
1
S
x
(
)
d
(
)
=
Qx()d()
2 0
0
3.5 Dezvoltarea Karhunen-Love a semnalelor aleatoare n serie cu

coeficieni necorelai
Fie {i(t)} o mulime de funcii ortonormate de t[0,T] adic
0 i j
v i ( t ) v j ( t )dt = Sij = 1 i = j
Dorim s reprezentm semnalul aleator x(t) n forma

N
x ( t ) = lim i v i ( t )
t [0, T ]
N i =1
i = x ( t ) v i ( t )dt
0
Aceast integral este o integral de tip medie ptratic i reprezint o v.a.

N
2
lim ( i iN ) = 0, unde iN = x ( t k ) v i ( t k )( t k t k 1 )
N
t k 0
k =1
Iar limita se definete n sensul mediei ptratice
76
TTI
lim ( x( t ) x
N
) = 0, unde x N = i vi ( t )
t [0, T ]
i =1
Trebuie s alegem n aa fel funciile de baz astfel nct coeficienii dezvoltrii i

s fie necorelai. Astfel dac presupunem c media semnalului x(t) este nul, adic
T
x ( t ) = 0 i = 0, unde i = x ( t )vi ( t )d( t ) = 0

atunci
Stabilim acum c dac funciile vi (t) sunt soluii ale ecuaiei integrale
T
Kxx ( t , u ) v j (u )du = j v j ( t )
()
t [0, T ]
Unde Kxx (t,u) este funcia de covariaie a semnalului aleator x(t), atunci coeficienii i
sunt necorelai i ndeplinesc condiia
i j = i ij = i
0
T T
i= j
i j
T T
i j = x ( t1 ) x ( t 2 ) v i ( t1 ) v j ( t 2 )dt 1dt 2 = [ x ( t1 ) x ( t 2 )] v i ( t1 ) v j ( t 2 )dt 1dt 2 =

0 0
0 0
T
= Kxx ( t 1 , t 2 ) v j ( t 2 )dt 2 v i ( t1 )dt1 = j v j ( t1 ) v i ( t1 )dt 1 =

0 0
0
= j v j ( t 1 ) v i ( t 1 )dt 1 = jSij
0
Relaia este o relaie de tip Fredholm unde funcia de autocorelaie Kxx (t,u) este
nucleul ecuaiei, vj (t) sunt funciile proprii, iar i sunt valorile proprii.
Dac se cunosc proprietile statistice ale semnalului, mai exact dac se cunoate
funcia de autocorelaie, se poate determina pe baza relaiei () o familie de funcii
ortogonale {i(t)}, cu t[0,T], care conduc la o dezvoltare n serie cu coeficieni necorelai
a semnalului aleator x(t).
3.6 Transformri liniare ale semnalelor aleatoare

Un sistem liniar transform un semnal aleator x(t) de la intrarea sa ntr-un alt
semnal aleator y(t) care se obine cu relaia
y( t ) = x ( t ) h ()d
unde
y (Tk ) ( t ) = x (Tk ) ( t ) h ( t )
YT( k ) () = X T( k ) ()H()
h(t) este rspunsul sistemului liniar la impulsul unitate.
Daca H() este funcia de transfer a sistemului liniar, atunci ntre densitile
spectrale de putere ale celor dou semnale avem relaia:
2
Sy() = H() Sx ()
77
TTI
YT( k ) () = H()X (Tk ) ()

YT( k ) () = H ()X *T( k ) ()
YT( k ) ()
X T( k ) ()
= H() lim
T
T
T
De unde conform teoremei Wiener Hincin, obinem legtura care exist ntre
funcia de autocorelaie a semnalului aleator de la ieirea sistemului liniar i densitatea
spectral de putere
lim
Byy() =
1
1
2 j
2
S
x
(
)
H
(
)
d
=
Sx ( ) H() cos( )d
e
4
2 0
EX:
Ca exemplu considerm trecerea zgomotului prin sisteme liniare. n acest caz
densitatea spectral de putere este constant i egal cu
Sx () = 2 N 0
iar funcia de autocorelaie
Bxx () = N 0 ( )
La ieirea sistemului liniar vom avea un semnal aleator care nu va mai fi zgomot
alb, deoarece semnalul de la ieire are densitatea de putere
2
Sy() = 2 H() N 0
care este finit i neuniform, forma sa fiind dict t de funcia de transfer H() a
sistemului liniar. Alt deosebire const n faptul c funcia sa de autocorelaie nu mai este
o funcie Dirac.
Byy() =
N0
2
H () cos( )d
iar puterea total are expresia
Byy(0) =
N0
2
H () d
Cap.4 Transmiterea discret a semnalelor continue

4.1. Sisteme cu modulaia impulsurilor
Exist dou categorii de sisteme de comunicaii: sistemele analogice i sistemele
numerice. Sistemele analogice transmit informaia continu coninut n semnalele de
voce, TV, radio, pe purttori de nalt frecven fr a schimba caracterul continuu al
semnalelor. Telecomunicaiile moderne susinute de explozia tehnicii de calcul i a
tehnologiei integrate numerice tind s devin la aceast or preponderent digitale. De aceea
mesajul, informaia coninut n semnalele analogice, de voce de exemplu, este transmis
numeric. Tehnica se numete modulare de impulsuri.
Def. Modulaia impulsurilor const n a transfera caracteristicile semnalului de baz
x(t) asupra unui purttor reprezentat printr-o succesiune de impulsuri.
Exist mai multe sisteme de transmisiune cu impulsuri:
- MIA modulaia impulsurilor n amplitudine;
- MIP modulaia impulsurilor n poziie;
- MID modulaia impulsurilor n durat;
78
TTI
MI difereniale dintre care amintim: MICD (MIC Diferenial), Modulaia

delta, Modulaia delta adaptiv.
Modulaia impulsurilor n durat i n poziie transform informaia purtat de un
semnal n limea unor impulsuri dreptunghiulare sau n poziia acestora pe axa
timpului. n ambele cazuri, amplitudinea impulsului nu este legat de informaia
mesajului transmis. n figur este ilustrat principiul celor dou tipuri de modulaii.
Modulaia impulsurilor n cod MIC este cel mai cunoscut sistem de transmisie cu
modulaie n impulsuri. Semnalul este mai nti discretizat n timp, prin eantionare
obinndu-se un semnal MIA, apoi impulsurile din semnalul MIA sunt discretizate n
amplitudine prin cuantizare obinndu-se nite impulsuri care au amplitudinea un numr
ntreg de cuante. Operaia urmtoare este codarea care const n extragerea numrului de
cuante cuprinse ntr-un impuls cuantizat, numr reprezentat printr-un cuvnt de cod binar.
Transmiterea informaiei despre amplitudinea unui eantion se face printr-o secven de
impulsuri binare.
Ex. Te=128s, fe2fmax
79
TTI
fmax=3,4 kHz, fe2fmax=6,8kHz, fe=8kHz Te=125s
4.2 Transferul informaiei n sistemele cu modulaie n impuls

Este instructiv s comparm diversele sisteme cu modulaie n impuls. Folosim
legea Nartlay-Shannon care stabilete cantitatea de informaie transmis printr-un canal
afectat de un zgomot gaussian (densitatea de probabilitate gaussian) de putere N, atunci
informaia maxim prin canal este:
I=B log 2(1+S/N)
unde B este banda canalului iar S este puterea util a semnalului. n transmisiile reale
exist ntotdeauna un zgomot N de putere finit care limiteaz informaia maxim care
poate fi transmis prin canal. n sistemele MIA, amplitudinea impulsului ia orice valoare
din plaja de amplitudine a semnalului avnd o infinitate de valori posibile: I= (I=log 2 1/p
;p=1/nn I). Dar conform relaiei, cantitatea maxim de informaie ce poate fi
transmis prin canalul cu zgomot este finit deci avem o pierdere nsemnat de informaie
n procesul de transmisie. De aceea MIA nu se folosete n transmisii.
n cazul transmisiei MIC fiecare valoare de amplitudine este aproximat cu cel mai
apropiat nivel cuantizat care se transmite apoi printr-o secven de impulsuri. Tuller a
demonstrat c sistemul MIC este singurul sistem cu impulsuri la care Itransmis Iteoretic i la
care se poate face un schimb eficient ntre banda de transmisie i raportul semnal/zgomot.
Fie un sistem MIC cu n=4 bit i se transmite un semnal cu fm
fe=2fm=n/Te=n/(1/2fm)
Iteoretic =2nfm bii/s=8fm bii/s Bteoretic=8fm Hz
80
TTI
Presupunem c se face codarea i transmisia cu impulsuri binare cu doua nivele, 0

i 1.
C+N
= 2 ,care este
N
suficient pentru a recunoate la recepie impulsurile binare, rezult c informaia transmis
prin canal i recepionat de ctre utilizator este:
Dac n canal se consider un raport semnal-zgomot cu
I = B log 2 1 + S
) = B log 4 = 2B
2
Dar I=Iteoretic pentru cazul unei recepii corecte i deci rezult lungimea de band
necesar:
2nfm=8fm=2BB=4fm=nfm Hz
B=1/2 Bteoretic
Dac folosim corelarea cu un cod cuaternar cu 4 niveluri (1,2,3,4) atunci
C+N
= 4 i rezult o band a canalului de 4 ori mai mic dect banda teoretic:
N
B=1/4 Bteoretic
4.3Eantionarea. Spectrul semnalelor MIA

4.3.1 MIAN modulaia impulsurilor n amplitudine natural
XMIAN(t)
t
T
x(t)
xMIAN(t)
xp(t)
H f ( ) = e
sin c
hf
T (t ) = (t nT )
n
x MIAN = x (t ) x p (t )
x p ( t ) = T (t ) h f (t )
[
] 21 X() X p ()
X p () = F{x p (t )} = F{ T (t )} H f ()
X MIAN = F x (t ) x p (t ) =
81
TTI
2
{T (t )} ( n )
T
n
2
=
T
2 j
n
2
j
X p () = ( n ) e 2 sin c =
( n )
e 2 sin c
2
T n
2
T n
F{T (t )} =
X MIAN =
1
1
n
2 j
X() X p () =
X ()
( n )
e 2 sin c
2
2
2
T n
X MIAN =
jn
n
X( n )
e 2 sin c
T n
2
Ex: =3M=/
XMIAN
X=
FTJ
-M
-3 -2/6
-
-M
XMIAN() conine spectrul semnalului fr a fi deformat.
2/6
4.3.2 MIAV modulaia impulsurilor n amplitudine uniform

Este cazul cel mai apropiat de situaia practic
XMIAV(t)
t
T
x(t)
xe(t)
hf
XMIAV
j
H f = e
T (t ) = (t nT )
sin c
x e (t ) = x (t ) T (t ) = x (t ) (t nT )
n
1
1
1
X () F{ T (t )} =
X () 2 ( n ) = X ( n )
2
2
n
T n
= x e (t ) h f ( t )
F{x e (t )} =
x MIAV
X MIAV = F{x e (t ) h f (t ) } = X e () H f ( )
82
TTI
X e () = F{x e (t )} =
1
X( n )
T n
2
T
= X( n ) H f ()
n
j
2 sin c X ( n )
= e
2n
T
=
X MIAV
X MIAV
Ex: =3M=/
X=
-M
XMIAV
Defect de apertur
FTJ
-3
-2
/6
-
m
2
/6
Apar deformaii ale spectrului in banda de baz datorit nfurtoarei sinc(/2 ).

Efectul se numete defect de aparatur. Reconstituirea se face prin FTJ sau prin
eantionare i memorare pe perioada T.
4.3.3 Teorema eantionrii

Enun: Un semnal de band limitat B poate fi reconstruit, teoretic fr erori, din
eantioanele sale, dac acestea sunt luate cu o frecven de eantionare fe egal cu cel puin
dublul benzii B:
fe B.
Semnalele normale au de obicei componente la toate frecvenele (criteriul PaleyWiener)
FTB la intrare
=2M frecvena Nyquist
erori de aliere
Ex. 6,6 kHz fe
fe=2fm
FTJ
fe<2fm
fm=3,4 KHz
fe=6,8KHz
83
erori de aliere
TTI
4.4 Conversia Analog-numeric

4.4.1 Cuantizarea
Procesul discretizrii n amplitudine a eantioanelor semnalelor se numete
cuantizare. Procesul de cuantizare este ilustrat n figur, unde se folosete un cuantizor
uniform, pasul de cuantizare fiind 0,1 mV.
x(t)
x2(t)
1,6
N=16
1,0
t
0
fe
z(t)=x(t)-x2(t)
Dac cuantizarea este suficient de fin, adic dac numrul nivelurilor de cuante
pure este suficient de mare , adic q este suficient de mic n comparaie cu plaja de
amplitudine a semnalului iar variaia acestuia este lent (adic densitatea de probabilitate
de ordinul unu a semnalului p1(x) este o funcie cu comportare bun
p( x ) >> qp ' ( x ) >> q 2 p '' ( x ) >> q (e ) p (k ) ( x )
atunci se poate face o analiz calitativ a cuantizrii x(t), xq(t) semnale.
Variaia zgomotului de cuantizare este n plaja unei cuante (q/2). Un cuantizor are
caracteristica de transfer din figur:
xq
niveluri de refacere
cuant
q3
Caracteristicile statice ale
x q2
semnalelor cuantizate
x q1
Ik- interval de decizie
x(-3)
x(-2)
x(-1)
x1
x2
x3
x q 1
x q 2
niveluri de decizie
x q 3
Fie un semnal aleator x(t) cu densitatea de repartiie a probabilitii p(x) care este
supus cuantizrii ntr-un cuantizor cu nivelurile de decizie {x k }kZ i cele de refacere
x qk kZ . Semnalul aleator cuantizat xq(t) se obine astfel:
{ }
84
TTI
Pentru fiecare moment de timp t ,xt este o variabil aleatoare continu creia i
facem s-i corespund o variabil aleatoare discret ale crei valori posibile {(xqt)kZ se
obin din relaia:
(x )
qt k
= x qk
dac
i are densitatea de probabilitate:
x qt I k
pq (x) = pk x x qk
kZ
unde:
xk
p k = p(x )dx
x k 1
Procesul este ilustrat n figur:
Media semnalului de la ieirea cuantizorului este:
M(x k ) = Pk x qk
( )
kZ
M x q2 = Pk x q2k
kZ
Pq (x ) = Pk x x qk
kZ
4.5 Modulaia delta

Modulaia delta este o cuantizare diferenial pe un bit n=1. Prin canal se transmite
un singur bit, acesta purtnd informaia despre semnalul diferenei, deci despre tendina de
variaie pe care o are semnalul la emisie. La recepie se va aduga sau se va scdea o
cuant la semnalul anterior reconstituit, dup cum valoarea recepionat este 0 sau 1.
Dac cuanta este constanta, independent de semnalul transmis, vorbim despre
modulaia delta uniform. Dac cuanta se poate modifica n funcie de semnal vorbim
despre modulaia delta adaptiv.
85
TTI
4.5.1 Modulaia delta uniform

Dac cuantizarea diferenial cu predicie se face pentru n=1, a1=1 aj=0 pentru j1,
atunci se obine modulaia delta uniform. Predictorul este acum un integrator care adun
sau scade o cuant dup cum este semnalul diferen cuantizat pe un singur bit. In figur
este prezentat semnalul x(t) ce se transmite i semnalul x*(t) reconstituit la recepie, pentru
a se pune in eviden diferenele, erorile ce apar n cuantizarea cu un singur bit.
Se vd erorile de neurmrire, aprute atunci cnd variaia semnalului de la intrare

este mai mare dect variaia posibil a semnalului de la ieire, aceasta din urm fiind
dependent de cuant i de frecvena de eantionare. Erorile de neurmrire nu apar dac
viteza de variaie a cuantei este mai mare dect viteza de variaie a semnalului.
1
q
T=
> x ' (t )
;
fe
T
Se poate micora sau mrind cuanta sau mrind frecvena de eantionare.
Se vd erorile de granulare care apar atunci cnd semnalul de la intrare este
constant dar semnalul de ieire variaz deasupra sau dedesubtul acestuia. Eroarea de
granulare poate fi micorat scznd q. O schem aplicabil care realizeaz modulaia delta
este prezentat in figur.
Cuantizorul genereaz un semnal binar bi n funcie de diferena dintre eantionul

curent xi i eantionul anterior reconstituit xi-1*
bi = sgn( xi xi*1 )
Eantionul reconstituit actual xi se obine printr-o nsumare xi* = xi*1 + qbi (= xi 1 q )
Blocul care nsumeaz i amplific cuanta q ar putea fi un numrtor reversibil
continuat cu un CAN. Cuantizorul ar putea fi realizat printr-un comparator la intrrile
cruia se aplic xi i xi-1*.
86
TTI
Dac cuanta q este mare se obin erori de neurmrire mici i erori de granulare
mari. Dac q este mic se obin erori de neurmrire mari i erori de granulare mici. O
situaie de compromis n urma creia raportul /te este minim se obine dac se adaug
f
ptim = ( xi xi 1 ) 2 ln e unde fmax este banda semnalului.
f max
4.5.2 Modulaia delta adaptiv
Reducerea erorii de cuantizare se poate face reducnd eroarea de neurmrire, prin
creterea cuantei i reducnd eroarea de granulare prin micorarea cuantei, deci utiliznd o
schem cu cuant adaptat la nivelul semnalului i chiar la nivelul de variaie al acestuia.
kt q
> x ' (t )
T
Metoda cuantelor exponenial variabile utilizeaz o cuant dependent de cea
anterioar i de semnalele transmise conform relaiilor :
bi = sgn( xi xi*1 )
bi = 1 ; q i = q i 1 P bi bi 1 deci q i = qi 1 P 1
xi* = xi*1 + bi q i deci xi* = xi*1 qi
dar nu mai mic dect q0 cuanta minim.
Pentru nceputul transmisiei cnd i=1 se consider q1=q0 i b0=0. Se vede deci c se
face diferena ntre semnalul actual xi i cel anterior reconstituit xi-1*, iar semnalul diferen
se transmite. Viitoarea cuant qi se va adaug la xi-1* cu semnalul dat de bi i este calculat
ca produsul dintre valoarea cuantei qi-1 i P 1 , 1 fiind dat de produsul bibi-1.
In mod uzual 1<P2 iar n mijloacele tehnice P=2.
In figur se prezint semnalul x(t) i x*(t) reconstituit dup o modulaie delta
exponenial variabil.
Metoda cuantelor liniar cresctoare utilizeaz cuante care se obin prin adunarea
sau scderea cuantei iniiale q0 astfel nct rezult relaiile :
bi = sgn( xi xi*1 ) ; bi = 1 ; q i = qi 1 + q 0 bi bi 1
; q i = qi 1 q 0
adic xi = xi*1 q i
dar nu mai mica dect q0. xi = xi*1 + bi q i
pentru nceputul transmisiei cnd i=1, q1=q0 i b0=0.
Aceast metod ca i cea a cuantelor variabile exponenial trebuie s memoreze
valoarea cuantei anterioare, nivelul reconstruit anterior precum i bitul transmis anterior.
Din aceste motive instalaia devine mai complicat.
87
Curs TTI
Cap.5 DETECTIA SEMANALELOR BINARE ACOPERITE

DE ZGOMOT
Detecia semnalelor de sub zgomot face parte din deciziile statistice i i propune
ca, pe baza semnalului recepionat compus din semalul emis i zgomotul canalului se pun
n eviden prezena semnalului. Este vorba despre o decizie calitativ, neinteresndu-ne
altceva dect prezena sau absena unui semnal cunoscut.
Problema deteciei semnalelor sosite la receptor n prezena perturbaiilor, a
prezentat ntotdeauna interes prin aplicaiile largi pe care le are n domeniul transmiterii
informaiilor cu putere mic sau la distan mare.
Analiza urmeaz a se face asupra unor mrimi probabilistice cum sunt zgomotele
din canale. Sunt utile unele simplificri:
- perturbaiile aleatoare introduse de canal au caracter aditiv, ceea ce nseamn c
ntre semnalul recepionat i semnalul emis exist o diferen care reprezint
perturbaia;
- sursa de informaie genereaz un numr finit de simboluri discrete (are alfabet
finit) astfel c din emitor pot aprea un numr limitat de semnale (simboluri).
Receptorul analizeaz semnalul recepionat i detecteaz care simbol a fost emis de
surs. Aplicnd vocabularul specific teoriei deciziilor se spune c receptorul ia o decizie
asupra semnalului sosit. Decizia pe care o poate lua receptorul trebuie s in seama de
caracterul aleator pe care-l are transmiterea semnalelor cu perturbaii, deoarece un semnal
simbol se poate transforma n alt semnal-simbol prin adugarea perturbaiilor, iar acest
transformare este total ntmpltoare.
Decizia luat de receptor este n fond afirmarea unei ipoteze despre care se tie c
are cele mai multe anse de a fi verosimil. De aici rezult c o detecie probabilistic a
semnalelor urmrete obinerea maximului unei funcii de fidelitate, de apropiere ntre
decizia luat i semnalul transmis. Procesul de decizie se face pe baza observrii variaiei
n timp a semnalului recepionat. Din acest punt de vedere se face o distincie a metodelor
de detecie dup modul de observare a semnalului.
Semnalul recepionat poate fi observat:
- n mod discret n diferite momente de timp ti n care caz observaiile reprezint
observaii aleatoare;
- n mod continuu n intervalul de timp T, n acest caz se observ un proces
aleator;
- observarea ncepe la un moment bine determinat n raport cu o valoare dat a
semnalului, s zicem dup atingerea unei anumite valori. Acest recepie se
numete coherent. Dac intervalul este o mrime aleatoare, atunci recepia
este necoherent.
- n mod discret, dar numrul observaiilor este variabil n funcie de decizia pe
care o ia receptorul pe parcursul observaiilor. Detecia este n acest caz
secvenial.
Cel mai simplu caz de detecie este detecia liniar - se foloseste ipoteza simpl a
emisiei a numai dou semnalesimbol a cror parametrii sunt constani.
n cazul emiterii mai multor semnale-simbol avem ipoteza multipl, iar n cazul
emiterii unor semnale-simbol cu parametrii care iau mai multe valori avem de a face cu
ipoteza compus, situaii mai complexe pe care nu le studiem aici.
88
Curs TTI
5.1 CRITERII DE DECIZIE BINARA
Se analizeaz transmisia semnalelor binare cu un emitor care emite unul din cele
dou simboluri S0 sau S1. Schema bloc este urmtoarea:
S sursa care genereaz simboluri

M-modulator
C-canal
P-sursa de perturbaii
R-receptorul care ia deciziile
n urma receptiei se ia o decizie din dou posibile . Deoarece i semnalul emis este
binar rezult patru situaii care au consecine diferite :
S0 emis se ia decizia D0
Primele dou decizii sunt corecte iar ultimele dou decizii sunt eronate. De obicei
deciziile eronate sunt mai rare dect cele corecte, iar deciziile eronate pot avea consecine
diferite dup caracterul erorii. n multe cazuri, ca n radar spre exemplu, o decizie fals
poate avea consecine mai grave dect cealalt decizie fals, cum ar fi de exemplu decizia
c nu se afl nici un avion n zon cnd de fapt acesta exist. Aceast eroare se numete n
tehnica radar o pierdere, care este mult mai grav dect decizia alarmei false care indic
prezena unui avion cnd de fapt acesta nu exist.
Din prezentarea sumar a deciziilor rezult c, n stabilirea criteriilor dup care
receptorul ia o decizie asupra semnalului recepionat, trebuie s se in cont de
consecinele pe care le are fiecare decizie n parte, de probabilitile emiterii celor dou
semnale-simbol i de probabilitile lurii fiecrei decizii, urmrindu-se obinerea valorii
extreme.
5.1.1 Criteriul lui BAYES
Criteriul de decizie al lui Bayes ine seama c fiecare decizie din cele dou
posibile, n cele dou situaii de emisie, are consecine diferite, numite costuri. Un cost
oarecare Cij exprim consecina lurii deciziei Di atunci cnd sursa a emis simbolul Sj.
Acest criteriu presupune cunoscute probabilitile de emisie a simbolurilor S1 i S0 adic se
cunosc caracteristicile statistice ale sursei. Aceste probabiliti apriori ale sursei se
noteaz cu P(S0) i P(S1) evident existnd relaia: P(s0) + P(s1) = 1 .
Costul mediu de decizie, numit risc, depinde de caracteristicile statistice ale sursei,
ale canalului i de costurile Cij .
Expresia este:
G = P(S1) P(D1/S1)C11 + P(S1)P(D0/S1)C01 + P(S0)P(D0/S0)C00 + P(S0)P(D1/S0)C10 =
(1)
= P(C11/S1)C11 + P(C01/S1)C01 + P(C00/S0)C00 + P(C10/S0)C10
89
Curs TTI
Minimizarea riscului constituie esena criteriul lui Bayes i ne va conduce la o
regul de decizie care conine componentele relaiei (1). n acest relaie vom nlocui
probabilitile condiionate P(Di/Si) utiliznd densitatea de probabilitate a semnalului
recepionat P(r/Si ). Regula de decizie ce se va obine ne garanteaz c nici un alt criteriu
de decizie nu conduce la un cost mai mic. n relaia de mai sus avem:
P(D1 /S0) + P(D0 /S0) = P(D1 /S1) + P(D0 /S1) = 1
(2)
Probabilitile din relaia (2) se determin observnd semnalele sosite la recepie.
Pentru aceasta se consider spaiul semnalelor recepionate divizat n 2 zone adiacente 0
i 1. Dac semnalul observat r se plaseaz n zona 0 se consider corect luarea deciziei
D0, iar dac semnalul sosit r se plaseaz n zona 1 se consider corect luarea deciziei D1.
Semnalul observat r este un vector cu mai multe dimensiuni, funcie de parametrii
observabili ai semnalului recepionat, cu densitatea de probabilitate P(r/Si), astfel nct se
pot scrie relaii pentru probabilitile lurii deciziilor :
P(D1/S0) = 1 P(r/S0)dr
P(D0/S0) = 0 P(r/S0)dr
P(D0/S1) = 0 P(r/S1)dr
P(D1/S1) = 1 P(r/S1)dr
n acest context costul mediu, G va fi:
G = C11 P(S1) 1 P( r / S1) dr + C01 P(S1) 0 P( r / S1) dr +
C10 P(S0) 1 P( r / S0) dr + C00 P(S0) 0 P( r / S0) dr
(3)
n ultima relaie se vor face transformri care s permit exprimarea riscului n funcie de
integrala probabilitilor P( r / S1) i P( r / S0) n domeniul 0 .
n acest scop se utilizeaz egalitile :
P(D0 / S0) + P(D1 / S0) = 0 P( r / S0) dr + 1 P( r / S0) dr = 1
P(D1 / S1) + P(D0 / S1) = 1 P( r / S1) dr + 0 P( r / S1) dr = 1
i avem :
G = C11 P(S1) [ 1- 0 P( r / S1)] dr + C01 P(S1) 0 P( r / S1) dr +
C10 P(S0) 0 P( r / S0) dr + C00 P(S0) 0 P( r / S0) dr
adic :
G = C11 P(S1) + C10 P(S0) + P(S1) 0 ( C01 - C11) P( r / S1) dr - P(S0) 0 (C10 C00)P( r / S0) dr
G = C11 P(S1) + C10 P(S0) + 0[ P(S1) ( C01 - C11) P( r / S1) - P(S0) (C10 C00)P( r /S0)] dr
n toate cazurile costurile deciziilor false sunt mai mari dect costurile deciziilor
corecte ca atare : C01 - C11 i C10 C00 > 0 ; tot aa cum P(r/S1) i P(r/S0) >0
Pentru ca riscul s fie minim este necesar ca integrala pe 0 s fie minim.
Deoarece toi termenii sunt pozitivi integrala este minim dac domeniul 0 conine toate
punctele pentru care :
P(S1) ( C01 - C11) P( r / S1) < P(S0) (C10 C00)P( r /S0)
(5)
Cu alte cuvinte limita de separare dintre domeniile 0 i 1 se scrie prin egalitatea
termenilor relaiei (5)
Decizia D0 se ia deci dac :
D0
P(r / S1 ) P(S0 )(C10 C00 )

<
P(r / S0 ) P(S1 )(C01 C11 )
Datorit complementaritii decizia D1 se ia n cazul contrar i se demonstreaz c
dac (3) este redus la domeniul 1:
90
Curs TTI
D0
P(S0 )(C10 C00 )
P(r / S1 )
<>
P(r / S0 )
P(S1 )(C01 C11)
D1
Se observ c n relaia de mai sus este cunoscut partea dreapt deoarece s-au presupus
date valorile costului i statistica sursei .
K=
P(S0 )(C10 C00 )

P(S1 )(C01 C11 )
K se numete pragul testului Bayes care se compar cu raportul:

=
P(r / S1 )
P(r / S0 )
- denumit raportul de plauzibilitate
Raportul de plauzibilitate depinde numai de caracteristicile statistice ale zgomotului din

canal i se calculeaz pe baza semnalelor recepionate.
5.1.2 Criteriul observatorului ideal
Acest criteriu de luare a deciziei rezult din probabilitatea erorii definit astfel:
P(E) = P(S0) P(D1 / S0) + P(S1) P(D0 / S1)
Considernd relaiile : P(D0 / S0) = 0 P( r / S0) dr
P(D1 / S0) = 1 P( r / S0) dr
P(D0 / S1) = 0 P( r / S1) dr
P(D1 / S1) = 1 P( r / S1) dr
probabilitatea erorii devine :
P(E) = P(S0) 1 P( r / S0) dr + P(S1) 0 P( r / S1) dr
dar :
P(D1 / S0) + P(D0 / S0) = P(D1 / S1) + P(D0 / S1) = 1
deci :
P(D1 / S0) = 1 - P(D0 / S0) = 1 - 0 P( r / S0) dr
i deci :
P(E) = P(S0) [ 1 - 0 P( r / S0) dr ] + P(S1) 0 P( r / S1) dr
= P(S0) + 0 [ P(S1) P(r / S1) P(S0)P(r / S0) ] dr
Probabilitatea erorii este minim dac domeniul 0 conine acele puncte pentru care :
P(S0) P( r / S0) > P(S1) P( r / S1)
Criteriul de decizie care rezult este:
D0
=
P( S 0 )
P ( r / S1 )
<.>
=K
P(r / S 0 )
P ( S1 )
D1
Comparnd criteriul observatorului ideal cu cel al lui Bayes se observ c ele
coincid dac n cel de al doilea se cere C00 = C11 = 0 i C01 = C10 = 1, n acest situaie
riscul G fiind egal chiar cu probabilitatea erorii:
G = P(S0) P(D1 /S0) + P(S1) P(D0 /S1) = P(E)
Se vede c lund decizia conform criteriului observatorului ideal, minimizarea
probabilitii erorii este echivalent cu minimizarea riscului. Acest criteriu se utilizeaz
cnd nu se pot preciza valorile costurilor.
5.1.3 Criteriul probabilitii aposteriori maxime
Conform acestui criteriu receptorul ia decizia pentru care probabilitatea aposteriori
a simbolurilor emise de surs este maxim. Probabilitatea aposteriori este probabilitatea de
91
Curs TTI
a se fi emis un anumit simbol, calculat dup recepia semnalului. n consecin receptorul
ia decizia D0 dac dup recepia semnalului este satisfcut inegalitatea:
P(S0 / r) > P(S1 / r)
sau :
P(S1 / r) - P(S0 / r) < 0 i se ia decizia D1 n caz contrar.
Calculul probabilitii aposteriorii se face utiliznd relaia lui Bayes, care
presupune cunoscute probabilitile apriori P(S0) i P(S1) precum i caracteristicile
canalului.
P( S 0 ) p (r / S 0 )
P(S0/r) =
P ( S 0 ) p ( r / S 0 ) + P ( S1 ) p ( r / S 1 )
P(S1/r) =
P ( S1 ) p ( r / S1 )
P ( S 0 ) p ( r / S 0 ) + P ( S1 ) p ( r / S 1 )
n consecin:
P ( S1 ) p ( r / S1 ) P ( S 0 ) p ( r / S 0 )
P ( S 0 ) p ( r / S 0 ) + P ( S1 ) p ( r / S 1 )
n relaia de mai sus, numitorul fiind pozitiv, rezult:
P(S1)p(r/S1) < P(S0)p(r/S0)
care conduce la criteriul de decizie
P(S 0 )
p ( r / S1 )
=
<
D0
p(r / S 0 )
P ( S1 )
P(S 0 )
p ( r / S1 )
>
D1
=
p(r / S 0 )
P ( S1 )
ceea ce nseamn c n fond criteriul probabilitii aposteriori maxime este un caz
particular al criteriului Bayes (C00=C11 =0
C01=C10=1) i coincide cu criteriul
observatorului ideal.
P(S1/r) P(S0/r) =
5.1.4 Criteriul min-max

Dac nu avem cunotine asupra probabilitilor apriori P(S0) respectiv P(S1), nu
putem aplica nici unul din criteriile prezentate mai sus. n acest scop considerm drept
variabil independent probabilitatea P(S1) i calculm riscul minim cu metoda lui Bayes,
acesta devenind o funcie de P(S1). n general aceast funcie cu riscul mediu minim nu
este o constant, avnd undeva un maxim. Din determinarea maximului rezult o relaie
ntre costuri i probabilitile deciziilor false de tipul Cij P(Di/Sj)ij=0 denumit relaie
minmax. Metoda aceasta de decizie este acoperitoare deoarece rareori se ntmpl ca P(S1)
s aib tocmai valoarea care maximizeaz riscul, fiind dese cazurile contrare, n care riscul
real este inferior celui acceptat ca maxim. Regula de decizie urmeaz s depind de costuri
i de probabilitile deciziilor.
Din expresia riscului nlocuind P(S0)=1-P(S1) obinem
G = P(S1)P(D1/S1)C11+ P(S1)P(D0/S1)C01+ P(S0)P(D0/S0)C00+ P(S0)P(D1/S0)C10=
= P(S1)P(D1/S1)C11+ P(S1)P(D0/S1)C01+ [1-P(S1)]P(D0/S0)C00+[1-P(S1)]P(D1/S0)C10
G
iar maximul se obine dac
=0
P ( S1 )
92
Curs TTI
G
= P(D1/S1)C11+ P(D0/S1)C01- P(D0/S0)C00- C10 P(D1/S0) = 0
P ( S1 )
Dar: P(D0/S1)+ P(D1/S1)= P(D0/S0)+ P(D1/S0) = 1 i prin urmare relaia devine:
C11- C11 P(D0/S1)+ P(D0/S1)C01- C00 P(D1/S0) = 0
sau
C11- C00+( C01- C11)P(D0/S1)- (C10- C00)P(D1/S0) = 0
Aceasta este ecuaia minmax care arat legtura ntre costuri i probabilitile
deciziilor false, pentru ca riscul s fie maxim.
Dac C00= C11=0 i C01= C10=1 avem P(D0/S1)= P(D1/S0) drept ecuaie minmax.
Regula de decizie trebuie neleas c numai un set de probabiliti i costuri duc la
riscul maxim.
5.1.5 Criteriul Neuman-Pearson

n multe cazuri nu dispunem nici de valorile costurilor i nici de probabilitile
apriori ale semnalelor emise i nici nu acceptm valori arbitrare pentru acestea. Dorim s
obinem un criteriu de decizie conform cruia probabilitatea unei decizii false s nu
depeasc o valoare dat, iar cealalt decizie fals s aib probabilitatea minim. Pentru
obinerea regulii de decizie vom utiliza metodologia multiplicatorilor Lagrange
considernd o funcie dependent de cele dou probabiliti ale deciziilor false:
F = P(D0/S1)+ [P(D1/S0)-a]
sau
F = P(D0/S1)+(1-a)-)-P(D0/S0)
n care este un multiplicator nc necunoscut, iar a este limita pe care nu o va depi
probabilitatea deciziei false P(D1/S0). Funcia F are un minim pentru valoarea minim a
probabilitii P(D0/S1). Vom introduce relaiile integrale ale probabilitilor i obinem:
F = p(r / S1 )dr + (1 a) p(r / S 0 )dr
0
Funcia F are un minim cnd integrala: [ p(r / S1 ) p(r / S 0 )]dr este minim
0
adic dac n 0 avem toate punctele pentru care: p(r/S1) < p(r/S0) sau:
p ( r / S1 )
<
p(r / S 0 )
atunci satisfacerea relaiei de mai sus coincide cu obinerea unui minim al deciziei false
P(D0/S1) semnalul recepionat r fiind plasat n 0 unde se ia decizia D0. Regula de decizie
este deci o relaie ntre raportul de plauzibilitate i multiplicatorul :
p ( r / S1 )
=
> D1
p(r / S 0 )
p ( r / S1 )
=
< D0
p(r / S 0 )
Pragul testului urmeaz a se deduce din constrngerea impus probabilitii:
P(D1/S0) < a
Costatm c se ia decizia D1 cnd s-a transmis S0 n toate cazurile n care
condiionat de S0 este mai mare ca .
P(D1/S0) = P[(>)/S0] =
p( / S 0 )d
Integrala din relaia de mai sus nu poate depi valoarea a n consecin
93
Curs TTI
p( / S 0 )d = a
este utilizabil pentru calculul lui , evident fiind nevoie de cunoaterea distribuie de
probabilitate a raportului de plauzibilitate .
5.2 Detecia discret a semnalului binar

Considerm cazul transmisiei unui semnal binar care are la recepie amplitudinea A
i perioada sau durata T. Recepia este coherent adic se cunosc momentele la care ncep
s se transmit semnalele. Semnalul emis are o form ca n figur i sosete la recepie
acoperit de un zgomot alb cu distribuie gaussian i putere 2.
s(t); r(t)=s(t)+z(t)
S0
s(t)=
s(t)
S1
T
A
tII
tIII
tIV
tV
tVI t
0
tI
Din semnalul recepionat se extrag N eantioane care se vor prelucra. Analiza
decizional se face calculnd raportul de plauzibilitate, n care vor intra densiti de
probabilitate ale eantioanelor recepionate. Vor interesa n mod deosebit analizele asupra
valorilor probabilitilor deciziilor corecte i false, acestea oferindu-ne posibiliti de
apreciere calitativ asupra procedeului de detecie. Din aceste probabiliti se va putea
construi caracteristica de lucru a receptorului din care putem vedea oricnd calitatea
deteciei binare.
Dac se transmite S0=0 la recepie se obine zgomotul alb, ceea ce nseamn c cele
N eantioane luate de receptor vor fi:
r1=n1; r2=n2,,rN=nN
n care ni reprezint eantioane ale zgomotului alb. Evident aceste eantioane sunt luate
toate n intervalul de timp T ct dureaz emisia lui S0=0. Cele N v.a. sunt independente
avnd distribuia gaussian cu valoare medie nul i dispersie 2 deoarece provin din
zgomotul alb.
Densitatea de probabilitate a zgomotului alb este:
1
n2
P(n) =
exp[]
2 2
2
1
(n a ) 2
exp[]
P(n) =
2 2
2
___
Densitatea de probabilitate a fiecrui eantion ni i =1..N va fi:
n2
1
P(ni) =
exp[- i 2 ]
2
2
Probabilitatea p(r/S0)=p(n1,.., nN\S0) i, deoarece cele N v.a. sunt independente, va
fi egal cu produsul probabilitilor p(n1\S0), p(n2\S0), .., p(nN\S0) deoarece este vorba de
intersecia a N v.a. independente realizate n ipoteza transmiterii lui S0.
94
Curs TTI
Deci p(r/S0)= p(n1, n2, .., nN\S0)= p(n1\S0)p(n2\S0)...p(nN\S0). innd cont de relaiile de mai
sus avem:
N
ri 2
1 N 2
1
1
N
P(r/S0) =
exp[]
=
[
]
exp[ ri ]
2 2
2 2 i =1
i =1
2
2
Dac se transmite simbolul S1 de amplitudine A, la recepie raportul va lua
eantioane din valoarea lui A+Z(t). Aceasta nseamn c eantioanele vor avea valorile:
r1=A+ n1; r2=A+ n2, , rN=A+ nN
n care ni reprezint v.a. gaussiene de medie A i dispersie 2. Deoarece eantioanele sunt
independente se va putea scrie:
n
P(r/S1) = p(r1, r2, , rN\S1) = p(r1/S1) p(r2/S1) p(rN/S1) =
p(ri/S1)
i =1
deci
N
P(r/S1) =
exp[-
(ri-A)2] = [
]Nexp[-
(r
2
2 i =1
2
2
Acum se poate calcula raportul de plauzibilitate:
1
1 N
[
] N exp[ 2 (ri A) 2 ]
p ( r / S1 )
2 i =1
2
=
=
=
1
1 N
p(r / S 0 )
[
] N exp[ 2 ri 2 ]
2 i =1
2
i =1
A) 2 ]
NA 2
A N
]exp[ 2 ri ]
2
2
2
2
i =1
i =1
i =1
Raportul de plauzibilitate se poate deci calcula cunoscndu-se valoarea semnalului
A, numrul N al eantioanelor luate de receptor n intervalul de timp T, puterea zgomotului
2 i valorile eantioanelor ri. Dac se cunosc probabilitile apriori P(S0), P(S1) i Cij se
poate aplica testului lui Bayes. n lipsa parial sau total a acestora se poate aplica un alt
criteriu.
Fie < K D i > K D1
aplicm funcia monoton ln:
ln < lnK D0
ln > lnK D1
2
NA
A N
+
ri < lnK D0
2 2 2 i =1
= exp[-
[ (ri A) 2 ri 2 ]] = exp[-
NA 2
A N
+
ri > lnK D1
2 2 2 i =1
sau
N
r <
i =1
N
2
A
lnK+
AN
D0
2
(*)
AN
D1
(*)
A
2
i =1
Suma eantioanelor recepionate este o statistic suficient pentru ca pe baza unei
singure mrimi s se poat lua decizia
ri >
lnK+
95
Curs TTI
r(t)
C
,A,N,K
Pe baza relaiei (*) se poate imagina schema unui receptor E-eant, -sumator,
C-comparator care compar ieirea din sumator cu un prag fix pentru a decide D0 sau D1.
Ne propunem s calculm probabilitile P(Dj/Sij) care ne vor oferi o imagine
asupra eficienei procesului de detecie acceptat. Pornim de la relaia (*) i amplificnd cu
1
obinem:
N
N
1
A N
Z=
lnK+
= D0
ri <
2
N i =1
NA
A N
= D1
2
N i =1
NA
Considerm c s-a emis S0. Eantioanele preluate la recepie ri/S0 sunt v.a. cu o
distribuie gausian, de valoare medie nul i dispesie . Variabila aleatoare z din relaia
anterioar are de asemenea valoare medie nul i este normat cu z=1. Dispersia acestei
v.a. se calculeaz:
Z=
r >
i
lnK+
az =0
s0
z
1
( z ) = Disp.( ) = Disp.[
s0
N
s0
2
dar
Disp.x =
1 N
ri ] = 2 Disp.ri
N i=1
i =1
x p ( x )dx
2
Disp.ri = 2
si
deci
z
1 N
( z ) 2 = Disp.( ) = 2 2 = 1
s0
N i=1
s0
Ca urmare densitatea de probabilitate a v. a. gausiene Z/ S0 va fi:

1 x1 a 2
)
(
1
2
( p1 ( x1 ) =
e
2 2
p( z / s 0 ) =
a z / s0 = 0
1
1
exp( z 2 )
2
2
96
z / s0 = 1
Curs TTI
Dac se emite simbolul S1 , eantioanele preluate ri/S1 sunt v. a. cu media egal cu A i
dispersia 2. Variabila aleatoare normat:
N
(z / s1 ) =
r
i =1
( ri ) = ( n i + NA)2 = ( ni )2 + 2 NA n i + N 2A2 = N2 + N 2A2
N
va avea valoarea medie
N
ri
1
a z \S1 = i=1 =
N N
iar dispersia :
ri =
i =1
NA
=
N
NA
A =
N
i =1
ri rj = ( n i + A)( n j + A) = A 2
1
Disp.( z / s1 ) = Disp.[
ri ] = [
N i=1
N
1
NA
ri ] =
1
A
NA 2
1
A
NA 2
2
2
(
r
)
2
r
+
=
r
2
r
+
i
i 2 N2 i 2 i 2 = 1
N 2
2
deci:
1
1
A N
p(z / s1 ) =
[ z
2 2
D0
Avnd n vedere c Z < > , rezult c probabilitatea lurii deciziei D0 este egal
D1
cu probabilitatea ca Z< , adic:
=
P( D 0 ) = P ( z < )
Deci vom avea:

P( D 0 \ S0 ) = P ( z < ) =
p(z \ S )dz
0
P( D0 \ S1 ) = P( z < ) =
p(z \ S )dz
1
Folosind funcia integral Laplace existent n tabele:

x
F( x ) =
1
1
exp[ t 2 ]dt
2
2
97
A N
ln K +
A N
2
Curs TTI
Vom obine:
P( D 0 \ S0 ) =
P( D0 \ S1 ) =
1
1
A N
exp[ z 2 ]dz = F( ) = F(
ln K +
)
2
2
2
A N
1
1
A N 2
exp[ ( z
) ]dz =
2
A N
A N A N
) = F(
ln K +
)=
A N
= F(
A N
)
2
A N
n figur s-au trasat curbele de variaie ale densitilor de probabilitate p(z\S0) i p(z\S1)
unde s-a precizat valoarea pragului care fixeaz regula de decizie.
= F(
ln K
D0
Z=
r <> = A
N
i
ln K +
A N
2
D1
p(z \ S1 )
p ( z \ S0 )
P(D1|S0)
P(D0|S0)
P(D0|S1)
P(D1|S1)
A N
Dac z> se ia decizia D1 iar probabilitatea acestei decizii este:
P( D1 ) = P( z > )
innd seama de eglitile binecunoscute :
P( D1 \ S0 ) + P( D0 \ S0 ) = P( D1 \ S1 ) + P( D0 \ S1 ) = 1
Probabilitile P(D1\S0) i P(D0\S0) corespunztoare deciziei D1 se obin din relaiile:
P( D1 \ S0 ) = 1 P( D0 \ S0 ) = 1 F(
A N
ln K +
A N
)
2
A N
)
2
A N
Dac cele dou figuri se pun pe o diagram comun constatm c p(z\S0) i p(z\S1) se
intersecteaz n punctul :
P( D1 \ S1 ) = 1 P( D0 \ S1 ) = 1 F(
Z0 =
A N
2
98
ln K
Curs TTI
Dac =Z0 atunci probabilitile deciziilor false sunt egale:
P( D1 \ S0 ) = P( D0 \ S1 )
Acest lucru impune ca lnK=0 , adic testului K=1:
P(z\S0)
P(z\S1)
P(D1\S0)
P(D0\S1)
A N
2
Valorile probabilitilor deciziilor vor fi acum:
P( D0 \ S0 ) = P( D1 \ S1 ) = F(
P( D1 \ S1 ) = 1
A N
2
A N
) = F( z 0 = )
2
1
1
exp[ z 2 ]dz =
2
2
Dac K>1 , rezult >
A N
A N
2
A N
2
1
1
A N
exp[ z 2 ]dz = F(
)
2
2
2
i deci crete suprafaa corespunztoare deciziei false
P(D0\S1) i scade cu aceeai cantitate P(D1\S0)

Deci
K > 1 P( D1 \ S0 ) < P( D0 \ S1 )
K < 1 P( D1 \ S0 ) > P( D0 \ S1 )
5.3 Detecia continuu a unui semnal binar

Vom considera c observarea semnalelor binare recepionate se face n mod
continuu. Avem emise S0=0 i S1=s(t) variabil n timp.
Se presupune c energia E a semnalului s(t) este finit (E<infinit).
Considerm un zgomot aditiv gausian n(t) cu dispersia 2 i media nul. Semnalul
recepionat va fi :
x(t)=s(t)+n(t) ,
pentru S1
Se pune problema lurii deciziei D0 sau D1 dup cum s-a transmis S0 sau S1.
5.3.1 Descompunerea semnalului recepinat n sum de funcii ortonormate
Semnalul r(t) poate fi extins ntr-o serie Karhunnen Leve aa cum a fost artat
n paragrafele precedente:
N
r ( t ) = N lim ri v i ( t )
i =1
Unde l.i.m. este limita n medie patratic iar funciile ortogonale vi satisfac relaia de
ortogonalitate:
99
Curs TTI
0, i = j
vi (t )v j (t )dt = 1, i j
0
n plus avem
T
ri = r ( t ) v i ( t )dt
0
unde integrala este de asemenea o integral definit n media ptratic. Alegerea funciilor
ortonormate vi se face n aa fel nct s respecte relaia de ortonormalitate, iar ntreaga
informaie referitoare la stabilirea deciziei s fie coninut n primul coeficient r1. n acest
scop se consider v1 de forma:
s( t )
E
unde E este energia semnalului s(t) n intervalul de timp T ct dureaz emisia:
v1 =
E = s( t )2 dt
0
Celelalte funcii ortonormate vi(t) , i=1,2,,N pot fi arbitrare, ele neintervenind n raportul
de plauzibilitate aa cum vom vedea. Ca urmare coeficientul r1 se obine ca:
T
1
r ( t )s( t )dt
E 0
0
n cazul transmiterii simbolului S0=0 la recepie sosete numai zgomotul, adic:
r(t)=n(t)
, drept pentru care
r1 = r ( t ) v1 ( t )dt =
1
r1 | S0 =
n( t )s( t )dt =
E 0
n cazul transmiterii simbolului S1 la recepie sosete semnalul r(t)=s(t)+n(t) i deci:
T
1
r1 | S1 =
[n ( t ) + s( t )]s( t )dt =
E 0
T
1
1
s2 ( t )dt +
n ( t )s( t )dt = E +
Eo
E o
Coeficientii ri pentru i=1 au expresiile:

T
r1 | S0 = n( t ) v i ( t )dt
0
respectiv
T
r1 | S1 = [ n( t ) + s( t )]v i ( t )dt = n( t ) v i ( t )dt + s( t ) v i ( t )dt

0
i ca atare
T
s( t) v i ( t )dt = E v1 ( t) v i ( t)dt = 0
0
dar
100
Curs TTI
s( t ) = E v 1
deci
T
ri | S1 = n( t ) v i ( t )dt = ri | S0
0
Din relaiile de mai sus se observ c pentru i 1 coeficienii ri|S1 i ri|S0 sunt identici.
Densitile de probabilitate care intervin n raportul de plauzibilitate vor fi scrise n
funcie de coeficieni ri n care a fost descompus semnalul adic :
p( r S1 ) p( r1 , r2 ,..., rN S1 ) p( r1 S1 ) p( r2 S1 )...p( rN S1 )
=
=
=
p( r S0 ) p( r1 , r2 ,..., rN S0 ) p( r1 S0 ) p( r2 S0 )...p( rN S0 )
dat fiind c r= ri este o statistic suficient i c ri|Sj sunt egali pentru i1 i j{0,1}, putem
presupune c densitile de probabilitate de la numrtorul i numitorul expresiei se
simplific dou cte dou i deci:
p( r S )
= 1 0
p( r1 S0 )
avem
T
1
r1 | S0 = =
n( t )s( t )dt
E 0
i
r1 | S1 = E +
Pentru a determina densitatea de probabilitate a v.a. presupunem c n(t) i s(t) ocup
aceeai lungime de band W i pe baza teoremei eantionrii avem :
n(t) = n(kT0 )sinc

k
s(t) = s(jT0 )sinc

j
(t kT0 )
T0
(t jT0 )
T0
x(t) = x(jT0 )sinc

j
(t jT0 )
T0
iar
T
=
n
(
kT
)
sin
c
t
s
(
jT
)
sin
c
t
dt
0
k
0
j
E 0 k
j
unde
T0 =
1
2W
innd seama de faptul c :

T , k = j
0
sin c k t sin c j tdt = T0 kj = 0, k j
0
101
Curs TTI
s( jT0 ) = 0
pt. j N
obinem
T0 N
n( kT)s(kT)
E k =1
Deoarece eantionele n(kT) sunt v.a. gaussiene suma ponderat a acestora va fi tot o v. a.
gaussian. Rezult c pentru a determina densitatea de probabilitate a lui este suficient s
cunoatem media i dispersia. Media este:
=
a = =
T0
E
n(kT )s( kT ) = 0
0
k =1
deoarece n(kT)=0.
Dispersia lui este:
2
T0 N 2
n ( kT0 )s 2 ( kT0 )
n( jT0 )n( kT0 ) = 0
E k =1
Pentru raportul de plauzibilitate se va scrie deci:
r E 2 r2
1
p (r1 s1 )
1 1
= exp E 2 E r1
=
= exp
p (r1 s 0 )
2
T0 2
2T0 2
rezultnd a fi o funcie de energia semnalului emis, E, de puterea zgomotului, 2, i de

coeficientul r1 al dezvoltrii semnalului recepionat r(t) n sum de funcii ortogonale.
innd cont de expresia coeficientului r1 rezult regul de decizie :
D0
E r1
E <
ln =
ln K
2
T0
2T0 2 >
D1
sau ntr-o alt form innd seama de
T
1
r1 =
s(t )r (t )dt
E 0
Disp. = 2 =
D0
<
E
2
0 r (t )s(t )dt > T0 ln K + 2
D1
Integrala din relaia de mai sus este funcia de corelaie, evaluat n origine, a semnalului
r(t) cu s(t).
Pentru a se decide care semnal a fost emis se folosete urmtoarea schem de receptor
multiplicator
integrator
comparator
r(t)
T
s(t)
T02ln k +E/2
102
Curs TTI
Se rearanjeaz relaia de decizie innd seama c:
T
1
r1 =
s(t )r (t )dt atunci
E 0
D0
T
<
E
2
0 r (t )s(t )dt > T0 ln K + 2
D1
Devine o relaie normalizat
D0
T
1
s(t )r (t )dt < T0 2
1
E
E 0
z=
ln k +
=
>
E
2 T0 2
T0 2
D1
D0
<
Deci
z
>
D1
Ca urmare probabilitatea de decizie D0 este egal cu probabilitatea ca z <
P(D0)=P(z < )
i n consecin aa cum am procedat n cazul deciziei discrete vom avea :
u
P (D0 S 0 ) =
p(z s )dz
0
iar
P (D0 S 1 ) =
p(z s )dz
1
Funcia aleatoare z va avea densitate de repartiie gaussian fiind rezultatul prelucrrii

liniare a unui semnal aleator gaussian r(t) i rezult :
r21 s1 T0 2
r s
2
z s0 =
z s0 = 0
=
=1
z s0 = 1 0
2
2
T0
T0
T0 2
z s1 =
E
T0
2
z1 s1
r2 s
1
T0
T0 2
=
=1
T0 2
r1 s 0 = 0
r2 s = T0 2
r1 s1 = E
= T0 2
r1
z=
p( z s 0 ) =
2
r1 s1
T0 2
1
exp z 2
2
2
1
103
z s1 =
r1 s1
T0 2
Curs TTI
p( z s1 ) =
1
E
exp z
T0 2
2
2
n consecin, trasnd graficul acestor densiti aa cum se vede n figur i preciznd

valoarea pragului cele dou probabiliti vor fi proporionale cu suprafeele haurate din
figur.
P(z/s1)
P(D1/S0)
P(D0/S0)
p(z/S1)
P(D1/S0)
P(D0/S1)
P ( D0 S 0 ) =
1
exp z 2 dz = F ( ) =
2
2
1
1
E
P ( D0 S 1 ) =
exp z
T0 2
2
2
n care s-a folosit integrala Laplace :
E
T 0
F (x ) =
T2
1
E
F 0
ln k +
E
2 T0 2
E
dz = F
T0 2
1
2
exp 2 t
E
= F T0 ln k 1
E
2 T0 2
dt
Dac inem seama de relaiile :

P (D0 S 0 ) + P (D1 S 0 ) = P (D1 S1 ) + P (D0 S1 )
vom avea
T2
1
E
P(D1 S1 ) = 1 P(D0 S 0 ) = 1 F 0
ln K +
E
2 T0 2
104
Curs TTI
T2
1
E
i
P(D1 S1 ) = 1 P(D0 S1 ) = 1 F 0
ln K
E
2 T0 2
Dac pragul testului lui Bayes este K=1 tiind c F ( x ) = 1 F (x ) rezult c

1
E
P(D0 S1 ) = P (D1 S 0 ) = 1 F
2 T 2
0
1
E
P (D0 S 0 ) = P (D1 S1 ) = F
2 T 2
0
Constatm o asemnare ntre probabilitile deciziilor deteciei continue cu cele

corespunztoare din detecia discret dac A N = E T0 . i n acest caz vom avea :
k>1
<
P (D1 S 0 ) P (D0 S1 )
>
k<1
5.4 Detecia a dou semnale binare observate continuu

Seamn cu cea aterioar doar c de data aceasta S 0 0 i ca atare avem S 0 = s 0 (t )
S1 = s1 (t )
E 0 = s (t )dt
2
0
E1 = s12 (t )dt r S 0 = s 0 (t ) + u (t )
r S1 = s1 (t ) + u (t ) i n
cazul unui zgomot gaussian de medie nul i putere 2 obinem regula de decizie:
D0
T
t
<
E0 E0
2
0 r (t )s(t )dt 0 r (t )s0 (t ) > T0 ln K + 2
D1
Schema unui asemenea receptor este:
S1(t)
M1
r(t)
M2
I1
D0
C
D1
I2
S2(t)
105
Bibliografie
1. M. E. Borda, Teoria informaiei i codrii Fundamente i aplicaii, Dacia, ClujNapoca,1999;
2. V. Stoica, A. Mihescu, Teoria transmisiunii informaiei, I. P. Timioara, 1990;
3. Al. Sptaru, Teoria transmisiunii informaiei, E. D. P., Bucureti, 1983;
4. Al. Sptaru, Fondements de la theorie de la transmission de linformation, Presses
Polytehniques Romandes, Lausanne, 1987;
5. A. T. Murgan, Teoria transmisiunii informaiei probleme, E. D. P., Bucureti, 1983;
6. V. Munteanu, Teoria transmisiunii informaiei, E. Gh. Asachi, Iai, 2001.
CULEGERE DE
PROBLEME TIC
Cap. 1 Probabiliti. Informaia

Dicionar:
- aposteriori (a posteriori) -locuiune latin: din ceea ce urmeaz, dup experien, pornind de la datele ei;
- apriori (a priori) - locuiune latin: din ceea ce precede, anterior experienei;
- binar -1.care este constituit din dou elemente; 2.a crui baz este numrul 2;
- bit/bii -1. Unitate de msur a informaiei; 2.simbol binar;
- discret -care este alctuit din elemente distincte; care variaz n salturi; cuantificat; discontinuu;
- echiprobabil(e) -de egal probabilitate;
- informaie -necesarul/rezultatul cunoaterii;
- probabilitate -1.nsuirea de a fi probabil; 2.msur (funcie) definit pe un cmp de evenimente, p : [0,1].
Definiii:
- surs de informaie (sau experiment probabilistic) = un mecanism (un experiment) prin care se selecteaz un mesaj
(un eveniment) dintre n posibile dup o lege arbitrar (sau cel puin necunoscut);
- mesaj (eveniment) = realizarea produs n urma efecturii experimentului;
- 1 bit = cantitatea de informaie furnizat de o surs de informaie binar, fr memorie, echiprobabil, printr-un mesaj
al ei;
- eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de dou evenimente distincte ntre ele i de
primul.
Breviar teoretic:
1. Probabilitate
Determinarea experimental a probabilitii de realizare a unui mesaj (eveniment) A se face dup
relaia:
2. Probabilitate condiionat
Determinarea experimental a probabilitii de realizare a evenimentului (mesajului) B atunci cnd
s-a realizat evenimentul (mesajul) A se face dup relaia:
3. Formula fundamental a probabilitilor evenimentelor elementare
Dac Ai, i = 1n sunt evenimentele elementare ale unui experiment probabilistic (mesajele unei
surse de informaie) atunci:
n
p(A ) = 1
(1.3)
i =1
4. Relaia lui Bayes

Dac A i B sunt dou evenimente atunci:
p(A, B) = p(A ) p(B/A ) = p(B) p(A/B)
(1.4)
unde p(A, B) = probabilitatea de a se realiza i A i B.
5. Formula probabilitii totale
Dac Ai cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic i B un
eveniment oarecare pentru acelai experiment atunci:
n
p(B) = p(A i ) p(B/A i )
(1.5)
i =1
6. Evenimente independente
Setul de evenimente Ai, i I, sunt independente dac i numai dac pentru J I
p A i = p(A i )
( )
iJ
iJ
n particular, A i B sunt dou evenimente independente dac i numai dac:
(1.6)
p(A, B) = p(A B) = p(A ) p(B)

(1.7)
i utiliznd relaia (1.4)
p(A ) = p(A/B)
(1.8)
p(B) = p(B/A )
7. Informaia
Cantitatea de informaie necesar ridicrii nedeterminrii asupra evenimentului A este egal cu cea
furnizat de realizarea evenimentului A i egal cu :
1
i(A ) = log 2
(1.9)
[bii]
p(A )
1.1 Zece mingi sunt puse n trei cutii C1, C2, C3. Care este probabilitatea ca n C1
s fie 3 mingi?
Rezolvare:
Fiecare minge poate fi aezat n oricare din cele trei cutii; astfel c fiecare minge tripleaz numrul
de variante de aezare a mingilor n cutii. Aadar numrul de variante de aezare a mingilor n cutii
este:
N = 333 ..... 3 = 310 = 59.049
(1.1.1)
Pentru a avea trei mingi n C1 trebuie ca celelalte apte s fie aezate n C2

i C3. Numrul de variante cu trei mingi n C1 va fi:
3
N 3C1 = C10
2 7 = 120 128 = 15.360
(1.1.2)
unde C103 reprezint numrul de moduri de alegere a 3 mingi din 10 posibile (considernd mingile
distincte); iar 27 reprezint numrul de posibiliti de aezare a apte mingi n dou cutii, C2 i C3.
Probabilitatea cerut este:
P3C1 =
3
C10
27
26%
310
(1.1.3)
1.2. Trei trgtori trag simultan asupra aceleiai inte. Probabilitatea ca fiecare
trgtor s nimereasc inta este p1 = 0,4; p2 = 0,5; p1 = 0,7. Notnd cu A
evenimentul ca inta s fie lovit, B evenimentul ca inta s fie lovit exact o dat
s se afle:
a) p(A);
b) p(B);
c) dac cele dou evenimente A i B sunt independente.
2
Rezolvare:
a) Calculnd probabilitatea evenimentului contrar lui A:
()
p A = (1 p1 ) (1 p 2 )(1 p 3 ) = 9%
(1.2.1)
rezult c:
()
p(A ) = 1 p A = 91%
(1.2.2)
b) Avem c:
(
+ p(A
) (
) = p (1 p
p(B) = p A1 A 2 A 3 + p A 1 A 2 A 3 +
)(1 p 3 ) +
+ (1 p1 )p 2 (1 p 3 ) + (1 p1 )(1 p 2 )p 3 = 36%
1
A2 A3
(1.2.3)
unde cu Ai s-a notat evenimentul ca trgtorul i s nimereasc inta.

c) Pentru ca cele dou evenimente s fie independente este necesar ca:
p(A/B) = p(A)
(1.2.4)
p(A/B) = 100%
(1.2.5)
dar cum:
rezult c cele dou evenimente nu sunt independente.
1.3. Fie dou urne, U1 (ce conine 2 bile albe i 3 bile negre) i U2 (ce conine o
bil alb i 5 bile negre). Se extrage o bil din U1 i se introduce n U2, apoi se
extrage o bil din U2. Care este probabilitatea ca bila transferat s fi fost alb
dac bila extras din U2 este: a) alb; b) neagr?
Rezolvare:
Fie evenimentele A bila transferat este alb; B bila extras din U2 este alb;
a) Pentru a calcula p(A/B) aplicm formula lui Bayes:
p(A ) p(B/A ) = p(B) p(A/B)
(1.3.1)
()
Probabilitile p(A ) si p A se calculeaz simplu:

p(A ) =
()
2
3
i p A =
5
5
(1.3.2)
Probabilitatea condiionat p(B/A) este:

p(B/A) =2/7
(1.3.3)
iar p(B) se poate calcula cu formula probabilitii totale:
() ( )
p(B) = p(A ) p(B/A ) + p A p B/ A =
2 2 3 1 1
+ =
5 7 5 7 5
(1.3.4)
Astfel:
2 2
p(A ) p(B/A ) 5 7 4
=
=
p(A/B) =
1
p(B)
7
5
b) n mod analog
( )
()
(1.3.5)
( ) () ( )
5
; p B = p(A ) p B/A + p A p B/ A =
7
(1.3.6)
2 5 3 6 4
= + =
5 7 5 7 5
2 5
p(A ) p B/A
5 2,5
= 5 7 =
=
p A/ B =
(1.3.7)
! p(A/B)
4
14
7
pB
5
Se observ, cum era de ateptat, c este mai probabil s se fi transferat o bil alb dac din a
doua urn a fost extras o bil alb.
p B/A =
( )
()
( )
1.4. La un examen oral studenii consider c din totalul subiectelor m sunt

uoare i n grele. Precizai:
a) Probabilitatea ca primul student s extrag un subiect uor;
b) Probabilitatea ca cel de-al doilea student s extrag un subiect uor.
Rezolvare:
a) Cu notaiile: A evenimentul prin care primul student extrage un subiect uor;
B evenimentul prin care cel de-al doilea student extrage un subiect uor, avem c:
p(A ) =
iar
m
m+n
p(B/A ) =
()
pA =
m 1
m + n 1
n
m+n
( )
p B/ A =
(1.4.1)
m
m + n 1
(1.4.2)
c) Pentru calcului lui p(B) se utilizeaz formula probabilitii totale, relaia (1.5). Rezult c:
m 1
m
m
n
=
m + n 1 m + n m + n 1 m + n
m(m + n 1)
m
=
=
(m + n )(n + m 1) m + n
p(B) =
(1.4.3)
adic p(A) = p(B) cum era de ateptat.

Obs: - cele dou probabiliti p(A) i p(B) sunt probabiliti apriori (dinainte de producerea
evenimentelor). nainte ca primul student s extrag un subiect, toi studenii, indiferent de ordinea
lor, au anse egale la a extrage un subiect uor.
1.5. Un tetraedru regulat are feele colorate, una n rou, una n galben, una n
verde, iar cea de-a treia conine pe toate trei culorile. Se las s cad tetraedrul
pe una din fee. Fie evenimentele:
R - faa pe care a czut tetraedrul conine rou; G - faa pe care a czut
tetraedrul conine galben; V - faa pe care a czut tetraedrul conine verde.
a) ct este probabilitatea evenimentului rou, p(R)?
b) ct este probabilitatea condiionat p(R/G)?
c) sunt evenimentele R, G i V independente?
Rezolvare:
a) Probabilitatea evenimentului rou este:
b) Probabilitatea de a se realiza evenimentului rou dac s-a realizat galben este:

p(R/G ) =
1
2
(1.5.2)
deoarece una din dou fee ce conin galben conine i rou.

c) Pentru ca evenimentele R, G i V s fie independente trebuie s fie ndeplinite relaiile:
p(R G ) = p(R ) p(G )
p(R V ) = p(R ) p(V )
p(G V ) = p(G ) p(V )

p(G R V ) = p(G ) p(R ) p(V )
(1.5.3)
Aplicnd relaia (1.1), gsim c:

p(R ) = p(G ) = p(V ) =
1
2
p(R G ) = p(R V ) = p(G V ) =
1
4
(1.5.4)
1
p(G R V ) =
4
Cum ultima relaie din (1.5.3) nu este verificat evenimentele R, G i V nu sunt independente.
1.6. Pot fi simultan dou evenimente i incompatibile i independente?

Rezolvare:
Fie A i B dou evenimente. Incompatibilitatea lor presupune ca:
p(A B) = 0
iar independena:
(1.6.1)
p(A B) = p(A ) p(B)
(1.6.2)
Din cele dou relaii rezult c cele dou evenimente pot fi independente, fiind incompatibile, doar
dac unul este de probabilitate nul. Altfel spus, dou evenimente de probabiliti nenule pot fi
independente doar dac sunt compatibile.
1.7. O imagine alb negru se compune din 1024 x 256 pixeli. Fiecare pixel poate
avea un nivel de gri dintre 64 posibile. Aflai informaia furnizat de: a) un
pixel; b) ntreaga imagine.
Rezolvare:
a) Considernd egal probabile nivelele de gri, conform definiiei informaiei unui eveniment:
i(pixel) = log 2 p(nivel gri ) = log 2
1
= 6 bii
64
(1.7.1)
c) ntreaga imagine furnizeaz de 1024 x 256 ori mai mult informaie:

i(imagine) = 1024 256 i(pixel) 1,5 10 6 bii
(1.7.2)
1.8. a) Care este numrul de ntrebri minime necesare pentru a afla un numr
necunoscut Nx cuprins ntre 1 i 1000? ntrebrile pot fi de genul :
Numrul Nx este mai mare dect Np (nominalizat)?
b) Ct este primul prag Np1 i ct este informaia coninut de rspunsul la
ntrebarea:
Numrul Nx este mai mare dect 348?
Rezolvare:
a) Informaia necesar pentru a afla numrul Nx necunoscut este:
i N = log 2
1
1
= log 2
= log 2 1000 bii
p(N x )
1/1000
Informaia obinut prin rspunsul la o ntrebare este:

6
(1.8.1)
( )
i N P = p A N p log 2
( ) ( )
1
1
+ p A N p log 2
p A Np
p A Np
( )
(1.8.2)
unde ANp este evenimentul prin care numrul Nx este mai mare dect pragul Np. Evident:
( ) ( )
p A Np + p A Np = 1
i putem scrie:
( )
(1.8.3)
( )
(1.8.4)
1
1
cu x [0,1]
+ (1 x )log 2
x
1 x
(1.8.5)
x = p A Np = 1 p A Np
de unde
i N p = i(x ) = xlog 2
Funcia i(x) i atinge maximul dac

x=
1
2
(1.8.6)
Valoarea maximului este:

i m = 1 bit
(1.8.7)
i corespunde unui prag:

N pm = 499
(1.8.8)
Aadar, dac pragul este ales la jumtatea intervalului n care se cunoate c se afl Nx
informaia obinut prin rspunsul la ntrebare (n cazul cel mai defavorabil) este maxim i egal
cu 1 bit.
Cert, numrul minim de ntrebri este:
unde [y]sup denot numrul ntreg superior lui y.

Obs: numrul n = 10 gsit cu raionamentul anterior este minim n cazul general, acest lucru
nsemnnd c indiferent de Nx prin 10 ntrebri de tipul celei din enun (cu pragurile alese la
jumtate) se afl valoarea sa. Exist cazuri particulare cnd, pentru anumite valori a lui Nx, s fie
suficiente mai puine ntrebri (ex: Nx = 1 i Np = 1) dar pentru astfel de cazuri intervine ansa!
b) Din relaia (1.8.8) Np1 = 499;
Dac pragul se alege (la prima ntrebare) Np1 = 348 avem c
p(A ) =
()
1000 348
= 0,652 i p A = 0,348
1000
(1.8.10)
de unde:
i(348) = 0,652 log 2
1000
1000
+ 0,348 log 2
= 0,932 bii
652
348
(1.8.11)
Rezultatul cuprins n relaia (1.8.11) arat c dac pragurile nu vor fi alese la jumtate exist
posibilitatea s nu fie suficiente 10 ntrebri !
1.9. Cte cntriri sunt minim necesare pentru a preciza o moned fals din 12
i dac moneda este mai grea sau mai uoar? Moneda fals difer prin greutate
iar cntririle se fac pe o balan cu talere.
Rezolvare:
Informaia necesar pentru a soluiona problema este:
i nec = log 2 12 + log 2 2 = log 2 24 bii
(1.9.1)
unde log212 este informaia necesar pentru a afla moneda din 12, iar log22 este informaia necesar
pentru a afla dac moneda este mai grea sau mai uoar.
Informaia maxim furnizat de o cntrire este:
i cm = log 2 3 bii
(1.9.2)
i se atinge dac cele trei variante rezultat al unei cntriri cu balana(A-balana se nclin spre
dreapta, B-balana se nclin spre stnga, C-balana nu se nclin) sunt egal probabile:
p(A ) = p(B) = p(C )
(1.9.3)
Numrul de cntriri cerut va fi:

i
n = nec
sau i nec n i cm sau log 2 24 log 2 3 n
i
cm sup
(1.9.4)
cu soluia:
nmin = 3
(1.9.5)
Obs: - relaia (1.9.2) este valabil doar dac cele trei variante rezultat ale cntririi sunt egal
probabile. Astfel dac cele 12 monezi se noteaz cu M1, M2, ....., M12 prima cntrire const n a
compara pe M1+ M2+ M3+ M4 cu M5+ M6+ M7+ M8. O posibil rezolvare a problemei poate fi:
A1 moneda fals este - mai uoar i este M1, M2, M3, sau M4.
- mai grea i este M5, M6, M7, sau M8.
B1 moneda fals este - mai grea i este M1, M2, M3, sau M4.
-mai uoar i este M5, M6, M7, sau M8.
C1 moneda fals este mai grea sau mai uoar i este M9, M10, M11, sau M12.
8
Dac rezultatul primei cntriri este A1, indicele 1 semnific prima cntrire, A rezultatul ei,
atunci se compar M1+ M2+ M5 cu M3+ M4+ M6
- dac la a doua cntrire rezult A2 atunci fie M1 sau M2 e mai uoar fie M6 e mai grea i
se compar n continuare M1 cu M2;
- dac la a doua cntrire rezult B2 atunci fie M3 sau M4 e mai uoar fie M5 e mai grea i
se compar n continuare M3 cu M4;
- iar dac la a doua cntrire rezult C2 atunci fie M7 e mai grea fie M8; se compar M7 cu
M8.n mod analog pentru B1 i C1.
Obs: - relaia (1.9.4) indic c problema ar putea fi rezolvat i pentru 13 monezi n locul celor 12:
log 2 26 log 2 27 = log 2 3 n cu n = 3
n realitate problema cu 13 monezi nu poate fi complet soluionat din 13 cntriri pentru
c nu se poate asigura echiprobabilitatea rezultatelor.
1.10. Ct este informaia obinut n diferitele variante de rezolvare a problemei

cu 12 monezi? Dar cu 13 monezi?
Rspuns:
Pentru varianta A1 A2 A3 (cu 12 monezi):
8 2
3
I = log 2 3 + 2 log 2 + log 2
3 8
8
8
+ log 2 3 = 4,7312 bii
2
Obs: informaia obinut la a doua cntrire este mai puin dect cea presupus, log23 bii.
1.11. Un convertor analog-numeric (CAN) convertete tensiunea de intrare Ux

ntr-un numr Nx conform relaiei:
U
Nx = x
q
(1.11.1)
unde Ux poate lua valori ntre 0 i Umax = 12,8 V; q este cuanta conversiei, q =
50mV; [y] semnific partea ntreag a lui y.
a) Ct informaie furnizeaz la ieirea sa CAN-ul prin fiecare numr generat i
ct informaie se pierde ?
b) Dac CAN-ul folosete pentru conversie, n mai muli pai succesivi, un
comparator, s se stabileasc ct informaie furnizeaz comparatorul la un pas
i ci pai sunt necesari pentru efectuarea conversiei ?
c) Care sunt tensiunile de prag ale comparatoarelor utilizate, Upi, n conversia
tensiunii Ux = 7,43 V, n cazul n care conversia se face ntr-un numr minim de
pai ?
Rspuns:
a) i = 8 bii; n mod ideal Ux conine + informaie.
n realitate msurarea unei tensiuni Ux este limitat (ca i precizie) fie de rezoluia aparatelor fie de
nivelul zgomotului.
b) ic = 1 bit; 8 pai;
c) Up1 = 6,4 V; Up2 = 9,6 V; Up3 = 8 V; Up4 = 7,2 V; Up5 = 7,6 V; Up6 = 7,4 V; Up7 = 7,5 V; Up8 =
7,45 V.
1.12. Un CAN de mare vitez utilizeaz 128 de comparatoare pentru a face

conversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezoluie de
q=100mV. Determinai redundana n componente a CAN-ului.
Rezolvare:
Numrul de rspunsuri distincte ale CAN ului pentru o tensiune Ux ce variaz de la - 12,8 V la
+12,8 V este:
N=
U max U min
= 256 = 2 8
q
(1.12.1)
Probabilitatea ca o tensiune Ux s genereze un rspuns din cele N posibile este:

p0 = 1/N = 2-8
(1.12.2)
iar informaia coninut de un rspuns este:

i 0 = log 2 p 0 = 8 bii
(1.12.3)
Pentru c un comparator alege o variant din dou posibile, informaia furnizat de el este:
i c = log 2
1
= 1 bit
2
(1.12.4)
Aadar n mod ideal, pentru o conversie sunt suficiente:

n = i0/ic = 8 comparatoare
(1.12.5)
de unde rezult c redundana este de 120 de comparatoare.

Obs: Motivaia utilizrii a mai multor comparatoare const n faptul c, la folosirea doar a 8
comparatoare, sunt necesare tensiuni de prag variabile n funcie de tensiunea Ux, lucru ce scade
viteza de conversie.
1.13. La o transmisie numeric informaia util se transmite prin secvene

binare de cte n bii, numite cuvinte. Ct informaie este necesar pentru a
preciza poziia unui bit eronat din cei n? Dar pentru doi bii eronai?
Exemplificare pentru n = 8.
10
Rezolvare:
Informaia cerut se calculeaz cu formula:
i = log2 n (bii)
(1.13.1)
Se consider c transmiterea (implicit eronarea) unui bit este independent de a celorlali. Aadar,
pentru un bit eronat i1 = 3 bii; pentru doi bii eronai i 2 = log 2 C 82 4,8 bii.
1.14. Aceeai ntrebare ca i la problema 1.13, cu diferena c este o transmisie

ternar.
Rezolvare:
n cazul transmisiei ternare corecia unui simbol (ternar) eronat presupune pe lng aflarea
poziiei sale (fapt ce necesit aceeai informaie ca i la secvena binar), i valoarea simbolului
iniial, valoare ce poate fi una din dou posibile. Cu aceste justificri, rspunsurile vor fi:
i1 = log2 n (pentru aflarea poziiei)
+ log2 2 (pentru aflarea valorii) = 4 bii
(1.14.1)
i 2 = log 2 C 2n + log2 2 6,8 bii
(1.14.2)
n relaia (1.14.2) s-au adugat 2 bii de informaie necesari aflrii valorii adevrate pentru
dou simboluri ternare eronate.
1.15. La o transmisie binar informaia util este transmis prin cuvinte de n=8
bii printr-un canal cu rata erorii p=10-3. Ct informaie, n medie pe un
cuvnt, este necesar pentru a face:
a) detecie de o eroare pe cuvnt?
b) detecie de una sau dou erori pe cuvnt?
Rezolvare:
a) Probabilitatea ca un cuvnt s fie eronat ntr-o poziie este:
p1 = C1n p (1 p ) C1n p [1 p(n 1)] =
= 8 10 3 0,993 = 7,944 10 3
n 1
(1.15.1)
p1 este i probabilitatea ca receptorul s detecteze o eroare. Cert 1-p1 este probabilitatea ca

receptorul s ia decizia c nu exist eroare (incluznd cazurile corecte i false).
Fie a i b astfel nct:
p1 = a/b i 1- p1 = (b-a)/b
(1.15.2)
11
Aadar din b cuvinte transmise a sunt detectate cu eroare. Pentru a detecta un astfel de cuvnt este
necesar informaia:
i1d = log 2 p1
(1.15.3)
b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvnt fiind necesar
informaia:
i1n = log 2 (1 p1 )
(1.15.4)
Concluzionnd pentru b cuvinte recepionate este necesar informaia:

b i1 = a i1d + (b-a) i1n
(1.15.5)
iar pentru un singur cuvnt recepionat, pentru a face detecie de o eroare:

a
ba
i 1d +
i1n =
b
b
= p1 log 2 p 1 (1 p1 ) log 2 (1 p1 ) =
= 0,0668 bii/cuvnt
i1 =
(1.15.6)
b) i n acest caz informaia cerut are aceeai form cu (1.15.6) doar c difer p1:
i 2 = p 2 log 2 p 2 (1 p1 ) log 2 (1 p 2 )
(1.15.7)
unde p2 este probabilitatea ca un cuvnt s fie eronat ntr-o poziie sau n dou poziii:
p 2 = C1n p (1 p )
n 1
+ C 2n p 2 (1 p )
n 2
= 7,972 10 3
(1.15.8)
de unde rezult pentru i2 valoarea:

i2 = 0,067 bii/cuvnt
(1.15.9)
Obs: Detecia prezenei erorilor presupune a decide ntre dou variante: exist sau nu exist erori
n cuvntul n cauz. Informaia furnizat de o astfel de decizie (una din dou posibile) este, n
medie, subunitar, nct problema deteciei din punct de vedere strict al informaiei este solvabil
cu 1 bit (de informaie) pe cuvnt, indiferent de p sau n.
12
Cap. 2 Surse de informaie

Dicionar:
- eficien raportul dintre ansamblul efectelor utile (rezultatelor) ce se obin de pe urma unei activiti i totalul
eforturilor;
- entropie (limba greac entropie=ntoarcere, schimbare) mrime ce indic gradul de nedeterminare asupra unui
sistem;
- extensie dezvoltare, cretere, amplificare, extindere;
- graf cuplu format dintr-o mulime ale crei elemente se numesc vrfuri i dintr-o funcie care asociaz, la orice
pereche ordonat de vrfuri (primul numit surs iar al doilea adres), un element, numit sgeat, al unei alte
mulimi.
- redundan (redondan) 1.abunden (inutil) de cuvinte, de figuri retorice, de imagini pentru exprimarea unei
idei; 2.excesul de informaie fa de strictul necesar;
- stare 1.situaie n care se afl ceva sau cineva; 2.ansamblul valorilor instantanee a parametrilor ce caracterizeaz
complet un sistem dat;
- staionar care rmne n aceeai stare;
Definiii:
- Surs de informaie text = sursa de informaie, de regul considerat fr memorie, avnd drept simboluri caracterele
distincte din textul dat (opional se pot include semne de punctuaie, pauzele dintre cuvinte, cifrele, etc)..
Probabilitile diferitelor simboluri vor fi ponderile lor n text.
- Extensia unei surse = fiind dat o SDFM, S cu N simboluri, se definete extensia de ordin n a sursei, notat Sn, sursa
avnd un numr de Nn simboluri obinute din toate combinaiile posibile de mesaje compuse din n simboluri
ale sursei S.
- Surs cu memorie (Markov) de m pai = sursa de informaie cu N simboluri pentru care emisia celui de-al m+1-lea
simbol depinde de cele m simboluri anterior emise.
- Starea sursei Markov de m pai = setul ultimelor m simboluri emise. Dac sursa poate emite M simboluri i este cu
memorie de m pai atunci admite Mm stri.
- Probabilitate de trecere p(Sj/Si) = probabilitatea ca sursa Markov s treac n starea Sj = skm-1 skm-2 ..... sk0 (prin
emiterea simbolului sk0), dac se afl n starea Si = skm-2 skm-1 ..... sk1.
- Matricea de tranziie,T = o matrice ptrat de ordin Mm ce conine toate probabilitile de trecere;
- Graful sursei cu memorie = graful ale crui noduri reprezint strile sursei, iar coardele (sgeile) ce leag nodurile
probabilitile de trecere.
- Surs Markov staionar = probabilitile de trecere n n pai converg ctre limite independente de starea iniial
cnd n .
- Stare de staionaritate (a unei surse Markov staionare) = un vector, P* de dimensiune M ce conine
probabilitile
p *j , j = 1, M ce verific sistemul:
P * T = P *
M
(2.1)
*
p
1
=
j=1
*
Probabilitatea p j reprezint ansa ca sursa Markov, dup n pai cu n s se gseasc n starea Sj.
Notaii:
S surs de informaie;
N numrul de simboluri;
N simbolurile sursei;
Si, i = 1
N probabilitile de emisie a simbolurilor Si;
pi, i = 1
Sm extensia de ordin m a sursei SDFM, S;
Nm strile sursei cu memorie, S;
Sj, j = 1
T matricea de tranziie;
ppm pri per milion (1ppm=10-6).
Abrevieri:
SDFM Surs Discret Fr Memorie.
13
Breviar teoretic:
1. Mrimi ce caracterizeaz sursa de informaie:
--entropia SDFM:
N
1
H(S) = p i log 2
pi
i =1
--entropia sursei cu memorie:
N N
1
H(S) = p *j p(Si /S j )log 2
p(Si /S j )
j=1 i =1
-entropia maxim:
H max (S) = log 2 N
--eficiena:
s = H(S)/H max (S)
--redundana:
R(S) = Hmax(S) H(S)
--redundana relativ:
s = R (S)/H max (S)
2. Formul pentru schimbarea bazei logaritmului:
lnx
log 2 x =
ln2
3. Condiia de existen a strii de staionaritate pentru surs cu memorie:
n0 astfel nct Tn0 s fie o matrice regulat (are toate elementele strict pozitive)
(2.2.a)
(2.2.b)
(2.3)
(2.4)
(2.5)
(2.6)
(2.7)
2.1. O surs de informaie discret are entropia egal cu 4,8 bii/simbol i

redundana relativ 9,8%. Cte simboluri are sursa?
Rezolvare:
Din relaiile de definiie a entropiei maxime i a redundanei relative pentru o surs discret fr
memorie:
H max = log 2 N
= 1
(2.1.1)
H(S)
H max
(2.1.2)
unde: H(s)-entropia sursei; Hmax-entropia maxim, -redundana relativ, N-nr. de simboluri a

sursei, gsim c:
H max =
H(S) 4,8 100

=
1
90,2
(2.1.3)
i:
N = 2 H max = 40
(2.1.4)
14
2.2. Fie sursa de informaie S:

S1 S 2 S 3 S 4 S5
S = 1 1 1 1 1
8 2 16 4 16
Se cere s se calculeze:
a) informaia medie pe simbol, H(s);
b) valoarea maxim a entropiei sursei Hmax;
c) eficiena sursei s;
d) redundana sursei R;
e) redundana relativ .
Rezolvare:
a) Informaia medie pe simbol sau entropia sursei H(S) se calculeaz cu formula:
N
H(S) = p(s i )log 2

i =1
1
p(s i )
(2.2.1)
unde: N numrul de simboluri a sursei S;

si, i = 1, N , simbolurile sau mesajele sursei S;
p(si) probabilitatea ca sursa s emit simbolul si.
nlocuind rezult c:
1
1
1
1
1
H(S) = log 2 8 + log 2 2 + log 2 16 + log 2 4 + log 2 16
8
2
16
4
16
3 1 4 2 4 3 + 4 + 4 + 4 + 2 17
= + + + +
=
=
8 2 8 4 16
8
8
= 2,125 bii/simbol
(2.2.2)
b) Entropia maxim este:

H max = log 2 N = log 2 5 2,323 bii/simbol
(2.2.3)
c) Eficiena sursei este:
s =
H(S)
= 91,5%
H max
(2.2.4)
d) Redundana sursei R este diferena dintre entropia maxim i entropia sursei date:
R = Hmax - H(S) = 0,197 bii/simbol
(2.2.5)
e) Redundana relativ, cu formula de calcul (2.6), are valoarea:

= 8,5%
(2.2.6)
15
2.3. Sursa de informaie discret i fr memorie S are drept simboluri

caracterele distincte din urmtoarea propoziie (surs text):
NU UITA NICI PAUZELE DINTRE CUVINTE .
Probabilitile simbolurilor (caracterelor distincte) sunt ponderile lor din text.
Se cere:
a) tabloul simboluri-probabiliti pentru sursa S;
b) entropia H(S), redundana R i eficiena s sursei S;
c) probabilitatea ca sursa s emit mesajul AUR.
Rezolvare:
a) tabloul simboluri-probabiliti este:
A C D E I L N P R T U V Z _ .
S= 2 2 1 4 5 1 4 1 1 3 4 1 1 5 1
36 36 36 36 36 36 36 36 36 36 36 36 36 36 36
(2.3.1)
b) Conform relaiei de definiie entropia sursei este:

N
H(S) = p(s i )log 2

i =1
N
=
i =1
1
p(s i )
N
ki
k
36 N k i
log 2
= log 2 36 i log 2 k i
36
k i i =1 36
i =1 36
(2.3.2)
unde: N = 15 numrul de simboluri a sursei S;

k
p i = i , i = 1,15, - probabilitile simbolurilor.
36
nlocuind n (2.3.2) valorile obinute pentru ki din tabloul (2.3.1) gsim:
1
2 2 log 2 2 + 7 1 log 2 1 + 3 log 2 3 +
36
+ 2 4 log 2 4+ 2 5 log 2 5 =
1
4 + 3 log 2 3 + 16 + 10 log 2 5 =
= 2 + 2 log 2 3
36
52 69
10
=
+ log 2 3 log 2 5 =
36 36
36
= 3,8373 bii/simbol
H(S) = log 2 36
(2.3.3)
Redundana i eficiena sursei se obin cu relaiile:

R = H max H(S) = log 2 N H(S)
H(S)
H(S)
s =
=
H max log 2 N
(2.3.4)
Cunoscnd N = 15 i cu H(S) dat de (2.3.3) gsim:
16
R = 0,06958 bii/simbol
s = 98,22%
(2.3.5)
c) Sursa S fiind fr memorie probabilitatea cerut va fi:

p(AUR ) = p(A ) p(U ) p(R ) =
2 4 1

= 1,715 10 4
36 36 36
(2.3.6)
2.4. Fie sursa de informaie discret i fr memorie:

S1 S 2 S3 S 4 S5 S 6 S 7
S = 10 20 30 5 2 8 25
100 100 100 100 100 100 100
S se calculeze pentru sursa S:

a) entropia H(S);
b) valoarea maxim a entropiei sursei Hmax;
c) eficiena sursei s;
d) redundana sursei R;
e) redundana relativ .
Rspuns:
a) H(S) = 2,44 bii/simbol
b) Hmax = 2,8 bii/simbol
c) s = 86,85%
d) R = 3,7 bii/simbol
e) = 13,15%
2.5. Fie sursa text:

STUDENTUL *** REZOLVA O PROBLEMA DE TTI .
a) nlocuii *** cu numele i prenumele dumneavoastr i construii n acest caz
tabloul sursei;
b) calculai entropia i eficiena sursei de la punctul a);
c) ct este probabilitatea ca sursa de la a) s emit mesajul MAR.
Rspuns:
pentru *** = POP ION
A B D E I L M N O P R S T U V Z _ .
a) S = 2 1 2 4 2 3 1 2 5 3 2 1 4 2 1 1 7 1
44 44 44 44 44 44 44 44 44 44 44 44 44 44 44 44 44 44
17
b) H(S) = log 2 44
s =
1
6 2 + 6 log 2 3 + 16 + 5 log 2 5 + 7 log 2 7 = 3,896 bii/simbol
44
3,896
= 93,44%
log 2 18
c) p(MAR ) =
4
= 47 ppm
44 3
2.6. O surs de informaie binar cu memorie de doi pai are graful

corespunztor n figur. S se afle:
a) probabilitile de trecere nefigurate;
b) ce anse sunt ca dup transmiterea mesajului 00110 s se transmit mesajul
11.
c) matricea de tranziie i o eventual stare de staionaritate;
d) entropia sursei date.
Rezolvare:
a) Probabilitile cerute sunt:
2
7
1
p(S3 /S 2 ) = 1 p(S 4 /S 2 ) =
2
3
p(S3 /S 4 ) = 1 p(S 4 /S 4 ) =
5
1
p(S 2 /S3 ) = 1 p(S1 /S 3 ) =
4
p(S 2 /S1 ) = 1 p(S1 /S1 ) =
(2.6.1)
b) Deoarece sursa are memorie de doi pai, din mesajul transmis 00110 sunt relevani, pentru
definirea strii actuale, doar ultimii doi bii transmii 10. Aadar starea actual este S3. Din S3
ansele ca sursa s emit 1 i, ca atare, s treac n starea S2 sunt de 25% (p(S2/S3)). Prin
generarea nc a unui 1 sursa va trece din starea S2 n starea S4. Probabilitatea acestei tranziii este
de 50%. Concluzionnd probabilitatea ce nsoeteacest traseu S3 S2 S4 este:
1 1 1
p(S3 S 2 S 4 ) = = = 12,5%
(2.6.2)
4 2 8
18
c) Matricea de tranziie este:

3
7
p(S1 /S1 ) p(S 2 /S1 ) p(S3 /S1 ) p(S 4 /S1 )
p(S /S ) p(S /S ) p(S /S ) p(S /S ) 0
1
2
2
2
3
2
4
2
T=
=
p(S1 /S3 ) p(S 2 /S3 ) p(S3 /S3 ) p(S 4 /S3 )
3

p(S1 /S 4 ) p(S 2 /S 4 ) p(S3 /S 4 ) p(S 4 /S 4 ) 4
4
0
7
1
0
2
1
0
4
3
0
5
1
2
(2.6.3)
O eventual stare de staionaritate ar conine probabilitile p *i , ca sursa s se afle ntr-o

anumit stare Si :
P * = p1* p *2 p *3 p *4
(2.6.4)
cu P * ndeplinind condiia:
P *T = P *
(2.6.5)
nlocuind n (2.6.5) pe T i P * date de (2.6.3) i (2.6.4) rezult:

3
7 -1
p1* p *2 p *3 p *4
3
4
4
7
-1
1
2
1
4
0
-1
3
5
1
2 0
=
0
2
-1
5
0
(2.6.6)
Sistemul de ecuaii dat de (2.6.6) este compatibil nedeterminat fapt ce necesit nc o relaie ntre
probabilitile p *i , relaie care este:
[p
*
1
+ p *2 + p *3 + p *4 = 1
(2.6.7)
Soluia sistemului obinut din (2.6.6) i (2.6.7) este:

63 48 48 40
p* =
199 199 199 199
(2.6.8)
d) Entropia sursei cu memorie se calculeaz cu formula:

22
H M (S) = p(Si ) p(a j /S i ) log 2 p(a j /S i )

2
i =1 j=1
19
(2.6.9)
unde Si, cu i = 14, sunt cele 4 stri posibile ale sursei iar aj, cu j = 01, sunt mesajele posibil a fi
emise din fiecare stare.
Pentru uurina calculului entropiei, elementele cerute de suma dubl din (2.6.9) sunt date n
tabelul urmtor :
Si
aj
S1 = 00
0
1
0
1
0
1
0
1
S2 = 01
S3 = 10
S4 = 11
p(Si ) = p *i
63
199
48
199
48
199
40
199
p(a j /S i )
3/7
4/7
1/2
1/2
3/4
1/4
3/5
2/5
Tabelul 2.1
nlocuind n (2.6.9) elementele din tabelul 2.1 rezult :

63 3
7 4
7 48 1
2 1
log 2 + log 2 +
log 2 + log 2
1 2
199 7
3 7
4 199 2
48 3
4 1
4 40 3
5 2
+
log 2 + log 2 +
log 2 + log 2
199 4
3 4
1 199 5
3 5
= 0,944 bii/simbol
H M (S) =
1
5
(2.6.11)
2.7. O surs de informaie binar cu memorie de doi pai are graful

corespunztor n figur. Dac n prezent sursa se afl n starea Si ct este
probabilitatea ca dup trei simboluri sursa s se regseasc tot n starea Si?
Rspuns:
p(S1 S1 S1 S1 ) + p(S1 S 2 S 3 S1 ) =
3
3 1 2
4
= + = 24,37%
7 7 3 5
20
2.8. O surs de informaie binar cu memorie de un pas are probabilitile de

trecere: p(0/0) = 5/7 i p(0/1) =3/4.
a) construii graful sursei date;
b) calculai starea de staionaritate;
c) determinai entropia sursei;
d) determinai entropia unei surse fr memorie avnd aceleai simboluri i
probabilitile simbolurilor cele coninute n starea staionar.
Rezolvare:
a) Pentru a putea construi graful sursei cu memorie aflm probabilitile de trecere ce nu sunt date
n enunul problemei:
p(1/0) = 1 - p(0/0) = 2/7
p(1/1) = 1 - p(0/1) = 1/4
(2.8.1)
n acest fel graful este:
b) Matricea de tranziie este:

5
7
T=
1
4
2
7
3
4
(2.8.2)
iar starea staionar se afl rezolvnd sistemul:
p *0 p1* T = p *0
*
p 0 + p1* = 1
p1*
(2.8.3)
Rezult:
* 7
p 0 = 15
p1* = 8
15
(2.8.4)
c) Entropia sursei cu memorie este dat de relaia:

H M (S) = p(Si ) p(a j /S i ) log 2 p(a j /S i )
1
i = 0 j= 0
unde S0 = 0; S1 = 1; a0 = 0; a1 = 1
21
(2.8.5)
p(S 0 ) = p *0 =
7
15
p(S1 ) = p1* =
8
15
iar probabilitile p(aj/Si) sunt cele indicate de graf.

nlocuind n (2.8.5) rezult:
7 5
7 2
7 8 1
4 3
4
log 2 + log 2 + log 2 + log 2
15 7
5 7
2 15 4
1 4
3
= 0,8355 bii/simbol
H M (S) =
(2.8.6)
d) O surs fr memorie conform cu cerinele problemei are tabloul:

S1
S= 7
15
S2
15
(2.8.7)
iar entropia:
H(S) =
7
15 8
15
log 2
+ log 2
= 0,9968 bii/simbol
15
7 15
8
(2.8.8)
Comparnd cele dou entropii gsite HM(S) i H(S) se observ c ultima este mai mare.
2.9. O surs de informaie binar cu memorie de trei pai are graful

corespunztor n figur. S se afle:
a) matricea de tranziie;
b) entropia sursei;
c) probabilitatea ca sursa, aflat n starea S2, dup emiterea a trei simboluri s
ajung n starea S3.
Rspuns:
22
a)
1
2
0
T=
2
0 0 0 0 0 0
1 3
0 0 0 0
4 4
2 3
0 0
0 0
5 5
1 1
0 0 0 0
2 2
0 0 0 0 0 0
3 2
0 0 0 0
5 5
3 4
0 0
0 0
7 7
3 4
0 0 0 0
7 7
1
2
0
0
0
1
3
0
0
0
128 96 105 126 96 135 126 147

b) p * =
959 959 959 959 959 959 959 959
H M (S) = 0,961454 bii/simbol
c) p(S 2 S3 S 6 S 3 ) =
9
= 9%
100
2.10. Fie sursa de informaie fr memorie avnd tabloul simboluriprobabiliti:

b
c
a
S =
0,2 0,4 0,1
Se cere:
a) valoarea lui x;
b) entropia i eficiena sursei S;
c) tabloul sursei de informaie S2(extensia de ordin a lui S);
d) entropia i eficiena sursei S2.
Rezolvare:
a) Deoarece:
N
= 1 rezult x = 0,3
(2.10.1)
i =1
b)
H(S) = p i log 2
i =1
1
= 1,846 bii/simbol entropia
pi
23
(2.10.2)
H(S)
H(S)
=
= 92,32% eficiena
H max log 2 N
s =
(2.10.3)
b) Extensia unei surse S se obine asociind cte dou mesaje ale sursei S. Astfel:
ab ac ad ba bb bc bd ca cb cc cd da db dc dd
aa
S = 4 8
2 6 8 16 4 12 2 4 1
3 6 12 3 9
100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
2
(2.10.4)
( )
H S 2 = 2 H(S) = 3,692 l bii/simbol
c)
S2 =
( )
( )
H S2
2 H(S)
=
= S
2
H max S
log 2 N 2
(2.10.5)
(2.10.6)
Obs: Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficiena
pstrndu-se. Prin generalizare se poate arta c:
( )
H S m = m H(S)
Sm = S
(2.10.7)
unde Sm este extensia de ordin m a sursei S.
2.11. O surs ternar cu memorie de un pas are graful din figur

a) s se afle cele trei probabiliti de trecere necunoscute;
b) calculai starea de staionaritate;
c) calculai entropia sursei date;
d) pentru ce valori ale probabilitilor de trecere sursa este practic fr
memorie?
Rspuns:
a)
p(S1 /S 2 ) =
1
5
p(S 2 /S3 ) =
1
2
p(S 3 /S1 ) =
1
3
24
b)
p1* =
12
49
p *2 =
25
49
p *3 =
12
49
c)
Starea
actual
S1
S2
S3
Starea
viitoare
S1
S2
S3
S1
S2
S3
S1
S2
S3
Probabilitatea
strii staionare
12/49
25/49
12/49
Probabilitatea de
trecere
1/3
1/3
1/3
1/5
3/5
1/5
1/4
2/4
1/4
Tabelul 2.2
H M (S) = 1,3325 bii/simbol

d)
p(S i /S j ) = p(S i /S j ) = p(S i /S j ) = j = 1,2,3

cu , , R +
+ + =1
2.12. O SDFM are N = 32 simboluri i eficiena de 75%. Ct sunt entropia,

redundana i redundana relativ a sursei date?
Rspuns:
H(S) = 3,75 bii/simbol
R = 1,25 bii/simbol
25
= 25%
Cap. 3 Codarea sursei

Dicinoar:
- cod (limba latin "codex"- culegere) - 1.ansamblul unor reguli; 2.culegere de legi; 3.sistem de semnale sau semne
convenionale cu semnificaii bine precizate, ale cror combinaii sunt folosite pentru transmiterea unor
mesaje;
- compresie - reducere a volumului.
Definiii:
- codare = procesul de atribuire a unor succesiuni (secvene) de simboluri elementare mesajelor (simbolurilor) unei
surse de informaie;
- alfabetul codrii = totalitatea simbolurilor elementare cu ajutorul crora se pot construi succesiunile (secvenele);
- cuvnt de cod = o secven (succesiune) atribuit prin procesul de codare a unui mesaj al sursei de informaie;
- cod = totalitatea cuvintelor de cod;
- cod - binar = alfabetul este binar: {0, 1};
- bloc = cuvintele au aceeai lungime;
- unic decodabil = fiecrei succesiuni de cuvinte de cod i corespunde o unic succesiune de simboluri a sursei;
- instantaneu = nici un cuvnt de cod nu este prefixul altui cuvnt;
- graful de codare (graful codului) = un arbore ce crete, dintr-un punct iniial (numit surs), prin m ramuri la fiecare
nod (m - numrul de simboluri elementare din alfabet) i are la finele oricrei ramuri (numit frunz) cte
un simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleac dintr-un nod este notat cu unul dintre
simbolurile elementare ale afabetului codului. Secvena obinut prin asocierea simbolurilor elementare ataate
unei ci, ce pleac de la surs i ajunge la o frunz, este cuvntul de cod ce codeaz simbolul (mesajul) sursei
ataat acelei frunze;
- eficiena codrii = raportul ntre lungimea medie minim a cuvintelor unui cod ce ar putea coda sursa dat i
lungimea medie a cuvintelor codului dat;
- compresia = procedeul de recodare a unei surse cu scopul de a obine o eficien superioar primului cod;
- factor de compresie = raportul eficienelor codurilor, comprimat i iniial.
Notaii:
L - lungimea medie a cuvintelor codului;
c - eficiena codrii;
F - factor de compresie.
Abrevieri:
LZ -77 - algoritmul de compresie Lempel -Ziv '77.
Breviar teoretic:
1. Teorema I-a a lui Shannon: pentru orice surs de informaie S, printr-o codare pe grupe
de n simboluri, poate fi fcut o codare absolut optimal dac n;
2. Lungimea medie a cuvintelor codului:
N
L = pili
(3.1)
i =1
unde: li - lungimea cuvntului ataat simbolului sursei;

si=numrul de simboluri elementare din componena cmpului respectiv;
3. Eficiena codrii se poate calcula dup formula:
H(S)
c =
L
26
(3.2)
3.1. Fie sursa de informaie discret i fr memorie:

a
S =
0,4
0 , 25
0,2
0 ,15
i trei coduri binare pentru sursa S:

CI
a
1
b 10
c 100
d
C II
110
a
b
c
1
01
001
000
C III
a
b
c
00
01
10
11
a) Ce secven binar corespunde, pentru fiecare cod n parte, mesajului sursei:

"abacdab"?;
b) Artai c decodarea secvenei construite la punctul a) este unic doar pentru
CII i CIII, nu i pentru CI;
c) Calculai entropia sursei i eficiena acesteia;
d) Calculai lungimea medie a cuvintelor fiecrui cod, precum i eficiena
codrii.
Rezolvare:
a) Secvenele binare cerute se obin prin simpla substituie a literelor cu secvenele binare
(cuvintelor) corespunztoare lor:
Sv1=1101100110
Sv2=1011001000
Sv3=0001001011
110
101
0001
(3.1.1)
b) Decodnd secvena Sv1 prin I gsim cel puin dou variante de decodare:
abacdab, dacdd, abacabab, etc...
fapt ce nu se poate ntmpla cu Sv2 i Sv3 prin CII, respectiv CIII.
c) Conform formulei de definiie, entropia sursei este:
N
H(S) = pi log 2
i =1
1
= 1,9 bii/simbol
pi
(3.1.2)
Pentru calculul eficienei este necesar n prealabil entropia maxim:

H max = log 2 N = 2 bii/simbol
(3.1.3)
Rezult eficiena sursei:

s =
H(S)
= 95%
H max
(3.1.4)
27
d) Lungimea medie a cuvintelor unui cod se calculeaz cu formula:

N
L = pili
(3.1.5)
i =1
unde li este lungimea cuvntului de cod numrul i.

Deoarece CI i CII au aceleai lungimi pentru cuvinte i lungimea medie va rezulta aceeai:
iar:
L1 = L 2 = 0,4 1 + 0,25 2 + 0,2 3 + 0,15 3 = 1,95 bii/simbol
(3.1.6)
L3=2 bii/simbol
(3.1.7)
fiind un cod bloc.

Eficienele codrilor rezult:
c1 = c 2 = 97,6%
c3 = s = 95%.
(3.1.8)
Obs.: - Dei CIII are lungimi ale cuvintelor de cod mai mici dect CI i CII, totui acestea "codeaz
mai eficient" sursa dat, deoarece atribuie cuvnt de cod scurt (lungime 1) simbolului cel mai
frecvent (a).
- Codurile CII i CIII sunt coduri unic decodabile prin faptul c decodarea unei secvene codate
decurge ntr-un unic fel. n plus sunt i coduri instantanee. Un exemplu de cod unic decodabil, dar
nu i instantaneu, este:
CIV
a
b
c
d
1
10
100
000
- Cu toate c realizeaz biunivociti ntre mulimea mesajelor sursei S i mulimea cuvintelor de

cod, codul CI nu poate fi utilizat deoarece informaia transmis printr-un astfel de cod poate fi
deformat la decodare.
3.2. O SDFM cu 20 simboluri echiprobabile se codeaz cu un cod bloc (toate

cuvintele au aceei lungime).
a) Ct sunt entropia i eficiena sursei date?
b) Ct este lungimea medie m a cuvintelor codului, minim necesar ?
c) Calculai eficiena codrii.
Rezolvare:
a) Sursa fiind echiprobabil:
H(S)=Hmax=log220=4,32 bii/simbol
28
(3.2.1)
i, ca atare:
s=100%
(3.2.2)
b) Pentru a putea atribui N secvene binare, de lungime m, celor N mesaje ale sursei este necesar ca
s existe cel puin N secvene distincte. Cum numrul de secvene binare de lungime m este 2m
rezult c 2m N, unde N este numrul de simboluri al sursei, N=20. n plus, conform cerinelor
problemei vom alege pe cel mai mic m ce verific inegalitatea, astfel nct:
2m 1 < N < 2m
(3.2.3)
Pentru cazul concret (N=20) rezult:

m=5
(3.2.4)
c) Lungimea medie a cuvintelor codului bloc este:

N
20
i =1
i =1
L = p i li = p i m = m
(3.2.5)
relaie ce este adevrat indifirent de valorile probabilitilor pi.

Eficiena codrii va fi:
c =
H(S) log 2 20
=
= 86,44%
L
5
(3.2.5)
3.3. a) Codai prin algoritmul Huffman static sursa de informaie discret i fr

memorie:
a
S =
0, 4
b
0, 2
c
0, 25
0,15
b) Codai cu ajutorul aceluiai algoritm Huffman static extensia de ordin 2 a

sursei date;
c) Calculai i comparai n cele dou cazuri eficienele celor dou coduri
obinute.
Rezolvare:
a) Desfurarea algoritmului Huffman static este prezentat n figura de mai jos:
a
b
c
d
0,4
0,25
0,2
0,15
0
10
111
110
0,4
0,35
0,25
0
11
10
Figura 3.1.
29
0,6
0,4
1
0
Codul obinut are lungimea:

4
L1 = pili = 1,95 bii/simbol
(3.3.1)
i =1
b) Tabloul sursei S2 (extensia de ordin I2 a sursei date) este:

aa ab ac ad ba bb bc bd ca cb cc cd da db dc dd
S2 = 16 8 10 6 8 4 5 3 10 5 6,25 3,75 6 3 3,75 2,25
100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
Algoritmul de codare Huffman static pentru sursa S2 este artat n figura urmtoare:
aa
ac
ca
ab
ba
cc
ad
da
bc
cb
bb
cd
dc
bd
db
dd
111
16
16
16
010
10
10
10
001
10
10
10
1101
8
8
8
1100
8
8
8
1001
6,25
6,25
6,75
1000
6
6
6,25
0111
6
6
6
0001
5
5,25
6
0000
5
5
5,25
10111
4
5
5
10110 3,75
4
5
10101 3,75
3,75
4 10111
10100
3
3,75 10101 3,75 10110
01101
3 01101
3 10100
01100 2,25 01100
16
10
10
8
8
7,75
6,75
6,25
6
6
5,25
5 0001
5 0000
16
10
10
10
8
8
7,75
6,75
6,25
6
6 0111
5,25 0110
16
11,25
10
10
10
8
8
7,75
6,75
6,25 1001
6 1000
16
16
16
20
21,25
26,75
32
41,25
58,75 1
12,25
14,5
16
16
20
21,25 26,75
32 11 41,25 0
11,25
12,25
14,5
16
16
20
21,25 01 26,75 10
10
11,25
12,25 14,5
16
16 111 20 00
10
10
11,25 12,25
14,5 101
16 110
10
10
10
11,25 011 12,25 100
8
10
10 001 10 010
8
8 1101 10 000
7,75 1011
8 1100
6,75 1010
Figura 3.2.
n desfurarea algoritmului probabilitile sunt nmulite cu 100 pentru uurina scrierii. Lungimea
medie a cuvintelor codului obinut este:
30
3
(16 + 10 + 10) + 4 (8 + 8 + 6,25 + 6 + 6 + 5 + 5)
100
100
5
(4 + 3,75 + 3,75 + 3 + 3 + 2,25) =
+
100
108 + 177 + 98,75
...... =
= 3,8375 bii/simbol
100
L2 =
(3.3.2)
Cunoscnd c entropia extensiei de ordin 2 este dublul entropiei sursei date (vezi problema 2.10)
gsim c:
H(S)=1,9bii/simbol
( )
H S2 = 2H(S) = 3,8 bii/simbol

De unde:
c1 =
(3.3.3)
H(S)
= 97,63%
L1
(3.3.4)
( )
H S2
H(S) 2L1
2L
=
= c1 1 = 99,22%
L2
L1 L 2
L2
Cum 2L1>L2 c1 > c2
c 2 =
(3.3.5)
3.4. Fie sursa de informaie text (inclusiv pauzele):

"TEORIA TRANSMITERII INFORMATIEI ."
a) S se afle tabloul sursei;
b) S se codeze cu un cod optimal prin algoritmul Huffman;
c) S se calculeze eficiena codrii i factorul de compresie fa de o codare bloc;
d) S se construiasc graful de codare.
Rspuns:
a)
A
S= 3
32
E
3
32
F
1
32
I
7
32
M
2
32
N
2
32
O
2
32
b)
A
E
F
I
M
N
000
1111
11100
01
0011
0010
0
R
S
T
_
.
1001
110
111011
101
1000
111010
c)
c = 98,925%
F=1,185
31
R
4
32
S
1
32
T
4
32
_
2
32
.
1
32
d)
0
0
A
1
1
0
N
1
M
1
1
0
0
T
O
0
R
00
1
F
0
.
3.5. O surs de informaie discret i fr memorie, avnd redundana relativ

, a fost codat cu un cod binar cu eficiene c.
tiind c:
c+
=1
i cunoscnd lungimea medie a cuvintelor codului bloc L=5 bii/simbol aflai
numrul de simboluri ale sursei.
Rspuns: N=32
3.6. Sursa de informaie, fr memorie, constituit din simbolurile A, C, D, E, I,

N, R, cu p(A)=0,28, p(C)=0,14, p(D)=0,05, p(E)=0,18, p(I)=0,16, p(N)=0,06 se
codeaz cu un cod binar prin algoritmul Huffman static. Care este lungimea
secvenei binare ataate mesajului "CRIN" ?
Rspuns: 13 bii
3.7. O surs de informaie echiprobabil cu 50 simboluri se codeaz cu un cod

binar bloc de eficien maxim posibil (codare pe simbol). Ct este eficiena
codrii?
Rspuns: c =
50
log 2 50 = 98,67%
286
32
3.8. Sursa text (fr pauze):

VINE EA SI VACANTA
ordonat alfabetic, se codeaz cu un cod binar (cod binar natural). Considernd
ieirea codorului drept o surs binar secundar, cu ct este egal entropia
acestei surse secundare (considerat i ea fr memorie)?
Rezolvare:
Tabloul simboluri probabiliti este:
I N S T V
A C E
2 2 2 1 1 2
S= 4 1
15 15 15 15 15 15 15 15
(3.8.1)
iar codul binar bloc cerut:

A
C
E
I
N
S
T
V
000
001
010
011
100
101
110
111
(3.8.2)
Probabilitatea ca sursa secundar s emit un zero se calculeaz cu relaia:

N
p(0E ) = pi
i =1
m 0i
m
(3.8.3)
unde: N=8 - numrul de simboluri al sursei primare;

pi
i = 1.N -probabilitile simbolurilor sursei primare;
m=3 lungimea cuvintelor codului;
m0i - numrul de zerouri din componena cuvntului i.
n mod analog:
N
m
p(1E ) = 1 p(0E ) = pi 1i
m
i =1
(3.8.4)
Efectund calculele, gsim c:
1
(3 4 + 2 1 + 2 2 + 1 2 + 2 2 + 1 1 + 1 1) = 26
45
45
1
19
p(1E ) =
(1 1 + 1 2 + 2 2 + 1 2 + 2 1 + 2 1 + 3 2) =
45
45
p(0E ) =
astfel tabloul sursei secundare este:
33
(3.8.5)
1
0
S' =
26 / 45 19 / 45
iar entropia:
()
H S' =
(3.8.6)
26
45 19
45
log 2
+ log 2
= 0,9825 bii/simbol
45
26 45
19
(3.8.6)
3.9. Folosind algoritmul LZ-77 gsii:

a) rezultatul compresiei mesajului: aaabcbaabcc...;
b) mesajul iniial, dac rezultatul compresiei a fost 00c00b73c72b640;
Lungimile blocurilor Lempel respectiv Ziv sunt 8 i 4.
Rezolvare:
a) Diagrama de mai jos prezint iterat codarea LZ 77 asupra mesajului dat:
5 6
9 10
a
a
a a
a
a a a b c
b
a a a b c b
a
a a a b c b a a
b
Rezultatul comprimrii este 00a82b00c71a43c...
11
a
b
a
a
c
12
b
c
a
b
c
S L
0
0
8
2
0
0
7
1
4
3
A
a
b
c
a
c
S L
0
0
0
0
7
3
7
2
6
4
A
c
b
c
b
0
b) Decodarea mesajului comprimat se poate urmri cu ajutorul diagramei:

1
c
b
b
c
5 6
c
c
b
c
7
c
c
c
8
c
b
c
b
9 10
c
b
c
b
c
c
c
c
11
12
c
b
b
c
c
Aadar, mesajul iniial este: cbcbccccbccbc... .
3.10. Comprimai mesajul: aaabcca... utiliznd algoritmul Huffman dinamic.

Ct este factorul de compresie?
Rezolvare:
Vom prezenta evoluia arborelui (grafului) asociat codului n timpul codrii mesajului dat:
34
1.Arbore iniial:
2. S-a codat "a":
1
3
simbol
codul:
mesaj: a
0
1
mesaj: --
0
a
1
0
cuvnt
de cod
0
1
Obs: Semnificaia notaiilor este:

-pentru nod:
- x: numr de ordine (crete de la stnga ctre dreapta i de jos n sus pe linii);

- p: ponderea cumulat din nodurile aferente.
- pentru frunz (nod terminal):
- x: numr de ordine;
- p: pondere (numr de apariii ale respectivului simbol);
- y: simbolul.
Frunza goal, notat cu "0", este de pondere 0.
- pentru ramur: - spre stnga codare cu zero;
- spre dreapta codare (atribuire) cu unu.
3.S-a codat "aa"
mesaj: a1
codul: 0
0
a
1
3 2
0
1 0
5.S-a codat "aaab"

mesaj: a110b
codul: 0
00
a
1
b
01
2 2
5 4
0
3 1
0
4.S-a codat "aaa"

mesaj: a11
codul: 0
0
1
a
1
4 3
3 3
0
1 0
a
6.S-a codat "aaabc"
mesaj: a110b00c
codul: 0
000
a
1
b
01
c
001
a
2 1
35
01
6 3
1
3 1
5 2
0
2 3
7 5
1
0
4 1
1
2 1
7.S-a codat "aaabcc"

mesaj: a110b00c001
codul: 0
000
a
1
b
001
c
01
5 3
0
6 3 a
1
3 2
4 1
0
1 0
7 6
7 6
5 3
Schimb
ntre
2 2
4 2
8.S-a codat "aaabcca"

mesaj: a110b00c0011
codul: 0
000
a
1
b
001
c
01
10
3 1
1
0
6 3
nodurile
2 i 4
2 1
7 7
5 3
0
1 0
3 1
0
6 4
4 2
1
0
2 1
Obs.: la pasul 7 s-a produs un schimb ntre nodurile 2 i 4 deoarece ponderea primului era mai
mare (2 > 1), conform regulii care spune c un nod cu numr de ordine mai mic i pondere mai
mare dect un altul va face schimb de poziie n arbore cu acesta din urm.
Considernd caracterele n mesajul iniial codate pe 8 bii, lungimea acestuia este:
Li=78=56 bii
(3.10.1)
Mesajul comprimat (a110b00c0011) are:

L2=83+9=33 bii
(3.10.2)
Rezult un factor de compresie:
36
F=
L1
1,7
L2
(3.10.3)
3.11. Fie mesajul "aacacabcabdabadabc". S se comprime mesajul dat prin

aplicarea algoritmului:
a) LZ 77;
b) Huffman dinamic;
c) Huffman static, presupunnd mesajul dat o SDFM text.
d) Calculai n fiecare caz factorul de compesie fa de o codare bloc pe opt bii a
mesajului iniial.
Rezolvare:
a) Recodarea aferent algoritmului LZ77 este prezentat n diagrama urmtoare:
1
a
b
a
c
c
a
a
a
c
b
b
5 6
a
c
d
a
c
a
a
7
a
a
b
b
8
a
c
b
d
a
9 10
a
a
a
c
a
c
c
a
a
b
d
a
11
c
a
a
b
a
b
12
a
c
b
d
d
c
S L
0
0
8
1
7
3
6
3
3
2
5
3
Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime:

L1=123+68=84 bii
b)
(3.11.1)
1.
3
0
2.
mesaj codat: "a"

mesaj transmis: "a"
cod: 0
0
a
1
1
1
1 0 0 2 1 a
3
0
mesaj codat: "aa"

mesaj transmis: "a1"
cod: 0
0
a
1
1 0 0 2 2 a
37
A
a
c
b
d
a
c
3.
5
mesaj codat: "aac"

mesaj transmis: "a10c"
cod: 0
00
a
1
c
01
3 1
4 2 a
1 0 0 2 1 c
(4. 5. 6.) 7.
mesaj codat "aacacab"
mesaj transmis "a10c101100b"
cod 0
00
a
1
b
001
c
01
7 7
0
7 3 a8 4
0
5 1 b 6 2
0
1 0
4 1
(8. 9. 10.) 11.

9 11
9 11
0
7 6
0
1 0
7 5 a 8 6
6 3
4 2
6 3 c
1
3 1
1
2 1
5 3
3 1
8 5
5 3
0
4 2
1
0 0 12 1 d
38
mesaj codat: "aacacabcabd"

mesaj transmis: "a10c101100b011001000d"
cod: 0
1000
a
0
b
101
c
01
(12.) 13.
cod: 0
1100
a
0
b
111
c
10
d
1101
9 13
0
7 6 a 8 7
0
5 3 c 6 4
0
3 1
4 3
1 0 0 2 1 d
(14. 15. 16. 17.) 18.

9 18
0

cod: 0
1100
a
0
b
10
c
111
d
1101
7 8 a 8 10
0
5 4 b 6 6
0
3 2
0
4 4
1 0 0 2 2 d
39
Lungimea rezultat a mesajului transmis este:

L2=48+33=65 bii
(3.11.2)
c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa:
b
c d
a
4 4 2
S= 8
18 18 18 18
asupra creia putem aplica algoritmul:
a
b
c
d
8
4
4
2
0
10
111
110
8
6
4
0
11
10
10
8
1
0
Cu ajutorul codului obinut mesajul se transmite prin secvena binar:

"001110111010111010"
L3=34 bii
(3.11.3)
d) Dac mesajul iniial este codat bloc pe 8 bii lungimea secvenei binare codate este:
L0=188=144 bii
(3.11.4)
Cu rezultatele coninute n relaiile (3.11.1, 2, 3 i 4) gsim pentru factorii de compresie valorile:

144
= 1,7143
84
144
=
= 2,2154 = 1,3F1
65
144
=
= 4,2353 = 2,47 F1
34
F1 =
F2
F3
(3.11.5)
40
Canale
Cap.4 Canale de transmisie

Dicionar:
- canal (de transmisie) - cale (mediu fizic) de transmisie prin care circul infpormaia ntre emitor (surs) i
receptor (utilizator);
- cmp (corp) - o mulime K de elemente care satisfac urmtoarele axiome:
1. - pe K sunt definite dou operaii: adunarea i nmulirea;
2. - n raport cu adunarea K formeaz un grup abelian cu elementul nul 0;
3. - K \ {0} formeaz grup abelian pentru nmulire;
4. - nmulirea este distributiv fa de adunare;
- echivoc - 1. suspect, ndoielnic; 2.echivocaie- msur a efectului perturbaiilor asupra comunicaiilor prin canale;
- capacitate valoarea maxim pe care poate s o aib un parametru al unui sistem, parametru ce indic performane de
nmagazinare, transport sau prelucrare.
Definiii:
1. - transferul informaiei ntre cmpul de intrare X, cel de ieire Y i canal C:
Informaia ce o adaug
canalul, n medie,
fiecrui simbol binar
Cmp
intrare
X
H(X)
H(Y/X)
I(X,Y)
H(Y)
CANAL
Informaia, n medie, ce
intr n canal printr-un
simbol binar
H(X/Y)
Informaia ce o pierde
n canal, n medie, un
simbol binar
Cmp
ieire
Y
Informaia ce iese,
n medie, din canal
printr-un simbol
binar
Informaia ce
traverseaz
canalul, n medie,
cu un simbol binar
2. - Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=Hmax;
- Debitul de decizie D - cantitatea de decizie generat n unitatea de timp;
- Debitul de momente M - numrul de momente transmise n unitatea de timp;

- Baud (Bd) - unitatea de msur a debitului de momente;
- Moment - semnal elementar purttor de informaie de durat TM.
Notaii:
x0=0E , x1=1E - simbolurile emisibile n canalul binar;
X={x0 , x1} - cmpul de la intrare n canal;
y0=0R , y1=1R - simbolurile recepionabile din canalul binar;
Y={y0 , y1} - cmpul de la ieirea din canal;
p(xi) - probabilitatea de a emite n canal xi;
p(yj) - probabilitatea de a recepiona din canal yj;
P(Y/X) - matricea de tranziie=[p(yj / xi)]22;
p(yj /xi) probabilitatea (apriori) de a se recepiona yj cnd a fost emis xi;
P(X,Y) =[ p(xi, yj)]22;
41
Canale
p(xi, yj) - probabilitatea de a se fi emis xi i a se recepiona yj;
P(X/Y) =[ p(xi/yj)]22;
p(xi/yj) - probabilitatea (aposteriorii) de a se fi emis xi cnd s-a recepionat yj;
- raport semnal-zgomot.
Abrevieri:
RSZ (SNR) - Raport Semnal pe Zgomot (Signal to Noise Ratio);

CBS - Canal Binar Simetric;
BER - Bit Error Rate (rata erorii).
Breviar teoretic:
1. Relaii ntre matrici
0
p(0 )

P(X, Y ) = E
P(Y / X ) =
p(1E )

0
p(0 R ) = +
p(1R ) = +
(4.1)
(4.2)
0
p(0 )
P(X / Y ) = P(X, Y ) R
1
0
p(1R )
2. Entropii condiionate
- eroarea medie H(Y / X ) =
- echivocaia H(X / Y ) =
p(x i , y j ) log2 p(y
i = 0 j= 0
1 1
p(xi , y j ) log2 p(x
i = 0 j= 0
- transinformaia
I(X, Y ) =
p x i , y j log 2
i = 0 j= 0
(4.3)
p xi , y j
1
;
/
x
j i
1
;
i / yj
( )
p(x i )p y j
pi
- continuu C = D max = M max log 2 m max = B log 2 (1 + )
unde: M max = 2B - (canal ideal); M max =
5
B (canal real)
4
m max = 1 +
4. Redundana i eficiena canalului
R C = C I(X, Y ) - redundana absolut
I(X, Y )
- redundana relativ
c = 1
C
I(X, Y )
- eficiena
c =
C
42
(4.5)
= H(X ) H(X / Y ) = H(Y ) H(Y / X )

3. Capacitatea canalului
- discret C = max I(X, Y ) (bii/simbol)
(4.4)
(4.6)
(4.7)
(4.8)
(4.9)
(4.10)
(4.11)
(4.12)
(4.13)
Canale
4.1. Fie secvena binar:

(4.1.1)
i0=100101011100011100100110
generat de o SDFM echiprobabil, X. n vederea transmiterii dibiii din
secvena i0 se codez prin:
00
01
10
11
S00(t)= -3V
S01(t)= -1V
S10(t)= 1V
S11(t)= 3V
[0,TM]
t
[0,TM]
t
[0,TM]
t
[0,TM]
t
s
cu TM=250
(4.1.2)
Se cere:
a) S se calculeze entropia i eficiena sursei X; (H(X), X)
b) Debitul de informaie al sursei X dac codarea (4.1.2) se face n timp real; ( X )

c) Cantitatea de decizie corespunztoare unui moment (moment = un semnal
dintre S00, S01, S10 sau S11); (D)
d) Debitul de momente; ( M )
e) Ce debit de informaie (n bii/sec) corespunde n acest caz unui Baud? (1Bd)
f) S se reprezinte grafic semnalul S(t): suport al informaiei i0.
Rezolvare:
a) Probabilitile de emisie (generare) a mesjelor binare 0 i 1 fiind egale:
p(0)=p(1)=1/2
(4.1.3)
rezult pentru entropie i eficiena sursei valorile:

H(X)=1 bit/simbol
=100%
(4.1.4)
b) Prin definiie:
H(X )
x
X=
(4.1.5)
unde x este timpul n care se transmite (genereaz) un simbol binar de ctre sursa X. tiind c dou
simboluri (un dibit) au o durat de transmitere, respectiv genereare (n timp real), de TM=250s
rezult pentru x valoarea:
x =
1
TM = 125s
2
(4.1.6)
i ca atare:
X=
1 bit/simbol
= 8 kbiti/sec
125 s
(4.1.7)
43
Canale
c) Conform definiiei:
D=log2m=2 bii
(4.1.8)
unde m=4 reprezint numrul de nivele de tensiune corespunztoare dibiilor (relaia (4.1.2)).
d) Debitul de momente M este numrul de semnale elementare (S00, S01, S10 sau S11) pe unitatea de
timp:
M=
1
1
=
= 4000 Bd
TM 250 10 6
(4.1.9)
e) Cum debitul de informaie este X = 8000 bii/sec, corespunde la viteza de modulaie (debitul de
momente) M = 4000 Bd , rezult pentru fiecare Baud cte 2 bii de informaie.

f) Secvena binar dat va avea suport fizic urmtoarea succesiune de semnale elementare:
S10S01S01S01S11S00S01S11S00S10S01S10
(4.1.10)
care formeaz semnalul:

[V]
S[t]
3
2
1
0
-1
-2
-3
10
11
4.2. Presupunnd semnalul ternar din figur:

[V]
S[t]
+1
0
10
12
14
-1
suportul fizic al unei informaii, s se afle:
a) Viteza de modulaie M (debitul de momente);
44
t/5s
12
t/TM
Canale
b) Cantitatea de informaie maxim ce se poate transmite printr-un simbol

ternar;
c) Debitul de informaie ce rezult dac semnalul S(t) a fost obinut prin
modularea (codarea) unei secvene binare echiprobabile, n timp real, utiliznd
codul:
11
0
10
S+(t)= +1V
S0t)= 0V
S-(t)= -1V
[0,TM]
t
[0,TM]
t
[0,TM]
t
(4.2.1)
d) Debitul maxim de informaie ce poate fi obinut printr-o codare adecvat

utiliznd : - un semnal ternar;
- un semnal binar;
- un semnal cuaternar.
n toate cazurile se va considera aceeai vitez de modulaie.
Rspuns:
1
= 105 simbol ternar / sec = 105 Baud
TM
b) D=log23=1,585 (bii)
a) M =
c)
p(S+ ) = p + = p(1) p(1) =
1
2
1
p(S ) =
4
p(S0 ) =
DS =
1
;
4
1
1
H(S) = 2 log 2 4 + log 2 2 = 1 bit/simb.ternar

4
2
H(S)
= 105 biti/sec < D M = 1,585 105 bii/sec
TM
d)
Semnal
binar
ternar
cuaternar
1 bit inf. / sg. binar

1,585 bii informaie / sg. ternar
2 bii informaie / sg. cuaternar
X [bii / sec]
1/TM
1,585/TM
2/TM
D - cantitatea maxim de informaie ce se poate nmagazina ntr-un semnal elementar de durat TM;
X - debitul maxim de informaie relativ la TM [sec].
45
Canale
4.3. Sursa de informaie fr memorie constituit din caracterele echiprobabile

A, C, D, E, I, N, R se codeaz cu un cod binar bloc (transpunere zecimal binar
a numrului de ordine; fr cuvntul de pondere zero), apoi se cupleaz la un
canal de transmisie binar simetric avnd rata erorii egal cu 0,1. Calculai:
a) entropia i eficiena sursei; (H(S) S)
c)
b) eficiena codrii; (
c) entropia cmpului de la intrarea n canal; (H(X))
d) matricea de tranziie i eroarea medie; (P(Y/X), H(Y/X))
e) cmpul de la ieirea din canal i entropia sa; (Y, H(Y))
f) echivocaia i transinformaia; (H(X/Y), I(X,Y))
g) capacitatea canalului; (C)
h) probabilitatea ca sursa s fi emis mesajul DAC atunci cnd s-a recepionat
mesajul RAC. (p(DACE/RACR))
Rezolvare:
a) Sursa fiind echiprobabil:
H(S) = H max = log 2 7 2,8 bii/simbol
S=100%
(4.3.1)
b) Conform cerinelor problemei codul binar bloc este:

A
C
D
E
I
N
R
001
010
011
100
101
110
111
i are lungimea medie a cuvintelor de cod:

L=3 bii/simbol
(4.3.2)
Pentru eficien rezult valoarea:

c =
H(S)
= 93,58%
L
(4.3.3)
c) Cmpul de la intrarea n canal conine dou simboluri binare ce pot fi emise n canal cu
probabilitile:
7
k
1 7
9
3
p(0E ) = p(Si ) 0i = k 0i =
=
3
21 i =1
21 7
i =1
7
k
1 7
12 4
p(1E ) = p(Si ) 1i = k1i =
=
3
21 i =1
21 7
i =1
46
(4.3.4)
Canale
Astfel, tabloul sursei binare (secundare) ce emite n canal este:
i are entropia:
1E
0
X = E
3/ 7 4 / 7
H(X ) =
(4.3.5)
3
7 4
7
log 2 + log 2 = 0,9852281 bii/simbol
7
3 7
4
(4.3.6)
Obs.: n fapt, sursa secundar X este cu memorie. Pentru a argumenta acest lucru, este suficient s
considerm sursa X fr memorie i s calculm probabilitatea de a emite A:
36 1
p(A ) = p(001E ) = p(0 E ) p(0 E ) p(1E ) =
49 7
care difer de p(A)=1/7, dat de echiprobabilitatea sursei primare.
d) Canalul fiind binar simetric i cunoscnd rata erorii p=0,1 matricea de tranziie are forma:
p(0 / 0 ) p(1R / 0E ) 0E
P(Y / X ) = R E
=
p(0R / 1E ) p(1R / 1E ) 1E
0 R 1R
p 0E
1 p
p 1 p = 1
0 R 1R
0,9 0,1
0,1 0,9 (4.3.7)
Eroarea medie este "informaia" medie, pe simbol binar, ce sosete la recepie i nu provine de la
emisie ci din canal:
H(Y / X ) =
p(x i , y j ) log2 p(y
i = 0 j= 0
1
j / xi
(4.3.8)
unde: - p(yj/xi) = probabilitatea ca la recepie s soseasc yj dac la emisie a fost transmis xi;
probabilitile de genul p(yj/xi) sunt coninute n matricea P(Y/X) dat de relaia (7).
- p(xi , yj ) = probabilitatea de a se emite xi i a se recepiona yj;
Aceste probabiliti formeaz o matrice de forma P(X,Y) i se calculeaz cu ajutorul relaiei lui
Bayes:
i,j=0,
(4.3.9)
p(xi , yj )=p(xi) p(yj/xi)
sau:
0
p(x )
P(X, Y ) = 0
P(Y / X )
p(x1 )
0
(4.3.10)
xi , yj cu i,j=0, 1 sunt notaiile alternative pentru 0E, 1E respectiv 0R, 1R folosite pentru a scrie
relaiile compact:
x 0 = 0E
x1 = 1E
0R = y 0
1R = y1
(4.3.11)
Obs.: Dei att cmpul de la intrare ct i cmpul de la ieire conin aceleai dou simboluri
binare 0 i 1, sunt necesare notaii distincte pentru a putea fi distinse n diferitele relaii
matematice.
47
Canale
nlocuind rezultatele din (4.3.4) i (4.3.7) n (4.3.10) gsim c:
2,7
P(X, Y ) = 7
0,4
0,3
7
3,6
(4.3.12)
Dispunem acum de toate probabilitile cerute de (4.3.8) pentru a putea calcula eroarea medie:
2,7
0,3
0,4
3,6
log 2 0,9
log 2 0,1
log 2 0,1
log 2 0,9 =
7
7
7
7
= 0,9 log 2 0,9 0,1log 2 0,1 = 0,4689955 biti/simbol binar
H(Y / X ) =
(4.3.13)
e) Probabilitile simbolurilor de la ieirea din canal, 0R i 1R se afl cu ajutorul formulelor:

p(0R ) = p(y0 ) = p(x 0 , y0 ) + p(x1, y0 ) = p(0E ,0R ) + p(1E ,0R )
p(1R ) = p(y1 ) = p(x 0 , y1 ) + p(x1, y1 ) = p(0 E ,1R ) + p(1E ,1R )
(4.3.14)
sau compact:
[p(0 r ) p(1R )] = [1 1] P(X, Y ) = 3,1

7
3,9
7
(4.3.15)
Sursa binar echivalent ieirii canalului este:

0R
Y = 3,1
7
1R
3,9
(4.3.16
i are entropia:
3,1
7 3,9
7
3,1
3,9
log 2
log 2
log 2 3,9
+
= log 2 7 log 2 3,1
7
3,1 7
3,9
7
7
=0,990577bii/simbol binar
(4.3.17)
H(Y ) =
f) Echivocaia, notat H(X/Y), este cantitatea medie de informaie pe un simbol binar ce este
pierdut de acesta (simbolul binar) n canal:
H(X / Y ) =
p(xi , y j ) log2 p(x
i = 0 j= 0
1
i / yj
(4.3.18)
Calculnd probabilitile aposteriori p(xi/yj) cu relaia:

p(0 / 0 )
P(X / Y ) = E R
p(1E / 0 R )
1
p(0 )
p(0 E / 1E )
P
X
,
Y
=
(
)
R
p(1E / 1R )
0
48
0
=
1
p(1R )
Canale
2,7
= 7
0,4
0,3 7
0 27 1
7 3,1
= 31 31
3,6
7
4 12
0
7
3,9 31 13
(4.3.19)
Se gsete valoarea echivocaiei:

2,7
31 0,3
0,4
31 3,6
13
log 2
log 2 13 +
log 2
log 2
+
+
7
27 7
7
4
7
12
=0,463666 bii/simbol binar
H(X / Y ) =
(4.3.20)
Transinformaia I(X,Y) se poate afla utiliznd egalitile:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)
(4.3.21)
Utiliznd (4.3.6) i (4.3.20) gsim valoarea:

I(X,Y)=0,521562 bii / simbol binar
(4.3.22)
Valoare ce se gsete i folosind rezultatele din (4.3.13) i (4.3.17).

Obs.: - utilizarea relaiilor necesare n rezolvarea problemelor de tipul prezentei implic calcule
matematice voluminoase. Pentru a obine rezultate bune este de preferat s nu se fac aproximri
n calculele intermediare, obtnd pentru varianta memorrii lor cu ajutorul unitii de calcul. O
bun verificare a rezultatelor gsite se poate face cu ajutorul relaiei (4.3.21).
g) Capacitatea canalului binar simetric se calculeaz cu formula:
C = 1 + p log 2 p + (1 p )log 2 (1 p )
(4.3.23)
i, n cazul de fa pentru p=0,1, este:

C=0,531004bii/simbol
(4.3.24)
Obs.: - capacitatea canalului, conform definiiei, este maximul transinformaiei. Rezultatul (4.3.24)
se poate regsi fcnd n (4.3.21) H(Y)=1.
h) Probabilitatea de a se fi emis "DAC" atunci cnd s-a recepionat "RAC" este identic cu
probabilitatea de a se fi emis secvena binar "011 001 010" atunci cnd s-a recepiopnat "111 001
010":
p(DACE / RACR ) = p(011001010E / 111001010 R ) =
= p(0E / 0R )4 p(0E / 1R ) p(1E / 1R )4 =
4
27 1 12
= 3,2%
31 13 13
49
(4.3.25)
Canale
Obs.: - n ultima relaie, (4.3.25), s-a fcut presupunerea c transmisia unui simbol binar este
independent de a celorlalte.
4.4. Sursa text (discret i fr memorie):

"TEORIA TRANSMISIUNII INFORMATIEI"
se codeaz binar bloc (ordonare alfabetic, pauza la sfrit, cod binar natural) i
se cupleaz la un canal de transmisie binar. Cunoscnd c p(0R / 0E ) = 0,9 i
p(0R / 1E ) = 0,2 s se afle:
a) matricea de tranziie a canalului; (P(Y/X))
b) codul binar bloc;
c) probabilitatea ca sursa s emit mesajul METEOR;
d) probabilitatea de a se fi recepionat TEN dac s-a emis TEO;
e) probabilitatea de a se fi emis MAR dac s-a recepionat MAT;
f) entropiile cmpurilor de intrare i ieire; (H(X), H(Y))
g) eroarea medie i echivocaia; (H(Y/X), H(X/Y))
h) transinformaia i capacitatea canalului; (I(X,Y), C)
Rspuns:
a)
P(Y / X ) =
0E
1E
b)
A
E
F
I
M
N
O
R
S
T
U
_
3/32
2/32
1/32
8/32
2/32
3/32
2/32
3/32
2/32
3/32
1/32
2/32
0 R 1R
0,9 0,1
0,2 0,8
0000
0001
0010
0011
0100
0101
0110
0111
1000
1001
1010
1011
2 23 2 23
c)
p(METEOR E ) =
d)
= p(0R / 0E )6 p(0R / 1E ) p(1R / 0E ) p(1R / 1E )4 = 0,96 0,2 0,1 0,84 = 0,435%

9
7
,
p(0E ) =
p(1E ) =
16
16
e)
= 1,34 10 7
32
p(TEN R / TEO E ) = p(1001 0001 0101R / 1001 0001 1001E ) =
n ipoteza c sursa secundar {0E,1E} este fr memorie.

50
Canale
0 R 1R
P(X, Y ) =
p(0R ) =
0E
1E
9,5
16
8,1
16
1,4
16
0,9
16
5,6
16
p(1R ) =
6,5
16
0 R 1R
P(X / Y ) =
0E
1E
81
95
14
95
9
65
56
65
p(MAR E / MATR ) = p(0E / 0R )7 p(0E / 1R ) p(1E / 0R )2 p(1E / 1R )3 =

7
81 9 14 56
= = 0,63 103
95 65 95 65
f)
H(X)=0,988699408 bii/simbol binar

H(Y)= 0,974489403 bii /Simbol binar
g)
H(Y/X)=0,579653563 bii/simbol binar

H(X/Y)= 0,593863568 bii /Simbol binar
h)
I(X,Y)=0,39483584 bii/simbol binar

C= 0,420346437 bii/simbol binar
4.5. Sursa text ANTENA RECEPTOARE codat binar bloc (ordonare alfabetic
+CBN) se cupleaz la un canal de transmisiune binar avnd matricea de
tranziie:
0,9 0,1
P=
0,2 0,8
a) S se afle tabloul sursei primare S;

b) S se afle tabloul sursei secundare X, ce emite n canal, considerndu-se c
este SDFM;
c) Considernd c S' este sursa avnd aceleai simboluri ca i S dar cu
probabiliti cele de recepionare a mesajelor, s se afle tabloul sursei S;
d) Ct sunt probabilitile:
p(CAPE) - de a se emite mesajul CAP;
p(CAPR) - de a se recepiona mesajul CAP;
p(CAPR /CAPE) - de a se recepiona mesajul CAP dac acesta a fost
emis;
p(CAPE /CAPR) - de a se fi emis mesajul CAP dac acesta a fost
recepionat?
51
Canale
Rezolvare:
a) Tabloul sursei primare S este:
AE
S= 3
16
CE
1
16
EE
4
16
NE
2
16
OE
1
16
PE
1
16
RE
2
16
TE
2
16
(4.5.1)
Obs.: Indicele "E" se refer la emisie.

Codul bloc este:
A
C
E
N
000
001
010
011
O
P
R
T
100
101
110
111
(4.5.2)
b) Utiliznd relaiile (4.3.4) aflm c:

13
24
p(0 E ) =
p(1E ) =
11
24
4.5.3)
c) Pentru a afla probabilitile simbolurilor recepionabile se utilizeaz formula probabilitii totale

(1.5). De exemplu, pentru calculul probabilitii de a recepiona A, se folosete relaia:
unde:
p(A R ) = p(A E ) p(A R / A E ) + p(C E ) p(A R / VE ) +

! + p(TE ) p(A R / TE )
(4.5.4)
p(A R / A E ) = p(000 R / 000 E ) = p(0 R / 0 E )3 = 0,9 3
(4.5.5)
Folosind relaiile de forma (4.5.4) i (4.5.5) se calculeaz probabilitile de recepionare pentru toate
cele 8 simboluri. Aceste calcule sunt indicate n tabelul de mai jos:
Probabilitate
simbol 16
Simbol
A
3
A
9 2
9 2 1
9 2 1
92 8
921
9 12
O
2
3355
22 8
1485
3515
218
22 8
288
981
982
8 22
1485
821
82 2
1075
981
9 82
821
9 82
82 2
1845
8 12
82 1
82 1
83
1395
92
928
9 2
921
92
928
982
921
918
92 8
981
9 82
2 12
2 2 1
218
9 2 1
912
912
9 12
981
92 8
981
9 12
2 12
2 12
981
2 2 1
821
821
13
8 12
8 12
82 1
Tabloul sursei S' va fi:
52
16.000
23
9 2
921
92
2 2 1
982
1845
Canale
C
A
3
.
355
1485
S =
16000 16000
'
E
N
3515 1845
16000 16000
O
P
1485
1075
16000 16000
R
T
1845 1395 (4.5.6)
16000 16000
Obs.: comparnd (4.5.1) cu (4.5.6) se observ c A, C, O i P sunt mai probabile la recepie dect
la emisie n vreme ce probabilitile simbolurilor E, N, R i T au sczut, n probabilitate, la recepie
fa de emisie.
d) Probabilitile cerute sunt:
p(CAPE ) =
p(CAPR ) =
3
3
= 0,7 10 3
16
5,3558
16
= 1,3 10 3
p(CAPR / CAPE ) = p(001000101R / 001000101E ) = 0,9 6 0,83 = 272 10 3

6
117 88
3
p(CAPE / CAPR ) = p(001000101E / 001000101R ) =

= 235 10
139 101
unde: p(0E/0R) i p(1E/1R) s-au calculat cu relaiile (4.1, 2 i 3):
11,7 1,3
P(X, Y ) = 24 24
2,2 8,8
24 24
13,9
10,1
p(0 R ) =
p(1R ) =
24
24
117 13
P(X / Y ) = 139 101

22 88
139 101
Obs.: Calculul probabilitilor p(0R) i p(1R) se poate face i cu relaii de forma (4.3.4), rezultnd
aceleai valori.
4.6. Care este durata transmiterii unei imagini alb-negru format din N=106
pixeli printr-un canal:
a) telefonic cu banda cuprins ntre 300-3400 Hz;
b) video cu banda 12 MHz;
c) optic (fibr optic) cu banda de 1 GHz;
Intensitatea fiecrui pixel se cuantizeaz pe 128 nivele, iar raportul semnalzgomotul se consider cel minim necesar.
Rezolvare:
53
Canale
Informaia coninut ntr-o imagine, necesar a fi transmis, este:
Iim = N i pixel = 106 log 2 128 = 7 106 bii/imagine
(4.6.1)
La 128 de nivele de cuantizare este necesar un raport semnal-zgomot minim:

(128)2 = 214
(4.6.2)
pentru care rezult capacitile canalelor:

CT = BT log 2 (1 + ) = 3,1 103 14 = 43,4 kbii/sec
C V = B V log 2 (1 + ) = 12 10 6 14 = 168 Mbii/sec
C O = B O log 2 (1 + ) = 10 6 14 = 14 Gbii/sec
(4.6.3)
Dac transmisiile s-ar face la aceste capaciti (debite de informaie) rezult timpii de transmisie:
I
t T = im = 161,3 sec
CT
I
t V = im = 41,7 ms
CV
I
t O = im = 0,5 ms
CO
(4.6.4)
4.7. La ce raport semnal-zgomot minim s-ar putea transmite, n cele trei cazuri
din problema anterioar, imaginile cu viteza necesar de 25 imagini/sec?
Rezolvare:
Capacitatea cerut fiecrui canal este:
C=
Iimag
imag
= 25 Iimag / 1 sec = 175 Mbii/sec
(4.7.1)
Aceast capacitate se poate obine la un raport semnal/zgomot:

= 2C / B 1 sau (dac C>>B): dB = 3
Cunoscnd n fiecare caz banda disponibil avem c:
T
dB 3
175 106
3,1 103
= 169355 dB
54
C
B
(4.7.2)
Canale
V
dB
175 106
12 106
= 43,75 dB
(4.7.3)
O = 20,175 1 = 0,129 sau O
dB 9dB
Obs.: Evident c un raport semnal-zgomot de 169355 dB este un rspuns non sens pentru practic.
4.8. Reprezentai secvena de date prezentat n figura de mai jos, pe rnd n

codurile NRZ, RZ, AMI i HDB3. Calculai componenta medie, n fiecare caz,
lund valoarea vrf la vrf a semnalului A.
1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1
Tb
Rspuns:
RZ
AMI
HDB3
NRZ
Component medie: NRZ - 11/25 A RZ - 11/50 A
AMI - O
HDB3 - 1/50 A
4.9. Desenai semnalele de linie n cod HDB3 pentru urmtoarele secvene de

date:
a) 10100100000000011110;
b) 00010010000100001001;
c) 10000110000011000011;
55
Canale
4.10. Care va fi semnalul de linie (L) dac la intrarea cifratorului din figur:
C3
C2
C1
+
i
+
se aduce semnalul:
i=11101000000110000111...
1
Starea iniial a RDR este S0 = 0 .
0
Rspuns: 01010001011010101001.
56
LUCRARI DE
LABORATOR
COBSINF
Codarea binar a surselor de informaie

Lucrarea de fa i propune explicitarea algoritmilor de calcul pentru a coda binar surse de
informaie ntlnite n practic.
Codarea binar a surselor de informaie are dublu rol, de mrire a eficienei sursei de
informaie (i implicit de micorare a costului transmisiei prin scderea timpului transmisiei); de
adaptare a sursei de informaie la canalul transmisiune (canal binar, n majoritate).
Din punct de vedere al codrii, la o surs de informaie intereseaz numrul de simboluri N i
probabilitile lor de apariie pi , i = 1, N . Doar pe utilizator l intereseaz ce reprezint fiecare
mesaj n parte (liter de alfabet, nivel al intensitii pixelilor dintr-o imagine, valori ale unor mrimi
fizice ce variaz arbitrar1).
Codarea este operaia prin care fiecrui simbol al sursei, si, i se aloc o succesiune binar
unic:
ri1 , ri2 , ... rili = ci
si
(1)
unde ci reprezint cuvntul de cod asociat simbolului (mesajului) sursei, iar rij , cu i = 1, N , biii
componeni ai cuvntului de cod (pot lua valori binare 1 sau 0). Suportul fizic al valorilor
binare este, de asemenea, mai puin important pentru codare. Acest suport poate fi un semnal
electric, optic, acustic, etc.
n expresia (1) li reprezint lungimea cuvntului de cod ci (numr de simboluri binare).
Lungimea medie a cuvintelor de cod este dat de relaia:
N
L=
li
(2)
i =1
Ieirea codorului, pentru canalul de transmisie, reprezint o surs de informaie numit

secundar. Aceast surs poate genera simbolurile 0 i 1. Entropia (informaia medie pe simbol),
entropia maxim, precum i eficiena sursei primare, sunt date de relaiile:
N
H(S) =
log 2
i =1
1
;
pi
H max (S) = log 2 N ;

S =
H(S)
H max (S)
(3)
Entropia sursei secundare este egal cu informaia medie pe un cuvnt raportat la lungimea
medie a cuvntului:
H(X) =
H(S)
L
(4)
Atribuirea literelor de alfabet rij pentru a forma cuvntul de cod ci trebuie s conduc la
ndeplinirea condiiilor:
- codul s fie instantaneu (nici un cuvnt nu este prefixul altuia);
1
Dei, aparent, astfel de surse de informaie nu au un numr finit de simboluri, prin eantionare i cuantizare, orice
surs de informaie poate fi redus la una cu numr finit de simboluri.
COBSINF
- codarea s conduc la o eficien maxim posibil. Aceast condiie se realizeaz
folosind cuvinte de lungime variabil, mai mare pentru simboluri de probabilitate de emisie (a
sursei primare) mai mic. Codarea cu cuvinte de lungime variabil este mai complicat, dar
conduce la o surs secundar cu eficien mai bun i la o ieftinire a transmisiei, lungimea medie
a cuvintelor de cod fiind mai mic. Codarea cu cuvinte de lungime constant este mai simpl dar
cuvintele avnd aceeai lungime ofer maleabilitate la prelucrri ulterioare.
Codarea cu cuvinte de lungime constant se mai numete i codare cu cod bloc. Cuvintele
codului bloc sunt secvene binare diferite, de aceeai lungime L. tiind c numrul de secvene
diferite ce pot fi constituite cu L cifre binare este 2L, rezult c numrul simbolurilor sursei trebuie
s fie mai mic dect 2L, sau:
L log 2 N = H max (S) > L 1
(5)
Inecuaia a doua din (5) se datoreaz criteriului de eficien minim posibil (sub restricia de
cod bloc).
Realizarea condiiilor mai sus precizate se face prin codare dup algoritmul Huffman (static).
Acesta presupune:
1. Ordonarea probabilitilor sursei (primare) n ordine descresctoare;
2. Simbolurile cu probabilitile cele mai mici (ultimele dou1 n ordonare) se reunesc
formnd un nou simbol cu probabilitatea sumei celor dou, dup care se reordoneaz probabilitile,
obinndu-se o surs cu N-1 simboluri;
3. Procesul continu pn cnd rmn 2 simboluri. Acestora li se atribuie valorile 0 i 1;
4. Mergnd pe cale invers, se disociaz simbolurile compuse n simboluri din care s-au
compus, atribuind arbitrar, la fiecare disociere, valorile 0 i 1 pentru a gsi cuvintele de cod pentru
cei doi componeni. De reinut c doar un singur simbol se disociaz la fiecare pas, lungimea
componenilor si crescnd cu 1, celelalte simboluri pstrndu-i lungimea i structura cuvntului
de cod.
Observaie: -atribuirea simbolurilor binare celor dou simboluri compuse este arbitrar, codurile
obinute vor fi diferite, dar de aceeai eficien. De asemenea, ordinea simbolurilor de egal
probabilitate poate fi aleas arbitrar, diferitele moduri de atribuire conducnd la coduri diferite,
dar de aceeai eficien. ns, n vederea posibilitii de a confrunta rezultatele, se vor respecta
regulile: -0 se atribuie totdeauna simbolului de jos (ultimul n ordonare); -ordinea simbolurilor
egal probabile este ordinea n care s-au citit, cu simbolul compus totdeauna ultimul.
Programul pe calculator, asociat acestei lucrri, permite codarea surselor de informaie prin
algoritm Huffman static.
Precizarea sursei de informaie se poate face simplu, introducnd valorile probabilitilor
sursei i numrul lor. Probabilitile trebuie s ndeplineasc condiia:
N
=1
0 pi 1 ;
i = 1, N
(6)
i =1
Probabilitile pot fi introduse indirect, prin numere ntregi, pozitive ki, calculatorul urmnd s
fac transformarea:
Algoritmul se poate aplica i pentru obinerea codurilor nebinare (avnd un alfabet cu m simboluri). n acest caz se
grupeaz cte m simboluri.
COBSINF
pi =
ki
(7)
k 1
ceea ce asigur ndeplinirea relaiei (6).

Sursa de informaie poate fi i un text scris (n caractere ASCII), cu cel puin 3 caractere
diferite. Calculatorul va nelege c simbolurile sursei (caracterele prezente n text) au probabiliti
precizate prin ponderea lor n text (numr de prezene ale caracterului respectiv raportat la ntregul
numr de caractere ale textului).
Programul permite i o a treia surs de informaie. Simbolurile acesteia reprezint intervale de
lungime egal, i n numr finit, de pe ax real. n acest caz datele vor consta n valorile
eantioanelor unui semnal discret ( fig.1) , mrginit n timp cu suportul finit precizat ca dat de
intrare M. Tot ca dat de intrare calculatorul va cere i q-cuanta. Avnd aceste mrimi q (cuanta), M
(numrul de eantioane) i b(i) (valorile eantioanelor), pentru gsirea simbolurilor sursei i implicit
a numrului lor N, calculatorul va proceda astfel:
va cuta eantioanele de valoare minim i maxim : min; max;
max min
] + 1 unde [ ] semnific partea ntreag;
va calcula N = [
2
b(2)=maxim
b(1)
b(3)
b(M)
Nq
q
b(4)=minim
Fig.1 Surs de informaie semnal discret
max min
] + 1 unde [ ] semnific partea ntreag;
q
va atribui sursei de informaie primare simbolurile: [ min, min + q ); [min+q, min+2q);
... ;[min+(N-1)q,min+Nq)
va calcula probabilitatea simbolurilor ca fiind egale cu fraciunea din numrul
eantioanelor M, ce au valori cuprinse n intervalele ce definesc simbolurile. Este
posibil desigur s rmn simboluri cu probabilitate 0.
n toate cele 3 cazuri se vor calcula i se vor putea vizualiza:
a) probabilitile sursei primare;
b) datele asociate sursei i codrii:
entropia sursei primare H(S);
entropia maxim a sursei primare Hmax(S);
eficiena sursei primare S;
entropia sursei secundare (eficiena codrii) H(X);
lungimea medie a cuvintelor de cod L;
redundana sursei primare R(S)=Hmax(S)-H(S);
va calcula N = [
COBSINF
c)
d)
e)
f)
redundana relativ a sursei primare S =1-S ;

redundana sursei secundare X =1-H(X).
cuvintele de cod;
graful codrii;
schema algoritmului Huffman (numai pentru cazul codrii cu cuvinte de
lungime variabil );
n cazul sursei semnal discret se pot vedea i graficul semnalului precum i
valorile eantioanelor.
Desfurarea lucrrii
1. Rulai programul selectnd opiunea Demonstraie. Selectai pe rnd cele trei feluri de
surse de informaie (tablou, text i semnal discret), i pentru fiecare surs solicitai o codare bloc i
o codare prin algoritmul Huffman static. Urmrii aplicarea algoritmului.
2. Alctuii surse de informaie de forma celor prezentate i codai-le bloc i prin algoritmul
Huffman static, calculnd n fiecare caz entropia sursei, eficiena sursei, lungimea medie a
cuvintelor codului obinut, precum i eficiena codrii. Pornii pentru nceput cu surse tablou mai
simple, apoi mrii numrul de simboluri. Utilizai ulterior i surse text sau semnal discret.
3. La sfritul lucrrii de laborator se va efectua test asupra cunotinelor acumulate. Durata
acestuia este aproximativ constant i independent de numrul de studeni ce efectueaz simultan
testul (calculatorul poate testa pn la 4 studeni simultan n sensul c afieaz pe rnd date pentru
cei n 4 studeni i apoi ntreab pe rnd, n aceeai ordine studenii, timpii de afiare i de
chestionare rezervai fiecrui student sunt constani i nu influeneaz pe cei rezervai altuia).
Rezultatul testului se va concretiza printr-o not, calculat automat de calculator.
L2. ALGORITMUL HUFFMAN DINAMIC

2.1 Scopul lucrrii
Lucrarea i propune familiarizarea cu unul dintre cei mai familiarizai
algoritmi de compresie i anume algoritmul Huffman dinamic.
2.2 Noiuni generale
Compresia este procesul de minimizare a spaiului ocupat sau a timpului
necesar transmiterii unei anumite cantiti de informaie.
Metodele de compresie pot fi mprite n:
Metode de compresie cu pierdere;
Metode de compresie fr pierdere.
Metodele de compresie cu pierdere de informaie sunt folosite n special n
transmiterea semnalului audio i video, unde pierderea de informaie are ca rezultat o
scdere a calitii sunetului, respectiv imaginii.
Compresia de date fr pierdere, prezent n programele de arhivare, n
sistemele de transmisiune a datelor, a evoluat de-a lungul timpului pornind de la
algoritmi simpli (suprimarea zerourilor, codarea pe iruri) i ajungnd la algoritmii
compleci folosii n prezent.
Metodele de compresie fr pierderi au la baz ideea c n general cantitatea
de informaie prelucrat (transmis, depozitat) conine o anumit redundan ce se
datoreaz:
Distribuiei caracterelor (unele caractere au o frecven de apariie mult mai mare
dect altele);
Repetrii consecutive a unor caractere;
Distribuiei grupurilor de caractere (unele grupuri sunt mult mai frecvente dect
altele i n plus exist grupuri care nu apar deloc);
Distribuiei poziiei (unele caractere sau grupuri ocup poziii prefereniale,
predictibile n anumite blocuri de date).
Avnd n vedere toate aceste tipuri se poate nelege de ce o anumit tehnic
de compresie poate da un rezultat bun pentru un anumit tip de surse, pentru altele ns
rezultatul fiind dezastruos. n studiul compresiei se urmrete obinerea unui algoritm
care s ofere o compresie ct mai bun pentru tipuri de surse ct mai diferite.
Aprecierea cantitativ a compresiei realizate se face utiliznd factorul de
compresie, definit ca:
n
Fc = u
(2.1)
nc
unde nu este lungimea n bii a mesajului iniial i nc lungimea de compresie.
2.3 Algoritmul Huffman dinamic
Algoritmii de tip Huffman static au dezavantajul c necesit cunoaterea
prealabil a statisticii sursei. Acest dezavantaj poate fi nlturat utiliznd un algoritm
dinamic.
Algoritmul Huffman dinamic este un algoritm de compresie. Mesajele au fost
deja codate n prealabil, dar neeficient, cu un cod bloc, de lungime n bii/cuvnt. Ideea
de baz n aceast codare este folosirea pentru codarea unui simbol si+1 din mesaj a
unui graf de codare, ce este un arbore care crete, dintr-un punct iniial (numit surs)
i care este construit pe baza primilor i simboluri din mesaj. Dup transmiterea
simbolului si+1 se va revizui arborele de codare n vederea codrii simbolului si+2.
Codarea presupune la fiecare pas transmiterea codului aferent simbolului de

intrare i modificarea corespunztoare a grafului i a codului. Dac n mesajul
transmis este un simbol nou, adic un simbol care n-a mai aprut n mesaj, se
transmite mai nti codul frunz goal i apoi cei n bii afereni simbolului nou aprut.
Frunza goal are semnificaia c urmeaz un nou simbol. Frunza goal se codific ca
un mesaj oarecare, dar ponderea sa ntodeauna va rmne nul.
Exemplu:
n continuare se prezint evoluia arborelui (grafului) asociat codului n timpul codrii
mesajului Mi = aaabccc:
Obs: Semnificaia notaiilor este:
-pentru nod:
- x: numr de ordine (crete de la stnga spre dreapta i de jos n sus pe

linii);
- p: ponderea cumulat din nodurile aferente.
- pentru frunz (nod terminal):
- x: numr de ordine;
- p: pondere (numr de apariii ale respectivului simbol);
- y: simbolul.
Frunza goal, notat cu "0", este de pondere 0.
- pentru ramur: - spre stnga codare cu zero;
- spre dreapta codare (atribuire) cu unu.
1. Mi = a
3 1
0
1 0
1
2 1 a
Codurile sunt: 0 - 0
a-1
Mesajul transmis este: a
2. Mi = aa
3 2
0
1 0
1
2 2 a
a-1
Mesajul transmis este: a1
3. Mi = aaa
3 3
0
1 0
1
2 3 a
a-1
Mesajul transmis este: a11
4. Mi = aaab
5 4
0
3 1
1
4 3 a
1 0
a-1
b - 01
Mesajul transmis este: a110b
2 1 b
5. Mi = aaabc
7 5
0
5 2
6 3 a
3 1

a-1
b - 01
c - 001
Mesajul transmis este: a110b00c
4 1 b
0
1 0
1
2 1 c
6. Mi = aaabcc
7 6
0
5 3
6 3 a
3 2
4 1 b
0
1 0

a-1
b - 01
c - 001
Mesajul transmis este: a110b00c001
1
2 2 c
Deoarece ponderea nodului c este mai mare dect ponderea nodului b se va face
interschimbarea ntre noduri, realizndu-se o rearanjare a arborelui:
7 6
0
5 3
0
3 1
0
1 0
6 3 a
4 2 c
1
2 1 b

a-1
b - 001
c - 01
7. Mi = aaabccc
7 7
0
5 4
1
3 1
1 0
1
6 3 a

a-1
b - 001
c - 01
4 3 c
1
2 1 b
n urma rearanjrii arborelui se obine:

7 7
0
1
5 3 a
6 4
0
3 1
0
1 0

a-0
b - 101
c - 11
4 3 c
1
2 1 b
Dac se presupune c simbolurile mesajului de la intrare au fost codate n

prealabil cu un cod bloc, cu n=8 bii/cuvnt vom avea lungimea mesajului iniial:
Considernd caracterele n mesajul iniial codate pe 8 bii, lungimea acestuia este:
nu=78=56 bii
Mesajul comprimat (a110b00c00101) are:
nc=83+10=34 bii
(2.2)
(2.3)
Rezult un factor de compresie:

F=
nu
1, 7
nc
2.4 Desfurarea lucrrii

2.4.1 Se lanseaz executabilul dHuffman.exe din directorul Huffman Dinamic, dup
care se introduce parola TTI. Rulai programul, selectnd opiunea Demonstraie,
pentru codare i decodare.
2.4.2 Se verific, cu programul, exemplul luat n aceast lucrare, selectnd pe rnd
compresia, respectiv decompresia prezentate.
2.4.3 Pentru compresie i decompresie se alege cte un exemplu oarecare asemntor
cu cel prezentat n lucrare. Se realizeaz compresia/decompresia, dup care, cu
programul, se verific rezultatele obinute.
2.4.4 La sfritul lucrrii de laborator se va efectua un test asupra cunotinelor
acumulate. Rezultatul testului se va concretiza printr-o not, calculat automat de
calculator.
L5. CODUL HAMMING

5.1 Scopul lucrrii
Lucrarea i propune realizarea unei codri/decodri utiliznd codul Hamming
corector de o eroare, respectiv codul Hamming corector de oeroare i detector de dou
erori.
5.2 Cod Hamming corector de o eroare
Codurile Hamming constiruie prima clas de coduri bloc liniare corectoare de
erori i au fost propuse de R. Hamming n 1950.
Codul Hamming este un cod protector. Scopul codrii este acela de a adapta
sursa de informaie la canalul de transmisie. n cazul de fa sursa este deja codat i
se face o codare pentru protecia informaiei. Acest lucru se realizeaz prin mrirea
redundanei (prin creterea suportului binar; biilor de informaie adugnduse biii de
control). Biii de control au ca scop de a crea legturi, relaii ntre biii de informaie.
Aceste relaii folosesc codorului pentru a calcula biii de control i folosesc
decodorului pentru a verifica corectitudinea transmisiei.
Codul Hamming este un cod nesistematic (simbolurile de control sunt
intercalate printre simbolurile informaionale, situndu-se pe poziii puteri ale lui 2).
5.2.1 Codarea codului Hamminmg corector de o eroare
Particularitatea codului liniar Hamming corector de o eroare const n forma
matricii de control, H, care are fiecare coloan structurat prin reprezentarea binar a
numrului zecimal de ordine al coloanei respective. Din acest motiv, corectorul Z,
calculat cu relaia Z = H V T , decodat din binar n zecimal, indic numrul de ordine
zecimal al bitului eronat din cuvntul recepionat.
Distana minim a acestui cod este:
d 2ec + 1 = 3 ,
unde ec reprezint numrul de erori corectabile.
Se consider codul cu parametrii:
n=7, numrul de simboluri n cuvnt;
m=3, numrul de simboluri de control n cuvnt;
k=4, numrul de simboluri de informaie n cuvnt.
Secvena de informaie este:
i = i 3i 5 i 6 i 7
i secvena de control:
C = C1C2 C 4
astfel nct cuvntul de cod rezultat va fi:
V = C1C2i3C4i5i 6i 7
Codarea nseamn calculul simbolurilor de control C1, C2, i C4 cnd se dau
simbolurile de informaie i3, i5, i6, i7.
Relaia de codare:
C1
C
2
0 0 0 1 1 1 1 i3

T
H V = 0 = 0 1 1 0 0 1 1 C 4 = 0
1 0 1 0 1 0 1 i 5

i6
i
7
(5.1)
unde H reprezint matricea de control, ce este de dimensiune mn.

Sau n form explicit:
C1 = i 3 + i5 + i 7
C2 = i3 + i 6 + i 7
C4 = i5 + i 6 + i 7
(5.2)
Suma fcndu-se modulo doi.

Exemplul 1:
Pentru n=7, k=4, m=3 i secvena de informaie i=1010, gsii cuvntul V de
cod.
Rezolvare:
Se observ c exist 4 simboluri de informaie: i3, i5, i6, i7. Cuvntul de cod,V, se
poate scrie sub form literar: V = C1C2i3C4i5i 6i 7 . Avem aadar 7 simboluri ce
alctuiesc cuvntul de cod i 3 bii de control. Rezult c matricea de control, H, va
conine 3 linii i 7 coloane.
Din relaia de codare (5.1), rezult relaiile de calcul a biilor de control:
C1 = i 3 + i5 + i 7 = 1 + 0 + 0 = 1
C2 = i3 + i 6 + i 7 = 1 + 1 + 0 = 0
C4 = i5 + i 6 + i 7 = 0 + 1 + 0 = 1
Rezult cuvntul de cod:
V=1011010
5.2.2 Decodarea codului Hamminmg corector de o eroare
Avnd cuvntul recepionat V ' , compus din 7 imboluri:
V ' = C1' C'2i3' C'4i5' i '6i '7
se poate calcula corectorul codului Hamming cu relaia:
z 4
'T
z = H V = z 2
z1
Matricea de control:
H[m,n ] = [ h1 L h i L h n ]
(5.3)
(5.4)
unde, pentru acest caz se observ c m=3 i n=7. Coloana hi exprim n cod binar
natural numrul de ordine al coloanei respective, cu bitul cel mai puin semnificativ n
linia m.
Din relaia (5.3) rezult:

z 4 = C'4 + i5' + i '6 + i '7
z 2 = C'2 + i3' + i '6 + i '7
(5.5)
z1 = C1' + i 3' + i5' + i '7
Decodarea zecimal a corectorului z, indic poziia erorii, dac este una singur, n
cuvntul V ' . Va fi eronat simbolul cu indicele r, dat de relaia:
r = 4z 4 + 2z 2 + z1
(5.6)
Cuvntul recepuionat se mai poate scrie ca fiind:

unde reprezint cuvntul eroare.
Relaia (5.3) va deveni:
V' = V + ,
z = H V ' = H ( V + ) = H T = h r
unde poziia erorii se calculeaz cu relaia (5.6).
T
Obs: n cazul n care exist dou erori, sunt cazuri n care nu numai c nu se
corecteaz nici o eroare, dar se mai eroneaz un al treilea simbol, rezultnd la
recepie trei simboluri eronate.
Exemplul 2:
Decodai cuvntul recepionat V=1001001
Rezolvare:
Cuvntul de cod recepionat se poate scrie ca fiind:
V ' = C1' C'2i3' C'4i5' i 6' i 7'
V = 1 0 0 1 0 0 1
z 4 = C'4 + i 5' + i '6 + i '7 = 1 + 0 + 0 + 1 = 0
z 2 = C'2 + i 3' + i 6' + i 7' = 0 + 0 + 0 + 1 = 1
z1 = C1' + i3' + i5' + i 7' = 1 + 0 + 0 + 1 = 0
Aadar, poziia eronat este:
r = 4z 4 + 2z 2 + z1 = 4 0 + 2 1 + 1 0 = 2
Rezult cuvntul eroare:
= 0100000
Se poate scrie:
V = V ' + = 1001001 + 0100000 = 1101001
Rezult secvena de informaie:
i = i3i5i 6i 7 = 0001
5.3 Cod Hamming corector de o eroare i detector de dou erori

Condiia necesar i suficient pentru ca un cod s poat simultan corecta maxim t
erori i a detecta maxim e erori este ca distana minim a codului s fie:
d t + e + 1 = 1 + 2 + 1 = 4,
e>t
5.3.1 Codarea codului Hamminmg corector de o eroare i detector de dou erori

Pentru a nltura dezavantajul codului Hamming corector de o eroare (acela de
a erona suplimentar, la depirea capacitii de corecie a codului, t>1) i de al face
mai util n aplicaii practice, codul a fost modificat n sensul creterii distanei minime
de la d=3 la d=4, ceea ce permite detecia erorilor duble.
Creterea distanei de cod de la 3 la 4 s-a fcut prin adugarea unui simbol de
control suplimentar, numit simbol de control al paritii, C0, structura cuvntului de
cod devenind:
V = C0 C1C2i3C4i5i 6i 7
Matricea de control se modific i are structura:
0 0 0 0 1 1 1 1
0 H 0 0 1 1 0 0 1 1
'
H =
=
1 1 0 1 0 1 0 1 0 1
1 1 1 1 1 1 1 1
Relaia de codare va fi:
C0
C
1
0 0 0 0 1 1 1 1 C 2
0 0 1 1 0 0 1 1 i
'
T
3 = 0
H V =
(5.7)
0 1 0 1 0 1 0 1 C 4

1 1 1 1 1 1 1 1 i5
i
6
i 7
Sau n form explicit:
C1 = i 3 + i5 + i 7
C2 = i3 + i 6 + i 7
(5.8)
C4 = i5 + i 6 + i 7
C0 = C1 + C 2 + i3 + C4 + i 5 + i 6 + i 7
Exemplul 3:
Fie secvena de informaie i=1010, gsii cuvntul V de cod.
Rezolvare:
Se observ c exist 4 simboluri de informaie: i3, i5, i6, i7. Cuvntul de cod,V, se
poate scrie sub form literar: V = C0 C1C2i3C4i5i 6i 7 . Avem aadar 8 simboluri ce
alctuiesc cuvntul de cod i 4 bii de control. Rezult c matricea de control, H, va
conine 4 linii i 8 coloane.
Din relaia de codare (5.8), rezult relaiile de calcul a biilor de control:
C1 = i 3 + i5 + i 7 = 1 + 0 + 0 = 1
C2 = i3 + i 6 + i 7 = 1 + 1 + 0 = 0
C4 = i5 + i 6 + i 7 = 0 + 1 + 0 = 1
C0 = C1 + C 2 + i3 + C4 + i 5 + i 6 + i 7 = 1 + 0 + 1 + 1 + 0 + 1 + 0 = 0
Rezult cuvntul de cod:
V=01011010
5.3.2 Decodarea codului Hamminmg corector de o eroare i detector de dou erori
Avnd cuvntul recepionat V ' , compus din 8 imboluri:
V ' = C'0 C1' C'2i 3' C'4i5' i '6i '7
se poate calcula corectorul codului cu relaia:
z4

z z2
'
'T
Z = H V = =
z 0 z1

z 0
(5.9)
Unde:
z, reprezint corectorul de la codul Hamming corector de o eroare;
z0, reprezint simbolul binar, 0 sau 1, cu ajutorul cruia se pot detecta erori pare
(z0=0).
Exist patru cazuri:
Cazul 1:
z = 0
z 0 = 0
nu exist erori sau nu exist erori detectabile prin cod.
Cazul 2:
z 1
z 0 = 0
se face detecia erorilor duble.
Cazul 3:
z = 0
z 0 = 1
simbolul C0 este eronat.
Cazul 4:
z 0
z 0 = 1
exist o eroare corectabil.
Va fi eronat simbolul cu indicele r-1, unde r este dat de relaia:
r = 4z 4 + 2z 2 + z1 + z 0
Exemplul 4:
Decodai cuvntul recepionat V=01001010
Rezolvare:
(5.10)
Cuvntul de cod recepionat se poate scrie ca fiind:

V ' = C'0 C1' C'2i 3' C'4i5' i '6i '7
V = 0 1 0 0 1 0 1 0
z 4 = C4' + i 5' + i 6' + i 7' = 1 + 0 + 1 + 0 = 0
z 2 = C2' + i 3' + i 6' + i 7' = 0 + 0 + 1 + 0 = 1
z1 = C1' + i3' + i5' + i '7 = 1 + 0 + 0 + 0 = 1
z 0 = C0' + C1' + C2' + i3' + C'4 + i5' + i '6 + i '7 = 0 + 1 + 0 + 0 + 1 + 0 + 1 + 0 = 1
Rezult c avem situaia cazului 4, cnd exist o eroare corectabil.
Aadar, rezult r:
r = 4z 4 + 2z 2 + z1 + z 0 = 4 0 + 2 1 + 1 1 + 1 = 4
Deci va fi eronat simbolul cu indicele r-1, adic 4-1=3, i3.
Rezult cuvntul eroare:
= 00010000
Se poate scrie:
V = V ' + = 01001010 + 00010000 = 01011010
Rezult secvena de informaie:
i = i3i5i 6i 7 = 1010
5.4 Desfurarea lucrrii

5.4.1 Se lanseaz executabilul Hamming.exe din directorul Hamming, dup care se
introduce parola TTI. Rulai programul, selectnd opiunea Demonstraie, pentru toate
cele patru variante prezentate.
5.4.2 Se verific, cu programul, toate exemplele luate n aceast lucrare, selectnd pe
rnd codurile prezentate.
5.4.3 Pentru fiecare cod n parte, se alege cte un exemplu de codare/decodare,
asemntor cu cele prezentate n lucrare, cu observaia ca secvena de informaie s
conin 11 bii de informaie, la codare, respectiv cuvntul recepionat s conin
15/16 bii, la decodare. Se realizeaz codarea/decodare, dup care, cu programul, se
verific rezultatele obinute.
5.4.4 La sfritul lucrrii de laborator se va efectua un test asupra cunotinelor
acumulate. Rezultatul testului se va concretiza printr-o not, calculat automat de
calculator.
7. Codurile Ciclice
Generaliti
Codurile ciclice sunt utilizate pentru protejarea informaiei mpotriva perturbaiilor.
Codurile ciclice sunt coduri bloc (toate cuvintele au aceeai lungime, codarea i
decodarea unui bloc este independent de a celorlalte).
Denumirea de ciclice provine de la proprietatea pe care o au cuvintele de cod i
anume dac vi = 1001001 este cuvnt de cod atunci i vj = 0010011 i vk = 1100100 sunt
cuvinte de cod . Adic orice permutareciclic a unui cuvnt de cod este un alt cuvnt de cod .
Parametrii codului sunt n (bii) lungimea cuvntului de cod, k numrul de bii de
informaie per cuvnt, m numrul de bii de control per cuvnt i polinomul generator g(x).
Dei poate fi facut i o codare nesistematic vom considera codul sistematic cei k bii de
informaie fiind situai pe poziiile cele mai semnificative, iar cei m bii de control pe poziiile
mai puin semnificative.
Fiecrui cuvnt de cod i se poate ataa un polinom de grad maxim n-1 .
v = vn-1vn-2vn-3......v1v0, coeficienii vi fiind coeficieni binari (din cmpul binar {0,1}).
Polinomul asociat cuvntului va fi :
v(x) = vn-1xn-1 + vn-2xn-2 + vn-3xn-3 + .....+ v1x + v0
(7.1)
Ponderea unui cuvnt reprezint numrul de 1 din cadrul cuvntului.

Polinomul de informaie este :
i(x) = ik-1xk-1 + ik-2xk-2 + ik-3xk-3 + .....+ i1x + i0
(7.2)
de grad k-1.
Pentru orice cuvnt de cod este valabil relaia :
rest
v(x )
=0
g( x )
(7.3)
Deci cuvintele de cod se aleg astfel nct s fie multiplii ai polinomului g (x) numit
polinomul generator al carui grad va fi deci m = n-k, (gm = 1):
g(x) = gmxm + gm-1xm-1 + gm-2xm-2 + .....+ g1x + g0
(7.4)
Operaiile se fac modulo (xn + 1) .

Dac, codul este corector de o singur eroare atunci:
n = 2m 1.
(7.5)
Codurile ciclice corectoare de o eroare, avnd distana de cod (distana Hamming

minim ntre cuvintele codului) dHmin = 3, sunt capabile s corecteze o eroare sau s detecteze
dou.
Codarea codului ciclic corector de o eroare
Codarea va fi prezentat n dou moduri nesistematic sau sistematic.
Cu relaia v(x) = i(x)g(x) se poate face codarea nesistematic, dar pentru c nu este
util n practic nu va fi luat n considerare .
n continuare va fi deci prezentat codarea sistematic unde corespondena dintre i(x)

i v(x) este dat prin relaia :
i (x ) x m
v(x ) = i(x ) x + rest
g (x )
m
(7.6)
i (x ) x m
unde rest
semnific restul mpririi polinomului i(x)xm la g(x).
g(x )
Operaia de adunare din ecuaia (7.6) este sum modulo 2 (SAU exclusiv), iar
coeficienii polinoamelor sunt din cmpul binar {0,1}.
Matematic codarea poate fi facut polinomial sau matricial.
a). Polinomial
Codarea va fi prezentat printr-un exemplu, putnd fi uor generalizat.
Fie g(x) = x3 + x + 1. Deci m = 3 i cu relaia 2m 1 = n rezult c n = 7 de unde k = n
m = 4. Vom avea ca atare 4 bii de informaie i = vn-1vn-2vn-3vn-4 cu polinomul asociat :
i(x) = vn-1x3 + vn-2x2 + vn-3x + vn-4
(7.7)
i deci i(x)xm = (vn-1x3 + vn-2x2 + vn-3x3 + vn-1x + vn-4) x3 = vn-1x6 + vn-2x5 + vn-3x4 + vn-4x3
Biii de control sunt coeficienii restului mpririi lui i(x)xm/g(x).
vn-1x6 + vn-2x5 + vn-3x4 + vn-4x3
vn-1x6
+ vn-1x4 + vn-1x3
x3 + x + 1
vn-1x3 + vn-2x2 + (vn-3 + vn-1)x + (vn-4 + vn-2 + vn-1)
/ vn-2x5 + (vn-3 + vn-1)x4 + (vn-4 + vn-1)x3

vn-2x5
+ vn-2x3
+ vn-2x2
/ (vn-3 + vn-1)x4 + (vn-4 + vn-2 + vn-1)x3 + vn-2x2
(vn-3 + vn-1)x4
+ (vn-3 + vn-1)x2 +(vn-3 + vn-1)x
/ (vn-4 + vn-2 + vn-1)x3 + (vn-3 + vn-2 + vn-1)x2 + (vn-3 + vn-1)x
+ (vn-4 + vn-2 + vn-1)x + vn-4 + vn-2 + vn-1
(vn-4 + vn-2 + vn-1)x3
(vn-3 + vn-2 + vn-1)x2 + (vn-4 + vn-3 + vn-2)x + vn-4 + vn-2 + vn-1
r(x) = (vn-3 + vn-2 + vn-1)x2 + (vn-4 + vn-3 + vn-2)x + vn-4 + vn-2 + vn-1
(7.8)
, unde r(x) este restul mpririi .

Conform relaiei (7.6) se obine :
v(x) = vn-1x6 + vn-2x5 + vn-3x4 + vn-4x3 + (vn-3 + vn-2 + vn-1)x2 + (vn-4 + vn-3 + vn-2)x + vn-4
+ vn-2 + vn-1
Pentru c n = 7 i v(x) este de forma :
v(x) = v6x6 + v5x5 + v4x4 + v3x3 + v2x2 + v1x + v0
(7.9)
i innd cont de relaia (7.8) simbolurile de control vor fi date de:

v2 = v4 + v5 + v6
v1 = v3 + v4 + v5
v0 = v3 + v5 + v6
(7.10)
Aadar cuvntul de cod va fi v = v6v5v4v3v2v1v0 unde primii 4 sunt biii de informaie, iar
ultimii 3 cei de control.
b). Codor ciclic cu RDR (codarea matricial)
n figura 7.1 este prezentat un codor ciclic care implementeaz relaia de codare (7.6).
Secvena de informaie, i(x), intr n codor n primele k tacte, primul bit fiind cel mai
semnificativ i, de asemenea, este conectat i la ieire. Pentru aceasta, ntreruptorul 1,
format din poarta AND-1 este nchis iar ntreruptorul 2, format din poarta AND-2 este
deschis (vezi semnalele de comand P1 i P2).
n urmtoarele m tacte ntreruptorul 1 este deschis iar ntreruptorul 2 este nchis,
astfel c secvena r, generat de RDR, este livrat la ieirea v.
Cm
gm=1
Cm-1
gm-1
Cm-2
gm-2
C1
g1
..
g0=1
a) Codor ciclic
RDR ;
P2
AND-2
P1
v(x)
AND-1
i(x)
P1
b) Semnalele de validare
a porilor AND
k=n-m
t/Tb
P2
t/Tb
k=n-m
Figura 7.1 Codor ciclic cu RDR i semnalele de comand
Obs. Se observ c, n ultimele k tacte, la intrrile sumatorului (care adun intrarea RDRlui cu reacia sa) se regsete acelai semnal, astfel c, n aceste k tacte, n celula Ck se va
introduce o secven nul care cur registrul pentru un nou cuvnt de cod.
Din funcionarea registrului de deplasare cu reacie rezult relaia
Sj = TSj-1 + vn-jU
(7.11)
unde S reprezint starea registrului, U este o matrice coloan, iar T este matricea caracteristic
a registrului de deplasare cu reacie. Ele sunt de forma:
c1
c
S= 2
M

c m
0
0
U=
M

1
0
0
T=M
0
g 0
1
0
M
0
g1
0
1
M
0
g2
L 0
L 0
L M
L 1
L g m-1
(7.12)
innd cont de observaia fcut mai sus rezult c Sn = 0.

Considernd acela exemplu
Matricea caracteristic, T, este:
0 1 0
T = 0 0 1
1 1 0
(7.13)
Utiliznd relaiile (7.11) i (7.13) pentru cazul n = 7 vom avea:

S7 = v6T6U + v5T5U + v4T4U + v3T3U + v2T2U + v1TU + v0U = 0
(7.14)
Efectund calculele rezult:
0
1
0
1
2
3
4
T U = 1 , T U = 0 , T U = 1 , T U = 1 ,
0
1
1
1
1
1
6
T U = 1 , T U = 0
0
0
5
(7.15)
Introducnd (7.15) n (7.14) i efectund calculele obinem:

v2 = v4 + v5 + v6
v1 = v3 + v4 + v5
v0 = v4 + v3 + v2 = v4 + v3 + v4 + v5 + v6 = v3 + v5 + v6
relaii identice cu relaiile (7.10) deci cele dou proceduri de calcul ne-au dus la aceleai
rezultate .
Cuvntul de cod va fi v = v6v5v4v3v2v1v0.
4
Decodarea codului ciclic corector de o eroare

Decodarea codului ciclic cuprinde verificarea corectitudinii cuvntului recepionat:
w(x) = vn-1xn-1 + vn-2xn-2 + ... + v1x + v0,
(7.16)
corectarea sau detectarea erorilor, dup destinaia codului i apoi selecia biilor de informaie.
Verificarea presupune calculul restului mpririi lui w(x) la g(x). Dac restul este 0 se
decide: cuvnt corect recepionat. Dac nu, atunci se decide: cuvnt eronat.(Prima decizie
poate fi fals, a doua nu!) Pentru codurile detectoare decodarea ia sfrit aici. Pentru codurile
corectoare analiza restului permite determinarea poziiei erorilor. Acest lucru presupune
existena unei corespondene biunivoce ntre resturile posibile i cuvintele eroare corectabile
de ctre codul dat.
Dac codul este corector de o eroare, atunci decodarea decurge astfel:
1- se calculeaz corectorul zn cu formula:
n -1
n -1
j= 0
j= 0
z = v 'j T j U = j T j U
(7.17)
unde j reprezint coeficienii polinomului eroare:

(x) = w(x) + v(x)
(7.18)
2- dac z = 0 se decide c w(x) este corect w(x) = v(x)

- dac z 0 atunci z = TrU, unde r este indicele coeficientului eronat. Comparm z cu TjU i
gsim r. Corecia presupune schimbarea valorii lui vr.
Dac codul ciclic corecteaz mai multe erori, atunci decodarea se poate face pe seama
corespondenei amintite anterior.
a) Decodarea polinomial
Metoda const n mprirea lui w(x) la g(x). Va rezulta un polinom rest, r(x). Dac
acesta este diferit de 0, cuvntul recepionat este eronat i prin identificarea restului r(x) cu
valorile din tabelul cuvinte eroare corectori (vezi Anexe) se determin poziia erorii i se
realizeaz corecia.
Spre exemplu fie : w(x) = x6 + x5 + x3 + x2 + 1. Calculm rest[ w(x) /g(x)]:
x6 + x5 + x 3 + x 2 + 1 x3 + x + 1
x6 + x4 + x 3
x3 + x 2 + x + 1
5
4
2
x +x +x +1
x5 + x3 + x2
x4 + x3 + 1
x4 + x2 + x
x3 + x 2 + x + 1
x3 + x + 1
x2
deci conform tabelului din anex este eronat w2. Schimbnd valoarea bitului w2 rezult :
w(x) = x6 + x5 + x3 + 1.
b) Decodor ciclic cu RDR (decodarea matricial)

celula 0
w
celula n-1
v
n Tb
AND
P1
IDENTIFICARE
0
0
Cm
Cm-1
STARE
0
C1
AND
P2
gm-1
gm-2
g1
AND
P2
IDENTIFICARE
0
0
Cm
Cm-1
gm-1
STARE
0
gm-2
g1
C1
AND
P1
a) schema ;
P1
..
P2
n-1
2n
..
n-1
..
t / Tb
..
t / Tb
2n
b)Semnalele de validare a porilor AND ;

Figura 7.2 Decodor ciclic corector de o eroare
n figura 7.2 este prezentat structura unui decodor ciclic corector de o eroare.
Biii cuvntului recepionat vor intra n schem unul dup altul n ordine, ncepnd cu
bitul vn-1.
Schema de decodare conine un registru de deplasare (blocul nTb este un registru de
ntrziere cu n celule) cu rol de memorie, care pstreaz cuvntul recepionat care intr pas cu
pas i dou subscheme cu RDR pentru corecie care funcioneaz n contratimp. Procedura de
decodare dureaz 2n tacte. n primele n tacte n memorie intr cuvntul 1 care prin poarta P1
intr i n primul decodor, ieirea acestuia fiind 0 pentru c P2 este nchis. n urmtoarele n
tacte cuvntul 2 va intra prin poarta P2 n al doilea decodor care are ieirea 0 deoarece P1 este
nchis, n acest timp cuvntul 1 prsete memoria trecnd prin sumator i este corectat de
primul decodor care identific starea 00.....1 i care are acces la sumator prin P2.
Dup n = 7 tacte starea registrului va fi:
S7 = v6T6U + v5T5U + v4T4U + v3T3U + v2T2U + v1TU + v0U
(7.19)
care nu va mai fi 0 dect n cazul n care nu avem eroare.

Dac eroarea afecteaz bitul vr starea registrului de deplasare cu reacie dup intrarea
ntregului cuvnt este:
S7 = v6T6U + v5T5U + .... + vrTrU + .... + v1TU + v0U
(7.20)
Deoarece la emisie S7 = 0 i vj = vj pentru j r i vr = vr + 1 rezult:

S7 + S7 = S7 = TrU = z
(7.21)
Pe durata urmtoarelor n = 7 tacte RDR din prima subschem va evolua numai sub
aciunea semnalului de reacie i dup n-r-1 tacte se va ajunge n starea:
n-r-1
S7+n-r-1 = T
1
S7 = T U = 0
0
n-1
(7.22)
n acela timp printr-o deplasare cu n-r-1 tacte eroarea care se afla n celula r va
ajunge n celula n-1. Detectorul va sesiza starea S7+n-r-1 fix i prin poarta P2 care este nchis
va emite semnalul de corecie (blocul IDENTIFIC genereaz un 1L) care se nsumeaz cu
bitul eronat aflat n celula n-1, astfel la ieirea sumatorului final se va obine cuvntul
corectat.
Desfurarea lucrrii
1. Rulai programul de pe calculator alegnd butonul Demonstraie de la codul ciclic
i se urmrete o codare i o decodare.
2. Alegeiv un polinom generator i secvena de informaie i efectuai o codare, apoi
alegnd polinomul generator i biii recepionai o decodare. Verificai apoi rezultatul cu
ajutorul calculatorului.
3. La sfritul lucrrii de laborator se efectueaz testul de verificare a cunotinelor
acumulate prin intermediul calculatorului. Testul const n a rspunde la 5 ntrebri teoretice,
fiecare avnd un rspuns corect din cele cinci propuse, i efectuarea unei codri i a unei
decodri pornind de la polinomul generator i secvena de informaie respectiv secvena
recepionat generate aleator de calculator.
MODULAIA DELTA UNIFORM
1.Introducere
Transmiterea numeric a informaiei este un domeniu de mare
actualitate practic i teoretic. n afar de modulaia impulsurilor n cod
(MIC), care are avantajul unei bune imuniti la perturbaii obinute pe baza
creterii benzii de frecven necesare transmiterii informaiei n practic se
aplic i alte tehnici numerice de transmisie care obin o reducere a benzii de
frecven sau a timpului de transmitere prin mrirea corelaiei ntre
eantioanele codate transmise. Cea mai cunoscut tehnic este modulaia
diferenial a impulsurilor n cod (MDIC).
Seciunea 1.1
n cazul n care ntre dou eantioane consecutive preluate din
semnalul s(t) ce urmeaz a fii transmis numeric, exist o corelaie puternic
atunci este avantajos s se codeze i s se transmit diferena dintre cele
dou eantioane.
Dac se noteaz cu Dk diferena dintre eantioanele sk i sk 1 ale
semnalului aleator staionar de medie nul ( 2 , s = 0) .
k k 1
= sk s k 1 , valoarea medie ptratic a
Dk = s s
f
f
0 0
diferenei este:
______________
2
k
k 1
___________
D = (s s
2
k
unde k =
___
2
k
_____
2
k 1
=s +s
__________
____
2
k
2 s k sk 1 = 2 s (1 k ) ,
s k s k 1
Seciunea 1.2
Din ecuaia de mai sus se observ c pentru cazul n care coeficientul
de corelaie k > 0.5 valoarea medie ptratic a diferenei este mai mic
dect valoarea medie ptratic a eantioanelor i deci rezult c diferena Dk
se poate cuantiza cu un numr mai redus de cuante dect eantionul sk .

Aceast economie obinut prin reducerea numrului de niveluri de
cuantizare are ca efect, n cazul transmiterii unei anumite cantiti de
informaie, reducerea: timpului de transmisie sau a benzii de frecven a
semnalului numeric transmis pe linie.
Seciunea 1.3
Sistemul de transmisiuni care lucreaz pe principiul descris n
seciunile 1.1 i 1.2 poart numele de: sistem de transmisiune cu modulaia
diferenial a impulsurilor n cod.
Seciunea 1.4
Modulaia delta este varianta cu n=1 bit a modulaiei difereniale a
impulsurilor n cod.
2.Modulaia delta uniform

Modulaia delta uniform este un caz particular al modulaiei
difereniale a impulsurilor n cod avnd numai dou niveluri de cuantizare.
Seciunea2.1
Fie un semnal x(t ) de band limitat W care este supus modulaiei
delta uniforme. Semnalul este mai nti eantionat cu frecvena f 0 >> 2 W .
La fiecare eantion xn , se calculeaz semnul diferenei dintre eantionul de
intrare xn i ultima aproximaie x n1 , sgn( xn x n 1 ) . n funcie de semnul
acestei diferene se d comanda de cretere sau de scdere a eantionului
urmtor x n , cu o valoare a cuantei q0 conform relaiilor:
q = sgn( xn x n1 ) q0 = q0
x n = x n1 + q = x n 1 q0
Pe canalul de transmisie se transmite semnalul diferenei
sgn( xn x n 1 ) cu ajutorul cruia la recepie se poate reconstrui semnalul
x (t ) , format din eantioanele x n . O schem bloc a unui sistem de transmisie
cu modulaie delta liniar i formele de und care s ilustreze principiul de
funcionare sunt:
x(t )
Circuit de
eantionare
f0
xn
Sumator
Cuantizor pe
un bit
x n1
Decodor
Eroare de
neurmrire
canal
sgn( xn x n 1 )
Eroare de
granulare
Seciunea 2.2
n seciunea de mai sus au fost ilustrate dou tipuri de erori de
cuantizare care pot aprea n modulaia delta uniform:
erori de neurmrire pe poriunile rapid variabile ale semnalului
x(t ) .
erori de granulare pe poriunile lent variabile ale semnalului.
Pentru a nu avea erori de neurmrire este necesar ca viteza de variaie
a cuantei s fie mai mare dect viteza maxim de variaie a semnalului. Iar
pentru a nu avea erori de granulare este necesar ca mrimea cuantei q0 s fie
ct mai mic. Prima condiie se scrie q0 f 0 f (t ) .
Pentru un semnal dat aceast condiie este indeplinit fie prin mrirea
frecvenei de eantionare, ceea ce duce la mrirea benzii de transmisie B ,
fie prin mrirea cuantei q0 ceea ce este n contradicie cu condiia necesar
micorrii erorilor de granulare.
Cuanta maxim necesar pentru a avea erori de neurmrire minime n
cazul unui semnal de intrare sinusoidal x(t ) = A cos(2 W t ) este,
(qo )max 2 W A
f0
Seciunea 2.3
Pentru a analiza mai exact erorile care apar n modulaia delta
uniform definim urmtorii parametrii:
q f
a).Factorul de pant s = 0 0 , unde D este puterea medie a derivatei
D
semnalului x(t ) , supus modulaiei delta. D se calculeaz cu relaia
M
D = 2 q x ( ) d , unde M = 2 W , iar q x ( ) este densitatea

0
spectral de putere a semnalului x(t ) .

b).Factorul de extensie al benzii semnalului transmis pe linie fa de banda
f
semnalului x(t ) este: b = 0 .
2 W
Factorul de putere pentru semnalul sinusoidal din seciunea 2.2 este
1
W
0
D =W
s=
[x(t )]2 dt = 2 W 2 A2
2 b q0
A
Seciunea 2.4
Cu ajutorul parametrilor definii n seciunea anterioar putem

determina puterea erorii de neurmrire Z N , pe cea a erorii de granulare Z G ,
precum i puterea minim a erorii de cuantizare globale Z C . Deoarece n
practica transmiterii numerice a informaiei cele mai importante semnale
sunt cele vocale i cele de televiziune prezentm n continuare relaiile care
exprim puterile celor trei tipuri de erori n cazul semnalelor de televiziune
vocal i al semnalelor cu spectru de putere uniform i de band limitat.
Semnalele de televiziune i cele vocale se aproximeaz n practic cu
semnalele care au o densitate de repartiie a probabilitii exponenial i
respectiv o densitate spectral de putere integrat. Raportul
3
din tabele
M
are valorile 0.011 pentru semnalul de televiziune i 0.23 pentru semnalul

vocal, iar puterea semnalelor este normalizat.
q x ( )
M2
1
3
3
s
ZG
s <8
s >8
3 tan
q b
2 s2
18 b 3
2 s3
144 b 3
8 2 3 s
e (s + 1)
81
ZN
(Z C )min
M
3
2
1 +
3
M
3
tan 1 M M
3
b q0 M
D
2
D s2
6 M2 b 3
D s3
48 M2 b 3
8 2 D 3 s(3 s +1)
e
27 M
(ln b )2
3 +
b
2 (ln b )2 + 2..06 ln b + 1.17
2.06 ln b 1.17
18
b3
b3
2 D
6 M2
Eroarea de cuantizare minim n cazul modulaiei delta uniforme se

obine pentru un factor de pant optim dat de relaia soptim = ln 2b , pentru
care s-a determinat n tabelul prezentat i eroarea de cuantizare minim.
Seciunea 2.5
Cu relaiile prezentate n seciunea 2.4 putem determina raportul
semnal zgomot maxim n cazul modulaiei delta uniforme. Dac considerm
puterea semnalului normalizat i egal cu unu atunci avem:
S
= 10 log10 [(Z C )min ]dB
Z
C max im
n modulaia delta neuniform eroarea global de cuantizare este
sesizabil la schimbri mici n puterea semnalului. Acest lucru se poate
observa chiar din expresia care definete factorul de pant s , a crui
modificare se datoreaz numai modificrii puterii semnalului.
Dac valoarea factorului de pant s , difer mult fa de cea optim,
eroarea de cuantizare nu va mai fii apropiat de (Z C )min i ca atare modulaia
delta uniform devine suboptimal.
Pentru ca sistemul de modulaie s poat elimina funcionarea n
regimuri suboptimale datorat variaiei factorului de pant cu timpul trebuie
ca s modificm fie mrimea pasului de cuantizare, fie frecvena de
eantionare (vezi expresia lui s ).
Deoarece variaia frecvenei de
eantionare este nepractic rmne prima soluie care se folosete n
modulaia delta adaptiv.
3.Desfurarea lucrrii
Schema bloc a montajului:
Sumator
Surs de
semnal
Comparator
Sumator de
cuante
Codor de
linie
Calculul
cuantei
Canal
Calculul
cuantei
Decodor de
linie
Sumator de
cuante
n partea practic a acestei lucrri se studiaz modulaia delta asupra

unui semnal periodic. Semnalul pe care l vom studia are spectrul de putere
mrginit i uniform cu M dat iar puterea medie a derivatei semnalului este
D.
1.Determinai pentru acest semnal factorul de pant pentru diferite
valori ale factorului de extensie al benzii de transmisie b = 2;4;8;16;32... .
2.Se urmrete panoul frontal pentru familiarizarea cu el.
3.Se pornete lucrarea de la butonul RUN de pe panoul central i se

poziioneaz regimul de lucru pentru regimul modulaie delta uniform de la
butonul corespunztor.
4.Se alege o frecven de eantionare din cele trei posibile i se
vizualiaz semnalul generat. Tipul acestuia poate fii ales de la tipul
semnalului de pe panoul frontal avnd formele: combinat, triunghi, dinte de
fierstru, dreptunghi, sinus, curent continuu.
5.Se urmresc semnalele n diferitele puncte ale schemei: semnalul
eantionat modificnd frecvena de eantionare; semnalul aproximat; cel de
la ieirea comparatorului, comparatorul d la ieire 1 logic dac eantionul
luat din semnal este mai mare dect eantionul reconstituit din semnalele
anterior prelevate i 0 logic n caz contrar.
6.Se urmresc i celelalte semnale din celelalte puncte. Codorul de
linie transform semnalul binar ntr-un semnal ternar cu return la zero.
Decodorul de linie plasat la recepie reface semnalul binar din cel de linie.
La recepie se gsesc blocul de calcul al cuantei care n modul de lucru
modulaie delta uniform are numai funcia de a genera o cuant de valoare
constant conform relaiei: q = sgn( xn x n1 ) q0 = q0 i blocul sumator de
cuante care este caracterizat de relaia: x n = x n 1 + q = x n 1 q0 .
7.Se vizualizeaz semnalul recepionat i cel recepionat suprapus pe
cel iniial. Acest lucru e fcut de sumator. Se compenseaz ntrzierea
pentru a obine o eroare i un raport semnal zgomot ct mai bune.
MODULAIA DELTA ADAPTIV CU

CUANTE LINIAR VARIABILE
1.Introducere
Cu scopul reducerii erorii de neurmrire, existente n transmisiile cu
modulaia delta, cuanta sistemului de transmisie se face liniar variabil.
Modulaia delta adaptiv urmrete realizarea unui raport maxim
semnal zgomot de cuantizare controlnd mrimea factorului de pant s .
Deoarece frecvena de eantionare f 0 este n aplicaiile practice constant
controlul lui s se bazeaz pe modificarea valorii cuantei n funcie de
dinamica semnalului de la intrare astfel:
pentru poriunile rapid variabile ale semnalului se utilizeaz cuante
mari.
pentru poriunile lent variabile ale semnalului se utilizeaz cuante
mici.
n algoritmii practici utilizai ai modulaiei delta adaptive cuantele
sunt multiplii ai unei valori de baz q0 .
Seciunea 3.1
Deoarece modificarea pailor de cuantizare se face cu o rat egal cu
frecvena de eantionare, modulaia delta adaptiv poate fii vzut ca o
modulaie delta liniar n care se introduce o compresie instantanee a
semnalului de la intrare x(t ) .
Deci innd seama de acest aspect putem folosii relaiile de la
modulaia delta liniar i n analiza modulaiei delta adaptive. Deoarece n
modulaia delta adaptiv mrimea pasului de cuantizare este mrit n mod
discret de la valoarea minim q0 la K 2 q0 , K 3 q0 , ... , K n q0 , eroarea de
neurmrire este semnificativ numai atunci cnd se depete capacitatea de
adaptare a sistemului, adic atunci cnd x(t ) > K n q0 f 0 .
Ca urmare n general valoarea factorului de pant s este mai mare n
K q f
modulaia delta adaptiv dect n cea liniar: s = K n s = n 0 0 .
D
Pentru K n = 8 valoarea maxim a factorului de pant pentru

modulaia delta adaptiv n cazul unui semnal sinusoidal
x(t ) = 20 cos 400 t [mv] , cu q0 = 2mv i f 0 = 800Hz obinem
s = 0.141 .
Seciunea 3.2
Limitele asimptotice ale puterii erorilor de neurmrire Z N i de
granulare Z G pentru modulaia delta adaptiv sunt:
8 2
27
D
2 e 3s (3 s + 1) s < ln2b
M
D
2
2 (s)3
ZG =
ln2b < s < 8 K n

3
2
6 b Kn M
Z N =
Z G =
D
2
48 b K M
3
3
n
(s)3
s > 8 K n
De asemenea se poate arta c valoarea minim a zgomotului de

cuantizare n modulaia delta adaptiv este aceeai ca n modulaia delta
uniform.
Seciunea 3.3
n cazul modulaiei delta cu cuante liniar variabile, factorul de
multiplicitate K n reprezint termenul general al unei progresii aritmetice cu
raia 1. Determinarea factorului de multiplicitate la un moment dat se face
pe baza algoritmului Song care const cu creterea cuantei cu o constant
q0 , atunci cnd semnul derivatei semnalului transmis se pstreaz n
comparaie cu momentul anterior i respectiv scderea cu aceeai constant
q0 , atunci cnd semnul derivatei semnalului transmis s-a modificat n
comparaie cu situaia precedent. Adic cuanta qi urmeaz regula
qi = qi 1 + q0 [sgn( xi xi 1 )sgn( xi 1 xi 2 )], dar nu mai mic dect q0 .
n linie se transmite sgn( xi xi 1 ) , semnificaia simbolurilor folosite
este urmtoarea: qi cuanta considerat atunci cnd se transmite eantionul
xi din semnalul x(t ) i cu care se va opera pentru a obine semnalul
reconstituit la recepie. Factorul de multiplicitate se definete cu relaia

q
K i = i , xi semnalul reconstituit dup recepia eantionului cu numrul i .
q0
xi = xi 1 + sgn( xi xi 1 ) qi
Schema bloc a unei instalaii care poate realiza modulaia delta
adaptiv cu cuante liniar variabile este:
s(t)
EANTIONARE
xi
sgn( xi xi 1 )
COMPARATOR
linie
xi1
f0
qi
SUMATOR DE
CUANTE
CALCULUL
CUANTEI
Sumator
Surs de
semnal
Comparator
Sumator de
cuante
Codor de
linie
Calculul
cuantei
Canal
Calculul
cuantei
Decodor de
linie
Sumator de
cuante
1.Se
urmrete
panoul
frontal
pentru
familiarizarea cu el.
2.Se pornete lucrarea de la butonul RUN de pe
panoul central i se poziioneaz regimul de lucru
pentru regimul modulaie delta adaptiv cu cuante
liniar variabile de la butonul corespunztor.
3.Se alege o frecven de eantionare din cele
trei posibile i se vizualiaz semnalul generat.
Tipul acestuia poate fii ales de la tipul
semnalului de pe panoul frontal avnd formele:
combinat,
triunghi,
dinte
de
fierstru,
dreptunghi, sinus, curent continuu.
4.Se urmresc semnalele n diferitele puncte
ale
schemei:
semnalul
eantionat,
modificnd
frecvena de eantionare; semnalul aproximat; cel
de la ieirea comparatorului, comparatorul d la
ieire 1 logic dac eantionul luat din semnal este
mai
mare
dect
eantionul
reconstituit
din
semnalele anterior prelevate i 0 logic n caz
contrar.
i
celelalte
semnale
din
5.Se
urmresc
celelalte puncte.
Codorul de linie transform
semnalul binar ntr-un semnal ternar cu return la
zero. Decodorul de linie plasat la recepie reface
semnalul binar din cel de linie.
La recepie se
gsesc blocul de calcul al cuantei care n modul de
lucru modulaie delta adaptive cu cuante liniar
variabile are funcia de a genera o cuant conform
relaiei: qi = qi 1 + q0 [sgn( xi xi 1 )sgn( xi 1 xi 2 )] i blocul
sumator de cuante care este caracterizat de
relaia: xi = xi 1 + qi .
6.Se vizualizeaz semnalul recepionat i cel
recepionat suprapus pe cel iniial. Acest lucru e
fcut de sumator.
Se compenseaz ntrzierea
pentru a obine o eroare i un raport semnal zgomot
ct mai bune.
MODULAIA DELTA ADAPTIV CU

CUANTE EXPONENIAL VARIABILE
1.Introducere.
Cu scopul reducerii erorilor de neurmrire, cuanta sistemului de
transmisie cu modulaie delta se face variabil.n lucrarea de fa aceast
variabilitate a cuantei const n creterea sau scderea cuantei dup o lege de
dependen exponenial.
n cazul modulaiei delta adaptive cu cuante exponenial variabile,
factorul de multiplicitate K n , reprezint termenul general al unei progresii
geometrice cu raia 2. Determinarea factorului de multiplicitate la un
moment dat se face pe baza algoritmului Jayant, care const n creterea sau
scderea cuantei dup o lege dependent exponenial de semnul produsului
dintre semnalul emis n linie i cel emis la momentul anterior, adic:
qi = qi 1 2[sgn ( xi xi 1 )sgn ( xi 1 xi 2 )]
n linie se transmite sgn( xi xi 1 ) . Semnificaia simbolurile folosite

este urmatoarea: qi este cuanta cu care se va opera la recepie n urma sosirii
semnalului sgn( xi xi 1 ) , pentru a obine eantionul estimat la momentul i ,
din cel estimat la momentul anterior i 1 , adic:
xi = xi 1 + sgn( xi xi 1 ) qi
Factorul de multiplicitate i n acest caz se determin cu relaia
q
K i = i , unde avem:
q0
qi 1 este cuanta cu care s-a operat la momentul anterior;
xi i xi 1 sunt eantioanele de la momentele i i respectiv i 1 .
i n acest caz valoarea limit a cuantei este q0 .
Schema bloc a unui sistem care realizeaz modulaia delta cu cuant

exponenial este:
s(t)
EANTIONARE
xi
COMPARATOR
sgn( xi xi 1 )
linie
xi1
f0
SUMATOR DE
CUANTE
qi
CALCULUL
CUANTEI
Sumator
Surs de
semnal
Comparator
Sumator de
cuante
Codor de
linie
Calculul
cuantei
Canal
Calculul
cuantei
Decodor de
linie
Sumator de
cuante
1.Se urmrete panoul frontal pentru familiarizarea cu el.

2.Se pornete lucrarea de la butonul RUN de pe panoul central i se
poziioneaz regimul de lucru pentru regimul modulaie delta adaptiv cu
cuante exponenial variabile de la butonul corespunztor.
3.Se alege o frecven de eantionare din cele trei posibile i se
vizualiaz semnalul generat. Tipul acestuia poate fii ales de la tipul
semnalului de pe panoul frontal avnd formele: combinat, triunghi, dinte de
fierstru, dreptunghi, sinus, curent continuu.
4.Se urmresc semnalele n diferitele puncte ale schemei: semnalul

eantionat, modificnd frecvena de eantionare; semnalul aproximat; cel de
la ieirea comparatorului, comparatorul d la ieire 1 logic dac eantionul
luat din semnal este mai mare dect eantionul reconstituit din semnalele
anterior prelevate i 0 logic n caz contrar.
5.Se urmresc i celelalte semnale din celelalte puncte. Codorul de
linie transform semnalul binar ntr-un semnal ternar cu return la zero.
Decodorul de linie plasat la recepie reface semnalul binar din cel de linie.
La recepie se gsesc blocul de calcul al cuantei care n modul de lucru
modulaie delta adaptive cu cuante exponenial variabile are funcia de a
genera o cuant conform relaiei: qi = qi 1 2[sgn ( xi xi 1 )sgn ( xi 1 xi 2 )] i blocul
sumator
de
cuante
care
este
caracterizat
de
relaia
xi = x i 1 + sgn( xi x i 1 ) qi .
6.Se vizualizeaz semnalul recepionat i cel recepionat suprapus pe
cel iniial. Acest lucru e fcut de sumator. Se compenseaz ntrzierea
pentru a obine o eroare i un raport semnal zgomot ct mai bune .
Cap.5 Teste gril

5.1 Dac p(A) este probabilitatea de realizare a mesajului A, atunci informaia furnizat de producerea
sa , i(A), este:
1
a). lnA; *b). log2 p(A); c). p(A) log2
; d). log2 p(A); e). p(A)ln p(A).
p ( A)
5.2 Entropia unei surse este:
a). informaia medie transmis de surs n unitatea de timp;
b). informaia instantanee transmis de surs;
c). egal cu raportul dintre entropia maxim a sursei i redundana sa;
*d). egal cu produsul dintre entropia maxim i eficiena sursei;
e). nici o variant nu este corect.
5.3 Cantitatea de decizie a unei surse este:
a). informaia medie transmis de surs printr-un simbol al su, dac sursa este echiprobabil;
*b). egal cu entropia maxim a sursei;
c). egal cu produsul dintre entropia maxim i eficiena sursei;
d). informaia medie transmis de surs n unitatea de timp;
e). nici o variant nu e corect.
5.4 Care dintre scopurile de mai jos nu se realizeaz prin codare:
a). adaptarea naturii diferite a sursei la natura canalului;
*b). multiplexarea mai multor semnale purttoare de informaie n vederea transmiterii pe
acelai canal;
c). compresia sursei;
d). protejarea informaiei mpotriva perturbaiilor;
e). protejarea informaiei mpotriva receptorilor neautorizai (secretizarea).
5.5 Care dintre mrimile de mai jos reprezint criterii de fidelitate:
__________
1). eroarea medie ptratic: = [x(t ) y (t )]2;
________
2). raportul semnal-zgomot: = y(t)2/u(t)2;
3). echivocaia;
a). doar 1).; b) 1). i 3).; c) 2) i 3).; d) toate trei; *e). 1) i 2)..
5.6 Care dintre mrimile de mai jos reprezint criterii de fidelitate:
1). eroarea medie H(Y/X) = -
i =1
j =1
p(xi,yj)log2p(yj/ xi);
_______
2). raportul semnal-zgomot: =y(t)2/u(t)2;
3). rata erorii (BER).
a). doar 1).; b). 1). i 3).; *c). 2) i 3).; d). toate trei; e). 1). i 2)..
57
5.7 O surs discret S este fr memorie dac:

*a). emisia unui simbol nu depinde de simbolurile anterior emise;
b). probabilitile diferitelor simboluri nu depind de originea timpului;
c). genereaz simboluri la o indicaie exterioar;
d). genereaz simbolurile cu o vitez fix;
e). nici un rspuns nu este corect;
5.8 O surs discret este cu debit necontrolat dac:
a). emisia unui simbol nu depinde de simbolurile anterior emise;
*d). genereaz simbolurile cu o vitez fix;
e). nici un rspuns nu este corect;
5.9 O surs discret Sn este extensia unei surse de ordin n a sursei S dac:
a). emisia unui simbol nu depinde de simbolurile anterior emise;
d). genereaz simbolurile cu o vitez fix;
*e). nici un rspuns nu este corect;
5.10 Informaia obinut n urma realizrii evenimentului a, a crui anse de realizare sunt 100% este:
*a). zero; b). un bit; c). un bit/simbol; d). strict pozitiv; e). nici un rspuns nu e corect.
5.11 Relaiile ntre unitile de msur a informaiei sunt:
a). 1nit<1bit<1dit;
b). 1bit<1dit<1nit;
c). 1dit<1nit<1bit;
d). 1dit<1bit<1nit;
*e). 1bit<1nit<1dit.
5.12 Entropia unei surse de informaie:
a). reprezint incertitudinea medie ce exist apriori asupra emisiei;
b). reprezint informaia medie purtat de un simbol al sursei;
c). se calculeaz cu formula:
N
H(s)= p(si)i(si), unde: si i=1..N, -simbolurile sursei;

i =1
N -numrul de simboluri;
i(si) -informaia furnizat de
simbolul si;
p(si)-probabilitatea de emisie a
lui si;
*d). se msoar n bii/secund;

e). devine maxim dac sursa este echiprobabil.
Precizai rspunsul fals.
58
5.13 O SDFM , S, cu 32 de simboluri are entropia egal cu a unei surse echiprobabil cu 26 de

simboluri. Redundana sursei S este:
*a). 0,3 bit/simbol;
b). 0,3 bit/secund;
c). 4,7 bit/simbol;
d). 4,7 bit/secund;
e). 6%.
5.14 Precizai rspunsul fals. Entropia unei SDFM este:
a). dat prin formula:
N
H(S)= p(si)log2p(si),unde: si i=1..N, -simbolurile sursei;

i =1
N
-numrul de simboluri;
p(si) -probabilitatea de
emisie a lui si;
b). msurat n bii/simbol;

*c). o funcie continu n raport cu fiecare variabil si;
d). o funcie simetric n raport cu toate variabilele p(si);
e). aditiv.
5.15 O surs de informaie are entropia numeric egal cu 3,7 iar redundana sursei este 5,3%. Sursa are
un numr de simboluri egale cu:
a). 13; *b). 15; c). 16; d). 9; e). 4.
5.16 Semnalele utilizate pentru transportul informaiei numerice sunt compuse din suite de semnale
elementare n timp, numite momente. Numrul de momente transmise n unitatea de timp este:
1). debitul de momente;
2). viteza de modulaie;
3). viteza telegrafic.
Rspunsurile corecte sunt:
a). 1); b). 2); c). 3); d). nici unul; *e). toate trei.
5.17 Precizai rspunsul fals. Debitul de informaie al unei surse de informaie este:
*a). msurat n bii/simbol;
b). msurat n bii/secund;
c). cantitatea medie de informaie generat de surs n unitatea de timp;
d). egal cu debitul de decizie, dac sursa este echiprobabil;
e). mai mic dect capacitatea canalului, la transmisiile n timp real.
5.18 Pentru un canal de transmisie discret, X={xi}i=1..n si Y={yj}j=1..m reprezint cmpurile de la
intrarea, respectiv ieirea din canal. Matricea de trecere P este o matrice avnd dimensiunile nxm i
conine probabiliti de forma:
a). p(xi)p(yj);
b). p(xi, yj);
c). p(xi/yj);
*d). p(yj/xi,);
e). nici un rspuns nu e corect.
59
5.19 Un canal este binar simetric dac:

a). p(0E)=P(1E);
b). p(0E/1R)=p(1E/0R);
*c). p(0R/1E)=p(1R/0E);
d). p(0R)=p(1R);
e). nici o variant nu e corect.
5.20 Un canal este binar simetric dac:
a). p(0E,0R)=p(0E,1R);
b). p(0E/0R)=p(1E/1R);
c). p(0R/1E)=p(1R/1E);
d). p(0R)=p(1R);
*e). nici o variant nu e corect.
5.21 Mrimea H(y)-H(y/x) pentru un canal binar este:
*a). transinformaia doar dac p(0R)=p(1R);
b). capacitatea canalului doar dac p(0R)=p(1R);
c). subunitar;
d). msurat n bii/simbol binar;
e). egal cu H(x)-H(x/y) dac p(0R)=p(1R);
5.22 Mrimile mrginite superior de H(x) entropia cmpului de la intrarea n canal, sunt:
a). numai transinformaia;
b). eroarea medie i transinformaia;
c). echivocaia i eroarea medie;
*d). echivocaia i transinformaia;
e). echivocaia, eroarea medie i transinformaia.
5.23 Mrimile mrginite superior de H(Y) entropia cmpului de la ieirea din canal, sunt:
a). numai transinformaia;
*b). eroarea medie i transinformaia;
c). echivocaia i eroarea medie;
d). echivocaia si transinformaia;
e). echivocaia, eroarea medie i transinformaia.
5.24 Capacitatea canalului binar simetric avnd rata erorii BER=10-2 este:
*a). 0,9192 bii/simbol binar;
b). 0,944 bii/simbol binar;
c). 0,944 bii/secund;
d). 0,9756 bii/secund;
e). 0,9192 bii/secund.
60
5.25 O SDFM avnd tabelul:

b
c
d
a
S=
0,2
0,25
0,4
emite cte un simbol la fiecare milisecund. Debitul sursei este:

a). 1,9 kbii/simbol;
b). 1,3 kbii/secund;
c). 573 bii/secund;
*d). 1,9 kbii/secund;
e). 1,3 kbii/secund.
5.26 Care din expresiile de mai jos reprezint capacitatea unui canal de transmisiune analogic
(considerat ca un FTJ ideal avnd lrgimea de band B i raportul semnal-zgomot - zgomot
gaussian).
a) C = log 2 (1 + B) ;
*b) C = B log 2 (1 + ) ;
c) C = (B + 1) log 2 ;
d) C = B 2 log 2 (1 + ) ;
e) C = B log 2 1 + 2 ;
5.27 Fie S o surs discret cu memorie avnd graful din figura 1:
S0 = 00
3/7
3/4
1/2
S1 = 01
S2 = 10
S3 = 11
2/5
Figura.1
Sursa are memorie de:
a) un pas, deoarece orice tranziie se face ntre starea actual i starea viitoare;
b) doi pai, deoarece orice tranziie se face ntre dou stri;
*c) doi pai, deoarece fiecare stare este numit prin doi pai;
d) doi pai, deoarece din fiecare stare pleac dou ramuri;
e) patru pai, deoarece sunt patru stri.
5.28 Fie S o surs discret cu memorie avnd graful din figura 1. Ce anse sunt ca sursa S s emit un
zero dac secvena emis pn n prezent a fost: 10011?
a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%;
61
5.29 Sursa discret cu memorie, S, al crei graf este prezentat n figura 1, se gsete n stare S2. Care
este probabilitatea ca dup emisia a trei simboluri sursa s se gseasc n starea S1?
a) 3,125%;
b) 42,86%;
c) 18,37%;
*d) 21,5%;
e) 46%;
5.30 Fie Sn extensia sursei discrete i fr memorie, S. Entropia sursei Sn, notat H(Sn), se calculeaz
funcie de entropia sursei S, notat H(S), dup relaia:
*a) H(Sn)=nH(S);
b) H(Sn)=(H(S))n;
c) H(Sn)=H(S);
d) H(Sn)=H(S)log2n;
e) nici o variant nu este corect.
5.31 Eficiena unei surse discrete fr memorie, avnd 20 simboluri echiprobabile, ce s-a codat cu un
cod binar bloc, este:
1
a) log 2 20;
5
*b) 100%;
c) 5 / log 2 20;
d) 4 / log 2 20;
5.32 O SFDM avnd 20 simboluri echiprobabile se codeaz binar bloc. Eficiena codrii este:
1
*a) log 2 20;
5
b) 100%;
c) 5 / log 2 20;
d) 4 / log 2 20;
5.33 Teorema de existen a codurilor instantanee se exprim prin inegalitatea:
M
mni
i =1
(care reprezint condiia necesar i suficient de existen a codurilor instantanee).

n relaia de mai sus, se reprezint numrul de simboluri:
a) de control;
b) de informaia;
c) ale sursei de informaie;
*d) ale alfabetului codului;
62
5.34 Teorema de existen a codurilor instantanee se exprim prin inegalitatea:

M
mni
i =1
(care reprezint condiia necesar i suficient de existen a codurilor instantanee).

n relaia de mai sus, M reprezint numrul de simboluri:
a) de control;
b) de informaia;
*c) ale sursei de informaie;
d) ale alfabetului codului;
5.35. Teorema I-a a lui Shannon (teorema codrii surselor pentru transmitere pe canale fr perturbaii).
a) afirm c poate fi fcut o codare absolut optimal;
*b) se adreseaz doar codrii surselor cu probabilitile simbolurilor de forma:
p(Si ) = m n i cu n i N
c) nu precizeaz procedee de codare;
d) are n vedere o codare pe grupe de n simboluri a sursei, cu n.
e) este valabil i pentru coduri ternare.
5.36 Un cod absolut optimal:
a) are eficien 100%;
b) se poate obine pentru surse la care probabilitile simbolurilor sunt de forma
p(Si ) = m n i cu n i N ;
c) pentru o surs oarecare este doar o limit teoretic;
*d) nu poate fi obinut, indiferent de surs, printr-o codare simbol cu simbol;
e) are lungimea medie a cuvintelor egal cu entropia sursei ce o codeaz.
5.37 Un cod optimal:
a) Se poate obine prin algoritmul Huffman static?
b) are eficiena subunitar;
c) este un cod bloc dac N=2k - numrul de cuvinte de cod;
d) este un cod bloc dac N=2k - numrul de simboluri ale sursei codate;
*e) este neaprat un cod binar.
5.38 Algoritmul de codare Huffman static:
*a) conduce la un cod absolut optimal,
b) conduce la un cod de eficien maxim posibil;
c) presupune ordonare descresctoare a simbolurilor sursei dup probabiliti;
d) se poate aplica i surselor echiprobabile;
e) se poate aplica i la coduri nebinare.
63
5.39 Algoritmii de compresie realizeaz micorarea:

a) cantitii de informaie coninut ntr-un anumit mesaj;
*b) spaiului ocupat de un mesaj;
c) debitului de informaie la o transmisie;
d) vitezei de transmitere a informaiei;
5.40 Algoritmul de compresie Huffman dinamic:
a) realizeaz o compresie superioar celui static;
b) necesit cunoaterea statisticii a sursei date;
c) presupune modificarea codului dup transmiterea fiecrui simbol;
d) realizeaz o codare pe grupe de n simboluri, cu n;
*e) nici o variant nu este corect.
5.41 Suma cifrelor mesajului VARZA, cifrat cu cifrul lui Polybius este:
a) 20, b) 25; *c) 26; d) 28; e) nici un rspuns nu este corect.
5.42 Suma cifrelor mesajului DOVLEAC cifrat cu cifrul lui Polybius este:
a) 26; b) 28; c) 31; *d) 34; e) 39.
5.43 Aflai rspunsul la ntrebare descifrnd mesajul EQDVYXLQ:
a) 1; b) 2; *c) 3; d) 4; e) 5;
5.44 Aflai rspunsul la ntrebare descifrnd mesajul DOGRLOHD:
a) 1; *b) 2; c) 3; d) 4; e) 5;
5.45 Aflai rspunsul la ntrebare descifrnd mesajul ECWE IK HACKKU:
a) de la 1 la 6; b) de la 7 la 12; c) de la 13 la 18; d)de la 19 la 24; e)de la 25 la 31;
5.46 O surs de informaie discret i fr de memorie se codeaz cu un cod binar bloc de eficien
maxim posibil. Ct trebuie s fie lungimea cuvintelor codului bloc dac sursa are 15 simbolurilor?
a) 3 bii; *b) 4 bii; c) 15 bii; d) 16 bii; e) nici o variant nu este corect.
5.47 Codnd prin algoritmul Huffman static o surs de informaie oarecare cu 15 simboluri, lungimea
maxim a cuvintelor codului ar putea fi (se are n vedere toate sursele posibile cu 15 simboluri).
a) 4 bii; *b) 14 bii; c) 15 bii; d) 16 bii; e) nici o variant nu este corect.
5.48 Codnd prin algoritmul Huffman static o surs de informaie oarecare cu 15 simboluri, lungimea
cea mai mic dintre cuvintele codului ar putea fi (se are n vedere toate sursele posibile cu 15
simboluri).
a) 4 bii; b) 14 bii; c) 3 bii; d) 2 bii; *e) 1 bit.
64
5.49 Sursa de informaie text TEORIA TRANSMITERII INFORMATIEI se codeaz binar bloc.
Lungimea medie a cuvintelor codului este:
a) 3,1 bii/secund;
b) 2,15 bii/secund;
c) 4 bii/secund;
d) 10 bii/secund;
*e) nici o variant nu este corect.
5.50 Sursa de informaie text TEORIA TRANSMITERII INFORMATIEI se codeaz cu un cod de
eficien maxim posibil (codare simbol cu simbol ). Lungimea medie a cuvintelor codului este:
*a) 3,1 bii/simbol;
b) 2,15 bii/simbol;
c) 4 bii/simbol;
d) 10 bii/simbol;
65

Curs Teoria Informatiei Si A Codarii

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Curs Teoria Informatiei Si A Codarii

Încărcat de

Drepturi de autor:

Formate disponibile

CURS TEORIA

Prof.dr.ing. Adrian Mihaescu

1.3 Codarea surselor pentru canale fr perturbaii

Cap.2 Codarea pentru canale cu pertubaii

2.6 Coduri grup

2.7 Codul grup Hamming, corector de o eroare

2.8 Coduri iterate

2.9 Coduri ciclice

2.9.4 Decodarea codurilor ciclice

Cap.3 SEMNALE ALEATOARE

3.3 Valori medii ale semnalelor aleatore

3.6 Transformri liniare ale semnalelor aleatoare

Cap.4 Transmiterea discret a semnalelor continue

4.4 Conversia Analog-numeric

4.5 Modulaia delta

Cap.5 DETECTIA SEMANALELOR BINARE ACOPERITE DE

5.2 Detecia discret a semnalului binar

5.3 Detecia continuu a unui semnal binar

5.4 Detecia a dou semnale binare observate continuu

Cap.6 ESTIMAREA PARAMETRILOR

6.2 Parametrii aleatori: estimatori de tip Bayes

6.3.1 Estimarea discret utiliznd criteriul estimrii maximum aposteriori

6.4.3 Estimarea liniar prin observaii continue a unui parametru determinist

Cap.1 Surse de informaie. Canale de transmisiune

1.1 Surse de informaie

iC informaie necesar pentru a solva problema.

x(t) mesaj transmis; y(t) mesaj recepionat;

Ansamblul [x,p] formeaz o surs de informaie discret.

1.1.5 Tipuri de surse de informaie

R = H max H (X ) , unde: H max = log 2 n

1.2 Canale discrete

Dac nu se face nici o ipotez asupra independenei sau dependenei elementelor xi i yj ,

p(y1 , x1 ) p(y 2 , x1 )........p (y m , x1 )

1 = p{U(y1 , x i ) I U(y 2 , x i ) I ... I U(y m , x i )} = p(y j , x i )

H(X ) = p(x i )log 2 p(x i )

H(Y ) = p(y j ) log 2 p(y j )

p(x , y ) log p(x , y )

Valoarea medie a acestei incertitudini este:

) U (x i y j ) = p(x i y j )log2 p(x i y j )

p(y ) p(x /y )logp(x /y ) =

p(x i )p(y j/x i )logp(y j/x i ) =

Eroarea medie, este o msur a incertitudinii cmpului de la ieire cnd se cunoate

Dac, canalul are perturbaii foarte puternice, atunci:

p(y1/x1 ) .......p(y m /x1 ).

Valoarea medie a informaiei mutuale se obine considernd toate perechile de simboluri

= log2 p(xi ) P(xi , yi ) log2 p( y j ) p(xi , yi ) +

= p(xi ) log2 p(xi ) p( y j )log2 p( y j ) +

P(x , y )log p(x , y ) =

= p(x i ) log 2 p(x i )

p(x )p(y /x )logp(y , x )

H (X, Y ) = H (X ) + H (Y/X ) = H (Y ) + H (X/Y )

I(X, Y ) = H (X ) H (X/Y ) = H (Y ) H (Y/X )

I(X, Y ) = max[H(X ) H(X/Y )] = max[H(Y ) H(Y/X )]

Maximizarea, se face n raport cu setul de probabiliti a cmpului de intrare

Capacitatea canalului binar simetric:

p(x i )p(y j/x i )logp(y j/x i ) =

rezult C = 1 + p log 2 p + (1 p ) log 2 (1 p )

1.3 Codarea surselor pentru canale fr perturbaii

1.3.3 Lungimea medie a unui cuvnt de cod

H(S) = H(C) = p(si) log p(si) = p log p

H(X) = p(x i ) log p(x i )

H(S) = H(C) = l H(X) l log 2 M ,

sau innd seama de relaia