Sunteți pe pagina 1din 13

Canale discrete de transmisiune cu zgomot

1. Obiectivul lucrrii
n lucrare se studiaz diferite tipuri de canale discrete, staionare, fr memorie, cu zgomot, caracterizate prin parametri statistici i informaionali.

2. Introducere teoretic
ntre sursa de informaie i utilizator exist un mediu prin care trebuie transmise informaiile. Mediul, mpreun cu aparatura necesar transmisiunii, se numete canal. Canalul stabilete o transformare de la spaiul simbolurilor de la intrare [ X ] , la spaiul simbolurilor de la ieirea din canal [Y ] . O reprezentare schematic a unui canal de transmisiune a datelor este dat n figura 1.

Fig. 1. Schema bloc a unui lan simplu de transmisiune a datelor.

2.1. Clasificarea canalelor de transmisiune a datelor Exist o mare diversitate de canale de transmisiune a datelor, motiv pentru care se face o clasificare n scopul unei mai bune nelegeri a asemnrilor i deosebirilor dintre ele. Un prim criteriu clasificare este natura spaiilor de intrare i de ieire, [ X ] i respectiv [Y ] . Canalul se numete discret dac spaiul de la intrare [ X ] i spaiul de la ieire [Y ] sunt discrete. Similar pentru canalul continuu. Canalul se numete continuu-discret sau discret-continuu dac unul din spaii este continuu i cellalt discret.

13

Descrierea unui canal de transmisiune discret se face prin graful su de tranziii

Fig. 2. Graful de tranziii al unui canal discret cu zgomot.

Un al doilea criteriu de clasificare ine cont de momentele de timp la care se face transmisia datelor. Dac transmisia prin canal se face tot timpul, atunci canalul se numete continuu n timp. Dac transmisia datelor se face la momente de timp discrete, canalul se numete discret n timp. Un al treilea criteriu este dependena unei transformri de date din canal de transformrile anterioare. Dac transformarea unui simbol xi din spaiul [ X ] ntr-un simbol yj din spaiul [Y ] nu depinde de transformrile anterioare, atunci canalul este fr memorie. Dac aceste transformri nu depind de alegerea originii timpului, atunci canalul este staionar. Un alt criteriu important de clasificare a canalelor l constituie influena perturbaiilor asupra canalelor de transmisiune a datelor. Se deosebesc canale fr perturbaii (cazul ideal) i canale cu perturbaii (cazul real). Un canal se numete simetric dac fiecare simbol de intrare este transformat ntr-un numr finit de simboluri de ieire, cu acelai set de probabiliti, indiferent de simbolul aplicat la intrare. Cu alte cuvinte, un canal este simetric dac orice simbol se eroneaz cu aceeai probabilitate. Consecinele simetriei canalului: - matricea de zgomot (care va fi introdus mai jos) este simetric, - graful de tranziii este simetric, - eroarea medie (care va fi definit n cele ce urmeaz) nu depinde de probabilitile simbolurilor din spaiul de intrare, ci numai de perturbaiile de pe canal, - capacitatea (care va fi prezentat ulterior) se atinge pentru probabiliti egale ale simbolurilor din spaiul de intrare. Observaie. Reciprocele acestor afirmaii nu sunt ntotdeauna adevrate, iar aceste consecine ale simetriei nu trebuie confundate cu definiia simetriei canalului. Dac matricea de zgomot a canalului este format din linii care se obin prin permutarea aceluiai set de probabiliti, se spune c acel canal este uniform fa de intrare. Dac matricea de zgomot a canalului este format din coloane care se obin prin permutarea aceluiai set de probabiliti, se spune c acel canal este uniform fa de ieire. Un canal uniform att fa de intrare ct i fa de ieire se numete canal dublu uniform.

14

n cele ce urmeaz se vor discuta canalele discrete, fr memorie, cu proprietatea de staionaritate. Exemple de canale discrete cu zgomot de transmisiune a datelor: - canalul binar simetric, - canalul binar cu anulri, - canalul binar cu erori i anulri, - canalul ternar simetric, - canalul Q-ar, - canalul Z. 2.2. Parametrii canalelor discrete 2.2.1. Entropia la intrarea n canal H(X) Dac [ X ] este mulimea tuturor simbolurilor pe care canalul poate s le transmit, unde [ X ] = [ x1 , x2 ,..., xn ] , i dac fiecare simbol xi este utilizat cu probabilitatea p(xi), atunci se poate defini urmtorul set de probabiliti: [ p ( X )] = [ p ( x1 ), p ( x 2 ),..., p ( x n )] . Aceste probabiliti nu depind de canal, ns de ele depinde informaia transmis prin canal. Entropia la intrarea n canal se definete astfel: H ( X ) = p( x i ) log p( x i ) [bit/simbol].
i =1 n

Observaie: Toi logaritmii sunt n baza 2. Entropia H(X) are valoarea maxim

log n

pentru

setul

de

1 probabiliti: p ( x1 ) = p( x2 ) = ... p ( xn ) = i se anuleaz dac un simbol din n

spaiul de intrare are probabilitatea 1, iar celelalte 0. Entropia H(X) este o mrime continu, pozitiv, simetric n raport cu setul de variabile p(xi) i aditiv. 2.2.2. Entropia la ieirea din canal H(Y) Dac [Y ] este mulimea tuturor simbolurilor de la ieirea din canal: [Y ] = [ y1 , y2, ..., ym ] , iar probabilitile simbolurilor de ieire sunt: [ p( y )]] = [ p( x1 ), p( x2 ),..., p( ym )] , atunci entropia la ieirea din canal poate fi definit asemntor cu cea de la intrarea n canal: H ( X ) = p( x i ) log p( x i ) [bit/simbol].
i =1 n

Se poate arta i n acest caz c entropia la ieirea din canal este maxim pentru probabiliti egale ale simbolurilor de la ieirea din canal. 2.2.3. Entropia spaiului reunit (cmpului produs) intrare-ieire H(X,Y) innd cont de spaiul de intrare [ X ] i de spaiul de ieire [Y ] , se poate defini un spaiu produs (sau cmp reunit) [ X , Y ] , prin matricea:

15

x1 y1 x y [ X ,Y ] = 2 1 ... xn y1

x1 y2 x2 y 2 ... xn y 2

... ... ... ...

x1 ym x2 y m , ... xn y m

unde prin produsul xiyj s-a notat realizarea att a evenimentului xi, ct i a evenimentului yj, adic emisia simbolului xi i recepia simbolului yj. Matricei de mai sus i corespunde matricea de probabiliti urmtoare:
p ( x1 , y 1 ) p( x , y ) [ P ( X , Y )] = 2 1 ... p( x n , y1 ) p ( x1 , y 2 ) ... p ( x 2 , y 2 ) ... ... ... p( x n, y 2 ) ... p ( x1 , y m ) p( x 2 , y m ) . ... p( x n , y m )

Entropia spaiului reunit (cmpului produs) intrare-ieire poate fi definit cu ajutorul relaiei:
H ( X , Y ) = p( x i , y j ) log p( x i , y j ) [bit/simbol].
i =1 j =1 n m

2.2.4. Echivocaia H(X/Y) Dac spaiul de la ieirea din canal este cunoscut, datorit efectelor perturbaiilor rmne totui o oarecare incertitudine asupra spaiului de la intrare. Valoarea medie a acestei incertitudini se numete entropia spaiului [ X ] condiionat de spaiul [Y ] i se noteaz H(X/Y).
H ( X / Y ) = p( x i , y j ) log p ( x i / y j ) [bit/simbol].
i =1 j =1 n m

Entropia H(X/Y) se numete echivocaie, fiindc este o msur a echivocului care exist asupra spaiului de la intrare cnd se cunoate spaiul de la ieire. ntotdeauna
H ( X ) H ( X /Y ) .

Pentru determinarea echivocaiei este necesar s se cunoasc probabilitile p(xi/yj), i = 1, , n, j = 1, , m, date de matricea [ P ( X / Y )] . 2.2.5. Eroarea medie H(Y/X) n mod analog cu echivocaia se poate determina entropia spaiului de la ieire cnd se cunoate spaiul de la intrare:
H (Y / X ) = p( x i , y j ) log p ( y j / x i ) [bit/simbol].
i =1 j =1 n m

16

Entropia H(Y/X) se numete eroare medie, fiindc este o msur a incertitudinii (deci a erorii) asupra spaiului de la ieire cnd se cunoate spaiul de la intrare. ntotdeauna
H (Y ) H (Y / X ) .

Pentru determinarea erorii medii este necesar s se cunoasc probabilitile p ( y j / xi ), i =1, n j =1, m , date de aa-numita matrice de zgomot (sau de tranziie sau de eroare) P[Y/X]. Matricea de zgomot se construiete pe baza grafului de tranziii asociat canalului. 2.2.6. Transinformaia I(X,Y) Transinformaia se definete ca fiind valoarea medie a informaiei transmise pe canal. I(X,Y) = H(X) + H(Y) - H(X,Y) = H(X) - H(X/Y) = H(Y) - H(Y/X). ntotdeauna
I ( X ,Y ) 0 .

2.2.7. Relaii ntre entropii ntre matricele de probabiliti [ P(Y / X )] i [ P ( X , Y )] exist relaia: [ P( X )] [ P(Y / X )] = [ P( X , Y )] , unde matricea probabilitilor de la intrare se scrie sub forma diagonal:

p ( x1 ) 0 [ P( X ) ] = 0

0 p ( x2 ) 0

0 0 . p ( xn )

Acestei relaii ntre probabiliti i corespunde o relaie ntre entropii de forma: H(X) + H(Y/X) = H(X,Y). H(X/Y) + H(Y) = H(X,Y). 2.2.8. Reprezentarea grafic a relaiilor ntre entropii Se consider c se asociaz spaiului [ X ] de la intrarea n canal o mulime A, iar spaiului [Y ] de la ieirea din canal o mulime B. Pe aceste mulimi se definete o msur m(A), respectiv m(B), care este o suprafa. ntre aceast msur i entropii se pot stabili corespondenele: m(A) H(X) m(A/B) H(X/Y) m(B) H(Y) m(B/A) H(Y/X) m(A B) H(X,Y) m(AB) I(X,Y) Reprezentarea grafic a acestor corespondene este:

17

Fig. 3. Ilustrarea grafic a relaiilor ntre entropii i transinformaie.

Pe baza corespondenelor, relaiile dintre entropii devin evidente. Se disting dou cazuri particulare: 1) Canalul discret fr perturbaii n aceast situaie, prin recepionarea simbolului yj exist certitudinea asupra simbolului transmis, de exemplu xi: p(xi/yj) = 1 i n consecin H(Y/X) = 0. n mod analog, H(Y/X) = 0. Incertitudinea asupra ntregului sistem are o valoare mic, dat numai de incertitudinea spaiului de la intrare, respectiv de la ieire. Transinformaia crete, datorit anulrii echivocaiei i erorii medii. H(X,Y) = H(X) = H(Y) = I(X,Y), H(X/Y) = H(Y/X) = 0. Spaiile sunt identice i ntreaga informaie se transfer prin canal. Reprezentarea grafic devine:

Fig. 4. Cazul canalului discret fr perturbaii.

2) Canalul discret cu perturbaii foarte puternice n aceast situaie spaiul de la ieire devine independent de spaiul de la intrare, adic p(yj/xi) = p(yj) i p(xi/yj) = p(xi). Eroarea medie devine egal cu entropia spaiului de la ieire, echivocaia devine egal cu entropia spaiului de la intrare , iar transinformaia este nul. H(X,Y) = H(X) + H(Y), H(X/Y) = H(X),

18

H(Y/X) = H(Y), I(X,Y) = 0. Corespunztor, reprezentarea grafic devine:

Fig. 5. Cazul canalului discret cu perturbaii foarte puternice.

2.3. Capacitatea canalelor discrete Pentru a defini o msur a eficienei cu care se transmite informaia i a gsi limita superioar a acesteia s-a introdus noiunea de capacitate a canalului. Capacitatea canalului discret cu zgomot se definete ca fiind valoarea maxim a transinformaiei. C = max I ( X , Y ) = max[ H ( X ) H ( X / Y )] = max[ H (Y ) H (Y / X )] [bit/simbol]. { p ( x )} { p ( x )} { p ( x )}
i i i

Capacitatea se msoar tot n [bit/simbol], iar maximizarea se face n raport cu setul de probabiliti al cmpului de la intrare. Valoarea maxim a transinformaiei are loc pentru valori bine determinate ale acestor probabiliti, care definesc astfel o anumit surs secundar. Pentru a transmite prin canal transinformaia cu valoarea ei maxim este necesar ca sursa primar s fie transformat prin operaia de codare n sursa secundar specificat de probabilitile care dau maximul expresiei transinformaiei. Acest lucru se numete adaptarea statistic a sursei la canalul de comunicaii. Pentru capacitatea canalelor discrete se deosebesc urmtoarele cazuri particulare: 1. Canalul discret fr perturbaii C = max I ( X , Y ) = max[ H ( X )] = log n [bit/simbol]. { p ( x )} { p ( x )}
i i

1.

Canalul discret cu perturbaii foarte puternice C = 0 [bit/simbol].

3. Canalul discret simetric Capacitatea oricrui canal simetric se atinge pentru o distribuie uniform a setului de probabiliti { p ( xi )} : p ( x1 ) = p ( x2 ) = ... p( xn ) = dat de relaia:
1 i este n

19

C =
i =1

1 m p( y j / x i ) log p( y j / x i ) + log m [bit/simbol]. n j =1

2.4. Tipuri de canale discrete 2.4.1. Canalul binar simetric Acest canal modeleaz cazul transmisiei binare n care un simbol poate fi transmis corect sau poate fi confundat cu cellalt simbol. Este caracterizat de urmtorul graf de tranziii (n = m = 2):

Fig. 6. Canalul binar simetric.

Matricea de zgomot a canalului este

[ P(Y / X ) ] =
unde p = p(y2/x1) = p(y1/x2). Capacitatea canalului este:

1 p p

p , 1 p

C = 1 + plogp + (1-p)log(1-p) [bit/simbol], pentru p(x1) = p(x2) = 1/2. Cazuri limit: a) Canal fr perturbaii p = 0 C = 1 [bit/simbol]. b) Canal cu perturbaii foarte puternice p = 1/2 C = 0 [bit/simbol]. 2.4.2. Canalul binar cu anulri (tergeri) Acest canal modeleaz cazul transmisiei binare n care un simbol poate fi transmis corect, poate fi confundat cu cellalt simbol, sau poate fi recepionat cu o valoare incert (acest al treilea simbol poart denumirea de simbol de anulare sau de tergere). Este caracterizat de urmtorul graf de tranziii (n = 2, m = 3):

20

Fig. 7. Canalul binar cu anulri (tergeri).

Matricea de zgomot a canalului este:

[ P(Y / X )] =

1q 0

0 1q

q , q

unde q = p(y3/x1) = p(y3/x2) (probabilitatea de anulare sau de tergere). Capacitatea canalului este: C = 1 - q [bit/simbol], pentru p(x1) = p(x2) = 1/2. 2.4.3.Canalul binar cu erori i anulri Acest canal cumuleaz efectele celor dou canale prezentate anterior i este caracterizat de urmtorul graf de tranziii (n = 2, m = 3):

Fig. 8. Canalul binar cu erori i anulri.

Matricea de zgomot a canalului este:

[ P(Y / X )] =

1 p q p

p 1 p q

q , q

unde q = p(y3/x1) i p = p(y2/x1). Capacitatea canalului este: C = 1 - q + plogp - (1-q)log(1-q) + (1-p-q)log(1-p-q) [bit/simbol], pentru p(x1) = p(x2) = 1/2. 2.4.4. Canalul ternar simetric Acest canal modeleaz cazul transmisiei ternare n care un simbol poate fi transmis corect sau poate fi confundat cu aceeai probabilitate cu

21

unul din celelalte dou simboluri. Este caracterizat de urmtorul graf de tranziii (n = m = 3):

Figura 9. Canalul ternar simetric.

Matricea de zgomot a canalului este:


1 p [ P (Y / X )] = q q q 1 p q q q , 1 p

unde p = 2q, q fiind probabilitatea de eronare. Capacitatea canalului este: C = log3 + (1-p)log(1-p) + 2qlogq [bit/simbol], pentru p(x1) = p(x2) = p(x3) = 1/3. 2.4.5. Canalul binar Q-ar Pentru a putea descrie mai bine canalul binar Q-ar se vor face mai nti cteva referiri la canalul gaussian. Canalul gaussian este un canal discret-continuu, fr memorie, la care spaiul de intrare este discret: [ X ] = [ x1 , x 2 ,..., x n ] i spaiul de ieire este continuu: [Y ] = ( ; ) , avnd densitatea de probabilitate condiionat:
2 p( y / x i ) = 1 / 2 2 exp ( y x i ) / 2 2 , i = 1, , n.

) [

Schematic, acesta poate fi reprezentat astfel:

Fig. 10. Canalul gaussian.

unde n1 este o variabil aleatoare gaussian de medie nul i de dispersie 2. n cazul canalului binar Q-ar, din motive practice, valorile recepionate y din cazul canalului gaussian sunt cuantizate, prelucrarea semnalului fiind astfel mai simplu de realizat. Spaiul de la ieire este mprit n Q zone de decizie folosind Q-1 nivele.

22

Fig. 11. Canalul binar Q-ar.

Probabilitile de tranziie n una din cele Q zone de decizie sunt:


p ( i / 0 ) = P ( y Di / 0) = p ( y / 0 )dy ,
Di

p ( i / 1) = P ( y Di / 1) = p ( y / 1)dy , unde D
i

2 p ( y / 0) = 1 / 2 2 exp ( y 1) / 2 2 ,

( p ( y / 1) = (1 /

2 2

) [ ) exp[ ( y + 1)

/ 2 2 .

Capacitatea canalului binar Q-ar este dat de relaia: C = p ( i / 0 ) log{ 2 p ( i / 0) /[ p ( i / 0 ) + p ( i / 1) ]} [bit/simbol].


i =0 Q 1

2.4.6. Canal binar Z Acest canal modeleaz cazul transmisiei binare puternic asimetrice, n care zgomotul afecteaz diferit (n situaiile limit) cele dou simboluri: un simbol este transmis ntotdeauna corect (fr perturbaii), iar cellalt simbol poate fi la fel de probabil transmis corect sau eronat (cu perturbaii foarte puternice). Este caracterizat graful de tranziii (n = m = 2):

Fig. 12. Canalul binar Z.

Matricea de zgomot a canalului este:

[ P (Y / X ) ] =

1 / 2 1 / 2 . 1 0

23

Capacitatea canalului este:

C = max I ( X , I ) = 0.32 [bit/simbol], { p( x ) }


i

pentru p(x1) = 2/5 i p(x2) = 3/5. Observaie. Valorile probabilitilor de pe graful de tranziii fiind fixe, capacitatea este mereu aceeai. Mrimea care variaz este transinformaia I(X,Y).

3. Descrierea evoluiei programului


Programul prezint un meniu, utilizatorul avnd posibilitatea de a selecta opiunea dorit. Semnificaia tastelor care se pot folosi este urmtoarea: 1 27 0 Enter selecteaz Introducerea teoretic selecteaz cazul unui canal ales de utilizator ieire n DOS continuarea programului

Dup ncheierea unei opiuni se revine n meniu, de unde se poate selecta o alt opiune.

4. Desfurarea lucrrii
4.1. Canalul binar simetric Se aleg valori pentru p(x1) i p n intervalul (0,1) i se alctuiete tabelul urmtor: Date p(x1) P Parametrii informaionali ai canalului H(Y) H(X,Y) H(X/Y) H(Y/X) I(X,Y)

H(X)

Se observ relaiile ntre entropii i dependena capacitii canalului de probabilitatea p din matricea de zgomot a canalului. Se vor nota valorile minime i maxime ale capacitii canalului i probabilitile pentru care sunt atinse acestea. Se observ valorile celorlalte mrimi i se precizeaz situaia n care se afl canalul din punctul de vedere al nivelului perturbaiilor. Se va desena forma graficului capacitii canalului i se va marca pe grafic punctul corespunztor fiecreia dintre situaiile descrise n tabel. 4.2. Canalul binar cu anulri Se aleg valori pentru p(x1) i q n intervalul (0,1) i se parcurg etapele descrise anterior. 4.3. Canalul binar cu erori i anulri n acest caz datele de intrare sunt p(x1), p i q.

24

Se alege o probabilitate p de valoare foarte mic (de exemplu 10 -10) i se compar cu situaia de la canalul binar cu anulri pentru aceleai valori ale lui p(x1) i q. Se alege pentru q o valoare foarte mic i se compar cu situaia similar de la canalul binar simetric pentru aceleai valori ale lui p(x1) i p. 4.4. Canalul ternar simetric n acest caz datele de intrare sunt p(x1), p(x2) i p. Se parcurg etapele enunate n cazul canalului binar simetric. 4.5. Canalul binar Q-ar Se introduc diverse valori pentru parametrul a, urmrindu-se pentru ce valori se obin maximul i minimul capacitii canalului. 4.6. Canalul binar Z Se introduce probabilitatea p(x1) i se parcurg etapele enunate n cazul canalului binar simetric. Se urmrete trasarea graficului transinformaiei i se observ care sunt coordonatele poziiei curente i a maximului acestei funcii.

5. ntrebri
5.1. De cine depinde eroarea medie n cazul unui canal simetric? Dar capacitatea canalului? 5.2. Pentru ce distribuie a probabilitilor de intrare se atinge capacitatea unui canal simetric? 5.3. Cum sunt graful de tranziii i matricea de zgomot n cazul unui canal simetric? Reciproca este adevrat? 5.4. Deducei relaiile pentru erorile medii ale canalelor discrete descrise n platforma de laborator. 5.5. Deducei relaiile de calcul pentru capacitile canalelor discrete descrise n platforma de laborator. 5.6. n cazul canalului binar simetric, cum se pot interpreta situaiile n care p ( 0,5;1) ? Dai exemple de sisteme de transmisiune n care se poate aplica modelarea prin canalul binar simetric. 5.7. Dai exemple de sisteme de transmisiune n care se poate aplica modelarea prin canalul binar cu anulri. 5.8. Ce devine canalul binar cu erori i anulri n situaia n care p = 0? Dar pentru q = 0? 5.9. Care este numrul uzual de zone n care se partiioneaz spaiul de ieire n cazul canalului binar Q-ar? Ce devine canalul binar Q-ar pentru a = 3? 5.10. Ce se ntmpl cu capacitatea canalului binar Q-ar pentru valori ale lui a apropiate de zero? Explicai. 5.11. Realizai o analiz comparativ a performanelor acestor tipuri de canale.

25