Capitolul 3

Canale discrete
3.1 Breviar teoretic

Canalul este cel care face legtura a ntre sursa ce emite informatie si utilizator. Mai precis, denim canalul ca ind mediul i aparatura necesar transmiterii unui mesaj de la surs la s a a utilizator. Canalul este discret dac att spatiul de la intrare ct i cel de la ieire sunt discrete. Pentru a a a s s a nu amesteca notiunile este necesar de precizat c un canal care transmisiunea se face la a n momente discrete de timp se numete discret timp. s n Ca i cazul surselor exist un set de parametri ce caracterizeaz un canal. La intrare s n a a se consider alfabetul [X] = [x1 , x2 . . . xn ] (de lungime n) cu setul de probabiliti [PX ] = a at s a [p(x1 ), p(x2 ) . . . p(xn )]. Pe acest spatiu se denete entropia cmpului de evenimente de la intrare:
n

H(X) =
i=1

p(xi ) log p(xi )

(3.1)

Ea este o msura a informatiei transmis pe canal. a a at La ieire se consider alfabetul [Y ] = [y1 , y2 . . . ym ] (de lungime m) cu setul de probabiliti s a [PY ] = [p(y1 ), p(y2 ) . . . p(ym )]. Pe acest spatiu se denete entropia cmpului de evenimente s a de la ieire: s
m

H(Y ) =
j=1

p(yj ) log p(yj )

(3.2)

Spre deosebire de entropia la intrare, entropia la ieire nu da o msur a informatiei medii la s a a ieirea din canal, s ntruct nu ine seama de independenta a t ntre Y i X. Un simbol yj contine s informatie numai msura care ofer informatie despre simbolul emis la intrare. Singura n a n a semnicatie a lui H(Y ) este de a da o incertitudine medie a priori despre producerea unui simbol la ieire. s Pentru a evalua cantitativ informatia la ieirea din canal se consider spatiul comun (reuniune s a a spatiilor de intrare/ieire):: s 23

24

CAPITOLUL 3. CANALE DISCRETE x1 ym x2 ym x3 ym ... xn ym p(x1 , ym ) p(x2 , ym ) p(x3 , ym ) ... p(xn , ym )

x1 y1 x1 y2 x y x y 2 2 2 1 XY = x3 y1 x3 y2 ... ... xn y1 xn y2 cu setul de probabiliti: at p(x1 , y1 ) p(x , y ) 2 1 P (XY ) = p(x3 , y1 ) ... p(xn , y1 )

... ... ... ... ...

p(x1 , y2 ) p(x2 , y2 ) p(x3 , y2 ) ... p(xn , y2 )

... ... ... ... ...

Evenimentul sigur este c se transmite un simbol i se receptioneaz un simbol; deci suma a s a tuturor probabilitilor din cmpul reunit este 1. at a nseamn s se transmit simbolul xi i s se receptioneze a a a s a Un eveniment din acest spatiu, xi yj yj . Pe acest spatiu se denete entropia cmpului reunit intrare/ieire, care este o msur s a s a a a incertitudinii globale:
n m

H(X, Y ) =
i=1 j=1

p(xi , yj ) log p(xi , yj )

(3.3)

Canalul mai este caracterizat de o pereche de entropii conditionate intrare/ieire. Astfel, se s mai denesc: Echivocatia (entropia conditionat H(X/Y )): reprezint o incertitudine rezidual medie. a a a Se numete echivocatie pentru c este o msur a echivocului ce exist asupra intrrii cnd s a a a a a a a se cunoate ieirea . Evenimentul (xi /yj ) reprezint incertitudinea asupra transmiterii s s a simbolului xi dac s-a receptionat yj . Pe scurt:
n m n m

H(X/Y ) =
i=1 j=1

p(yj )p(xi |yj ) log p(xi |yj ) =

i=1 j=1

p(xi , yj ) log p(xi |yj )

(3.4)

Eroarea medie (H(Y /X)): este incertitudinea (eroarea) cmpului de la iesire cnd se a a cunoate intrarea. Este msur a erorii i nu a informatiei din acealeai considerente ca i s a a s s s cazul lui entropiei cmpului de la ieire. Evenimentul (yj |xi ) reprezint incertitudinea n a s a receptionrii simbolului yj dac s-a transmis xi . Pe scurt: a a
n m n m

H(Y /X) =
i=1 j=1

p(xi )p(yj |xi ) log p(yj |xi ) =

i=1 j=1

p(xi , yj ) log p(yj |xi )

(3.5)

Trebuie observat c ponderarea incertitudinii aceste formule este dup probabilitile a n a at din cmpul reunit i nu dup probabilitile conditionate. a s a at Se disting dou cazuri particulare de canal: a

3.1. Breviar teoretic

25

canalul fr perturbatii p(xi |yj ) = p(yj ) = 1 (se cunosc relatiile de transmisiune) = aa H(X/Y ) = H(Y /X) = 0. canalul cu perturbatii foarte puternice ,unde se constat o independent a cmpului de la a a a intrare fat de cel de la ieire: a s p(xi |yj ) = p(xi ) = H(X/Y ) = H(X); p(xi |yj ) = p(xi ) = H(X/Y ) = H(X); Pentru a calcula entropiile sunt necesare matricele: p(x1 |y1 ) p(x |y ) 1 2 P (X/Y ) = p(x1 |y3 ) ... p(x1 |ym ) p(y1 |x1 ) p(y |x ) 1 2 P (Y /X) = p(y1 |x3 ) ... p(y1 |xn ) p(x2 |y1 ) p(x2 |y2 ) p(x2 |y3 ) ... p(x2 |ym ) p(y2 |x1 ) p(y2 |x2 ) p(y2 |x3 ) ... p(y2 |xn ) . . . p(xn |y1 ) . . . p(xn |y2 ) . . . p(xn |y3 ) ... ... . . . p(xn |ym ) . . . p(ym |x1 ) . . . p(ym |x2 ) . . . p(ym |x3 ) ... ... . . . p(ym |xn ) (3.6) (3.7)

Aceste matrici sunt stochastice, adic suma pe linii este 1. a Exist relatiile: a PY P (X/Y ) = P (X, Y ) PX P (Y /X) = P (Y, X) = P (X, Y )t cu p(x1 ) 0 0 p(x2 ) = ... ... 0 0 ... 0 ... 0 ... ... . . . p(xn ) ... 0 ... 0 ... ... . . . p(ym )

(3.8)

PX

i s

p(y1 ) 0 0 p(y2 ) PY = ... ... 0 0

Relatii intre entropii: folosind relatiile ntre matricele de probabiliti se demonstreaz at a urmtoarele relatii a ntre entropii (ideea este c entropiile sunt formule ce contin logaritmi i a s log ab = log a + log b): H(X, Y ) = H(X) + H(Y /X)H(X, Y ) = H(Y ) + H(X/Y ) cazul canalului fr perturbatii: In aa (3.9)

26

CAPITOLUL 3. CANALE DISCRETE

H(X, Y ) = H(X) = H(Y ) cazul canalului cu perturbatii foarte puternice: In H(X, Y ) = H(X) + H(Y ) plus: In H(X) H(X/Y )

(3.10)

(3.11)

(3.12)

ceea ce semnic faptul c informatia medie a priori este mai mare pentru c realizarea unui a a a eveniment (adic emisia unui simbol) produce mai mult informatie dect cazul care se a a a n n cunoate ceva (simbolul receptionat) i atunci informatia produsa de realizarea unui eveniment s s este mai mic. a De asemenea: H(Y ) H(Y /X) (3.13)

Alt parametru deosebit de important este transinformatia, care reprezint valoarea medie a a informatiei mutuale transmise prin canal. Informatia obtinut prin producerea evenimentului a a s a xi dac la ieire se receptioneaz yj este: i(xi , yj ) = i(xi ) i(xi |yj ) = log( Atunci transinformatia este:
n m

p(xi |yj ) ) p(xi )

(3.14)

I(X, Y ) =
i=1 j=1

i(xi , yj )p(xi , yj )

(3.15)

i s nlocuind: I(X, Y ) = H(X) H(X/Y ) = H(Y ) H(Y /X) (3.16)

Prima parte a relatiei de mai sus d o explicatie intuitiv asupra semnicatiei a a transinformatiei: aceasta este egal cu informatia medie de dinaintea transmisiunii din care a se scade informatia medie obtinut dup transmisiune; diferenta este informatia ce traverseaz a a a canalul. Este de notat c transinformatia ind o msur a informatiei, poate lua doar valori a a a pozitive. Capacitatea canalului este valoarea maxim a transinformatiei (a ceea ce se poate transa mite prin canal). Maximizarea se face raport cu setul de probabiliti de la intrare: n at C = max[I(X, Y )]
(PX )

(3.17)

Altfel spus capacitatea este ceea ce se transmite pe canal cazul celei mai fericite alegeri a n propbabilitlor de la intrare. a Se mai denesc:

3.2. Probleme rezolvate Redundanta canalului: Rc = C I(X, Y ) Redundanta relativa: c = 1 Ecienta c = I(X, Y ) C

27

I(X, Y ) C

Cazuri particulare de canal Se disting dou cazuri particulare de canal: a In canalul fr perturbatii p(xi |yj ) = p(yj |xi ) = 1 (se cunosc relatiile de transmi- siune). aa acest caz: H(X/Y ) = H(Y /X) = 0 H(X) = H(Y ) I(X, Y ) = H(X) = H(Y ) canalul cu perturbatii foarte puternice, unde se constat o independent a cmpului de la a a a intrare fat de cel de la ieire: a s (3.18)

p(xi |yj ) = p(xi ) H(X/Y ) = H(X) p(yj |xi ) = p(yj ) H(Y /X) = H(Y ) H(X, Y ) = H(X) + H(Y ) I(X, Y ) = 0

(3.19)

(3.20)

3.2

X X X X 1 X X 4 1. [1] Fie un canal discret caracterizat de matricea de tranzitie P (Y /X) . X X X X X X X 1 5 Stiind c canalul este de capacitate nul s se completeze matricea de tranzitie. a a a
5

Probleme rezolvate

Rezolvare: Canalul este de capacitate nul dac transinformatia, I(X, Y ), este nul. Acest lucru a a a se ampl dac entropia cmpului de la ieire este egal cu eroarea medie : H(Y ) = nt a a a s a H(Y /X); fenomenul apare cazul canalului cu perturbatii foarte puternice. Reamintim n c, acest situatie ieirea este independent de intrare. Si anume: a n a s a p(yj |xi ) = p(yj ) ()i, ()j Implicit: p(yj ) = p(yj |x1 ) = p(yj |x2 ) = p(yj |x3 ) = p(yj |x4 ) ()j = 1, 4

28

CAPITOLUL 3. CANALE DISCRETE Ceea ce nseamn c matricea P (Y /X) are elementele de valoare egal pe ecare coloan. a a a a Ultima coloan descompletat este obtinut din relatia care precizeaz c suma elementelor a a a a a de pe o line este 1. Matricea de tranzit astfel obtinut este: e a 1 5 1 5 1 5 1 5 1 4 1 4 1 4 1 4 7 20 7 20 7 20 7 20 1 5 1 5 1 5 1 5

2. [8] Fie canalul caracterizat de matricea probabilitilor cmpurilor reunite: at a 0.2 0 0.1 P (X, Y ) = 0.1 0.2 0 0 0.3 0.1 S se calculeze entropiile conditionate, H(X/Y ) i H(Y /X). a s Rezolvare: Conform relatiilor 3.4 pentru a calcula entropiile conditionate avem nevoie de s at probabiliti de tipul p(xi , yj ), p(xi |yj ) i p(yj |xi ). Probabilitile evenimentelor reunite at sunt precizate enunt. Celelalte trebuie calculate. Pentru aceata facem apel la dou n a formule reamintite primul seminar: formula lui Bayes i formula probabilitatii totale. n s Formula probabilitii totale arma c dac evenimentul B are loc una din ipotezele at a a n n {A1 , A2 , . . . , An }, respectiv B = i=1 (Ai E), atunci:
n n

P (B) =
i=1

P (Ai )P (B|Ai ) =
i=1

P (B, Ai )

a a Un simbol yj se receptioneaz dac se transmite unul dintre simbolurile posibile: x1 . . . xn ; deci :

n

p(yj ) =
i=1

p(xi , yj )

Bazndu-ne pe un rationament analog: a

m

p(xi ) =
j=1

p(xi , yj )

Deci dac considerm matricea probabilitilor cmpurilor reunite, setul de probabilitti a a at a a a a Px se obtine sumnd pe linie iar Py sumnd pe coloane. Atunci p(x1 ) = 0.3 p(x2 ) = 0.3 p(x3 ) = 0.4

3.2. Probleme rezolvate iar p(y1 ) = 0.3 p(y2 ) = 0.5 p(y3 ) = 0.2 Pentru a aa evenimentele probabilitilor conditionate folosim formula lui Bayes: at P (A|B) = Adic: a p(yj |xi ) = p(yj , xi ) p(xi ) P (A, B) P (B)

29

Aplicnd acest rezultat valorilor matricei P (X, Y ) obtinem: a 2 p(y1 |x1 ) p(y2 |x1 ) p(y3 |x1 ) 3 1 P (Y /X) = p(y1 |x2 ) p(y2 |x2 ) p(y3 |x2 ) = 3 p(y1 |x3 ) p(y2 |x3 ) p(y3 |x3 ) 0 i s 2 p(x1 |y1 ) p(x2 |y1 ) p(x3 |y1 ) 3 P (X/Y ) = p(x1 |y2 ) p(x2 |y2 ) p(x3 |y2 ) = 0 1 p(x1 |y3 ) p(x2 |y3 ) p(x3 |y3 ) 2

0
2 3 3 4

0
1 4

1 3

1 3 2 5

3 5 1 2

acest moment avem calculate toate probabilitatile necesare pentru a aa entropiile In cerute:
n m

H(X/Y ) =
i=1 j=1 n m

p(yj )p(xi |yj ) log p(xi |yj ) = 7.9481

biti simbol biti simbol

H(Y /X) =
i=1 j=1

p(xi )p(yj |xi ) log p(yj |xi ) = 6.3364

3. [1] S se calculeze capacitatea canalului binar cu anulari (CBA).Graful detranzittie al acesa tui canal este prezentat gura 3.1. n Rezolvare: Matricea de zgomot asociat grafului este: a P (Y /X) = 1q 0 q 0 1q q

Relatia 3.17 denete capacitatea unui canal: s C = max I(X, Y ) = max[H(Y ) H(Y /X)]
P (X) P (X)

unde: H(Y ) =

p(yj ) log p(yj )

j=1

30

CAPITOLUL 3. CANALE DISCRETE

Figura 3.1: Canalul binar cu anulri a i s H(Y /X) =

i=1 j=1

p(xi )p(yj |xi ) log p(yj |xi )

Convenim c: a s p(x1 ) = p1 i p(x2 ) = p2 cu p1 + p2 = 1 Pentru a calcula aceste entropii avem nevoie de probabilitile simbolurilor de la ieire: at s
2

p(yj ) =
i=1

p(yj /xi )p(xi ) =

p(y1 ) = p(y1 /x1 )p(x1 ) + p(y1 /x2 )p(x2 ) = (1 q)p1 p(y2 ) = p(y2 /x1 )p(x1 ) + p(y2 /x2 )p(x2 ) = (1 q)p2 p(y3 ) = p(y3 /x1 )p(x1 ) + p(y3 /x2 )p(x2 ) = qp1 + qp2 = q Entropia cmpului de la ieire este: a s = H(Y ) = (1 q)p1 log(1 q)p1 (1 q)p2 log(1 q)p2 q log q = = (1 q)p1 log(1 q) (1 q)p1 log p1 (1 q)p2 log(1 q) (1 q)p2 log p2 q log q = = (1 q)(p1 + p2 ) log(1 q) q(p1 + p2 ) log q + (1 q) (p1 log p1 p2 log p2 ) = = (1 q) log(1 q) q log q + (1 q)H(x) Eroarea medie este: = H(Y /X) = (1 q)p1 log(1 q) (1 q)p2 log(1 q) qp1 log q qp2 log p2 = = (1 q) log(1 q) (p1 + p2 ) (q log q) (p1 + p2 ) = = (1 q) log(1 q) q log q Transinformatia este: I(X, Y ) = H(Y ) H(Y /X) = (1 q) H(X)

3.2. Probleme rezolvate

31

Figura 3.2: Canal rezultat prin cascadarea a doua canale binare simetrice Capacitatea canalui este: C = max I(X, Y ) = max(1 q) H(X) = (1 q) max H(X)
P (X) p1 ,p2 p1 ,p2

Entropia H(X) este entropia unei surse binare. Valoarea ei maxim se obtine pentru a bit probabilti egale i este 1 simbol (vezi seminarul 1). at s Rezult capacitatea canalului binar cu anulri: a a C =1q Dac reconsiderm pe acest caz cele doua tipuri speciale de canal regsim rezultatele a a a enuntate breviarul teoretic: n canalul fr perturbatii presupune un q = 0 (nu se anuleaz nimic). Atunci capaciaa a tatea este C = 1 canalul cu perturbatii foarte puternice presupune q = 1 (nu se transmite corect nimic). Atunci capacitatea este C = 0 4. [4] Dou canale binare simetrice cu aceeai capacitate C sunt legate cascad. a s n a (a) Care este matricea de zgomot a canalului rezultant? (b) Care este capacitatea canalului rezultant? (c) Care este aceasta capacitate pentru p Rezolvare: (a) Schema celor doua canale este prezentat gura 3.2 Matricele de zgomot ale celor a n doua canale sunt: P (Z/X) = p(z1 /x1 ) p(z2 /x1 ) 1p p = p 1p p(z1 /x2 ) p(z2 /x2 ) 1p p p(y1 /z1 ) p(y2 /z1 ) = p(y1 /z2 ) p(y2 /z2 ) p 1p 1?

P (Y /Z) =

32

CAPITOLUL 3. CANALE DISCRETE Matricea de zgomot a canalului rezultant este: P (Y /X) = p(y1 /x1 ) p(y2 /x1 ) p(y1 /x2 ) p(y2 /x2 )

a Probabilitatea p(yj /xi ) este probabilitatea de a receptiona yj dac a fost emis xi . Dac a fost emis xi atunci se poate receptiona e z1 (cu probabilitatea p(z1 /xi )), e a a z2 (cu probabilitatea p(z2 /xi )). Simbolul yj se poate receptiona dac (intermediar) a a fost emis simbolul z1 cu probabilitatea p(yj /z1 ) sau dac a fost emis simbolul z2 cu probabilitatea p(yj /z2 ). Atunci probabilitatea p(yj /xi ) este: p(yj /xi ) = p(yj /z1 ) p(z1 /xi ) + p(yj /z2 ) p(z2 /xi ) Setul de probabiliti p(yj /xi ) este: at p(y1 /x1 ) = p(y1 /z1 ) p(z1 /x1 ) + p(y1 /z2 ) p(z2 /x1 ) p(y2 /x1 ) = p(y2 /z1 ) p(z1 /x1 ) + p(y2 /z2 ) p(z2 /x1 ) p(y1 /x2 ) = p(y1 /z1 ) p(z1 /x2 ) + p(y1 /z2 ) p(z2 /x2 ) p(y1 /x1 ) = p(y2 /z1 ) p(z1 /x2 ) + p(y2 /z2 ) p(z2 /x2 ) Aceste relatii se pot scrie comprimat folosind operatii matriceale: P (Y /X) = P (Y /Z) P (Z/X) Matricea de tranzitie echivalent unei serii de canale antuite cascad este pro a nl n a dusul, de la ies spre intrare a matricilor de tranzitie individuale. re Rezult c: a a P (Y /X) = 1p p 1p p 1 2p + 2p2 2p 2p2 = p 1p p 1p 2p 2p2 1 2p + 2p2

Se poate observa c prin cascadarea a dou canale binare simetrice cu probabilitate a a de eroare p se obtine un canal binar simetric cu probabiliate de eroare q = 2p 2p2 . (b) Capacitatea canalului binar simetric rezultat este Cr : Cr = 1 + q log q + (1 q) log(1 q) = 1 + (2p 2p2 ) log(2p 2p2 ) + (1 2p + 2p2 ) log(1 2p + 2p2 ) (c) Dac probabilitatea de eroare este foarte mica, p a 1 putem face aproximarea p2 Rezult: a Cr = 1 + 2p log 2p + (1 2p) log(1 2p) 5. [2] Un canal este caracterizat de matricea de zgomot
1 2 1 8 1 4 1 8 1 8 1 4 1 8 1 2

0.

3.2. Probleme rezolvate S se calculeze capacitatea canalului. a

33

Rezolvare: Cmpul de intrare are dou elemente: x1 i x2 . Cmpul de la ieire are patru elemente: a a s a s s y1 , y2 , y3 i y4 . Se poate observa c ecare simbol are aceeai probabilitate de a se receptiona corect a s 1 (p(y1 |x1 ) = p(y2 |x2 ) = p0 = 2 ) i acelai set de probabiliti de eronare: p1 = 1 , p3 = s s at 4 1 , p4 = 1 . Capacitatea unui canal este dat de ecuatiia 3.17: a 8 8 C = max[I(X, Y )] = max[H(Y ) H(Y /X)]
(PX ) (PX )

Probabiltile cmpului de ieire sunt: at a s 1 1 p(y1 ) = p1 p(x1 ) + p4 p(x2 ) = p(x1 ) + p(x2 ) 2 8 1 1 p(y2 ) = p2 p(x1 ) + p3 p(x2 ) = p(x1 ) + p(x2 ) 4 8 1 1 p(y1 ) = p3 p(x1 ) + p2 p(x2 ) = p(x1 ) + p(x2 ) 8 4 1 1 p(y1 ) = p4 p(x1 ) + p1 p(x2 ) = p(x1 ) + p(x2 ) 8 2 Entropia cmpului de la ieire este: a s
4

H(Y ) =
j=1

p(yj ) log p(yj ) =

= [(p1 p(x1 ) + p4 p(x2 )) log(p1 p(x1 ) + p4 p(x2 ))+ + (p2 p(x1 ) + p3 p(x2 )) log(p2 p(x1 ) + p3 p(x2 ))+ + (p3 p(x1 ) + p2 p(x2 )) log(p3 p(x1 ) + p2 p(x2 ))+ + (p4 p(x1 ) + p1 p(x2 )) log(p4 p(x1 ) + p1 p(x2 ))] Eroarea medie este:
4 2

H(Y /X) =
j=1 i=1

p(y(j)/xi )p(xi ) log p(yj /xi ) =

=p1 p(x1 ) log p1 + p2 p(x1 ) log p2 + p3 p(x1 ) log p3 + p4 p(x1 ) log p4 + +p4 p(x2 ) log p4 + p3 p(x2 ) log p3 + p2 p(x2 ) log p2 + p1 p(x2 ) log p1 = =(p(x1 ) + p(x2 ))(p1 log p1 + p2 log p2 + p3 log p3 + p4 log p4 ) = constant Se poate observa c eroarea medie nu depinde de setul de probabilitti la intrare. Rezult a a a c: a C = max[H(Y ) H(Y /X)] =
(PX ) (p(x1 ),p(x2 ))

max

[H(Y )] H(Y /X)

34

CAPITOLUL 3. CANALE DISCRETE H(Y ) = [p1 p(x1 ) log(p1 p(x1 ) + p4 p(x2 ))+ + p2 p(x1 ) log(p2 p(x1 ) + p3 p(x2 ))+ + p3 p(x1 ) log(p3 p(x1 ) + p2 p(x2 ))+ + p4 p(x1 ) log(p4 p(x1 ) + p1 p(x2 ))+ + p4 p(x2 ) log(p1 p(x1 ) + p4 p(x2 ))+ + p3 p(x2 ) log(p2 p(x1 ) + p3 p(x2 ))+ + p2 p(x2 ) log(p3 p(x1 ) + p2 p(x2 ))+ + p1 p(x2 ) log(p4 p(x1 ) + p1 p(x2 ))] s a a Se observ ca H(Y) este o functie simetric i p(x1 ) i p(x2 ). Consecinta logic este c a a s maximul ei se obtine pentru p(x1 ) = p(x2 ) = 1 . Acest lucru se poate verica i prin calcul 2 direct (derivnd i apoi egalnd cu zero). a s a Entropia cmpului de la ieire devine: a s 1 1 1 1 H(Y ) = [ p1 log (p1 + p4 ) + p2 log (p2 + p3 )+ 2 2 2 2 1 1 1 1 + p3 log (p3 + p2 ) + p4 log (p4 + p1 )+ 2 2 2 2 1 1 1 1 + p4 log (p1 + p4 ) + p3 log (p2 + p3 )+ 2 2 2 2 1 1 1 1 + p2 log (p3 + p2 ) + p1 log (p4 + p1 )] = 2 2 2 2 1 1 [2(p1 + p4 ) log (p1 + p4 ) + 2(p3 + p2 ) log (p3 + p2 )] 2 2 Rezult capacitatea canalului ca ind: a 1 1 C = 2(p1 + p4 ) log (p1 + p4 ) 2(p3 + p2 ) log (p3 + p2 ) + 2 2
4

pi log pi
i=1

3.3

Probleme propuse

1. [2] Care este structura spatiului produs intrare/iesire P(X,Y) pentru un canal fr aa perturbatii? Dar pentru un canal cu perturbatii foarte puternice?

2. [2] S se calculeze entropiile conditionate H(X/Y ) i a s matricea cmpurilor reunite: a 0.3 0 P (X, Y ) = 0.2 0.3 0 0.1 3. [2] Fie matricea de zgomot a unui canal de forma: P (Y /X) =
1 2 1 3 2 3

H(/X) ale canalului caracterizat de 0 0.1 0

x
1 4

3.3. Probleme propuse (a) S se completeze matricea de zgomot. a

35

(b) Dac distribuitia probabilitilor alfabetului de intrare este uniform, s se scrie maa at a a tricea de probabilitiu a spatiului produs intrare/ieire. at s

4. [8] Matricea cmpurilor reunite ale unui canal discret este de forma: a 0.1 0.25 P (X, Y ) = 0.2 0 0.3 0.15 S se deseneze graful de tranzitie echivalent a H(X), H(Y ), H(X/Y ), H(Y /X), H(X, Y ), I(X, Y ). al canalului.S a se calculeze:

5. [8] Se consider canalul caracterizat de matricea de zgomot: a 1p p 0 P (Y /X) = 0 1 q q 0 0 1 (a) ce conditii (ct trebuie s e probabilitile la intrare) pentru ca entropia la ieire In a a at s s e maxim. a a a s nc a a a n (b) Ct trebuie s e p i q astfel at entropia cmpurilor reunite s e maxim, a cazul distributiei uniforme la intrare? 6. [2] Un canal de transmisiune se caracterizeaz prin matricea de zgomot a 0.98 0.01 0.01 P (Y /X) = 0.1 0.75 0.15 0.2 0.3 0.5 at La intrarea canal se aplic simbolurile x1 , x2 , x3 cu probabilitile p(x1 ) = 0.7, p(x2 ) = n a 0.2, p(x3 ) = 0.1 Se cere: (a) cantitatea medie de informatie care este furnizat de un smbol emis (H(X)) a (b) cantitatea de informatie care se pierde la transmisiunea unui mesaj format din n0 = 400 de simboluri (n0 H(Y /X)) (c) cantitatea de informatie receptionat conditiile de la (b)(H(Y )) a n 7. [2] Fie un canal binar simetric cu matricea de transfer: P (Y /X) = S se calculeze capacitatea canalului. a minim/maxim? a a 1p p p 1p Pentru ce valori ale lui p capacitatea este

36

CAPITOLUL 3. CANALE DISCRETE

Figura 3.3: Canalul binar cu erori si anulri a

Figura 3.4: Canalul ternar simetric 8. [5] S se calculeze capacitatea canalului binar cu erori i anulari (vezi gura 3.3). S se a s a particularizeze rezultatul pentru canalul binar simetric (q = 0) i pentru canalul binar cu s anulri (p = 0). a Matricea de zgomot este: P (Y /X) = 1pq p q p 1pq q

Rspuns: a Capacitatea C = 1 q + p log p (1 q) log(1 q) + (1 p q) log(1 p q)

9. S se calculeze capacitatea canalului ternar simetric (vezi gura 3.4 ). Matricea de zgomot a asociat este: a 1 2q q q P (Y /X) = q 1 2q q q q 1 2q S se generalizeze pentru canalul n-ar simetric. a Rspuns: a

3.3. Probleme propuse

37

Figura 3.5: Canalul Z Capacitatea C = log 3 2q log q (1 2q) log(1 2q) 10. [5] S se calculeze capacitatea canalului Z (vezi gura 3.5). Matricea de zgomot asociat a a este: 1p p P (Y /X) = 0 1 a Indicatie: p1 pentru care se obtine valoarea maxim a transinformatiei este: p1 = 1 1 + (1 p) p 1p
p

11. S se calculeze capacitatea canalului dat de matricea de zgomot: a 1q 0 0 q P (Y /X) = 0 1q 0 q 0 0 1q q

Bibliograe
[1] Mihai Ciuc. Note de seminar. [2] A. T. Murgan, I. Spnu, I. Gavt, I. Sztojanov, V. E. Neagoe, i A. Vlad. Teoria Transmia a s siunii Informat - probleme. Editura Didactic i Pedagogic, Bucureti, Romnia, 1983. ei as a s a [3] Alexandru Sptaru. Teoria Transmisiunii Informattiei. Editura Didactic i Pedagogic, a a s a Bucureti, Romnia, 1983. s a [4] Alexandru Sptaru. Fondements de la theorie de la transmisssion de l a nformation. Presses polytechniques romandes, Lausanne, Elvetia, 1987. [5] Rodica Stoian. Note de seminar. [6] Dan Alexandru Stoichescu. Note de seminar. [7] Eugen Vasile. Note de seminar. [8] Constantin Vertan. Note de seminar.

67