Canale de transmisiune discrete

Canal este cale de transmisiune a informaţiei între emiţător (sursă) şi receptor (utilizator). Un canal de
transmisiuni poate fi reprezintat ca în fig. 1. La intrarea sa se aplică o suită de simboluri de mulţimea X={Xi} ,
i= 1, n iar la ieşire se recepţionează o suită de simboluri din mulţimea Y={yj}, j= 1, m

Fig.1

cu P( x )  [p( x1 ), p( x 2 ), ..., p( x n )] - probabilităţile simbolurilor de intrare şi

P( Y )  [p( y 1 ), p( y 2 ) , ..., p( y m )] - probabilităţile simbolurilor de ieşire.

Pentru caracterizarea canalului din punct de vedere informaţional se definesc matricele probabilităţilor
condiţionate (numite şi matrice de zgomot sau matrice de tranziţie):
p  y 1 / x1  p y 2 / x2  ...p  y m / x1  
p  y  
/ x2 p y / x2  ...p  y m / x2 
P Y / X  
1 2

 ... 
 
 p  y 1 / xn  p y 2 / xn  ...p  y m / xn  

m
cu proprietatea 
j 1
p( y j / x )  1 ;
i

p  x 1 / y 1  p  x1 / y 2  ...p  x 1 / ym  
 
P X / Y   p  x 2 / y 1  p x 2 / y 2  ...p  x 2 / ym  
 ... 
 
p  x n / y 1  p xn / y 2  ...p  x n / ym  

n
cu proprietatea 
i 1
p( x i / y j )  1 .

Se poate stabili deasemenea următoarele relaţii:

   
n n
p y j  p j   p x i  p y j / xi   p i  p j / i (1)
i 1 i 1

iar cu ajutorul formulei lui Bayes se pot calcula:

pi  p j / i pi  p j / i
p xi / y   p i / j   n
 j pj . (2)
 pi pj / i
i 1

Afară de matricele P(Y/X) şi P(X/Y) poate fi considerată şi matricea probabilităţilor câmpurilor reunite:
p  x1 , y 1  p  x1 , y 2  ... p  x1 , y m 
p x , y1  p x , y  ... p  x 2 , y 
P  X, Y   2

...
2 2 m
.
p x n , y 1  p x n , y 2  ... p  x n , y m 

Pentru caracterizarea canalului se definesc următoarele entropii:

 Entropia câmpului de intrare (entropia sursei de mesaj)
n
H  X     p x i  log p xi   bit / simbol  ; (3)
i 1

 Entropia câmpului de ieşire

  
n
H Y     p yj log p y j  bit / simbol  ; (4)
j1

 Entropia condiţionată H(Y/X) numită eroare medie

 
n m
H  Y / X    p( xi ) p( y j / xi ) log p y j / xi (5)
i 1 j 1

 Entropia condiţionată H(X/Y) numită echivocaţie

   
n m
H  X / Y    p xi , y j log p xi / y j 
i 1 j 1

   p xi / y j  log p xi / y j  .
m n
  p y j (5)
j1 i 1

Transinformaţia

Cantitatea medie de informaţie pe un simbol transmis prin canal numită transinformaţia se calculează în
mod următor:

I(X,Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) +H(Y) – H(X,Y). (6)

Se mai folosesc şi următoarele relaţii:

H(Y/X) = H(X,Y) – H(X); (7)

H(X/Y) = H(X,Y) – H(Y). (8)

Problema:

Un canal de transmisiune se caracterizează prin următoarea matrice de tranziţie:

0,98 0,01 0,01
P Y / X   0,1
0, 2
0,75
0, 3
0,15
0,5
.

La intrarea în canal se aplică simbolurile X1, X2, X3 cu probabilităţile: p(X1)=0,7; p(X2)=0,2;

p(X3)=0,1.

Se cere să se determine :

a) cantitatea medie de informaţie furnizată de un simbol recepţionat;

b) cantitatea de informaţie care se pierde la transmiterea unui mesaj format din 400 de simboluri;
c) cantitatea de infromaţie recepţionată în condiţiile de la punctul (b).
Soluţie
a) se calculează entropia sursei conform relaţiei (8.1)
H  X     0,7 log 0,7  0,2 log 0,2  0,1 log 0,1  1,156 bit / simbol .

b) Eroarea medie corespunzătoare recepţionării unui simbol se calculează conform relaţiei (5) pentru
entropia condiţionată H(Y/X).
H (Y / X )  [0,7 0,98 log 0,98  2  0,01log 0,1 
 0,2 0,1 log 0,1  0,75 log 0,75  0,15 log 0,15 
 0,1 0,2 log 0,2  0,3 log 0,3  0,5 log 0,5 ]  0,47 bit / simbol.

Eroarea care apare la recepţionarea mesajului din n = 400 de simboluri va fi:

 I  nH  Y / X   400  0,473  189,5 bit .

c) Informaţia totală recepţionată va fi:

I  nI X, Y   n H Y   H Y / X    nH Y   I .

Trebuie să determinăm H(Y). Pentru aceasta este necesar calculul probabilităţilor p(Yj). Deoarece :
3
P( Yj )   p( x i )p( y j / xi )
i 1

se obţine:

p y 1   0,7  0,98  0,2  0,1  0,1  0,2  0,726 ;

p y 2   0,7  0,01  0,2  0,75  0,1  0,3  0,187 ;

p y 3   0,7  0,01  0,2  0,15  0,1  0,5  0,087 .

Entropia câmpului de ieşire este :

3
H(Y)    p(y ) log p(y )
j 1
j j
 (0,726 log 0,726  0,187 log 0,187  0,087 log 0,087) 

 1,09 bit / simbol .

Informaţia totală recepţionată are valoarea:

I  400  1,09  189,5  248,1 bit .