Lucrarea 3

Canale discrete de transmisie a

informat, iei

3.1 Obiectivul lucr rii

Lucrarea are ca scop studiul canalelor discrete s, i f r  memorie de
transmitere a informaµiei. Vor  prezentate ³i analizate, din punct de
vedere teoretic, cinci cazuri particulare: canalul binar simetric, cana-
lul binar cu anul ri, canalul binar cu anul ri ³i erori, canalul ternar
simetric ³i canalul Z. Desf ³urarea lucr rii se concentreaz  pe studiul
transinformat, iei s, i capacit t, ii canalelor prezentate anterior. Lucrarea
se încheie cu o serie de teme s, i întreb ri.

3.2 Aspecte teoretice

Mediul zic prin care se propag  mesajele de la surs  la utiliza-
tor, ce include s, i echipamentul necesar transmisiunii datelor, poart 
numele de canal de transmisiune a informat, iei. În Fig. 3.1 sunt repre-
zentate grac elementele ce denesc canalul de transmisiune.

Putem spune c  un canal este determinat dac  se cunosc spat, iul

de intrare, spat, iul de ies, ire s, i leg tura probabilistic  între cele dou .
În acest context, se denesc:

36
D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 37

Fig. 3.1: Reprezentarea grac  a unui canal de transmisiune a

informatiei. ,

1. Parametrii spat, iului de intrare:

(a) Dimensiunea spat, iului de intrare (num r de simboluri): n

(b) Alfabetul:

[X] = [x1 , x2 , .., xn ]

(c) Setul de probabilit t, i al simbolurilor din spat, iul de intrare:

[PX ] = [p(x1 ), p(x2 ), ..., p(xn )]

(d) Entropia câmpului de evenimente de la intrare:

n
X
H(X) = − p(xi ) · log p(xi ) [bit/simbol]
i=1

2. Parametrii spat, iului de ies, ire:

(a) Dimensiunea spat, iului de ies, ire (num r de simboluri): m

(b) Alfabetul:

[Y ] = [y1 , y2 , .., ym ]
(c) Setul de probabilit t, i al simbolurilor din spat, iul de ies, ire:

[PY ] = [p(y1 ), p(y2 ), ..., p(yn )]

(d) Entropia câmpului de evenimente de la ies, ire:

n
X
H(Y ) = − p(yi ) · log p(yi ) [bit/simbol]
i=1

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
38

Fig. 3.2: Graful de tranzitie al canalului discret de

,

transmisiune.

Pentru a descrie un canal de transmisiune discret trebuie s  denim

matricea de zgomot P (X|Y ) si/sau graful de tranzitie asociat acesteia,
, ,

prezentat în Fig. 3.2. Considerând informat, ia transmis , propriet t, ile

zice ale canalului se reg sesc în matricea de zgomot (tranzit, ie) prin
distribut, ia de probabilit t, i condit, ionate p(yj |xi ):
 
p(y1 |x1 ) p(y2 |x1 ) · · · p(ym |x1 )
 p(y1 |x2 ) p(y2 |x2 ) · · · p(ym |x2 ) 
P (Y |X) = 
 ···
 (3.1)
··· ··· ··· 
p(y1 |xn ) p(y2 |xn ) · · · p(ym |xn )

Spunem despre un simbol yj din spat, iul de ies, ire c  este purt tor
de informat, ie dac  acesta poate oferi informat, ii despre simbolul emis
la intrare, xi . Matricea de zgomot este stochastic :

m
X
p(yj |xi ) = 1 ∀ i = 1..n
j=1

Altfel spus, dac  la intrarea canalului se aplic  un anumit simbol

xi ∈ X , cu certitudine la ies, irea acestuia se va recept, iona unul din
simbolurile yj ∈ Y .
O m sur  a incertitudinii globale, denit  pe ambele spat, ii este

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 39

reprezentat  de entropia câmpului reunit intrare-ies, ire:

n X
X m
H(X, Y ) = − p(xi , yj ) · log p(xi , yj ) [bit/simbol] (3.2)
i=1 j=1

Pentru descrierea canalului din punct de vedere informat, ional,

sunt utilizate alte dou  m suri entropice, descrise mai jos:

- Echivocatia: , exprim  incertitudinea asupra transmiterii sim-

bolului xi , dac  a fost recept, ionat simbolul yj :
n X
X m
H(X|Y ) = − p(xi , yj ) · log p(xi |yj ) [bit/simbol] (3.3)
i=1 j=1

- Eroarea medie: exprim  incertitudinea recept, ion rii simbolu-

lui yj , în cazul în care a fost transmis simbolul xi :
n X
X m
H(Y |X) = − p(xi , yj ) · log p(yj |xi ) [bit/simbol] (3.4)
i=1 j=1

În calculul acestor entropii intervin matricile P (X|Y ) s, i P (Y |X).

Relat, iile dintre aceste entropii sunt evident, iate grac în Fig. 3.3 - (a):

(a) (b) (c)

Fig. 3.3: Relatii între entropii: (a) caz general; (b) canal f r 
,

perturbatii; (c) canal cu perturbatii puternice.

, ,

Între aceste entropii se denesc relat, iile:

H(Y |X) = H(X, Y ) − H(X)

(3.5)
H(X|Y ) = H(X, Y ) − H(Y )

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
40

Transinformatia reprezint  valoarea medie a informatiei mutu-

, ,

ale transmise prin canal. Aceast  m rime este întotdeauna pozitiv  s, i

poate atinge valoarea 0 numai în cazul în care variabilele aleatoare X
s, i Y sunt independente.

I(X|Y ) = H(X) + H(Y ) − H(X, Y )

= H(Y ) − H(Y |X) (3.6)

= H(X) − H(X|Y )

Capacitatea canalului reprezint  maximul transinformat, iei, ma-

xim ce se calculeaz  în raport cu setul de probabilit t, i de la intrare s, i
depinde de propriet t, ile zice ale canalului studiat.

C = max(I(X, Y ))

= max[H(X) − H(X|Y )] (3.7)

= max[H(Y ) − H(Y |X)]

Plecând de la capacitatea canalelor discrete se delimiteaz  urm -

toarele cazuri particulare, evident, iate grac s, i în Fig. 3.3 - (b) s, i (c):

1. Canalul discret f r  perturbat, ii:

C = max{I(X, Y )} = max{H(X)} = log(n) [bit/simbol]

2. Canalul discret cu perturbat, ii foarte puternice:

C = 0 [bit/simbol]

3. Canalul discret simetric: capacitatea oric rui canal simetric se

atinge pentru o distribut, ie uniform  a setului de probabilit t, i de
la intrarea în canal:

n m
1
P P
C= n
p(yj |xi ) log p(yj |xi ) + log(m) [bit/simbol]
i=1 j=1

Cu alte cuvinte, capacitatea canalului este ceea ce se transmite

prin canal în cazul alegerii optime a probabilit t, ilor de intrare.

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 41

În funct, ie de inuent, a perturbat, iilor asupra datelor transmise prin

canal, acestea se împart în dou  categorii: f r  erori, respectiv canale
cu erori. În continuare se vor studia cinci cazuri particulare de canale
discrete de transmisiune a datelor:

1. Canalul binar simetric;

2. Canalul binar cu anul ri;

3. Canalul binar cu erori s, i anul ri;

4. Canalul ternar simetric;

5. Canalul Z.

3.2.1 Canalul binar simetric

Un canal se numes, te simetric dac  ecare simbol de intrare este
transformat într-un num r nit de simboluri de ies, ire, cu acelas, i set
de probabilit t, i, indiferent de simbolul aplicat la intrare. Cu alte
cuvinte, un canal este simetric dac  orice simbol se eroneaz  cu aceeas, i
probabilitate. În cazul canalului binar simetric, alfabetul de intrare
este identic cu cel de la ies, ire, [0, 1].

Fig. 3.4: Graful de tranzitie al canalului binar simetric.

,

Consecint, ele simetriei canalului:

1. Matricea de zgomot este simetric :

   
p(y1 |x1 ) p(y2 |x1 ) 1−p p
P (Y |X) = = (3.8)
p(y1 |x2 ) p(y2 |x2 ) p 1−p

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
42

2. Graful de tranzit, ie este simetric;

3. Eroarea medie nu depinde de probabilit t, ile simbolurilor din

spat, iul de intrare, ci numai de perturbat, iile de pe canal;

4. Capacitatea canalului se atinge pentru probabilit t, i egale ale

simbolurilor din spat, iul de intrare, p(x1 ) = p(x2 ) = 0.5

C = 1 + p log(p) + (1 − p) log(1 − p) [bit/simbol]

Exemplu - Fig. 3.5 prezinta trasmiterea unui semnal bidimen-

sional binar (a), pe un canal binar simetric cu probabilitate de eroare
p = 0.1 (b), p = 0.2 (c) s, i p = 0.5 (d).

(a) (b) (c) (d)

Fig. 3.5: Transmiterea unui semnal binar printr-un canal binar

simetric.

3.2.2 Canalul binar cu anul ri

Canalul binar cu anul ri are dimensiunea alfabetului de intrare
n = 2 s, i a celui de ies, ire m = 3 s, i este un canal simetric. În cazul
acestui canal, utilizatorul primes, te la ies, ire e simbolul emis [0, 1], e
un mesaj de anulare al acestuia.

Dac  not m prin q probabilitatea de anulare a ec rui simbol din

spat, iul de intrare, atunci graful de tranzit, ie arat  ca în Fig. 3.6.

Matricea de zgomot pentru canalul binar cu anul ri este:

 
1−q 0 q
P (Y |X) = (3.9)
0 1−q q

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 43

Fig. 3.6: Graful de tranzitie ale canalului binar cu anul ri.

,

Pentru p(x1 ) = p(x2 ), capacitatea acestui canal este:

C =1−q [bit/simbol]

În cazul în care utilizatorul primes, te un simbol s, i nu un semnal de

anulare la ies, irea canalului, se s, tie cu precizie c  acesta a fost trans-
mis corect. În aceast  situat, ie putem considera, spre deosebire de
canalul binar simetric, c  avem de-a face cu un canal f r  perturbat, ii.
Deoarece canalul nu este perfect, la aparit, ia unui mesaj de anulare,
utilizatorul nu det, ine nici o informat, ie despre mesajul transmis la in-
trare.

3.2.3 Canal binar cu anul ri si erori ,

Reprezint  un model mai general de canal. Graful de tranzitie al

acestui canal se poate observa în Fig. 3.7.

Fig. 3.7: Graful de tranzitie ale canalului binar cu anul ri si

, ,

erori.

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
44

Matricea de zgomot a canalului este denit  mai jos:

 
1−p−q p q
P (Y |X) = (3.10)
p 1−p−q q

Dac  simbolurile de la intrarea în canal sunt echiprobabile,

p(x1 ) = p(x2 ) = 12 , valoarea capacit t, ii canalului devine:

C = (1−q)+p·log p−(1−q)·log(1−q)+(1−p−q)·log(1−p−q) [bit/simbol]

3.2.4 Canal ternar simetric

Acest canal modeleaz  cazul transmisiei ternare în care un simbol
poate  transmis corect sau poate  confundat cu aceeas, i probabilitate
cu unul din celelalte dou  simboluri. Dimensiunile spat, iilor de intrare,
respectiv ies, ire din canal sunt egale: n = m = 3.

Fig. 3.8: Graful de tranzitie ale canalului ternar simetric.

,

Matricea de zgomot a canalului este:

 
1−p q q
P (Y |X) =  p 1−p q  (3.11)
q q 1−p
pentru o probabilitate de eronare a simbolurilor q unde p = 2 · q.
Capacitatea canalului pentru cazul în care probabilit t, ile simbo-
p(x1 ) = p(x2 ) = p(x3 ) = 13 este:
lurilor de la intrare sunt egale,

C = log(3) + (1 − p) · log(1 − p) + 2q · log(q) [bit/simbol]

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 45

3.2.5 Canalul Z
Canalul Z modeleaz  cazul transmisiei binare puternic asimetrice,
în care zgomotul afecteaz  diferit (în situat, iile limit ) cele dou  sim-
boluri: un simbol este transmis întotdeauna corect, iar cel de al doilea
poate  transmis corect sau eronat cu probabilit t, i egale.

În consecint,  , matricea de zgomot devine:

 
1−p p
P (Y |X) = (3.12)
0 1

graful de tranzitie corespunzator ind reprezentat în Fig. 3.9. Dac 

Fig. 3.9: Graful de tranzitie ale canalului Z.

,

2
probabilit t, ile simbolurilor din alfabetul de intrare sunt p(x1 ) = si
5 ,
p(x2 ) = 35 , capacitatea canalului se poate calcula:

C = 0.32 [bit/simbol]

Deoarece valorile probabilit t, ilor asociate simbolurilor de intrare

sunt mereu xe, capacitatea este mereu aceeas, i. În aceast  situat, ie,
m rimea care variaz  este transinformat, ia.

3.3 Desf ³urarea lucr rii

Prima parte aplicativ  a lucr rii propune calculul transinformat, iei
s, i al capacitatii canalelor pentru o serie de cazuri particulare.

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
46

3.3.1 Determinarea capacit tii canalelor discrete ,

Aplicatie 3.1.
, Consider m un canal cu un alfabet de intrare [X]
denit de n=3 simboluri. Alfabetul observat la ies, ire, [Y ], cont, ine
m=3 simboluri.

% dimensiunile matricii de zgomot P(Y|X)

% numarul simbolurilor la intrare canalului
n = 3;
% numarul simbolurilor la iesire canalului
m = 3;

Matricea probabilit t, ilor condit, ionate, P (Y |X), ce caracterizeaz 

canalul, este o matrice de dimensiune n × m cu suma elementelor
ec rei linii egal  cu unitatea. Aceast  matrice se poate introduce
element cu element sau, pentru un canal oarecare, se poate genera
aleator in Matlab.

% crearea unei matrici de zgomot a canalului P(Y|X)

P=[0.5 0.25 0.25; 0.2 0.7 0.1;0.3 0.4 0.3];

sau

matrice=rand(n,m); %genereaza aleator o matrice nxm cu

elemente in [0,1];
mat_norm=repmat(sum(matrice,2),1,m);
matrice=matrice./mat_norm;

Funct, ia rand implementeaz  un generator de numere aleatoare

uniform distribuite în intervalul (0, 1). Pentru ca matricea astfel de-
nit  s  e stochastic  este necesar  operat, ia de normare, respectiv
împ rt, irea elementelor ec rei linii la suma acestora.

Simbolurile de informatie debitate de surs  la intrarea canalului

se vor regasi într-un vector linie cu n elemente, ec ruia indu-i aso-
ciat  o probabilitate de aparit, ie p(xi ). În mod asem n tor, vectorul
probabilit t, ilor de intrare se poate genera aleator:

p_x=rand(1,n);
p_x=p_x./sum(p_x);

sau introduce direct:

% introducerea unui vector pentru construirea

% probabilitatilor sursei de intrare
prompt = 'Introduceti probabilitatile sursei de intrare: \n
';
p_x = input(prompt);

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 47

[0.7 0.2 0.1]

Probabilit t, ile simbolurilor sursei observate la ies, irea canalului

p(yj ) rezult  din relat, ia: P (Y ) = P (X)P (Y |X). Rezultatul aces-
tei operat, ii este un vector cu m componente a c ror sum  este 1, din
moment ce acest vector reprezint  distribut, ia de probabilitate a sim-
bolurilor la ies, irea canalului.

% probabilitati sursei observate la iesire p(y) = p(x)*p(y|

x)
p_y = p_x * P;

Cunoscându-se distributiile de probabilitate la intrarea s, i la ies, irea

canalului, folosind funct, ia entropie denit  în Lucrarea 2, se pot
calcula entropiile asociate H(X), respectiv H(Y ):
% entropia la intrarea canalului
h_px = entropie(p_x);
% entropia la iesirea canalului
h_py = entropie(p_y);

Parametrii caracterstici spat, iului de intrare, respectiv ies, ire, se pot

as, a utilizând urm toarea secvent,   de cod:

% vizualizarea parametrilor corespunzatori celor 2 spatii

msg = strcat('Probabilitatile simbolurilor de intrare p(x):
', num2str(p_x));
disp(msg);

msg = strcat('Entropia spatiului de intrare: ', num2str(

h_px));
disp(msg);

msg = strcat('Probabilitatile simbolurilor de iesire p(y):

', num2str(p_y));
disp(msg);

msg = strcat('Entropia spatiului de iesire: ', num2str(h_py

));
disp(msg);

În condit, iile observ rii unui anumit simbol la ies, ire, se pot evalua
probabilit t, i condit, ionate de acest eveniment pentru ecare simbol al
sursei, notate p(x|y). Suma elementelor pe coloanele P (X|Y ) este 1.

p_xy = zeros(n, m); %initializatrea matricii

for i = 1:n
for j = 1:m

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
48

%P(x|y) = P(y|x) * p(x) / p(y)

p_xy(i, j) = P(i, j) * p_x(i) / p_y(j);
end
end
disp(p_xy)

Pentru ecare dintre cele m observatii posibile la iesirea din canal,

, ,

se calculeaz  o entropie aposteriori - dupa transmisie [22]. Media

acestor entropii, ce consider  probabilit t, ile simbolurilor de la ies, ire,
reprezint  entropia sursei de intrare, condit, ionat  de ies, irea canalului,
H(X|Y ).
for j = 1:m
% entropii aposteriori
en_px(j) = entropie((p_xy(:, j))');
end
msg = strcat('Entropii aposteriori: ', num2str(en_px));
disp(msg);
h_xy = p_y * en_px';
msg = strcat('Entropia conditionata de iesirea observata (
H_xy): ', num2str(h_xy));
disp(msg);

Diferent, a dintre entropia sursei de la intrarea canalului s, i entro-

pia condit, ionat  poart  numele de transinformat, ie, relatia (3.6) sau
informat, ie mutual  s, i reprezint  cantitatea de informat, ie transmis 
prin canal. Transinformat, ia este variabil , valoarea acesteia depin-
zând de distribut, ia de probabilit t, i a sursei la intrarea canalului.

% calculul transinformatiei I(X,Y)=H(X)-H(X/Y)

transinformatia = h_px - h_xy;

Este important de ment, ionat faptul c  transinformat, ia este o m -

rime simetric : în cazul în care intrarea este înlocuit  cu ies, irea, sau
matricile de probabilit t, i condit, ionate se schimb  între ele, valoarea
transinformat, iei r mâne neschimbat . Aceast  observat, ie conduce la
concluzia c  un canal se comport  la fel în ambele direct, ii.

Capacitatea canalului se poate evalua analitic rezolvând o pro-

blem  de extrem: probabilit t, ile simbolurilor de la intrare sunt supuse
restrict, iei de a avea suma egal  cu unitatea. Vom impune o valoare a
limitei maxime pentru transinformat, ie, prin generarea aleatoare a mai
multor surse de n simboluri la intrare s, i evaluarea valorii informat, iei
mutuale pentru ecare dintre acestea [22]. Se va ret, ine valorea maxim 
a transinformat, iei, ce se apropie de valoarea capacit t, ii canalului.

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 49

% cautarea aleatoare a capacitatii canalului

for k = 1:20
p_x = rand(1, n);
p_x = p_x / sum(p_x);
p_y = p_x * P;
h_px = entropie(p_x);
for i = 1:n
for j = 1:m
p_xy(i, j) = P(i, j) * p_x(i) / p_y(j);
end
end
for j = 1:m
en_px(j) = entropie((p_xy(:, j))');
end
msg = strcat('Probabilitatile sursei:',num2str([p_x]));
disp(msg)
msgt=strcat('Transinformatia:',num2str(h_px - p_y * en_px')
);
disp(msgt)
end

Aplicatie 3.2.
, Calculati capacitatea canalului binar simetric de pro-
babilitate de eroare p = 0.2 modicând secventele de cod Matlab folo-
,

site anterior. Vericat, i în nal rezultatul prin calcul direct. Repetat, i

experimentul pentru p = 0.8.

Pentru explorarea canalului binar (n = m = 2) simetric, se vor

modica dimensiunile alfabetelor de intrare, respectiv ies, ire din canal
s, i se va introduce matricea de zgomot a canalului.

% dimensiunea spatiilor de intrare-iesire

n = 2;
m = 2;
P =[0.8 0.2; 0.2 0.8]

Modicat, i matricea P
astfel încât s  putet, i simula canalul f r 
perturbat, ii (p = 0) = 21 ).
s, i canalul cu perturbat, ii puternice (p
Reprezentat, i grac, folosind funct, ia plot capacitatea canalului în
funct, ie de probabilitatea de eroare, C(p).
p=linspace(0,1,1000);
% entropia
H=-(1-p).*log2(1-p)-p.*log2(p);
% capacitatea canalului binar
C=1-H;
plot(p,H)

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
50

hold on
plot(p,C,'red')

Fig. 3.10: Capacitatea canalului binar simetric in functie de ,

probabilitatea de eroare.

Aplicatie 3.3. Calculati capacitatea canalului binar cu anul ri si erori

, ,

(n = 2, m = 3) pentru p = 0.1 si q = 0.4.

n = 2;
m = 3;
P=[0.5 0.1 0.4; 0.1 0.5 0.4]

Vericat, i valoarea capacit t, ii acestui canal pentru o distribut, ie

uniform  a probabilit, at, ilor la intrarea canalului, atât prin calcul direct
cât s, i prin rularea secvent, elor de cod adaptate acestui caz particular.

Aplicatie 3.4.
, Modicat, i secventele de cod folosite pentru a imple-
menta un canal ternar simetric s, i calculat, i capacitatea acestuia pentru
p = 2q = 0.2.

3.3.2 Divergenta Kullback-Leibler

,

Aplicatie 3.5.
, Presupunem variabila aleatoare discret , X ce carac-
terizeaz  o sursa discret , f r  memorie s, i distribut, ie de probabilitate

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 51

PX - corespunz toare simbolurilor emise de sursa s, i variabila aleataore

discreta Y, ce caracterizeaza iesirea canalului, de distributie QY .

[X] = [1; 2; 3; 4; 5; 6];

[Y ] = [1; 2; 3; 4; 5; 6];
1 1 1 1 1 1
[PX ] = [ ; ; ; ; ; ];
6 6 6 6 6 6
1 1 1 1 1 1
[QY ] = [ ; ; ; ; ; ]
10 10 10 10 10 2
Divergent, a Kullback-Leibler, respectiv entropia relativ  a varibilei X
în raport cu variabila Y este:

X p(xi )
DKL (PX ||QY ) = p(xi ) · log (3.13)
i
q(yi )

1. DKL (P ||Q) ≥ 0; egalitatea cu 0 se poate atinge doar pentru

distribut, ii identice (p = q );

2. DKL (P ||Q) 6= DKL (Q||P ): aceast  m sur , neind simetric , nu

îndeplines, te propriet t, ile de distant,   în sensul strict al denit, iei;

3. DKL (P ||Q) este o m rime aditiv  pentru evenimente aleatoare

independente.

Se cere:

1. Calculul analitic al divergent, ei Kullback-Leibler pentru

distribut, iile PX s, i QY ;

2. Implementarea unei funct, ii în Matlab ce calculeaz  divergent, a

KL pentru distribut, iile de mai sus.

Rezolvare analitic : Utilizând formula divergent, ei Kullback-

Leibler prezentat  anterior, putem calcula:

D = DKL (PX ||QY ) + DKL (QY ||PX )

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
52

p(xi ) · log p(xi)

= 5 · 16 · 1/6
+ 16 · 1/6
P
DKL (PX ||QY ) = q(yi ) 1/10 1/2
= 0.2426
i
q(yi ) 1 1/10 1/2
+ 21 ·
P
DKL (QY ||PX ) = q(yi ) · log p(x i)
=5· 10
· 1/6 1/6
= 0.2939
i

as, a încât:

D = DKL (QY ||PX ) + DKL (QY ||PX ) = 0.5365

Secvent  de cod Matlab:

,

p=[1/6 1/6 1/6 1/6 1/6 1/6];

q=[1/10 1/10 1/10 1/10 1/10 1/2];
divergenta=KL_div(p,q);

functia de calcul a divergentei ind detaliata mai jos:

function D_KL = KL_div(p,q)

d = zeros(size(p));
D_pq = sum(p.*log(p./q));
D_qp = sum(q.*log(q./p));
D_KL = D_pq + D_qp;

3.4 Divergent, a Kullback-Leibler pentru

detect, ia schimb rilor în imaginile sate-
litare
În domeniul prelucr rii s, i analizei imaginilor satelitare, detect, ia
de schimb ri reprezint  o etap  esent, ial  de extragere a informat, iei în
diverse aplicat, ii legate de mediu, defris,  ri, hidrologie, biodiversitate,
monitorizarea culturilor agricole, geologie sau determinarea pagubelor
suferite ca urmare a unor dezastre naturale. Detect, ia schimb rilor prin
analiza imaginilor are ca obiectiv evident, ierea modic rilor ap rute în
scena s, i identicarea unui model de schimbare de-a lungul unei peri-
oade de timp. Ipoteza de la care se pleac  este ca imaginile utilizate
s  e preluate în condit, ii identice din punct de vedere al geometriei de
achizit, ie s, i tipului de senzor utilizat.

Metoda propus  are la baz  parcurgerea celor doua imagini cu o

fereastr  de analiz  s, i determinarea unei m suri de similaritate pen-
tru ecare fereastr , Fig. 3.11. O nou  imagine ce reect  gradul
de schimbare va  astfel generat  prin atribuirea valorii indicelui de

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 53

schimbare calculat în fereastra corespunz toare pixelui cu coordonate

asociate centrului ferestrei.

Fig. 3.11: Procesarea imaginilor pentru detectia de schimb ri.,

O m sur  a schimb rilor din scena analizat  o reprezint  distant, a

Kullback-Leibler, numit , de asemenea s, i entropia relativ . Dac  pri-
vim imaginile analizate ca ind realiz rile particulare ale unei variabile
aleatoare X, caracterizate de dou  distribut, ii pX s, i qX , aceast  ma-
sur  reprezint  un bun indicator al gradului de schimbare, valoarea 0
indicând faptul c  cele 2 distribut, ii sunt complet identice.

Consider m dou  scene preluate de senzorul Rapid Eye,

georeferent, iate s, i corectate topgrac, de rezolutie spatiala 5m,
achizit, ionate în anul 2013, în data de 11.03, respectiv 07.05. Rezul-
tatul detect, iei de schimb ri prin folosirea divergentei KL (Fig. 3.12)
pune în evident,   unele modic ri în zona de vegetatie (în alb) s, i, mai
put, in vizibile, în zona de acvacultur  din colt, ul dreapta jos al imaginii.
Implementarea în Matlab a funct, iei de detect, ie de schimb ri bazat 
pe divergent, a KL s, i etapa de citire a datelor este redat  mai jos.

% citire imagini
a=imread('5255304_2013-02-11_RE3_3A_154060_rgb.tif');
b=imread('5255304_2013-05-07_RE3_3A_160878_rgb.tif');
% decupare zona de interes
a=a(4000:5000,1:1000,:);imshow(a)
b=b(4000:5000,1:1000,:);imshow(b)

% apelare functie calcul divergenta KL

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
54

kl=CD_KL1(a,b,3)
% afisare harta de schimbare
imshow(kl)

Funct, ia de calcul pentru divergent, a Kullback-Leibler este prezen-

tat  în continuare:

function kl = CD_KL1(J1, J2, n)

% calculeaza o harta de schimbari intre imaginile I1 si I2
% folosind divergenta Kullback-Leibler;
% alb = schimbare, negru = similaritate.
% n = dimensiunea ferestrei de analiza.

% initializare vector de schimbare

KL = zeros((size(J1,2)-n)*(size(J1,1)-n),1);

index = 0;

% parcurgere imagini
for i = 1 : size(J1,1) - n
for j = 1 : size(J1,2) - n

% vectorizarea ferestrei de analiza

I1 = J1(i:i+n, j:j+n);
I2 = J2(i:i+n, j:j+n);

% calculul histogramelor pentru fereastrele de analiza

ah = (imhist(I1)) / (size(I1,1) * size(I1,2));
bh = (imhist(I2)) / (size(I2,1) * size(I2,2));

kl = 0;

for k = 1 : 256
m=1;
if ah(k)*bh(k) > 0
kl = kl + ah(k) * log(ah(k) / bh(k));
m = m + 1;
end
end

index = index+1;
KL(index) = kl;

end
end

% conversie din vector in matrice de schimbare

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 55

KL1 = reshape(KL,size(J1,2) - n, size(J1,1) - n);

kl = KL1';

(a) (b) (c)

Fig. 3.12: Rezultatele detectiei de schimb ri folosind

,

divergenta Kullback Leibler: (a) Date RapidEye - Korea

,

11.02.2013 (b) Date RapidEye - Korea 07.05.2013 (c) Harta de

schimbare.

3.5 Model de Canal de Informat, ie pentru

Monitorizarea Tracului
Tracul este o problem  cu care ne confrunt m în ecare zi. Gra-
dul de aglomerare s, i timpul necesar ajungerii la destinat, ie sunt factori
important, i în alegerea unei locuint, e, a unui loc de munc , sau în pla-
nicarea rutelor pentru intervent, ii rapide. Astfel, se caut  permanent
solut, ii pentru optimizarea tracului, una dintre acestea ind utilizarea
de algoritmi s, i sisteme inteligente de monitorizare s, i control care s  se
adapteze la condit, iile de trac.

Metodele s, i algoritmii folosit, i în managementul tracului ajusteaz 

(incrementeaz ) indecs, ii temporali ai semnalului la intervale foarte
scurte astfel încât s  descrie în timp real starea tracului. În general,
modelul de trac se bazeaz  pe ideea c  datele furnizate de sistemele
de detect, ie a autoturismelor sunt analizate on-line de programe care
calculeaz  uxul de trac s, i prezic aglomer rile.

Considerarea direct, iei în care se deplaseaz  vehiculele poate con-

duce la optimizarea modului de funct, ionare a semafoarelor într-o

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
56

intersect, ie. Fluxul autovehiculelor ce parcurg o intersect, ie este ast-

fel modelat ca un canal informat, ional [15].

Fig. 3.13: Conguratia intersectiei supus  model rii.

, ,

Fie intersect, ia reprezentat  în Fig. 3.13. Pentru exemplicare,

se consider  c  vehiculele sosesc din direct, ia E s, i pot s  îs, i continue
traseul pe oricare din celelalte 3 directii evidentiate în Fig. 3.14. Astfel
, ,

cele 3 benzi din directia E formeaz  spatiul de intrare al canalului, iar

, ,

cele trei posibile direct, ii de deplasare formeaz  spat, iul de ies, ire, graful
de tranzit, ii asociat tracului în intersect, ie ind prezentat în Fig. 3.15.

Fig. 3.14: Directiile posibil de urmat în intersectia selectat .

, ,

Experimentul foloses, te num rul de mas, ini de pe ecare band  care

intr  în intersect, ie s, i num rul de mas, ini care aleg ecare dintre cele

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 57

Fig. 3.15: Graful de tranzitii atasat intersectiei.

, , ,

trei direct, ii pentru ies, irea din intersect, ie. Se consider  s, i cazurile în
care direct, ia aleas  nu este permis  (ex. dreapta de pe banda 3).

Exemplele numerice prezentate în continuare au la baza m sura-

tori efectuate în intersect, ia str zilor Iuliu Maniu s, i Vasile Milea din
Bucures, ti, timp de 10 zile (f r  a include zile de weekend). M surato-
rile au fost f cute folosind o camer  video montat  la etajul 12 al unei
cladiri localizate lâng  intersect, ie [15].

Banda xi x1 x2 x3
Num rul de autovehicule 291 368 370
Probabilitatea p(xi ) 0.2827 0.3576 0.3595
Tabel 3.1: Denirea spatiului de intrare în canal.
,

Conform legislat, iei, orice vehicul trebuie s  ment, in  aceeas, i band 
pe ultimii 50 m pân  la intrarea în intersectie. M sur torile sunt
f cute în ipoteza ca aceast  regul  este respectat . Tabelul 3.1 indic 
num rul (m surat) de mas, ini s, i probabilitatea asociat  pentru ecare
band . Dup  m surarea trecerilor prin intersect, ie au fost obt, inute
distribut, iile prezentate în Tabelul 3.2.

Num rul de autovehicule y1 y2 y3
x1 31 209 1
x2 1 366 1
x3 1 189 180
Tabel 3.2: Denirea matricei de zgomot pe baza num rului de
autovehicule care traverseaz  intersectia. ,

Aceste informat, ii conduc la generarea matricii de zgomot a cana-

lului:

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
58

 
0.1065 0.8900 0.0034
P (Y |X) = 0.0027 0.9945 0.0027 (3.14)
0.0027 0.5100 0.4864
Ca urmare, se poate determina probabilitatea ec rei direct, ii în
parte:

Direct, ia y1 y2 y3
Probabilitatea p(yj ) 0.031 0.791 0.1768
Tabel 3.3: Denirea spatiului de iesire din canal
, ,

Rezult  astfel urm toarele valori pentru:

ˆ H(X) - entropia spat, iului de intrare,

H(X) = 1.5652 [bit/simbol]

ˆ H(Y ) - entropia epat, iului de ies, ire,

H(Y ) = 1.1304 [bit/simbol]

ˆ H(Y /X) - eroarea medie,

H(Y |X) = 0.7241 [bit/simbol]

ˆ H(X|Y ) - echivocat, ia,

H(X|Y ) = 1.0715 [bit/simbol]

ˆ I(X; Y ) - transinformat, ia, I(X;Y)=0.4937 [bit/simbol]

Transinformat, ia indic  ce cantitate de informat, ie poate  obt, inut 

la ies, irea din intersect, ie (ce direct, ie se va alege) cunoscând num rul
de mas, ini de la intrare. O transinformat, ie egal  cu 0 ar indica faptul
ca vehiculele aleg direct, ii în mod independent astfel încât echivocat, ia
este maxim .

Pentru a evalua cât de ecient se deplaseaz  vehiculele prin

intersect, ie, putem calcula raportul:

I(X; Y )
= 31.55 (3.15)
H(X)

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
 59

Rezultatul demonstreaz  utilizarea ecient  a intersect, iei în

proport, ie de 31.55%, ceea ce sugereaz  necesitatea unei ajustari a
modului de funct, ionare a semafoarelor sau a num rului de benzi pe
sens.

Aplicatie 3.6.
, Folosindu-v  de secvent, ele de cod implementate în
sect, iunea 3.3.1, realizat, i o structura de cod pentru modelul descris
anterior prin care s :

ˆ denit, i spat, iul de intrare în canal (alfabet s, i probabilit t, i) s, i

spat, iul de ies, ire (alfabet);

ˆ denit, i matricea de zgomot;

ˆ calculat, i spat, iul de ies, ire din canal (probabilit t, i);

ˆ calculat, i ecient, a canalului.

Aplicatie 3.7. Variati urm torii parametri si observati cum se modi-

, , , ,

c  ecient, a de utilizare a intersect, iei:

1. Num rul de autovehicule care intr  în intersect, ie pe ecare

band  (Tabel 3.1);

2. Proport, iile în care autovehiculele aleg direct, iile în care s  se de-

plaseze (Tabel 3.2);

3. Ment, inet, i constant num rul de autovehicule care intr  în

intersect, ie pe benzile 1 s, i 2. Variat, i num rul de autovehicule
care intr  în intersect, ie pe banda 3 între 10 s, i 100 (din 5 în
5). Ment, inet, i proport, iile în care mas, inile de pe ecare banda
aleg direct, iile prin care ies din intersect, ie s, i determinat, i, pen-
tru ecare caz, ecient, a intersect, iei. Reprezentat, i grac variat, ia
ecient, ei versus num rul de mas, ini de pe banda 3.

3.6 Exercit, ii propuse

1. De cine depinde eroare medie în cazul unul canal simetric? Dar
capacitatea canalului?

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016
60

2. Care este distribut, ia probabilit t, ilor de intrare pentru care se

atinge capacitatea unui canal simetric?

3. Exprimat, i m rimea H(X|X +Y ) folosind H(X, Y ) si H(X +Y ). ,

4. În ipoteza H(X) > H(Y ) determinati

c  , dac  relat, ia
H(X|X + Y ) > H(Y |X + Y ) este adev rat .

D. Faur, C. Pătrașcu, A. Popescu, C. Dănișor - Teoria transmisiunii informației -Aplicații, Printech 2016