3.

CANALE DE TRANSMITERE A INFORMAIEI

Definiie : Un canal de transmitere a informaiei este constituit din mediul de transmitere i

echipamentele care fac posibile transmiterea informaiei de la surs la utilizator.

S [X] Mod C A N A L DeM R [Y]

S U

Mediul de transmisie : fire de cupru, fibrele optice, atmosfera, etc.

5.1. Clasificari ale canalelor

a) Dup domeniul de valori al v.a. X i Y de la intrarea, respectiv ieirea canalului :

- continuu/continuu
- discret/continuu
- continuu/discret
- discret/discret

b) Dup evoluia n timp a v.a. X i Y :

- continuu n timp
- discret n timp

c) Dup redundana transmisiei :

- canal fr memorie
- canal cu memorie

d) Dup statistica trasmisiei :

- staionar
- nestaionar
 5.2. Canale discrete de transmitere a informaiei

Aceast seciune privete canalele discrete/discrete, fr memorie i stationare. Noiunile

prezentate nu depind de tipul de continuitate n timp.

5.2.1. Mrimi caracteristice

Fie X , sursa de informaie care genereaz simboluri la intrarea n canal:

X x1 ,, x N
P p1 ,, p N
i Y , sursa de informaie care modeleaz ieirea din canal (sursa de informaie pentru
utilizator):

Y y1 ,, yM
Q q1 ,, qM
Din cauza perturbaiilor din canal, X i Y sunt, n general, diferite.

Spaiul produs:

x1 , y1 x1 , y 2 x1 , y M
x , y x2 , y 2 x 2 , y M
X , Y 2 1


x N , y1 xN , y2 xN , yM

Matricea probabilitilor corespunztoare spaiului produs:

px1 , y1 px1 , y 2 px1 , y M

px , y px , y px 2 , y M
P X , Y 2 1 2 2

px N , y1 px N , y 2 px N , y M

Matricea de zgomot a canalului:

p y1 x1 p y 2 x1 p y M x1

PY X py1 x2 py2 x2 p y M x 2


p y1 x N p y 2 x N p y M x N
Matricea de zgomot este stohastic:

p y
i
i
x j 1 (suma elementelor de pe orice linie este 1).

Canalele studiate sunt staionare, deci py j / xi const.

Canalele sunt fr memorie, deci probabilitatea de apariie a lui y j nu depinde dect de
simbolul generat simultan la intrarea n canal, simbolul x i pentru py j / xi .

5.2.2. Reprezentarea grafic a transmisiei prin canalele discrete

p y1 / x1
x1 y1

x2 y2

.
yM
xN

5.2.3. Entropii caracteristice

Entropia la intrarea n canal: H X pxi log pxi

i

Entropia la ieirea din canal: H X p yi log p yi

i

Entropia reunit a intrrii i ieirii: H X , Y pxi , y j log pxi , y j

i j

Echivocaia: H X Y pxi , y j log p xi y j

i j

Definiie: Echivocaia este cantitatea medie de incertitudine care rmne asupra simbolurilor
de la intrarea n canal, atunci cnd se cunosc simbolurile de la ieire.

Eroarea medie: H Y X pxi , y j log py j xi

i j

Definiie: Eroarea medie este cantitatea medie de informaie eronat, la ieirea din canal.
 pxi , y j
Informaia medie transmis prin canal: I X , Y pxi , y j log
i j p xi p y j

Definiie: Informaia medie este cantitatea medie de informaie care se transmite corect prin
canal.

Cazuri particulare :

a) Canale cu perturbaii infinite ( X i Y sunt independente)

H X , Y H X H Y

H X Y H X (la ieire, nu aflm nimic despre X ; incertitudinea asupra lui X rmne la

fel de mare)

H Y X H Y (toat informaia de la ieire este eronat)

I X , Y 0 (informaia medie transmis prin canal este nula)

b) Canale fr perturbaii (sursele X i Y sunt identice)

H X , Y H X H Y

H X Y 0 (cunoscnd ieirea din canal, nu mai exist nici o incertitudine asupra lui X )

H Y X 0 (nu exist erori la ieirea din canal)

I X , Y H ( X ) (informaia de la intrare se transmite integral prin canal)

c) Canale cu perturbaii finite ( X i Y sunt diferite, dar dependente statistic)

H X , Y H X H Y

H X Y H X (cunoscnd ieirea din canal, incertitudinea asupra lui X devine mai mic)

H Y X H Y (o parte a informaiei de la ieirea din canal este corecta)

I X , Y H ( X ) (informaia de la intrare se transmite parial prin canal)

 5.3. Capacitatea canalului discret

Definiie : Capacitatea unui canal este informaia medie maxim, care se poate transmite
prin canal :

C max I X , Y
P

Observaie: maximul se ia dup probabilitile sursei de la intrarea n canal, pentru c aceste

probabiliti pot fi controlate, ntr-o aplicaie practic.

Unitatea de masura pentru capacitate este bit/simbol.

Definiie : Redundana canalului este : R C I X , Y [bit/simbol].

I X ,Y
Definiie : Redundana relativ a canalului este : C 1 0,1 .
C

Definiie : Randamentul sau eficiena canalului, arat ct de mic este cantitatea medie de
informaie transmis prin canal, n raport cu capacitatea canalului.

I X ,Y
C 0,1
C

Observaie: redundana i randamentul sunt mrimi complementare: C 1 C

I X ,Y
Definiie : Debitul de informaie prin canal este : I t X , Y [bit/sec], unde este

durata unui simbol.

C
Observaie: Debitul maxim de informaie prin canal este: C t .

Proprieti :

a) Capacitatea canalului este o mrime nenegativ :

C 0 (deoarece I X , Y 0 )

b) Capacitatea canalului este mai mic sau egal cu entropia sursei de la intrare:

C H X (deoarece I X , Y H X )

c) Capacitatea este o funcie continu n raport cu probabilitile P X .

 5.4. Calculul capacitii canalului discret

Date iniiale : probabilitile matricii de zgomot PY / X .

Etape:

1) Aplicnd Metoda multiplicatorului lui Lagrage, se calculeaza probabilitatile pimax ,

care maximizeaz funcia I X , Y H Y H Y / X .
2) Capacitatea se obine calculnd I X , Y H Y H Y / X pentru probabilitile
obinute.

Rezolvare:

Se construiete funcia:

H Y H Y / X pi 1
i

Pentru a pune n eviden probabilitile p i n expresia lui H Y , probabilitile Q se scriu:

q j pxi , y j py j xi pxi py j xi pi
i i i

Se calculeaz derivatele pariale ale lui n raport cu p i :

- derivata lui H Y n raport cu p i :

H Y H Y q j 1
log q j p y j / xi
pi j q j pi j log e

p y j / xi p y j / xi log q j p y j / xi log q j
1 1

log e j j log e j

- derivata lui H Y / X n raport cu p i :

py j / xi pi log p y j / xi
H Y / X
p y j / xi log py j / xi
j i

pi pi j

- derivata termenului n :

pi 1
i
pi
Se egaleaz derivatele pariale ale lui cu zero; din rezolvarea sistemului, rezult
probabilitile pimax , care maximizeaz i, deci, informaia transmis prin canal:

py j / xi log q j py j / xi log py j / xi 0 pentru i 1, N

1

log e j j

Grupnd termenii cu sume i constante, se obin ecuaiile:

p y j / xi
p y
j
j / xi log
qj
ct pentru i 1, N

Completnd aceste ecuaii cu:

q j p y j / xi p i pentru j 1, M
i
i
p
i
i 1

se obine un sistem cu N M 1 ecuaii i acelai numr de necunoscute, din care se pot

obine probabilitile pimax si q max
j , care maximizeaz informaia transmis prin canal.

Capacitatea canalului se calculeaz cu relaia:

p y j / xi
C p y j / xi pimax log
i j q max
j

Observaii:

- acest sistem nu are, n general, o soluie analitic; cnd nu exist o soluie analitic,
capacitatea se calculeaz cu metode numerice (algoritmul lui Frank-Wolfe, care este
bazat pe metoda gradientului, sau algoritmul iteractiv al lui Arimoto i Blahut)
- daca alfabetele surselor de la intrarea i de la ieirea din canal au acelai numar de
simboluri i, dac, determinantul matricii de zgomot este diferit de zero, atunci
sistemul are soluie analitic.

5.5. Modele de canale discrete

Aceast seciune cuprinde patru cazuri particulare de canale (modele), pentru care capacitatea
se poate calcula analitic.

5.5.1. Canalul uniform fa de intrare

Definiie: Fiecare linie a matricii de zgomot a canalului uniform fa de intrare este o

permutare a altei linii (pe fiecare linie gsim aceleai probabiliti, diferit ordonate).
Exemplu:

1 1 1
2
PY / X 3 6
1 1 1

3 2 6

Proprieti:

a) Eroarea medie nu depinde de probabilitile simbolurilor de la intrarea n canal:

H Y / X p xi , y j log p y j / xi
i, j

p y j / xi pxi log p y j / xi
i, j

pxi p y j / xi log p y j / xi ct pxi ct

i j i

b) Capacitatea canalului este:

C max I X , Y max H Y H Y / X max H Y H Y / X

P P P

5.5.2. Canalul uniform fa de ieire

Definiie: Fiecare coloan a matricii de zgomot a canalului uniform fa de ieire este o

permutare a altei coloane (pe fiecare coloan gasim aceleai probabiliti, diferit ordonate).

Exemplu:

0,5 0,5
PY / X 0,3 0,7
0,7 0,3

Proprietate:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire

sunt echiprobabile:

py j py j / xi pxi py j / xi const.
1 1
i

N i N
5.5.3. Canalul simetric

Definiie: Canalul simetric este canalul uniform att fa de intrare ct i fa de ieire.

Exemplu:

0,3 0,2 0,5

PY / X 0,5 0,3 0,2
0,2 0,5 0,3

Proprieti:

a) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i

este:

C log M H Y / X ,unde M este numrul de simboluri ale sursei de la ieirea din

canal (simbolurile de la ieire sunt echiprobabile, dac i cele de la intrare sunt echiprobabile).

5.5.4. Canalul slab simetric

Definiie: Canalul slab simetric este uniform fa de intrare i are suma probabilitilor de pe
fiecare coloan constant.

Exemplu:

1 1 1
2
PY / X 3 6
1 1 1

3 2 6

Proprieti:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire

sunt echiprobabile:

py j py j / xi pxi py j / xi const.
1 1
i

N i N

b) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i

este:

C log M H Y / X

Observaie: Uniformitatea fa de ieire nu este indispensabil pentru a putea avea o

expresie analitic pentru capacitatea canalului. Aceast condiie poate fi adaptat la
condiia ca suma probabilitilor de pe coloane s fie constant.
 5.6. Exemple de canale discrete

5.6.1. Canalul binar simetric

Matrice de zgomot:

1 p p
PY / X
p 1 p

Reprezentare grafic:

0 p 0
1-p

1-p
1 p 1

Calculul capacitii:

C log 2 H Y / X 1 H Y / X
H(X), C
,unde
1

H Y / X p y j / xi log p y j / xi
2

j 1

p log p 1 p log 1 p

deci

C 1 p log p 1 p log1 p

1/2 1 p
Cazuri particulare:

a) Canal fr perturbaii:
1 0
Matricea de zgomot: PY / X
0 1

Reprezentare grafic: 0 0

1 1

Capacitatea este maxima : C 1 bit / simbol

Observatie:

Cellalt punct de maxim al capacitii corespunde canalului inversor:

0 1
PY / X 0 0
1 0

C 1 bit / simbol

1 1

b) Canalul cu perturbaii infinite (foarte puternice)

1 / 2 1 / 2
Matricea de zgomot: PY / X
1 / 2 1 / 2

Capacitatea : C 0 bit / simbol

5.6.2. Canalul binar cu erori i anulri

Matrice de zgomot:

1 p q p q
PY / X
1 p q q
Canalul este uniform doar fa de intrare.
p

Reprezentare grafic:

X 0 1-p-q Y 0
q

p
Y a

X 1 Y 1

Calculul capacitii:

C max H Y H Y / X
P

,unde

H Y / X p y j / xi log p y j / xi
2

j 1

p log p q log q 1 p q log 1 p q

 Calculul lui max H Y :
P

- se noteaz p X 0 x i p X 1 1 x
2
- se exprim pY 0 pY 0 / xi pxi , pY a i pY 1
i 1
ca funcii de x
- se exprim H Y ca funcie de x , folosind probabilitile calculate mai sus
H Y
- se rezolv ecuaia 0
x
- cu soluia ecuaiei de mai sus, se obtine max H Y
P

Exerciiu: Calculul capacitii canalului binar cu erori i anulri.

Rspuns: C 1 q 1 q log1 q p log p 1 p q log1 p q .

1 q
Observatie: Capacitatea canalului devine zero pentru p (se rezolv ecuaia
2
C 1 q
0 i se obine soluia p )
p 2

5.6.3. Canalul binar cu anulri

Este un caz particular al canalului binar cu erori i anulri ( q 0 ).

Matricea de zgomot:

1 q 0 q
PY / X
0 1 q q

Reprezentarea grafic:

X 0 1-q Y 0

q
Y a
q

X 1 Y 1
1-q

Capacitatea: C 1 q