3.

CANALE DE TRANSMITERE A INFORMAIEI

Definiie : Un canal de transmitere a informaiei este constituit din mediul de transmitere i
echipamentele care fac posibile transmiterea informaiei de la surs la utilizator.

S [ X] Mod DeM R [ Y]
C A N A L
S U

Mediul de transmisie : fire de cupru, fibrele optice, atmosfera, etc.

5.1. Clasificari ale canalelor

a) Dup domeniul de valori al v.a. X i Y de la intrarea, respectiv ieirea canalului :

- continuu/continuu
- discret/continuu
- continuu/discret
- discret/discret

b) Dup evoluia n timp a v.a. X i Y :

- continuu n timp
- discret n timp

c) Dup redundana transmisiei :

- canal fr memorie
- canal cu memorie

d) Dup statistica trasmisiei :

- staionar
- nestaionar
 5.2. Canale discrete de transmitere a informaiei

Aceast seciune privete canalele discrete/discrete, fr memorie i stationare. Noiunile

prezentate nu depind de tipul de continuitate n timp.

5.2.1. Mrimi caracteristice

Fie X , sursa de informaie care genereaz simboluri la intrarea n canal:

Xx ,,x 1 N

Pp ,, p 1 N

i Y , sursa de informaie care modeleaz ieirea din canal (sursa de informaie pentru
utilizator):

Yy ,, y 1 M

Qq ,,q 1 M

Din cauza perturbaiilor din canal, X i Y sunt, n general, diferite.

Spaiul produs:

x1, y1 x1, y2 x1, yM

X,Y x2 , y1 x2 , y2 x2 , yM

xN , y1 xN , y2 xN , yM

Matricea probabilitilor corespunztoare spaiului produs:

 px1, y1 px1, y2 px1, yM

px2 , y1 px2 , y2 px2 , yM
PX,Y
pxN , yM

pxN , y1 pxN , y2

Matricea de zgomot a canalului:

py1x1 py2x1 pyMx1

PY X

py1 x2 py2 x2 pyM x2

py1xN py2xN pyMxN

Matricea de zgomot este stohastic:

py i
x j 1 (suma elementelor de pe orice linie este 1).
i

Canalele studiate sunt staionare, deci pyj / xi const.

Canalele sunt fr memorie, deci probabilitatea de apariie a lui y j nu depinde dect de
simbolul generat simultan la intrarea n canal, simbolul xi pentru py j / xi .

5.2.2. Reprezentarea grafic a transmisiei prin canalele discrete

py1 / x1
x1 y1

x2 y2

.
yM
xN
5.2.3. Entropii caracteristice

Entropia la intrarea n canal: HXpxi logpxi

i

Entropia la ieirea din canal: HXpyi logpyi

i

Entropia reunit a intrrii i ieirii: HX,Ypxi , y j logpxi , y j

i j

Echivocaia: H
X Y
pxi , y j logpxi yj
i j

Definiie: Echivocaia este cantitatea medie de incertitudine care rmne asupra simbolurilor
de la intrarea n canal, atunci cnd se cunosc simbolurile de la ieire.

Eroarea medie: H
Y X
pxi , y j logpyj xi
i j

Definiie: Eroarea medie este cantitatea medie de informaie eronat, la ieirea din canal.

pxi , y j Informaia

medie transmis prin canal: IX,Y pxi , y j log pxi py j
i j

Definiie: Informaia medie este cantitatea medie de informaie care se transmite corect prin
canal.

Cazuri particulare :

a) Canale cu perturbaii infinite ( X i Y sunt independente)

HX,Y HX HY
H
X Y
HX (la ieire, nu aflm nimic despre X ; incertitudinea asupra lui X rmne la fel
de mare)

H
Y X
HY (toat informaia de la ieire este eronat)

IX,Y 0 (informaia medie transmis prin canal este nula)

b) Canale fr perturbaii (sursele X i Y sunt identice)

HX,Y HX HY

H XY
0 (cunoscnd ieirea din canal, nu mai exist nici o incertitudine asupra lui X )

H
YX
0 (nu exist erori la ieirea din canal)

IX,Y H(X) (informaia de la intrare se transmite integral prin canal)

c) Canale cu perturbaii finite ( X i Y sunt diferite, dar dependente statistic)

HX,Y HX HY

H XY
HX (cunoscnd ieirea din canal, incertitudinea asupra lui X devine mai mic)

H
YX
HY (o parte a informaiei de la ieirea din canal este corecta)

IX,Y H(X) (informaia de la intrare se transmite parial prin canal)

5.3. Capacitatea canalului discret

Definiie : Capacitatea unui canal este informaia medie maxim, care se poate transmite prin
canal :

C max IX,Y
P
Observaie: maximul se ia dup probabilitile sursei de la intrarea n canal, pentru c aceste
probabiliti pot fi controlate, ntr-o aplicaie practic.

Unitatea de masura pentru capacitate este bit/simbol.

Definiie : Redundana canalului este : R C IX,Y [bit/simbol].

IX,Y Definiie :
Redundana relativ a canalului este : C 1 0,1.
C

Definiie : Randamentul sau eficiena canalului, arat ct de mic este cantitatea medie de
informaie transmis prin canal, n raport cu capacitatea canalului.

IX,Y
C 0,1
C

Observaie: redundana i randamentul sunt mrimi complementare: C 1C

IX,Y
Definiie : Debitul de informaie prin canal este : It X,Y [bit/sec], unde este

durata unui simbol.

C
Observaie: Debitul maxim de informaie prin canal este: Ct .

Proprieti :

a) Capacitatea canalului este o mrime nenegativ :

C0 (deoarece IX,Y 0)

b) Capacitatea canalului este mai mic sau egal cu entropia sursei de la intrare:

C HX (deoarece IX,Y HX)

c) Capacitatea este o funcie continu n raport cu probabilitile PX.

 5.4. Calculul capacitii canalului discret

Date iniiale : probabilitile matricii de zgomot PY / X.

Etape:

1) Aplicnd Metoda multiplicatorului lui Lagrage, se calculeaza probabilitatile pimax , care

maximizeaz funcia IX,Y HYHY / X.
2) Capacitatea se obine calculnd IX,Y HYHY / X pentru probabilitile obinute.

Rezolvare:

Se construiete funcia:

HY HY / X pi 1 i

Pentru a pune n eviden probabilitile pi n expresia lui HY, probabilitile Q se scriu:

q j pxi , y j pyj xi pxi pyj xi pi

i i i

Se calculeaz derivatele pariale ale lui n raport cu pi :

- derivata lui HY n raport cu pi :

HpY HqYj qpij j logq j log1 epy j / xi

i j

log1 ej py j / xi j py j / xi logq j
1
log e j py j / xi logq j

- derivata lui HY / X n raport cu pi :

 HYp/ X j i py j / xi pi log py j / xi py j / xi log py j / xi
i pi j

- derivata termenului n :

pi 1 i
pi

Se egaleaz derivatele pariale ale lui cu zero; din rezolvarea sistemului, rezult
probabilitile pimax , care maximizeaz i, deci, informaia transmis prin canal:
1
loge j py j / xi logq j j py j / xi log py j / xi 0 pentru i 1,N

Grupnd termenii cu sume i constante, se obin ecuaiile:

py j / xi

py j / xi log qj ct pentru i 1,N

j

Completnd aceste ecuaii cu:

q j py j / xi pi pentru j 1,M
i

i
p 1 i
i

se obine un sistem cu NM1 ecuaii i acelai numr de necunoscute, din care se pot
obine probabilitile pimax si qmaxj , care maximizeaz informaia transmis prin canal.

Capacitatea canalului se calculeaz cu relaia:

max
log pymaxj / xi
C py
i j j / xi pi qj

Observaii:
 - acest sistem nu are, n general, o soluie analitic; cnd nu exist o soluie analitic,
capacitatea se calculeaz cu metode numerice (algoritmul lui Frank-Wolfe, care este
bazat pe metoda gradientului, sau algoritmul iteractiv al lui Arimoto i Blahut)
- daca alfabetele surselor de la intrarea i de la ieirea din canal au acelai numar de
simboluri i, dac, determinantul matricii de zgomot este diferit de zero, atunci
sistemul are soluie analitic.

5.5. Modele de canale discrete

Aceast seciune cuprinde patru cazuri particulare de canale (modele), pentru care capacitatea
se poate calcula analitic.

5.5.1. Canalul uniform fa de intrare

Definiie: Fiecare linie a matricii de zgomot a canalului uniform fa de intrare este o

permutare a altei linii (pe fiecare linie gsim aceleai probabiliti, diferit ordonate).

Exemplu:

1 1 1

3 6 2
PY / X 1 1 1

3 2 6

Proprieti:

a) Eroarea medie nu depinde de probabilitile simbolurilor de la intrarea n canal:

HY / X pxi , y j log py j / xi
i, j

py j / xi pxi log py j / xi
i, j

pxi py j / xi log py j / xi ct pxi ct
i j i

b) Capacitatea canalului este:

 C max IX,Y maxHYHY / X max HYHY / X
P P P

5.5.2. Canalul uniform fa de ieire

Definiie: Fiecare coloan a matricii de zgomot a canalului uniform fa de ieire este o

permutare a altei coloane (pe fiecare coloan gasim aceleai probabiliti, diferit ordonate).

Exemplu:

0,5 0,5

PY / X 0,30,7
0,70,3

Proprietate:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire

sunt echiprobabile:
1
pyj pyj / xi pxi pyj / xi
1
N i N
const.
i

5.5.3. Canalul simetric

Definiie: Canalul simetric este canalul uniform att fa de intrare ct i fa de ieire.

Exemplu:

0,3 0,2 0,5

PY / X 0,5 0,30,2
0,2 0,5 0,3

Proprieti:

a) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i

este:
 C logM HY / X ,unde M este numrul de simboluri ale sursei de la ieirea din
canal (simbolurile de la ieire sunt echiprobabile, dac i cele de la intrare sunt echiprobabile).

5.5.4. Canalul slab simetric

Definiie: Canalul slab simetric este uniform fa de intrare i are suma probabilitilor de pe
fiecare coloan constant.

Exemplu:

1 1 1

3 6 2

PY / X 1 1 1

3 2 6

Proprieti:

a) Dac simbolurile de la intrarea n canal sunt echiprobabile, atunci i cele de la ieire

sunt echiprobabile:
1
pyj pyj / xi pxi pyj / xi
1
N i N
const.
i

b) Capacitatea canalului se obine pentru simboluri echiprobabile la intrarea n canal i

este:

C logM HY / X

Observaie: Uniformitatea fa de ieire nu este indispensabil pentru a putea avea o

expresie analitic pentru capacitatea canalului. Aceast condiie poate fi adaptat la
condiia ca suma probabilitilor de pe coloane s fie constant.

5.6. Exemple de canale discrete

5.6.1. Canalul binar simetric

Matrice de zgomot:
PY / X 1pp1pp

Reprezentare grafic:

1 p 0
1-p

1-p
2 p 1

Calculul capacitii:

C log2HY / X1HY / X
H(X), C
,unde
1
2

HY / X j1 py j / xi log py j / xi
plog p 1 plog1 p

deci

C 1 plog p1 plog1 p

1/2 1 p

Cazuri particulare:

a) Canal fr perturbaii:

1 0
Matricea de zgomot: PY / X 0 1

Reprezentare grafic: 0 0

11
 Capacitatea este maxima : C 1 bit /simbol

Observatie:

Cellalt punct de maxim al capacitii corespunde canalului inversor:

PY / X 1010 0
0

C 1 bit /simbol

1 1

b) Canalul cu perturbaii infinite (foarte puternice)

1/2 1/2
Matricea de zgomot: PY / X 1/2 1/2

Capacitatea : C 0 bit /simbol

5.6.2. Canalul binar cu erori i anulri

Matrice de zgomot:

1 p q p q
PY / X p 1 p q q Canalul este uniform doar fa de intrare.

Reprezentare grafic:

X 0 1-p-q Y 0
q

p
Y a

X 1 Y 1
Calculul capacitii:

C maxHYHY / X
P

,unde

HY / X j1 py j / xi log py j / xi
plog p qlogq 1 p qlog1 p q
Calculul lui maxHY:
P

- se noteaz pX 0 x i pX 11 x
2

- se exprim pY 0 pY 0/ xi pxi , pY a i pY 1
i1

ca funcii de x
- se exprim HY ca funcie de x , folosind probabilitile calculate mai sus

HY
- se rezolv ecuaia 0

x
- cu soluia ecuaiei de mai sus, se obtine maxHY

P

Exerciiu: Calculul capacitii canalului binar cu erori i anulri.

Rspuns: C 1q1qlog1q plog p1 pqlog1 pq.

q
Observatie: Capacitatea canalului devine zero pentru p 1 (se rezolv ecuaia
2

C 1q p 2
0 i se obine soluia p )

5.6.3. Canalul binar cu anulri

Este un caz particular al canalului binar cu erori i anulri (q0).

Matricea de zgomot:
PY / X 10q10qqq

Reprezentarea grafic:

X 0 1-q Y 0

Y a
q

X 1 Y 1
1-q

Capacitatea: C 1 q