Sunteți pe pagina 1din 11

6.

SURSE DE INFORMAIE I CANALE CONTINUE

6.1. Entropia sursei de informaie continue

Definiie :

Sursa continu de informaie este un mecanism de generare a unui ir de v.a. continue :


: , X k 1 , X k , X k 1 , , unde k este, de cele mai multe ori, un indice de timp.

X k sunt v.a. continue, care iau valori n R .


X k poate fi i complex (de exemplu, cnd prin Tranformare Fourier, s-a trecut n domeniul
frecvenelor).

V. a. continue X k sunt caracterizate de o densitate de probabilitate f (x)

Definiie : Entropia unei surse de informaie continue este:

H X f x log 2 f x dx
R

Observaie : H X poate fi i negativ pentru c f (x) poate fi > 1 .

Exemplu: v.a. X cu distribuie uniform pe intervalul 0 1 / 2

2 x 0 1 / 2
f x
0 in _ rest

1/ 2 1/ 2
H X 2 log 2 2dx 2 dx 1
0 0

6.1.1. Semnificaia entropiei unei surse continue

Faptul ca H X poate fi i negativ pune un semn de intrebare asupra semnificaiei acestei


mrimi, n cazul surselor de informaie continue.

Fie un semnal continuu, modelat printr-un ir de v.a. continue X k cu distribuia f x . Altfel


spus, fie o surs de informaie continu, pe care o notm cu X . Pentru simplitate c
realizrile particulare ale lui X k sunt cuprinse n intervalul 0 , Nq , unde q este un numr
pozitiv, iar N un numr natural.

Prin cuantizare cu cuanta q , toate valorile semnalului cuprinse ntr-un anumit interval de
laime q , devin egale cu o valoare fix (semnalul continuu este discretizat) :

dac xt n 1q nq ,atunci xt xn nq (cu x t s-a notat realizarea particular a lui


X t la momentul t ).
Semnalul discret poate fi modelat de un ir de v.a. discrete X kq , altfel spus, sursa de
informaie continu devine o surs discret X q .

V.a. X kq iau valori n mulimea X x1 , x2 ,, x N ,unde xn nq .

Mulimea probabilitilor sursei discrete este constituit din urmtoarele valori:

nq

px n f x dx qf nq

n 1 q

Entropia sursei discrete este:


N N
H X q pxn log pxn qf nq logqf nq
n 1 n 1

Prelucrnd relaia entropiei, obinem :


N N
H X q log q qf nq qf nq log f nq
n 1 n 1

La limita, cnd cuanta q tinde ctre zero :

f nq f x si q dx

i relaia entropiei devine:


H X q log q f x dx f x log f x dx log q H X

Concluzie:


a) H X q este entropia unei surse de informaie discrete, deci are semnificaia unei informaii

medii. La limit, cnd q 0 , sursa devine continu i lim H X q este informia medie a
q 0

sursei continue, ceea ce nu este acelai lucru cu H X din cauza termenului log q . Deci,
entropia sursei continue nu are semnificaia unei cantitai medii de informaie.

b) La limit, termenul log q tinde ctre infinit, de aceea, spunem ca informaia medie a
sursei continue este infinit (n timp ce entropia H X este de cele mai multe ori finit).
6.1.2. Inegalitatea fundamental n cazul distribuiilor continue

Fie f x i g x dou densiti de probabilitate.


Se poate arta, cu acelai demers logic c n cazul distribuiilor discrete, c:

g x
f x log f x 0
R

f x
f x log g x
R
este entropia relativa sau distanta Kullback-Leibler n cazul

distribuiilor continue. Este o mrime nenegativ; ia valoarea zero cnd cele dou distribuii
sunt indentice.

6.1.3. Cazuri de entropie maxim

Maximul absolut al entropiei surselor continue este infinit. Ne intereseaz maximul n


anumite condiii restrictive.

a) V.a. ia valori ntr-un domeniu limitat a b

b b
Se caut maximul lui H X f x log 2 f x dx cu restricia
a
f x dx 1
a

Indicaie: Se folosete metoda multiplicatorului lui Lagrange; se construiete funcia


b
H x f x dx 1 i se deriveaz n raport cu f .
a

Rezultat: distribuia care maximizeaz entropia este distribuia uniform.

1 / b a x a b
f x
0 in _ rest

H max X logb a

b) V.a. i-a numai valori pozitive i are media statistic m


Se caut maximul lui H X f x log 2 f x dx cu restriciile
0
f x dx 1 i media
0

statisc m .

Indicaie: Se folosete metoda multiplicatorului lui Lagrange; se construiete funcia:



H x f x dx 1 xf x dx m i se deriveaz n raport cu f .
0 0

Rezultat: distribuia care maximizeaz entropia este distribuia exponenial.

me mx x0
f x
0 in _ rest

H max X log m
m
log e

c) V.a. i-a numai valori pe R i are media statistic zero, i variana 2 .


Se caut maximul lui H X f x log 2 f x dx cu restriciile f x dx 1 , media

statistic m 0 i variana 2 .

Indicaie: Se folosete metoda multiplicatorului lui Lagrange; se construiete funcia:


H x f x dx 1 xf x dx x 2 f x dx 2
0 0 0
i se deriveaz n raport cu f .

Rezultat: distribuia care maximizeaz entropia este distribuia gaussian:

x x / 2
2 2

f x
2

H max X log 2e
6.1.4. Variaia entropiei cu schimbarea spaiului de reprezentare a semnalului

Fie un semnal continuu, modelat printr-un ir de v.a. continue X 1 ,, X N , dependente


statistic (cazul majoritii semnalelor ntlnite n practic), unde, de multe ori, indicele este
un indice de timp . Altfel spus, fie o surs de informaie continu, cu memorie.

Printr-o transformare F (de exemplu, Fourier), se trece din spatiul N-dimensional al


eantioanelor temporale, ntr-un alt spaiu, spaiul N-dimensional (al eantioanelor
frecveniale, dac am aplicat Transformarea Fourier). n acest spaiu, semnalul este
reprezentat prin irul de v.a. : 1 ,, N .

1 ,, N =F( X 1 ,, X N )
Densitile de probabilitate conjugate ale celor dou iruri de v.a. sunt :

f X 1 ,, X N n spaiul eantioanelor temporale

g V1 ,,VN n spaiul eantioanelor frecveniale.

Probabilitile ca irurile s aib realizri particulare foarte apropiate de irurile de valori :

x1 ,, x N i 1 ,, N
sunt

f x1 ,, x N dx1 dx N i g 1 ,, N d 1 d N

Variaiile dx1 dx N dX determin variaiile d 1 d N dV .


dV V V
Se poate arta c J unde cu J s-a notat jacobianul transformrii:
dX X X

d 1 d N
dx
dx1
V 1
J
X d N 1 d N

dx1 dx N

Cum transformarea F , face numai o schimbare de coordonate (nu de semnal), trebuie


satisfcut relaia:

f x1 ,, x N dx1 dx N g 1 ,, N d 1 d N

mprind relaia prin dx1 dx N , se obine:


V
f x1 ,, x N g 1 ,, N J
X

ceea ce conduce la urmatoarea relaie ntre entropiile semnalului nainte i dup transformare:

H X f x1 , , x N log f x1 , , x N dx1 dx N
X

U
f x1 ,, x N logg 1 , , N J dx1 dx N
X X
U
f x1 ,, x N log J dx1 dx N g 1 , , N logg 1 ,, N d 1 d N
X X V

U
f x1 ,, x N log J dx1 dx N H V
X X

ceea ce arat c, n general, entropia semnalului se schimb atunci cnd se aplic o


transformare.

Se poate arta c, n cazul unei transformri ortogonale (Fourier, Cosinus, etc.) :

V
J 1
X

i atunci

H X H V deoarece g 1 ,, N d 1 d N 1 .
V

Concluzie: O transformare ortogonal nu schimb entropia unui semnal.

6.2. Canale continue de transmisie a informaiei

Printr-un canal continuu, trec semnale continue att n timp ct i n amplitudine. De aceea,
intrarea i ieirea canalului sunt modelate prin dou surse continue de informaie.

n acest capitol, se studiaz canalele continue fr memorie (eantioanele semnalului continuu


sunt independente) i staionare (statistica semnalului este constant n timp).

Fie X sursa continu de la intrare, cu densitatea de probabilitate f X x


Y sursa continu de la ieire, cu densitatea de probabilitate f Y y
6.2.1. Informaia mutual n canalele continue

Pentru a deduce informaia medie transmis prin canalul continuu, vom porni de la rezultatul
obinut pentru canalul discret i, prin trecere la limit, vom obine informaia mutual n
canalul continuu.

Presupunem c semnalul de la intrare este eantionat cu frecvena 2W , unde W este


frecvena maxim din spectrul semnalului (criteriul lui Nyquist). Aceast ipotez nu reduce
generalitatea rezultatelor urmatoare deoarece un semnal continuu poate fi reconstruit identic
din eantioanele sale dac acestea au o frecven 2W .

Presupunem, de asemenea, c semnalul este cuantizat cu cuanta q . Rezultatul este un semnal


discret care poate fi modelat printr-o surs de informaie discret avnd alfabetul:

X x1 , x2 ,, x N ,unde xn nq

i probabilitile :

P px1 , px2 ,, px N ,unde pxn f X xn q

La ieirea din canal, prin eantionare (sincron cu intrarea) i cuantizare cu cuanta q , se


obine un semnal discret care poate fi modelat de o surs de informaie discret avnd
alfabetul:

Y y1 , y2 ,, yM ,unde y m mq

i probabilitile:

Q p y1 , p y2 ,, p y N unde p ym f Y ym q
Informaia medie pe eantion transmis prin canal este (confirmarea rezultatului obinut la
canalele discrete):

pxi , y j
I X , Y pxi , y j log
i j p xi p y j
f X ,Y ( x, y )q 2
f X ,Y ( x, y )q log 2

i j f X ( x)qf Y ( y )q

La limita, cnd q 0 , suma dubl se transform ntr-o integral:

f X ,Y x, y
I X , Y f X ,Y x, y log dxdy
f X x f Y y
Prelucrnd integrala dubl, se ajunge la o relaie similar cazului canalelor discrete:

f X x
I X , Y f X ,Y x, y log f Y y dxdy f X ,Y x, y log dxdy
f X ,Y x, y
log f Y y ( f X ,Y x, y dx)dy f X ,Y x, y log f X ,Y y / x dxdy

f Y y log f Y y dy f X ,Y x, y log f X ,Y y / x dxdy H Y H Y / X

,unde prin analogie cu cazul discret, se definete eroarea medie prin canalul continuu:

H Y / X f X ,Y x, y log f X ,Y y / x dxdy

Observaie: Spre deosebire de entropie, care i pierde semnificaia la trecerea de la discret la


continuu, I X , Y i pstreaz semnificaia de cantitate medie de informaie pe eantion.

Pe durata D a semnalului, dac eantioanele de semnal sunt independente, se transmite o


cantitate de informaie egala cu D 2W I X , Y , unde D 2W este numarul total de
eantioane transmise.

6.2.2. Proprietile informaiei mutuale n canalele continue

a) Informaia medie este o mrime nenegativ :

I X ,Y 0

Justificare:

Ne bazm pe inegalitatea fundamental, n cazul continuu. Considernd densitile de


probabilitate f X ,Y x, y si f X x f Y y , se poate scrie urmatoarea inegalitate:

f X x f Y y
I X , Y f X ,Y x, y log dxdy 0
f X ,Y x, y

b) Informaia medie este, n general, o mrime finit.

c) Relaia I X , Y H X din cazul discret, nu mai este valabil, deoarece entropia n


continuu nu mai are aceeai semnificaie ca n discret (n unele cazuri, entropia poate fi chiar
negativ).

d) I X , Y este invariant la schimbarea coordonatelor


Presupunem c eantioanele semnalelor de la intrare i ieire din canal, sunt transformate n
eantioane de frecven, prin aplicarea Transformrii Fourier:

X

F
U si Y

F
V

Se poate demonstra c:

I X , Y I U ,V

6.2.3. Capacitatea canalelor continue

Definiie : Capacitatea canalului continuu este dat de maximul cantitii de informaie


care poate fi transmis prin canal n unitatea de timp ( D 1sec .)

C max 2 W I X , Y 2 W max H Y H Y / X
f X x f X x

Pentru calculul capacitii, se fac urmtoarele ipoteze:

a) Presupunem c avem urmtoarele limitri de putere pentru semnale i zgomotul din canal :
PX este puterea semnalului la intrarea n canal
PY este puterea semnalului la ieirea din canal
N este puterea zgomotului din canal

b) Presupunem c zgomotul este aditiv i independent de semnalul X , transmis prin canal.


Se poate demostra c, n acest caz :

PY PX N

c) Pentru fiecare valoare particular a lui, X x0 , incertitudinea medie asupra ieirii este dat
numai de zgomot. Prin cuantizarea zgomotului cu cuanta q , numrul de nivele pe care
zgomotul le poate lua este:

N
K
q

Dac zgomotul este staionar i are o distribuie uniform, atunci nivelele de cuantizare sunt
echiprobabile, iar entropia condiionat este egala cu:

H Y / X x0 log K log
N
q
Dac, n plus, canalul este simetric, atunci eroarea medie pentru toate valorile lui X are
expresia de mai sus. Deci, entropia condiionat nu depinde de distribuia lui X , iar
capacitatea devine:

N
C 2 W max H Y log
f x q
X

Prin cuantizarea semnalului de la ieire cu cuanta q , se obin m nivele diferite:

Py
m
q

Entropia la ieire i atinge maximul cnd nivelele sunt echiprobabile :

Py
max H Y log
f X x q

Deci, capacitatea canalului este:

Py
C 2 W log W log1 Px
N N

Prin trecere la limit, pentru q 0 , din relaia anterioar se obine capacitatea canalului
continuu :

P
C W log1 x
N

ceea ce arat c, n cazul canalului continuu, capacitatea crete cu banda i cu puterea


semnalului de la intrare ,i descrete cu puterea zgomotului.

Dac zgomotul de pe canal este alb i cu densitate spectral de putere N 0 , atunci N WN 0 .


i:

P
C W log1 x
WN 0

Reprezentarea grafic a acestei relaii, arat o curb a capacitii tinznd asimptotic spre:

P P
C lim W log1 x x
W
WN 0 N 0
Concluzie: Creterea lrgimii de band peste o anumit valoare nu mai este rational deoarece
capacitatea canalului nu mai crete dect foarte puin.

(Px/N0) loge