Sunteți pe pagina 1din 94

1

Masura informatiei in sisteme discrete (Shannon,1950)

1. Formularea problemei

Daca se urmareste un experiment care poate conduce la mai multe rezultate, asupra realizarii fiecaruia din rezultate planeaza o anumita incertitudine; incertitudinea este eliminata in momentul aflarii rezultatului; exemple de experimente: aruncarea zarului, masurarea unei tensiuni.

Primirea unei informatii este echivalenta cu eliminarea unei incertitudini;

Obtinerea informatiei este legata de caracterul intamplator (aleator, stochastic) al fenomenului sau experimentului observat si de aceea unui eveniment (rezultat) i se asociaza o masura probabilistica;

Daca rezultatele sunt discrete, ca in figura, fiecarui eveniment x i i se poate asocia probabilitatea p(x i );

Daca rezultatele sunt continue se poate asocia o densitate de probabilitate p(x) unui punct din spatiul E al esantioanelor astfel incat

E x 1 x 2 x 6 x 5 x 3 x 4 x x
E
x 1
x 2
x 6
x 5
x 3
x 4
x
x 0

E

p x dx

(

)

= lim P

x

0

[

x

0

x
x

X

x 5 x 3 x 4 x x 0 E p x dx ( ) =

x

0

+ x]
+
x]

;

Daca informatia asupra realizarii unui eveniment x i rezulta chiar din observarea acelui eveniment, se obtine informatia proprie i(x i ); Exemplu: in experimentul cu aruncarea zarului se afla (vede) nemijlocit fata care a aparut; Daca informatia asupra realizarii unui eveniment x i rezulta din observarea altui eveniment y i , legat de x i ,se obtine infomatia mutuala i(x i ,y j ); Exemplu: se afla ce fata a aparut din comentariile cuiva care a vazut-o nemijlocit.

2

In teoria lui Shannon se iau in consideratie numai aspectele cantitative ale informatiei, nu si cele calitative, legate de sensul (semantica) mesajului.

2. Cantitatea de informatie in cazul discret

Informatia proprie; unitati de masura

[ X

[

]

P

x

= [

x , x

1

2

]

=

[

p

(

x

1

x

n ]

)

(

, p x

2

)

,

n

i =1

(

p x

x

i

n

)]

= E

n

i = 1

] ) ( , p x 2 ) , n i = 1 ( p x

x i x

j

(

p x

i

)

= 1

=

i π j
i
π
j

U

(

x

i

)

= incertitudinea ce planeaza asupra realizarii x i ; se mai numeste si

incertitudine a priori.

U

(

x

i

)

= F

[

(

p x

i

)]

i informatia proprie, rezultata prin realizarea si observarea

x

i

i U

x

i

(

x

i

)

= F

[

(

p x

i

)]

(

(

)=

)=

Criterii de alegere a F:

(

i x

i

)0

x

i x

i

(

(

)

)

incertitudinea

i sa aiba proprietatea de aditivitate:

x

i

x

i

=

[

x

i1

(

i x

)

(

)

x

(

+ i x

= i x

U

F

i

i1

( )

x

i

= U

(

i1

[

(

p x

i

)]

= F

i2

)

+U

[

(

p x

i1

)

(

x

i2

)

)]

+ F

[

(

p x

i2

)]

Pentru evenimentele x i1 si x i2 independente:

(

p x

i

F

F

[

(

p x

i

1

)

(

p

)

=

(

p x

i

2

log

)]

=

B

p

F

[

(

p x

i

1

)]

+

F

[

(

p x

i

2

)]

)

, x

i2

]

independente

(

= p x

i1

)

(

p x

i2

)

i

(

i x

i

)

=

log

B

(

p x

i

)

o Unitati de masura a informatiei:

bit, pentru B = 2

[

X

]

[P

x

=

[

x

1

,

x

2

] =

[

(

p x

1

]

),

(

p x

2

)]

= [1/ 2, 1/ 2]

3

(

i x

1

)

(

= i x

2

)

=

log (1/ 2)

2

=

1

bit , pentru =

1

bitul este cantitatea de informatie ce se obtine prin realizarea (alegerea) unuia din doua evenimente echiprobabile (decizie binara). Multipli: Byte, Kbit, Mbit, Kbyte, Mbyte.

nit, pentru B = e

nitul este cantitatea de informatie ce se obtine prin realizarea unuia din e evenimente echiprobabile.

1nit

=

log

2

e

= 1,44bit

dit, pentru B = 10

ditul este cantitatea de informatie ce se obtine prin realizarea unuia din 10 evenimente echiprobabile.

1dit

=

log 10

2

=

3,32bit

Informatia mutuala

[

[

X

P

x

]

]

[

Y

]

[

P

y

]

=

=

=

=

[

x , x

1

2

x

n

]

[

(

p x

1

)

(

, p x

2

[

y

1

,

,

y

m

]

[

p

(

y

1

),

,

p

(

)

,

y

m

n

i =1

(

p x

n

x

i

)]

=

E

n

i = 1

(

p x

i

m

j = 1

)]

y

j =

unde

E

m

j = 1

y

j

(

p y

j

)

)

x

= 1

y

i

= 1

k

x

j

=

=

 

i

π

,

j

π

k

j

(

p x

i

j

)

, informatia

Se defineste, plecand de la probabilitatea conditionata

conditionata

/ y

(

i x

i

/ y

j

)

(

log p x

i

/ y

j

)

, care reprezinta incertitudinea

=

cu privire la realizarea x i prin observarea y j si se mai numeste incertitudine a posteriori. Informatia mutuala este incertitudinea ramasa dupa realizarea x i si observarea y j :

(

i x

i

log

,

y

j

)

(

p x

i

=

/

(

i x

y

j

)

i

(

p x

i

)

)

(

i x

i

/

)

y

j

(

p x

i

=

,

y

j

log

)

= log

(

p x

i

)

(

p y

j

)

(

p x

i

)

+

log

(

p x

i

/

y

j

)

=

daca x i = y j :

i

(

x , y

i

j

)

= i

(

x , x

i

i

)

=

log p

(

x

i

)

+ log p

(

x

i

/ x

i

)

= i

(

x

i

)

daca x i este independent de y j :

(

i x

i

,

y

j

)=

log

(

p x

i

)+

log

(

p x

i

/

y )= 0

j

4

3. Entropia informationala

Entropia informationala se defineste ca valoarea medie pe un simbol a informatiei (incertitudinii a priori ) continuta in mesaj.

(

H X

)

=

n

i =

1

(

p x

i

)(

i x

i

)

=

i

n

=

1

(

p x

i

)

(

log p x

i

)

Proprietatile entropiei sunt:

Este o functie continua in raport cu fiecare p(x i ) = p i. Este invarianta la orice permutatie a probabilitatilor p i .

Este o functie nenegativa marginita superior de valoarea “log n”, care se

p n =1/n; atunci

obtine cand evenimentele sunt echiprobabile: p 1 =p 2 =

H(p 1 ,p 2

, p n ) = log n.

Valoarea ei nu se modifica daca la multimea evenimentelor posibile se adauga evenimentul imposibil (p n+1 = 0).

Valoarea ei creste prin descompunerea unui eveniment in mai multe evenimente independente. Exemplul 1: se dau doua evenimente x 1 si x 2 pentru care:

[ X ] = [ x , x ] 1 2 [ P ] =
[ X
]
= [ x
, x
]
1
2
[
P
]
=
[
1
p
,
p
]
x
H X
(
)
=
H
(
p
)
=
(
1
p
)
log 1
(
p
)
p
log
p
H
( )
0
=
H
( )
1
=
0
H
(
p
)
=
H
(1/
2)
=
1
max
H(p)
1
0,5
0,1
0,5
0,9
p

Exemplul 2: Se considera un camp de 8 evenimente echiprobabile; Entropia evenimentului aleator este maxima: H M = - 8.(1/8)log(1/8) = log 8 = 3 bit/eveniment iar numarul minim de decizii binare (bit) necesare pentru detectia unui anumit eveniment este 3.

5

Surse discrete de informatie

4. Definitii si terminologie Sursa de informatie este un dispozitiv (obiect, proces) care emite mesaje (sunete, imagini) si despre care se dispune de cunostinte partiale. Sursa discreta de informatie este sursa care emite mesaje la momente discrete de timp, fiecare mesaj fiind reprezentat printr- un numar finit de simboluri. Simbol: elementul fundamental ireductibil care contine o informatie; Alfabet: totalitatea simbolurilor; Cuvant: succesiunea finita de simboluri care reprezinta un mesaj (o semnificatie); Limba: totalitatea cuvintelor formate cu un anumit alfabet; Codare (decodare): stabilirea unei anumite corespondente intre o limba si alta limba; Exemple: a) Codul Morse, care utilizeaza patru simboluri: x 1 (punct), x 2 (linie), x 3 (spatiul dintre litere), x 4 (spatiul dintre cuvinte) ca in figura de mai jos:

x 1 x 2 x 3 x 4
x
1
x
2
x
3
x
4

t

b) Semnal cuantizat: limba este alcatuita din totalitatea nivelelor posibile.

6

5. Tipuri de surse discrete

Sursa discreta fara memorie (SDFM):

sursa la care probabilitatea de aparitie a unui simbol nu depinde de simbolurile precedente:

) = p (x i n ) unde x i n este simbolul x i la

momentul n. Exemplu: o succesiune de date binare, privite ca independente. o Sursa extinsa: SDFM care emite blocuri de simboluri (situatia reala); astfel, daca pentru emisia individuala a simbolurilor, modelul este:

p (x i n / x j n-1 , x k n-2 ,

[X]

[P] = [p 1 , p 2 ,

[ ] = [ 1 , 2

,

= [x 1 , x 2

x D ], alfabetul finit al sursei p D ], distributia probabilitatilor, , D ], duratele simbolurilor

probabilitatilor, , D ] , duratele simbolurilor pentru este: emisia a doua simboluri grupate (extensie de

pentru

este:

emisia a doua simboluri grupate (extensie de ordinul 2), modelul

[X 2 ] = [ 1 ,

2 ,

D D ] unde 1

x 1 x 1 , 2

x 1 x 2 ,

D

x 1 x D ,

k

x i x j , [P 2 ]

independente)

Exemplu: pentru un alfabet al sursei compus din doua simboluri (D =2),

D D

=

x D x D p( 2 ),

[p( 1 ),

p(

k ),

p(

D D )], unde p(

k )

=

p i

p j

(evenimente

.

[X] = [0, 1],

[P] = [p 1 , p 2 ],

iar extensia de ordin 2 (grup de 2 simboluri):

[X 2 ] = [ 1

[P 2 ] =[p( 1 ) = p 1 2 , p( 2 ) = p 1 p 2 , p( 3 ) = p 2 p 1 , p( 4 ) = p 2 2 ]

00, 2

01, 3

10, 4

11],

Sursa discreta cu memorie:

este o sursa cu constrangeri privind succesiunea simbolurilor o Sursa cu constrangeri fixe (deterministe): este o sursa la care anumite succesiuni de simboluri sunt interzise Exemplu: sursa generatoare de cod Morse, cu doua stari, S 1 si S 2 ; in starea S 1 poate fi generat orice simbol, dar in starea S 2 se poate genera numai punct sau linie, fiind interzisa (constransa) generarea intervalelor.

x x x 1 2 x 1 2 S 1 S 2 x x 3
x
x
x
1
2
x 1
2
S 1
S 2
x
x
3
4
o Sursa
cu
constrangeri probabilistice: sursa la care

probabilitatea de aparitie a unui simbol la un moment dat depinde de simbolurile anterioare. Numarul de simboluri

7

anterioare asupra carora se extinde memoria sursei reprezinta ordinul sursei (memoriei).

Pentru sursa de ordin 1: p (x i n / x j n-1 , x k n-2 , Pentru sursa de ordin 2: p (x i n / x j n-1 , x k n-2 , Exemplu: vorbirea.

Sursa Markov: sursa discreta cu memorie de ordinul 1

La care emiterea unui simbol este conditionata numai de starea precedenta; poate fi modelata de un lant Markov finit si omogen.

) = p (x i n /x j n-1 ) ) = p (x i n /x j n-1 , x k n-2 )

{

,S

-2 ,

S -1 ,

S 0 ,

S 1 ,

-

Lant Markov finit: un proces aleator discret unde elementele S i , numite stari, sunt variabile

S 2 ,

},

aleatoare discrete care iau valori in alfabetul starilor {s 0 , s 1 ,

r D (numarul de simboluri ale alfabetului sursei), iar dependenta satisface conditia Markov:

,s r-1 } unde

p (S 1 = s j /S 0 , S -1 ,

)

= p(S 1 = s j / S 0 ) = p(S 1 / S 0 )

- Lant Markov omogen:

lantul Markov la care probabilitatea de trecere dintr-o stare in alta nu depinde de timp.

- Matricea de tranzitia starilor:

In fiecare moment lantul Markov trece intr-o noua stare, sursa funizand un simbol din alfabetul sursei. Probabilitatile de trecere dintr-o stare S i in alta stare S j , independente de momentul de timp, sunt:

p ij = p(S 1 = s j /S 0 = s i ) = p(s j / s i ), constituind matricea de tranzitie T:

T =

◊ ◊

p

p

p

p

11

21

12

22

◊ ◊

p p

r

1

r

2

p

p

1 r

2 r

p

rr

Daca notam cu P n distributia de probabilitati a starilor la momentul n si cu P n-1 distributia de probabilitati a starilor la momentul n -1:

8

P n =

p

p

(

(

s

s

1

n

rn

)

)

P n-1 =

p ( s ) 1 n 1 ◊ ◊ p ( s ) rn 1
p
(
s
)
1
n
1
p
(
s
)
rn
1

(

p s

jn

)

r

=

i = 1

(

p s

in

1

)

si tinem cont de relatia:

are loc relatia: P n = T T P n-1 ; daca se noteaza cu P 0 distributia initiala de probabilitati, se obtine:

P n = (T T ) n P 0 Pentru surse Markov stationare se obtine:

p

ij

,

lim

n

(T )

T

n

I

aceste surse pot fi reprezentate prin grafe; daca T se ia de forma:

 

1

/

3

2

/

3

0

T =

1

0

0

 

1

/

2

0

1

/

2

rezulta graful de mai jos:

1/3 1/2 1/2 s 1 s 3 2/3 s 1 1 s 2
1/3
1/2
1/2
s 1
s 3
2/3
s 1
1
s 2

Matricea T, fiind stochastica, suma elementelor pe fiecare linie este 1.

Sursa stationara

sursa la care probabilitatea diferitelor simboluri nu depinde de originea

timpului ci numai de pozitia lor relativa: p(x

in

)

p(x

in

+

k

)

=

pentru

k

Sursa ergodica

sursa la care este indeplinita conditia de stationaritate iar sirurile de simboluri pe care le furnizeaza sunt siruri tipice; o Sirul tipic: sirul care contine n i = n p (x i ) simboluri x i unde i =

si in care pentru frecventele relative de aparitie n i /n

1, 2,

D

ale simbolurilor, exista relatia:

9

lim

n

n

i

n

n

(

= p x

i

)

.

Multimea sirurilor tipice are o probabilitate care tinde spre 1 pe masura ce n creste.

o Sirul netipic: sirul care are o alta compozitie. Multimea sirurilor netipice are o probabilitate care tinde spre 0 pe masura ce n creste. Sursa ergodica are proprietatea ca probabilitatile evaluate statistic ( pentru n surse identice se numara, la un moment dat, sursele care dau simbolul x i ; frecventa n i /n tinde spre p i cand n ) coincid cu probabilitatile evaluate prin mediere temporala, de-a lungul unui sir furnizat de o singura sursa. Prin urmare, sursa ergodica va furniza, dupa un timp t cu probabilitate 1, un sir tipic. Satisfacerea ipotezei ergodice conduce la importante simplificari in evaluarea experimentelor.

x 1 x 2 x D 1 X p t (x i ) = n(x
x 1 x 2
x
D
1
X
p
t (x i ) = n(x i )/ n
p
(
x
)
lim
= p
(
x
)
2
t
i
s
X
i
n
.
t
.
n
X
p s (x i ) = n’(x i )/ n

Sursa cu debit controlabil

sursa care genereaza mesaje ca urmare a unei comenzi externe, neexistand constrangeri cu privire la momentul transmiterii mesajului. Exemple: telefon, fax, telegraf .

Sursa cu debit necontrolabil

sursa care genereaza mesaje continuu, cu un debit fix care este proprietatea interna a sursei. Exemple:

- generatorul de semnale;

- generatorul de semnale esantionate

- generatorul de tact al calculatorului.

10

6. Parametrii surselor discrete

Entropia surselor discrete

o Entropia sursei discrete, fara memorie, ergodica

Daca sursa are alfabetul si distributia de probabilitati:

[X] = [x 1 , x 2 , [P] = [ p 1 , p 2 ,

] D ], cu

x

D

p

D

i = 1

(

p x

i

)

= 1,

generand sirul tipic de lungime N:

[X N ] = [

x

i

1

x

i

2

◊◊◊x

i

]
N

unde

i j = 1, D ,

toate sirurile tipice au aceeasi probabilitate:

p

(

X

N

)

= p

N

1

1

p

N

2

2

simboluri x 1 , x 2 ,

◊◊◊p

N

D

D

,

unde

x D din sirul X N cu

poate scrie:

N i = N p i respectiv:

p

(

X

N

)

=

(

p

p

1

1

p

p

2

2

◊◊◊p

p

D

D

) N

N 1 ,

D

i =1

de

N N , pentru un N foarte mare se

N 2 ,

i

=

N D

reprezinta

numarul

Cantitatea de informatie ce se obtine cand se realizeaza un sir tipic X N este:

I

(

X

N

)

=

(

log p X

N

)

=

N

D

i = 1

p log p

i

i

Se numeste entropie a sursei X informatia medie pe simbol:

H

(

X

)

=

D

i = 1

p log p

i

i

Rezultatul se poate obtine si calculand direct cantitatea medie de informatie pe simbol, plecand de la informatia proprie a unui simbol i(x i ) = - log p i si observand ca informatia totala obtinuta prin realizarea de N i ori a simbolului x i este I(x i ) = N i i(x i ) = - N i log p i iar media pe toate simbolurile este:

H

(

X

)

=

1

N

D

i =

1

(

N i x

i

i

)

=

i

D

=

1

p

i

log

p

i

o Entropia sursei extinse Pentru sursa binara, avand {X, P}, entropia este:

(

H X

)

=

p log p

1

1

p

2

log p

2

Pentru extensie de ordinul 2 (se emit grupuri de 2 simboluri) a sursei anterioare se obtine o sursa cu {X 2 P 2 } la care entropia este:

11

(

X

2

)=

H

2 p log p

1

p

1

2

1

log p

2 p log p

2

1

2 p p

1

2

2

log p p

1

= 2H (X )

2

2

p

2

2

log p

2

2

=

Pentru extensie de ordinul n se obtine o sursa cu {X m P m } la care entropia este:

H(X

m

)

= mH (X )

o Entropia sursei discrete, cu memorie, ergodica, de tip Markov

Sursa Markov ergodica

are proprietatea ca secventa distributiilor de probabilitate P n , pe toata multimea de stari, tinde catre o distributie de probabilitate limita w (distributia de echilibru), independenta de distributia initiala sau

lim

n

P

n

=

w

.

Entropia unei surse cu memorie Este entropia unui simbol oarecare al sursei dupa observarea tuturor simbolurilor anterioare. Cantitatea medie de informatie prin emisia unui simbol:

H

(

X

)

(

H X

n

/

lim

n

X

1

,

◊◊◊ ,

X

n

1

)

=

(

X

Entropia unei surse stationare

)

=

lim

n

(

H X

n

/

X

1

,

◊◊◊ ,

X

n

1

)

=

lim

n

Entropia unei stari S j

(

j

)

=

q

k = 1

p

jk

log p

jk

1

n

H

(

H X

1

,

,

X

n

)

H S

unde q este numarul starilor in care se poate accede

intr-un pas plecand din starea s j

Entropia pentru sursa Markov ergodica, unifilara

Sursa Markov este unifilara daca toate simbolurile furnizate la parasirea unei stari s j sunt distincte. Intre secventele de stari si secventele de simboluri exista o corespondenta univoca si daca sursa este stationara avem:

H

H

(S)

(

X

= H

)

=

H

(X )

)

S

(

deci:

=

lim

n

H

(

=

lim

n

r

j = 1

(

p S

n

1

=

s

j

)

(

H S

S

n

n

/

/

S

S

n

0

,

◊◊◊ , S

1

=

s

n

j

1

)

)

=

=

j

lim

n

r

= 1

w

H

(

S

n

j

(

H S

/

j

n

S

)

=

1

)

=

12

r

j =

1

k

q

=

w

1

j

p

jk

log p

jk

=

Daca nr. starilor corespunde cu nr. simbolurilor si din starea j putem ajunge in oricare stare intr-un pas:

(

H X

)

=

D D

j =

1

k

=

1

p

k

p

jk

log p

jk

Debitul de informatie

Daca durata medie a unui simbol este

=

D

i

1

i

(

p x

i

)

, debitul de informatie

al sursei cu emisie individuala a simbolurilor este exprima in bit/s. Debitul sursei extinse de ordinul m este :

H

H

m

t

= H

m

(

m

)

1

=

(

mH m

)

1

= H

( )

1

t

= H

( )

1

si

se

H t = H t m se mai noteaza cu R b , adica rata de bit, spre deosebire de rata de baud (rata de transmisie a unui grup de biti) care se noteaza cu R B = R b /m.

Cantitatea de decizie a sursei

Este valoarea maxima a entropiei sursei

H

max

(X )

= log D

,

D fiind numarul simbolurilor din alfabetul sursei.

Redundanta sursei

o

Redundanta absoluta este: R

s =

H

o

Redundanta relativa este:

s

=1

Eficienta sursei

s

=

(

H X

)

H

max

(

X

)

=1

s

max

(X )

(

H X

H(X )

)

H max

(X )

Aceste marimi arata cat este de indepartata entropia sursei de valoarea ei maxima.

7. Exemple de surse discrete si entropiile lor

sursa cu alfabet latin cu D = 27 simboluri

13

-

aproximatie de rang 0: SDFM cu simboluri echiprobabile (nu se poate identifica o limba) H 0 (X) = log D = 4,75 bit/simbol

.

-

-

aproximatie de rang 1: SDFM cu simboluri cu o distributie de probabilitati data (engleza)

H

1

(X )

=

D

i = 1

p

i log

p

i

= 4,03

bit

/

simbol

aproximatie de rang 2: sursa Markov (engleza)

H (X )

2

= 3,32 bit / simbol

imagine TV alb / negru singulara cu

N = 500 linii

600 coloane =

300.000 pixeli, fiecare avand m nivele de gri

-

-

H

0

(X

)

=

log D

=

H

pentru m = 10,

pentru m = 100, H

0

0

log m

(X )

(X )

H

2

(X )

1

2

H

0

(X )

N

= N

log

m

10 bit / imagine

2

6

10

6 bit / imagine

14

Canale discrete de transmiterea a informatiei

[X] [Y] S Canal U P [X] = [ x , x , , x
[X]
[Y]
S
Canal
U
P
[X]
= [
x
,
x
,
,
x
n ]
1
2
Campul de intrare:
[P ]
= [
p
(
x
),
p
(
x
),
p
(
x
)]
x
1
2
n
[Y]
= [
y
,
y
,
,
y
m ]
1
2
Campul de iesire:
[P ]
=
[
p
(
y
),
p
(
y
),
,
p
(
y
)]
y
1
2
m

Canal discret este acel canal pentru care n si m sunt finite. Canal continuu este acel canal pentru care n si m sunt infinite. Canal discret/continuu: acel canal pentru care n este finit si m este infinit. Canal continuu/discret: acel canal pentru care n este infinit si m este finit. Canal discret in timp: la care timpul este discret t = kT es . Canal continuu in timp: la care timpul este continuu.

Canal cu memorie: in care transformarea transformarile anterioare.

x

i

y

j

depinde

de

Canal

fara

memorie:

in

transformarile anterioare. Canal stationar: in care

care

p

(

x

i

t

1 1

transformarea

)

= p

(

x

i

1

t

2

)

x

i

y

j

i = 1, n

nu

depinde

de

(distributia de

probabilitati nu depinde de origina timpului)

8. Entropia la intrarea si iesirea din canal

[X]

[P ]

x

=

[

=

[Y]

[P ]

y

=

=

[

x

1

[

p

,

(

x

2

x

1

,

),

y

1

[

p

,

(

y

y

2

1

,

),

,

p

x

(

n

x

]

2

,

p

y

m

(

y

2

),

]

),

p

(

x

,

p

(

n

)]

y

m

)]

n

p ( x = 1 i ) i = 1 m p ( y =
p
(
x
= 1
i )
i = 1
m
p
(
y
= 1
j )
j
= 1

Entropia campului de la intrarea canalului:

15

H (

X

)

n = i = 1
n
=
i = 1

p

(

x

i ) log

p

(

x

i )

(bit/simbol)

Entropia campului de la iesirea canalului:

H (

Y

)

m = j = 1
m
=
j = 1

p

(

y

j ) log

p

(

y

j )

(bit/simbol)

Entropia campului reunit intrare – iesire

Se defineste campul reunit (campul produs) intrare – iesire:

[XY]=

x

x

y

1 1

y

2 1

x

n

y

1

x y

x

2

1

y

2

2

x

n

y

2

x y

x

2

1

y

m

m

x

n

y

m

x y

1

1

x

1

[

P(X, Y

]

=

y

p

p x

(s-a transmis x 1 si s-a receptionat y 1 )

x

1

(

(

y

1 1

2

,

,

y

1

)

)

p

p x

(

x

(

1

2

,

,

y

y

2

2

)

)

(

p x

1

2

(

p x

(

p x

n

,

y

1

)

(

p x

n

,

y

2

)

(

p x

n

,

,

,

y

m

y

m

y

m

)

)

)

din aceasta matrice pot fi deduse probabilitatile:

p ( x ) = P x y { x y x y } i
p
( x
)
= P x y
{
x y
x y
}
i
i
1
i
2
i
m
m
( x
)=
(
)
p
p x y
i
= 1, n
sau:
i
i
j
j
=
1
(
)
{
}
p
y
= P x y
x
y
x
y
j
1
j
2
j
n
j
n
(
)=
(
)
p
y
p x y
j = 1, m
j
i
j
i = 1
n
m
(
)
p x
,
y
=
1
i
j
i = 1
j =
1
n m
(
)
(
)
(
)
H
X ,Y
=
p x , y
log p x y
i
j
i
j
i =
1
j =
1

de unde

de unde

H

H

9. Entropii conditionate

(X / Y ) este incertitudinea medie asupra X dupa observarea lui Y

(Y / X ) este incertitudinea medie asupra Y dupa observarea lui X H(X / Y ) sau echivocatie, este o masura a echivocului ce exista asupra campului de la intrare cand se cunoaste campul de iesire.

16

x y 1 1 daca la iesirea canalului se observa y j , exista o
x
y
1
1 daca la iesirea canalului se observa y j , exista o
incertitudine asupra simbolului transmis la intrarea in
=
(
)
canal x i :
U (x
/ x
)
log p x
/ y
i
j
i
j
y
p(x i /y j )
j
Incertitudinea medie asupra lui X cand s-a realizat
x
i
y j (entropia
este:
asociata
cu
receptionarea
simbolului
y j )
(
)
n
(
)
(
)
=
=
H
X / y
p x
/ y
log p x
/ y
j
1, m
j
i
j
i
j
=
i
1
m
(
)
(
)
(
)
m
n
(
)
(
)
(
)
=
=
H
X
/ Y
p
y
H
X / y
p y
p x
/ y
log p x
/ y
j
j
j
i
j
i
j
=
=
j
= 1
j
1
i
1
m
n
(
)
(
)
(
)
=
H
X
/ Y
p x , y
log p x
/ y
i
j
i
j
=
=
j
1
i
1
(
)
(
)
p x
/
y
p x
/
y
1
1
n
1
=
P(X/Y)
(
(
)
p x
y
m )
p x
/
y
1 /
n
m
n
(
)
=
p x
/
y
= 1
pentru
j
1,
m
i
j
i
= 1
(
)
H Y / X
sau eroare medie, este o masura a incertitudinii campului de

iesire cand se cunoaste campul de intrare

x y 1 1 ( ) ( ) = U y / x log p
x
y
1
1
(
)
(
)
=
U
y
/
x
log
p y
/
x
j
i
j
i
m
y
(
)
(
)
(
)
=
j
H
Y
/
x
p y
/
x
log
p y
/
x
p(y j /x i )
i
j
i
j
i
=
x
j
1
i
n
)
i
n m
(
)
(
(
)
=
(
)
(
)
(
H Y / X
=
p x
H Y / x
p x
◊ p y
/ x
log p y
/ x
i
i
j
i
j
i
i =
1
i =
1
j =
1
n m
(
)
(
)
=
p x , y
log p y
/ x
i
j
j
i
i =
1
j =
1
Matricea de zgomot a canalului: ( ) p y / ( x p y /
Matricea de zgomot a canalului:
(
)
p
y
/ (
x
p
y
/
1
1
m
[
]
=
P
Y
/
X
(
)
(
p
y
/ x
p
y
/
1
n
m

x

1

x

n

)

)

)

=

17

Pentru canal fara zgomot: m = n

p(y

j

/

x

i

)

= 1 pentru

m

In toate situatiile:

j = 1

j

p(y

=

i

j

/

si

x

i

)

=

1

p(y

j

/

pentru

x

i

)

i

= 0 pentru

=

1,

n

j

π

i

Relatiile entropiilor conditionate cu entropiile proprii

In general, H(X ) H(X /Y ) In cazuri extreme:

canal neperturbat: H(X )> H(X