4.

ENTROPIA SURSELOR DISCRETE DE INFORMATIE

Definitie : Entropia unei surse discrete de informatie este cantitatea de informatie, medie pe
simbol, generata de sursa.

4.1. Entropia sursei fara memorie

4.1.1. Expresia entropiei

Entropia unei surse fara memorie se calculeaza cu urmatoarea expresie :

( ) ) ( log
i
i
i
p p X H

=

Justificare: Fie
n
X X X S , , , :
2 1
un sir tipic generat de sursa. Din numararea simbolurilor
de acelasi fel rezulta valorile
N
n n n , , ,
2 1
( n n
i
i
=

). Sirul fiind tipic, pentru 1 >> n ,

numarul de aparitii ale unui simbol este aproximativ
i i
np n ~ . Deci, probabilitatea estimata de
aparitie a sirului este: ( ) ( )
n
p
n
p p
n
p p p S p
2 1
2 1
= si, in consecinta, informatia sirului este:


( ) ( ) ( )

= =
i i
p p n S p S i log log

iar entropia ( )
( )
) ( log
i
i
i
p p
n
S i
X H

= =

Observatie : Aceasta expresia entropei este valabila si pentru sursele neergodice sau sursele
nestationare.

Unitatea de masura pentru entropie : bit/simbol.


4.1.2. Proprietatile entropiei

a) Entropia este totdeauna mai mare sau egala cu zero
b) Continuitate : ( ) X H este continua in raport cu variabilele
i
p
c) Simetrie : ( ) X H este simetrica in raport cu variabilele
i
p
d) ( ) X H este maxima cand simbolurile sursei sunt echiprobabile
e) Aditivitate:
e1) compunerea simbolurilor descreste entropia
e2) scindarea simbolurilor creste entropia

Justificarae proprietatii d): Demonstratia se face folosind metoda multiplicatorului lui
Lagrange

Justificarea proprietatilor e1) si e2):

4.1.3. Entropia sursei binare

Fie alfabetul | | | |
2 1
, x x X = cu probabilitatile | | | | p p P = 1

Entropia ( ) ( ) ( ) ( ) p p p p X H = 1 log 1 log
Pentru 0 = p sau 1 = p , ( ) simb bit X H / 0 =
Pentru 2 / 1 = p , entropia este maxima ( ) simb bit X H / 1 =


4.2. Entropia sursei Markov

Fie sursa Markov de ordin k, cu alfabetul :

| | | |
N
x x x X , , ,
2 1
=

si alfabetul starilor :

| | | |
k
N
k
s s s S , , ,
2 1
=

Definitie : Entropia sursei Markov este informatia medie pe stare, generata de sursa:

( ) ( ) ( )
j k
j
j k
s S H s p S H

=

unde ( )
j k
s S H este informatia medie cand sursa se afla in starea particulara
j
s :

( ) ( ) ( )
j i
i
j i j k
s s p s s p s S H

= log

Proprietate : Entropia sursei Markov este mai mica decat entropia unei surse fara memorie
care ar genera aceleasi simboluri (dependenta de trecut diminueaza cantitatea medie de
informatie pe simbol):
H(X)
p 1/2 1
1

( ) ( )
0
S H S H
k
<

Justificare:

Demonstratia se bazeaza pe urmatorul rezultat:

Inegalitatea fundamentala (lema):

Fie | | | |
N
p p p P , , ,
2 1
= cu 1 =

i
i
p si
| | | |
N
q q q Q , , ,
2 1
= cu 1 =

i
i
q
doua seturi de probabilitati.
Atunci 0 log
2
s

i
i
i
i
p
q
p


Demonstratie lema (indicatie): se porneste de la 1 log
2
s x x si se noteaza
x
p
q
i
i
= .

Definitie: Marimea
i
i
i
i
q
p
p
2
log

se numeste entropie relativa sau distanta

Kullback-Liebler. Entropia relative este o marime nenegativa; ea ia valoarea zero cand cele
doua distributii sunt egale (se foloseste pentru a masura similaritatea a doua distributii).


4.3. Decorelarea sursei Markov

Definitie : Decorelarea este operatia prin care un semnal numeric, modelat printr-o sursa
Markov, este transformat intr-o sursa fara memorie. In practica se realizeaza o quasi-
decorelare, adica se obtine o sursa cu memorie de lungime redusa si cu dependenta mica intre
simboluri.

Cea mai simpla metoda de decorelare este predictia liniara cunoscuta si sub numele de DPCM
(Differential Pulse Code Modulation)

4.3.1. Cazul semnalelor 1D

Fie un semnalul numeric format din urmatoarele esantioane : , , , ,
2 1 n
x x x

Semanalul decorelat se obtine calculand diferenta intre simbolurile consecutive :

, , , ,
1 1 2 1

n n
x x x x x

4.3.2. Cazul semnalelor 2D

Fie imaginea constituita din pixelii :







j i j i i
j i j i i
j j
i i i
i i i
i i i
, 1 , 1 ,
, 1 1 , 1 1 , 1
, 1 1 , 1 1 , 1

Imaginea decorelata este constituita din pixelii diferenta
1 , 1 , 1 , 1 ,
75 , 0 5 , 0 75 , 0

+ =
j i j i j i j i
i i i d :







j i j i i
j i j i i
j j
d d i
d d i
i i i
, 1 , 1 ,
, 1 1 , 1 1 , 1
, 1 1 , 1 1 , 1

4.4. Debit, redundanta, redundanta relativa


Definitie : Debitul de informatie al unei surse este cantitatea medie de informatie generata
pe secunda de sursa.

( )
( )
t
X H
X H
t
= unde t este durata unui symbol

Unitatea de masura pentru debit este bit/sec.


Definitie : Redundanta unei surse de informatie este:

( ) ( ) ( ) X H X H X R =
max


Unde ( ) X H
max
este entropia maxima a sursei (entropia in cazul simbolurilor echiprobabile) si
( ) X H este entropia sursei.

Unitatea uzuala de masura este bit/simbol.

Definitie : Redundanta relativa a unei surse este

( )
( ) ( )
( ) X H
X H X H
X
max
max

= ( ) | | 1 0 e X

Redundanta relativa este adimensionala.

4.5. Entropia conjugata a doua surse de informatie

Fie doua surse de informatie:

| | | |
N
x x x X , , ,
2 1
=
| | | |
N
p p p P , , ,
2 1
= cu 1 =

i
i
p
si

| | | |
M
y y y Y , , ,
2 1
=
| | | |
M
q q q Q , , ,
2 1
= cu 1 =

i
i
q

Definitie : Entropia conjugata (sau compusa) a surselor X si Y este

( ) ( ) ( )
j i
i j
j i
y x p y x p Y X H , log , ,

=
Observatii:

a) Informatia conjugata este totdeauna pozitiva
b) Unitatea uzuala de masura pentru informatia conjugata este bit/simbol.

Cazuri particulare :

1. Daca sursele de informatie sunt independente :

( ) ( ) ( ) Y H X H Y X H + = ,

Demonstratia se bazeaza pe definitia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = ,

2. Daca sursele sunt identice:

( ) ( ) ( ) Y H X H Y X H = = ,

3. Daca sursele sunt dependente statistic:

( ) ( ) ( ) Y H X H Y X H + s ,

Demonstratia se face folosind inegalitateafundamentala, in cazul seturilor de
probabilitati ( )
j i
y x p , si ( ) ( )
j i
y p x p .


4.6. Informatia mutuala a doua surse

Definitie : Informatia mutuala a doua surse X si Y este media informatiilor mutuale a
perechilor de simboluri ( )
j i
y x , generate de surse:

( ) ( )
( )
( ) ( )
j i
j i
i j
j i
y p x p
y x p
y x p Y X I
,
log , ,

=

Unitatea de masura uzuala pentru ( ) Y X I , este bit/simbol.


Cazuri particulare :

1. Daca X si Y sunt independente:

( ) 0 , = Y X I

Demonstratia se bazeaza pe definitia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = , .

2. Daca X si Y sunt identice:

( ) ( ) ( ) Y H X H Y X I = = ,

3. Daca X si Y sunt dependente statistic:

( ) ( ) X H Y X I s , si ( ) ( ) Y H Y X I s ,

Proprietati:

1. ( ) ( ) ( ) ( ) Y X H Y H X H Y X I , , + =

Justificare: Se calculeaza expresia din stanga, scriindu-i pe ( ) X H si ( ) Y H ca functii
de probabilitatile ambelor v.a. De exemplu, ( ) ( )

=
j
j i i
y x p x p , , conform Teoremei
probabilitatii totale.

2. Informatia mutuala este o marime nenegativa: ( ) 0 , > Y X I .

Justificare: Rezulta din proprietatea entropiei conjugate ( ) ( ) ( ) Y H X H Y X H + s ,

Observatie: Desi informatia mutuala a doua simboluri poate fi si negativa, informatia
mutuala a doua surse este totdeauna nenegativa.


4.7. Entropia conditionata a sursei de informatie

Definitie : Entropia sursei X , conditionata de sursa Y , este cantitatea medie de
incertitudine care ramane asupra lui X , cand se cunoaste Y .

( ) ( ) ( )
j i
i j
j i
y x p y x p Y X H

= log ,

Observatie: ( ) ( ) ( )
j i
i
j i j
y x p y x p y X H

= log este incertitudinea medie asupra lui X , cand
Y a generat simbolul
j
y . In medie, aceasta incertitudinea este

( ) ( ) ( )

=
j
j j
y X H y p Y X H .

Cazuri particulare:

1. Daca X si Y sunt independente:

( ) ( ) X H Y X H =

Demonstratia se bazeaza pe definitia v.a. independente: ( ) ( ) ( )
j i j i
y p x p y x p = , .

2. Daca X si Y sunt identice:

( ) 0 = Y X H

3. Daca X si Y sunt dependente statistic:

( ) ( ) X H Y X H s /


4.8. Relatii intre entropii (Diagrame Venn)


4.8.1. Reprezentarea entropiilor prin Diagrame Venn :


Sursele X si Y sunt independent











Sursele X si Y sunt identice





H(X) H(Y)
H(X)
H(Y)
Sursele X si Y sunt dependente statistic











4.8.2. Relatii intre entropii

( ) ( ) ( ) X H X Y H Y X H + = , si ( ) ( ) ( ) Y H Y X H Y X H + = ,

( ) ( ) ( ) ( ) ( ) Y H X H Y X H X H Y X H + s s s , /


4.9. Generalizare (cazul a n surse)


Diagrama Venn pentru 3 surse de informatie :














a) ( ) ( ) ( ) ( ) Y X Z H X Y H X H Z Y X H , , , + + = (se deduce din Diagrama Venn)

unde ( ) ( ) ( )
j i k
i j k
k j i
y x z p z y x p Y X Z H , log , , ,

=

b) ( ) ( ) ( ) Z H X Z H Y X Z H s s s , 0

Pentru n surse, prin analogie cu relatiile anterioare, putem scrie:

a) ( ) ( ) ( ) ( )
1 1
1
2 1 1
, , , ,

+ + + =
n n n
X X X H X X H X H X X H

H(X/Y) H(Y/X)
H(Y/X,Z)
H(X/Y,Z)
H(Z/X,Y)
Daca sursele sunt independente, atunci: ( ) ( )

=
i
i n
X H X X H , ,
1


b) ( ) ( ) ( ) ( )
n n n n n n
X H X X H X X X H X X X H s s s s s
1 2 1 1 1
, , , , 0