ENTROPIA

NOTE DE CURS

1
ENTROPIA

Definitie : Entropia unei surse discrete de informatie este

cantitatea de informatie, medie pe simbol, generata de sursa.

1. Entropia sursei fara memorie

Expresia entropiei
Entropia unei surse fara memorie se calculeaza cu urmatoarea
expresie :

H  X    pi log ( pi )
i

2
ENTROPIA
Justificare: Fie S : X 1 , X 2 ,, X n
un sir tipic generat de sursa. Din numararea simbolurilor de acelasi fel
rezulta valorile n , n , , n
1 2  ni  n
N
i

. Sirul fiind tipic, pentru n  1

numarul de aparitii ale unui simbol este aproximativ ni  npi
Deci, probabilitatea estimata de aparitie a sirului este:


pS   p1 p 2  p n
p1 p2

pn n

si, in consecinta, informatia sirului este:

iS    log pS   n pi log  pi 

iar entropia
iS 
H X     pi log ( pi )
n i
3
ENTROPIA
Observatie : Aceasta expresia entropei este valabila si pentru
sursele neergodice sau sursele nestationare.

Unitatea de masura pentru entropie : bit/simbol.

2. Proprietatile entropiei
a) Entropia este totdeauna mai mare sau egala cu zero
b) Continuitate : este continua in raport cu variabilele
c) Simetrie : este simetrica in raport cu variabilele
d) este maxima cand simbolurile sursei sunt echiprobabile
e) Aditivitate:
e1) compunerea simbolurilor descreste entropia
e2) scindarea simbolurilor creste entropia
ENTROPIA
3. Entropia sursei binare

Fie alfabetul X   x1 , x2 

cu probabilitatile P   p 1  p
Entropia:     p log  p  1  plog 1  p
H X

H(X)
1

1/2 1 p 5
ENTROPIA
4. Debit, redundanta, redundanta relativa
Definitie : Debitul de informatie al unei surse este cantitatea
medie de informatie generata pe secunda de sursa.
H X 
H t X  

Unitatea de masura pentru debit este bit/sec.
Definitie : Redundanta unei surse de informatie este:
R X   H max  X   H  X 
Unitatea uzuala de masura este bit/simbol.

6
ENTROPIA
Definitie : Entropia maximă , Hmax, a unei surse
informaționale este

H max  X   log n

Unitatea de masura pentru debit este bit/sec.

Definitie : Eficienta unei surse de informatie este:
  X   H  X  / H max ( X )
Unitatea uzuala de masura este bit/simbol.

7
ENTROPIA
Definitie : Redundanta relativa a unei surse este
H max  X   H  X 
 X  
H max  X 

  X   0 1

Redundanta relativa este adimensionala.

8
ENTROPIA
5. Entropia conjugata a doua surse de informatie
Fie doua surse de informatie:
X   x1 , x2 ,, x N 
p i 1
P   p1 , p2 ,, p N  i
si
Y   y1 , y2 ,, yM 
q 1
Q  q1 , q2 ,, qM 
i
i
Definitie : Entropia conjugata (sau compusa) a surselor X si
Y este H X ,Y      
p xi , y j log p xi , y j
i j
 
Observatii:
Informatia conjugata este totdeauna pozitiva.Unitatea uzuala
de masura pentru informatia conjugata este bit/simbol
9
ENTROPIA
Cazuri particulare :
1. Daca sursele de informatie sunt independente :
H  X , Y   H  X   H Y 
Demonstratia se bazeaza pe definitia v.a. independente:
pxi , y j   pxi  p y j 
2. Daca sursele sunt identice:

H  X , Y   H  X   H Y 
Daca sursele sunt dependente statistic:

H  X , Y   H  X   H Y 

10
ENTROPIA
6. Informatia mutuala a doua surse
Definitie : Informatia mutuala a doua surse si este media
informatiilor mutuale a perechilor de simboluri x , y
i j 
generate de surse:

pxi , y j 
I  X , Y    p xi , y j log
i j p  xi  p  y j 

Unitatea de masura uzuala pentru este bit/simbol.

11
ENTROPIA
Cazuri particulare :
1. Daca X si Y sunt independente:
I X ,Y   0
2. Daca X si Y sunt identice:
I  X , Y   H  X   H Y 
3. Daca X si Y sunt dependente statistic:

I X ,Y   H X  I  X , Y   H Y 

12
ENTROPIA
Proprietăți:

I  X , Y   H  X   H Y   H  X , Y 
1.

2. Informatia mutuala este o marime nenegativa: .

I X ,Y   0

Observatie: Desi informatia mutuala a doua simboluri poate fi

si negativa, informatia mutuala a doua surse este totdeauna
nenegativa. 13
ENTROPIA
7. Entropia conditionata a sursei de informatie
Definitie : Entropia sursei X, conditionata de sursa Y,
este cantitatea medie de incertitudine care ramane asupra lui X,
cand se cunoaste Y .
H X Y    pxi , y j log p xi y j  
i j

Observatie:
  
H X y j   p xi y j log p xi y j   
i

este incertitudinea medie asupra lui X , cand Y a generat

simbolul yj . In medie, aceasta incertitudinea este
H X Y    py j H X y j  
j 14
ENTROPIA
Cazuri particulare:
1. Daca X si Y sunt independente:
H X Y   H  X 

2. Daca si sunt identice:

H X Y   0
3. Daca X si Y sunt dependente statistic:

H X / Y   H X 
15
Surse de informație
Relatii intre entropii:

H  X , Y   H Y X   H  X 

H  X , Y   H X Y   H Y 

H  X / Y   H  X   H  X , Y   H  X   H Y 

16