Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Cap.4ENTROPIA
Continutul de informatie al unui rezultat X:
h( x) log 2

1
p( x)

Fie X o variabila aleatoare discreta.

Entropia var. X este:
n

i 1

i 1

H X p xi i xi p xi log p xi [Biti/simbol]
Reprezentand continutul mediu de informatie
pe simbol.

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Appendix
n

H a X p xi log a p xi
i 1

BITI

BYTES
n

H 2 X p xi log 2 p xi
i 1

H 256 X p xi log 256 p xi

i 1

Care este relatia dintre H2(X) si H256(X)?

H2(X)=8 H256(X)

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Proprietatile entropiei
1. H(X)>=0,

H(X)=0 daca p=1 sau p=0;

2. Continuitatea;
3. Simetria;
4. Aditivitatea;
5. Hmax(x)=log2 n.

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Exemplu
Fie doua evenimente

x1si x 2 definite pentru:

X [ x1 , x 2 ]

Px 1 p, p

H X H p 1 p log 1 p p log p
H 0 H 1 0
H max p H 1 / 2 1
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Cursa decai
Presupunand ca avem o cursa de cai cu 8 cai care
participa. Probabilitatile ca fiecare dintre cei 8 cai
sa castige sunt urmatoarele :

Entropia cursei:

Cum transmitem un mesaj care sa indice calul ce va

castiga cursa?
0, 10, 110, 1110, 111100, 111101, 1111100, 1111101
ElementsofInformationTheory,ThomasCover,SecondEd.

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016