Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Cap.4ENTROPIA
Continutul de informatie al unui rezultat x:
i(x) log 2

1
p(x)

Fie X o variabila aleatoare discreta.

Entropia acestei variabile este:
n

i 1

i 1

H X p xi i xi p xi log p xi [Biti/simbol]
Reprezentand continutul mediu de informatie
pe simbol.
Hmax(x)=log2 n
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

11/10/16

Exemplu VABernoulli
Fie doua evenimente, x1 si x 2
definite pentru:

X [ x1 , x 2 ]

Px 1 p, p

H X H p 1 p log 1 p p log p
H 0 H 1 0
H max p H 1 / 2 1
11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Ordonati
dpdv.alEntropiei

H=2.58b/s

H=2.06b/s

H=2.42b/s

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Ordonati
dpdv.alEntropiei

Hmax=log2 10

Hmax=log2 2

Hmax=log2 5

3.32 b/s

1 b/s

2.32 b/s
11/10/16

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Cap5.Sursediscretede
informatie
5.1 Definitii si terminologie.
Codul Morse

X1

X2

Linie

X3
X4

Punct

Spatiul dintre litere

3t
Spatiul dintre cuvinte
6t
11/10/16

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

5.2Tipuri desurse
Sursa discreta fara memorie (SDFM)

p(x in | x jn 1 , xkn 2 ,.....) p ( xin )

Fie:

[ X ] [ x1 , x2 ,.....xm ]

alfabetul finit alsursei;

[ P ] [ p1 , p2 ,...... pm ]

distributia probabilitatilor;

[ ] [ 1 , 2 ........ m ]

duratele simbolurilor;

Sursa extinsa deordinul n:ce

[ X n ] contine mn mesaje distincte

[X n ] [ 1, 2 ,..... mn ]

[ Pe ] [ pe1 , pe 2 ,...... pe m n ]

j x j1 x j 2 .....x jn (mesaj delungime n)

pej p j1 p j 2 ..... p jn

11/10/16

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

SDFMsursa extinsa
Fiesursa:

Extensia deordinul 2asursei:

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Sursa discreta cumemorie

Constrangeri - deterministe;
- probabilistice;

Exemplu:Sursa discreta cuconstrangeri fixegeneratoare decodmorse

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

Sursa discreta cumemorie

Pentru sursa de ordin 1:
p (xi n / xj n-1, xk n-2, ... ) = p (xi n /xj n-1)
Pentru sursa de ordin 2:
p (xi n / xj n-1, xk n-2, ... ) = p (xi n /xj n-1, xk n-2)
{ ...,S2,S1,S0,S1,S2,...} proces aleator discret

Ex. Sursa MARKOV

Lant Markov finit si
omogen

Si stare,

VAdiscreta cuvalori in

{s0,s1,...,sr1}

alfabetul starilor

p(S1 =sj /S0,S1,...) =p(S1 =sj /S0) =p(S1 /S0)

11/10/16

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

10

Sursa Markov
Un sir de v.a. discrete { ...,X0, X1, X2, X3, X4,...}
X {x1, x2 ,....x D }

alfabetul finit al sursei

{ ...,S0,S1,S2,...} sirul de stari lant Markov finit

S {s1 , s2 ,......sr }

alfabetul starilor
P ( S 0 s j ) poj

P0={p01,p02,...........,...... p0r}
Omogenitate:

P(S

n1

f :S X
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

( j )

s j | Sn si ) p(s j | si ) p ji
X 0 f ( S 0 ) X 1 f ( S1 )......

11/10/16

11

Caracterizarea sursei Markov

Matricea detranzitie /Graful starilor

Sursa omogena

t=n

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

12

Caracterizarea sursei Markov

Matricea detranzitie /Graful starilor

..

p11

p12

p21

p22 ..

.
pr1

. ..
pr 2 ..

p1r

p2r

. D
prD pij 1
j1

t
(T
lim ) P
n

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

13

Exemplu:Caracterizarea sursei Markov

Matricea detranzitie /Graful starilor

1/3

1/2
1/2

s1

s3

2/3
1
S2
11/10/16

D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

14

..tipuri desurse
Sursa stationara p xin p xink k
Sursa cu debit controlabil
Sursa cu debit necontrolabil
Sursa ergodica
(sirul tipic contine ni=n*p(xi) cu xi =1.D

ni
p xi
lim
n n

n
I. Gavat - Teoria transmisiunii informatiei, note de curs, 2003
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

11/10/16

15

5.3Parametrii surselor discrete

Entropia unei surse discrete fara memorie, ergodica:
n

H X p(xi )log p(xi )

i1
n
1 n
H X N ii xi p(xi ) log p(xi )
N i1
i1

Entropia sursei extinse.

H X m mH X

Exemplu:
H X p1 log p1 p2 log p2
H X 2 p12 log p12 2 p1 p2 log p1 p2 p22 log p22 2 p1 log p1 2 p2 log p2 2H X
11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

16

Parametrii surselor discrete

Entropia unei surse discrete, cu memorie, ergodica,
de tip Markov
lim Pn w
n

H X lim H X n / X1,, X n1
n

1
H X lim H X1,..., X n
n n

Entropia unei stari:

q

H S j p jk log p jk
k1
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

11/10/16

17

Parametrii surselor discrete

Debitul de informatie al unei surse este:
H t (X)

H (X)

[bit/simbol*sec]

Cantitatea de decizie a sursei , entropia max:

Hmax=log2n
Redundanta sursei:
Absoluta Rs H max X H X

H X
Relativa:
H max X
Eficienta sursei: s H X 1 s
H max X

s 1

11/10/16
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

18

Problema
Nr.1Trage de2ori,cuprobabilite dealovi tina.

Nr.2Trage de3ori cuprobabilitate 1/3dealovi tinta.

Prin observarea carui arcas seobtine mai multa informatie?

R. Stoian, L.Perioar - Teoria informatiei si a codurilor, Probleme 2012
D. Faur - Teoria transmisiunii informatiei, note de curs, 2016

11/10/16

19