Teoria

transmisiunii
informatiei
Daniela FAUR, PhD.

1
 Sistem de comunicație

Sursa Emitator CANAL Receptor Destinatar

Perturbatii

2
 Transmiterea informației
Simbolurile
sursei

Probabilitatile 0.65. 0.2 0.1 0.05

asociate

Cod A
00 0.1 10 11

Cod B
0 10 110 111
Constanta Bucuresti
00 00 00 00 00 01 01 10 11
0 0 0 0 0 10 10 110 111
3
 Modelarea probabilistică
Evenimente, variabile aleatoare si probabilitati

Fie Ω spatiul esantion : Ω={𝜔1,𝜔2,…….𝜔 n}

Variabila aleatoare X: Ω {x1, x2,…..xD}

Ex. Experimentul aruncarii cu zarul.

wi- evenimentul aparitiei fetei “i”;
X(𝜔1)=1; X(𝜔2)=2…..X(𝜔6)=6

Fie p o masura numita probabilitate si asociata unui ev. elementar “i” .

PX: {x1, x2,…..xD} R astfel incat p(xi)=P(X=xi) i=1,2,…D, p(xi)≥0

D
∑ P (x ) = 1
X i
i=1
4
 Modelarea probabilistică
- Determinarea experimentala a probabilitatii de realizare a unui eveniment
se face dupa relatia:

p(A) = nr de cazuri favorabile realizarii lui A /numar total de cazuri

- Probabilitatea conditionata: fie A si B doua evenimente

p(B/A)=p(A, B)/P(A)
Daca cele doua
evenimente A si B
• Independenta statistica sunt statistic
p(A,B)=p(A)*p(B) independente cat este
p(A/B)?
- Teorema lui Bayes:

- Formula probabilitatii totale:

p(B)=p(B/A)*P(A)+p(B/ A )*p( A) unde p(A) = 1− p(A)
5
 Modelare probabilistică
Problema . Dintre n bilete cu subiecte la examen, m sunt favorabile. Stundetii vin
pe rand si aleg cate un bilet. Daca primul student alege un bilet favorabil care
este sansa ca si cel de al doilea sa aleaga un bilet favorabil?
Fie
• A- evenimentul alegerii unui bilet favorabil de catre primul student
• B- evenimentul alegerii unui bilet favorabil de catre cel de-al doilea student
=m/n
p(A)=? p(B/A) = m-1/n-1
=m/n

p(B)=p(B/A)*P(A)+p(B/ A )*p(A ) p(B/A ) = m/n-1 p(B)= ?

p( A ) = n-m/n

6
 Cap.3 Măsura informației
în sisteme discrete
• Informație proprie i(xi)

• Incertitudine a priori informație a posteriori

U(xi)=F!"p(xi)#$ i ( xi ) = F !" p ( xi )#$

7
 Cap.3 Măsura informatiei
în sisteme discrete
Specificarea functiei F:
- i(xi)>=0;

- i(xi)=0; daca p(xi)=1;

- Daca incertitudinea creste, i(xi) creste.

- i(xi) trebuie sa aiba proprietatea de aditivitate

- Daca p(xi) < p(xj) atunci i(xi) > i(xj)

- Cand p(xi) → 0, i(xi) → + ∞

Solutia ecuatiei: F ( p) = −λ log B p

i ( xi ) = −λ log B p ( xi ), λ = ct. > 0 8
 Unități de măsură

Binary digit BIT (B=2, λ=1)

NIT (B=e, λ=1) 1nit=log2e=1.44 biti

DIT (B=10, λ=1) 1dit=log2 10= 3.32 biti

9
Exemple

10
 Cap.3 Măsura informației în
sisteme discrete
• Informatia mutuala i(xi, yj)
Fie 2 experimente:
n m

[X]=[x1,x2 ...xn] xi=E [Y]=[y1,...,ym] y =E j

i=1 j=1

xi ∩ x j = ∅ ∀i≠j y j ∩ yk = ∅, ∀j ≠ k
[Px]=!"p(x1),p(x2),... p(xn)#$ !"Py#$=!"p(y1),...,p(ym)#$
m
n

∑p(x )=1 i
∑p(y )=1 j
j=1
i=1

p(xi ,y j ) i(xi /y j )=−logp(xi /y j )

p(xi /y j )=
p(y j )

11
 Cap.3 Măsura informației în
sisteme discrete
Informatia mutuala i(xi, yj)
p(xi /y j ) p(xi ,y j )
i(xi ,y j )=i(xi)−i(xi /y j )=−logp(xi)+logp(xi /y j )=log =log
p(xi) p(xi)⋅p(y j )

Caz I :
xi=y j ⇒i(xi ,xi)=−logp(xi)+logp(xi /xi)=i(xi )

Caz II:

xi ⊥y j ⇒i(xi ,y j )=−logp(xi)+logp(xi /y j )=0

12
Exemplu: Alfabetul lb. engleze

p (x,y)

13
Exemplu: Alfabetul lb. engleze

14