Sursa De Informaţie

Experimentul Probabilistic (Ω, K, P )

Un experiment se definşte ca fiind realizarea unui complex de condiţii.
Exemplu:
i) se aruncă de N ori cu banul;
ii) se măsoară tensiunea de la ieşirea unui aparat.
În urma unui experiment se obţine un rezultat experimental.
Exemplu:
i) se aruncă o monedă o singură dată; sunt posibile două rezultate: ω1 (aparestema)
şi ω2 (aparebanul);
ii) se aruncă o monedă de două ori la rând; sunt posibile patru rezultate: ω1 (stema −
stema), ω2 (stema − ban), ω3 (ban − stema) şi ω4 (ban − ban).
Mulţimea tuturor rezultatelor experimentale distincte se numeşte spaţiul eşan-
tioanelor Ω
Un eveniment este o multime a lui Ω. Spunem despre un eveniment că se realizează
ori de câte ori apare ca rezultat experimental o componentă a sa.
Exmplu:
apare faţa pară la un zar (A = {2, 4, 6}); acest eveniment se realizeazŏri de câte ori
apare fie 2, fie 4, fie 6.
evenimentul sigur = cel care se realizează mereu (mulţimea Ω)
evenimentul imposibil = cel care nu se realizează niciodată (mulţimea vidă Ø)
Vom nota cu K un câmp de evenimente pe Ω dacă sunt ı̂ndeplinite candiţiile:
1) Dacă ∀A ∈ K atunci A ∈ K;
2) Dacă A1 şi A2 sunt două evenimente din K atunci şi A1 ∪ A2 ∈ K.
Pe K se poate defini orice operaţii cu mulţimi: reuniune, intersecţie, deferenţă,
complementare.
Notaţia P se referă la probabilităţile evenimentelor din câmpul de evenimente K.
Probabilitatea este un număr ce se asociazŭnui eveniment aleator (eveniment care
poate sau nu să apară). Deci probabilitatea este o funcţie P : K → [0; 1] ce
ı̂ndeplineşte condiţiile:
!) P (Ω) = 1
2) ∀A1 , A2 ∈ K disjuncte P (A ∪ B) = P (A) + P (B)
2’) ∀Ak , k = 1, 2, . . . , N şir de evenimente din K disjuncte două câte douăatunci:
N
[ N
X
P( Ak ) = P (Ak )
k=1 k=1
.

1
Problema 1

Fie Ω = {1; 2; 3; 4; 5; 6}.

Fie familia F de submulţimi:

Ø; Ω; {1; 3; 5} ; {2; 4; 6} ; {1}

Se cere:
a) Familia F formează un câmp de evenimente pe Ω?
b) Primele 4 elemente din F formează un câmp de evenimente pe Ω?
c) Găsiţi câmpul minim care conţine familia F.
d) Câte elemente conţine câmpul maxim generat de F?

Soluţie:

a) Câmpul de evenimente este o familie de submulţimi care este ı̂nchisă ı̂n raport cu
orice operaţie cu elementele sale (deci ı̂n raport cu operaţii de tip reuniune, intersecţie,
diferenţă, complementare de submulţimi).
Este uşor de verificat că familia F nu formează un câmp de evenimente. De exemplu,
complementara mulţimii {1} este:
¯ = {2; 3; 4; 5; 6} ∈
{1} /F

b) Fie F1 familia formată din primele patru submulţimi ale lui F:

Ø; Ω; {1; 3; 5} ; {2; 4; 6}

Se spune ca familia F1 formează un câmp de evenimente pe Ω (orice operaţie de tip

reuniune, intersecţie, diferenţă, complementare conduce tot la o submulţime din F1 ).

c) Notăm câmpul minim cu K. Acest câmp va conţine ı̂n afară de familia F următoarele
3 submulţimi:
¯ = {2; 3; 4; 5; 6}
{1}
{1} ∪ {2; 4; 6} = {1; 2; 4; 6}
{1; 3; 5} − {1} = {3; 5}

d) Câmpul maxim generat de F va fi mulţimea părţilor lui Ω, deci P(Ω) va conţine

26 evenimente.

2
Problema 2

Sursa de informaţie S are alfabetul format din simbolurile {s1 , s2 , s3 }. Probabilităţile

de generare sunt respectiv {P1 , P2 , P3 }. Se presupune ca sursa emite grupuri de câte
două simboluri din alfabet (sursa generează simmbolurile succesiv, este o sursă fără
memorie).
Care sunt probabilităţile de generare ale tuturor grupurilor posibile de lungime n = 2
simboluri. Să se menţioneze spaţiul eşantioanelor, numărul maxim de evenimente,
probabilităţile evenimentelor.

Soluţie:

Experimentul (ı̂ncercarea experimentală) constă ı̂n generarea de către sursa S a unui

sir de două simboluri. Rezultatul experimental este deci un şir de tipul si sj , i, j =
1, 2, . . . , N .
Mulţimea rezultatelor distincte formează spaţiul evenimentelor Ω.

Ω = {s1 s1 ; s1 s2 ; s1 s3 ; s2 s1 ; s2 s2 ; s2 s3 ; s3 s1 ; s3 s2 ; s3 s3 }

Suma tuturor probabilităţilor din Ω trebuie sa fie 1.

s11 −→ s1 s1 s1 s2 s1 s3
s21 −→ s2 s1 s2 s2 s2 s3
s31 −→ s3 s1 s3 s2 s3 s3
↑ ↑ ↑
s12 s22 s32
Se observă că, ı̂n matricea de mai sus, rândurile corespund realizărilor care au pe
prima poziţie au acelaşi simbol, iar coloanele corespund realizărilor care au pe a doua
poziţie acelaşi simbol.
Notăm:
si1 = evenimentul ca pe prima poziţie să fie simbolul si
si2 = evenimentul ca pe a doua poziţie să fie simbolul si
P (s11 ) = P (s12 ) = P1
P (s21 ) = P (s22 ) = P2
P (s31 ) = P (s32 ) = P3

Observaţie:
Ordinea simbolurilor nu contează, pentru că simbolurile se emit succesiv independent.

3
Deci probabilitatea ca sursa sa genereze simbolul si pe prima sau pe a doua poziţie
este aceeaşi.
Câmpul maxim de evenimente este multimea părţilor P(Ω) va conţine 32 evenimente.

Probabilităţile evenimentelor elementare (si sj ):

Aceste evenimente pot fi privite ca intersecţia a două evenimente (si1 şi sj2 )

{si1 sj2 } = si1 ∩ sj2

Deoarece si1 şi sj2 sunt independente:

P (si sj ) = P (si1 ∩ sj2 ) = P (si1 )P (sj2 ) = P (si )P (sj )

P (s1 s1 ) = P (s1 )P (s1 ) P (s2 s1 ) = P (s1 )P (s2 ) P (s3 s1 ) = P (s3 )P (s1 )

P (s1 s2 ) = P (s1 )P (s2 ) P (s2 s2 ) = P (s1 )P (s2 ) P (s3 s2 ) = P (s3 )P (s2 )
P (s1 s3 ) = P (s1 )P (s3 ) P (s2 s3 ) = P (s1 )P (s2 ) P (s3 s3 ) = P (s3 )P (s3 )

Surse discrete
Informaţia este realizată de realizarea unui eveniment. Presupunem că avem eveni-
mentul X cu probabillitatea de realizare PX . Informatţia obţinută prin realizarea
1
eveimentului X este i(X) = log2 = − log2 Px [bit].
PX
Informaţia este cu atât mai mare cu cât evenimentul este mai imprevizibil, adică
probabilitatea de realizare este mai mică.

Entropia sursei: cantitatea medie de informaţie pe simbol.

Fie:
S = {s1 ; s2 ; . . . ; sN } - alfabetul sursei,
P = {P1 ; P2 ; . . . ; PN } - probabilităţile de apariţie ale simbolurilor.

Informaţia proprie a unui simbol:

i(si ) = − log2 P (si )

Mediind pe toate simbolurile:

4
 N
X
H(S) = i(si )P (si )
i=1
N
X
H(S) = − P (si ) log2 P (si )
i=1

Entropia - măsoară incertitudinea medie pe spaţiul evenimentelor X.

Entropia maximă se obtine pentru P (s1 ) = P (s2 ) = . . . = P (sN ), adică:

Hmax (S) = log2 N

Exemplu: Fie o sursă cu două simboluri.

S = {s1 ; s2 }
S = {P1 ; P2 }

Dacă sursa are două simboluri atunci putem nota:

P (s1 ) = p

P (s2 ) = 1 − p
În acest caz entopia sursei S va fi:

H(S) = −p log2 p − (1 − p) log2 (1 − p) = H(p)

Graficul funcţiei H(p) din relaţia de mai sus este dat ı̂n Figura 1.

Redundanţa - ne arată cât de mult se ı̂ndepărtează entropia unei surse de valoarea ei

maximă. Valoarea maximă a entropiei se atinge când simbolurile sunt echiprobabile.

RS = Hmax (S) − H(S)

Redundanţa relativă - redundanţa raportată la entropia maaximă:

RS H(S)
ρS = =1−
Hmax (S) Hmax

5
 Figure 1: Entropia H(p)

Problema 3

Fie o urnă ı̂n care se găsesc bile de trei culori: 40 albe, 40 roşii şi 10 galbene. După
fiecare extragere bila se repune ı̂n urnă. Urna este similară unei surse de informaţie
care generează trei simboluri: x1 - albe, x2 - roşii, x3 - galbene.
Se cere::
a) Entropia sursei;
b) Redundanţa şi redundanţa relativă a sursei;
c) Se consideră două extrageri succesive din urnă, ceea ce ı̂nseamna extensia de ordinul
2 a sursei. Să se descrie extensia de ordinul 2 şi să se refacă punctele a) şi b);
d) Entropia extensiei de ordinul 3.
Notă Diferă redundanţa de la punctul b) de cea obtinută la punctele c) şi d).

Soluţie:

a) Calculăm probabilităţile celor trei evenimente:

x1 - să apară bilă albă,
x2 - să apară bilă roşie,

6
x3 - să apară bilă galbenă.
40 40 4
P (x1 ) = = =
40 + 40 + 10 90 9
40 40 4
P (x2 ) = = =
40 + 40 + 10 90 9
10 10 1
P (x3 ) = = =
40 + 40 + 10 90 9
Deci avem sursa X = {x1 ; x2 ; x3 }, cu probabilităţile asociate P = {4/9, 4/9, 1/9}.
Entropia sursei:
3
X
H(X) = − P (si ) log2 P (si ) =
i=1
4 4 4 4 1 1
= − log2 − log2 − log2 =
9 9 9 9 9 9
= 1.396 [biţi]
Hmax (X) = log2 3 = 1.59
b) Redundanţa sursei:
Rx = Hmax (X) − H(X) = 1.59 − 1.396 = 0.194 [biţi]
Redundanţa relativă:
RX H(X)
ρX = =1− = 0.122
Hmax (X) Hmax (X 2 )
c) Sursa extinsă de ordiun 2 este:

X 2 = {x1 x1 ; x1 x2 ; x1 x3 ; x2 x1 ; x2 x2 ; x2 x3 ; x3 x1 ; x3 x2 ; x3 x3 }

cu probabilităţile asociate:

P = {16/81; 16/81; 4/81; 16/81; 16/81; 4/81; 4/81; 4/81; 1/81}

Astfel entropia sursei de ordin 2 este:
16 16 16 16 4 4
H(X 2 ) = − log2 − log2 − log2 −
81 81 81 81 81 81
16 16 16 16 4 4
− log2 − log2 − log2 −
81 81 81 81 81 81
4 4 4 4 1 1
− log2 − log2 − log2 =
81 81 81 81 81 81
= 2.84 [biţi]

7
Entropia maximă unei surse cu 9 simboluri este:

H(X 2 ) = log2 9 = 2log2 3 = 3.18 [biţi]

Redundanţa sursei extinse de ordin 2:

RX 2 = Hmax (X 2 ) − H(X 2 ) = 3.18 − 2.84 = 0.34 [biţi]

Redundanţa relativă a sursei extinse de ordin 2:

RX 2 H(X 2 )
ρX = = 1 − = 0.106
Hmax (X 2 ) Hmax (X 2 )