Universitatea POLITEHNICA din Bucureşti

Facultatea de Automatică şi Calculatoare

Complemente de Matematici
Entropia unui sistem informațional

Îndrumător științific: Studenți:

Prof. dr. ing. Cristina Șerbănescu Stan Andrei-Stelian

1
Cuprins
Introducere 3

Exemplul 1 6

Exemplul 2 8

Concluzie 9

Bibliografie 9

2
 Introducere

Necesitatea codificării informației pentru a se păstra confidențialitatea în

urma transmiterii a condus la studii matematice în această direcție.

Transmiterea informației are la bază două elemente:

1. Sursele de informație
2. Canalele de informație

O măsură semnificativă în teoria transmiterii informației este entropia

informațională. Această mărime se exprimă în numărul mediu de biți necesar
pentru a stoca sau a transmite informația. Extrapolând putem spune că entropia
definește nivelul de incertitudine al unei variabile aleatoare astfel incat o
entropie cât mai mica este de dorit deoarece incertitudinea este mică. De
exemplu, aruncarea unui zar cu șase fețe va avea o entropie mult mai mica decât
aruncarea unei monede.

Orice mesaj poate avea o anumită cantitate de informație legată de

incertitudinea conținută. În sensul că, în cazul unei incertitudini mari, se
consideră informația mai amplă.

Această măsură indică și cantitatea de informație dintr-un mesaj, exprimată

în biți. Atunci când se exprimă în biți ea reprezintă lungimea minimă pe care
trebuie să o aibă mesajul pentru a putea comunica informația dorită.

Ca regulă generală se consideră că un eveniment cu probabilitatea 1 va

conține o informație nulă, ele fiind invers proportionale (creșterea informației
determină descreșterea probabilității).

3
 Inginerul Claude Shannon a introdus prima dată termenul de entropie
informațională prin asocierea a “​n”​ evenimente echiprobabile de probabilitate
1/n ​a cantității de informație egală cu:

I (n) = c * log 2 n = − c * log 2 p , ( c € ℝ constantă)

Unitatea de măsură propusă a fost:

I (2) = − c * log 2 n = c = 1 bit

Din acestea două rezultând că informația cuprinsă într-un eveniment cu

probabilitatea ​p​ este:

I (A) = − log 2 p

Definitie​. Fie un alfabet A = {x1, …, xn} cu vectorul de probabilitate

p = (p1, …, pn). . Informatia cuprinsa in perechea (A, p) este o variabila

discreta .

Media acestei variabile aleatoare se notează () = ∑ − ∗ 2 = 1 și se

numește ​entropia alfabetului A​ (cantitatea medie de informație) si se masoara
in biti/simbol.

Entropia este un element foarte important în continuare, folosindu-se în

special pentru algoritmi de inteligență artificială în arbori decizionali.

4
Proprietățile entropiei:
1. H (p 1 , p 2 , ..., p n ) ≥ 0

Demonstrație:

Presupunem p i o probabilitate pentru fiecare element al mesajului

, i = 1, 2, ..., n . Așadar 0 ≤ p i ≤ 1 rezultă că 0 < log 2 p i ≤ 1 . Din această
n
relație putem deduce că H (p 1 , p 2 , ..., p n ) = − ∑ p i log 2 p i ≥ 0 .
i=1

2. H (p 1 , p 2 , ..., p n ) = 0 dacă există iε(1, 2, ..., n) astfel încât p i = 1 .

Demonstratie:
n
Din p i = 1 si ∑ p i = 1 rezultă că:
i=1

p k = {1, k = i; 0, k =/ i }

Din această relație și faptul că lim x log x = 0 facem convenția că

x→0
0 * log0 = 0 și 1 * log1 = 0 și rezultă afirmația inițială.
n
3. ∑ p k = 1 pentru orice p 1 , p 2 , ..., p n ≥ 0 . Entropia unui eveniment
i=1
este maximă atunci cand probabilitățile p 1 = p 2 = ... = p n = 1/n
traducându-se ca o incertitudine mare.

4. În cazul a două evenimente A și B de forma:

Atunci

H (p 1 , p 2 , ..., p n , 0) = H(p 1 , p 2 , ..., p n )

Demonstrație:

5
 n
Fie p 1 , p 2 , ..., p n ≥ 0, ∑ p k = 1 si
k=1
n+1 n
p 1 , p 2 , ..., p n , p n+1 ≥ 0, ∑ p k = ∑ p k = 1 .
k=1 k=1

Fiindca p n+1 * log p n+1 = 0 rezultă:

H (p 1 , p 2 , ..., p n , 0) = H(p 1 , p 2 , ..., p n , p n+1 ) =

n+1 n n
− ∑ p k logp k =− ∑ p k log p k − p n+1 log p n+1 = − ∑ p k log p k = H (p 1 , p 2 , ..., p n )
k=1 k=1 k=1

5. I (A, B) = H (B) − H (B|A) = H (A) − H (A|B) este cantitatea de informație

relativă a experimentului B condiționat de A.

Afirmație​: I (A, B ) = 0, H(B) = H (B|A) dacă evenimentele sunt independente,

adică B nu are informație conținută în A, deci ele nu se influențează.

Afirmație​:​ ​Dacă H (B|A) = 0 atunci I (A, B ) = H (B) deci realizarea lui A duce la
dispariția nedeterminării lui B ⇒ informația din B este maximă.

Exemplul 1
Presupunem ca avem trei cutii formate din 4 bile colorate în roșu sau verde. În
prima cutie știm că sunt toate bilele roșii, în a doua avem 3 bile roșii și una verde și în
ultima avem 2 roșii și 2 verzi.

Cerința:

6
Cum putem să deducem dacă ordinea bilelor după extragere va fi ordinea inițială din
cutie?

Calculul entropiei fiecărei cutii va presupune mai intai definirea probabilitatilor de

extragere a fiecărei bile, una cate una fiind respectată ordinea din cutie.

Notă: După fiecare extragere, bila este reintrodusă în cutie din locul din care a
fost luată.

Rezolvare:

Vom nota prescurtat rosu cu ​r ​și verde cu ​v​.

Așadar avem următoarele probabilități și entropii asociate:

Pentru prima cutie​ p r = 1 , p v = 0 ⇒

H (A) = 14 (− log 2 (1) − log 2 (1) − log 2 (1) − log 2 (1)) = 0biți/simbol

Entropia fiind mică, este cert ca se va extrage o bilă de culoare roșie, așadar este
clar ca la finalul extragerii bilelor din prima cutie, culorile bilelor vor fi în
ordinea inițială.

Pentru cea de-a doua cutie

p r = 0, 75, p v = 0, 25 ⇒
H (B) = 14 (− log 2 (0.75) − log 2 (0.75) − log 2 (0.75) − log 2 (0.25)) = 0.81125biți/simbol

Observăm că entropia este ceva mai mare comparativ cu prima cutie, deci
incertitudinea ca bilele extrase vor fi în aceeași ordine este mai mare, dar încă
moderată.

Pentru cea de-a treia cutie

p r = 0, 5, p v = 0, 5 ⇒

H (C) = 14 (− log 2 0.5 − log 2 0.5 − log 2 0.5 − log 2 0.5) = 1biți/simbol

Din aceste rezultate deducem că entropia este mare în acest caz, rezultând
într-o incertitudine mare ceea ce înseamnă ca bilele extrase nu vor fi cu
siguranța în aceeași ordine de culoare ca în momentul inițial.

7
Exemplul 2
Se presupune un șir de 100 numere naturale începând cu 1.

Cerința:

Care este numărul minim de întrebări ce trebuie formulate pentru a descoperi 3

numere diferite din șirul dat, știind ca acestea 3 au fost prestabilite?

Rezolvare:

Evenimentul .
1 1
Rezultă că H (A) =− 100
· 100 log 2 100 = log 2 100 = 6, 64 biți/simbol

Definim .

H (B k ) = log 2 3 = 1, 58 biți/simbol
6.64
H (A) ≤ k log 2 3 ⇔ log 100 ≤ k log 3 ⇒ k ≥ 1,58 ⇒ k ≥ 4, 20

În concluzie este nevoie de cel puțin 4 întrebări pentru a ghici cele 3 numere.

Concluzie
Entropia este esențială în teoria transmiterii informației pentru a putea
codifica și transmite mesajul în condiții optime. Așa cum probabil s-a observat
din exemplele din această lucrare, entropia crește întotdeauna în timp și ordinea
care poate fi la început se va degrada pe parcurs.

8
Bibliografie
[1] C. Șerbănescu, Complemente de matematici (notite curs)

[2]https://medium.com/udacity/shannon-entropy-information-gain-and-picking-
balls-from-buckets

[3]Teoria probabilităților, Prof. univ.dr. Gheorghe Cenușă, Editura ASE