Entropie informaional

n teoria informaiei, entropia Shannon sau entropia informaional msoar incertitudinea

asociat cu o variabil aleatoare. Aceast msur indic i cantitatea de informaie coninut ntr-un
mesaj, exprimat de obicei n bii sau n bii pe simbol. Cnd este exprimat n bii, ea reprezint
lungimea minim pe care trebuie s o aib un mesaj pentru a comunica informaia.
Ea mai reprezint i o limit absolut a celei mai bune compresii fr pierderi aplicabil unor date
comunicate: tratnd un mesaj ca pe o serie de simboluri, cea mai scurt reprezentare posibil a
mesajului are lungimea egal cu entropia Shannon n bii pe simbol nmulit cu numrul de
simboluri din mesajul original.
O aruncare a monezii are entropia de un bit. Dar, dac moneda nu este echilibrat, atunci
incertitudinea este mai mic (se tie c exist o probabilitate mai mare ca ea s cad cu o anume
parte a ei n sus), i astfel entropia Shannon este mai mic. Un ir lung de caractere repetate au
entropia 0, deoarece fiecare caracter este previzibil. Entropia unui text n limba englez este de 1,0
pn la 1,5 bii pe liter,[1] . Echivalent, entropia Shannon msoar media de coninut informaional
pe care receptorul o pierde atunci cnd nu cunoate valoarea variabilei aleatoare.
Conceptul a fost introdus de Claude Shannon n lucrarea sa din 1948 O teorie matematic a
comunicaiei.

Definiie
Entropia H a unei variabile discrete X cu valorile {x1, ..., xn} i funcia de probabilitate p :
(1)
iar dac X este continu, avnd funcia de distribuie f(x):

unde b este o baz pentru logaritmi, real i supraunitar (de obicei 2, caz n care unitatea de msur
a informaiei se numete bit, sau e, caz n care ea se numete nat).

Exemplu
Presupunem evenimentul aruncrii unui zar cu 6 fee. Valorile variabilei X sunt {1,2,3,4,5,6} iar
probabilitile obinerii oricrei valori sunt egale. Entropia este:
.
Pentru o populaie discret cu valorile {1,2,3,4,5,6} cu probabilitile respectiv

{3%,16%,31%,31%,16%,3%} (aproximativ o distribuie binomial cu p=50%) entropia calculat

este:

. Incertitudinea s-a diminuat fa de exemplul precendent.

Proprieti
Aditivitate
Logaritmul este folosit n calculul entropiei pentru a pemite adunarea incertitudinii unor variabile
independente.
De exemplu, considernd X i Y doua evenimente independente, distribuite uniform, cu
respectiv
posibile rezultate perechea (X,Y) va avea
rezultate echiprobabile
. Entropia perechii (X,Y) se calculeaz:
(2)
Astfel, entropia perechii este egal cu suma entropiei celor dou evenimente luate separat.
Proprietatea aditivitii implic faptul c entropia se menine constant indiferent dac mulimea
rezultatelor/procesul este privit ca ntreg sau ca sum a unor submulimi / procese.

Schimbarea de baz
Entropia poate fi calculat folosind diferite baze ale logaritmului. nmulirea logaritmilor are
proprietatea:
Entropia calculat in baza
baza 2.

.
va fi egal cu

inmulit cu entropia calculat cu logaritm in

Continuitate
Entropia este o funcie continu. Unei modificari infinitezimale a probabilitilor corespunde o
modificare asemntoare a entropiei.

Simetrie
Valoarea entropiei rmne neschimbat daca se schimb ordinea variabilelor xi.
etc.

Maximum
Entropia, incertitudinea atinge o valoare maxim dac evenimentele sunt echiprobabile.

Pentru evenimente independente i echiprobabile entropia crete cu numrul posibil de rezultate.