Entropie informaional

ional
Proprieti
Aditivitate
Logaritmul este folosit n calculul entropiei pentru a pemite adunarea incertitudinii unor variabile independente.
De exemplu, considernd X ii Y doua evenimente independente, distribuite uniform, cu

respectiv

posibile

rezultate perechea (X,Y) va avea

rezultate echiprobabile
Entropia perechii (X,Y) se calculeaz:

(2)
Astfel, entropia perechii este egal cu suma entropiei celor dou
dou evenimente luate separat. Proprietatea
aditivitii implic faptul c entropia se menine
men
constant indiferent dac mulimea
imea rezultatelor/procesul este
privit ca ntreg sau ca sum a unor submulimi
submul
/ procese.

Schimbarea de baz
Entropia poate fi calculat folosind diferite baze ale logaritmului. nmulirea
nmul irea logaritmilor are proprietatea:
.
Entropia calculat in baza va fi egal
l cu

inmulit cu entropia calculat cu logaritm in baza 2.

Continuitate
Entropia este o funcie continu.. Unei modificari infinitezimale a probabilitilor
pr
ilor corespunde o modificare
asemntoare a entropiei.

Simetrie
Valoarea entropiei rmne
mne neschimbat daca se schimb ordinea variabilelor xi.

etc.
Maximum
Entropia, incertitudinea atinge o valoare maxim
maxim dac evenimentele sunt echiprobabile.

Pentru evenimente independente ii echiprobabile entropia crete

cre cu numrul
rul posibil de rezultate.