Entropia informaional

Orice surs de informaie emite o multitudine de mesaje diferite, fiecare de lungime m

(simbolul primar blank poate fi de asemenea utilizat). De aceea se convine s se exprime nu
cantitatea de informaie din fiecare mesaj ci cantitatea medie de informaie pe un mesaj din
setul respectiv de mesaje. Cum contribuia informaional a unui simbol si, i=1m, din
mesaj,
este log pi , contribuia medie a simbolurilor si din mesaj este m pi log pi deoarece,
pentru
m suficient de mare, numrul simbolurilor si n mesaj se apropie de numrul lor mediu pe
mesaj, iar contribuia informaional total este numrul lor mediu nmulit cu contribuia
fiecruia. Altfel spus, simbolul si poate s apar pe prima poziie a cuvntului sau pe cea dea
doua poziie sau pe cea de-a treia poziie sau sau pe ultima poziie. Deci:
1 m1 1
... m pdei m ori
nn n
1
n
Aici s-a considerat
cazul cel mai simplu, cel al probabilitilor pi
egale. Dar nu
n
toate mesajele pot accepta, n mod virtual, pe oricare din poziiile coninute, simbolul si,
deoarece vor exista i poziii rezervate (pentru blank-uri spre exemplu). De aceea, produsul
mpi, n medie, va trebui reconsiderat ca vpi, vm.
Informaia medie total coninut n mesajul format din m simboluri este suma
contribuiilor medii a tuturor celor n simboluri:
I m vp1 log p1 vp 2 log p 2 .... vp k log p k ... vp n log
p n n
v p i log p i

((3-9)

i 1

Informaia medie pe simbol se va scrie:

I

n m

(3-10)

pi log pi
vi 1
Mrimea H a cptat numele de entropie a sursei de informatie, deoarece formal, ca
expresie matematic, ea este analog entropiei termodinamice a unui sistem, stabilit de
Boltzmann.
Observaie: Semnificaia fizic a msurii cantitii de informaie astfel obinut este
aceea c ea d numrul minim de operaii (de alegeri) necesare pentru a ridica
nedeterminarea.