Documente Academic
Documente Profesional
Documente Cultură
c − cV
lim P → 0 , care tinde către zero mai lent decât diferenţa de la
T →0 cP
numărător c P − cV .
1.5. Entropia
Există trei formulări ale entropiei (din limba greacă εντροπία):
termodinamică, statistică şi informaţională.
38
1.5.2. Entropie statistică
Entropia statistică este o noţiune introdusă de Ludwig
Boltzmann în 1872 şi definită de formula
S B = k B ln Ω . (1.31)
Pentru a defini (1.31), se consideră un sistem macroscopic cu o
anumită macrostare, iar microstările corespunzătoare se numerotează
cu 1, 2, ..., i, ..., în total fiind Ω microstări; probabilitatea ca sistemul
să se afle în starea i este wi. Deoarece nu se precizează condiţiile
concrete în care se află sistemul, valorile probabilităţilor wi nu se
cunosc; singurul lucru cunoscut este condiţia de normare ∑i
wi = 1 .
39
n!
S n = k B ln Ω n = k B ln = k B ln n! − ∑ ln ni ! .
n1!n2 !K ni !K i
Folosind formula lui Stirling ln n!= n ln n − n + O(ln(n)) , precum şi
relaţiile ∑n
i
i = n şi S n = nS (entropia este o mărime aditivă),
40
engleză este de la 1.0 până la 1.5 biţi pe literă. Echivalent, entropia
Shannon măsoară media de conţinut informaţional pe care receptorul o
pierde atunci când nu cunoaşte valoarea variabilei aleatorii.
Entropia SH a unei variabile discrete X cu valorile {x1,...,xn} şi
funcţia de probabilitate w(xi) se defineşte:
n
S H ( X ) = −∑ w( xi ) log 2 w( xi ) . (1.34)
i =1
Proprietăţi:
1. Aditivitate
Logaritmul este folosit în calculul entropiei pentru a pemite
adunarea incertitudinii unor variabile independente. De exemplu,
considerând X şi Y două evenimente independente, distribuite uniform,
cu n şi, respectiv, m posibile rezultate, atunci perechea (X, Y) va avea
m·n rezultate echiprobabile {xiyj: i=1,...,n; j=1,...,m}. Entropia perechii
(X, Y) se calculează:
S H ( X , Y ) = [log 2 (n ⋅ m) = log 2 (n) + log 2 (m)] = S H ( X ) + S H (Y ) .
Astfel, entropia perechii este egală cu suma entropiei celor două
evenimente luate separat. Proprietatea aditivităţii implică faptul că
entropia se menţine constantă indiferent dacă mulţimea
rezultatelor/procesul este privită ca întreg sau ca sumă a unor
submulţimi/procese.
2. Schimbarea de bază
Entropia poate fi calculată folosind diferite baze ale logaritmului.
Înmulţirea logaritmilor are proprietatea log a (n) = log a (b) ⋅ log b (n) .
41
Prin urmare, entropia calculată în baza a va fi egală cu loga(2) înmulţit
cu entropia calculată cu logaritm în baza 2.
3. Continuitate
Entropia este o funcţie continuă. Unei modificari infinitezimale a
probabilităţilor corespunde o modificare asemănătoare a entropiei.
4. Simetrie
Valoarea entropiei rămâne neschimbată, dacă se schimbă ordinea
variabilelor xi:
S H ( x1 , x 2 , K) = S H ( x 2 , x1 , K) .
5. Maximum
Entropia, incertitudinea atinge o valoare maximă, dacă
evenimentele sunt echiprobabile:
1 1
S Hn ( x1 ,K, x n ) ≤ S Hn , K, .
n n
Entropia creşte cu numărul posibil de rezultate, astfel încât
1 1 n +1
1 1
S ,K, < S H
n
H ,K,
1n
424 n
3 n +
14424n4
1 +31
n n +1
pentru evenimente independente şi echiprobabile. În cazul “stării
pure” w(xi)=1 şi (SH)min=0, deci cunoaştem totul despre starea
sistemului.
42