Documente Academic
Documente Profesional
Documente Cultură
7. 1 La quantit di dati
Vogliamo trasmettere informazioni messaggi con l'aiuto di cartellini, fig 7.1. Ogni cartellino riporta
un segno scelto tra z segni possibili, concordati fra trasmettitore e ricevitore, per esempio una delle
lettere dellalfabeto. Siamo alla ricerca di una misura della quantit di dati che viene trasmessa
attraverso un cartellino. Per semplicit, consideriamo prima il caso di due soli segni, come una
croce e un cerchio. Il numero di caratteri cos z = 2. Con un cartellino possibile scegliere di
trasmettere un messaggio fra due possibili. Con due cartellini (spediti in modo ordinato) si pu
scegliere tra 2 2 = 4 messaggi, e con n cartellini tra 2n messaggi.
Si potrebbe prendere il numero N = 2n come una misura
della quantit di dati trasferibili attraverso N cartellini. La
misura cos definita avrebbe lo svantaggio di non avere le
caratteristiche di quantit estensiva.
Si pu vederlo in questo esempio:
Inviamo per primi 3 cartellini. Per 3 cartellini
Na = 2 3 = 8 messaggi possibili
Inviamo ora altri 2 cartellini. Per 2 cartellini si hanno solo
N b = 22 = 4 messaggi possibili
Se inviamo cinque cartellini insieme
N c = 25 = 32 messaggi possibili
E 'quindi
Nc > Na + Nb.
Una misura migliore della quantit di dati quindi il logaritmo del numero N di messaggi possibili.
Definiamo provvisoriamente la quantit di dati H:
H = f ln N
con N = numero di messaggi possibili.
Attraverso la costante f si determina l'unit di H. Per N = 2, che il caso in cui si pu scegliere tra
due opzioni sar H = 1 bit, ovvero
1 bit = f ln 2
1bit
ln 2
1bit
ln 2n = n bit
ln 2
H f pi ln pi
i
p(dispari) = 0.5
p(non sei) = 5/6
p(sette) = 0
H = 1 bit
H = 0,65 bit
H = 0 bit
L'esempio utilizzato mostra due importanti propriet della misura della quantit di dati di Shannon:
1) se una informazione ha probabilit 1 e tutte le altre zero, la quantit di informazione H = 0.
Z
H f pi ln pi f ( Z 1) lim p ln p f 1 ln 1 0,
i 1
( p ln p ) lim
dove lim
p 0
p 0
p 0
ln p
... 0
1/ p
(regola di De lHospital)
Esempi
1) Una mole di H in contenitore a contatto termico
con una riserva di calore alla temperatura T
2) Con laiuto di un preparato radioattivo si pilota
lapertura di una tra due valvole: se entro un secondo
si verifica un decadimento, fluisce nel contenitore
una mole di ossigeno; se non si verifica, una mole di
H, fig. 7.5a.
3) Lo stato al tempo t = t0 , fig 7.5b: a sinistra si
trova aria con T =, p = Allistante t0 = 10-8 s la
parete di separazione viene tolta.
4) in un contenitore vengono messe una dopo laltra
105 molecole scelte con la procedura seguente: uscire
dal laboratorio e andare verso lascensore,
controllare quanti uomini e quante donne vanno via.
Se vedi un uomo metti nel contenitore una molecola
di ossigeno mentre se vedi una donna una molecola
La figura 7.6 mostra la distribuzione di probabilit p (x) in funzione della grandezza x. Da questa
distribuzione si possono generare alcune altre grandezze o numeri.
x xi p ( x i )
( xi x ) 2 p ( xi )
2
Varianza di x:
con
AB
p (i) 1 e p ( j ) 1
p ( j ) ln p ( j ) p (i ) ln p
si ottiene:
(i ) A B
tutti nella direzione del campo. Quando un momento magnetico non nella direzione del campo,
l'energia E0 . I due sistemi sono isolati luno dallaltro e non possono scambiare energia con
lambiente. Lo stato iniziale il seguente: l'energia di A uguale a due unit E0, cio 2E0, quella di
B zero. Considerando la fig. 7.9, vediamo che A ha 6 stati con = 0, (Nr. dal 6 all 11) e B uno (il
Nr. 1). Ciascuno dei sistemi A e B in equilibrio, vale a dire nello stato di massima entropia. Quindi
(lindice I sta per iniziale):
AI =ln 6 1.79
BI = ln 1 = 0 .
BF > B I
S k p (i ) ln p (i ) k
i 1
Da dE = T dS
segue
kT
1
1
ln k ln
1
d (ln ) .
dE
bit
k 1.38 10 23 J / K
ln 2
Il fatto che qualsiasi sistema che contiene entropia contenga anche dati, non implica che si possa
usare questo sistema come contenitore di dati.
(Un contenitore di dati da solo non deve finire in equilibrio interno e neanche in equilibrio esterno)
Dal fatto che ogni sistema che contiene entropia ha anche quantit di dati non segue che tale sistema
possa essere utilizzato tecnicamente come contenitore di dati. Da un contenitore di dati ci
aspettiamo che non vada in equilibrio interno spontaneamente o che vada in equilibrio con lo
strumento ambiente (apparecchio che fa da ambiente).