Seminario 1: Teora de la Informacin.

Informacin, incertidumbre e ignorancia.

Reglas para asignar probabilidades.
Informacin y Fsica estadstica.
Otras aplicaciones.
La FE no involucra (ni necesita de) la teora de la informacin,
desarrollada en sus orgenes por Shanon (1948) y Jaynes (1957),
pero tiene cierto inters pedaggico en relacin con la FE, puesto
que las ideas de informacin e incertidumbre se aceptan intuitiva-
mente, y conduce rpidamente a la idea y caracterizacin de una
colectividad, por lo que es una alternativa (no rigurosa) a la teora
de colectividades (con su problema ergdico incluido). Adems es
susceptible de aplicaciones interesantes en Fsica.
Bibliografa:
L. Brillouin, Science and Information Theory, Academic.
H.G. Harris, Introduction to Modern Theoretical Physics, vol.
2; y libro de Gopal.
A. Katz, Principles of Statistical Mechanics, W.H. Freeman,
San Francisco.
E.T. Jaynes, Information Theory and Statistical Mechanics,
Brandeis Summer Institute, Benjamin, NY.
Conceptos relevantes.
El concepto cientco de informacin no coincide exactamente con
el usual, y aqu interesan ms los conceptos de ausencia de infor-
macin o incertidumbre (por su relacin con el de entropa), en
cierto modo complemetarios del de informacin.
123
El concepto de incertidumbre se sigue de consideraciones puramen-
te estadsticas. Por ejemplo, sea una situacin en la que pueden
presentarse n sucesos distintos de un experimento aleatorio, todos
igualmente probables a priori, es decir, de acuerdo con nuestro
conocimiento inicial. Podemos pensar en
n cajas, una (y slo una) de las cuales contiene un objeto, y nos
piden encontrar ste sin otra informacin y sin poder realizar
el experimento;
un alfabeto con n letras igualmente probables, y queremos
conocer la primera letra de una palabra oculta escrita por otra
persona.
lanzar un dado (n = 6), donde cada cara tiene la misma pro-
babilidad de salir y queremos saber cual va a ser el resultado.
Nuestra incertidumbre o ignorancia es mxima en esta condicin
inicial. Se tiene la primera la de la tabla:
estado posibilidades incertidumbre, U informacin, I
inicial n
0
, mx. U
0
, mx. I
0
= 0, mn.
intermedio n
i
< n
0
U
i
< U
0
I
i
> I
0
nal ideal n
f
= 1 U
f
= 0 I
f
, mx.
Pero puede ocurrir que consigamos informacin sobre el sistema,
reduciendo as el nmero n de posibilidades que pueden presentarse
o, incluso, llegando a conocer con certeza cul se presentar. Se
tienen las otras dos las de la tabla.
Los casos anteriores son ejemplos de experimentos aleatorios, esto
es, toda experiencia en la que no se sabe con certeza cual va ser el
resultado que va a salir.
Ante un experimento aleatorio uno tiene cierta informacin (por
ejemplo, 6 caras de un dado, dado trucado, etc) pero tambin hay
cierta incertidumbre (no sabemos con certeza el resultado del ex-
perimento).
En FE al estudiar los sistemas macroscpicos no podemos conocer
posiciones y momentos de todas las partculas. Solo tenemos acceso
a los macroestados y no a los microestados (informacin parcial).
124
I. Postulado
A

A
valores observados

A
II. Postulado

A = Tr(

A) =

|p

|
Teorema: sistema en equilibrio [ ,

H] = 0 con =

r
|rp
r
r|
donde |r estado propio de

H con autovalor E
r
. Sistema ais-
lado en equilibrio
E < H < E + E p
r
=
_
cte |r/E E
r
E + E
0 resto
aqui p
r
son las probabilidades de que suceda algo. Son probabilida-
des de que al elegir al azar un estado del sistema y medir sobre l H,
el valor obtenido fuera el autovalor E
r
. El experimento aleatorio en
este caso es elegir un estado del sistema. La nica informacin que
tengo sobre microestados es si son o no compatibles con el sistema.
Ante la falta de informacin (I) le asignamos a todos los microesta-
dos compatibles con el sistema, la misma probabilidad (Postulado
de igual probabilidad a priori.). Sin embargo tenemos una informa-
cin adicional que es la informacin del macroestado del sistema.
Vamos a formalizar todo lo que acabamos de decir:
Exp. Aleatorio: Experimento en el que, a priori, no sabemos el
resultado. Cada uno de los posibles resultados se llama suceso
del experimento aleatorio. Los sucesos han de vericar:
Incompatibles entre s (no se den a la vez)
El conjunto de sucesos ha de ser completo: siempre que
realicemos el experimento debe salir un de ellos.
El nmero posible de sucesos ha de ser nito.
125
Dado un experimento aleatorio se dice que se puede dar un
esquema cuando se da los sucesos y sus probabilidades:
Esquema A
_
A
1
A
2
. . . A
n
p
1
p
2
. . . p
n
_
A
i
sucesos del experimento A
p
i
probabilidades o frequencias del suceso A
i
Las p
i
describen el mecanismo de aleatoriedad del experimen-
to. Al dar un esquema tenemos una cierta informacin pero
tambin hay incertidumbre.
Funcin Incertidumbre o Ignorancia
Vamos a tratar de cuanticar la incertidumbre deniendo una cierta
funcin U(n). Que propiedades debe tener?
1 Debe ser funcin de las n probabilidades U(n) = U(p
1
, . . . , p
n
)
y denida positiva U(n) > 0 si n > 1 (supondremos que
n 1) adems U(1) = 0 (si solo hay un posible suceso no hay
incertidumbre).
2 U(n) debe ser mxima cuando las p
i
sean iguales entre s.
U
max
= U(p, . . . , p) = U(
1
n
. . .
1
n
) por normalizacin de las p
i
3 El valor de la incertidumbre no cambia si le aadimos un suceso
imposible (suceso que nunca ocurre)
U(p
1
, . . . , p
n
) = U(p
1
, . . . , p
n
, 0)
4 Si tenemos dos esquemas A, B y estos son mutuamente ide-
pendientes (no hay correlaciones entre los dos esquemas
A
i
B
j
p
i
q
j
)
U(AB) = U(A) + U(B)
A=
_
A
1
. . . A
n
p
1
. . . p
n
_
B=
_
B
1
. . . B
m
q
1
. . . q
m
_
AB=
_
A
1
B
1
A
1
B
2
. . . A
n
B
m
p
1
q
1
p
1
q
2
. . . p
n
q
m
_
126
Intuimos que
U (n) = K lnn, K = cte. positiva,
Vamos a verlo:
Consideremos primero el caso de n sucesos equiprobables
U(n) es una funcin creciente del argumento
U(n) = U(
1
n
. . .
1
n
)
U(n) = U(
1
n
. . .
1
n
, 0) U(
1
n+1
. . .
1
n+1
) = U(n + 1)
Luego es una funcin creciente del argumento. Esto viene
a decir que si el numero de sucesos posibles se reduce en
uno (por ejemplo porque adquiero cierta informacin) la
incertidumbre decrece.
Consideremos r esquemas mtuamente independientes
U(A
1
A
2
. . . A
r
) =
r

i
U(A
i
)
que en el caso de que todos sean esquemas de n sucesos
equiprobables
U(A
1
A
2
. . . A
r
) =
r

i
U(n) = rU(n) = U(n
r
)
para la ltima igualdad hemos utilizado que por denicin
r esquemas independientes de n sucesos equiprobables ca-
da uno es un esquema de n
r
sucesos equiprobables. Luego
U(n
r
) = rU(n)
Sean s, m, n N

, arbitrarios, siempre r tal que

n
r
m
s
n
r+1
r lnn s ln m (r + 1) lnn
y dividiendo por s ln n
r
s

lnm
lnn

r
s
+
1
s
127
Las incertidumbres para ese tipo de esquemas verican
(por ser creciente)
U(n
r
) U(m
s
) U(n
r+1
) rU(n) sU(m) (r+1)U(n)
y dividiendo por U(n) = 0 se tiene
r
s

U(m)
U(n)

r
s
+
1
s
luego

ln m
ln n

U(m)
U(n)

1
s
que tiende a cero para s sucientemente grande luego con-
cluimos
U(m)/ lnm = U(n)/ lnn = k = cte
y por tanto U(m) = k lnm.
62
Pero esta denicin no es completa pues se reere a sucesos
equiprobables. En la prctica interesan esquemas ms genera-
les con sucesos con probabilidades a priori:
p
i
0, i = 1, 2, ..., n;
n

i=1
p
i
= 1.
62
Otra demostracin alternativa que se deriva tambien de las condiciones solicitadas a U.
En efecto, supongamos que U (n) es continua con buen comportamiento (derivable e in-
tegrable) y que U > 1. Entonces, 4 = U (x
n
) = nU (x) . Derivando, y usando la notacin
U

() dU () /d,, tenemos
d
dx
[U (x
n
) = nU (x)] U

(x
n
) nx
n1
= nU

(x)
d
dn
[U (x
n
) = nU (x)] U

(x
n
) x
n
ln x = U (x) .
Combinando estas dos ecuaciones:
U (x) = U

(x) xln x
U

(x)
U (x)
=
1
xln x


n
ln U (x) =
1
xln x
.
Integrando entre x y a :
ln U (x)|
a
x
= ln (lnx)|
a
x
U (x)|
a
x
= ln x|
a
x

U (x) U (a) = ln x ln a U (x) = ln x + U (a) ln a, pero U (1) = 0
U (a) ln a = 0, luego U (x) = ln x. Falta cte. de proporcionalidad pues la prueba invo-
lucra derivaciones; esta cte. es postiva por propiedades 1 y 3.
128
distintas. Si el experimento se repite muchas, N, esperamos que
el suceso i ocurra Np
i
veces. La nica incertidumbre adicional
que tenemos es el orden que aparecen los Np
i
resultados del
suceso A
i
. Los sucesos de este experimento son cadenas del
tipo por ejemplo
A
1
A
1
A
r
. . . A
n
El nmero de cadenas distintas (teniendo en cuenta que no
vale permutar sucesos iguales pues me dan la misma cadena)
es
W =
N!

n
r=1
(Np
r
)!
Podemos asociar a cada una de estas cadenas un suceso de
hacer N experimentos y todos ellos tienen asociada la misma
probabilidad pues en todas ellas el suceso A
1
aparece Np
1
ve-
ces, el A
2
aparece Np
2
, etc. Luego aplicamos nuestro resultado
anterior
U
N
_
N!

n
r=1
(Np
r
)!
_
= k ln
N!

n
r=1
(Np
r
)!
,
En consecuencia,
U
N
(W) = k
_
lnN!
n

r=1
ln(Np
r
)!
_
y, suponiendo N sucientemente grande
lnN! N ln N N
ln (Np
r
)! Np
r
ln(Np
r
) Np
r
,
se sigue
U
N
(W) = Nk
n

r=1
p
r
ln p
r
y la incertidumbre media, ee, la asociada con uno de los
experimentos, es
129
U (n)
U
N
(W)
N
= k
n

r=1
p
r
ln p
r
. (74)
Si todos los sucesos fueran igualmente probables, p
i
= 1/n, y
recobraramos la denicin de arriba.
(74) es la medida de Shanon para la incertidumbre (de un
suceso que puede prsentarse de n formas, cada una con proba-
bilidad p
i
) o para la informacin que ganamos cuando una de
esos sucesos ocurre. Algunos la llaman entropa de informa-
cin.
63
Si la variable (discreta) i puede considerarse continua, x, escribimos
U = K
_
dx P (x) ln P (x) ,
no vamos a demostrarlo (Jaynes 1963, Katz 1967).
64
En algunas aplicaciones (comunicaciones, ordenadores digitales,...)
juega un papel importante el sistema binario.
Sea un problema con m sucesos posibles, cada uno con dos posi-
bilidades, 0 1. El nmero total de posibilidades es n = 2
m
y, en
consecuencia, la incertidumbre asociada es
U = k ln n = kmln 2.
Si ahora queremos identicar U con el n
o
m de sucesos (dgitos bi-
narios):
63
Tal denominacin es consecuencia de la analoga que puede establecerse entre incerti-
dumbre y entropa cuando la teora de Shanon se aplica a un sistema fsico en el que los
casos posibles se corresponden con microestados accesibles (pero no en otros casos).
64
La cte. aditiva k ja las unidades de medida de la incertidumbre, luego queda deter-
minada por las unidades del problema/sistema en cuestin. Cuando tenga sentido com-
parar U con entropa, es conveniente que ambas tengan las mismas unidades y se sigue
k = k
Boltzmann
= 8

617 10
5
eV/
o
K. Otras veces conviene que U no tenga dimensiones;
basta con que no las tenga k, por ejemplo midiendo la temperatura en unidades de energa.
130
U = m = K = 1/ ln2 = log
2
e,
luego se sigue:
U = log
2
n
en lugar de la denicin de Shanon arriba; se dice entonces que
la incertidumbre est medida en bits (ejemplo, en Brillouin 1962,
p.2).
65
Asignar probabilidades en ausencia de informacin.
La teora proporciona mtodo sistemtico para, de acuerdo con
nuestros conocimientos, asignar probabilidades a distintos sucesos.
Se basa en un principio de mxima incertidumbre que la teora
de la informacin enuncia en analoga con el principio de mxima
entropa de la Fsica: (grosso modo) perturbaciones aleatorias
inevitables en el mundo real tienden a degenerar la informacin
y, por tanto, a incrementar la ignorancia y la incertidumbre.
Es decir, una distribucin picuda tipo gaussiano asocia-
da con un observable determinado tiende a ensancharse
debido a causas naturales.
Evitamos discutir este principio, que requiere entrar en terreno -
losco. Lo aceptamos provisionalmente, deducimos una regla con-
creta de l, aplicamos la regla a casos concretos, y analizamos si las
consecuencias son asumibles.
La regla en cuestin puede enunciarse:
al tratar de asignar probababilidades a un suceso,
hemos de utilizar toda la informacin disponible
y nada ms que la informacin cierta disponible.
65
Ntese que la relacin entre los valores de la constante k en estas aplicaciones, k = 1/ ln2,
y en aplicaciones de la fsica, k
16
= k
Boltzmann
= 8

61710
5
eV/
o
K, es prxima a 10
16
, lo
que evidencia la gran cantidad de informacin medida en bits necesaria para modicar
signicantemente la entropa.
131
En teora de la informacin, esta ltima condicin equi-
vale a
maximizar nuestra falta de informacin (o incertidumbre)
acerca del suceso o del conjunto de sucesos en cuestin.
132
Aplicacin de Teora de la informacin a la FE
Ejemplos de aplicacin del principio de mxima ignorancia o in-
certidumbre:
Antes de aplicarlo a las colectividades veamos un ejemplo sencillo
de un dado para ver el formalismo: Disponemos de un dado con
caras numeradas del 1 al 6 que, al ser tirado sobre supercie plana,
puede mostrar cualquiera de sus caras. Qu probabilidades, p
i
,
hemos de asignar a cada uno de los 6 sucesos posibles?
Suponemos primero que no disponemos de otra informacin. La
incertidumbre asociada es
U (6) = k
6

i=1
p
i
ln p
i
y la regla indica que maximicemos esta magnitud, luego:
U = k
6

i=1
p
i
(ln p
i
+ 1) = 0. (75)
Pero los p
i
no son independientes, pues tenemos la ligadura

p
i
= 1 que:
6

i=1
p
i
= 0. (76)
Usando multiplicadores de Lagarange, multiplicamos (76) por
k y sumamos a (75):
k
6

i=1
p
i
(lnp
i
+ 1 ) = 0.
Esta ecuacin ya no est sometida a restriccin alguna luego,
al ser los p
i
independientes y arbitrarios, hemos de exigir que
se anulen sus coecientes,
lnp
i
+ 1 = 0 i,
de donde
p
i
= e
1
= const.
133
El parmetro puede determinarse usando la condicin de
normalizacin,

e
1
= 6e
1
= 1 = e
1
= 1/6, luego
p
i
= e
1
=
1
6
.
El resultado es razonable, aunque trivial: en ausencia de otra
info, lo mejor que podemos hacer es asignar probabilidades 1/6
a todas las caras.
Supongamos que arrojamos el dado muchas veces y obtenemos i
0
como media de los nmeros que aparecen el la cara superior,
es decir,
i =
6

i=1
ip
i
= i
0
.
En el caso anterior, ha de ser
i
0
=
1
6
(1 + 2 + 3 + 4 + 5 + 6) = 3

5.
Supongamos, sin embargo, que el experimento arroja i
0
= 4

5,
lo que delata cierta inhomogeneidad en el peso de las caras
que favorece los nmeros altos (dado trucado).
Cmo escoger p
i
si contamos con esta nueva informacin?
Usando multiplicadores de nuevo, la situacin actual requiere
que:
U = k

6
i=1
p
i
(lnp
i
+ 1) = 0
i
0
=

6
i=1
i p
i
= 0
1 =

6
i=1
p
i
= 0,
de donde, multiplicando por 1, k y k, respectivamente, y
sumando:
k
6

i=1
p
i
(ln p
i
+ 1 i ) = 0.
Puesto que ha de satisfacerse para p
i
independientes y ar-
bitrarios, han de anularse los coecientes de donde se sigue
que:
p
i
= e
1
e
i

1
Z
e
i
, (77)
134
donde los parmetros (equivalentemente, Z e
+1
) y se
siguen de normalizacin:

i
p
i
= 1 = Z =

i
e
i
(que supone tener una relacin entre y ) y
i
0
=

i
ip
i
= i
0
=
1
Z

i
ie
i
=

lnZ.
A partir de estas expresiones es sencillo relacionar i
0
y :
66
i
0
=
7
2
+ 3 coth(3)
1
2
coth

2
. (78)
En denitiva, dado i
0
, la ec. (78) puede resolverse para y utilizar
el resultado en (77) para determinar las probabilidades buscadas
p
i
.
Notemos que
= 0 corresponde a i
0
= 7/2, el caso trivial para el que
p
i
= 1/6 i;
si 3

5 < i
0
< 6, se obtienen valores positivos de (lo que
equivale a primar las P
i
con mayor i); mientras que
si 0 < i
0
< 3

5, se obtienen valores negativos de .

66
En efecto, tenemos sucesivamente:
Z =

6
i=1
e
i
= e
1e
6
1e

pues s
n
= a
1
1r
n
1r
= e
e
3
e
3
e
/2
e
/2
.
e
3
e
/2
=
e
3
e
3
e
/2
e
/2
e
7
2

luego
i
0
=

ln Z =

_
7
2
+ ln
_
e
3
e
3
_
ln
_
e
/2
e
/2
_
=
7
2
+
3e
3
+3e
3
e
3
e
3

1
2
e
/2
+
1
2
e
/2
e
/2
e
/2
=
7
2
+ 3 coth(3)
1
2
coth

2
pues coth x =
e
x
+e
x
e
x
e
x
.
135
Fsica estadstica: colectividades.
Las ideas anteriores pueden aplicarse de manera natural a la Fsica,
por ejemplo, en FE para establecer distintas colectividades.
En este caso, denimos la ignorancia asociada con la funcin den-
sidad clsica, es decir, () , donde (q
1
, ..., q
N
; p
1
, ..., p
N
) es el
conjunto de coord. generalizadas, como
S = k
_
d () ln () ,
con la integral extendida al espacio .
67
Se trata ahora de maximizar S sujeta a toda la informacin dispo-
nible.
Supongamos primero que sta consiste en el conocimiento de la
energa media de los miembros de la colectividad,
E =
_
d H (79)
y queremos determinar la distribucin de probabilidad, es decir, ,
asociada con tal colectividad.
Se sigue que hemos de maximizar S respetando (79) y la normali-
zacin:
1 =
_
d ().
En denitiva:
S k E + k 1 = k
_
d (ln + 1 + H ) = 0,
con y multiplicadores de Lagrange, luego
67
Usamos aqu directamente S, en lugar de U, pues coincide con la entropa, de donde,
k = cte. de Boltzmann.
136
ln + 1 + H = 0
de donde
= e
1
e
H
=
1
Z
e
H
(80)
con Z = e
1
=
_
d e
H
, que es la distribucin cannica.
Notas:
De la condicin de normalizacin:
Z =
_
d e
H
. (81)
Usando (80) en la denicin de S :
S = k
_
d
1
Z
e
H
(lnZ H)
= k
ln Z
Z
_
d e
H
. .
Z
+
k
Z
_
d e
H
H
. .
Z E
= k lnZ + k E
Pero (79) y (81) implican E =

lnZ, luego
S = k ln Z k
ln Z

= k
2

lnZ,
que coincide con la entropa cannica si interpretamos
1/kT y A = kT ln Z.
68
Puede concluirse lo mismo en el caso de un sistema cuntico,
donde hay que obtener el operador densidad a partir de la
denicin
S = kTr ( ln )
68
De hecho, puede verse que esta interpretacin es correcta siguiendo el mtodo de la FE.
Por ejemplo, para que tenga sentido la denicin
E =
_
d H e
H
,
he de ser = 1/kT.
137
y la informacin, por ejemplo, de que:
E = Tr (H ) , 1 = Tr ( ) .
Maximizando S con estas condiciones,
Sk E+k 1 = kTr
_

_
ln + 1 +

H
__
= 0
de donde
= e
1
e

H
=
1
Z
e

H
Supongamos ahora que nuestra informacin consiste en saber que
todos los miembros de la colectividad tienen energas en el rango in-
nitesimal: E
0
< E < E
0
+dE. Escribimos el elemento de volumen
en esa regin de :
d = dE d (E
0
) ,
donde d (E
0
) es un elemento de rea en la supercie de energa
constante E
0
en el espacio , y denimos la incertidumbre:
S = k
_
E
0
<E<E
0
+dE
d ln = k
_
dE d (E
0
) ln.
aqui la primera integral est extendida a la regin de tal que
E
0
< E < E
0
+dE pues fuera = 0 no hay microestados accesibles
al sistema. Maximizando con la condicin
1 =
_
E
0
<E<E
0
+dE
d =
_
dE d (E
0
) , (82)
se tiene:
S+k 1 = k
_
dE d (ln + 1 ) = 0 = = e
1
= cte.
138
y la cte. se sigue de (82):
=
_
1/, E
0
< E < E
0
+ dE, =
_
dE d (E
0
)
0, en otro caso
que es la distribucin microcannica.
Hay que decir que la FE no es slo teora de la informacin pues
Necesitamos la mecnica: Tenemos que resolver el H, y en
cuntica necesitamos conocer el espectro de

H.
Necesitamos saber cual es el signicado de las p
i
para lo cual
necesitamos conocer los postulados de la ME IA y IB, si no
conocemos esto no sabemos cual es el experimento aleatorio.
El postulado II (de equiprobabilidad a priori, no mecnico),
es algo ms general que el Principio de Maxima Ignorancia.
Adems hacemos uso de la hiptesis ergdica, y para esto hay
razones fsicas.
Problema: Se van lanzando monedas de modo que siempre caen
en una recta (eje x). Sabiendo que:
x =
_

dx x P (x) = x
0

x
2
_
=
_

dx x
2
P (x) = a
2
,
donde P (x) dx es la probabilidad de que la moneda caiga en dx,
mostrad que
P (x) =
_
2 (a
2
x
2
0
)

exp
_

(x x
0
)
2
a
2
x
2
0
_
.
139