CONSULTA SOBRE EL TRMINO ENTROPA DE LA INFORMACIN

1
p X ( xi ) log2
= p X ( xi ) log2 p X ( xi )
p X ( xi )
i=1
M

H (X )
i=1

La entropa puede interpretarse desde dos puntos de vista distintos. Desde el

punto de vista del modelo de sistema de comunicacin digital o, en general,
desde el punto de vista de un

observador que espera a que la variable

aleatoria B tome un valor determinado, la entropa representa la incertidumbre

sobre el valor concreto que tomar X. Si X tomase siempre el mismo valor (un
valor de

p X ( xi )

igual a 1 y el resto 0) no tenemos ninguna incertidumbre

sobre el valor que tomar X, y podemos comprobar que la entropa en ese caso
es igual a 0. Si X deja de tomar siempre el mismo valor, la incertidumbre
aumenta y, con ella, la entropa.
Desde el punto de vista de una fuente que genere el smbolo X, la entropa
representa el valor medio de la informacin que contiene el smbolo 1.
Por tanto segn lo entendido en todas las bsquedas conceptuales el trmino
entropa se refiere al nmero medio de bits necesarios para representar un
smbolo de una fuente con una probabilidad dada, como tambin ayuda a
determinar que datos aportan con mayor informacin al receptor y que puedan
ser entendibles para el mismo.

1 Disponible en

http://iie.fing.edu.uy/ense/asign/codif/material/transparencias/01_teoria_de_la_i
nformacion.pdf