Facultad de Ingeniería de

Sistemas y Electrónica

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

SISTEMAS Y TRANSMISIÓN DE DATOS

PERIODO 2019
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 ENTROPÍA E INFORMACIÓN
EN EL CASO DISCRETO.
SUMARIO
1. ENTROPÍA E INFORMACIÓN EN EL CASO DISCRETO.
2. INCERTIDUMBRE E INFORMACIÓN.
3. LA MEDIDA DE HARTLEY.
4. PROPIEDADES DE LA ENTROPÍA.
5. ENTROPÍA CONDICIONADA, LEY DE ENTROPÍAS TOTALES,
INFORMACIÓN ENTRE VARIABLES DISCRETAS.

BIBLIOGRAFIA
Bibliografía base:
• Thomas Cover and Joy A. Thomas, "Elements of Information Theory". De
John Willey & Sons.
• Shu Lin & Daniel Costello. "Error Control Coding". Ed. Prentice Hall.
Bibliografía complementaria:
• GIL ÁLVAREZ, P. Teoría matemática de la información.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 PRESENTADO POR:

JOSE EDUARDO TORRES VEGA

Coronel EP ( R )
Diplomado en Ciencia y Tecnología
Ingeniero Electrónico CIP
Maestro en Administración
PADE-ESAN en Logística
Diplomado en Seguridad y Salud Ocupacional
Docente Universitario a nivel pre grado y post grado
Consultoría y Asesoría en el Diseño, Implantación y
Control de Servicios de Telecomunicaciones y
Telemática
Estudios Teóricos de Radiaciones No Ionizantes
Consultoría en Temas de Seguridad Integral
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ENTROPIA E INFORMACIÓN EN EL CASO DISCRETO

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

LAS VARIABLES DISCRETAS SON AQUELLAS CUYAS
OBSERVACIONES SE AGRUPAN ‘INHERENTEMENTE’ O
‘NATURALMENTE’ EN CATEGORÍAS, PORQUE DICHAS
VARIABLES POR SU NATURALEZA SÓLO PUEDEN
TOMAR CIERTOS VALORES MUY ESPECÍFICOS

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

EN EL CÁLCULO DE LA ENTROPIA E INFORMACIÓN EN
EL CASO DISCRETO, SE TRATA DE LLEGAR A
DETERMINAR LA FORMA MÁS ECONÓMICA, RÁPIDA
Y SEGURA DE CODIFICAR UN MENSAJE, SIN QUE LA
PRESENCIA DE ALGÚN RUIDO COMPLIQUE SU
TRANSMISIÓN

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 ENTROPÍAS A CONSIDERAR EN UN SISTEMA

EN EL CASO DE TENER DOS VARIABLES ALEATORIAS (EJ: TRANSMISOR X Y RECEPTOR

Y) SE CONSIDERAN LAS SIGUIENTES ENTROPIAS PARA MEDIR RELACIONES ENTRE LAS
VARIABLES:

 H(X): INFORMACION O ENTROPIA POR CARACTER EN EL TRANSMISOR (EN BITS)

 H(Y) : INFORMACION O ENTROPIA POR CARACTER EN EL RECEPTOR (EN BITS)

 H(X,Y) : INFORMACION O ENTROPIA POR PAR DE CARACTERES TRANSMITIDOS Y

RECIBIDOS (EN BITS)

 H(Y|X) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL RECEPTOR Y

SABIENDO QUE X = i FUE TRANSMITIDO (EN BITS)

 H(X|Y) : INFORMACION O ENTROPIA CONDICIONAL SOBRE EL TRANSMISOR

SABIENDO QUE Y= j FUE RECIBIDO, TAMBIEN CONOCIDO COMO EQUIVOCACION
(EN BITS)
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
EJEMPLO:
X/Y 1 2 3 4
La entropía denota el mínimo
1 0.25 0 0 0 0.25
número de bits por símbolo
2 0.1 0.3 0 0 0.4
necesarios para representar una
3 0 0.05 0.1 0 0.15
cadena. Es un índice que denota
4 0 0 0.05 0.1 0.15 la cantidad de información que
5 0 0 0.05 0 0.05 existe en una fuente de datos (la
0.35 0.35 0.2 0.1 cadena a codificar).

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

H(Y) = -0.25 log 0.35 – 0.1 log 0.35 – 0.3 log 0.35– 0.05 log 0.35 – 0.1log 0.20 – 0.05
log 0.20– 0.05 log 0.20 – 0.1 log 0.1 = 1.856 bits
H(Y) = -0.35 log 0.35 – 0.35 log 0.35 – 0.2 log 0.2– 0.1 log 0.1 = 1.856 bits

H(X, Y) = -0.25 log 0.25 – 0.1 log 0.1 – 0.3 log 0.3 – 0.05 log 0.05 – 0.1log 0.1 – 0.05
log 0.05 – 0.1 log 0.1 – 0.5 log 0.5 = 2.665 bits

H(X|Y) = -p(x1,y1) log p(x1|y1) - p(x2,y1) log p(x2|y1) - p(x2,y2) log p(x2|y2) -
p(x3,y2) log p(x3|y2) - p(x4,y3) log p(x4|y3) - p(x4,y4) log p(x4|y4)-
p(x5,y3) log p(x5|y3) - p(x5,y4) log p(x5|y4)= 0.809 bits
H(X|Y) = 0.35 H(0.25/0.35, 0.1/0.35)+ 0.35 H(0.3/0.35, 0.05/0.35)+ 0.2 H(0.1/0.2,
0.05/0.2, 0.05/0.2)+ 0.1 H(0.1/0.1)= 0.809 bits
La entropía denota el mínimo número de bits por
símbolo necesarios para representar una cadena. Es
un índice que denota la cantidad de información que
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
existe en una fuente de datos (la cadena a codificar).
H(Y|X) = - p(y1,x1) log p(y1|x1) - p(y1,x2) log p(y1|x2) - p(y2,x2) log p(y2|x2)-
p(y2,x3) log p(y2|x3) - p(y3,x3) log p(y3|x3) - f(y3,x4) log p(y3|x4)-
f(y3,x4) log p(y3|x4) - p(y3,x5) log p(y3|x5)= 0.6 bits
H(Y|X) = 0.25 H(0.25/0.25) + 0.4 H(0.1/0.4,0.3/0.4)+ 0.15 H(0.05/0.15, 0.1/0.15)+
0.15 H(0.05/0.15, 0.1/0.15)+ 0.05 H(0.05/0.05)= 0.6 bits
H (X,Y)
Hay que notar que H(x,y) < H(X) + H(Y)

2.665 < 2.066 + 1.856 , y que:

H (Y/X)
H(X,Y) = H(Y) + H(X|Y) = H(X) + H(Y|X) H (X)

2.665 = 1.856 + 0.809 = 2.066 + 0.600 H (X,Y)

La entropía denota el mínimo número de bits por símbolo

necesarios para representar una cadena. Es un índice que
denota la cantidad de información que existe en una fuente
de datos (la cadena a codificar). H (Y)
H (X/Y)

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 INFORMACION MUTUA

La información mutua I(X;Y) es una medida de la información proveída por

los pares de símbolos (x,y), la relación entre I(X;Y) y la entropía es:

H(X,Y) = H(X) + H(Y | X) = H(Y) + H(X | Y)

H(X,Y) = H(X) + H(Y) - I(X;Y)
I(X;Y) = H(X) – H(X | Y)
I(X;Y) = H(Y) – H(Y | X)

I(X;Y) mide la dependencia entre el input X y el output Y, o la información

transmitida por el canal, es positiva y simétrica en X y Y
H (X,Y)

H (Y)
H (X)

H (Y/X)
H (X/Y)
I (X;Y)
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 La capacidad de un canal definida por Shannon es C = max I (X;Y),

Max I (X;Y) es cuando la incertidumbre de lo que se transmitió (X) dado Y es

cero o cuando la incertidumbre de recibir Y dado X es cero:

Si I (X;Y) = H(X) – H(X | Y), cuando H(X | Y) = 0 → max I (X;Y) = C

Si I (X;Y) = H(Y) – H(Y | X), cuando H(Y | X) = 0 → max I (X;Y) = C

H(Y|X) máxima H(Y|X) “grande” H(Y|X) “chica” H(Y|X) = 0

H (X,Y) H (X,Y) H (X,Y) H (X,Y)

H (X) H (Y/X)= H(Y) H (X)=H(Y)=H(X,Y)=I(X;Y)

I (X;Y)=0 I (X;Y)
I (X;Y)

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):

X/Y 1 2 3 4
1 0.25 0 0 0 0.25
2 0 0.25 0 0 0.25
3 0 0 0.25 0 0.25
4 0 0 0 0.25 0.25
0.25 0.25 0.25 0.25

p( x1| y1) = 0.25/0.25 = 1 , p( x2| y2) = 0.25/0.25 = 1, p( x3| y3) = 0.25/0.25 = 1 ,

p( x4| y4) = 0.25/0.25 = 1, p( y1| x1) = 0.25/0.25 = 1 , p( y2| x2) = 0.25/0.25 = 1,
p( y3| x3) = 0.25/0.25 = 1 , p( y4| x4) = 0.25/0.25 = 1
Todos los otros f(x|y) y f(y|x) son cero

H(X, Y) = –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 –0.25 log 0.25 = 2 bits

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

H(X) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y) = –0.25 log 0.25 –0.25 log 0.25–0.25 log 0.25 –0.25 log 0.25 = 2 bits
H(Y|X) = - 0.25log1 – 0.25log1 -0.25log1 -0.25log1 = 0

Similarmente H(X | Y) = 0

Para este canal libre de ruido : I(X;Y) = H(X) = H(Y) = H(X,Y) = 2 bits

PARA UN CANAL CON INPUTS Y OUTPUT INDEPENDIENTES:

X/Y 1 2 H(X) = H(X|Y) = 1, H(Y) = H(Y|X) = 1, H(X,Y) = 2
I(X;Y)= H(X) – H(X|Y) = 1 – 1 = 0 bits
1 0.25 0.25 0.50 = H(Y) – H(Y|X) = 1 – 1 = 0 bits
2 0.25 0.25 0.50 H (X,Y)
0.50 0.50

H (X/Y)= H(X) H (Y/X)= H(Y)

I (X;Y)=0 ESCUELA DE INGENIERÍA TELECOMUNICACIONES
PARA UN CANAL LIBRE DE RUIDO (CANAL PERFECTO):

H (X,Y)
X/Y 1 2
1 0.50 0 0.50 H(Y|X) = 0
2 0 0.50 0.50
0.50 0.50
H (X)=H(Y)=H(X,Y)=I(X;Y)

H(X) = 1, H(Y) = 1, H(X,Y) = 1,

H(X|Y) = 0, H(X|Y) = 0
I(X;Y)= H(X) – H(X|Y) = 1 – 0 = 1 bit
= H(Y) – H(Y|X) = 1 – 0 = 1 bit

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 ENTROPIA RELATIVA
 La entropía relativa es una medida de la distancia o divergencia entre
dos funciones de probabilidad p(x) y q(x).
 También es conocida como distancia Kullback Leibler (KL1 y KL2)
 La medida de Jensen/Jeffreys (simétrica) es la suma de KL1 y KL2 :
J=KL1+KL2.
 Hay muchas otras medidas de divergencia aparte de KL1, KL2 y J.

Ejemplos de H(x), KL1, KL2 y J:

Hay dos dados (los dos están arreglados!) y por consecuencia dos variables
aleatoria X e Y con los siguientes valores y probabilidades.
Posibles eventos : X = [1, 2, 3, 4, 5, 6], Y = [1, 2, 3, 4, 5, 6]

Ejemplo 1: Funciones de probabilidades discreta:

f(x) = {px1, px2, px3, px4, px5, px6} = {1/3,1/3,1/12,1/12,1/12,1/12},
f(y) = {py1, py2, py3, py4, py5, py6} = {1/12,1/12,1/6,1/6,1/6,1/3}

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

Se mide el número esperado de extra
bits requeridos en muestras de código
de P cuando se usa un código basado
en Q, en lugar de un código basado en P.
Generalmente P representa la
"verdadera" distribución de los datos,
observaciones, o cualquier distribución
teórica. La medida Q generalmente
representa una teoría, modelo,
descripción o aproximación de P

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

INCERTIDUMBRE E INFORMACIÓN

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 BOLTZMANN DEFINIÓ A LA ENTROPÍA COMO UNA MEDIDA DEL AUMENTO DEL
DESORDEN EN UN SISTEMA DURANTE SU CAMINO DEBIDO A LA DESORGANIZACIÓN
DEBIDO A LA DISIPACIÓN TÉRMICA.

 LA CONEXIÓN DE LA ENTROPÍA CON LA INFORMACIÓN FUE ESTABLECIDA POR

SHANNON Y WEAVER EN SU TEORÍA DE INFORMACIÓN.

 LA INFORMACIÓN EN UN SISTEMA DE COMUNICACIÓN, TIENDE A DEGRADARSE (A

DESORDENARSE); POR ACCIÓN DEL RUIDO. PROBLEMA QUE FUE INICIALMENTE
ATENDIDO MEDIANTE MECANISMOS DE RETROALIMENTACIÓN ORIENTADOS A LA
MEJORA DE LA RELACIÓN ENTRE EL MENSAJE ENVIADO Y EL MENSAJE RECIBIDO.

 SI LA ENTROPÍA MIDE EL NIVEL DE DESORDEN (INCERTIDUMBRE) EN UN SISTEMA, LA

INFORMACIÓN REPRESENTA EL ORDEN (CERTIDUMBRE).

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 LA INFORMACIÓN CORRESPONDE A UNA ENTROPÍA NEGATIVA, LO QUE PERMITE
MEDIR LA CANTIDAD DE INFORMACIÓN EN UN SISTEMA (MENSAJE) PARA
COMPARARLO CON LA CANTIDAD ENVIADA Y CORREGIR O REENVIAR LA
INFORMACIÓN EN CASO DE PÉRDIDA.

 EN UNA ORGANIZACIÓN O EN UN SISTEMA DE INFORMACIÓN LA IDEA ES USAR

INFORMACIÓN PARA MEJORAR LA TOMA DE DECISIONES Y QUE ESTAS NO SE TOMEN
EN TOTAL INCERTIDUMBRE, SINO BASÁNDOSE EN INFORMACIÓN CONFIABLE. CON
ESTO SE LOGRA RETROALIMENTAR EL OBJETIVO DEL SISTEMA Y CORREGIR SU
TRAYECTORIA CUANDO SE ALEJE DE LO DESEADO. ES DECIR, SE TRATA DE
GARANTIZAR LA SUPERVIVENCIA DEL SISTEMA COMBATIENDO LA ENTROPÍA CON SU
CONTRARIO, LA INFORMACIÓN.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

LA MEDIDA DE HARTLEY

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA MECATRÓNICA
PROPIEDADES DE LA ENTROPÍA

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

ESCUELA DE INGENIERÍA TELECOMUNICACIONES
LA ENTROPÍA CONDICIONADA, LEY DE ENTROPÍAS
TOTALES, INFORMACIÓN ENTRE VARIABLES
DISCRETAS.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

PUEDE INTERPRETARSE LA ANTERIOR MAGNITUD COMO LA INCERTIDUMBRE DE X DADO
UN VALOR PARTICULAR DE Y , PROMEDIADO POR TODOS LOS VALORES POSIBLES DE Y .

H (X ,Y )

H ( X | Y ) I ( X ;Y ) H (Y | X )

H (X ) H (Y )
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 H(X,Y)

H(X)

H(Y)

H(X|Y) I(Y;X) H(Y|X)

I ( X ;Y )  H ( X )  H ( X | Y )  H (Y )  H (Y | X )
I ( X ;Y )  H ( X )  H (Y )  H ( X , Y )
H ( X , Y )  H ( X | Y )  H (Y | X )  I ( X ;Y )
H (X )  H (X | Y)
H (Y )  H (Y | X )
Cuando las variables son independientes
H(X,Y)=H(X)+H(Y) y la información mutua
será nula I(X;Y)=0.
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
ESCUELA DE INGENIERÍA TELECOMUNICACIONES
 LA ENTROPÍA (INFORMACIÓN, O LIBERTAD DE ELECCIÓN) DE CIERTA FUENTE DE
INFORMACIÓN SE PUEDE COMPARAR CON EL VALOR MÁXIMO QUE ESTA ENTROPÍA
PODRÍA ALCANZAR SI ESTUVIESE SUJETA SÓLO, A LA CONDICIÓN DE QUE LA FUENTE
CONTINÚE EMPLEANDO LOS MISMOS SÍMBOLOS.

 LA RELACIÓN EXISTENTE ENTRE LA ENTROPÍA REAL Y LA MÁXIMA, SE LLAMA

ENTROPÍA RELATIVA DE UNA FUENTE.

 EL COMPLEMENTO DE LA ENTROPÍA RELATIVA (UNO MENOS LA ENTROPÍA RELATIVA),

SE LLAMA REDUNDANCIA Y ES LA FRACCIÓN DEL MENSAJE QUE NO ESTÁ
DETERMINADA POR LA LIBRE ELECCIÓN DEL EMISOR, SINO POR LAS REGLAS
ESTADÍSTICAS ACEPTADAS QUE GOBIERNAN EL USO DE LOS SÍMBOLOS EN CUESTIÓN
(FRACCIÓN DEL MENSAJE QUE SE ENTIENDE COMO INNECESARIA (REPETITIVA O
REDUNDANTE) EN EL SENTIDO DE QUE SI FALTARA, EN EL MENSAJE, ÉSTE SEGUIRÍA
COMPLETO, O PODRÍA COMPLETARSE.

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

 LA ENTROPÍA ES MÁXIMA CUANDO LAS PROBABILIDADES DE LAS DIVERSAS
ELECCIONES SON APROXIMADAMENTE IGUALES Y LA ENTROPÍA TIENE EL VALOR
MAYOR CUANDO LA LIBERTAD POSIBLE ES MAYOR QUE EN LAS ELECCIONES SIN QUE SE
EJERZA PRESIÓN O INFLUENCIA HACIA ALGUNAS DE ELLAS.
 LA INFORMACIÓN ES MAYOR A MEDIDA QUE LAS PROBABILIDADES SE IGUALAN. EL
VALOR DE H AUMENTARÁ CUANDO SE INCREMENTE EL NÚMERO DE CASOS. CUANTAS
MÁS ELECCIONES HAYA, MAYOR SERÁ H PARA PROBABILIDADES APROXIMADAMENTE
IGUALES. HAY MÁS INFORMACIÓN SI SE SELECCIONA ENTRE 100 MENSAJES QUE SI SE
SELECCIONA ENTRE 25.
 SE ASOCIA CON LOS PROCESOS ESTOCÁSTICOS (AZAR) DE LA TEORÍA AUTOMÁTICA.
 LA TEORÍA DISCRETA SE DESARROLLÓ PARA CANALES CON RUIDO Y SILENCIOSOS. UN
CANAL RUIDOSO CONTIENE SEÑALES INDESEABLES Y REQUIERE QUE UN FILTRO TOME
UNA COPIA DEL MENSAJE TRANSMITIDO Y LO COMPARE CON EL MENSAJE RECIBIDO
 LA ENTROPÍA MÁXIMA CORRESPONDE A UNA DISTRIBUCIÓN UNIFORME

ESCUELA DE INGENIERÍA TELECOMUNICACIONES

GRACIAS POR SU ATENCIÓN

ESCUELA DE INGENIERÍA TELECOMUNICACIONES