Teoría de la Información y la Codificación

2018-2
Tarea 1
Grupo 01
9 de febrero de 2018

Las tareas deben entregarse en papel blanco tamaño carta (no arrancado de cuaderno),
con tinta y letra legible o en impresión de documento electrónico, por ambas caras de la
hoja, sin espacios y con las respuestas en el orden en que aparecen en el texto las respectivas
preguntas. No se validarán tareas que mezclen impresión de texto de documento electrónico
con texto manuscrito o que dejen espacios en blanco. Las gráficas exclusivamente en paquete
de graficación.
Fecha de entrega: Jueves 21 de febrero 2017

1. Piedra, papel o tijera? Es un juego entre dos personas quienes en cada ensayo o prueba,
de manera simultánea muestran uno de tres posibles símbolos con una de sus manos:
piedra, papel o tijera. Las convenciones del juego son:

piedra gana a tijera,

tijera gana a papel,
papel gana a piedra,
símbolos iguales indica empate no gana nadie y se repite la prueba.

Nótese que es posible que se requieran varios ensayos antes de que alguien gane uno.
Dos amigos están por decidir sobre la película por ver y seleccionan este juego para
dirimir la situación. Acuerdan que el ganador será el primero en ganar a) dos, b) tres
juegos. Sea X la variable aleatoria que describe el conjunto de resultados posibles; sea
Y la v.a . que representa el número de ensayos o intentos del juego. Se asume que
cada participante selecciona indistintamente cada símbolo. Para cada caso, (a) y (b):

1
 a) Proporcione una descripción general de X y Y .
b) Obtenga las expresiones generales para obtener las distribuciones P (X = x) y
P (Y = y).
c) Si Y = k constante, obtenga H(X | Y = k), para k = 3, 4.
d ) Obtenga H(X), H(Y ), H(X | Y ), I(X : Y ) y D(X k Y ).

El reto es establecer adecuadamente el modelo probabilístico, considerando que Y

puede tomar una infinidad de valores.

2. Problema de Monty Hall. Consulte en Internet el planteamiento de este problema.

Obtener

una descripción en términos de los conceptos de de la teoría de la información,

la probabilidad de ganar dado que se cambió la decisión inicial,
la probabilidad de ganar dado que no se cambió la decisión inicial,
la probabilidad de ganar,
la información ganada cuando se abre una de las puertas conteniendo un chivo,

3. Tres urnas, A, B y C contienen bolas de colores de la siguiente forma:

A contiene tres bolas rojas y cinco verdes
B contiene una bola roja y dos bolas verdes, y
C contiene siete bolas rojas y seis verdes.
Considere que todas las selecciones son al azar. Se selecciona una urna, y se saca una
bola de dicha urna. Se define los eventos
SA = {se selecciona la urna A},
SB = {se selecciona la urna B},
SC = {se selecciona la urna C},
SR = {se toma una bola roja } y
SV = {se toma una bola verde}.
Sean las v. a. X y Y definidas sobre los espacios de resultados {SA , SB , SC } y
{SR , SV }, respectivamente. Determine I(X; Y ), H(X), H(Y ), H(X, Y ), H(X | Y )
y H(Y | X).

2
4. Considere que se modifican las reglas del planteamiento inicial del ejercicio 3, para uno
nuevo. Primero se toma una bola de la urna A; si es roja, se toma una bola de la urna
B; si la bola de la urna A resulta verde, se toma una bola de la urna C. Se definen
los eventos
R1 = {La primera bola seleccionada es roja},
V 1 = {La primera bola seleccionada es verde},
R2 = {La segunda bola seleccionada es roja},
V 2 = {La segunda bola seleccionada es verde},
y las v. a. X y Y sobre los espacios de resultados {R1, V 1} y {R2, V 2}, respectiva-
mente.

a) Determine I(X; Y ), H(X), H(Y ), H(X, Y ), H(X | Y ) y H(Y | X).

b) Suponga que ahora se le permite transferir bolas solo entre las urnas B y C.
¿Cómo reacomodaría el número de bolas y colores en estas urnas para maximizar
el valor de I(X; Y )?
c) ¿Cómo reacomodaría el número de bolas y colores en las urnas B y C para
minimizar el valor de I(X; Y )?
d ) Repita la partes 4b y 4c calculando H(X | Y ) en lugar de I(X; Y ).
e) ¿Cuál es el reacomodo que hace a X y Y estadísticamente independientes?

5. Se definen tres eventos E1 , E2 , y E3 en el mismo espacio de probabilidad, con proba-

bilidades P (E1 ) = P (E2 ) = P (E3 ) = 1/4. Sea E0 el evento de que uno o más de los
eventos E1 , E2 , E3 ocurre.

a) Encuentre P (E0 ) cuando

1) Los eventos E1 , E2 y E3 son disjuntos.
2) Los eventos E1 , E2 y E3 son independientes.
3) Los eventos E1 , E2 y E3 son en realidad tres nombres distintos para el mismo
evento.
b) Encuentre el valor máximo que puede tomar P (E0 ) cuando:
1) Nada se sabe sobre la independencia o si son o no disjuntos los eventos E1 ,
E2 y E3 .
2) Se sabe que los eventos son independientes dos a dos, pero no se sabe nada
acerca de la probabilidad de realizar los tres juntos.

3
 6. Un jugador deshonesto tiene un dado cargado que proporciona el número uno con
probabilidad 2/3 y los números 2 al 6 con probabilidad 1/15 cada uno. Para su mala
suerte, olvidó este dado en una caja junto con otros dos dados sin cargar (honestos)
del mismo aspecto. Al tratar de recuperarlo, saca al azar un dado de la caja, lo tira y
observa que sale un uno. Condicionando sobre este resultado, ¿cuál es la probabilidad
de que haya escogido el dado cargado? Vuelve a tirar el dado y sale otra vez un uno.
¿Cuál es la probabilidad, después de este segundo tiro, de que haya escogido el dado
cargado?

7. Volados. Con una moneda legal se echan volados hasta que sale la primera águila. Sea
X el número de volados necesarios para que esto ocurra.

a) Encuentre la entropía H(X) en bits. Las siguientes expresiones pueden servirle

∞ ∞
X r X r
rn = , nrn = .
n=1
1−r n=1
(1 − r)2

b) Se genera una v. a. X con esta distribución. Encuentre una secuencia “eficiente”

de preguntas del tipo “sí o no” de la forma “¿Está X contenida en el conjunto
S? ” Compare H(X) con el valor esperado del número de preguntas requeridas
para determinar X.

8. Entropía de Funciones. Sea X una v. a. que toma un número finito de valores. ¿Cuál es
la relación general de desigualdad entre H(X) y H(Y ) si (a) Y = 2X ; (b) Y = cos X?

9. Pesando monedas. Suponga que se tienen n monedas, entre las que puede haber o
no una falsa. Si la hay, esta puede ser o más pesada o más ligera que las demás.
Las monedas van a pesarse con una balanza justa y legal. Ofrezca una explicación o
descripción detallada a la solución que proponen diversas fuentes en la WEB.

10. La Serie Mundial. La Serie Mundial es una competencia de 7 juegos entre dos equipos
que termina cuando alguno de ellos gana primero 4 juegos. Sea X la v. a. que representa
el resultado de la Serie mundial entre los equipos A y B; algunos posibles valores de
X son AAAA, BABABAB y BBBAAAA. Sea Y el número de juegos disputados, que
varía de 4 a 7. Suponiendo que no hay favorito y que los juegos son independientes,
calcule H(X), H(Y |X), y H(Y |X).

11. Pesando monedas. Suponga que se tienen n monedas, entre las que puede haber o
no una falsa. Si la hay, esta puede ser o más pesada o más ligera que las demás. Las
monedas van a pesarse con una balanza justa y legal.

4
 a) Encuentre una cota superior para el número de monedas n de modo que con k
pesadas se podrá determinar la moneda falsa, si la hay, y establecer si es o más
pesada o más ligera.
b) ¿Cuál es la estrategia para pesar las monedas si k = 3 y n = 12?

12. Ejemplo de entropía conjunta. Sea p(x, y) una distribución conjunta de las v.a. discretas
X y Y dada por

(X,Y) a b c
1 1 1
1 6 12 12
1 1 1
2 12 6 12
1 1 1
3 12 12 6
Determine
(a) H(X), H(Y ).
(b) H(X|Y ), H(Y |X).
(c) H(X, Y ).
(d) H(Y ) − H(Y |X).
(e) I(X; Y ).

13. Extrayendo con y sin reemplazo. Una urna contiene r bolas rojas, w bolas blancas y
b bolas negras. ¿Qué evento tiene más entropía, extraer k ≥ 2 bolas con reemplazo o
hacerlo sin reemplazo? Establézcalos y muestre por qué. (Según Cover, hay una forma
difícil y una forma simple de resolver esto).

14. Ejemplo de entropía conjunta. Sea p(x, y) una v.a. discreta dada por

(X,Y) 0 1
1 1
0 3 3
1
1 0 3
Determine
(a) H(X), H(Y ).
(b) H(X|Y ), H(Y |X).
(c) H(X, Y ).
(d) H(Y ) − H(Y |X).
(e) I(X; Y ).
(f) Dibuje un diagrama de Venn para las cantidades desde (a) hasta (e).

5
15. Entropía de una suma. Sean X y Y v.a. que toman valores x1 , x2 , . . . , xr y y1 , y2 , . . . , ys
respectivamente. Sea Z = X + Y .
(a) Muestre que H(Z|X) = H(Y |X). Argumente que si X y Y son independientes,
entonces H(Y ) ≤ H(Z) y H(X) ≤ H(Z). Entonces la adición de v.a. independientes
agrega incertidumbre.
(b) Proporcione un ejemplo (de v.a. necesariamente dependientes) en el que H(X) >
H(Z) y H(Y ) > H(Z).
(c) ¿Bajo qué condiciones se cumple que H(Z) = H(X) + H(Y )?

16. Se ha encontrado que el número de personas Y esperando en una fila bancaria en día
de pago obedece a una regla de Poisson condicional dada por

xk
P r(Y = k|X = x) = e−x , k ≥ 0, x > 0,
k!
donde X es el tiempo de servicio del cajero, el tiempo en minutos que ocupa en atender
a un cliente, con distribución
1
P r(X = x) = , X = {1, . . . , N },
N
es decir

P r(X = 1) = P r(X = 2) = · · · = P r(X = N − 1) = P r(X = N ) = 1/N.

Obtener H(Y ) y H(Y |X) para a) N = 5, 10, 15.

17. Para cada uno de los tres primeros canales mostrados en el pizarrón, obtener H(X),
H(Y ), H(X | Y ), H(Y | X), I(X; Y ); para los restantes H(X, Y, Z), I(X; Y | Z),
considerando que hay independencia condicional.