PROBLEMA 22.

2-4
Un hombre juega póker cada sábado en la noche en su casa con el mismo grupo de amigos. Si
un sábado en la noche ofrece refrescos (con costo esperado de $14), el siguiente, el grupo
tendrá una probabilidad de jugar de buen humor de 7/8 y de hacerlo de mal humor de 1/8. Si
no lo hace, el siguiente sábado el grupo jugara de buen humor con una probabilidad de 1/8 y
de mal humor con una probabilidad de 7/8 sin importar el humor de este sábado. Es más, si la
noche comienza de mal humor y el no ofrece refrescos, el grupo lo molestara y tendrá una
perdida esperada en el póker de $75. De otra manera su promedio de ganancias o pérdidas en
el juego es cero. El hombre quiere encontrar la política óptima para determinar cuándo ofrecer
refresco para minimizar su costo promedio esperado semanal (a largo plazo).

a) Formule este problema como un proceso de decisión markoviano; identifique estados y

decisiones. Encuentre Cik.

Estado Condición
0 Buen humor
1 Mal humor

Decisión Acción Estados relevantes

1 Dar refresco 0,1
2 No dar refresco 1

Decisión Cik
Estado 1 2
0 14 14
1 - 75
 b) Identifique todas las políticas (determinísticas estacionarias). Para cada una, elabora
una matriz de transición y obtenga la expresión del costo promedio esperado a largo
plazo por periodo en términos de las probabilidades de estado estable desconocidas.

π0= 7/8π0 + 1/8π1

π1= 1/8π0 + 7/8 π1

La solución simultánea es:

π0 = 1/2, π1 = 1/2.

El costo promedio esperado (a la larga) por semana para esta política es:

14 π0 +75 π1 = 44.5/2= $22.5

Ganancia = (probabilidad de Pérdida = (probabilidad de mal

buen humor x $14) humor x $75)

Costo por ofrecer refresco

Costo por no ofrecer

refresco

Conclusión:
Según la matriz de transición del problema, la mejor opción para reducir los costos al máximo
(minimizar el costo) es ofrecer refrescos en el primer sábado, ya que solo generara un costo de
21.625 y la opción de no dar nada crea un costo mucho más alto de 67.375.