UCB DEPARTAMENTO DE CIENCIAS BÁSICAS

MATERIA: INVESTIGACIÓN OPERATIVA II Y LABORATORIO MAT – 252

PRÁCTICA: CADENAS DE MARKOV

Problema 1

Una partícula se mueve sobre un círculo por puntos marcados 0, 1, 2, 3, 4 (en el sentido de
las manecillas del reloj). La partícula comienza en el punto 0. En cada paso tiene una
probabilidad de 0.55 de moverse un punto en el sentido de las manecillas del reloj (0 sigue
al 4) y una probabilidad de 0.45 de moverse un punto en el sentido opuesto. Sea 𝑋𝑛 (𝑛 ≥ 0)
la localización en el círculo después del paso 𝑛. Entonces, {𝑋𝑛 } es una cadena de Markov.
a) Encuentre la matriz de transición de un paso.
b) Determine la matriz de transición de 𝑛 pasos P (𝑛) para 𝑛 = 5, 10, 20, 40, 80.
c) Encuentre las probabilidades de estado estable de los estados de la cadena de Markov.

Problema 2

Considere el ejemplo de inventarios de cámaras en la tienda de Dave de la sección 16.1

(del libro de Hillier y Lieberman, 9ª edición) con el siguiente cambio: la variable aleatoria 𝐷𝑡
= número de cámaras que se vendería en la semana 𝑡 si el inventario no se agota, es
Poisson con media de 2 cámaras.
La cadena de Markov {𝑋𝑡 } continúa siendo el número de cámaras en inventario y, la política
de inventario de Dave, es pedir 3 cámaras sólo cuando el inventario desciende a 0.
a) Determine la matriz de transición de un paso de esta cadena de Markov (anote los
elementos de la matriz con cuatro decimales).
b) Determine las clases de estados de la cadena y, para cada clase, determine si es
recurrente o transitoria.
c) ¿Es esta cadena ergódica?

Problema 3

Considere la cadena de Markov que tiene la siguiente matriz de transición (de un paso):

Estado 0 1 2 3 4
0 0 1/5 0 4/5 0
1 1/3 0 1/3 1/3 0
𝐏=
2 0 2/5 0 1/10 1/2
3 0 0 0 1 0
4 [1/4 0 1/2 1/4 0 ]

a) Determine las clases de esta cadena de Markov y, para cada clase, determine si es
recurrente o transitoria.
b) Para cada una de las clases identificadas en el inciso a), determine el periodo de los
estados de esa clase.

Problema 4

Determine las clases de estados de las siguientes cadenas de Markov. Clasifique los
estados y, encuentre el periodo de los estados.

1
 Estado 0 1 2 Estado 0 1 2 3
0 0 1 0 0 1/2 1/4 1/4 0
a) 𝐏 =
1 [0 0 1] b) 𝐏 = 1
[ 0 0 1 0 ]
2 1 0 0 2 1/3 0 1/3 1/3
3 0 0 0 1

Problema 5

Reconsidere el problema 2. Suponga que la tienda de cámaras encuentra que debe asignar
un cargo por almacenamiento por cada cámara que permanece en la tienda al final de la
semana. El costo se carga de la siguiente manera:

0 𝑠𝑖 𝑥𝑡 =0
𝑥𝑡 =1
𝐶(𝑥𝑡 ) = { 3 𝑠𝑖
9 𝑠𝑖 𝑥𝑡 =2
27 𝑠𝑖 𝑥𝑡 =3

Encuentre el costo promedio esperado por semana, a largo plazo, por mantener el
inventario.

Problema 6

Vuelva a considerar el problema 2. El costo por el manejo del inventario de cámaras en la

tienda de Dave tiene dos componentes: 1) el costo de pedido (y adquirir), y 2) el costo de
penalización por demanda insatisfecha. El costo de pedido se determina como sigue: Si se
ordena 𝑧 > 0 cámaras, se incurre en un costo de (30 + 25𝑧) dólares. Si no se ordenan
cámaras, no hay cargos por ordenar. El costo de penalización es: cada unidad de demanda
insatisfecha (ventas perdidas) tiene un costo de 60 dólares.
Encuentre el costo promedio esperado por semana, a largo plazo.

Problema 7

En un día soleado, MiniGolf puede tener ingresos de $2 000. Si el día está nublado, los
ingresos se reducen 20%. Un día lluvioso reducirá los ingresos en un 80%. Si hoy está
soleado hay un 80% de probabilidades de que mañana está soleado sin amenaza de lluvia,
y 20% de probabilidades de que esté nublado. Si está nublado, hay 20% de probabilidades
de que mañana llueva, y 30% de probabilidades de que esté soleado. Seguirá lloviendo
hasta el día siguiente con una probabilidad de 0.8, pero con 10% de probabilidades de que
esté soleado.
a) Determine los ingresos diarios esperados para MiniGolf.
b) Determine el promedio de días que no estarán soleados.

Problema 8

Hay tres categorías de filtro del impuesto sobre la renta en los Estados Unidos: los que
nunca evaden impuestos, los que en ocasiones lo hacen, y los que siempre lo hacen, Un
examen de las declaraciones de impuestos auditadas de un año al siguiente muestra que
de los que no evadieron impuestos el año pasado, 95% continuará en la misma categoría
este año; 4% se moverá a la categoría “a veces”, y el resto se moverá a la categoría
“siempre”. Para los que a veces evaden impuestos, 6% se moverá a “nunca”, 90%

2
permanecerá igual, y 4% se moverá a “siempre”. Por lo que se refiere a los evasores de
“siempre”, los porcentajes respectivos son 0, 10 y 90%.
a) Exprese el problema como una cadena de Markov.
b) A la larga, ¿cuáles serían los porcentajes de las categorías de evasión de impuestos de
“nunca”, “a veces” y “siempre”?
c) Las estadísticas muestran que un contribuyente en la categoría “a veces” evade
impuestos que suman aproximadamente $5 000 por declaración y en la categoría
“siempre” suman aproximadamente $12 000. Suponiendo que la población de
contribuyentes es de 70 millones y la tasa del impuesto sobre la renta promedio es 12%,
determine la reducción anual de los impuestos recolectados debido a la evasión.

Problema 9

Un laberinto se compone de las rutas mostradas en la figura. La intersección 1 es la entrada

al laberinto, y la intersección 5 es la salida. En cualquier intersección, el ratón tiene
probabilidades iguales de seleccionar cualquiera de las rutas disponibles. Cuando el ratón
llega a la intersección 5, el experimento se repite volviendo a entrar al laberinto por la
intersección 1.

a) Exprese el laberinto como una cadena de Markov.

b) Determine las probabilidades de que, comenzando en la intersección 1, el ratón llegue
a la salida después de tres intentos.
c) Determine la probabilidad a largo plazo de que el ratón localice la intersección de salida.
d) Determine el promedio de intentos necesario para llegar al punto de salida desde la
intersección 1.

Problema 10

Considere el ejemplo de inventarios de las cámaras en la tienda de Dave de la sección 16.1

(del libro de Hillier y Lieberman, 9ª edición). Las condiciones del problema son las mismas
salvo dos excepciones:
1. La política de órdenes cambia a ordenar exactamente dos cámaras al final de la semana
si el inventario es cero. Como antes, no se ordena si hay cámaras en inventario.
Suponga que se tiene una cámara (al final de la semana) cuando se instituye la política.
2. La demanda 𝐷𝑡 de cámaras en la semana 𝑡 tiene la siguiente distribución de
probabilidad:
Valores de la demanda, d 0 1 2 ≥ 𝟑
P{D=d} 1 3 1 0
5 5 5

3
a) Construya la matriz de transición de un paso.
b) Encuentre la distribución de probabilidad del estado de esta cadena de Markov 𝑛
semanas después de instituir la nueva política de inventarios, para 𝑛 = 2,5,10.
c) Encuentre las 𝜇𝑖𝑗 (el tiempo esperado de primera pasada del estado 𝑖 al 𝑗) para toda 𝑖 y
𝑗.
d) Encuentre las probabilidades de estado estable de los estados de esta cadena de
Markov.
e) Bajo el supuesto de que la tienda paga un costo de almacenamiento por cada cámara
que queda en la repisa al final de la semana, de acuerdo con la función 𝐶(0) = 0, 𝐶(1) =
$5 y 𝐶(2) = $25, encuentre el costo promedio de almacenamiento a largo plazo por
semana.

Problema 11

Considere la cadena de Markov de la ruina del jugador: apuesta 1 dólar en cada jugada.
Tiene una probabilidad 𝑝 = 0.25 de ganar y continuará jugando hasta que quiebre o reúna
una fortuna de 𝑁 = 4 dólares. 𝑋𝑛 es la fortuna del jugador en la 𝑛 – ésima jugada.
a) Determine la matriz de transición (de un paso) de la cadena de Markov.
b) Encuentre las clases de la cadena de Markov y clasifíquelas.
c) Encuentre 𝑓10 , 𝑓20 , 𝑓30 , 𝑓14 , 𝑓24 y 𝑓34 .

Problema 12

Reconsidere el ejemplo que se presentó al final de la sección 16.8 (del libro de Hillier y
Lieberman). Suponga que ahora se agrega al taller una tercera máquina, idéntica a las dos
primeras. La persona de mantenimiento debe atender todas las máquinas.
a) Desarrolle un diagrama de tasas de esta cadena de Markov.
b) Construya las ecuaciones de estado estable.
c) Resuelva estas ecuaciones para obtener las probabilidades de estado estable.