Ejercicios de Markov

Ejercicio N1
Una empresa esta considerando utilizar Cadenas de Markov para analizar los
cambios en las preferencias de los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la siguiente estimacin de la
matriz de probabilidades de cambiarse de una marca a otra cada mes:

Si en la actualidad la participacin de mercado es de 45%, 25% y 30%,

respectivamente. Cuales sern las participaciones de mercado de cada
marca en dos meses ms?.
En primer lugar definimos la variable aleatoria

que representa la marca que

adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede

adoptar los valores 1,2,3 en el mes n=0,1,2,3,..
Adicionalmente conocemos cul es la distribucin inicial y la matriz de
probabilidades de transicin en una etapa tal como se observa a continuacin:

Luego para conocer la distribucin de las participaciones de mercado al cabo de

2 meses (2 etapas) podemos utilizar la frmula

Se concluye que las cuotas de mercado (participaciones de mercado) en dos

meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un
30% a un 25.50%, para las marcas 1,2 y 3 respectivamente.
Ejercicio N2

Cul es la probabilidad que un paciente en estado crtico un da Jueves est

estable el da Sbado?.
Sea X_{n} la variable aleatoria que indica el estado que se encuentra un
paciente cualquiera en el hospital en el da n. Los valores posibles para
dicha variable son C, S y E, representando los estados crtico, serio y
estable, respectivamente. Un grafo que representa dicho proceso
estocstico dada la tabla anterior es:

La probabilidad de que un paciente est en estado crtico el da Jueves y que el

da Sbado est estable, esta dado por:

, es decir, la probabilidad de pasar

del estado crtico al estado estable al cabo de 2 etapas (das).

Notar que de forma equivalente se pueden utilizar las ecuaciones

matriciales

Se comprueba que la probabilidad de pasar del estado crtico al estado estable

al cabo de 2 etapas es de un 17%.
Cul es la probabilidad que un paciente que est en estado estable el
Lunes experimente alguna complicacin y no est estable nuevamente
el Mircoles?.
En este caso cambia la distribucin inicial respecto al escenario anterior (ahora
el paciente est en estado estable), no obstante, tambin resulta de nuestro
inters analizar qu sucede al cabo de 2 etapas.

Con color verde se marca la probabilidad de que comenzando en un estado

estable al cabo de 2 das un paciente se encuentre en estado crtico o serio. La
suma de dichas probabilidades es un 66% que da respuesta a la interrogante
anterior.
Ejercicio N3
Una tienda que mantiene un inventario de un producto dado para satisfacer una
demanda (aleatoria). La demanda diaria D, tiene la siguiente distribucin de
probabilidades:

Consideremos una poltica de inventarios denominada (q,Q), que indica que

si el nivel de inventarios al final de cada da es menor a q=2 se
ordenan Q=1 unidades adicionales (las cuales se asumen disponibles al inicio

del da siguiente), en caso contrario no se hace ninguna orden. La demanda no

satisfecha es venta perdida y hay 2 unidades al final en n=0 (distribucin
inicial). Sea Xn el nivel de inventario al final del da n(esto corresponde a la
definicin de la variable aleatoria), interesa modelar el problema mediante una
Cadena de Markov.
Un primer desafo consiste en determinar los posibles estados que puede
adoptar la variable aleatoria en una etapa n cualquiera. Notar que es posible
finalizar un da sin unidades en inventario, dado que si bien esta situacin
genera una reposicin de 1 unidad, sta se asume disponible al inicio del da
siguiente. Adicionalmente tambin es posible terminar un da con 1 o 2
unidades en inventario (en estos casos no se genera reposicin). Sin embargo,
no es posible terminar un da con 3 unidades en inventario (recordar que en
n=0 se dispone de 2 unidades en inventario y dada la poltica de reposicin,
sta se genera cuando se dispone de menos de 2 unidades en inventario). En
resumen, los estados posibles para la variable aleatoria son Xn{0,1,2}.
A continuacin estimamos las probabilidades de transicin en una etapa las
cuales se resumen en la siguiente matriz de probabilidades de transicin
(matriz P):

Por ejemplo, si en un da n en particular se finaliza con 0 unidades en

inventarios se genera un pedido que al inicio del da siguiente permitir
disponer de 1 unidad; para que dicho da (n+1) se termine con 0 unidades en
inventario se requiere que la demanda sea mayor o igual a 1 unidad (este es el
caso de P00).
Adicionalmente se pueden estimar las probabilidades estacionarias, es decir,
que en el largo plazo (independiente de la distribucin inicial) se disponga al
final de un da de 0, 1 o 2 unidades en inventario. Para ello se debe clasificar
los estados de la cadena donde en particular se corrobora que sta
es irreducible con estados recurrentes positivos aperidicos.

En consecuencia la probabilidad de que en el largo plazo se disponga de 0

unidades al final de un da es de un 50% (1/2), tener una unidad es
un 37,5% (3/8) y 2 unidades un 12,5% (1/8). Alternativamente podemos
hacer uso de las ecuaciones matriciales para que partiendo de la distribucin
inicial (dato) se estime la probabilidad de encontrarse en cualquiera de los
estados al cabo de 1, 2, , n etapas (con n que tiende a infinito). Dicho
resultado corrobora los resultados anteriores:

Se propone al lector comprobar que independiente de la seleccin de la

distribucin inicial las probabilidades de largo plazo son las expuestas.
Ejercicio N4

El departamento de estudios de mercado de una fbrica estima que el 20% de la gente

que compra un producto un mes, no lo comprar el mes siguiente. Adems, el 30% de
quienes no lo compren un mes lo adquirir al mes siguiente. En una poblacin de 1000

individuos, 100 compraron el producto el primer mes. Cuntos lo comprarn al mes

prximo? Y dentro de dos meses?
Solucin: Para resolver este tipo de problemas, lo primero es hacer un esquema. A la
vista del esquema podemos pasar a construir la matriz de probabilidades de transicin:

Clculo: con esa informacin construimos la matriz 2x2. P(0) representa la situacin
inicial.

Ejercicio N5

Ejercicio N6

Ejercicio N7

(11 21)(01)(11 12)(10)(10 13)(11)(10 11)(1/13)(10 01)(2/3

1/3 )

Ejercicio N8

Ejercicio N9

Ejercicio N10