Cadenas de Markov

Agenda
1. Problema de Inventario
Revisin peridica con demanda estocstica
2. Formulacin (Matricial) de Cadenas de Markov
3. Dinmica de Sistemas
4. Propiedad markoviana aplicado a tiempos
5. Proceso de Nacimiento y Muerte
La sucesin de observaciones de las variables aleatorias S
0
, S
1
, ... se llama un
proceso estocstico o proceso aleatorio, donde:
Qu es un proceso estocstico?
En un proceso de este tipo los valores de
las observaciones no pueden predecirse
con precisin de antemano. Sin embargo
puede especificarse una probabilidad de
observar determinado valor.
Por ejemplo S
t
podra
representar los niveles
de inventario al final de
la semana t.
t = 1,2,
Una tienda de cmaras tiene en almacn un modelo de cmara que puede
ordenar semanalmente, donde:
El sbado en la noche la tienda hace un pedido que es entregado el lunes.
La poltica de la tienda es la siguiente: si no hay cmaras en el inventario,
ordena 3. De otra manera si se cuentan con cmaras en el almacn no se
hace pedido.
Por estudios anteriores, se sabe que la demanda semanal D
t
tiene una
distribucin Poisson con media 1.
Considerar S
0
= 3 y que las ventas se pierden cuando la demanda excede
el inventario.

0,1, 2,... t =
1. Problema de Inventario
a) Deducir la funcin X
t
(S
t-1
) que representa la cantidad de compra semanal
b) Deducir la funcin S
t
(S
t-1
,D
t
) que describe la evolucin del estado en
funcin de la demanda, incorporando la poltica de compra
c) Construir la matriz de transicin
d) Construir el diagrama de transicin de estados
e) Obtener la distribucin probabilstica del estado despus de una y de dos
semanas. (Es decir, obtenga la distribucin prob. de S
1
y de S
2
)
a)
La poltica es de comprar slo cuando se acaba el inventario, y de comprar lotes de 3.
1. Problema de Inventario
b) Deduce la funcin S
t
(S
t-1
,D
t
) que describe la evolucin del estado en
funcin de la demanda, incorporando la poltica de compra
Considerando la posibilidad de que la demanda exceda a la oferta,
la evolucin se da por
La poltica es que
Entonces,
1. Problema de Inventario
c) Construya la matriz de transicin
P =
p
ij
= P(S
t
= j| S
t-1
= i)
S
t-1
S
t
0 P(D
t
>3) P(D
t
= 2) P(D
t
= 1) P(D
t
= 0)
1 P(D
t
>1) P(D
t
= 0) 0 0
2 P(D
t
>2) P(D
t
= 1) P(D
t
= 0) 0
3 P(D
t
>3) P(D
t
= 2) P(D
t
= 1) P(D
t
= 0)
0 1 2 3
=
(La matriz de transicin muestra la evolucin S
t
(S
t-1
,D
t
) , segn la distribucin de D
t
)
1. Problema de Inventario
d) Construya el diagrama de transicin de estados
P =
0 1
2
3
0,080
0,184
0,368
0,368 0,368
0,264
0,368
0,368
0,080
0,632
0,184
0,368 0,368
1. Problema de Inventario
e) Obtener la distribucin probabilstica del estado despus de una y de
dos semanas. (Es decir, obtenga la distribucin prob. de S
1
y de S
2
)
Utilicemos p
(t)
para representar la distribucin probabilstica de S
t
, en forma
vectorial
En el contexto de nuestro ejemplo, p
(t)
= [P(S
t
= 0);P(S
t
= 1);P(S
t
= 2);P(S
t
= 3)]
Ya que S
o
= 3, segn el enunciado, p
(0)
= [0 0 0 1]
La matriz de transicin est hecha a propsito para que p
(t)
= p
(t-1)
P

Entonces, p
(1)
= [0,080 0,184 0,368 0,368 ]
Luego, p
(2)
= p
(1)
P = [0,249 0,286 0,300 0,165 ]

1. Problema de Inventario
e) Obtener la distribucin probabilstica del estado despus de una y de
dos semanas. (Es decir, obtenga la distribucin prob. de S
1
y de S
2
)
p
(1)
= [0,080 0,184 0,368 0,368 ]
p
(2)
= [0,249 0,286 0,300 0,165 ]
Si empezamos con 3 cmaras, hay una probabilidad de
8% que nos queda 0 despus de una semana, y 24,9% despus de dos semanas.
18,4% que nos queda 1 despus de una semana, y 28,6% despus de dos
semanas.
36,8% que nos queda 2 despus de una semana, y 30% despus de dos
semanas.
36,8% que nos queda 3 despus de una semana, y 16,5% despus de dos
semanas, etc.
Cmo interpretar estos resultados?
1. Problema de Inventario
2. Formulacin de Cadenas de Markov
Acabamos de ver un ejemplo de un proceso
estocstico, adems es un ejemplo de una
Cadena de Markov
Una cadena de Markov es un proceso estocstico
{S
t
|t = 0n} que tiene la propiedad markoviana:
( ) ( ) i S j S P i S k S k S k S j S P
t t t t t t
= = = = = = = =
+ 1 1 2 2 1 1 0 0 1
| , ,..., , |
Es decir, la probabilidad condicional de un evento
futuro dado eventos pasados y el estado actual,
depende slo del presente y es independiente de
eventos pasados.

En el contexto de Cadenas de Markov, se
pueden definir probabilidades de transicin
(de un paso)

( )
1
|
ij t t
p P S j S i
+
= = =
( ) ( )
1 1 0
| | 1
t t ij
P S j S i P S i S j p t

= = = = = = >
y son estacionarias (no cambian en el tiempo),
esto es:

2. Formulacin de Cadenas de Markov
Probabilidades de Transicin
Lo ltimo implica que tambin se cumple que
para cada : ( ) t n n j i ,..., 1 , 0 , , =
( ) ( ) i S j S P i S j S P
n n t t
= = = = =
0
| |
( )
( )
1
( )
|
|
ij t t
n
ij t t n
p P S j S i
p P S j S i

= = =
= = =
Lo cual se conoce como probabilidad de
transicin de n pasos.
Notacin de probabilidades estacionarias:
2. Formulacin de Cadenas de Markov
Las probabilidades de transicin de pasos

()
son las probabilidades condicionales de
que el sistema se encuentre en el estado
justo despus de pasos (unidades de
tiempo), dado que comenz en el estado en
un tiempo .
2. Formulacin de Cadenas de Markov
Propiedades:



( )
0 , ,
n
ij
p i j n >
( )
1
1 ,
M
n
ij
j
p i n
=
=

Notacin conveniente:
forma matricial
2. Formulacin de Cadenas de Markov
La probabilidad de transicin de cada celda se refiere a la probabilidad
de transicin de pasos de pasar desde el estado en el rengln de la
celda, al estado de la columna de la celda.
Si = 1, entonces la matriz se denomina simplemente Matriz de
Transicin, y el superndice no se escribe.
2. Formulacin de Cadenas de Markov
Matriz de Transicin de pasos:
En las cadenas de Markov que se estudiarn en el
captulo, se tendrn las siguientes propiedades:
Un nmero finito de estados.
Probabilidades de transicin estacionarias.
Segn estos suposiciones, P
(n)
= P
n
Resultado de Chapman-Kolmogorov
Adems se supondr que se conocen las
probabilidades iniciales

(corresponde al vector p
(0)
)

( ) i i S P = ,
0
2. Formulacin de Cadenas de Markov
Problema de Inventario
Aplicando el resultado de Komolgov-Chapman al problema de inventario
Entonces, p
(2)
= p
(0)
P
2
= [0,249 0,286 0,300 0,165 ], igual como antes
Ahora que tenemos P
2
, se puede calcular p
(2)
para cualquier distribucin inicial p
(0)

2. Formulacin de Cadenas de Markov
Lo mismo se puede aplicar para la matriz de transicin de 4 pasos, que se puede
obtener como P
(4)
= P
4
= P
2
*P
2
.
Lo cual permite obtener las mismas conclusiones previas, pero para un inventario
de 4 semanas ms tarde.
En general p
(n)
= p
(0)
P
n
= nos da la distribucin probabilstica de estado S
t
despus
de t = n pasos
2. Formulacin de Cadenas de Markov
Probabilidades Condicionales v/s Incondicionales
La matriz P
n
tiene las distribuciones probabilsticas condicionales,
p
ij

(n)
= Probabilidad de que (S
n
= j), dado que (S
0
= i)
= P(S
n
= j|S
0
= i)
Muchas veces se pone la distribucin incondicional, lo cual implica una
suma ponderada, segn la distribucin inicial
p
j

(n)
= Probabilidad de que (S
n
= j), segn la distribucin inicial
= P(S
n
= j)

=
O se lo puede escribir en forma matricial,
p
(n)
= p
(0)
P
n
como lo hemos hecho con el ejemplo del inventario con n = 2.

(0) ( )
0
M
n
i ij
i
p p
=

2. Formulacin de Cadenas de Markov

Acurdense de los cuatros casos que hemos visto por la dinmica de inventarios:
3. Dinmica de sistemas
1. Demanda determinstica con revisin continua
2. Demanda estocstica con revisin continua
3. Demanda determinstica con revisin peridica
4. Demanda estocstica con revisin peridica
En este captulo hemos analizado un poco el caso 4. Ahora vamos a
generalizar la conversacin, para considerar la dinmica de sistemas:
1. Cambios determinsticos de estado tiempo continuo
2. Cambios estocsticos de estado tiempo continuo
3. Cambios determinsticos de estado pasos peridicos
4. Cambios estocsticos de estado pasos peridicos
Agregamos 2 casos adicionales:
5. Cambios determinsticos de estado pasos de duracin estocsticos
6. Cambios estocsticos de estado pasos de duracin estocsticos
Dinmica de Sistemas:
1. Cambios det. de estados tiempo continuo
2. Cambios est. de estados tiempo continuo
3. Cambios det. de estados pasos peridicos
4. Cambios est. de estados pasos peridicos
5. Cambios det. de estados duracin est.
6. Cambios det. de estados duracin est.
Son temas que se tocan en este curso, y tambin en Simulacin
Con la excepcin del modelo (R,Q), el caso 2 se ve como lo ms
difcil, porque requiere formacin en anlisis real, mtodos
numricos, etc.
En general, los ejemplos clsicos de inventarios caben dentro de 1-4
Los ejemplos clsicos de colas caben los casos 5 y 6
El resto de este captulo adapta la propiedad markoviana para los
casos 5 y 6 (duraciones estocsticos)
Inventarios
Colas
4. Propiedad Markoviana aplicada a tiempos
(Cadenas de Markov de Tiempo Continuo)
Existen ciertos casos en los que se requiere un parmetro de
tiempo continuo (t), pues la evolucin del proceso se observa
de manera continua a travs del tiempo.

Tasa promedio
(en casos discretos se pone probabilidades)
Importancia de la distribucin exponencial
Cada vez que el proceso entra en el estado , la
cantidad de tiempo que pasa en ese estado antes de
moverse a uno diferente es una variable aleatoria

donde = 0, 1, , .
La propiedad markoviana indica que
Importancia de la distribucin exponencial
Esto es la propiedad de carencia de memoria
La distribucin de probabilidad continua que posee
esta propiedad es la distribucin exponencial, cuyo
parmetro es .
1. La variable aleatoria

tiene una distribucin

exponencial con media 1/

.
2. Cuando sale de un estado , el proceso se mueve
a otro estado , con probabilidad

, en donde

satisface las condiciones:

a)

= 0 . b)

=0
= 1 .
3. El siguiente estado que se visita despus del
estado es independiente del tiempo que paso
en el estado .
0 =
ii
p 1
0
=

=
M
j
ij
p para todo i para todo i
La interpretacin intuitiva de
i
y
ij
es que son tasas de transicin.

En particular,
i
es la tasa de transicin hacia afuera del estado i en el sentido de
que
i
es el nmero esperado de veces que el proceso deja el estado por unidad
de tiempo que pasa en el estado .

As,

= 1 / []
El papel anlogo de las probabilidades de transicin en una cadena de tiempos
discretos, lo desempean las intensidades de transicin en las cadenas de
tiempo continuo:
0
1 ( )
(0) 0,1, 2,...,
lim
ii
i ii
t
p t d
p i M
dt t

= = =
0
( )
(0) ,
lim
ij
ij ij i ij
t
p t
d
p p j i
dt t

= = = =
De manera similar,
ij
es la tasa de transicin del estado i al estado j en el
sentido de que
ij
es el nmero esperado de veces que el proceso transita del
estado i al estado j por unidad de tiempo que pasa en el estado i.

As,

=



Cada vez que el proceso entra al estado i, la cantidad de tiempo que pasar en el
estado i antes de que ocurra una transicin al estado j (si no ocurre antes una
transicin a algn otro estado) es una variable aleatoria T
ij
, (j i)

Las T
ij
son variables aleatorias independientes, donde cada T
ij
tiene una
distribucin exponencial tal que E[T
ij
] = 1/
ij

El tiempo que pasa en el estado i hasta que ocurre una transicin T
i
es el mnimo
(sobre j i) de las T
ij

Cuando ocurre la transicin, la probabilidad que sea al estado j es p
ij
=
ij
/
i

En resumen,

Propiedad markoviana
(carencia de memoria)
Variable de tiempo (duracin)
Distribucin Exponencial
Ejercicio (Super-Conejos)
El pas A est en guerra contra el pas B, y ha
desarrollado unos super-conejos como forma de
ataque biolgico. Estos conejos nunca mueren, pero
tienen una tasa de reproduccin que se explica por la
siguiente frmula:
a) Si se introducen 500 conejos al pas B en un tiempo,
cul ser el tpo. esperado antes de que nazca el
conejo N 501?
b) Cunto tpo. es de esperar hasta que nazca el conejo
N 100.000?

<
=
. . .
2 si 0
f o d j
j
j

En lo cual
j
se mide en conejos por semana.
a) Prximo conejo:
b) Conejo N 100.000:

La tasa promedio es de
500
= 500 conejos/semana
Entonces, se espera ver el prximo conejo despus de
t
501
= (
500
)
-1
= 0.002 semanas 20 minutos
t
100000
= (
500
)
-1
+ (
501
)
-1
+ +(
99999
)
-1

= 1/500 + 1/501 + + 1/99999 (serie harmnica)
= 2,997 semanas (por computadora)
(Al fin llega a una tasa promedio de
99999
= 99999 conejos/semana)
Ejercicio (Soltero a la vida)
Juanito es muy joven, y ahora se considera como soltero a la
vida. Sin embargo, l es siempre fiel cuando tiene polola; es
decir que l solo busca una nueva polola cuando no tiene polola.
Cuando no tiene polola, el tiempo esperado antes de que Juanito
encuentre una nueva polola es de 4 meses. El tiempo esperado
que dure una nueva relacin es de 6 meses.
En cualquier momento, cul es la probabilidad que Juanito est
pololeando?

Solucin:

= tasa para encontrar polola = 1/4
= tasa para dejar a la polola = 1/6

p
0
= probabilidad de no tener polola = ?
p
1
= probabilidad de tener polola = ?
(p
1
+ p
0
= 1)
Ejercicio (Soltero a la vida)
La tasa con que Juanito gana una polola es , pero con condicin de que l
no tiene polola. Entonces la tasa promedio de ganar polola es: p
0


De manera similar la tasa promedio de perder polola es: p
1

El balance de flujos nos da
p
1
=p
0


= (1 p
1
)
= p
1

(+)p
1
=
p
1
= / (+) = (1/4) / ((1/4) + 1/6)) = 60%
En algn momento, Juanito tiene probabilidad de 60% de tener polola.
Acabamos de ver un modelo bsico de colas que se identifica con una
notacin M/M/1/1. Vamos a conversar esta notacin en el prximo
captulo.
Proceso de Poisson

Algunas veces, una cadena de Markov con pasos de tiempos
continuos, se llama Proceso de Poisson

El siguiente ejemplo ilustra cul es la conexin entre la
distribucin exponencial y la distribucin de Poisson
35
Ejercicio (Proceso de Poisson)
Los trabajos que deben realizarse en una mquina
especfica llegan segn un proceso de entradas Poisson
con tasa media de 2 por hora. Suponga que la mquina
se descompone y su reparacin tardar 3 hora. Cul es
la probabilidad de que el nmero de trabajos que
llegan durante este tiempo sea:
a) 0
b) 2
c) 5
36
Ejercicio (Proceso de Poisson)
a) Cul es la probabilidad de que el nmero de
trabajos sea cero? (Utilizando la distr. exponencial)
T
1
= tiempo para la primera llegada (variable aleatoria)
= tasa esperada para una prxima llegada = 2 llegas/hora
Nota que E(T
1
) = 1/ horas,
(igual como en el ejemplo anterior)
t = tiempo total para reparar la mquina = 3 horas
Probabilidad de que haya cero llegadas = P(T
1
> t)
= 1 - P(T
1
< t)

}

=
t
T
dT e
0
1
1
1

( )
t
e

= 1 1
t
e

=
6
= e
37
Ejercicio (Proceso de Poisson)
a) Cul es la probabilidad de que el nmero de
trabajos sea cero? (Utilizando la distr. Poisson)
X = Cantidad de llegadas durante los tres horas (variable aleatoria)
u = Cantidad esperada de llagadas durante los tres horas = t
= (2 llegadas por hora) (3 horas)
= 6 llegadas
Segn la pmf de la Poisson,
( )
! x
e
x X P
x u
u

= =
( )
! x
e t
t
x

=
(Muchas veces, los formularios utilizan lambda en vez theta. Cudense por est
ambigedad).

Bueno, el resultado anterior sale inmediatamente
( )
6
0
! 0
0

= = = = e e
e
X P
u
u
u
38
Ejercicio (Proceso de Poisson)
b) Cul es la probabilidad de que el nmero de
trabajos sea dos? (Utilizando la distr. exponencial)
T
1
= tiempo para la primera llegada
T
2
= tiempo entre la primera y la segunda llegada
T
3
= tiempo entre la segunda y la tercera llegada
Probabilidad de que haya dos llegadas = P( T
1
< t
( )( )( )
} } }

=
t
T t
T T t
T T T
dT dT dT e e e
0
1
0
2 3
1
2 1
3 2 1


= tasa esperada para una prxima llegada = 2 llegas/hora
Nota que E(T
1
) = E(T
2
) = E(T
3
) = 1/ horas,
t = tiempo total para reparar la mquina = 3 horas
, T
2
< t-T
1
, T
3
> t-T
2
-T
1
)
(Cudense de los lmites de integracin)
39
Ejercicio (Proceso de Poisson)
b) Cul es la probabilidad de que el nmero de
trabajos sea dos? (Utilizando la distr. exponencial)
Probabilidad de que haya dos llegadas
( )( )( )
} } }

=
t
T t
T T t
T T T
dT dT dT e e e
0
1
0
2 3
1
2 1
3 2 1


} } }

=
t
T t
T T t
T T T
dT dT dT e e e
0
1
0
2 3
3
1
2 1
3 2 1

( )
} }

+
=
t
T t
t T T T T
dT dT e e e
0
1
0
2
2
1
2 1 2 1
0

} }

=
t
T t
t T T
dT dT e e
0
1
0
2
2
1
1 1

40
Ejercicio (Proceso de Poisson)
b) Cul es la probabilidad de que el nmero de
trabajos sea dos? (Utilizando la distr. exponencial)
} }

=
t
T t
t T T
dT dT e e
0
1
0
2
2
1
1 1

} }

=
t
T t
t T T
dT dT e e
0
1
0
2
2
1
1 1

} }

=
t
T t
t
dT dT e
0
1
0
2
2
1

} }

=
t
T t
t
dT dT e
0
1
0
2
2
1

}
=

t
t
dT T t e
0
1 1
2

( )
2
2
1
2 2
t t e
t
=

( )
2
2
t
e t

=
2
6
6 2
=
e
6
18

= e
41
Ejercicio (Proceso de Poisson)
b) Cul es la probabilidad de que el nmero de
trabajos sea dos? (Utilizando la distr. Poisson)
( )
! x
e
x X P
x u
u

= =
( )
6
6 2 2
18
2
6
! 2
2


= = = = e
e e
X P
u
u
42
Ejercicio (Proceso de Poisson)
c) Cul es la probabilidad de que el nmero de trabajos
sea cinco? (Utilizando la distr. Exponencial)
( )
! x
e
x X P
x u
u

= =
( )
6
6 5 5
) 8 , 64 (
120
6
! 5
5


= = = = e
e e
X P
u
u
c) Cul es la probabilidad de que el nmero de
trabajos sea cinco? (Utilizando la distr. Poisson)
Probabilidad de que haya cinco llegadas
= P( (T
1
< t) , (T
2
< t - T
1
), (T
3
< t - T
1
- T
2
), (T
4
< t - T
1
- T
2
- T
3
), (T
5
< t - T
1
- T
2
- T
3
- T
4
), (T
6
> t - T
1
- T
2
- T
3
- T
4
- T
5
) )
1 2 3 1 2 3 4 1 1 2 6
1
1 2 3 4 5
6
6 5 4 3 2 1
0 0 0 0 0
i
i
t T T T t T T T T t T t T T
t
T
t T T T T T
e dT dT dT dT dT dT

=
} } } } } }
Mejor trabajar con la distr. Poisson, cierto?