Universidad de La Serena.

Departamento de Ingeniera Civil Industrial.

Investigacin de Operaciones II.
Cadenas de
Markov.
Alumnos: Raquel Alvarado.
Ingeniera Civil Industrial.
kelsac!"otmail.com
Daniel #aquedano Castillo.
Ingeniera Civil de $inas.
danielguss%&!"otmail.com
$ara 'os( )arca Ro*as.
Ingeniera Civil de $inas.
cotegaia!"otmail.com

Profesor: +aulina )on,-le,.
Fecha: ./.00.00.
Introduccin.
Una cadena de $arkov es una serie de eventos1 en la cual la pro2a2ilidad de que ocurra un
evento depende del evento inmediato anterior. 3n e4ecto1 las cadenas de este tipo tienen
memoria. 5Recuerdan5 el 6ltimo evento 7 esto condiciona las posi2ilidades de los eventos
4uturos. 3sta dependencia del evento anterior distingue a las cadenas de $arkov de las
series de eventos independientes1 como tirar una moneda al aire o un dado.
3n los negocios1 las cadenas de $arkov se "an utili,ado para anali,ar los patrones de
compra de los deudores morosos1 para planear las necesidades de personal 7 para anali,ar
el reempla,o de equipo.
3l an-lisis de $arkov1 llamado as en "onor de un matem-tico ruso que desarrollo el
m(todo en 08/&1 permite encontrar la pro2a2ilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Algo m-s importante a6n1 es que permite
encontrar el promedio a la larga o las pro2a2ilidades de estado esta2le para cada estado.
Con esta in4ormacin se puede predecir el comportamiento del sistema a trav(s del tiempo.
La tarea m-s di4cil es reconocer cu-ndo puede aplicarse. La caracterstica m-s importante
que "a7 que 2uscar en la memoria de un evento a otro.
9ormulacin de las cadenas de $arkov.
Una cadena de $arkov es una serie de eventos1 en la cual la pro2a2ilidad de que ocurra un
evento depende del evento inmediato anterior. 3n e4ecto1 las cadenas de este tipo tienen
memoria. 5Recuerdan5 el 6ltimo evento 7 esto condiciona las posi2ilidades de los eventos
4uturos. 3sta dependencia del evento anterior distingue a las cadenas de $arkov de las
series de eventos independientes1 como tirar una moneda al aire o un dado.

3n la 4igura :.0.0 se muestra el proceso para 4ormular una cadena de $arkov. 3l generador
de $arkov produce uno de n eventos posi2les1 3* 1 donde * ; 01 <1 . . . 1 n1 a intervalos
discretos de tiempo =que no tiene que ser iguales >. Las pro2a2ilidades de ocurrencia para
cada uno de estos eventos depende del estado del generador. 3ste estado se descri2e por el
6ltimo evento generado. 3n la 4igura :.0.01 el 6ltimo evento generado 4ue 3* 1 de manera
que el generador se encuentra en el estado $* .
La pro2a2ilidad de que 3k sea el siguiente evento generado es una pro2a2ilidad
condicional? + =3k @ $* >. 3sto se llama pro2a2ilidad de transicin del estado $* al estado
3k. +ara descri2ir completamente una cadena de $arkov es necesario sa2er el estado actual
7 todas las pro2a2ilidades de transicin.

+ro2a2ilidades de transicin.

Una 4orma de descri2ir una cadena de $arkov es con un diagrama de estados1 como el que
se muestra en la 4igura :.0.<. 3n (sta se ilustra un sistema de $arkov con cuatro estados
posi2les? $01 $<1 $. 7 $: . La pro2a2ilidad condicional o de transicin de moverse de un
estado a otro se indica en el diagrama
Otro m(todo para eA"i2ir las pro2a2ilidades de transicin es usar una matriz de transicin. .
La matri, de transicin para el e*emplo del diagrama de estados se muestra en la ta2la
:.0.0.
Otro m(todo para eA"i2ir las pro2a2ilidades de transicin es usar una matri, de transicin. .
+ara n ; /1 01 <1 ....

3l superndice n no se escri2e cuando n ; 0.
+rocesos estoc-sticos.
Un proceso estoc-stico se de4ine sencillamente como una coleccin indeAada de varia2les
aleatorias BC0 D1 donde el su2ndice t toma valores de un con*unto E dado. Con 4recuencia E
se toma como el con*unto de enteros no negativos 7 C1 representa una caracterstica de
inter(s medi2le en el tiempo t. +or e*emplo1 el proceso estoc-stico1 C0 1 C< 1 C.1 ..1 +uede
representar la coleccin de niveles de inventario semanales =o mensuales> de un producto
dado1 o puede representar la coleccin de demandas semanales =o mensuales> de este
producto.
Un estudio del comportamiento de un sistema de operacin durante alg6n periodo suele
llevar al an-lisis de un proceso estoc-stico con la siguiente estructura. 3n puntos
espec4icos del tiempo t 1 el sistema se encuentra eAactamente en una de un n6mero 4inito
de estados mutuamente eAclu7entes 7 eA"austivos1 etiquetados /1 01 . . 1 S. Los periodos en
el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del
comportamiento general del sistema en el que se encuentra sumergido el proceso
estoc-stico. Aunque los estados pueden constituir una caracteri,acin tanto cualitativa
como cuantitativa del sistema1 no "a7 p(rdida de generalidad con las etiquetas num(ricas /1
01 . . 1 $ 1 que se usar-n en adelante para denotar los estados posi2les del sistema. As la
representacin matem-tica del sistema 4sico es la de un proceso estoc-stico BCiD1 en donde
las varia2les aleatorias se o2servan en t ; /1 01 <1. . .1 7 en donde cada varia2le aleatoria
puede tomar el valor de cualquiera de los $ F 0 enteros /1 01 .. 1 $ . 3stos enteros son una
caracteri,acin de los $ F 0 estados del proceso.
+ropiedad $arkoviana de 0G orden.
Se dice que un proceso estoc-stico tiene la propiedad markoviana si
+ B CtF0 ; * H C/ ; I/ 1 C0 ; I0 1 . .1 CtJ0 ; ItJ0 1 ; ItJ01 Ct;0D; + BC tF0 H C0 ; i D1 para toda t ;
/1 01 . . 7 toda sucesin i1 * 1 I/ 1 I0 1 . . 1 IiJ0 .
Se puede demostrar que esta propiedad markoviana es equivalente a esta2lecer una
pro2a2ilidad condicional de cualquier 5evento5 4uturo dados cualquier 5evento 5 pasado 7
el estado actual Ci ; i 1 es independiente del evento pasado 7 slo depende del estado actual
del proceso. Las pro2a2ilidades condicionales +BCtF0 ; * H Ct ; iD se llaman pro2a2ilidades
de transicin. Si para cada i 7 *1
+B CtF0 ; * H H Ct ; i D ; pBC0 ; * H C/ ; i D1 para toda t ; /1 01 ....
3ntonces se dice que las pro2a2ilidades de transicin =de un paso> son estacionarias 7 por
lo general se denotan por pij . As1 tener pro2a2ilidades de transicin estacionarias implican
que las pro2a2ilidades de transicin no cam2ian con el tiempo. La eAistencia de
pro2a2ilidades de transicin =de un paso> estacionarias tam2i(n implica que1 para cada i1 * 7
n =n ; /1 01 <1...>1
+B CtFn ; * H H Ct ; i D ; pBCn ; * H C/ ; i D1
+ara toda t ; /1 01 . . . 3stas pro2a2ilidades condicionales casi siempre se denotan por
7 se llaman pro2a2ilidades de transicin de n pasos. As1 es simplemente la
pro2a2ilidad condicional de que la varia2le aleatoria C1 comen,ando en el estado i1 se
encuentre en el estado * despu(s de n pasos = unidades de tiempo >.
Como las son pro2a2ilidades condicionales1 de2en satis4acer las propiedades?
+ro2a2ilidad de transicin estacionaria de n pasos.

Las ecuaciones de C"apmanJIolmogorov proporcionan un m(todo para calcular estas
pro2a2ilidades de transicin de n pasos?

3stas ecuaciones simplemente seKalan que al ir de un estado i al estado * en n pasos1 el
proceso estar- en alg6n estado k despu(s de eAactamente m =menor que n> pasos. As1 es
solo las pro2a2ilidad condicional de que1 si se comien,a en el estado i1 el proceso va7a al
estado k despu(s de m pasos 7 despu(s al estado * en nJ m pasos.
Los casos especiales de m;0 7 m;nJ0 conducen a las eApresiones
+ara toda i1 *1 7 n de lo cual resulta que las pro2a2ilidades de transicin de n pasos se
pueden o2tener a partir de las pro2a2ilidades de transicin de un paso de manera recursiva.
+ara n;<1 estas eApresiones se vuelven?
Lote que las son los elementos de la matri, +
=<>
1 pero tam2i(n de2e de o2servarse que
estos elementos1 se o2tienen multiplicando la matri, de transicin de un paso por
s mismaM esto es 1 +
=<>
; + N + ; +
<
.

3n t(rminos m-s generales1 se conclu7e que la matri, de pro2a2ilidades de transicin de n
pasos se puede o2tener de la eApresin? +
=n>
; + N + .... + ; +
n
; ++
nJ0
; +
nJ0
+.
3ntonces1 la matri, de pro2a2ilidades de transicin de n pasos se puede o2tener calculando
la nJ(sima potencia de la matri, de transicin de un paso. +ara valores no mu7 grandes de
n1 la matri, de transicin de n pasos se puede calcular en la 4orma que se aca2a de descri2ir1
pero cuando n es grande1 tales c-lculos resultan tediosos 71 m-s a6n1 los errores de
redondeo pueden causar ineAactitudes.
+ro2a2ilidades de transicin estacionaria de estados esta2les.
Teorema
Sea + la matri, de transicin de una cadena de $ estados. 3Aiste entonces un
vector tal que
Se esta2lece que para cualquier estado inicial i 1
.
3l vector a menudo se llama distribucin de estado estable1 o
tam2i(n distribucin de equilibrio para la cadena de $arkov. +ara encontrar la
distri2ucin de pro2a2ilidades de estacionario para una cadena dada cu7a matri, de
transicin es +1 seg6n el teorema1 para n grande 7 para toda i1
=0>
Como +i* =n F 0> ; = rengln i de +
n
>=columna * de +>1 podemos escri2ir
=<>

.
Ejemlo
3n una empresa minera se desea sa2er el ciclo de ida 7 vuelta de los camiones de alto
tonela*e1 para esto se ve los recorridos de un camin1 el cual para ser e4iciente de2e estar en
continuo movimiento "acia el ra*o desde los estacionamiento pero como esto no siempre es
as solo un &/O de las veces lo "ace1 en otras circunstancias de2e permanecer el resto del
tiempo estacionadoM al siguiente turno cuando eAisten malas condiciones clim-ticas de2e ir
del ra*o a estacionarse con un /1: del tiempo estacionado 7 cuando logra salir alcan,a a
estar un 0/O de tiempo en el ra*o 7 su4re un desper4ecto por lo que de2e ir a los talleres de
mantencin 7 permanecer a" lo que queda del tiempoM cuando 7a es reparado de2e
permanecer un 0/O en el taller para la 6ltima revisin 7 luego parte el resto del tiempo al
ra*o para seguir aportando a la produccin de la mina.
a> Determine los estados del sistema utili,ando cadenas de $arkov
2> 9ormule la matri, de transicin
c> Di2u*e el diagrama de transicin
d> PCu-l ser- la situacin de tiempo de permanecer en el taller a partir del : daQ
e> Determine cu-l es el porcenta*e a largo pla,o
!olucin:
a> 3stado 0 ? Ra*o
3stado < ? 3stacionamiento
3stado . ? Ealler
2> + ; H/10 /1: /1RH
H/1& /1. / H
H/18 / /10H
c> /10 /1:
30 3< /1:
/1&
/1R
3.
/10
d> +S: ; H/10 /1: /1RH S:
H/1& /1. / H
H/18 / /10H
+S: ; H/1T0/: /1<0.T /10&T/H
H/1.&.% /1./&& /1.0%RH
H/1.0T% /1.<&T /1.RRTH R? estar- un .R1RTO del tiempo en el taller
e> HU0H H/10 /1: /1RH J/18U0 F /1&U< F /18U. ; /
HU<H; H U0 U< U.HN H/1& /1. / H /1:U0 F J/1RU< F / U. ; /
HU.H H/18 / /10H /1RU0 F / U< FJ/18U. ; /
U 0 F U < F U . ; 0

U0 ; /1:& ; :&O
U< ; /1<T ; <TO
U. ; /1<T ; <TO
Conclusiones.
Raquel Alvarado.
Daniel Baquedano.
Vemos visto como una cadena de $arkov tiene una importancia signi4icante en todo lo que
son los procesos estoc-sticos o sea en la sucesin de varia2les aleatorias que van
evolucionado1 pero al re4erirnos a $arkov "a2lamos es una serie de eventos1 en la cual la
pro2a2ilidad de que ocurra un evento depende del evento inmediato anterior. 3n e4ecto1 las
cadenas de este tipo tienen memoria1 o sea recuerdan el 6ltimo evento 7 esto condiciona las
posi2ilidades de los eventos 4uturos1 por lo que presenta una 4orma de dependencia simple1
pero mu7 6til en muc"os modelos1 entre las varia2les aleatorias que 4orman un proceso
estoc-stico. +or todo esto que cuando tenemos una cadena de eventos podemos dar una
4orma ordenada 7 comprensi2le de los sucesos que est-n en cierta industria1 por eso en el
e*emplo que dimos nos a7uda a distinguir los tiempo en que la maquinaria est- en un sector
u otro1 por que podremos determinar cmo esto nos est- a4ectando econmicamente 7 que
de2emos me*orar para que el proceso se optimice seg6n nuestro requerimiento1 pero
tam2i(n nos va a7udar a predecir el 4uturo de cierta manera1 d-ndonos una visin
estadstica de la ocurrencia de cierto evento a 4uturo1 por lo que podremos plani4icar de
me*or 4orma con datos cercanos a la realidad 7 as tener eApectativas de lo que lograremos
o pueda suceder1 siempre 7 cuando los datos que tengamos sean su4icientes1 7a que al tener
que cumplir con cierto requisitos como los estados 7 los datos de estos para 4ormar las
matrices1 igual pueden suceder en ciertas ocasiones que no contemos con todo lo necesario
7 no podamos determinar lo que queremos1 por esto este m(todo es mu7 6til siempre que se
tenga la in4ormacin completa de lo queremos anali,ar.
Mara Jos Garca.
Las Cadenas de $arkov se pueden considerar como una de las grandes aportaciones de las
matem-ticas. Lo necesariamente tienes que ser un eAperto en la materia para poder
entender so2re en que consisten 7 el uso que se le puede dar en las di4erentes situaciones de
la vida diaria. Con esto podemos decir las cadenas de $arkov tienen un gran valor en la
economa1 7a que mientras nos predice lo que podra ocurrir en un segundo periodo de
tiempo1 los mercados lo utili,an a su 4avor para me*orar sus propios intereses. Como el
e*emplo de Carguo 7 transporte que presentamos1 que se puede ver cuanto tiempo podr-
estar siendo ine4iciente a"ora 7 en un 4uturo1 por lo que permite tomar medidas 7 lograr una
optimi,acin de estos camiones 7 via*es.