Investigacin de las Operaciones II

Ing. Industrial

Unidad 4:

Cadenas de Markov

20 de Julio del 2016

Luis Fernando Crdenas Puga

M.C.JessFrancisco Tejeda Castrejn
14
ndice
Introduccin.........3

4.1 Introduccin a las cadenas de Markov...4

4.2 Probabilidad de transiciones estacionarias de n pasos....6

4.3 Estado estable...9

4.4 Estados absorbentes..10

Conclusin......14

Bibliografas....14
14
Introduccin
Andri Andryevich Mrkov ( ) (14 de
junio de1856 - 20 de julio de 1922) fue un matemtico ruso conocido por sus
trabajos en la teora de los nmeros y la teora de probabilidades.

Mrkov naci en Riazn, Rusia. Antes de los 10 aos su padre, un funcionario

estatal, fue trasladado a San Petersburgo donde Andri entr a estudiar en un
instituto de la ciudad. Desde el principio mostr cierto talento para las matemticas
y cuando se gradu en 1874 ya conoca a varios matemticos de la Universidad
de San Petersburgo, donde ingres tras su graduacin. En la Universidad fue
discpulo de Chebyshov y tras realizar sus tesis de maestra y doctorado,
en 1886 accedi como adjunto a la Academia de Ciencias de San Petersburgo a
propuesta del propio Chebyshov. Diez aos despus Mrkov haba ganado el
puesto de acadmico regular. Desde1880, tras defender su tesis de maestra,
Mrkov imparti clases en la Universidad y, cuando el propio Chebyshov dej la
Universidad tres aos despus, fue Mrkov quien le sustituy en los cursos
de teora de la probabilidad. En 1905, tras 25 aos de actividad acadmica,
Mrkov se retir definitivamente de la Universidad, aunque sigui impartiendo
algunos cursos sobre teora de la probabilidad.

A parte de su perfil acadmico, Andri Mrkov fue un convencido activista poltico.

Se opuso a los privilegios de la nobleza zarista y lleg a rechazar las
condecoraciones del propio zar en protesta por algunas decisiones polticas
relacionadas con la Academia de Ciencias. Hasta tal punto lleg su implicacin en
la poltica que lleg a ser conocido con el sobrenombre de "el acadmico
militante".
14
En las cadenas de Markov considera ciertos puntos discretos en el tiempo para
toma valores de la variable aleatoria que caracteriza al sistema. Entonces las
cadenas de Markov se usan para estudiar ciertos comportamientos de largo y
cortos plazos de sistemas.
Los estados en el tiempo representan situacin exhaustiva y mutuamente
excluyentes del sistema en un tiempo especfico. Adems el nmero de estado
puede ser finito o infinito.
Por lo general una cadena de Markov describe el comportamiento de transicin de
un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen
situaciones donde los espaciamientos temporales dependen de las caractersticas
del sistema y por ello, pueden no ser iguales entre s.
Las cadenas de Markov se pueden aplicar en reas como la educacin,
comercializacin, servicios de salud, finanzas, contabilidad y produccin.

4.1 Introduccin a las cadenas de Markov

La cadena de Markov recibe su nombre del matemtico ruso Andrei Markov que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema
se encuentre en un estado en particular en un momento dado. Algo ms
importante an, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta informacin se
puede predecir el comportamiento del sistema a travs del tiempo.
A veces nos interesa saber cmo cambia una variable aleatoria a travs del
tiempo. Por ejemplo, desearamos conocer cmo evoluciona el precio de las
acciones de una empresa en el mercado a travs del tiempo.
La cadena de markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informacin relevante para
describir en probabilidad su estado futuro.
14
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. " Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.

En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov.

El generador de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . .
, n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las
probabilidades de ocurrencia para cada uno de estos eventos depende del estado
del generador. Este estado se describe por el ltimo evento generado. En la figura
4.1.1, el ltimo evento generado fue Ej , de manera que el generador se encuentra
en el estado Mj .

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad

condicional : P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado Mj al
estado Ek. Para describir completamente una cadena de Markov es necesario
saber el estado actual y todas las probabilidades de transicin.

Probabilidades de transicin.

Una forma de describir una cadena de Markov es con un diagrama de estados,

como el que se muestra en la figura 4.1.2. En sta se ilustra un sistema de Markov
14
con cuatro estados posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de
transicin de moverse de un estado a otro se indica en el diagrama

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. . La matriz de transicin para el ejemplo del diagrama de estados se
muestra en la tabla 4.1.1 .

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de
transicin. .

Para n = 0, 1, 2, ....
14
El superndice n no se escribe cuando n = 1.

4.2 Probabilidad de transiciones estacionarias de n pasos

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n

pasos :

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n

pasos, el proceso estar en algn estado k despus de exactamente m ( menor
que n) pasos. As,

Es solo las probabilidad condicional de que, si se comienza en el estado i, el

proceso vaya al estado k despues de m pasos y despus al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n

pasos se pueden obtener a partir de las probabilidades de transicin de un paso
de manera recursiva. Para n=2, estas expresiones se

vuelven :

Note que las son los elementos de la matriz P (2) , pero tambin debe de

observarse que estos elementos, se obtienen multiplicando la matriz de

transicin de un paso por s misma; esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de
transicin de n pasos se puede obtener de la expresin : P(n) = P * P .... P = P n =
PPn-1 = Pn-1 P.
14
 Entonces, la matriz de probabilidades de transicin de n pasos se puede
obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para
valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular
en la forma que se acaba de describir, pero cuando n es grande, tales clculos
resultan tediosos y, ms an, los errores de redondeo pueden causar
inexactitudes.

Ejemplo :

Una tienda de cmaras tiene en almacn un modelo especial de cmara que se

puede ordenar cada semana. Sean D 1, D2, ... las demandas de esta cmara
durante la primera, segunda, ... , semana, respectivamente. Se supone que las
Di son variables aleatorias independientes e idnticamente distribuidas que tienen
una distribucin de probabilidad conocida. Sea X 0 el nmero de cmaras que se
tiene en el momento de iniciar el proceso, X 1 el nmero de cmaras que se tienen
al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc.
Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que
le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente
poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la
semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3.
De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el
almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la
demanda excede el inventario. Entonces, {X 1} para t = 0, 1, .. es un proceso
estocstico de la forma que se acaba de describir. Los estados posibles del
proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras
en inventario al final de la semana.

As, dado que tiene una cmara al final de una semana, la probabilidad de que no

haya cmaras en inventario dos semanas despus es 0.283; es decir,

De igual manera, dado que se tienen dos cmaras al final de una semana, la
14
probabilidad de que haya tres cmaras en el almacn dos semanas despus es

0.097; esto es,

La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente

manera :

P(4) = P4 = P(2) * P(2)

As, dado que queda una cmara al final de una semana, 0.282 es la
probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es

decir, De igual manera, dado que quedan dos cmaras en el almacn

final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras

en el almacn 4 semanas despus; esto es,

4.3 Estado estable

Teorema
Sea P la matriz de transicin de una cadena de M estados . Existe entonces un
vector tal que

Se establece que para cualquier estado inicial i , .

El vector a menudo se llama distribucin de estado estable, o

tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la
distribucin de probabilidades de estacionario para una cadena dada cuya matriz
de transicin es P, segn el teorema, para n grande y para toda

i, (1)

Como Pij (n + 1) = ( rengln i de Pn )(columna j de P), podemos escribir

14
 (2)

Ejemplo :

Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente
compra se de cola 1. Si una persona compr cola 2, hay un 80 % de
probabilidades que su prxima compra sea de cola 2.

Entonces :

Al reemplazar la segunda ecuacin por la condicin ,

obtenemos el sistema

Al despejar resulta que Por lo tanto, despus de largo tiempo,

hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad
de que una persona compre cola 2.

4.4 Estados absorbentes

Se dice que un estado es absorbente si es cero la probabilidad de hacer una
transicin fuera de ese estado. Por tanto, una vez que el sistema hace una
transicin hacia un estado absorbente, permanece en el siempre

MATRIZ FUNDAMENTAL
14
La matriz fundamental es muy til para el anlisis y solucin de situaciones en las
cuales aparecen estados absorbentes.

La metodologa para obtener la matriz fundamental es la siguiente:

1. Obtener la matriz de transicin en la forma usual, incluyendo los estados

absorbentes.

2. Identificar de la matriz de transicin los renglones correspondientes a la

matriz absorbente

3. De lo que ha quedado de la matriz de transicin en el paso anterior, dividirlo

en dos partes: N que ser la parte no absorbente y A que contendr los estados
absorbentes

4. Obtenemos la matriz U mediante la siguiente frmula:

U=I-N

Donde I es la matriz identidad.

5. Finalmente, se obtiene la matriz identidad de la siguiente manera:

X=U-1

Donde X representa la inversa de U, la cual se obtiene por algunos mtodos como

el Gauss- Jordan.

Veamos el siguiente ejemplo en el cual explicaremos algunos conceptos

importantes:
14
Una empresa emplea a tres tipos de ingenieros: principiantes, con experiencia y
socios. Durante un ao determinado hay una probabilidad de 0.15 que un
ingeniero principiante sea ascendido a ingeniero con experiencia y una
probabilidad de 0.05 que deje la empresa sin ser socio. Tambin hay una
probabilidad de 0.20 que un ingeniero con experiencia sea ascendido a socio y
una probabilidad de 0.10 que deje la empresa sin ser socio. Tambin hay una
probabilidad de 0.05 de que un socio deje la empresa. Determine:

a) Cul es la duracin promedio de un ingeniero recin contratado?

b) cul es la probabilidad de que un ingeniero principiante llegue a ser socio?

c) Cul es la duracin promedio que pasa un socio en la empresa?

Primero, determinamos la matriz de transicin en la cual se observa que hay dos

estados absorbentes: el ingeniero deje la empresa sin ser socio y que un socio
deje la empresa

Donde IP= INGENIERO PRINCIPIANTE

IE= INGENIERO CON EXPERIENCIA

IS = INGENIERO SOCIO

IDS= INGENIERO DEJA LA EMPRESA SIENDO SOCIO

IDSS= INGENIERO DEJA LA EMPRESA SIN SER SOCIO

Luego hallamos la matriz I-N, donde I es la matriz de identidad y N la matriz no

absorbente identificada en el paso anterior.
14
Luego a travs de Gauss-Jordan, hallamos la matriz inversa como se muestra a
continuacin.

14
Para responder la primera pregunta debemos tener presente un nuevo concepto
que es el valor esperado que es el tiempo en que un estado demora antes de ser
absorbido. Este valor esperado se obtiene a travs de la matriz inversa. De esta
forma, la duracin promedio de un recin contratado seria:

Para hallar la probabilidad de que un ingeniero principiante llegue a ser socio se

debe multiplicar la matriz inversa por la matriz absorbente, de la siguiente manera:

Obsrvese que esta probabilidad es igual a 0.5.

De igual manera como en la primera parte, la duracin promedio de un socio en la

empresa es:

Conclusin
Como conclusin las cadenas de Markov nos permite hacer anlisis sobre el
estudio de los comportamientos de ciertos sistemas en ciertos periodos que
pueden ser cortos o largos. Adems se tiene una relacin con las probabilidades
absolutas. Pero sin embargo lo ms importante es el estudio del comportamiento
sistemas a largo plazo, cuando el nmero de transiciones tiene al infinito
Al conocer ms o menos las probabilidades de un experimento, esto a su vez nos
permitir conocer a corto y plazo los estados en que se encontraran en periodos o
tiempos futuros y tomar decisiones que afectarn o favorecern nuestros
14
intereses, y tomar una decisin de manera consciente y no se comentan muchos
errores.
Esto tambin nos proporcionara un tiempo estimado para que identifiquemos cada
estado y el periodo en que se encuentra con la implementacin de un proceso,
tambin se establece las probabilidades como una herramienta ms en las
cadenas de Markov.

Bibliografa

https://www.inf.utfsm.cl/~mcriff/IO2/Materia-IO2.pdf

http://investigaciondeoperacionesnaty7.blogspot.mx/p/teoria-de-
decisiones.html

http://ingunilibre.blogspot.mx/p/3-teoria-de-decisiones.html
14