INVESTIGACION DE OPERACIONES 2

Introduccin a las Cadenas de Markov

CADENAS DE MARKOV

Logro de sesin:
Al finalizar la sesin, el estudiante entiende lo
que representa una matriz de transiciones,
relaciona las probabilidades de pasar de un
estado a otro y reconoce una a Cadena de
Markov como aquella que considera relevante
al evento inmediato anterior y que
posteriormente le llevar a alcanzar la
ocurrencia ms probable de una situacin en
cuestin.

INTRODUCCION

REPRESENTACION GRAFICA

CLASIFICACION

CADENAS DE MARKOV
INTRODUCCION

Variables aleatorias

Algunas veces se est interesado en analizar cmo

cambia una variable aleatoria con el tiempo. Por
ejemplo, es posible que se desee saber como
evoluciona el precio de las acciones o la participacin
en el mercado de una empresa.
Este estudio de como una variable aleatoria cambia
con el tiempo incluye procesos estocsticos.
Un tipo de proceso estocstico en particular es
conocido como Cadena de Markov que se han aplicado
en reas como:

Educacin
Comercio
Finanzas
Servicios de salud
Contabilidad
Produccin
Andrey Markov

CADENAS DE MARKOV
Las cadenas de Markov fueron introducidas por el matemtico
ruso Andrey Markov (1856-1922) alrededor de 1905. Su intencin
era crear un modelo probabilstico para analizar la frecuencia con
la que aparecen las vocales en poemas y textos literarios. El xito
del modelo propuesto por Markov radica en que es lo
suficientemente
complejo
como
para
describir
ciertas
caractersticas no triviales de algunos sistemas, pero al mismo
tiempo es lo suficientemente sencillo para ser analizado
matemticamente.

Andrey Markov

CADENAS DE MARKOV

PROCESO ESTOCSTICO

Es un proceso que evoluciona en el tiempo de una manera probabilstica.

Un proceso estocstico es una descripcin de la relacin de las variables
aleatorias parametrizadas por el tiempo
Xt = X0, X1, X2,
Donde Xt representa una caracterstica de inters medible en el
tiempo t. Por ejemplo puede representar los niveles de inventario al
final de la semana t.

EJEMPLO

CADENAS DE MARKOV
CADENAS DE MARCOV
En la teora de la probabilidad, se conoce como cadena de Markov a un tipo especial
de proceso estocstico en el que la probabilidad de que ocurra un evento depende del
evento inmediatamente anterior.
En efecto, las cadenas de este tipo tienen memoria, recuerdan el ltimo evento y no
depende de todo el camino recorrido para llegar al tiempo t, esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado. Estos modelos muestran una estructura de dependencia
simple, pero muy til en muchas aplicaciones.
Propiedad de Markov: Conocido el estado del proceso en un momento dado, su
comportamiento futuro no depende del pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del pasado

Notacin

CADENAS DE MARKOV
INTRODUCCION
Un proceso estocstico para t = 0, 1, 2, 3 y los estados a,b,c
P( Xt+1=j | Xt=i , Xt-1=h , , X1=b , X0=a )
Es una cadena de Markov, si se depende solamente de:

P( X t+1=j | Xt=i )

La distribucin de probabilidad del estado en el tiempo t +1 depende del

estado en el tiempo t y no depende de los estados por los que pasa la cadena
en el camino.
Luego:

P( Xt+1= j | Xt= i )= pij

Donde pij es la probabilidad de que dado que el sistema est en el estado i en

el tiempo t, estar en un estado j en el tiempo t+1. Si el sistema se mueve del
estado i durante un perodo al estado j durante el siguiente perodo, se dice
que ocurri una transicin de i a j. Las p ij se denominan probabilidades de
En la mayora de las aplicaciones, las
transicin para
la cadena de
probabilidades
de Markov.
transicin se muestran como
una matriz de probabilidad de transicin
P de orden s x s. La matriz de probabilidad
de transicin P se puede escribir como:

MATRIZ DE TRANSICION

MATRIZ DE TRANSICION

CADENAS DE MARKOV
REPRESENTACION GRAFICA

Es un grafo dirigido cuyos nodos son los

estados y cuyos arcos se etiquetan con la
probabilidad de las transiciones existentes.

Es un arreglo donde se condensan las

probabilidades de pasar de un estado a otro.

Diagrama de transicin
Ejemplo

p
pijij
ii

jj

REPRESENTACIN GRFICA

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Ejemplo: La lnea telefnica
Sea una lnea telefnica de estados: desocupada (D) y
ocupada (O).
Ejemplo

Si en el instante t est ocupada, en el instante t+1

estar ocupada con probabilidad 0.7 y desocupada
con probabilidad 0.3. Si en el instante t est
desocupada, en el instante t+1 estar ocupada con
probabilidad 0.1 y desocupada con probabilidad 0.9.

CADENAS DE MARKOV

LAUREATE
INTERNATIONAL
UNIVERSITIES

REPRESENTACION GRAFICA
Ejemplo: La lnea telefnica
Diagrama de transicin

Sea una lnea telefnica de estados: desocupada (D) y

ocupada (O).

Ejemplo

Si en el instante t est ocupada, en el instante t+1

estar ocupada con probabilidad 0.7 y desocupada
con probabilidad 0.3. Si en el instante t est
desocupada, en el instante t+1 estar ocupada con
probabilidad 0.1 y desocupada con probabilidad 0.9.

0.1

0.9

O
0.3

0.7

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Matriz de transiciones:

Representacin grfica:

0.6
0.4

0.5

s1

0.7

0.3

0.5

0.4

4
0.5
s2

0.8

0.1

5
0.2

Dados dos estados i y j, una trayectoria de i a j es una sucesin de transiciones que

comienza en i y termina en j, tal que cada transicin en la secuencia tiene una
probabilidad positiva de ocurrir.

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Matriz de transiciones:

Representacin grfica:

0.6
0.4

0.5

s1

0.7

0.3

0.5

0.4

4
0.5
s2

0.8

0.1

5
0.2

Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i

a j. (El estado 5 es alcanzable desde el estado 3 a travs de la trayectoria 3-4-5, pero
el estado 5 no es alcanzable desde el estado 1 no hay trayectoria que vaya de 1 a 5)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Matriz de transiciones:

Representacin grfica:

0.6
0.4

0.5

s1

0.7

0.3

0.5

0.4

4
0.5
s2

0.8

0.1

5
0.2

Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es

alcanzable desde j. (Los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2
a 1)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Matriz de transiciones:

Representacin grfica:

0.6
0.4

0.5

s1

0.7

0.3

0.5

0.4

4
0.5
s2

0.8

0.1

5
0.2

Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si una

vez dentro de uno de los estados de ste permanece en el conjunto por tiempo
indefinido. (Tanto S1 = {1, 2} como S2 = {3, 4, 5} son conjuntos cerrados. Observe que
una vez que entramos a un conjunto cerrado no podemos dejarlo nunca)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Cadena irreductible:

Se dice que una cadena de Markov es irreductible si todo estado puede alcanzarse desde
cualquier otro estado despus de una cantidad finita de transiciones. En este caso se comunican
todos los estados de la cadena. Todos los estados de una cadena irreductible deben formar un
conjunto cerrado.

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Estado absorbente:

1
3

Un estado i es estado absorbente si pii = 1. Siempre que se entre a un estado de absorbente,

nunca se saldr de l. Por supuesto, un estado absorbente es un conjunto cerrado que slo
contiene un estado. (El estado 3 es un estado absorbente)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Estado transitorio:

1
3

Un estado i es un estado transitorio si hay un estado j alcanzable desde i, pero el estado i no

es alcanzable desde el estado j. En otras palabras, un estado i es transitorio si hay manera de
dejar el estado i de tal modo que nunca se regrese a l. (El estado 2 es un estado transitorio)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Estado recurrente:

Si un estado no es transitorio, se llama estado recurrente. Todos los estados de una cadena
irreductible deben ser recurrentes. (Los estados 1 y 2 son estados recurrentes; el estado 3 es
transitorio)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Estado peridico:

Un estado i es peridico con perodo k>1 si k es el nmero ms pequeo tal que las trayectorias
que conducen del estado i de regreso al estado i tienen una longitud que es mltiplo de k. Si un
estado recurrente no es peridico se le conoce como aperidico. Si una cadena tiene algn
estado absorbente tambin es aperidica. (Ambas son cadenas de Markov con perodo 3. Sin
importar donde estemos se tiene la seguridad de volver tres, o mltiplo, perodos despus)

CADENAS DE MARKOV
REPRESENTACION GRAFICA
Estado ergdica:

Una cadena de Markov es ergdica si es que es irreductible, recurrente y aperidica.

CADENAS DE MARKOV
REPRESENTACION GRAFICA
EJERCICIOS:

1
Cadena:
Irreductible

Recurrente

Peridica (perodo 3), no

es ergdica

CADENAS DE MARKOV
REPRESENTACION GRAFICA
EJERCICIOS:

Cadena:
Irreductible
Recurrente
Aperidica
Ergdica

CADENAS DE MARKOV
REPRESENTACION GRAFICA
EJERCICIOS:

Cadena:
No irreductible
Estados:
1 Absorbente
2 y 3 Recurrentes
4 Transitorio

CADENAS DE MARKOV
REPRESENTACION GRAFICA
EJERCICIOS:

Cadena:
No irreductible
Estados:
2 Absorbente; si el proceso ingresa en l (tercer rengln de la
matriz) nunca sale.
3 Transitorio; una vez que el proceso ingresa en l existe la
posibilidad de que no regrese si va al estado 2
4 Transitorio; cuando el proceso deja el estado nunca vuelve.
0 y 1 Recurrentes

CADENAS DE MARKOV
PROPIEDADES DE LA CADENA DE MARKOV
Irreductibilidad
Una cadena de Markov se dice que es irreducible si todos los estados
estn comunicados entre s.
Absorbencia
Una cadena de Markov es absorbente si tiene algn estado absorbente.
Si una cadena de Markov es irreducible y absorbente entonces la
probabilidad de caer en alguno de los estados absorbentes tiende a uno
cuando el nmero de etapas tiende a infinito.
Regularidad
Una cadena de Markov se dice que es regular si alguna potencia de la
matriz de transicin tiene todos sus elementos positivos (no hay ceros).
Si una cadena es regular entonces es irreducible y no absorbente.
Cada cadena de Markov debe tener al menos una cadena recurrente.