CLASIFICACIN DE ESTADOS DE UNA CADENA DE MARKOV EN

TIEMPO DISCRETO

DEFINICIN DE CADENA DE MARKOV

Una cadena de Markov es un proceso estocstico con un nmero

finito de estados con probabilidades de transicin estacionarias,
es decir, si se conoce la historia del sistema hasta su instante
actual, su estado presente resume toda la informacin relevante
para describir en probabilidad su estado futuro.

Una cadena de Markov es una secuencia X1, X2, X3,..., de variables

aleatorias. El rango de estas variables, es llamado espacio
estado, el valor de Xn es el estado del proceso en el tiempo n. Si
la distribucin de probabilidad condicional de Xn+1 en estados
pasados es una funcin de Xn por si sola, entonces:

Prob{Xn+1=j|X0=k0, X1=k1, ..., Xn-1=kn-1, Xn=i}= Prob{Xn+1=j|Xt=1}

Donde Xi es el estado del proceso en el instante i. La identidad

mostrada es la Propiedad de Markov.

Algunos resultados tericos que tienen relacin con la existencia

y clculo de una distribucin para la Cadena de Markov en el largo
plazo (conocida tambin como distribucin estacionaria).
Previamente, se enumeran algunas definiciones que clasifican los
estados de una cadena. Para ello consideraremos el ejemplo que
utilizamos para introducir una Cadena de Markov en Tiempo
Discreto, asumiendo la probabilidad de lluvia al inicio (y final
del da) en un 20% (p=0,2). El grafo que resume las probabilidades
de transicin es el siguiente:
Clasificacin de Estados de una Cadena de Markov

Un estado j se dice accesible desde el estado i ssi para algn n:

Lo anterior implica que existe una probabilidad no nula que

comenzando en el estado i se puede llegar al estado j al cabo de n
etapas. En nuestro ejemplo el estado 2 es accesible desde el
estado 0 (dado que desde 0 se puede acceder a 1 y desde 1 se puede
acceder a 2). Es trivial demostrar en este contexto que el estado
2 es accesible desde 1 (como tambin 1 lo es desde 2).

Adicionalmente si tanto el estado i es accesible desde j como

viceversa decimos que los estados i y j se comunican. Notar que 1
es accesible desde 0 (como 0 tambin es accesible desde 1) por
tanto 0 y 1 se comunican. Tambin es posible demostrar que 1 y 2
se comunican. Luego por transitividad el estado 0 y 2 se
comunican. Lo anterior deja en evidencia que en el ejemplo todos
los estados se comunican entre s, por lo cual pertenecen a la
misma clase de estados. Una cadena es irreducible si tiene una
nica clase de estados.
Un estado se dice que tiene periodo d, para el mayor valor del
entero d que cumple:

Slo para valores de n pertenecientes al conjunto {d, 2d, 3d, .}.

Si d=1 decimos que el estado es aperidico. En otras palabras, un
estado es peridico si, partiendo de ese estado, slo es posible
volver a l en un nmero de etapas que sea mltiplo de un cierto
nmero entero mayor que uno. En el ejemplo se puede volver a cada
estado con probabilidad no nula al cabo de una etapa, condicin
suficiente (pero no necesaria) para afirmar que los estados
son aperidicos.

Se denota por Fk(i,i) la probabilidad de que el proceso retorne al

estado i por primera vez al cabo de k etapas. De modo que:

Es la probabilidad que partiendo en i, el proceso regrese al

estado i alguna vez. SiF(i,i)=1 se dice que el estado
es recurrente (en caso contrario, es decir, F(i,i)<1, el estado
es transciente). La demostracin matemtica de que un estado es
recurrente no resulta siempre trivial, no obstante en el ejemplo
estamos frente a una cadena irreducible con un nmero finito de
estados, por tanto dichos estados son recurrentes positivos. El
concepto de recurrente positivo se refiere a que el valor esperado
del nmero de etapas que le toma al proceso volver al estado i por
primera vez, partiendo del estado i es un nmero finito.

ELEMENTOS Y PROPIEDADES DE LAS CADENAS DE MARKOV

Toda cadena de Markov tiene los siguientes elementos:

Un conjunto finito de M estados, exhaustivos y mutuamente
excluyentes (ejemplo: estados de la enfermedad)

Ciclo de markov (paso) : periodo de tiempo que sirve de base

para examinar las transiciones entre estados (ejemplo, un mes)

Probabilidades de transicin entre estados, en un ciclo (matriz P)

Distribucin inicial del sistema entre los M estados posibles.

Toda cadena de Markov cumple con las siguientes propiedades:

Propiedad Markoviana:

Un proceso estocstico tiene la propiedad markoviana si las

probabilidades de transicin en un paso slo dependen del estado
del sistema en el perodo anterior (memoria limitada).

P{Xt+1=j| Xt=i}=Pij

Las probabilidades son estacionarias:

P{Xt+1=j| Xt=i}=P{X1=j|X0=i}=Pij

P{Xt+n=j| Xt=i}=P{Xn=j|X0=i}=Pij^(n)

Existe un conjunto de probabilidades iniciales:

P{X0=i}

Existe una matriz de transicin:

La matriz de transicin es aquella que contiene todas las

probabilidades de transicin.

Las probabilidades de transicin indican la probabilidad de que

partiendo de un estado i se llegue al estado j en n perodos.
P(n)es la matriz de transicin en n pasos, de orden (M+1)x(M+1)

Clculo de Probabilidades de Transicin en n pasos:

Clculo de Vector de Probabilidades no condicionadas