Estado de Arte sobre las Cadenas Ergdicas de Markov _____________________

Por: Ing. David Alberto Rojas Rodrguez

Instituto Tecnolgico de Costa Rica
Maestra en Sistemas Modernos de Manufactura


Resumen: Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria.
Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar
una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo. El anlisis de Markov, llamado as en honor de un matemtico ruso que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el
promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se
puede predecir el comportamiento del sistema a travs del tiempo.

Abstract: A Markov chain is a series of events, in which the probability of an event depends on the
preceding event. Indeed, this type chains have memory. "Remember" the last event and this affects the
possibilities for future events. This dependence of the previous event distinguishes Markov chains series
of independent events, such as a coin toss or a dice. In business, Markov chains have been used to
analyze the buying patterns of defaulting debtors to plan staffing needs and to discuss the replacement of
equipment. Markov analysis, named in honor of a Russian mathematician who developed the method in
1907, to find the probability that a system is in a particular state at a given time. Something more important
is to find the average in the long run or steady-state probabilities for each state. With this information you
can predict the behavior of the system over time.

I. Introduccin
Segn lo menciona Hillier & G. Lieberman, una
cadena de Markov es ergdica si todos sus
estados son no nulos, no peridicos y
recurrentes.
Propiedad: las cadenas de Markov ergdicas
cumplen la siguiente propiedad: el lmite
) (
0
lim
n
ij n
P

existe y es independiente del estado

inicial i. Lo denominaremos
j
t
:
) (
0
lim
n
ij n j
P

= H

Las probabilidades lmites
j
t
se denominan
probabilidades de estado estable.
Propiedad: si los lmites anteriores existen,
entonces:

=

=
n
k
j
k
ij n
P
N
1
) (
)
1
( lim t

La aplicacin de las Cadenas de Markov
abarcan sistemas de produccin y procesos
estadsticos de toda naturaleza, sin embargo las
Cadenas que son Ergdicas tienen un rea de
influencia establecida, caracterizada por
factores propios de su aplicacin, lo cual se
evidencia mediante el estudio del estado del
arte.

Por otra parte en su libro sobre Teora
Elemental de la Probabilidad y de los Procesos
Estocsticos, el fsico Kai Lai Chung se refiere a
que una Cadena de Markov es ergdica si y
slo si es irreductible, positivamente recurrente
y aperidica.
A continuacin veremos que significa cada uno
de estos adjetivos acaparados bajo el teorema
de Chung.
Cadenas irreductibles: Decimos que el estado j
es accesible desde el i si es posible transitar
desde i a j en un nmero nito de pasos, es
decir, si pij (n) > 0 para algn n 0. Esto
equivale a decir que existe, sobre el diagrama
de transicin, algn camino que lleva de i a j. Si
es posible el trnsito en ambos sentidos
decimos que los dos estados estn
comunicados.
Ejemplo 5.5. En este ejemplo los estados 1 y 2
estn comunicados. Adems 1, 2 y 3 son
accesibles desde 0, pero este ltimo no es
accesible desde ningn otro estado.

Cuando un subconjunto de estados es tal que
todos ellos estn comunicados unos con otros
decimos que dicho subconjunto constituye una
clase comunicante. Estas clases deben ser
adems conjuntos maximales, lo que implica
que cada estado slo puede estar en una clase
y que dos estados que comunican deben estar
siempre en la misma clase. En el ejemplo
anterior hay dos clases comunicantes, una
formada por los estados 1 y 2, y otra por el
estado 3. Decimos que una cadena es
irreducible si todos sus estados comunican
unos con otros, es decir, si estn todos
contenidos en una nica clase comunicante.

Ejemplo 5.6. El proceso binomial tiene una clase
por cada estado. Sin embargo, el paseo
aleatorio constituye una cadena irreducible.

Cadenas recurrentes: Supongamos que
estamos en el estado i y sea fila probabilidad de
volver en algn momento a dicho estado.
Decimos que el estado i es recurrente si fi = 1 y
que es transitorio si fi < 1. Es decir, un estado es
transitorio si,
estando en l, existe la posibilidad de salir y no
volver a pasar por l.

Ejemplo 5.7. En la cadena del ejemplo 5.5 los
estados 1, 2 y 3 son recurrentes, el 0 es
transitorio.

Observacin: Todos los estados en una misma
clase comunicante son del mismo tipo,
recurrentes o transitorios. Como consecuencia,
en una cadena finita e irreducible todos los
estados sern recurrentes.

Ejemplo 5.8. En el proceso binomial todos los
estados son transitorios. Sin embargo, se puede
demostrar que en un paseo aleatorio simtrico
todos los estados son recurrentes, si bien dejan
de serlo si el paseo no es simtrico.
Supongamos que nuestra cadena est en este
momento en un estado recurrente i. Sabemos
entonces que tarde o temprano la cadena
volvera a dicho estado con probabilidad 1. Nos
interesa ahora estudiar la variable Ti tiempo
que se tarda en volver al estado i. En particular
es importante conocer la esperanza de esta
variable, E[Ti] (lo cual puede no ser fcil).
Cuando dicha esperanza es finita decimos que
el estado es positivamente recurrente. As
mismo diremos que la cadena es positivamente
recurrente cuando todos sus estados lo son.

Observacin: Toda cadena finita y recurrente es
positivamente recurrente.

Cadenas aperidicas: Consideremos un estado
recurrente i. Sabemos que la cadena volvera a
pasar por las infinitas veces. La informacin
sobre los instantes en que esto puede ocurrir
viene dada por pii(n), la probabilidad de que se
vuelva a l en n pasos. Decimos que dicho
estado tiene periodo d si
d = mcd (n:pii(n)

Ejemplo 5.9. La siguiente cadena es peridica
con periodo d = 3:

Observacin: Ntese que todos los estados en
una misma clase comunicante tendrn siempre
el mismo periodo, por tanto, cuando tenemos
una cadena irreducible podemos hablar del
periodo de dicha cadena. Decimos que una
cadena irreducible es aperidica cuando sus
estados tienen periodo d = 1.

Ejemplo 5.10. La siguiente cadena es
aperidica:

Por tanto tenemos ya una serie de ideas para
reconocer cuando nos encontramos ante una
cadena ergdica. En este tipo de cadenas
ocurre que:
t
T n
n
P 1 lim
) (
=


Lo cual implica:
t t = = =

T n
n n
p P p n p 1 ) 0 ( ) 0 ( lim ) ( lim
) (

Ya que 1 1 ) 0 ( =
T
p
Observacin: si P tiene dimensin finita y no
contiene ceros, la cadena de Markov asociada
ser ergdica.

II.Acerca del proceso

Para conceptualizar el campo de estudio
especfico, es primordial realizar una
investigacin acerca de sucesos pasados que
se relacionen en contexto y forma, adems de
conocer previas investigaciones, metodologas y
sobre todo alcances obtenidos con el tema en
cuestin. El objetivo de este estado del arte es
informarse acerca del conocimiento que existe
respecto al tema (cadenas ergdicas), esto ser
una base para darle la direccin correcta a la
investigacin. Cuando es exhaustivo el proceso,
se genera conocimiento importante que lleva a
plasmar los resultados de manera ms concisa,
razn que lleva al investigador a recopilar
documentos interdisciplinarios que converjan en
el tema tratado.

III.Investigaciones relacionadas al tema
tratado

Las Cadenas Ergdicas de Markov, surgen en el
ao de 1907, cuando el matemtico ruso Andrei
Andreevitch Markov realiza su investigacin
sobre teoras de probabilidades.

Existe un amplio rango o campos de aplicacin
de las cadenas ergdicas de Markov, a saber,
se pueden utilizar para procesos de negocios,
donde se utilizan para analizar patrones de
compra sus clientes y de sus deudores
morosos, ayudan en la planeacin de
necesidades de personal y en la industria son
manipulados para analizar la necesidad del
remplazo de equipos. Adems en ciencias
exactas como en el campo de la fsica,
ingeniera, biologa, medicina y matemticas
inclusive.

La investigacin y aplicacin de las cadenas
ergdicas de Markov arrojan un resultado
importante acerca de sus lmites dentro del
campo estadstico, segn lo plantea Restrepo y
Ossa en su tesis doctoral sobre Investigacin de
Operaciones y Estadstica, donde establecen las
condiciones necesarias para tener una cadena
ergdica, a saber la condicin suficiente es si
existe un n>0 tal que Pij
n
>0, donde i,
j=0,1,2....m. la cadena de Markov, con esta
propiedad, se llama ergdica. Entonces,
=
= ) * (
0 kj
n
ik k
n
ij
P P P , luego
=
= ) * (
0 kj k j
P k t t
y como

=
=
1
0
n
ij j
P
,
entonces

=
=
1
0 j j
t

Teorema. Para una cadena de Markov ergdica,
n
ij n j
P Lim

= t existe y
{ }) ,... 0 ( m pertenece j
j
t es la nica solucin
no negativa de
j
t . Entonces:

= =
= =
1 ) * (
0 0 j j kj k j
y P k t t t


Lmites ergdicos en las cadenas de Markov: La
relacin fundamental en una cadena de Markov
es: P
n
=M
n
P0. Y si nuestro inters es el
comportamiento asinttico de Pn, es decir Lim
n

infinito Pn entonces el problema es encontrar las

condiciones para que este lmite exista y en
caso de existir, depender del estado inicial del
sistema?
Bajo condiciones de regularidad la distribucin
asinttica existe y bajo estas condiciones la
distribucin en el lmite ser independiente de la
distribucin inicial.
Teorema bsico del lmite para cadenas de
Markov: En una cadena de Markov recurrente
irreducible y aperidica se tiene que:
Lim n

infinito Pii
n
=
1
E
inf
n=1 n fii
n

Siendo fii la probabilidad de que el proceso
regrese al estado i dado que comienza en el
estado i. Y adems
n
ij n
n
ij n
P Lim P Lim

=
.Del teorema se pueden sacar fuertes
conclusiones:
1. Si M = Pij es la matriz de transicin de
una cadena de Markov, y si
suponemos que esta cadena es
recurrente, irreducible y aperidica, se
nos garantiza la existencia de la matriz
M
(infinita)
donde la entrada j,i es Pij
(inf)

=Lim n

infinito Pij
n
, pero como Pij
(inf)
=
Pii
(inf)
se concluye que la matriz M
(infinita)

tiene sus columnas iguales, esto es de
la forma :


2. Sea C una cadena irreducible y
recurrente, entonces Pij
n
=0 para i
pertenece a C y j no pertenece a C
dado n. Esto es, toda vez que
entremos en C no es posible
abandonarlo, luego la matriz Pij con i,j
perteneciendo a C estar asociada a
una cadena de Markov irreducible y
recurrente luego el teorema bsico es
aplicable si la clase resulta ser
aperidica. Ahora si Lim n

infinito Pii
n
=
t=0 y la clase es recurrente se dir
entonces que la clase es dbilmente
ergdica o nula recurrente.
El valor E
inf
n=1 n fii
n
= mi. Se define como el
tiempo medio de recurrencia del estado i. Ahora
se asegura, sin demostracin, que bajo las
condiciones de regularidad del teorema anterior,
que Lim n

infinito Pii
n
= 1/mi = ti. El clculo de los
i se entrega en el siguiente teorema.
Teorema. En una clase aperidica positiva
recurrente con estados i=0, 1,2.... Se tiene que:

= = =
= =
) 1 ( 1 ;
inf inf
0
k k P Lim
o k k i
n
ii n
t t t

Cualquier conjunto ti que satisfaga (1) se llama
probabilidad de distribucin estacionaria de la
cadena de Markov.
Observe que si Pij es la matriz de transicin
asociada a una clase recurrente ergdica
positiva, entonces la ecuacin
k kP
kj
k i
t t t
=
=
inf
0
llevada a su forma
matricial:


Establece claramente que (t1 t2 t3.....)
t
es un
auto vector (a la derecha) de la matriz Pij
asociado al auto valor 1. Para esto debemos
saber que la matriz de Markov tiene un auto
valor igual a 1, ms an, este valor ser el
mayor, en valor absoluto, si la matriz es
primitiva, esto es si todas sus entradas son
positivas para alguna potencia de la matriz.

La aplicacin de una Cadena Ergdica a los
problemas ms comunes que existen en el
entorno cotidiano, se puede observar en la tsis
doctoral de Moreno Daz, sobre los Modelos
Multivariables para Variables Ordinales:
Aplicaciones en Estudios de Calidad del
Servicio, en la misma Moreno Daz define tres
conceptos primordiales para iniciar una
aplicacin de Markov de este tipo, para Daz
una Cadena es Ergdica si todos los estados de
una Cadena de Markov son recurrentes,
aperidicos y se comunican entre s. Mientras
que define un estado rcurrente como el estado i
es recurrente si fii = 1. Esto significa lo
siguiente: siempre que parta del estado i, podr
regresar a l (en un tiempo finito). Siguiente la
misma filosofa ergdica se puntualiza el estado
peridico cuando existe un estado recurrente i,
con periodo k > 1, si k es el menor nmero tal
que todas las trayectoria que parte de i y
regresan a i, tienen longitud mltiplo de k. Si no
es peridico se le dice aperidico.
Igualmente expone su ejemplo de la siguiente
manera para un modelo para el desplazamiento
poblacional: Para efectos de una investigacin,
en un determinado pas, una familia puede
clasificarse como habitante de zona urbana,
rural o suburbana. Se ha estimado que durante
un ao cualquiera, el 15% de todas las familias
urbanas se cambian a zona suburbana y el 5%
a zona rural. El 6% de las familias suburbanas
pasan a zona urbana y el 4% a zona rural. El
4% de las familias rurales pasan a zona urbana
y el 6% a zona suburbana.
Pregunta interesante: Existe una probabilidad
lmite de que el sistema se encuentre en el
estado j, despus de muchas transiciones, y que
esta probabilidad sea independiente del estado
inicial?
Afirmacin: Si P es la matriz de transicin de
una Cadena de Markov que tiene los estados
{1,2,...k}, entonces, para j=1,2,.., k:
j
n
j i n
P t =

) (
,
lim

Escrito de otra forma:
k
k
k
n
n
P
t t
t t
t t
t
t
t
. . .
. . . . . .
. . . . . .
. . .
. . .
. .
. . lim
2
2
2
1
1
1
lim
=


Para obtener los j
t
se tiene presente las
ecuaciones de estado estable:

=
=
=
= =
>
k
j
j
k
i
t t
j i i j
j
c
es esto P b
a
1
1
,
1 )
)
0 )
t
t t t t
t

Dado que la matriz del ejemplo 3 es ergdica,
podemos hacer:
|
|
|
.
|

\
|
=
90 , 0
04 , 0
05 , 0
06 , 0 04 , 0
90 , 0 06 , 0
15 , 0 80 , 0
) , , ( ) , , (
3 2 1 3 2 1
t t t t t t

1
3 2 1
= + + t t t
Una opcin es:
3 2 1
3 2 1 2
3 2 1 1
1
06 , 0 90 , 0 15 , 0
04 , 0 06 , 0 80 , 0
t t t
t t t t
t t t t
+ + =
+ + =
+ + =

Cuya solucin es:
) 3005 . 0 , 4918 . 0 , 2077 . 0 ( ) , , (
3 2 1
= t t t
Es decir, si con el paso del tiempo se mantiene
el comportamiento descrito por el modelo (lo
cual es muy poco probable) despus de muchos
aos, aproximadamente, el 21% de la poblacin
ocupar las zonas urbanas, el 49% las zonas
suburbanas y el 30% la rural.

El Ing. Blasco en su tesis para optar por el
doctorado en Ciencias de Telecomunicaciones,
expone de manera concisa la filosofa de las
cadenas ergdicas, se tiene un escenario donde
hay una cadena estacionaria, con una
distribucin inicial p(0) = . Si consideramos
una distribucin inicial distinta la cadena deja de
ser estacionaria, sin embargo presenta un
comportamiento muy interesante ya que, a largo
plazo, cuando pasa mucho tiempo, se alcanza
una distribucin estacionaria que adems
resulta ser , es decir:
t =

) (n P Lim
n

De hecho, esta distribucin estacionaria es
siempre la misma independientemente de cual
haya sido la distribucin inicial. Cuando una
cadena de Markov se comporta de esta manera
decimos que es ergdica. El siguiente resultado
nos dice como reconocer cuando una cadena
tiene esta propiedad:
Teorema: Una cadena de Markov es ergdica si
y slo si es irreducible, positivamente recurrente
y aperidica.

IV.Conclusiones y recomendaciones para el
planteamiento de investigaciones
futuras

1) La aplicacin de las cadenas de Markov y
propiamente las cadenas ergdicas se ha hecho
desde hace ms de un siglo y su vigencia a la
actualidad sigue siendo sumamente importante
para procesos industriales, mdicos,
comerciales, etc. An ms interesante le factor
de que la teora no ha cambiado y el concepto
aplica igualmente para cualquier campo.
2) Independientemente del contexto de
aplicacin de las cadenas ergdicas, la
asignacin de las probabilidades y datos
recopilados, el mtodo siempre es el mismo
para la resolucin de un problema.
3) Las cadenas de Markov son mecanismos
que ayudan a solventar necesidades creadas en
las personas por falta de conocimiento de los
eventos futuros en donde la informacin
recolectada no es un buen punto de referencia
debido a variabilidad de los datos, por lo tanto el
estudio de eventos anteriores de manera
inmediata origina panoramas realistas y
aplicables.
4) Los procesos estocsticos reviven
eventos para colocar al investigador en un
presente inmediato, de esta manera puede
enterarse antes de continuar con los procesos
de recoleccin de datos si en realidad est en el
espacio y tiempo correctos o si en
contraposicin necesita de nuevas guas que lo
orienten hacia las repuestas que necesita para
solventar sus objetivos de investigacin.
5) Como toda herramienta metodolgica las
cadenas de Markov presentan resultados que
ayudan a aclarar el panorama hacia una
determinada situacin, sin embargo es el
investigador que basado en esa informacin de
ver concluir y tomar las decisiones atinadas
que beneficien o concluyan de manera
satisfactoria las pruebas.
6) La flexibilidad de las cadenas de Markov
permiten realizar estudios en ambientes hostiles
desde el punto de vista de recoleccin de datos
o metodologas que se adecuen a los objetivos
del proyecto, esto porque no se necesitan
grandes historiales de informacin, ya que el
presente es necesario para justificar acciones
futuras y realistas.
7)

V. Propuesta del tema y justificacin
Una cadena de Markov se puede caracterizar
por la probabilidad de ir al estado n+1
condicionada a que antes estbamos en el
estado n:
) / (
1 n n
X X P
+

Que es la probabilidad de transicin del
proceso, la propiedad de las cadenas de Markov
es que las transiciones entre los estados, slo
pueden producirse entre estados vecinos, slo
se puede llegar del estado n al estado n+1 n-
1.

VI.Bibliografa

F. Hillier - G. Lieberman: Introduccin a la
investigacin de operaciones. Sexta edicin. Ed.
Mc-Graw Hill. Mxico.

Kai Lai Chung. Elementary Probability Theory
with Stochastic Processess. Third Edition.
Editorial Revert, S.A.

Una Aplicacin de las Cadenas de Markov en un
Proceso industrial. Ing. Jorge Hernn Restrepo,
Msc Carlos Alberto Ossa. Universidad
Tecnolgica de Pereira. Doctorado en
Investigacin de Operaciones y Estadstica,
2004.

Modelos Multivariables para Variables
Ordinales: Aplicaciones en Estudios de Calidad
de Servicio. Msc. Arminda Moreno Daz. Tesis
doctoral, Facultad de Informtica, Departamento
de Inteligencia Artificial. Universidad Politcnica
de Madrid. 2001.

Cadenas de Markov, Ciencias de las
Telecomunicaciones. Ing. ngel Blasco, Msc.
Tesis doctoral, Ingeniera de
Telecomunicaciones. Universidad de Alca