Estado de Arte sobre las Cadenas Ergódicas de Markov _________

Por: Ing. David Alberto Rojas Rodríguez

Instituto Tecnológico de Costa Rica
Maestría en Sistemas Modernos de Manufactura

Resumen: Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria.
“Recuerdan” el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar
una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el
método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en
particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga
o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el
comportamiento del sistema a través del tiempo.

Abstract: A Markov chain is a series of events, in which the probability of an event depends on the preceding
event. Indeed, this type chains have memory. "Remember" the last event and this affects the possibilities
for future events. This dependence of the previous event distinguishes Markov chains series of independent
events, such as a coin toss or a dice. In business, Markov chains have been used to analyze the buying
patterns of defaulting debtors to plan staffing needs and to discuss the replacement of equipment. Markov
analysis, named in honor of a Russian mathematician who developed the method in 1907, to find the
probability that a system is in a particular state at a given time. Something more important is to find the
average in the long run or steady-state probabilities for each state. With this information you can predict the
behavior of the system over time.

I. Introducción que una Cadena de Markov es ergódica si y sólo

si es irreductible, positivamente recurrente y
Según lo menciona Hillier & G. Lieberman, una aperiódica.
cadena de Markov es ergódica si todos sus A continuación veremos que significa cada uno
estados son no nulos, no periódicos y de estos adjetivos acaparados bajo el teorema de
recurrentes. Chung.
Propiedad: las cadenas de Markov ergódicas Cadenas irreductibles: Decimos que el estado j
cumplen la siguiente propiedad: el límite es accesible desde el i si es posible transitar
lim n0 Pij( n) existe y es independiente del estado desde i a j en un número ¯nito de pasos, es decir,
inicial i. Lo denominaremos  j : si pij (n) > 0 para algún n ¸ 0. Esto equivale a decir
que existe, sobre el diagrama de transición, algún
j  lim n0 Pij( n) camino que lleva de i a j. Si es posible el tránsito
 en ambos sentidos decimos que los dos estados
Las probabilidades límites j
se denominan
están comunicados.
probabilidades de estado estable.
Ejemplo 5.5. En este ejemplo los estados 1 y 2
Propiedad: si los límites anteriores existen,
están comunicados. Además 1, 2 y 3 son
entonces:
n
accesibles desde 0, pero este último no es
1
lim n (
N
P
k 1
(k )
ij ) j accesible desde ningún otro estado.
La aplicación de las Cadenas de Markov abarcan
sistemas de producción y procesos estadísticos
de toda naturaleza, sin embargo las Cadenas que
son Ergódicas tienen un área de influencia
establecida, caracterizada por factores propios
de su aplicación, lo cual se evidencia mediante el
estudio del estado del arte. Cuando un subconjunto de estados es tal que
todos ellos están comunicados unos con otros
Por otra parte en su libro sobre Teoría Elemental decimos que dicho subconjunto constituye una
de la Probabilidad y de los Procesos clase comunicante. Estas clases deben ser
Estocásticos, el físico Kai Lai Chung se refiere a además conjuntos maximales, lo que implica que
cada estado sólo puede estar en una clase y que vuelva a él en n pasos. Decimos que dicho
dos estados que comunican deben estar siempre estado tiene periodo d si
en la misma clase. En el ejemplo anterior hay dos d = mcd (n:pii(n)
clases comunicantes, una formada por los
estados 1 y 2, y otra por el estado 3. Decimos que Ejemplo 5.9. La siguiente cadena es periódica
una cadena es irreducible “si todos sus estados con periodo d = 3:
comunican unos con otros, es decir, si están
todos contenidos en una única clase
comunicante”.

Ejemplo 5.6. El proceso binomial tiene una clase

por cada estado. Sin embargo, el paseo aleatorio
constituye una cadena irreducible.
Cadenas recurrentes: Supongamos que estamos
en el estado i y sea fila probabilidad de volver en
algún momento a dicho estado. Decimos que el
estado i es recurrente si fi = 1 y que es transitorio
si fi < 1. Es decir, un estado es transitorio si,
estando en él, existe la posibilidad de salir y no
volver a pasar por él.
Observación: Nótese que todos los estados en
una misma clase comunicante tendrán siempre el
mismo periodo, por tanto, cuando tenemos una
cadena irreducible podemos hablar del periodo
de dicha cadena. Decimos que una cadena
irreducible es aperiódica cuando sus estados
tienen periodo d = 1.
Ejemplo 5.10. La siguiente cadena es aperiódica:

Ejemplo 5.7. En la cadena del ejemplo 5.5 los

estados 1, 2 y 3 son recurrentes, el 0 es
transitorio.

Observación: Todos los estados en una misma

clase comunicante son del mismo tipo,
recurrentes o transitorios. Como consecuencia, Por tanto tenemos ya una serie de ideas para
en una cadena finita e irreducible todos los reconocer cuando nos encontramos ante una
estados serán recurrentes. cadena ergódica. En este tipo de cadenas ocurre
que:
Ejemplo 5.8. En el proceso binomial todos los
estados son transitorios. Sin embargo, se puede
lim n P( n)  1T 
demostrar que en un paseo aleatorio simétrico Lo cual implica:
todos los estados son recurrentes, si bien dejan
lim n p(n)  lim n p(0) P( n)  p(0)1T   
de serlo si el paseo no es simétrico. Supongamos
que nuestra cadena está en este momento en un Ya que p(0)1T  1
estado recurrente i. Sabemos entonces que tarde
Observación: si P tiene dimensión finita y no
o temprano la cadena volvería a dicho estado con
contiene ceros, la cadena de Markov asociada
probabilidad 1. Nos interesa ahora estudiar la
será ergódica.
variable Ti ´ tiempo que se tarda en volver al
estado i. En particular es importante conocer la
II.Acerca del proceso
esperanza de esta variable, E[Ti] (lo cual puede
no ser fácil). Cuando dicha esperanza es finita
Para conceptualizar el campo de estudio
decimos que el estado es positivamente
específico, es primordial realizar una
recurrente. Así mismo diremos que la cadena es
investigación acerca de sucesos pasados que se
positivamente recurrente cuando todos sus
relacionen en contexto y forma, además de
estados lo son.
conocer previas investigaciones, metodologías y
sobre todo alcances obtenidos con el tema en
Observación: Toda cadena finita y recurrente es
cuestión. El objetivo de este estado del arte es
positivamente recurrente.
informarse acerca del conocimiento que existe
respecto al tema (cadenas ergódicas), esto será
Cadenas aperiódicas: Consideremos un estado
una base para darle la dirección correcta a la
recurrente i. Sabemos que la cadena volvería a
investigación. Cuando es exhaustivo el proceso,
pasar por las infinitas veces. La información
se genera conocimiento importante que lleva a
sobre los instantes en que esto puede ocurrir
plasmar los resultados de manera más concisa,
viene dada por pii(n), la probabilidad de que se
razón que lleva al investigador a recopilar
documentos interdisciplinarios que converjan en
el tema tratado. Teorema básico del límite para cadenas de
Markov: En una cadena de Markov recurrente
III.Investigaciones relacionadas al tema irreducible y aperiódica se tiene que:
tratado 1

Las Cadenas Ergódicas de Markov, surgen en el

Lim ninfinito Piin =
infn=1 n fiin
año de 1907, cuando el matemático ruso Andrei
Siendo fii la probabilidad de que el proceso
Andreevitch Markov realiza su investigación
regrese al estado i dado que comienza en el
sobre teorías de probabilidades.
estado i. Y además Limn Pij
n
 Limn Pijn
Existe un amplio rango o campos de aplicación
.Del teorema se pueden sacar fuertes
de las cadenas ergódicas de Markov, a saber, se
conclusiones:
pueden utilizar para procesos de negocios,
1. Si M = Pij es la matriz de transición de
donde se utilizan para analizar patrones de
una cadena de Markov, y si suponemos
compra sus clientes y de sus deudores morosos,
que esta cadena es recurrente,
ayudan en la planeación de necesidades de
irreducible y aperiódica, se nos
personal y en la industria son manipulados para
garantiza la existencia de la matriz
analizar la necesidad del remplazo de equipos.
M(infinita) donde la entrada j,i es Pij(inf)
Además en ciencias exactas como en el campo
=Lim ninfinito Pijn , pero como Pij(inf) = Pii(inf)
de la física, ingeniería, biología, medicina y
se concluye que la matriz M(infinita) tiene
matemáticas inclusive.
sus columnas iguales, esto es de la
forma :
La investigación y aplicación de las cadenas
ergódicas de Markov arrojan un resultado
importante acerca de sus límites dentro del
campo estadístico, según lo plantea Restrepo y
Ossa en su tesis doctoral sobre Investigación de
Operaciones y Estadística, donde establecen las
condiciones necesarias para tener una cadena
ergódica, a saber la condición suficiente es si
existe un n>0 tal que Pijn >0, donde i, j=0,1,2....m. 2. Sea C una cadena irreducible y
la cadena de Markov, con esta propiedad, se recurrente, entonces Pijn =0 para i
llama ergódica. Entonces, pertenece a C y j no pertenece a C dado
Pijn   k 0 ( Pikn * Pkj ) , luego n. Esto es, toda vez que entremos en C
no es posible abandonarlo, luego la
 j   k 0 (k * Pkj ) y como  P  1,
n
j  0 ij matriz Pij con i,j perteneciendo a C
entonces  j 0  j 1 estará asociada a una cadena de
Markov irreducible y recurrente luego el
Teorema. Para una cadena de Markov ergódica,
teorema básico es aplicable si la clase
 j  Limn Pijn existe y resulta ser aperiódica. Ahora si Lim
 j ( j pertenece0,...m) es la única solución Piin = =0
ninfinito y la clase es
recurrente se dirá entonces que la clase
no negativa de  j . Entonces:
es débilmente ergódica o nula
 j   k 0 (k * Pkj ) y  j 0  j  1 recurrente.
El valor infn=1 n fiin = mi. Se define como el
Límites ergódicos en las cadenas de Markov: La
tiempo medio de recurrencia del estado i. Ahora
relación fundamental en una cadena de Markov
se asegura, sin demostración, que bajo las
es: Pn =Mn P0. Y si nuestro interés es el
condiciones de regularidad del teorema anterior,
comportamiento asintótico de Pn, es decir Lim
ninfinito Pn entonces el problema es encontrar las que Lim ninfinito Piin = 1/mi = i. El cálculo de los
condiciones para que este límite exista y en caso i se entrega en el siguiente teorema.

de existir, ¿dependerá del estado inicial del Teorema. En una clase aperiódica positiva
sistema? recurrente con estados i=0, 1,2.... Se tiene que:
Bajo condiciones de “regularidad” la distribución Limn Piin   i   inf
k 0 k ; k o k  1
inf
(1)
asintótica existe y bajo estas condiciones la
distribución en el límite será independiente de la Cualquier conjunto i que satisfaga (1) se llama
distribución inicial. probabilidad de distribución estacionaria de la
cadena de Markov.
Observe que si Pij es la matriz de transición Pregunta interesante: ¿Existe una probabilidad
asociada a una clase recurrente ergódica límite de que el sistema se encuentre en el
positiva, entonces la ecuación estado j, después de muchas transiciones, y que
 i   inf
k  0 kP kj k
llevada a su forma esta probabilidad sea independiente del estado
inicial?
matricial: Afirmación: Si P es la matriz de transición de una
Cadena de Markov que tiene los estados
{1,2,...k}, entonces, para j=1,2,.., k:
lim n Pi ,( nj)   j
Escrito de otra forma:
1  2 . . .  k
1  2 . . .  k
lim lim P n  . . ... ...
n
.. ... ...
Establece claramente que (1 2 3.....t es un auto
vector (a la derecha) de la matriz Pij asociado al 1 2 ...k

 j se tiene presente las

auto valor 1. Para esto debemos saber que la
matriz de Markov tiene un auto valor igual a 1,
más aún, este valor será el mayor, en valor
absoluto, si la matriz es primitiva, esto es si todas
sus entradas son positivas para alguna potencia
de la matriz.
La aplicación de una Cadena Ergódica a los
problemas más comunes que existen en el
entorno cotidiano, se puede observar en la tésis
doctoral de Moreno Díaz, sobre los Modelos
Multivariables para Variables Ordinales:
Aplicaciones en Estudios de Calidad del Servicio,
en la misma Moreno Díaz define tres conceptos
primordiales para iniciar una aplicación de
Markov de este tipo, para Díaz una Cadena es
Ergódica si todos los estados de una Cadena de
Markov son recurrentes, aperiódicos y se
comunican entre sí. Mientras que define un
estado rcurrente como el estado i es recurrente si
fii = 1. Esto significa lo siguiente: siempre que
parta del estado i, podré regresar a él (en un
tiempo finito). Siguiente la misma filosofía
ergódica se puntualiza el estado periódico
cuando existe un estado recurrente i, con periodo
k > 1, si k es el menor número tal que todas las
trayectoria que parte de i y regresan a i, tienen
longitud múltiplo de k. Si no es periódico se le
dice aperiódico.
Igualmente expone su ejemplo de la siguiente
manera para un modelo para el desplazamiento
poblacional: Para efectos de una investigación,
en un determinado país, una familia puede
clasificarse como habitante de zona urbana, rural
o suburbana. Se ha estimado que durante un año
cualquiera, el 15% de todas las familias urbanas
se cambian a zona suburbana y el 5% a zona
rural. El 6% de las familias suburbanas pasan a
zona urbana y el 4% a zona rural. El 4% de las
familias rurales pasan a zona urbana y el 6% a
zona suburbana.
Para obtener los
ecuaciones de estado estable:
a)  j  0
k
b)  j    i Pi , j esto es  t   t
i 1
k
c )  j  1
j 1
Dado que la matriz del ejemplo 3 es ergódica,
podemos hacer:
 0,80 0,15 0,05 
 
( 1 ,  2 ,  3 )  ( 1 ,  2 ,  3 ) 0,06 0,90 0,04 
 0,04 0,06 0,90 
 
1   2   3  1
Una opción es:
 1  0,80 1  0,06 2  0,04 3
 2  0,15 1  0,90 2  0,06 3
1  1   2   3
Cuya solución es:
( 1 ,  2 ,  3 )  (0.2077, 0.4918, 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es
muy poco probable) después de muchos años,
aproximadamente, el 21% de la población
ocupará las zonas urbanas, el 49% las zonas
suburbanas y el 30% la rural.
El Ing. Blasco en su tesis para optar por el
doctorado en Ciencias de Telecomunicaciones,
expone de manera concisa la filosofía de las
cadenas ergódicas, se tiene un escenario donde
hay una cadena estacionaria, con una
distribución inicial p(0) = ¼. Si consideramos una
distribución inicial distinta la cadena deja de ser
estacionaria, sin embargo presenta un
comportamiento muy interesante ya que, a largo
plazo, cuando pasa mucho tiempo, se alcanza
una distribución estacionaria que además resulta permiten realizar estudios en ambientes hostiles
ser ¼, es decir: desde el punto de vista de recolección de datos
Lim n P(n)   o metodologías que se adecuen a los objetivos
del proyecto, esto porque no se necesitan
De hecho, esta distribución estacionaria es
grandes historiales de información, ya que el
siempre la misma independientemente de cual
presente es necesario para justificar acciones
haya sido la distribución inicial. Cuando una
futuras y realistas.
cadena de Markov se comporta de esta manera
7)
decimos que es ergódica. El siguiente resultado
nos dice como reconocer cuando una cadena
V. Propuesta del tema y justificación
tiene esta propiedad:
Teorema: Una cadena de Markov es ergódica si
Una cadena de Markov se puede caracterizar por
y sólo si es irreducible, positivamente recurrente
la probabilidad de ir al estado n+1 condicionada
y aperiódica.
a que antes estábamos en el estado n:
P( X n 1 / X n )
IV.Conclusiones y recomendaciones para el
Que es la probabilidad de transición del proceso,
planteamiento de investigaciones
la propiedad de las cadenas de Markov es que
futuras
las transiciones entre los estados, sólo pueden
producirse entre estados vecinos, sólo se puede
1) La aplicación de las cadenas de Markov y
llegar del estado n al estado n+1 ó n-1.
propiamente las cadenas ergódicas se ha hecho
desde hace más de un siglo y su vigencia a la
VI.Bibliografía
actualidad sigue siendo sumamente importante
para procesos industriales, médicos, F. Hillier - G. Lieberman: Introducción a la
comerciales, etc. Aún más interesante le factor investigación de operaciones. Sexta edición. Ed.
de que la teoría no ha cambiado y el concepto Mc-Graw Hill. México.
aplica igualmente para cualquier campo.
2) Independientemente del contexto de Kai Lai Chung. Elementary Probability Theory
aplicación de las cadenas ergódicas, la with Stochastic Processess. Third Edition.
asignación de las probabilidades y datos Editorial Reverté, S.A.
recopilados, el método siempre es el mismo para
la resolución de un problema. Una Aplicación de las Cadenas de Markov en un
3) Las cadenas de Markov son mecanismos Proceso industrial. Ing. Jorge Hernán Restrepo,
que ayudan a solventar necesidades creadas en Msc Carlos Alberto Ossa. Universidad
las personas por falta de conocimiento de los Tecnológica de Pereira. Doctorado en
eventos futuros en donde la información Investigación de Operaciones y Estadística,
recolectada no es un buen punto de referencia 2004.
debido a variabilidad de los datos, por lo tanto el
estudio de eventos anteriores de manera Modelos Multivariables para Variables Ordinales:
inmediata origina panoramas realistas y Aplicaciones en Estudios de Calidad de Servicio.
aplicables. Msc. Arminda Moreno Díaz. Tesis doctoral,
4) Los procesos estocásticos ¨reviven¨ eventos Facultad de Informática, Departamento de
para colocar al investigador en un presente Inteligencia Artificial. Universidad Politécnica de
inmediato, de esta manera puede enterarse Madrid. 2001.
antes de continuar con los procesos de
recolección de datos si en realidad está en el Cadenas de Markov, Ciencias de las
espacio y tiempo correctos o si en contraposición Telecomunicaciones. Ing. Ángel Blasco, Msc.
necesita de nuevas guías que lo orienten hacia Tesis doctoral, Ingeniería de
Telecomunicaciones. Universidad de Alca
las repuestas que necesita para solventar sus
objetivos de investigación.
5) Como toda herramienta metodológica las
cadenas de Markov presentan resultados que
ayudan a aclarar el panorama hacia una
determinada situación, sin embargo es el
investigador que basado en esa información de
verá concluir y tomar las decisiones atinadas que
beneficien o concluyan de manera satisfactoria
las pruebas.
6) La flexibilidad de las cadenas de Markov