REPUBLICA BOLIVARIANA DE VENEZUELA

UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA

ANTONIO JOSE DE SUCRE "LUIS CABALLERO MEJIAS"
NUCLEO GUARENAS
INVESTIGACION OPERATIVA II
SECCION: 70

PROFESOR: ALUMNOS:
ANGEL GARCIA ANDRES AVILES #2013200039
FREDDY MUÑOZ #2013200139
LEONARDO GOMEZ #20132000262
ROSBIL CAMACHO (CONGELADO) #2013200145
CRISTHIAN LOPEZ #2013200224

TEMA: CADENAS DE MARKOV

RESUMEN
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este
tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de
los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de
Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra, los deudores morosos, para planear las necesidades de personal y para analizar el
reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso
que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo más importante aún, es
que permite encontrar el promedio a la larga o las probabilidades de estado estable para
cada estado.
 CADENAS DE MARKOV

Sea Ej, j = 0, 1, 2,..., los resultados exhaustivos y mutuamente excluyentes (estados) de un

sistema en cualquier momento. Al iniciar, cuando el tiempo es t0, el sistema puede estar
en cualquiera de esos estados. Sea aj (0), j _ 0, 1, 2,..., la probabilidad absoluta de que el
sistema esté en el estado Ej en t0. Además, se supone que el sistema es de Markov.

Se define, entonces:

Como la probabilidad de transición de un paso, de ir del estado i en tn – 1 al estado j en tn

y se supone que esas probabilidades son estables en el tiempo. Las probabilidades de
transición del estado Ei al estado Ej se pueden ordenar con más comodidad en forma de
una matriz como la siguiente:

MATRIZ P DE TRANSICIÓN HOMOGENEA

La matriz P se llama matriz de transición homogénea, porque todas las probabilidades de

transición pij son fijas e independientes del tiempo. Las probabilidades pij deben satisfacer
las condiciones

La matriz de transición P junto con las probabilidades iniciales asociadas a los estados Ej
definen por completo una cadena de Markov. Se suele imaginar una cadena de Markov
como una descripción del comportamiento de transición de un sistema durante intervalos
iguales. Hay casos en donde la longitud del intervalo depende de las características del
sistema, y por consiguiente puede no ser igual. A este caso se le refiere como una cadena
de Markov enclavada.
 NOTA: Para que el proceso estocástico del número de líneas
ocupadas sea una cadena de Markov es necesario que la
probabilidad de cada posible número de líneas ocupadas en
cualquier instante de tiempo dependa solamente del número de
líneas ocupadas 2 minutos antes

MATRIZ DE TRANSICIÓN

Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de ensayos como
experimentos efectuados en cierto sistema físico, cada resultado dejando a este sistema
en cierto estado. Por ejemplo, consideremos una sucesión de elecciones políticas en cierto
país: el sistema podría tomarse como el país mismo y cada elección lo dejaría en cierto
estado, es decir en el control del partido ganador. Si sólo hay dos partidos políticos fuertes,
llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que
el país se encuentra en el estado A o B si el partido A o B ganara la elección. Cada ensayo
(o sea cada elección), coloca al país en uno de los dos estados A o B. Una sucesión de 10
elecciones podría producir resultados tales como los siguientes:

A, B, A, A, B, B, B, A, B, B

La primera elección en la sucesión deja en el poder al partido A, la segunda fue ganada por
el partido B, y así sucesivamente, hasta que la décima elección la gane el partido B.
Supongamos que las probabilidades de que el partido A o B ganen la próxima elección son
determinadas por completo por el partido que está en el poder ahora. Por ejemplo
podríamos tener las probabilidades siguientes: • Si el partido A está en el poder, existe una
probabilidad de ¼ que el partido A ganará la próxima elección y una probabilidad de ¾ de
que el partido B gane la elección siguiente. • Si el partido B está en el poder, hay una
probabilidad de 1/3 de que el partido A gane la elección siguiente y una probabilidad de
2/3 que el partido B permanezca en el poder. En tal caso, la sucesión de elecciones forman
una cadena de Markov, dado que las probabilidades de los dos resultados de cada elección
están determinadas por el resultado de la elección precedente.

PROBABILIDADES ABSOLUTAS Y DE TRANSICIÓN

Dadas y P de una cadena de Markov, las probabilidades absolutas del sistema

después de determinada cantidad de transiciones se determinan como sigue. Sean

las probabilidades absolutas del sistema después de n transiciones, esto es, cuando t es tn.
La ecuación general de en función de y P se calculan como sigue:

También,

En donde es la probabilidad de transición de dos pasos, o de segundo

orden; esto es, la probabilidad de pasar del estado k al estado j exactamente en dos
transiciones. Se puede demostrar por inducción que

En donde es la probabilidad de transición de n pasos o de orden n definida por la

fórmula recursiva

En general:

A estas ecuaciones se les llama ecuaciones de Chapman-Kolomogorov.

Los elementos de una matriz de transición superior se pueden obtener en forma

directa por multiplicación de matrices.

Así:
Y en general:

Por consiguiente, si se definen las probabilidades absolutas en forma vectorial como

Entonces:

EJEMPLO:

Se tiene la siguiente cadena de Markov con dos estados:

Con . Determinar .

Así:
Los renglones de P8 tienden a ser idénticos. También, a (8) tiende a ser idéntica con los
renglones de P (8). Es el resultado de las propiedades de las cadenas de Markov a largo
plazo, que implica que las probabilidades absolutas a largo plazo son independientes de a
(0). En este caso, las probabilidades que resultan se llaman probabilidades de estado
estable.

CLASIFICACIÓN DE LOS ESTADOS EN LAS CADENAS DE MARKOV.

En las cadenas de Markov puede interesar el comportamiento del sistema durante un

tiempo corto. Esto se representa con las probabilidades absolutas, como se indicó en la
sección anterior. Una investigación importante implica el comportamiento del sistema a
largo plazo, a medida que las transiciones tienden al infinito. En ese caso se necesita un
procedimiento sistemático que pronostique el comportamiento del sistema a largo plazo.

 Cadena de Markov irreducible. Se dice que una cadena de Markov es irreducible si

todo estado Ei puede alcanzarse de cualquier otro estado. Ej después de una
cantidad finita de transiciones; esto es,

En este caso se comunican todos los estados de la cadena.

 Conjunto cerrado y estados absorbentes. En un proceso de Markov, un conjunto C

de estados se llama cerrado si el sistema, una vez en uno de los estados de C,
permanece allí por tiempo indefinido. Un ejemplo especial de un conjunto cerrado
es un estado único Ej con probabilidad de transición pij _ 1. En ese caso a Ej se le
llama estado absorbente. Todos los estados de una cadena irreducible deben
formar un conjunto cerrado, y ningún subconjunto puede ser cerrado. El conjunto
cerrado C también debe satisfacer todas las condiciones de una cadena de Markov,
y por consiguiente se puede estudiar en forma independiente.

 Primeros tiempos de retorno. Una definición importante en la teoría de las

cadenas de Markov es el tiempo de primer retorno. Si el sistema está inicialmente
 en el estado Ej puede regresar al estado Ej por primera vez en el n-ésimo paso, n
≥1. La cantidad de pasos para que el sistema regrese a Ej se llama tiempo de primer
retorno. Sea la probabilidad de que el primer retorno a Ej suceda en el n-
ésimo paso. Entonces, si la matriz de transición es

Se puede llegar a una ecuación de como sigue:

Por lo tanto:

Entonces, por inducción:

La probabilidad de que haya cuando menos un retorno al estado Ej se determina entonces

con:

Así, es seguro que el sistema regresa a j si fjj = 1. En este caso, si µjj define al tiempo
promedio de retorno (de recurrencia)
Si fjj = 1, no es seguro que el sistema regrese a Ej, y en consecuencia, µjj = ∞.

Los estados de una cadena de Markov se pueden clasificar con base en la definición del
tiempo de primer retorno como sigue:

1) Un estado es transitorio si fjj < 1; esto es, si µjj =∞

2) Un estado es recurrente (persistente) si fjj = 1.
3) Un estado recurrente es nulo si µjj =∞ y es no nulo si µjj < ∞
4) Un estado es periódico con periodo t si es posible un retorno sólo en t, 2t, 3t,. . .
pasos. Esto quiere decir que siempre que n no es divisible entre t.
5) Un estado recurrente es ergódico si es no nulo y aperiódico (no periódico).

Si todos los estados de una cadena de Markov son ergódicos, la cadena es irreducible.

En este caso, las probabilidades absolutas:

Siempre converge en forma única a una distribución límite cuando n→∞, donde la
distribución límite es independiente de las probabilidades iniciales a(0).

El siguiente teorema es pertinente:

 Teorema 1. Todos los estados de una cadena de Markov irreducible e infinita

pueden pertenecer a uno, y sólo uno, de tres estados: transitorio, recurrente nulo y
recurrente no nulo. En cada caso, todos los estados se comunican y tienen el mismo
periodo. Para el caso especial en el que la cadena tiene una cantidad finita de
estados, la cadena no puede consistir sólo de estados transitorios, y tampoco
puede contener estados nulos.

 Distribución límite de cadenas irreducibles. En el ejemplo anterior se ve que a

medida que aumenta la cantidad de transiciones, la probabilidad absoluta se
vuelve independiente de la distribución inicial. Ésta es la propiedad de las cadenas
de Markov a largo plazo. En esta sección se presenta la determinación de la
distribución límite (a largo plazo) de una cadena irreducible. La explicación se
restringirá al tipo aperiódico, por ser el único tipo necesario en este texto. La
existencia de una distribución límite en una cadena aperiódica irreducible depende
de la clase de sus estados. Así, si se consideran las tres clases del teorema 19.5-1,
se puede enunciar el siguiente teorema:

 Teorema 2. En una cadena de Markov irreducible y aperiódica,

 Si todos los estados son transitorios o nulos, entonces cuando n→∞ para toda
i y j, y no existe distribución límite.
Si todos los estados son ergódicos, entonces

En donde πj es la distribución límite (de estado estable). Existen las probabilidades πj

en forma única, y son independientes de . En este caso, se puede determinar πj a
partir del conjunto de ecuaciones

El tiempo medio de recurrencia para el estado”j” se define entonces por:

 EJEMPLO

Para determinar la distribución de probabilidades de estado estable en el ejemplo del

teorema 1, se tiene:

La solución es π1 = 0.4286 y π2 = 0.5714. Estos resultados se acercan mucho a los valores

de renglón en a(8) del ejemplo del teorema 1. Los tiempos promedio de recurrencia para
los estados (1) y (2) son: