UNIDAD 1

CADENA DE MARKOV
1.3. PROBABILIDAD DE TRANSICION DE ESTADOS
ESTABLES

TEOREMA
Sea P la matriz de transicin de una cadena de M estados. Existe entonces un
vector tal que se establece que para cualquier estado inicial i.
El vector a menudo se llama distribucin de estado estable o tambin distribucin
de equilibrio para la cadena de Markov. Para encontrar la distribucin de
probabilidades de estacionario para una cadena dada cuya matriz de transicin es
P. segn el teorema, para n grande y para toda i

Como: Pij(n+1)= (rengln i de Pn)(columna j de P), podemos describir

Ejemplo:
Suponga que toda la industria de refrescos produce dos colas. Cuando una
persona ha comprado la cola 1, hay una probabilidad de 90% de que su siguiente
compra sea de cola 1. Si una persona compro cola 2, hay un 80% de probabilidad
que su prxima compra sea de cola 2.

Entonces:
Al remplazar la segunda ecuacin por la condicin, obtenemos el sistema. Al
despejar el resulta que por lo tanto, despus de largo tiempo, hay probabilidad 2/3
de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona
compre cola 2.

Tiempos de primer pas.

Con frecuencia es conveniente poder hacer afirmaciones en trminos de
probabilidad sobre el nmero de transicin que hace el proceso al ir de un estado i
a un estado j por primera vez, este lapso se llama tiempos de primer paso al ir del
estado al estado j. cuando j=i, este tiempo de primer paso es justo el nmero de
transiciones hasta que el proceso regresa al estado al estado inicial i. En este
caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
para ilustrar estas definiciones, reconsidrese el ejemplo siguiente:

Una tienda de cmaras tiene el almacn un modelo especial de cmara que se

puede ordenar cada semana. Sea D1, D2 las demandas de esta cmara
durante la primera, segunda...semana, respectivamente. Se supone que las Di son
variables aleatorias independientes e idnticamente distribuidas que tiene una
distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene
en el momento de iniciar el proceso, x1 el nmero de cmaras que se tiene al final
de la semana uno, x2 el nmero de cmaras al final de la semana dos, etc.
Suponga que x0=3. El sbado en la noche la tienda hace un pedido que le
entregan el lunes en el omento de abrir la tienda. La tienda usa la siguiente poltica
(s,S)1 paran ordenar: si el nmero de cmaras en inventario al final de la semana
es menor que s=1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra
manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn,
no se hace el pedido). Se supone que las ventas se pierden cuando la demanda
excede el inventario.
Entonces, {X1} para t = 0,1 es un proceso estocstico de la forma que se acaba
de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que
representan el nmero posible de cmaras en inventario al final de la semana.
Donde Xt es el nmero de cmaras en inventario al final de la semana t y se
comienza con: suponga que ocurri lo siguiente:

Es este caso el tiempo de primer paso para ir al estado 3, al estado 1 es de 2

semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3
semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general. Los tiempos de primer paso son variables aleatorias y por lo tanto,
tiene una distribucin de probabilidad asociada a ellos. Estas distribuciones de
probabilidad dependen de las probabilidades de transicin del proceso. En
particular denota las probabilidades satisfacen las siguientes relaciones
recursivas:

Para i y j fijos, son nmeros no negativos tales que esta suma puede ser menor
que 1, lo que significan que un proceso que el iniciar se encuentran en el estado i
puede no llegar nunca al estado j
Cuando la suma es iguala 1, las pueden considerar como una distribucin de
probabilidad para la variable aleatoria, el tiempo de primer pas.

Para obtener el tiempo esperado de primer paso del estado i al estado j. sea que
se define como:

Entonces satisface de manera nica la ecuacin:

Cuando i=j se llama tiempo esperado de recurrencia.

Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para

calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn,
suponiendo que el proceso inicia cuando se tiene tres cmaras: es decir, se puede
obtener el tiempo esperado de primer paso. Como todos los estados son
recurrentes, el sistema de ecuaciones conduce a las expresiones.
La solucin simultanea de este sistema es de manera que el tiempo esperado
hasta que la tienda se queda sin cmaras es de 3.50 semanas. Caso de
aplicacin.

1.4. PROBABILIDAD DE TRANSICION DE ESTADOS

ABSORVENTES
Es un estado a partir de la cual existe cero probabilidad de hacer una transicin
fuera de ese estado que contiene al menos un estado que es posible llegar a un
numero de etapas comenzando en cualquier estado no absorbente. En una
cadena de Markov, un conjunto C de estados se denomina absorbentes si el
sistema pertenece indefinidamente.
Un ejemplo especial de un conjunto cerrado es un estado particular que tenga una
probabilidad de transicin. En este caso se denomina estado absorbente.
Todas las probabilidades que con el correr del tiempo llegaran a ser cero, todo
esto debido a que hay estados de una cadena irreducible deben formar un
conjunto cerrado y ningn otro subconjunto puede ser cerrado.
Los estados absorbentes tendrs sumas de que tiene probabilidad 1 y por los
dems estados tendrn a llegar a esta clase de estados.
Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema
que puede ser en uno de algunos estados (enumerados), y que puede pasar de un
estado a otro durante cada instante de acuerdo a probabilidades determinadas.
Si un sistema de Markov est en estado i, Hay una determinada probabilidad, pij,
de ir a estado j el prximo paso, y pijes llamado la probabilidad de transicin.
Un sistema de Markov puede ser ilustrado por significados de un diagrama de
transicin de estados, que muestra todos los estados y las probabilidades de
transicin. (Ver el ejemplo opuesto.)
La matriz P cuya ijo entrada pij se llama la matriz de transicin asociada con el
sistema. Las entradas en cada rengln suman en total 1. Por lo tanto, para este
caso, una a 2 matrices de transicin P podra ser representado en la siguiente
figura.

Sistemas absorbentes de Markov

Un estado absorbente en un sistema de Markov es un estado a partir de la cual
existe cero probabilidades de salir. Un sistema absorbente de Markov es un
sistema de Markov que contiene al menos un estado absorbente, tal que es
posible llegar a un estado absorbente despus de algn nmero de etapas
comenzando en cualquier estado no absorbente.
En el anlisis de los sistemas absorbentes, enumeramos los estados en tal
manera que los estados absorbentes son los ltimos. La matriz de transicin P de
un sistema absorbente entonces se ve como sigue:
S

P=

Aqu I est la matriz unidad m m (m = nmero de estados absorbentes), S es una

matriz cuadrada (n-m) (n-m) (n = nmero total de estados, de modo n-m = el
nmero de estados absorbentes), 0 es un matriz cero y T es un matriz (n-m) m.
La matriz S es la matriz de transicin para la circulacin entre los estados de
absorcin. La matriz fundamental para el sistema absorbente es
Q = (I-S)-1.