14.7.

Estados Absorbentes

El estado k se llama estado absorbente si pkk= 1, de manera que cada vez que la cadena llegue al estado k permanece ah para siempre. Si k es un estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en algn momento a k se llama probabilidad de absorcin al estado k dado que el sistema comenz en i

Si el estado k es absorbente, entonces el conjunto e probabilidades de absorcin fik satisface el sistema de ecuaciones

fik= Pijfjk,
=0

Para i= 0,1,M

Sujeta a las condiciones fkk=1, fik=0, si el estado i es recurrente e i k

Una caminata aleatoria es una cadena de Markov con la probabilidad de que, si el sistema se encuentra en el estado i, entonces es un sola transicin, o bien permanecer en i o se mover a uno de los estados inmediatamente adyacente a i

Ejemplo: Considere un ejemplo sobre juegos, considere que dos jugadores con $2 cada uno, aceptan seguir jugando y apostando $1 cada vez hasta que unos de ellos quiebre. El numero de dlares que tiene el jugador A antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una cadena de Markov con matriz de transicin

P=

1 1-p 0 0 0

0 0 1.p 0 0

0 P 0 1-p 0

0 0 P 0 0

0 0 0 P 1

P= probabilidad de que A gane una jugada. La probabilidad de absorcin al estado 0 (A pierde todo su dinero) se puede obtener a partir del sistema de ecuaciones anterior.

Se puede demostrar que estas ecuaciones dan como resultado otras expresiones (para M general en lugar de M=4 como en esta ejemplo.
1 0 =
1 = 0 =0

Para i= 0,1,M

1 = 1
1 = 1

Para p 1 2
Para p =1 2

Donde 1-p = (1-p)/p

Para M =4, 1=2 y p= 2/3, la probabilidad de que A quiebre esta dada por 20 1 2 1 =1 = , 4 1 5

Y la probabilidad de que A gane $4 (B quiebre) esta dada por 4 2 = 1 20 = 5

Considere una tienda departamental que clasifica el saldo de la cuenta de un cliente como Pagada (estado 0 ), 1 a 30 das de retraso (estado 1), 31 a 60 das de retraso (estado 2) o mala deuda (estado 3). Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general los crditos no se extienden y se espera que los clientes paguen sus cuentas dentro de 30 das.

En ocasiones, los clientes pagan solo una parte de sus cuenta. Si esto curre cuando el saldo queda dentro de los 30 das de retraso (estado 1), la tienda ve a ese cliente como uno que permanece en el estado 1. si esto ocurre cuando el saldo esta entre 31 y 60 das de retraso, la tienda considera que le cliente se mueve al estado 1 (1 a 30 das de retraso). Los clientes que tienen mas de 60 das de retraso se clasifican en la categora de una mala deuda (estado 3); luego, las cuentas se mandan a una agencia de cobro.

Despus de examinar los datos de aos pasados, la tienda ha desarrollado la siguiente matriz de transicin:
Estado Estado 0: cuenta pagada 1: 1-30 dias de retraso 2:31-60 dias de retraso 3: mala deuda 1 0.7 0.5 0 0 0.2 0.1 0 0 0.1 0.2 0 0 0 0.2 1 0: cuenta pagada 1: 1-30 dias de retraso 2:31-60 dias de retraso 3: mala deuda

13 = 10 03 + 11 13 + 12 23 + 13 33 23 = 20 03 + 21 13 + 22 23 + 23 33

Con 03 =0 y 33 =1, ahora se tienen dos ecuaciones con dos incgnitas, a saber,
(1 11 )13 = 13 + 12 23, (1 22 )23 = 23 + 21 13, Al sustituir los valores de matriz de transicin se llega a 0.813 = 0.123, 0.823 = 0.2 + 0.113,

Y la solucin es
13 = 0.032 13 = 0.254

Conclusin:
Entonces aproximadamente 3% de los clientes cuyas cuentas tienen 1 a 30 das de retraso acaban por ser una mala deuda mientras que el 25% de los clientes cuyas deudas tiene de 31 a 60 das de retraso llegan a la misma categora.

14.8. Cadenas de Markov de tiempo continuo

Existen ciertos casos ( como en algunos modelos de lneas de espera) en los que se requiere un parmetro (llamado t) de tiempo continuo, debido a que la evolucin de un proceso se esta observando de manera continua a travs del tiempo.
Un proceso estocstico de tiempo continuo {X(t);t 0} es una cadena de Markov de tiempo continuo si tiene la propiedad markoviana se estudiaran las cadenas de Markov de tiempo continuo con las siguientes propiedades. 1. Un numero finito de estados 2. Probabilidades de transicin estacionarias

Algunas variables aleatorias importantes

Cada vez que el proceso entra e el estado i , la cantidad de tiempo que pasa en ese estado antes de moverse a un estado diferente, es una variable aleatoria T donde i= 0, 1, M La distribucin exponencial posee la propiedad de que la distribucin de probabilidad de tiempo que falta para que el proceso haga una transicin fuera de un estado dado siempre es la misma, independientemente de cuanto tiempo haya pasado el proceso en ese estado. Tiene solo un parmetro, llmese q, donde la media es 1/q y la funcin de distribucin acumulada es P{ } = para t 0

Este resultado lleva a una forma equivalente de definir un cadena de Markov de tiempo continuo. 1. La variable aleatoria tiene una distribucin exponencial con media 1/q. 2. Cuando sale de un estado i, el proceso se mueve a otro estado j, como probabilidades , en donde satisface las condiciones =0 para toda i, Y para toda i, =0 = 1

3. El siguiente estado que se visita despus del estado i es independiente del tiempo que paso en estado i.

las intensidades de transicin son.

1 () = (0) = lim 0 () = (0) = lim = 0

para i= 0, 1, M para j

donde es la funcin de probabilidad de transicin de tiempo continuo

Probabilidades de estado estable.

Para cualesquiera estados i y j y nmeros no negativos t y s (0 s 0), () = (s) (t-s). =1 se dice que un par de estados i y j se comunican si existe tiempos 1 2 tales que (1 )>0 y (2 )>0. se dice que todos los estados que se comunican forman una clase. Si todos los estados cadena forman una sola clase, es decir, si la cadena de Markov es irreducible, entonces (t)>0 para toda t>0 y todos los estados i y j Mas aun,

lim =

Siempre existe y es independiente del estado inicial de la cadena de Markov, para j= 0, 1, M. estas propiedades limitantes se conocen como las probabilidades de estado estable de la cadena de Markov. Las satisfacen las ecuaciones = , para toda j=0, 1, M y =0 para toda t 0.

Las siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones tiles para obtener la probabilidad del estado estable. = para j=0, 1, , M

Ejemplo. Un taller tiene dos maquinas idnticas que operan continuamente excepto cuando se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas alta prioridad para las personas de mantenimiento que trabajan tiempo completo, es repararla cuando lo necesiten. El tiempo requerido para reparara una maquina tiene distribucin exponencial como media de medio da. Una vez que se termina la reparacin, el tiempo que transcurre hasta la siguiente descompostura tiene distribucin exponencial con media de 1 da. Estas distribuciones son independientes Defina la variable aleatoria X(t) como X(t)= numero de maquinas descompuestas en el tiempo t.

Tasas de transicin total hacia afuera de cada estado. 0 = 01 =2 1 = 10 + 12 = 3 2 = 21 =2 Sustituyendo todas las tasas en la ecuaciones de estado estable dadas se obtiene. Ecuacin de balance para el estado 0: 20 = 21 Ecuacin de balance para el estado 1: 30 = 20 +22 Ecuacin de balance para el estado 2: 22 = 1 Las probabilidades suman 1: 0 +1 +2 = 1 Cualquiera de las ecuaciones de balance se puede eliminar como redundante, y la solucion simultanea de las ecuaciones restantes da la distribucion del estado estable como 2 2 1 (0 , 1 , 2 )=( , , )
5 5 5

Entonces, ambas maquinas estarn descompuestas simultneamente 20% del tiempo y estar descompuesta una maquina otro 40%