Clase # 6 Se ha venido suponiendo que el parámetro t del

tiempo es discreto (es decir t = 0,1,...).

Cadenas de Markov de Tal suposición es adecuada para muchos

tiempo continuo problemas, pero existen ciertos casos (como en
algunos modelos de líneas de espera) en los que
se requiere un parámetro de tiempo continuo ,
debido a que el proceso se está observando de
manera continua a través del tiempo.

Diseñó: Andrés Gómez 6-1 6-2

Sean:
Estados
0,1,..,M t´=r Tiempo pasado
posibles
del sistema t´=s Tiempo presente
Los estados son
discretos t ´ = s+t t unidades al futuro

El sistema se observa en los tiempos r y s,

y sus respectivos estados son
Tiempo t ´ : Parámetro continuo

X(s) = i X(r) = x(r)

6-3 6-4

Un proceso estocástico de tiempo continuo

¿ Cuál es la distribución de probabilidad del
tiene la propiedad Markoviana si
estado del sistema en el tiempo t ´ = s+t ?
P { X(s+t) = j | X(s) = i y X(r) = x(r) }

= P { X(s+t) = j | X(s) = i}

Es decir para toda r ≥ 0

para j=0,1,...,M
s>r y t>0
P { X(s+t) = j | X(s) = i y X(r) = x(r) }
Probabilidad de
para j=0,1,...,M P { X(s+t) = j | X(s) = i} transición igual que
en eventos discretos
6-5 6-6

1
Si las probabilidades de transición son independientes Se supone que
de s, de manera que
1 si i = j
P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i } Lim pij (t)
t 0
0 si i ≠ j
para toda s > 0 Se llaman Probabilidades
de transición estacionarias
Algunas variables aleatorias importantes

Se denotan por pij(t) = P { X(t) = j | X(0) = i } Sea la variable aleatoria Ti : el tiempo que pasa
cada vez que el proceso está en un estado i antes
Función de probabilidad de de ir a otro estado diferente
transición de tiempo continuo

6-7 6-8

Si el proceso entra en i en el tiempo s, entonces Por tanto la propiedad Markoviana con

para t>0 , se observa que Ti > t si y sólo si X(t´)=i probabilidades de transición estacionarias
para t´ en s ≤ t´ ≤ s+t
P { X(s+t) = j | X(s) = i } = P { X(t) = j | X(0) = i }

Implica que

s t´ t P { Ti > t+s | Ti > s} = P { Ti > t}

6-9 6-10

Existe sólo una distribución La exponencial

Esta propiedad de la variable aleatoria Ti se
continua con esta propiedad
conoce como la falta de memoria

La distribución del tiempo que

Se expresa falta para que el proceso haga Está definida por
diciendo que una transición fuera de un
estado dado, es la misma P { Ti > t} = 1 - e-qt para t ≥ 0
independientemente de cuánto
tiempo haya pasado.
La función de densidad es f(t) qe-qt con media 1/q

6-11 6-12

2
 Intensidades de transición
Sea pij la probabilidad de pasar de un estado i a
otro distinto (sin considerar el tiempo). Definamos

pij (t) : P { X(t) = j | X(0) = i }

Entonces pij : P { Pasar a j | Se está en i }

pii = 0 para todo i

qi : Tasa de transición hacia fuera del
estado i por unidad de tiempo que pasa en i
Σ pij =1
M
para todo i
j=0 qij : Tasa de transición del estado i al j por
unidad de tiempo que pasa en i

6-13 6-14

qi = Lim Pi (otro≠≠ i) (t) 1-pii (t) Pij (t) pij (0+t) - 0

= Lim qij = Lim = Lim
t 0 t t 0 t t 0 t t 0 t

-(pii (t) - 1) (p (0+t) - pii (0) = Lim pij (0+t) - pij (0)
= Lim = - Lim ii t 0 t
t 0 t t 0 t

-dpii (0) dpij (0) Para toda j ≠ i

= Para i = 1,2,...M =
dt dt

-dpii (0) dpij (0)

qi = qij =
dt dt

6-15 6-16

qij = qi pij qi = Σ≠≠ qij Probabilidades de estado estable

∀
∀ j ≠≠ i
i j

M Chapman-
Sea Tij una variable aleatoria que representa el pij(t) = Σ=
k 1
pik (s) * pkj (t - s) Kolmogorov
tiempo que el proceso permanece en el estado i para procesos
antes de pasar al j ( si no ocurre una transición a continuos
otro estado).

Los estados i,j se comunican si existen tiempos t1 ,t2

Tij tiene una distribución exponencial con tales que pij(t 1 ) > 0 y pji(t2 ) > 0
parámetro qij , es decir con media 1/ qij

6-17 6-18

3
 Otra forma de ecuaciones
Una cadena de Markov de tiempo continuo es
irreducible si todos los estados forman una sola
clase.
π j qj = Σ π i qij para j = 1,2,..M
i ≠≠ j

Probabilidades
Σ
M

Lim pij (t) = π j de estado estable πj = 0

j=0
t ∞
∞ o estacionarias

Las π j satisfacen
Ecuaciones Tasa de salidas Tasa de entradas
M =
de un estado a ese estado
π j = Σ π i pij (t) para j = 1,2,..M y t ≥ 0
de Balance
i=0

6-19 6-20

Ejemplo Cuando se termina la reparación el tiempo que

transcurre hasta la siguiente descompostura se
Un taller opera con 2 máquinas idénticas que distribuye exponencial con media 1 día.
operan continuamente excepto cuando se
descomponen. Nota: Las distribuciones son independientes

M1 M2
Definamos la variable aleatoria

X(t´) : Número de máquinas descompuestas en el

El tiempo requerido para reparar una máquina
tiempo t´ (los valores posibles de X(t´) son 0,1,2)
tiene distribución exponencial con media 1/2 de día

6-21 6-22

Cuando corremos el parámetro t´de manera Podemos usar las probabilidades de estado
continua desde el tiempo cero, podemos hallar la estable para hallar la distribución de
evolución en el tiempo del número de máquinas probabilidad de estado estable para el número
descompuestas. de máquinas descompuestas.

Proceso estocástico
de tiempo continuo ≥0}
= { X(t´) ; t´≥
Debemos hallar para i,j = 0,1,2

qi : Tasa de transición hacia fuera del

Tiempo de reparación y el tiempo
Cadena de Markov hasta la siguiente descompostura
de tiempo continuo tienen distribución exponencial.
6-23
estado i por unidad de tiempo que pasa en i
qij : Tasa de transición del estado i al j por
unidad de tiempo que pasa en i
6-24

4
 El estado (número de máquinas descompuestas)
Aumenta en 1 cuando
ocurre una descompostura
La tasa a la que se
El tiempo esperado
terminan las reparaciones
de reparación es 1/2
(cuando hay máquinas
de día
descompuestas) es 2
Disminuye en 1 cuando máquinas por día
hay una reparación

q21 = 2
q02 = 0
Como las Esto implica
descomposturas y q10 = 2
las reparaciones q20 = 0
ocurren una a la vez

6-25 6-26

El tiempo esperado La tasa a la que se q01 = 2 q12 = 1

hasta que se descomponen las máquinas
Descompostura
descompone una (cuando está operando) es
máquina es 1 día 1 por día

0 1 2
Esto implica q12 = 1

Reparación
Durante los tiempos en que las dos máquinas operan,
las descomposturas ocurren a una tasa de 1+1=2 por q10 = 2 q21 = 2
día q01 = 2

6-27 6-28

Estas tasas de transición se pueden usar para π 0 = 2π

2π π1 (para el estado 0)
calcular la tasa de transición total hacia fuera Ecuaciones
π 1 = 2π
3π π 0 +2π
π2 (para el estado 1)
del estado de Balance
π2 = π1
2π (para el estado 2)
q0 = q01 = 2
q1 = q10 + q12 = 3 π0 + π1 + π2 = 1 (Suma de probabilidades)

q2 = q21 = 2 Cualquiera de estas ecuaciones se puede eliminar

como redundante y obtendremos
π 0 , π 1 , π 2 ) = ( 2/5 , 2/5 , 1/5)
(π
Ecuaciones Tasa de salidas Tasa de entradas
= Ambas máquinas estarán descompuestas simultáneamente el
de Balance de un estado a ese estado 20% del tiempo y una máquina estará descompuesta el 40%.
Las dos estarán buenas el 40%
6-29 6-30