Procesos Estocásticos

Universidad de La Serena
Facultad de Ingeniería
Departamento de Ingeniería Civil Industrial
INVESTIGACION DE OPERACIONES 2
PARTE II
PROCESOS ESTOCASTICOS
Msc. Ing. Oscar A. Contreras G.

IO2 Parte 2: Procesos Estocásticos
a.- Procesos Estocásticos:
Un Proceso Estocástico se define como secuencia de

variables aleatorias {Xt} t∈T, donde el conjunto de
índices T puede ser un conjunto discreto, por ejemplo
T = {0,1,2,3,...}, caso en el cual decimos que el
proceso es tiempo discreto o bien T puede ser un
intervalo, por ejemplo T = [0,∞), caso en el cual
decimos que el proceso es en tiempo continuo.
a.- Procesos Estocásticos

El proceso estocástico {Xt} t∈T puede representar por

ejemplo:
• El número de vehículos esperando en una plaza de
peaje en el instante t.
• El número total de llamadas recibidas solicitando un
determinado servicio hasta el instante t.
• El número de máquinas descompuestas o en
reparación en un determinado taller en el instante t.

El nivel de inventario de cierto producto al final del día t.

• El valor de una determinada acción en el instante t.
Por ejemplo:
La evolución del número de compradores en una tienda
al ser abierta al público, entre las 8:00 y 9:40 de la
mañana (100 minutos) puede ser representada por un
proceso estocástico y una posible realización de éste se
observa en la siguiente gráfica:

Número 4
de
3
compradores
en el
2
sistema
1
0
20 40 60 80 100
Tiempo (en minutos)

b.- Cadenas de Markov:
Si se considera un ejemplo simple relacionado con la

propagación de una enfermedad contagiosa. La
transmisión de la enfermedad se produce desde un
individuo infectado a uno susceptible de contagio.
Teniendo presente periodos semanales.
Sea p la probabilidad de que durante una semana

cualquiera un individuo infectado le transmita la
enfermedad a uno susceptible de contagio. Se considera
que cuando una persona ha sido infectada, ésta queda
inmune una vez que ha sido tratada.
b.- Cadenas de Markov

Cadenas de Markov en tiempo discreto.
Sea Xn el número de individuos susceptibles de

contagio en la población al final de la semana n=1,2,...
Se define pij = IP(Xn+1 = j / Xn = i) , como la probabilidad de
que haya j individuos susceptibles al final de la semana
n+1 dado que hay exactamente i individuos
susceptibles de contagio al final de la semana n (i ≥ j ).
Entonces:
 i  i− j
pij =   p (1 − p) j
 j

Un proceso estocástico en tiempo discreto {Xn}n=1,2,....

se denomina una Cadena de Markov en tiempo discreto
si satisface las siguientes propiedades:
i) Propiedad Markoviana:
IP( X n+1 = j / X 0 = i0 , X 1 = i1 ,..., X n−1 = in−1 , X n = i)

= IP( X n+1 = j / X n = i)
Donde i0, i1, ..., in-1, i, j son los posibles “estados” o
valores que puede tomar dicho proceso estocástico en
las distintas etapas.

ii) Propiedad estacionaria:
La probabilidad p ij = IP ( X n + 1 = j / X n = i) , no depende
de la etapa n.
Las probabilidades pij son llamadas “probabilidades de

transición” en una etapa del estado i al estado j.
Suponiendo que en cada etapa n la v.a. Xn toma un

número finito de valores (estados), por ejemplo 1,2,...
M; estas probabilidades definen una matriz P de
probabilidades de transición en una etapa.

Matriz P de Probabilidades de Transición en una Etapa
 p11 p12 ⋅⋅⋅ p1M 

 p p22 ⋅⋅⋅ p2 M 
 21
P = ( pij ) i =1...M = 
j =1... M  
 p( M −1)1 p( M −1) 2 ⋅⋅⋅ p( M −1) M 
 pM 1 pM 2 ⋅⋅⋅ pMM 

Adicionalmente, se supone conocida la distribución de

probabilidad de la Cadena de Markov en la etapa
inicial, que denotamos según f 0, donde :
 IP ( X 0 = 1) 
 IP ( X = 2 ) 
f =
0  0 
 
 
 IP ( X 0 = M ) 

El conocimiento del proceso estocástico

{Xn}n=0,1,2,..., consiste en poder determinar la
distribución de probabilidad en cada etapa, es
decir calcular IP (Xn = j) para cada n ≥ 1 y
estado j= 1,2,.....,M.
Se debe tener presente que para cada j:
IP ( X n = j ) = ∑ IP ( X n = j / X n −1 = i ) IP ( X n −1 = i )
i
= ∑ pij IP ( X n −1 = i )
i

Matricialmente esto equivale a tener:
 IP ( X n = 1)   p11 p21 ⋅⋅ p M 1   IP ( X n −1 = 1) 
 IP ( X = 2)   p p22 ⋅⋅ p M 2   IP ( X n −1 = 2) 
 n   12
fn = =  
    
    
 IP ( X n = M )   p1M p2 M ⋅⋅ p MM   IP ( X n −1 = M ) 
De manera recursiva se tiene entonces:
f n = PT f n-1 = (PT)n f 0

También es posible obtener las probabilidades de

transición de un estado a otro al cabo de k etapas, que
denotamos por :
pij( k ) = IP ( X n + k = j / X n = i ) = IP ( X k = j / X 0 = i )
Que resumidas en una matriz (para el caso de un número
finito de estados).
P (k )
= (p )
(k )
ij
Estas satisfacen las ecuaciones de:
Chapman- Kolmogorov que implican: P(k) = Pk

Ejemplo a.-
Considere una tienda que mantiene un inventario de un
producto dado para satisfacer una demanda
(aleatoria). La demanda diaria D, tiene la siguiente
distribución:
IP (D = 0) = 1/4, IP (D = 1) = 1/2,
IP (D = 2) = 1/4, IP (D >= 3) = 0
Sea Xn el nivel de inventario al inicio del día n y

suponga que la tienda tiene la política de mantención
de inventario (s, S), que consiste en que si al final del
día se posee menos de s, se hace una orden de pedido
que al inicio del día siguiente eleva las existencias al
nivel S y en caso contrario, no se pide nada.
Asuma que la demanda no satisfecha es demanda

perdida y que al inicio del horizonte de planificación
hay S unidades en inventario con s = 1 y S = 2.
Se tiene que:
Xn ∈ {1, 2}; n = 0, 1, 2, ...
 IP( x0 = 1)  0
f =
0
 = 
 IP( x0 = 2) 1
pi , j = IP( X n +1 = j / X n = i ) ; i, j ∈ {1,2}

Luego:
p11 = IP( D = 0) = 1 / 4
p12 = IP( D ≥ 1) = 3 / 4
p21 = IP( D = 1) = 1 / 2
p22 = IP( D = 0) + IP( D ≥ 2) = 1 / 2
Entonces la matriz de probabilidades de transición en

una etapa corresponde a:
1 / 4 3 / 4
P= 
1 / 2 1 / 2 

Ejemplo b.-
Suponga que en el sistema de las AFP existen solo 2; las

AFP A y las AFP B.
Sea N el número de personas afiliadas al sistema; la

superintendencia está preocupada de que las cuentas
individuales estén al día. Para ello ha establecido un
sistema de control basado en el siguiente
procedimiento:
al final de cada mes escoge una persona al azar de los N
existentes en el sistema.

Si la AFP a la cual pertenece la persona no tiene su

cuenta individual al día; la persona es traspasada de
inmediato a la otra AFP, en caso contrario la deja en la
AFP en la que estaba.
Suponga que la probabilidad de que un afiliado en la AFP

A tenga su cuenta al día es P1 y que esta probabilidad
para la AFP B es P2.
Se desea estudiar la movilidad de los clientes en cada

AFP en cada mes del horizonte de planificación.

Se tiene:
Xn: el número de personas en la AFP A al final del mes

n; con n = 0, 1, 2, ..., n
xn ∈ {0, 1, 2, ..., N}
Calculemos las probabilidades de transición en una
etapa (mes): pi ,i −1 = i (1 − P1 ) ; 1 ≤ i ≤ N − 1
N
i ( N − i)
pi ,i = P1 + P2
N N
( N − i)
pi ,i +1 = (1 − P2 )
N
pij = 0 ; j ≠ i − 1, i, i + 1
p0, 0 = P2 p0,1 = (1 − P2 ) p0, j = 0 j ≠ 0,1

p N , N −1 = 1 − P1 p N , N = P1 p Nj = 0 j ≠ N − 1, N
Clasificación de los estados y distribución límite.

En esta sección se presentan algunos resultados que
tienen relación con la existencia y cálculo de una
distribución para la Cadena de Markov en el largo
plazo. Previamente, se enumeran algunas definiciones
que clasifican los estados de una cadena:
i) Un estado j se dice accesible desde el estado i si

para algún n
p (n)
ij = IP ( X n = j / X 0 = i ) > 0

ii) Si tanto el estado i es accesible desde j como

viceversa decimos que los estados i y j se comunican.
iii) Dos estados que se comunican están en una misma

clase de estados.
iv) Se dice que una cadena es irreducible si hay una sola

clase de estados.

v) Un estado se dice que tiene periodo d, para el

mayor valor del entero d que cumple:
p (n)
ii = IP ( X n = i / X 0 = i ) > 0
sólo para valores de n pertenecientes al conjunto

{d, 2d, 3d, ....}. Si d=1 decimos que el estado es
aperiódico.

vi) Se define T(i,j) como el número de etapas

requeridas por el proceso para pasar de estado i al
estado j por primera vez.
De igual modo se define:
Fk (i, j ) = IP (T (i, j ) = k )
es decir :
Fk (i, j ) = IP ( X k = j , X k −1 ≠ j ,..., X 1 ≠ j / X 0 = i )
como la probabilidad de que comenzando en i, ocurra

la primera transición al estado j al cabo de exactamente
k etapas.

Puede probarse por inducción, la siguiente formula:
F1 (i, j ) = pij
Fk = (i, j ) = ∑ pim Fk −1 ( m, j ), k >1
m≠ j
vii) En particular, se denota por Fk(i,i) la probabilidad

de que el proceso retorne al estado i por primera vez al
cabo de k etapas.
De modo que:
∞
F (i, i ) = ∑ Fk (i, i )
k =1

que es la probabilidad que partiendo en i , el proceso

regrese al estado i alguna vez.
viii) Un estado se dice recurrente ssi F(i,i) = 1
ix) Un estado se dice transciente ssi F(i,i)< 1
∞
x) Sea IE(T(i, i)) = ∑k =1k Fk (i, i) , el valor esperado de el
número de etapas que le toma al proceso volver al estado
i por primera vez, partiendo del estado i.

Un estado se dice recurrente positivo ssi:
F(i, i) = 1 y IE(T (i, i)) < +∞
Un estado se dice recurrente nul ssi :
F(i, i) = 1 y IE(T (i, i)) = +∞

Ejemplo
Define una cadena

1 / 2 1 / 2 0 
p =  0 1/ 3 2 / 3
de estados irreducible
  con estados recurrente
1 / 3 1 / 3 1 / 3  positivos periódicos
Posee dos clases

 1 1/ 2 0 
p = 1 / 2 1 / 6 1 / 3 
de estados y uno de
  los estados es
1 / 5 3 / 5 1 / 5  transciente.

Es una cadena
irreducible, de
 0 1 0 0
1 / 2 estados recurrentes
0 1/ 2 0
p=  positivos y todos
 0 0 0 1
 1 sus estados son
 0 0 0  periódicos de
periodo d=2.

Si la distribución de probabilidad del proceso en

el largo plazo existe y es independiente de la
distribución inicial (o del estado inicial), decimos
que el proceso tiene una distribución
estacionaria p = (p1, p2, ..., pM)T
π j = lim IP( X n = j) = lim pij(n)

n→ ∞ n→ ∞

Proposición.
Sea {Xn}n=0,1,2 una cadena de Markov irreducible con
estados recurrentes positivos aperiódicos, entonces
existe una distribución estacionaria π, tal que π > 0
y que se obtiene como la solución única del sistema:
π=P π T
∑ πj = 1
j
πj ≥ 0

Ejemplo. Se desea calcular las probabilidades
estacionaria πj, que también representan la fracción
del tiempo que el sistema esta en el estado j en el
largo plazo
1/2 1/2
1 / 2 1 / 2 0 
p =  0 1/ 3 2 / 3 1
  1/3 2 1/3
1 / 3 1 / 3 1 / 3 
1/3
2/3
3
1/3
π = PT π
π1 + π 2 + π 3 = 1
Sistema que corresponde a las siguientes
ecuaciones:
1 1
(1) π1 = π1 + π 3
2 3
1 1 1
(2 ) π 2 = π 1 + π 2 + π 3
2 3 3
2 1
(3 ) π 3 = π 2 + π 3
3 3
( 4 ) π1 + π 2 + π 3 = 1

2
de (1) π1 = π 3
3
de (2 ) π 2 = π 3
2
así π3 + π3 + π3 = 1
3
1 3
∴ Solución π1 = π2 = π3 =
4 8

Ejemplo:
Una compañía esta considerando emplear cadenas de
markov para analizar los cambios en las preferencias
de los usuarios por tres marcas distintas de un
determinado producto. El estudio ha arrojado la
siguiente estimación de la matriz de probabilidades
de cambiarse de una marca a otra cada mes:
1 2 3
1 0.8 0.1 0.1
2 0.03 0.95 0.02
3 0.2 0.05 0.75

En la actualidad los porcentajes de mercado son

45%, 25% y 30%, respectivamente.
¿Cuales serán los porcentajes de mercado de
cada marca en dos meses más?
xn ∈{1,2,3}: marca que adquiere un cliente
cualquiera en el mes n=0,1,2,3,...
 IP( X 0 = 1) = 0.45   0 .8 0 .1 0 .1 
f 0 = IP( X 0 = 2) = 0.25  P = 0.03 0.95 0.02 
   
IP( X 0 = 3) = 0.30   0.2 0.05 0.75 

Al término del mes siguiente:

 IP( X 1 = 1) = 0.4275 
f 1 = P T f 0 = IP( X 1 = 2) = 0.2975 
 
IP( X 1 = 3) = 0.2750 
Y dos meses después:

 IP( X 2 = 1) = 0.4059 
f 2 = P T f 1 =  IP( X 2 = 2) = 0.3391
 
IP( X 2 = 3) = 0.2550 

De aquí las cuotas de mercado en dos meses a

cambiado de un 45% a un 40.59%; de un 25% a
un 33.91% y de un 30% a un 25.50%, para las
marcas 1,2 y 3 respectivamente.
¿Cuál es la cuota de mercado en el largo plazo

para cada una de las marcas?
La cadena resultante es irreducible con estados
recurrentes positivos y aperiódicos . Denotando
por
π=(π1, π2, π3)T, las probabilidades estacionarias
de largo plazo, las cuales satisfacen:

π=PT π
Σ πi = 1 ; i = 1,2,3.
π1=0.8 π1+ 0.03 π2+0.20 π3

π2=0.10 π1+ 0.95 π2+0.05 π3
π3=0.10 π1+ 0.02 π2+0.75 π3
π1 + π2+ π3 =1
Cuya solución resulta:

π1= 0.2373 π2= 0.6184 π3= 0.1443

De aquí que la cuotas de mercado en el largo plazo

resultan ser 23.73%, 61.84% y 14.43% para las
marcas 1,2 y 3 respectivamente.
Notar que las actuales cuotas difieren

significativamente de las cuotas obtenidas en el
largo plazo lo cual puede implicar que de alguna
manera deban ser corregidas las probabilidades de
transición.

Cadenas de Markov en tiempo continuo.
Se desea estudiar el comportamiento de sistemas

que dependen en forma continua del tiempo:
Xt: número de ambulancias disponibles en el

instante t.
Xt: número de personas esperando ser atendidas en
el banco o en el supermercado en el instante t.
Xt: número de máquinas funcionando correctamente
en un taller en el instante t.

Propiedad Markoviana:
IP( X t + s = j / X u = X (u), 0 ≤ u ≤ t , X t = i)
= IP( X t + s = j / X t = i)
Propiedad Estacionaria
IP( X t + s = j / X t = i) , no depende de t, sólo de s.

Una realización posible del proceso estocástico

es:
4
Xt
3
2
1

¿Cómo representar el proceso?

- Se necesitan las probabilidades de que ocurra un
“salto” de un estado a otro.
- La distribución de los tiempos de permanencia en un
estado.
Se necesita explicitar:
i) Probabilidades de transición pij (asumiendo pii=0)
ii) Tasas vi de los tiempos exponenciales Ti de
permanencia en el estado i.

Distribución de Xt :
pij ( t ) = IP( X t = j / X 0 = i)
Estas probabilidades satisfacen:
d
pij ( t ) = ∑ pik ( t )vkpkj − v jpij ( t )
dt k≠ j
Si existe una distribución estacionaria:
π j = lim pij ( t )
t→∞

La ecuación diferencial anterior provee el

siguiente sistema de ecuaciones para las
probabilidades estacionarias (de existir):
0= ∑ πk vkpkj − v jπ j ; j = 1,2,... ∑ πj = 1
k≠ j j
O equivalentemente el sistema:
v jπ j = ∑ πk vkpkj ; j = 1,2,... ∑ πj = 1
k≠ j j

Ejemplo :
En el puerto de Valparaíso existen N trenes
encargados de traer cargas de contenedores
desde los buques hasta una unidad de descarga.
En esta unidad existen c grúas ( c < N) para
descargar los trenes. El tiempo que le toma a una
grúa descargar un tren es exponencial a tasa µ.
Un tren deja la unidad de descarga cuando la
grúa termina de atenderlo y vuelve con una nueva
carga después de un tiempo exponencial de tasa
λ. Formular un modelo que nos permita obtener
en el largo plazo :

- Número medio de trenes esperando ser atendidos en

la cuidad de descarga
- Número medio de grúas que se encuentran
atendiendo trenes
- Fracción del tiempo en que hay al menos una grúya
desocupada
Xt : El número de trenes que están en la unidad de

descarga (Xt ∈{0,1,2,...,N})
Si existen 0 ≤ j ≤ c trenes en la unidad de descarga
vj= j µ+ (N – j) λ

Es decir, el tiempo que transcurre con j trenes

en la unidad de descarga es una v.a. Exponencial
correspondiente al mínimo entre los tiempos que
transcurren hasta que se descarga
completamente un tren de los j existentes en
dicha unidad y los tiempos que transcurren hasta
que retorna uno de N – j trenes que vuelve con
carga.

Además, las únicas posibles transiciones son:
pj,j-1= j µ / (j µ + (N – j ) λ) j > 0
pj,j+1=( N- j ) λ / (j µ + (N – j ) λ)
Esto es, las probabilidades que se termine de

descargar un tren antes de que vuelva uno con
carga y viceversa.

Análogamente si c < j ≤ N estos parámetros resultan:
vj= c µ+ (N – j) λ
pj,j-1= c µ / (cµ + (N – j ) λ)
pj,j+1=( N - j ) λ / (cµ + (N – j ) λ) ( j ≤ N )

En este caso las ecuaciones que determinan las

probabilidades estacionarias :
π j = lim pij ( t )
Resultan ser las siguientes: t→∞
N λ π0 = µ π1
[µ + ( N – 1 )] = N λ π0 + 2 µ π2
...
[cµ + ( N – c ) λ] πC = (N –( c – 1)) λ πc-1 + c µ πC+1
...
[cµ + λ] πN-1 = 2 λ πN-2 + c µ πN

c µ πN = λπN-1
π1+ π1+...+ πN = 1
Así, el número de trenes esperando ser

atendidos en la unidad de descarga es :
N
∑ (n − c) πn
n=c
El número promedio de grúas atendiendo trenes

c N
∑ n πn + ∑ c πn
n =1 n= c +1

Y la fracción de tiempo en que hay al menos una grúa

desocupada es :
c −1
∑ πn
n=0

Procesos Estocásticos

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Procesos Estocásticos

Încărcat de

Drepturi de autor:

Formate disponibile

Universidad de La Serena

Msc. Ing. Oscar A. Contreras G.

Un Proceso Estocástico se define como secuencia de

a.- Procesos Estocásticos

El proceso estocástico {Xt} t∈T puede representar por

a.- Procesos Estocásticos

El nivel de inventario de cierto producto al final del día t.

a.- Procesos Estocásticos

a.- Procesos Estocásticos

Si se considera un ejemplo simple relacionado con la

Sea p la probabilidad de que durante una semana

b.- Cadenas de Markov

Cadenas de Markov en tiempo discreto.

Sea Xn el número de individuos susceptibles de

b.- Cadenas de Markov

Un proceso estocástico en tiempo discreto {Xn}n=1,2,....

IP( X n+1 = j / X 0 = i0 , X 1 = i1 ,..., X n−1 = in−1 , X n = i)

b.- Cadenas de Markov

ii) Propiedad estacionaria:

Las probabilidades pij son llamadas “probabilidades de

Suponiendo que en cada etapa n la v.a. Xn toma un

b.- Cadenas de Markov

Matriz P de Probabilidades de Transición en una Etapa

 p11 p12 ⋅⋅⋅ p1M 

b.- Cadenas de Markov

Adicionalmente, se supone conocida la distribución de

b.- Cadenas de Markov

El conocimiento del proceso estocástico

Se debe tener presente que para cada j:

b.- Cadenas de Markov

Matricialmente esto equivale a tener:

De manera recursiva se tiene entonces:

b.- Cadenas de Markov

También es posible obtener las probabilidades de

Estas satisfacen las ecuaciones de:

Chapman- Kolmogorov que implican: P(k) = Pk

b.- Cadenas de Markov

Sea Xn el nivel de inventario al inicio del día n y

Asuma que la demanda no satisfecha es demanda

Xn ∈ {1, 2}; n = 0, 1, 2, ...

b.- Cadenas de Markov

Entonces la matriz de probabilidades de transición en

b.- Cadenas de Markov

Suponga que en el sistema de las AFP existen solo 2; las

Sea N el número de personas afiliadas al sistema; la

b.- Cadenas de Markov

Si la AFP a la cual pertenece la persona no tiene su

Suponga que la probabilidad de que un afiliado en la AFP

Se desea estudiar la movilidad de los clientes en cada

b.- Cadenas de Markov

Xn: el número de personas en la AFP A al final del mes

p0, 0 = P2 p0,1 = (1 − P2 ) p0, j = 0 j ≠ 0,1

Clasificación de los estados y distribución límite.

i) Un estado j se dice accesible desde el estado i si

b.- Cadenas de Markov

ii) Si tanto el estado i es accesible desde j como

iii) Dos estados que se comunican están en una misma

iv) Se dice que una cadena es irreducible si hay una sola

b.- Cadenas de Markov

v) Un estado se dice que tiene periodo d, para el

sólo para valores de n pertenecientes al conjunto

b.- Cadenas de Markov

vi) Se define T(i,j) como el número de etapas