Investigación de Operaciones II

Procesos Estocásticos

Universidad de La Serena

Departamento de Ingeniería Industrial

Paulina González M. / Ing. Civil Industrial / clasesdii@gmail.com

Objetivo:

Aplicar la teoría de los modelos estocásticos enfatizando el

procesamiento de señales aleatorias que ayudan en la toma de
decisiones cuantitativas en presencia de incertidumbre.
Además, permite dar la solución óptima al enfrentamiento de los
intereses que componen un sistema real.

Palabras clave de la materia:

•Proceso estocástico
•Matriz de transición
•Cadenas de Markov
•Un proceso estocástico es aquel en el que se representan
todos y cada uno de los pasos necesarios para realizar una
actividad, además de las formas o maneras en que cada uno
de los pasos puede ser llevado a efecto y sus respectivas
probabilidades, dicho de otra manera, cualquier proceso en el
que se involucren probabilidades es un proceso estocástico.

•Un Proceso Estocástico se define como secuencia de

variables aleatorias {Xt} t  T, donde el conjunto de índices T
puede ser un conjunto discreto, por ejemplo T = {0,1,2,3,...},
caso en el cual decimos que el proceso es tiempo discreto o
bien T puede ser un intervalo, por ejemplo T = [0,∞), caso en el
cual decimos que el proceso es en tiempo continuo.
El proceso estocástico {Xt} tT puede representar por ejemplo:
• El número de vehículos esperando en una plaza de peaje en el instante t.
• El número total de llamadas recibidas solicitando un determinado servicio
hasta el instante t.
• El número de máquinas descompuestas o en reparación en un
determinado taller en el instante t.
• El nivel de inventario de cierto producto al final del día t.
• El valor de una determinada acción en el instante t.
Por ejemplo:
La evolución del número de compradores en una tienda al ser abierta al
público, entre las 8:00 y 9:40 de la mañana (100 minutos) puede ser
representada por un proceso estocástico y una posible realización de éste
se observa en la siguiente gráfica:
 Número 4
de
3
compradores
en el
2
sistema
1

0
20 40 60 80 100
Tiempo (en minutos)
1. En un lote de autos usados, el 25% son de la marca Ford, el 45% son Chevrolet y el 30% son
Chrysler, de los cuales, 2 de cada 8 autos Ford son estándar, 1 de cada 10 autos Chevrolet son
estándar y 2 de cada 10 autos Chrysler son también estándar, un cliente compra un auto de este
lote,
a. ¿cuál es la probabilidad de que el auto seleccionado por el cliente sea estándar?
b. ¿cuál es la probabilidad de que haya seleccionado un auto Chevrolet estándar?
c. ¿cuál es la probabilidad de que el auto seleccionado sea Ford o Chrysler automático?

S 2/8

Ford

A 6/8
25%

S 1/10

Probabilidad 45% Chevrolet

A 9/10

30% S 2/10

Chrysler

A 8/10
a. Probabilidad de seleccionar auto estándar

P(seleccionar un auto estándar) = p(seleccionar un Chevrolet o Chrysler o Ford

estándar)
= p(ChS) + p(ChrS) + p(FS)
= p(Ch)p(SCh) + p(Chr)p(SChr) + p(F)p(SF)
= 0.45*1/10 + 0.30*2/10 + 0.25*2/8
= 0.045 + 0.06 + 0.0625
= 0.1675

b.P(seleccionar un Chevrolet estándar) = 0.45*1/10 = 0.045

c.P(seleccionar un Ford o Chrysler automático) = p(FA) + p(ChrA)

= p(F)p(AF) + p(Chr)p(AChr)
= 0.25*6/8 + 0.30*8/10
= 0.1875 + 0.24 = =0.4275
Una Cadena de Markov es una serie de eventos, en la cual la probabilidad
de que ocurra un evento depende del evento inmediato anterior. En efecto,
las cadenas de este tipo tienen memoria. “ Recuerdan” el último evento y
esto condiciona las posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de
eventos independientes, como tirar una moneda al aire o un dado.

Si se considera un ejemplo simple relacionado con la propagación de una

enfermedad contagiosa. La transmisión de la enfermedad se produce
desde un individuo infectado a uno susceptible de contagio. Teniendo
presente periodos semanales.

Sea p la probabilidad de que durante una semana cualquiera un individuo

infectado le transmita la enfermedad a uno susceptible de contagio. Se
considera que cuando una persona ha sido infectada, ésta queda inmune
una vez que ha sido tratada.
Sea Xn el número de individuos susceptibles de contagio en la población al
final de la semana n=1,2,...

Se define pij  IP(Xn1  j / Xn  i) , como la probabilidad de que haya j

individuos susceptibles al final de la semana n+1 dado que hay
exactamente i individuos susceptibles de contagio al final de la semana n
(i  j ).

Entonces:  i  i j
pij    p (1  p) j
 j
La probabilidad condicional P(Xn+1 = j | Xn = i), de que la cadena estará en el estado j
en el tiempo n + 1 si está en el estado i en el tiempo n se conoce como una
probabilidad de transición. Si para una cadena de Markov esta probabilidad de
transición tiene el mismo valor para todo los tiempos n (n = 1, 2, 3, ... ) decimos que la
cadena tiene probabilidades de transición estacionarias.

Es decir una cadena de Markov tiene probabilidades de transición estacionarias si para

cualquier estados i y j existe una probabilidad de transición pij tal que P(Xn+1 = j | Xn =
i) = pij para n =1, 2, 3,...

Probabilidad de transición de un paso del estado i al estado j

Probabilidad de transición de n pasos

Se denota por Fk(i,i) la probabilidad de que el proceso retorne al estado i
por primera vez al cabo de k etapas.

F (i, i )   Fk (i, i )
De modo que:
k 1

que es la probabilidad que partiendo en i , el proceso regrese al estado i

alguna vez.

•Un estado se dice recurrente ssi F(i,i) = 1

•Un estado se dice transciente ssi F(i,i)< 1

 Un estado se dice recurrente positivo ssi:

F(i,i)  1 y IE(T(i,i))  
Un estado se dice recurrente nulo ssi :

F(i,i)  1 y IE(T(i,i))  


Nota: Sea IE(T(i,i))  k 1k Fk (i,i) , el valor esperado de el número de
etapas que le toma al proceso volver al estado i por primera vez, partiendo del
estado i.
•Un estado j se dice accesible desde el estado i si para algún n:

pij( n )  IP( X n  j / X 0  i)  0
•Si tanto el estado i es accesible desde j como viceversa decimos que los
estados i y j se comunican.

•Dos estados que se comunican están en una misma clase de estados.

•Se dice que una cadena es irreducible si hay una sola clase de estados.
Para mayor claridad, veamos un ejemplo:

Estamos interesados en cómo la distribución de una población entre estados puede cambiar
durante un período de tiempo.

La tendencia de una población a moverse entre n estados se puede describir a veces

mediante una matriz de n x n.

Consideremos una población distribuida entre n = 3 estados, que llamaremos estado

1,estado 2 y estado 3. Se supone que conocemos la proporción pij de la población del estado
j, que se mueve al estado i en determinado período de tiempo fijo.

Supongamos que la población de un país, está clasificada de acuerdo con los ingresos en

Estado 1: pobre
Estado 2: ingresos medios
Estado 3: rico

Además en cada período de 20 años tenemos los siguientes datos para la población y su
descendencia:

De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica; de la gente con

ingresos medios, el 15% pasó a pobre, y el 10% a rica; de la gente rica, el 5% paso a
pobre, y el 30%, a ingresos medios.
 Construcción elementos pij matriz de transición

Considerando que la matriz de transición es una matriz de probabilidades, se tiene:

Estado 1 Estado 2 Estado 3

Estado 1 0.80 0.19 0.01

Estado 2 0.15 0.75 0.10
Estado 3 0.05 0.30 0.65

OBSERVACIONES:

•Las entradas de la diagonal de la matriz representa la proporción de la población que no cambia de

estado en un período de 20 años.
•La suma de los registros de cada columna de la matriz T es 1, pues la suma refleja el movimiento
de toda la población para el estado relacionado en la parte superior de la columna.
Matriz P de Probabilidades de Transición en una Etapa

 p11 p12  p1M 

 p p22  p2 M 
 21
P  ( pij )i 1...M  
j 1...M  
 p( M 1)1 p( M 1) 2  p( M 1) M 
 pM 1 pM 2  pMM 
Adicionalmente, se supone conocida la distribución de probabilidad de la Cadena de
Markov en la etapa inicial, que denotamos según f 0, donde :

 IP( X 0  1) 
 IP( X  2) 
f 
0  0  f n = PT f n-1 = (PT)n f 0
 
 
 IP( X 0  M )
El conocimiento del proceso estocástico {Xn}n=0,1,2,..., consiste en
poder determinar la distribución de probabilidad en cada etapa, es
decir calcular IP (Xn = j) para cada n  1 y estado j= 1,2,.....,M.

Se debe tener presente que para cada j:

IP( X n  j )   IP( X n  j / X n 1  i ) IP(X n 1  i )

i

  pij IP( X n 1  i )
i
Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes
positivos aperiódicos, entonces existe una distribución estacionaria , tal
que  > 0 y que se obtiene como la solución única del sistema:

 P  T
Matricialmente esto equivale a tener:

 IP( X n  1)   p11 p21  pM 1   IP( X n 1  1) 

 IP( X  2)   p p22  pM 2   IP( X n 1  2) 
 n   12
fn    
    
    
 IP( X n  M )  p1M p2 M  pMM   IP( X n 1  M )

De manera recursiva se tiene entonces:

f n = PT f n-1 = (PT)n f 0
También es posible obtener las probabilidades de transición de un estado a
otro al cabo de k etapas, que denotamos por :

p (k )
ij  IP( X n k  j / X n  i)  IP( X k  j / X 0  i)
Que resumidas en una matriz (para el caso de un número finito de estados).

Estas satisfacen las ecuaciones de: P (k )

 (p )
(k )
ij

Chapman- Kolmogorov que implican: P(k) = Pk

Dada la matriz de transición de un sistema determine:
a. ¿Podría confeccionar un diagrama de transición?
b. ¿Podría determinar los estados a largo plazo de la matriz?

0.080 0.184 0.368 0.368

0.632 0.000 0.000 0.368
P= 0.264 0.368 0.368 0.000
0.080 0.184 0.368 0.368

a. Debemos verificar las propiedades de matriz de transición:

Diagrama de transición para n=4:

1 2

↺
4 3
b. Estados a largo plazo:

π1 0.080 0.184 0.368 0.368

π2 0.632 0.000 0.000 0.368
π3 = π1 π2 π3 π4 0.264 0.368 0.368 0.000
π4 0.080 0.184 0.368 0.368

1= π1 + π2 +π3 +π4

π1 = 0.2451
π2 = 0.2011
π3 =.02940
π4 = 0.2598
Suponga que toda la industria de gaseosas produce solo 2 colas: Coca-Cola
y Pepsi. Cuando una persona ha comprado CC hay una posibilidad de 90%
de que siga comprándola la vez siguiente; si una persona compró Pepsi, hay
80% de que repita la vez siguiente.
a) Si una persona actualmente es comprador de Pepsi ¿cuál es la
probabilidad de que compre CC pasadas 2 compras a partir de hoy?
b) Si en la actualidad una persona es comprador de CC ¿cuál es la
probabilidad de que compre CC pasadas 3 compras a partir de hoy?
c) Supongamos que el 60% de toda la gente toma hoy CC y el 40% Pepsi,
a 3 compras a partir de ahora, ¿qué fracción de los compradores estará
tomando CC?
d) Determine el estado estable del mercado.
Un fabricante de grabadoras está tan seguro de su calidad que está
ofreciendo garantía de reposición total si el aparato falla en dos años.
Basándose en datos compilados la compañía ha notado que solo el 1 % de
las grabadoras falla durante el primer año y 5 % durante el segundo. La
garantía no cubre grabadoras ya reemplazadas.
Modele el sistema como una cadena de Markov.

Solución:

1º) Definir cuantos estados existen

2º) Escribir claramente los estados

3º) Construir el sistema

Un taxi efectúa sus servicios en las ciudades R y S. si el taxi está en R, la
probabilidad de que un pasajero quiera ir a S es de 0.8. si está en S, la
probabilidad de ir a R es de 0.3.
Se sabe además que el beneficio esperado por carrera es:
Dentro de R: $1000
Dentro de S: $1200
Entre R y S: $2000
a) Obtener la probabilidad, a largo plazo de estar en R
b) Suponiendo que realiza 10 viajes, calcular, a largo plazo, el beneficio
esperado por carrera.
La producción de uvas en una empresa del Valle del Limarí se clasifican
según la cantidad y calidad de sol recibida durante el año y estas pueden
ser A, B ó C. la uva de tipo A, se destina a la producción de licores
añejados, la de tipo B para vinos de selección y la tipo C para producir
licores económicos. Por los antecedentes del año anterior se determinó
que si la cosecha de uvas fue de tipo A, las probabilidades de tener
durante la cosecha siguiente, una cosecha de uvas igual es de 0,4, y se
espera una cosecha de uvas de tipo C de 0,3. Si la cosecha de uvas fue
del tipo B, entonces se espera contar con uva del tipo A en una
probabilidad de 0,6 y B de 0,4. Si durante el año la cosecha de uva es de
tipo C, entonces para el año siguiente, se espera que la producción sea de
tipo C con una probabilidad de 0,4 y de tipo B de 0,6.
En promedio se producen anualmente 125000 kgs. De uva, y el ultimo año
se produjo solo uva del tipo B.
Se le solicita que apoye al ingeniero a cargo del programa de producción
en la elaboración del programa de producción para los próximos 5 años y
establezca la producción que se espera para 10 años más.
Ante la problemática actual de la crisis energética, el gobierno ha decidido analizar el uso
de las energías disponibles para generar energía eléctrica, con el fin de destinar recursos
para investigar aquellas que son alternativas sustentables (Eólica). El Ministerio de
Transporte y Energía le solicita a Ud. determinar cuales serán las proporciones de uso de
dicha energía en un horizonte de 10 años. Las energías actualmente en uso son: Petróleo,
Carbón, Hidráulica y Eólica. Por estudios realizados, se ha establecido que en la actualidad
se utiliza el 60% en energía Hidráulica, 15% en Petróleo y 20% en Carbón. Por otra parte
se analizó que: de la energía Hidráulica el 95% se mantiene usando la misma energía y el
5% cambia a Eólica; del uso del Carbón, el 25% se cambia a Hidráulica, un 45% continúa
usando Carbón y un 5% cambia a Petróleo; del uso de Petróleo, un 40% se mantiene
usando Petróleo, un 15% se cambia a Carbón y un 30% se cambia a Hidráulica; también
se sabe que quienes usan energía Eólica lo siguen haciendo. Se le solicita a Ud.:
a) Matriz inicial del caso
b) Matriz de Transición para resolver la situación planteada
c) Diagrama de Transición
d) Proporción de uso para los próximos 3 años
e) ¿Es conveniente de acuerdo a la tendencia del uso de los medios de generar energía
eléctrica que se realice investigación en energía alternativa (Eólica) o buscar mejores
mecanismos para obtener petróleo, Carbón o Hidráulica a mas bajos costos?