Procesos estocsticos

Unidad 2. Cadenas de Markov a tiempo discreto.

FACILITADORA: GUADALUPE DEL

CARMEN RODRGUEZ MORENO.
Actividad 2. Elementos de una cadena de Markov.
Instrucciones: identifica Xt, S y T, grafo, matriz de transicin y distribucin
inicial de las cadenas de Markov.
1. En Tuxpan Veracruz, 90% de los das soleados van acompaados de
das soleados y 80% de los das nublados van acompaados de das
nublados. se desea modelar el clima. establezca:

Defina x, s y t
Xt: estado del clima en el da nmero t.
S ={das soleados(S), das nublados(N)} discreto
T ={1,2,3} da en que suceda discreto

Se trata de un proceso estocstico con espacio de estados discreto.

Elabore un grafo.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
0.8
0.9
0.2
0.1

Matriz de transicin.
La situacin se puede modelar como una cadena de Markov con dos
estados{das soleados, das nublados}= {S, N}.
La matriz de transicin para el orden {S,N} es:

P= 0.9 0.1
0.2 0.8

Matriz estocstica.

Estado

Clima
S

S
N

P00=0.9
P10=0.2

N
P01=0.1
P11=0.8

Distribucin inicial:

La distribucin de probabilidad inicial de Xo es:

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y
Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
0=( 00 , 01 , 02 , )
0i =P( Xo=i)
Una cadena de Markov queda determinada si se conocen las probabilidades de
0
transicin, Pij, y la distribucin de probabilidad inicial, , entonces:
0=( 0 ( S ) , 0 ( N ) )=

( 12 , 12 )

Por definicin de sus propiedades:

k

Pij=1 , para cada i S

j=1

Esto nos dice que si estamos en el estado i, entonces la suma de las

probabilidades de ir a un estado s1, s2, ..., sk es 1.

Cul es la probabilidad de que al cuarto da est

nublado?

Para calcular la probabilidad de que al cuarto da se encuentre

nublado,tenemos la siguiente matriz de transicin P . Utilizamos la frmula:

P ( Xn= j ) = 0 ( i ) P n (i, j)
i j

= P

Calculamos la potencia 4:

P2= 0.9 0.1 0.9 0.1 = 0.830.17

0.2 0.8 0.20.8
0.34 0.66

)(

)(

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
P4 =P 2 P2= 0.83 0.17 0.83 0.17
0.34 0.66 0.34 0.66

P4 = 0.74 0.25
0.50 0.49

)(

4= 0 Pn=( 0.5,0.5 ) 0.74 0.25 =(0.62,0.37)

0.50 0.49

Solucin:
La probabilidad de que al cuarto da se encuentre nublado es del 37%.

Determine la trayectoria S-N-N-S-S

La trayectoria S-N-N-S-S est definida por:

0 ( S ) p ( S , N ) p ( N , N ) p ( N , S ) p ( S , S )=0.5 ( 0.8 )( 0.1 ) ( 0.9 ) ( 0.2 )=0.0072

2. En el tiempo 0, tengo $2. En los tiempos 1, 2, participo en un

juego en el que apuesto $1. Con probabilidad 3/5, gano el juego, y
con probabilidad 2/5 , pierdo el juego. Mi objetivo es incrementar
mi capital a $4, y cuando lo logre se termina el juego. El juego
tambin se termina si mi capital se reduce a $0.

Defina Xt, S y T

{ Xt } :cantidad de capital que tengo en cada tiempo t .

S : { 0,1,2,3,4 }
T : { 1,2,3 . }

discreto.
discreto.

Se trata de un proceso estocstico con espacio de estados discreto.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Elabore un grafo:

La matriz de transicin:
10000
2 3
0 00
5 5
P= 0 2 0 3 0
5 5
2 3
00 0
5 5
00001

()

Distribucin inicial.
0=( 0,0,1,0,0 )

Cul es la probabilidad de que al cuarto da tenga 4 pesos?

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y
Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
Calculamos la potencia 4 :

10000
2 3
0 00
5 5
P4 = 0 2 0 3 0
5 5
2 3
00 0
5 5
0 0 0 01

()

Mediante el programa Matlab, calculamos la

P4 de la matriz anterior, nos

d como resultado.

El resultado obtenido de esta matriz debemos multiplicarlo por la distribucin

inicial y tenemos:
10000
0.49
0.11
0 0.17 0.21
0 P 4=( 0,0,1,0,0 ) P4 =( 0,0,1,0,0 ) 0.23 0 0 .23 0 0.53 =
0.064 0.07 0 0.11 0.74
00001

( 0.23 0 0.23 0 .53 )

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
Solucin: La probabilidad de aumentar el capital a 4 pesos es de 53%.

Determine la trayectoria 0-1-1-2-3-3-4

0 ( 0 ) p ( 0,1 ) p ( 1,1 ) p ( 1,2 ) p ( 2,3 ) p ( 3,3 ) p ( 3,4 )=( 0.2 ) ( 0.6 ) ( 0 ) ( 0.6 ) ( 0.6 ) ( 0 ) ( 0,6 )=0
La trayectoria nos d cero, lo cual es lgico dado que se observan saltos de
un estado a otro estado, volviendo al mismo, cuando se est jugando.
3. Cada familia estadounidense se clasifica segn donde vive como
urbana, rural o suburbana. Durante un ao especfico, 15% de las
familias urbanas se mudaron a una ubicacin suburbana, y 5% se
mudaron a un rea rural; tambin, 6% de las familias suburbanas
se trasladaron a un rea urbana y 4% se pasaron a una ubicacin
rural; por ltimo, 4% de las familias rurales se fueron a un rea
urbana y 6% se cambiaron a un lugar suburbano. Establezca:

Defina X t , S y T
Xt: zona de ubicacin de familias estadounidenses en aos t.
S= (U, R, S)
ubicacin
T=(0,1,2,3) aos

Elabore grafo.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

0.05

0.04

0.06

0.04

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas
0.15

0.06

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Establezca la matriz estocstica.

0.8 0.15 0.05

0.06 0.9 0.04
0.04 0.06 0.9

)
U
0.8
0.06
0.04

U
S
R

S
0.15
0.9
0.06

R
0.05
0.4
0.9

Si una familia ahora vive en un lugar urbano, cul es la

probabilidad de que viva en un rea urbana dos aos a
partir de ahora? un rea suburbana? un rea rural?

Para calcular la probabilidad de que si una familia que vive en un lugar

urbano, viva en un rea urbana en dos aos a partir de ahora, tenemos que la
distribucin inicial es:
U R S

Distribucin Inicial: (1, 0, 0)

)(

0.8 0.15 0.05 0.8 0.15 0.05

P2= 0.06 0.9 0.04 0.06 0.9 0.04 =
0.04 0.06 0.9 0.04 0.06 0.9

0.6510 0.2580 0.0910

0.1036 0.8214 0.0750
0.0716 0.1140 0.8144

Multiplicamos por el vector de distribucin inicial:

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

0.6510 0.2580 0.0910

0 2
P = ( 1 0 0 ) 0.1036 0.8214 0.0750 =( 0.651,0.091,0 .258 )
0.0716 0.1140 0.8144
Solucin:
El resultado nos indica que existe una probabilidad del 65.1% de que una
familia urbana no se cambie de lugar, al menos en dos aos; el 9.1 % de que
una familia en rea urbana se cambie a una rural y un 25.8 % de que una
familia en rea urbana se vaya a una suburbana.

Suponga que en el presente, 40% de las familias viven en un

rea urbana, 35% viven en un rea suburbana y 25% viven en
un rea rural. dos aos a partir de ahora, qu porcentaje de
familias estadounidenses vivir en un rea urbana?
De acuerdo a los datos, y partiendo del estado inicial tenemos:
U
S
R
(0.4 , 0.35 , 0.25)
Para calcular el porcentaje, se procede de la siguiente manera:

Multiplicamos este vector por

0.6510 0.2580 0.0910

0 P2=(0.4 ,0.35 , 0.25) 0.1036 0.8214 0.0750 =( 0.314,0 .419,0 .266 )
0.0716 0.1140 0.8144
U
R
S
(0.314 , 0.419 , 0.266)

Lo cual arroja como resultado que dos aos a partir de ahora, el 31.4% de las
familias estadounidenses vivirn en un rea urbana.
Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y
Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
4. Considere un sistema de inventarios en el que la secuencia de
sucesos durante cada perodo es como sigue:
a) Se observa el nivel de inventarios (llmelo i) al comienzo
del perodo.
b) Si i1, se pide 4-i unidades. Si i2, se piden 0 unidades. La
entrega de las unidades pedidas es inmediata.
c) Con probabilidad 1/3, la demanda durante el perodo es de
0 unidades; con probabilidad 1/3, la demanda durante el
perodo es de 1 unidad y con probabilidad 1/3, la demanda
durante el perodo es de 2 unidades.
d) Se observa el nivel de inventario al comienzo del siguiente
perodo.
Defina el estado de un perodo como el nivel de inventario
inicial del perodo.

Defina Xt, S y T:
Xt: nivel de inventario inicial en perodo t.
S={0,1,2,3,4}
T={0,1,2..}

Elabore grafo.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Establezca la matriz estocstica

Estados
0

0
0

1
0

2
1/3

3
1/3

4
1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

1/3

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

0
0 1 /3
0
0 1 /3
1/3 1 /3 1/3
0 1 /3 1/3
0
0 1/3

1/3
1/3
0
1/3
1/3

1/3
1/3
0
0
1/3

Si i=0 , inmediatamente se v a 4 y tambin pasa a 2, 3 4 con probabilidad

1/3
cada una.
Si i = 1, inmediatamente se v a 4 y pasa a 2,3,4 con probabilidad 1/3 cada una.
Si i = 2 , no se pide nada, y pasa a 0,1,2 con probabilidad 1/3 cada una.
Si i = 3 no se pide nada y pasa a 1,2,3 con probabilidad 1/3 cada una.
Si i = 4 no se pide nada y pasa a 2,3,4 con probabilidad 1/3 cada una.

Suponga que inicio con 0 unidades en el inventario, como ser la

distribucin inicial?

De acuerdo a los datos proporcionados en el problema, la situacin inicial sera:

0=( 1 0 0 0 0 )

Cul es la probabilidad que al tercer da tenga 3 unidades en el

inventario?

Calculamos la Potencia 3 con ayuda de Matlab:

0
0 1/3
0
0 1/3
P3= 1/3 1/ 3 1/3
0 1/ 3 1/3
0
0 1/3

1/3
1/3
0
1/3
1/3

1 /3
1 /3
0
0
1 /3

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Solucin:

La

probabilidad de tener 3 unidades el tercer da es de

0.2216

5. Considere el modelo del valor de una accin en el mercado de

acciones. Se sabe que si la accin subi los das seguidos (ayer y
hoy) la probabilidad de que suba maana es de 0.9. Si la accin
subi hoy pero ayer baj, la probabilidad de que maana suba es de
0.6. Si la accin baj hoy pero ayer subi, entonces la probabilidad
de que maana suba es de 0.5. Por ltimo, si bajo durante los dos
das, la probabilidad de que maana suba es de 0.3. Establezca una
cadena que sea de Markov considerando la informacin anterior.

Defina Xt, S y T

Xt: Variacin de sube y baja de los valores de las acciones en das t

S={0,1,2,3}
T={1,2,3,..}
De acuerdo a la informacin ofrecida, se establece una cadena de Markov, en la
cual tenemos que los estados deben ser cuatro, y que nos indican la variacin de la
accin en los dos ltimos das. Los cuatro estados son: SS, SB, BS, BB
Asimismo, la primera letra indica lo que pas ayer y la segunda hoy, entonces
tenemos que puede variar de la siguiente manera:
SS
SB
BS
BB

a SS SB
a BS BB
a SS SB
a BS BB

Elabore un grafo.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos

Unidad 2. Cadenas de Markov a tiempo discreto.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos

Unidad 2. Cadenas de Markov a tiempo discreto.

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Establezca la matriz de transicin y estocstica

P= 0.9 0.5
0.6 0.3

)
S
B

SS

0.9
0.6

0.5
0.3

SS

SB

BS

BB

0.9

0.1

0.5

0.5

SB

BS

0.6

0.4

BB

0.3

0.7

Cmo ser la distribucin inicial?

La distribucin inicial ser la siguiente:

0=( 0 ( S ) , 0 ( B ) )=( 0.25,0.25,0 .25,0 .25)

Cul es la probabilidad de que en 4 das la accin baje?

P4 = 0.9 0.5
0.6 0.3

Resolvemos por Matlab y tenemos la solucin de la matriz

P4 .

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.

Multiplicamos el resultado obtenido por la distribucin inicial:

0.72510.0855 0.1894 0
0.6234
0.1320 0.2446 0 =
( 0.25,0 .25,0.25,0 .25 )
0.5130 0.17750.3095 0
0.3834 0.1839 0.1926 0.2401

( 0.561, 0.144,0. 234, 0.060 )

Solucin: Por lo tanto, la probabilidad cuando el cuarto da la accin baje es:

0.234+ 0.06=29.4

BB SB
Fuentes de consulta:
Curso de Procesos Estocsticos, Unidad 2, Depto. de Ciencias Exactas,
Unadm,2014.
http://www.gayatlacomulco.com/tutorials/investoper2/unidad4.htm.
http://metodosunoydos.galeon.com/enlaces2221689.html
BS SS
http://investigaciondeoperaciones2markov.blogspot.mx/p/teoria-yejemplos.html
http://www.ugr.es/~bioestad/_private/cpfund10.pdf
http://es.slideshare.net/oskr2588/cadenas-de-markov-blog
http://www.youtube.com/watch?v=jk57_m_Jk28
Introduccin a la Investigacin de Operaciones/Autores: Frederick S. Hillier y
Gerald J. Lieberman/ Editorial Mc. Graw Hill/novena edicin -2010.

Calificacin: Muy bien

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas

Procesos estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto.
Hola Mara, espero te encuentres bien, te felicito por tu
empeo y determinacin para llevar a buen fin la materia
adems por tu capacidad de anlisis en la identificacin de la
distribucin inicial y la matriz de transicin de una cadena de
Markov.

7 de Noviembre de 2014
Hola Mara, espero te encuentres bien, noto una gran mejora
en tu actividad y te felicito por tu actitud y tu motivacin para
seguir adelante. Saludos

Educacin Abierta y a Distancia * Ciencias Exactas, Ingenieras y

Tecnologas