Procesos Estoc

asticos 1. Tarea 1
Profa. Bego
na Fern
andez Fern
andez
Ayud. Daniel Cervantes Filoteo

Instrucciones: Resuelva los siguientes problemas justificando sus respuestas. Entregue los resultados
de los ejercicios 1, 2, 6, 8, 11, 12, 14, 19, 20 y 22, por equipos de 3 a 5 integrantes, en un formato limpio
y ordenado.
1. Se lanza un dado repetidas veces. Diga cual de los siguientes procesos es una cadena de Markov y
cual es su matriz de transici
on de probabilidades.
a)
b)
c)
d)

El n
umero m
as grande obtenido hasta el lanzamiento n.
El n
umero de veces que se obtuvo seis en n lanzamientos.
El n
umero de lanzamientos efectuados desde el seis mas reciente.
Al tiempo n, el tiempo transcurrido hasta el proximo seis.

2. Una partcula se mueve en {1, 2, ..., c + d}, con c y d enteros positivos. En cada tiempo n, si la
partcula est
a en uno los primeros c estados, salta a uno de los u
ltimos d estados uniformemente (con
probabilidad 1/d), y si est
a en cualquiera de los d u
ltimos estados la partcula salta uniformemente
(con probabilidad 1/c) a cualquiera de los primeros c estados. Para cada n 1 sea Xn la posici
on de
la partcula al tiempo n. Calcule la matriz de probabilidades de transicion de la cadena de Markov
Xn , n 1.
3. Cadena de fila de espera: Consideremos la ventanilla de un banco. En este tipo de lugares la gente
llega de manera aleatoria a solicitar un servicio, y es despachada tambien de manera aleatoria, lo
que provoca la formaci
on de una fila de espera. Existen varias formas de modelar este fenomeno,
consideremos una de las m
as b
asicas.
Consideremos la medici
on del tiempo en periodos de un minuto. Supongamos que si hay gente en
la fila al inicio de un periodo entonces se atiende a una persona durante el mismo. Si no hay gente
en la fila al inicio del periodo, nadie sera atendido durante este. Sea n el n
umero de clientes que
llegan durante el n-esimo periodo. Supongamos que 1 , 2 , ... son variables aleatorias i.i.d. que toman
valores en Z+ .
Supongamos que X0 denota el n
umero de clientes en la fila al inicio, y sea Xn el n
umero de clientes
presentes en la fila al final del n-esimo periodo. Cual es el espacio de estados de esta cadena?,
Muestra la matriz de probabilidades de trancision del modelo. Justifica tu respuesta.
4. Sea {Xn }n0 una cadena de Markov con probabilidades de transicion Pi,j . Sea m > 0 un entero fijo. Demuestre que los siguientes procesos son cadenas de Markov y encuentre su funci
on de
probabilidades de transici
on.
a) Yn = Xn+m
b) Zn = Xnm
5. Considere un experimento donde inicialmente se tienen 2 cajas y 2d bolas, d bolas de color negro
y d bolas de color blanco, en la caja 1 hay d bolas (no necesariamente del mismo color) y en la
segunda caja las restantes. Tomaremos aleatoriamente una bola de cada caja y se colocar
an en la
caja opuesta de donde se tomaron. Realizaremos estos ensayos varias veces consecutivas. Denotamos
por Xn al n
umero de bolas negras en la caja 1 despues del ensayo n.
Demuestre que Xn es una cadena de Markov y encuentre su matriz de probabilidades de transici
on.
1

6. Una partcula se mueve en {0, 1, 2, . . . , k}, del siguiente modo: si se encuentra en el estado k, entonces
pasa, con distribuci
on uniforme a alg
un estado del conjunto {0, 1, 2, . . . , k 1}. Se detendr
a cuando
llegue al estado 0. Encuentre el n
umero esperado de pasos en los que la partcula alcanza el estado
0 iniciando en k.
7. Considera la cadena Markov con espacio de estados E

0.4 0.3

0.3 0.2
P=
0.7 0

= {0, 1, 2} con matriz de transicion:

0.3
0.5
0.3

Calcule:
a) P [X2 = 0, X1 = 0|X0 = 1]
b) P [X3 = 0, X2 = 0|X0 = 1]
c) P [X3 = 0
o X3 = 1|X0 = 0]
d ) P [X4 = 0] considera una distribucion inicial uniforme.
8. Considera la cadena Markov con espacio de estados E = {0, 1, 2, 3, 4, 5} con matriz de transici
on:

P=

1/2
1/3
0
1/4
0
0

1/2 0
0
2/3 0
0
0 1/8 0
1/4 0
0
0 3/4 0
1/5 0 1/5

0
0
0
0

7/8 0

1/4 1/4

1/4 0
1/5 2/5

a) Clasifica los estados en recurrentes y transitorios.

b) Encuentra {0,1} (i), i = 0, . . . , 5.
9. Determine los estados transitorios y recurrentes para la siguiente matriz de transicion y calcule 0i
para i = 0, 1, ..., 6.

1/2 0 1/8 1/4 1/8 0

0
0 0 1
0
0
0
0

0 0 0

1
0
0
0

0
0
0
0
P= 0 1 0

0 0 0
0 1/2 0 1/2

0 0 0
0 1/2 1/2 0
0 0 0
0
0 1/2 1/2
10. Considere un cadena de Ehrenfest con N = 3. Encuentre:
a) Pi (T0 = n), 1 n 3, para cualquier i en el conjunto de estados.
b) P, P2 y P3 .

c) 1 , 2 y 3 , suponga 0 =


1 1 1 1
, , ,
.
4 4 4 4

11. Considere una cadena de Markov sobre los enteros

q0 p o 0
q1 0 p 1

P = 0 q2 0
0 0 q3

no negativos con matriz de transicion:

0 0 0 ...
0 0 0 ...

p2 0 0 ...

0 p3 0 ...

..
.

Demuestre que si pi qi para i 1, entonces la cadena es recurrente.

12. Una cadena de Markov que surge de los estudios de genetica tiene espacio de estados E = 0, 1, ..., d
y funcion de transici
on:

   j 
i dj
d
i
1
Pi,j =
d
d
j
Encuentre 0 (i), 0 < i < d
13. Considere una Cadena de Markov con espacio de estados
dades de transici
on:

1
0
0
0
0 1/2 1/2 0

1/5 1/5 1/5 2/5

0
0
0
0
0
0
0 1/2

E = {0, 1, 2, 3, 4} y matriz de probabili

0
0

1
1/2

a) Encuentre todos los conjuntos cerrados irreducibles.

b) Sea C un conjunto cerrado irreducible y

nf{n > 0|Xn C},
TC =
,

si {n > 0|Xn C} =
6 ,
en otro caso .

Calcule C (2) = P (Tc < |X0 = 2) para cada conjunto cerrado irreducible C del inciso
anterior.
14. Cadena de Rachas: Considera una cadena de Markov con espacio de estados E = {0, 1, ...}. Si la
cadena est
a en el estado i, puede ir al estdo i+1 con probabilidad p o al estado cero con probabilidad
1 p.
a) Calcula P0 [T0 = n].
b) Demuestra que la cadena es irreducible y recurrente.
15. Sea {Xn }n0 una cadena de Markov con espacio de estados E, un subconjunto de los naturales, y
con funcion de transici
on de probabilidades P , que cumple:
X

jPi,j = Ai + B;

iE

Para algunas A y B constantes. Demuestre que:

a) E[Xn+1 ] = AE[Xn ] + B
b) Si A 6= 1, entonces:


B
B
n
E[Xn ] =
+ A E[X0 ]
1A
1A
3

16. Sea {Xn }n0 una cadena de ramificacion con variable asociada u y con E[u] = . Demuestre que:
Ei [Xn ] = in
Ayuda: Use el ejercicio anterior
17. Sea {Xn }n0 una cadena de ramificacion con variable asociada u de varianza finita, con V ar[u] = 2
y E[u] = . Demuestre que:
2 |X = i] = i 2 + i2 2
a) E[Xn+1
n
2 ] = in 2 + 2 E [X 2 ]
b) Ei [Xn+1
i
n

c) Ei [Xn2 ] = i 2 (n1 + ... + 2(n1) ) + i2 2n

d ) Si hay i partculas inicialmente entonces:



1 n

2
n1

si 6= 1
i
1
V ar[Xn ] =

in 2
si = 1
Ayuda: Use el ejercicio anterior
18. Si i,j = Pi [Tj < ], verifica las siguientes identidades:
P
a) Pi [Tj n + 1] = Pij + k6=j Pk [Tj n] Pi,k
P
b) i,j = Pi,j + k6=j k,j Pi,k
19. Sea {Xn }1n es una cadena de Markov con espacio de estados E = {0, 1, 2, ..., d} con funci
on de
transicion P tal que:
d
X
jPij = i;
iE
j=0

a) Calcula E [Xn+1 |X0 = i0 , ..., Xn = in ].

b) Demuestra que 0 y d son estados absorbentes.
c) Supongamos que 0 y d son los u
nicos estados absorbentes. Demuestra que los demas estados
son transitorios.
20. Demuestre que ij > 0 Pijn > 0 para alg
un entero positivo n.
21. Demuestre que
ii = Pi [Ti < ] = 1 P [ m N|Piim = 1] = 1,
es decir, existen dos formas de decir que i es recurrente.
22. Se dice que dos estados (distintos) de una cadena de Markov son simetricos si:
Pi [Tj < Ti ] = Pj [Ti < Tj ]
Sean i y j dos estados simetricos. Demuestra que, dado X0 = i, el n
umero esperado de visitas al
estado j antes de que la cadena vuelva a visitar el estado i es igual a uno.

23. Sea {Xn }n0 una cadena de Markov con espacio de estados E y i, j E. Demuestre que:
n > 0 para alguna n 1.
a) i,j > 0 si y s
olo si Pi,j

b) i,j > 0 y j,k > 0, entonces i,k > 0.

24. En Hong Kong y en otros lugares del mundo, se usa un sistema para fijar las primas de seguro de
automovil conocido como Bonus-Malus que consiste de 6 clases de tarificacion, de 1 a 6, que se rige
por las siguientes reglas: si un asegurado no tuvo siniestros durante el periodo, entonces pasa de la
categora i a la categora m
ax {1, i 1}, si el asegurado tiene al menos un siniestro entonces pasa de
la categora i a la 6.
Si Xn denota la categora en cual se encuentra un individuo al periodo n entonces Xn es una
cadena de Markov con espacio de estados E = {1, 2, ..., 6}. Encuentre la matriz de transici
on de
probabilidades asociada.
Supongamos que la prima que paga el asegurado en un periodo es una funcion, C, del estado
en que se encuentra, dada por:
 
i
C(i) = k
6
Calcule la prima promedio que paga un asegurado. (Un asegurado inicia en el el estado 1)