Sunteți pe pagina 1din 17

Trabajo Final Procesos Estocasticos

Rodrguez Mora, Emilio Lara Hernandez, Ricardo


151944 148792
Ramrez Sanchez, Luisa Fernanda Barqun Ortiz, Alejandro
148001 148893
Hernandez Gallegos, Luis Fernando
150235

17 de mayo de 2017
1.
a) Identifique el proceso {Xn }nN0 como una cadena de Markov y diga cual es su espacio de estados,
distribucion inicial y matriz de transicion.

Solucion:

Como el sobre contiene m estampas distintas, entonces si empezamos sin estampas, para el la
compra 1: X1 = m, luego para la siguiente compra, podramos tener la mala suerte de comprar un
sobre con exactamente las mismas m estampas que tenamos, o con 1, 2, ..., m distintas, por lo que
inferimos que el espacio de estados debe ser:

I = {0, m, m + 1, m + 2, ..., N 1, N }

Vamos a suponer que en el tiempo inicial X0 = 0, i.e. al inicio tenemos ninguna carta con probabilidad
1, o bien P[X0 = 0] = 1. Es decir la distribucion inicial es:

= (1, 0, 0, ..., 0) (con RI = RN m+2 )


Para la matriz de transicion P = (pij ), vamos a analizar casos particulares para luego intentar gene-
ralizar:

De la distribucion inicial es inmediato que p0m = 1. Tambien es evidente que si llegamos a N entonces
pN N = 1, pues ya tenemos todas las estampas del album. Ahora bien, si nos encontramos en m
y queremos encontrar la probabilidad de quedarnos ah hacemos el siguiente analisis: Tenemos un
conjunto total de N estampas, hay N m estampas distintas a las que tenemos, y los sobres son
una seleccion (aleatoria) de m estampas de un conjunto de N , por lo que tenemos una particion
hipergeometrica, y queremos la probabilidad de sacar ninguna carta de las nuevas, y m de las viejas
(que ya tenemos), es decir, la probabilidad de quedarnos ah mismo es:
N m m
 
0 m
pm,m = N

m
Bajo este analisis, es facil ver que:
N m m
 
1 m1
pm,m+1 = N

m
(De las N m cartas distintas a las que tenemos, queremos que el sobre contenga una estampa de
ah y las demas m 1 que sean de las m que ya tenemos).

Para este punto debemos ver que en un paso, a lo mas que podemos llegar de estampas distintas 2m
estampas, donde:
N m m
 
m 0
pm,2m = N

m
De la distribucion hipergeometrica obtenemos que
m N m m
 
X k mk
N
 =1
k=0 m

Es decir, la suma del primer renglon de nuestra matriz es 1.

1
Y por lo tanto, pm,j = 0 para j = 2m + 1, 2m + 2, ..., N 1, N .

Siguiendo este analisis, para el siguiente renglon ahora tenemos que pm+1j = 0 para j < m + 1, y
ademas:

N m1 m+1 N m1 m+1 N m1 m+1


     
1
pm+1,m+1 = 0
N
 m , pm+1,m+2 = N
 m1 , pm+1,2m+1 = m
N
 0
m m m

Y como antes: en un paso a lo mas que podemos llegar, empezando en m + 1 estampas distintas, es a
m + 1 + m = 2m + 1 estampas distintas, por lo que: pm+1,k = 0 para toda k > 2m + 1. Y otra vez, por
la distribucion hipergeometrica, el renglon suma 1. Por lo que la matriz que obtenemos es en efecto
una matriz estocastica.
La forma de la matriz es como sigue:

0 m m+1 m+2 2m 2m+1 N




0 0 1 0 0 0 0 0
(N m
0 )(m)
m
(N m
1 )(m1)
m
(N m
2 )(m2)
m m m
(N m )( 0 )


m 0 N N N N 0 0
( m) (m) ( m) (m )
P =

(N m1 )(m+1
m ) (N m1
1
m+1
)(m1 ) m1 m+1
(Nm1 )( 1 ) (N m1 )(m+1
0 )

0 0 0
m
0

m+1 N N N N

(m) ( m) (m ) (m)
.. .. .. .. .. .. .. .. ..
. . . . . . . . .
N 0 0 0 0 0 0 1

b) Identifique las clases de comunicacion de la cadena. Cual es el estado absorbente?

Una representacion grafica de esta cadena sera:

De aqu es evidente ver que las clases son

{0}, {m}, {m + 1}, ..., {N }


El estado absorbente es evidentemente N , pues una vez que se llega ah, jamas se sale de ese estado
(pues ha completado el album).

c) Realice una grafica de el numero de estampas diferentes en el album contra el tiempo esperado de
absorcion cuando N = 410 y m = 5.

2
Para calcular el valor esperado de absorcion a partir del estado i esimo debemos resolver la
siguiente relacion de recurrencia:
X
Ei [H {N } ] = 1 + Ej [H {N } ]Pi,j
jI

{N } ]P
P
{N }
1+ j6=i Ej [H i,j
Ei [H ]=
1 Pi,i
Donde H N = nf{n 1 : Xn = N }. Con caso base EN [H {N } ] = 0. Solucionar esto para la cadena de
Markov anterior es bastante sencillo, ya que el estado iesimo solo depende de los estados posteriores,
por ejemplo, el estado N 1 solo depende del estado N , entonces podemos obtener su valor facilmente.
Entonces lo que tenemos que hacer es ir resolviendo el sistema desde N 1.

Ahora bien, para este proposito, el primer paso es encontrar la matriz de transicion P , cuando N = 410
y m = 5, lo cual es muy sencillo utilizando este codigo en R.

M<-matrix(0, 407, 407)

for (i in 2:402) {

for (j in i:(i+5)) {

M[i,j]<-choose(410-(i+3),(j-i))*choose(i+3,5-(j-i));

}
}
M[403,403]<-choose(4,0)*choose(406,5);
M[403,404]<-choose(4,1)*choose(406,4);
M[403,405]<-choose(4,2)*choose(406,3);
M[403,406]<-choose(4,3)*choose(406,2);
M[403,407]<-choose(4,4)*choose(406,1);

M[404,404]<-choose(3,0)*choose(407,5);
M[404,405]<-choose(3,1)*choose(407,4);
M[404,406]<-choose(3,2)*choose(407,3);
M[404,407]<-choose(3,3)*choose(407,2);

M[405,405]<-choose(408,5);
M[405,406]<-2*choose(408,4);
M[405,407]<-choose(408,3);

M[406,406]<-choose(409,5);
M[406,407]<-choose(409,4);

P<-(1/choose(410,5))*M
P[407,407]<-1
P[1,2]<-1

Con el cual obtenemos una especie de matriz seis-diagonal, es decir, con 6 diagonales distintas de 0
(desfasadas, por el primer estado):

3
> head(P)
[,1] [,2] [,3] [,4] [,5] [,6] [,7]
[1,] 0 1.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 0.00000
[2,] 0 1.061435e-11 2.149406e-08 8.683601e-06 1.166497e-03 5.861648e-02 9.402083e-01 0.00000
[3,] 0 0.000000e+00 6.368611e-11 6.432297e-08 1.728144e-05 1.736785e-03 6.964506e-02 9.28600
[4,] 0 0.000000e+00 0.000000e+00 2.229014e-10 1.497154e-07 3.009280e-05 2.413443e-03 8.04480
[5,] 0 0.000000e+00 0.000000e+00 0.000000e+00 5.944037e-10 2.986879e-07 4.790953e-05 3.19396
[6,] 0 0.000000e+00 0.000000e+00 0.000000e+00 0.000000e+00 1.337408e-09 5.363007e-07 7.15067
[,9] [,10] [,11] [,12] [,13] [,14] [,15] [,16] [,17] [,18] [,19] [,20] [,21
[1,] 0.000000000 0.0000000 0.0000000 0 0 0 0 0 0 0 0 0
[2,] 0.000000000 0.0000000 0.0000000 0 0 0 0 0 0 0 0 0
[3,] 0.000000000 0.0000000 0.0000000 0 0 0 0 0 0 0 0 0
[4,] 0.917108225 0.0000000 0.0000000 0 0 0 0 0 0 0 0 0
[5,] 0.091028112 0.9057297 0.0000000 0 0 0 0 0 0 0 0 0
[6,] 0.004075886 0.1013877 0.8944644 0 0 0 0 0 0 0 0 0

Dado el espacio de estados: I = {0, 5, 6, 7, ..., 410}, y que los ndices de las matrices de R empiezan en
1, aqu debemos entender el renglon (1, j) como el cambio del estado 0 al j con j I, el renglon (2, j)
como la probabilidad del paso del estado 5 al estado j, y as sucesivamente, hasta llegar a (407, 407)
que es la probabilidad de cambio del estado 410 (410 porque tenemos en total 410 5 + 1 + 1 = 407
estados y la matriz esta desfasada) al estado 410, la cual es 1:

[,397] [,398] [,399] [,400] [,401] [,402] [,403] [,404] [,405] [,406]
[402,] 0 0 0 0 0 0.9402083 0.05861648 0.001166497 8.683601e-06 2.14940
[403,] 0 0 0 0 0 0.0000000 0.95193161 0.047359782 7.051084e-04 3.49063
[404,] 0 0 0 0 0 0.0000000 0.00000000 0.963771560 3.587239e-02 3.55172
[405,] 0 0 0 0 0 0.0000000 0.00000000 0.000000000 9.757290e-01 2.41517
[406,] 0 0 0 0 0 0.0000000 0.00000000 0.000000000 0.000000e+00 9.87804
[407,] 0 0 0 0 0 0.0000000 0.00000000 0.000000000 0.000000e+00 0.00000
[,407]
[402,] 1.061435e-11
[403,] 4.309427e-09
[404,] 8.769684e-07
[405,] 1.192677e-04
[406,] 1.219512e-02
[407,] 1.000000e+00

4
d) Demuestre que si m = 1 entonces el tiempo esperado de absorcion es de orden N log N , i.e.

E0 [H {N } ]
lm =1
N N log N

Demostracion:

Primero notar que si m = 1, el espacio de estados es I = {0, 1, 2, 3, ..., N } y la matriz de transicion P


tiene una forma muy sencilla:

0 1 2 3 4 N 1 N


0 0 1 0 0 0 0 0
1 N 1
1 0 N N 0 0 0 0
2 N 2

2
0 0 N N 0 0 0

3 N 3
P = 3
0 0 0 N N 0 0

.. .. .. .. .. .. .. .. ..
.
. . . . . . . .

N 1 1
N 1 0 0 0 0 0 N N

N 0 0 0 0 0 0 1

Que en efecto, es estocastica (hasta por simple inspeccion visual).


{N }
Ahora bien, queremos calcular k0 = E0 [H {N } ]. Para hacernos la vida facil, usamos la siguiente
{N }
notacion para cada valor esperado: ki := ki para toda i = 0, 1, 2, ..., N . Utilizando el Teorema 1.3.5
de [1, pag. 17]1 con A = {N } obtenemos las siguientes ecuaciones;

k0 = 1 + k1
1 N 1
k1 = 1 + k1 + k2
N N
..
.
m N m
km = 1 + km + km+1
N N
..
.
kN = 0

(Para m = 0, 1, 2, ..., N 1) O lo que es lo mismo:

k0 k1 = 1
N
k1 k2 =
N 1
N
k2 k3 =
N 2
..
.
N
km km+1 =
N m
..
.
kN 1 kN = N
kN = 0
1
Ver referencias

5
Notar que si sumamos todas las ecuaciones obtenemos un comportamiento telescopico, resultando:
 
N N N 1 1 1 1
k0 = 1 + + + ... + + N = N 1 + + ... + + +
N 1 N 2 2 2 N 2 N 1 N

Por lo tanto, probar el lmite es equivalente a probar que:

1
+ ... + N 12 + 1 1 PN 1
1+ 2 N 1 + N i=1 i
lm = lm =1
N log N N log N

Lo cual es muy sencillo utilizando aproximaciones integrales. Podemos estimar la suma anterior por:

Z N +1 N Z N N
1 X1 1 X 1
dt 1+ dt log(N + 1) 1 + log N
1 t i 1 t i
i=1 i=1

Esto es porque por un lado, la suma actua como las sumas superiores de la integral de la izquierda en
el intervalo [0, N + 1]. Estamos pensando en el area de rectangulos de altura 1t y base 1. La desigual-
dad de la derecha es porque la sucesion (sobre N ) N 1
P
i=1 i log N Pesta acotada, de hecho, converge a
N 1  2
= 0.57721... (la constante de Euler-Mascheroni ), i.e., lmN i=1 i log N = . . Por lo que
es suficiente estimar por arriba con el +1. Ahora bien, de la ultima desigualdad triple, dividimos entre
log N :

PN 1
log(N + 1) 1
i=1 i +1
log N log N log N

Tomando lmite en la desigualdad:

PN 1  
log(N + 1) i=1 i 1
1 = lm lm lm +1 =1
N log N N log N N log N

Finalmente, usando el Teorema 3.2.7 (del Sandwich) de [2], vemos que:

PN 1
i=1 i
lm =1
N log N
Como queramos probar.

2
Ver [3]

6
2.
(i )

# Kernel de alguna gamma


g <- function(x,a,b)
{
if (x>0)
{
res = x^(a-1)*exp(-b*x)
}
else
{
res = 0
}
}

(ii )

# Evaluacion en Q para pasar del estado x al y


Q <- function(x,y,a,b)
{
res = (b/sqrt(2*pi*a))*exp(-( (b^2)/(2*a))*(y-a/b)^2)
}

(iii )

#N,a,b,x,g,Q
##N es el numero de pasos de la cadena
#u es unavariable uniforme continua
#alpha es la probabilidad de aceptacion
gamma.one <- function(N,a,b,x)
{
X <- vector(mode="numeric",length=(N+1) )
X[1] <- x
for (n in 1:N)
{
A <- rnorm(1,mean=a/b,sd=sqrt(a/(b^2)) )
u <- runif(1,min=0,max=1)
alpha <- min(1, (g(A,a,b)*Q(A,X[n],a,b)) / (g(X[n],a,b)*Q(X[n],A,a,b)) )
if (u <= alpha)
{
X[n+1] = A
}
else
{
X[n+1] = X[n]
}
}
X
}

(iv )

7
#generacion de M cadenas
gamma.MCMC <- function(M,N,a,b,x)
{
gammas <- vector(mode="numeric",length=(M+1) )
for (cont in 1:M)
{
cadena <- gamma.one(N,a,b,x)
#Se toma el ultimo valor de la cadena
gammas[cont] <- cadena[N+1]
}
gammas
}

(v )

variableX <- gamma.one(N=1000,a,b,x=3)


plot(variableX)

(vi )

vect <- gamma.MCMC(M=1000,N=1000,a,b,x=1)


mean(vect)
var(vect)

> mean(vect)
[1] 3.989714
> var(vect)
[1] 2.01512

#f distribuida Gamma a=8, b=2


xs <- seq(0.1,20,0.1)
ys <- (xs^(a-1)*exp(-b*xs))*(b^a)/gamma(a)

8
#Histograma
hist(vect,freq=FALSE,main="Histograma-funcion de densidad", xlab="x")
#Gamma
lines(xs,ys,col="blue")

#Evaluacion en multiples valores


Femp <- ecdf(vect)
yEnTeoria <- pgamma(xs,shape=a,scale=1/b)
plot(Femp,main="Acumulada (Empirica/Teorica)")
lines(xs,yEnTeoria)

Distribucion acumulada emprica de los valores simulados versus la cdf teorica:

9
(vii ) En el caso general del algoritmo M-H, demostrar que la cadena generada con la matriz de
transicion P con
Pkj = Qkj (k, j)
esta en balance detallado con la distribucion fx (k) y por lo tanto la cadena {Xn }n0 es una cadena
reversible con distribucion limite fx .

Demostracion: Tenemos que probar que: fx (k)Pkj = fx (j)Pjk


g(j)Qjk g(j)Qjk
Para (k, j) = g(k)Qkj entonces g(k)Qkj 1 por lo que (j, k) = 1:

g(j)Qjk
fx (k)Pkj = Cg(k)Qkj = Cg(j)Qjk = g(j)Qjk (j, k) = fx (j)Pjk
g(k)Qkj

g(j)Qjk
Con (k, j) = 1 esto implica que g(k)Qkj 1 por lo cual tenemos:

g(k)Qkj
fx (j)Pjk = Cg(j)Qjk = Cg(k)Qkj = Cg(k)Qkj (k, j) = fx (k)Pkj
g(j)Qjk

Ahora queremos demostrar que {Xn }n0 es una cadena reversible con distribucion lmite fx .

Sabemos que fx es la distribucion lmite ya que, por un lado, demostramos anteriormente que esta en
balance detallado con P, y por otro, al ser una funcion de distribucion sabemos que al sumar sobre
todos los estados k en I nos va a dar 1.
Para ver si es reversible, vemos como es el elemento kj de la matriz del proceso en reversa.

0 fx (j) fx (j) fx (k)


Pkj = Pjk = Pkj = P kj
fx (k) fx (k) fx (j)

Por lo tanto P 0 = P concluyendo que {Xn }n0 es reversible.

10
3.
a) Calcule la esperanza y la varianza de St .

La esperanza:
Nt
X  Nt
 X 
(i)
E[St ] = E Xk = E E Xk Nt

k=1 k=1

Observar que:
n
X 
(ii)
E Xk Nt = n = nE[Xk ]

k=1

Por lo tanto:
Nt
X 

E Xk Nt = Nt E[Xk ]

k=1

As pues:
Nt
 X 

E[St ] = E E Xk Nt = E[Nt E[Xk ]] = E[Xk ]E[Nt ] = t


k=1

Ahora la varianza:
Nt
X   Nt
X  Nt
 X 
(iii)
Var[St ] = Var Xk = E Var Xk Nt + Var E
Xk Nt = ()

k=1 k=1 k=1

Por un lado tenemos que:


n
X  Nt
X 
(iv)
Var Xk Nt = n = nVar[Xk ]
Var Xk Nt = Nt Var[Xk ]

k=1 k=1

Por lo tanto:

2 ( + 1)
() = E[Nt Var[Xk ]] + Var[Nt E[Xk ]] = Var[Xk ]E[Nt ] + (E[Xk ])2 Var[Nt ] = 2
t + 2
t = t
2
Se uso:

(i): Proposicion IV.14, inciso iv de [4, pag 189]: Si X es una variable aleatoria de esperanza finita,
entonces: E[E[X|Y ]] = E[X] (La esperanza Iterada)
(ii): Las Xk se distribuyen igual, Ga(, )
(iii): Proposicion 5.2 de [5, pag. 329]
(iv): Las Xk son i.d. e independientes.
(v): Nt Po(t)

b) Calcule la esperanza y varianza de Ut .

La esperanza:

E[Ut ] = E[Yt St ] = Yt E[St ] = ct t

11
La varianza:

( + 1)
Var[Ut ] = Var[Yt St ] = Var[St ] = t
2

c) Encuentre una tasa c tal que E[Ut ] = 0



E[Ut ] = 0 ct = t c= =: c1

d) Aproxima a Ut mediante una variable aleatoria normal y encuentre el valor c2 (t) que garantice que
P[Ut > 0] > 0.95

Empezamos con la aproximacion: Ut u N (E[Ut ], Var[Ut ]) = N (Ut , U2 t ) = N (ct t , t (+1)


2
). Por
lo tanto:

   
U t Ut Ut Ut
P[Ut > 0] > 0.95 P > > 0.95 P N (0, 1) > > 0.95
Ut Ut Ut

     
Ut Ut Ut
1P Z > 0.95 P Z < 0.05 < 0.05
Ut Ut Ut

Entonces sustituyendo los valores:

ct t ct t
 
q < 0.05 < 1 (0.05)
t (+1)
2
t(+1)

As pues:


t(+1)
1 (0.05) + t
 r   r 
1 ( + 1) 1 ( + 1)
c2 (t) > = (1.645) = +1.645
t t t

Por lo tanto, el mnimo valor de c2 (t) que garantiza que P[Ut > 0] 0.95 es:
 r 
1 ( + 1)
c2 (t) = + 1.645
t

Ahora bien para los siguientes ejercicios utilizaremos = 3, = 500, = 0.5, y el intervalo de tiempo:
[0, 30].

e) En una misma grafica, muestre diez trayectorias de Nt para los valores antes mencionados.

12
Observaciones: Para simular este proceso Poisson, tuvimos que simular variables aleatorias exponen-
ciales con parametro = 3, donde por cada tiempo exponencial aumenta en una unidad el numero de
siniestros. Algunas veces, pareciera que en un paso, el numero de siniestros aumenta en mas de una
unidad; esta percepcion se da porque los tiempos exponenciales entre un paso y otro son tan pequenos,
que no se nota la diferencia del tiempo en el aumento.

f ) Para los mismos valores de los parametros, realice una grafica para diez trayectorias de St

Mas observaciones: Si tenemos que, en promedio, habran 90 siniestros en total, y la media de los
montos de siniestralidad es = 500
0.5 = 1000, entonces, en promedio, al tiempo 30 se tendra un total
de $1000 90 = $90, 000 en montos de siniestralidad. Y de la grafica de las trayectorias anteriores,
observamos que las colas de las trayectorias estan al rededor del valor 90, 000. Por lo que nuestro
modelaje de estos procesos Poisson es bueno.

13
g) Con los mismos parametros, realice 3 graficas distintas:
(i): Una con diez trayectorias de Ut con c = c1
(ii): Una con diez trayectorias de Ut con c = c2 (30).
(iii): Una con diez trayectorias de Ut con c = c2 (1).
Comente sobre la positividad de Ut .

Solucion:

(i) Primero, tenemos que calcular explcitamente el valor de c1 :


500
c1 = =3 = 3000
0.5

(ii) Calculamos c2 (30):


 r 
1 ( + 1)
c2 (30) = + 1.645 = 3520.71
t

14
(iii) c2 (1) = 5852.071

Respecto a la positividad de Ut , en la primer grafica (c = c1 ), observamos de manera emprica lo que


la teora nos deca, es decir que, en promedio, las utilidades seran $0. Esto se puede observar en la
simetra de las trayectorias con respecto a la recta Ut = 0. Ahora, despues del valor crtico c = c2 (t),
i.e., al aumentarlo, en promedio, las trayectorias se mantienen arriba de Ut = 0.

15
Referencias
[1] James Norris. Markov Chains. Cambridge University Press. 1997.

[2] Robert Bartle and Donald Sherbert. Introduction to Real Analysis. Fourth Edition. Wiley & Sons.
2011.

[3] Euler-Mascheroni constant.


https://en.wikipedia.org/wiki/Euler\OT1\textendashMascheroni_constant

[4] Miguel Angel Garca Alvarez. Introduccion a la teora de la probabilidad, segundo curso. Segunda
Edicion. Fondo de Cultura Economica. 2016. Mexico.

[5] Sheldon Ross. A first course in probability. Ninth Edition. Pearson. 2012.

16