Universidad Central de Venezuela

Facultad de Ciencias
Postgrado en Modelos Aleatorios

Práctica N◦ 1 de Procesos Aleatorios

1. Del libro Introduction to Probability Models haga los ejercicios 7, 8,

9 10 y 11 de la pagina 166.
2. Sea X una variable aleatoria con distribucion de Poisson de parametro
λ calcule E(X| X es impar)

3. Sean X1 , X2 variables aleatorias independientes con distribucion uni-

forme en el conjunto 1, 2, · · · , k, es decir, P(Xi = j) = 1/k para
j = 1, 2 · · · , k Sea M = max{X1 , X2 } calcule E(X1 |M).

4. Sea X1 , X2 · · · , el resultado de lanzamientos independientes de una

moneda con P(cara) = p. Sea T = inf {n ≥ 1 tal que Xn = cara}.
Sea S = numero de caras en n lanzamientos. Calcule P(T = k|S = 1).
5. En el libro Stochastic Processes with Applications, de R. N. Bhat-
tacharya & E. C. Waymire (Wiley, 1990), pag. 109, se da la siguiente
denicion: Denition 1.1 A stochastic process {X0 , X1 , · · · , Xn , · · · } has
the Markov property if, for each n and m, the conditional distribution
of Xn+1 , · · · , Xn+m given X0 , X1 , · · · , Xn is the same as its conditional
distribution given Xn alone. A process having the Markov property is
called a Markov Process. If, in addition, the state space of the process
is countable, then a Markov process is called a Markov chain. Por otro
lado, Z. Brzezniak & T. Zastawniak en el libro Basic Stochastic Pro-
cesses (Springer, 1999), pag. 88, se da esta otra denicion Denition
5.1 Suppose that S is a lnite or a countable set. Suppose also that a
probability space (Ω, F, P) is given. An S-valued sequence of random
variables ξn ; n ∈ N, is called an S-valued Markov chain or a Markov
chain on S if for all n ∈ N and all s ∈ S

P(ξn+1 = s|ξ0 , · · · , ξn ) = P(ξn+1 = s|ξn ).

 >Que diferencias importantes hay entre las dos deniciones? >Son
equivalentes? Razone su respuesta.
6. Sea Q una Matriz de transicion de una cadena de Markov. Demuestre
que si para algun entero positivo r, Qr tiene todas sus entradas posi-
tivas, entonces para todo n ≥ r, Qn tiene todas sus entradas positivas
7. Considere el modelo de Ehrenfest con N = 100 bolas, y la cadena
de Markov Xn dada por el numero de bolas en el comportamiento A.
Suponga X0 = 10
a) Haga una simulacion de esta cadena para 100 pasos, graque la
trayectoria.
b) Suponga X0 = 45. Trate de estimar, mediante simulaciones, el
tiempo que la cadena demora para llegar al estado 35.
8. Un proceso de nacimiento y muerte es una cadena de Markov con
espacio de estados N = 0, 1, 2 · · · cuyas probabilidades de transicion
son P(0, 1) = 1 y P(j, j + 1) = pj , P(j, 0) = 1 − pj para j = 1, 2, · · · ,
donde 0 < pj < 1.
a) Muestre que todos los estados son recurrentes si y solo si
Y
n
lim pi = 0
n→∞
i=1

b) suponga que todos los estados son recurrentes, muestre que son
recurrentes nulos si y solo si 1 + p1 + p1 p2 + p1 p2 p3 + · · · → ∞
c) discuta la existencia de la medida invariante
9. Considere una cadena de nacimiento y muerte con espacio de estados
0, 1, · · · , N, absorbente en los extremos y con p1 = p, qi = q, ri = r
para todo i = 1, · · · , N, es decir, si i = 1, 2 · · · , N − 1: P(i, i + 1) = p,
P(i, i) = r, P(i,i-1)=q. P(0, 0) = P(N, N) = 1

a) Clasique los estados segun su recurrencia.

b) > Que puede decir de su medida invariante?
c) Mediante simulaciones, estime el tiempo de llegada a cero y a N
en los siguientes casos:

2
 – caso 1: N = 10, p = 1/3, q = 2/3
– caso 2: N = 20, p = 3/8, q = 3/8, r = 1/4

10. Sea X una cadena de Markov. Cual de las siguientes son cadenas de
Markov:
a) Xm+r para r ≥ 0
b) X2m para m ≥ 0
11. Suponga que el numero de personas que acude a un dispensario en
un da n para recibir la vacuna de la ebre amarilla es una variable
aleatoria Yn . Suponga que {Yi }i≥1 son independientes e identicamente
distribuidas, y su distribucion es dada por

P(Yn = k) = yk , k = 0, 1, 2, · · ·

Sea Xn la diferencia entre el numero de dosis de la vacuna disponible

al comienzo del n-esimo da y el numero de personas que acudieron
ese da a vacunarse.
Sean a y A dos numeros enteros no negativos, a < A, jados de ante-
mano, y suponga que se sigue la siguiente poltica de abastecimiento:
 Si Xn ≤ a : se ordena al MSAS el n
umero necesario de dosis para
que haya A dosis disponibles antes del comienzo del horario de
atencion del da siguiente (y el MSAS las entrega puntualmente).
 Si Xn > a : no se ordenan nuevas dosis

a) Explique porque Xn es una cadena de Markov. Describa su espa-

cio de estados y su matriz de transicion.

Todos los items restantes se reeren al caso particular:

P(Yn = 0) = 1/6 P(Yn = 1) = 1/2 P(Yn = 2) = 1/3, a = 0, A = 2

b) Escriba la matriz de transicion. Calcule, si X0 = 1, la probabili-

dad de que antes de tres das acuda alguien para ser vacunado y
no haya vacunas disponibles.
c) Halle una medida de probabilidad invariante. Discuta unicidad.

3
 d) Calcule, en el correr del tiempo, cual es la proporcion de los
das en que hay personas que solicitan vacunas y no hay dosis
disponibles.
e) Para saber cuanto espacio hay que dejar disponible en la nevera,
calcule cual es el numero promedio (en el equilibrio) de vacunas
disponibles
12. Sea
 Xn una cadena
 d Markov a dos estados, con matriz de transicion
a 1−a
tal que a + b 6= 1. Demuestre que la cadena es
1−b b
Ergodica.
13. Una cadena de Markov de tres estados: 0, 1 y 2 tiene la siguiente
matriz de transicion:
 
0.6 0.3 0.1
 0.3 0.3 0.4 
0.4 0.1 0.5

y su distribucion inicial es π(0) = P(X0 = 0) = 0.2, π(1) = P(X0 =

1) = 0.4, π(2) = P(X0 = 2) = 0.4. Calcule:

a) P(X3 = 2|X2 = 0), P(X0 = 0, X1 = 1, X2 = 2), P(X2 = 1, X3 =

2|X1 = 0).
b) P(X1 = 1), P(X3 = 1|X1 = 0).
c) P(X45 = 0|X44 = 1, X(1) = 0).

14. Una cadena de Markov de tres estados: 0, 1 y 2 tiene la siguiente

matriz de transicion:
 
0.1 0.2 0.7
 0.8 0.1 0.1 
0.1 0.8 0.1

Halle:
a) P(X2 = 1, X3 = 1|X1 = 0), P(X1 = 1, X2 = 1|X0 = 0).
b) Si sabemos que X0 = 1, halle P(X0 = 1, X1 = 0, X2 = 2).
c) Si la dsitribucion inicial es π(0) = π(1) = 0.5, π(2) = 0, halle
P(X0 = 1, X1 = 1, X2 = 0) y P(X1 = 1, X2 = 1, X3 = 0).

4
15. Una cadena de Markov con espacio de estados S = {1, 2, 3} distribucion
inicial π = (2/5, 1/5, 2/5) y matriz de transicion:
 
0 1/3 2/3
 1/4 3/4 0 
2/5 0 3/5

Calcule las siguientes probabilidades

a) P(X1 = 2, X2 = 2, X3 = 2, X4 = 1, X5 = 3|X0 = 1).
b) P(X1 = 1, X2 = 3, X4 = 1, X5 = 2|X0 = 3), P(X1 = 2, X3 = 1, X4 =
3, X6 = 2|X0 = 1).
c) P(X1 = 2, X2 = 2, X3 = 1) y P(X2 = 2, X5 = 2, X6 = 2).
16. Considere el problema de enviar un mensaje binario, 0 o 1, a traves de
un canal que tiene varias etapas. La transmision en cada etapa esta
sujeta a una probabilidad de error ja α. Suponga que X0 = 0 es la
se~nal que que se enva y sea Xn la se~nal que se recibe en la n-esima
etapa. Suponga que {Xn } es una cadena de Markov con probabilidades
de transicion P00 = P11 = 1 − α y P01 = P10 = α, con 0 < α < 1.
a) Determine la probabilidad de que no haya errores en las dos
primeras etapas: P(X0 = 0, X1 = 0, X2 = 0).
b) Determine la probabilidad de que se reciba la se~nal correcta en
la etapa 2 (<no es la misma que la probabilidad anterior!).
c) Determine P(X5 = 0|X0 = 0).
17. Sea Y0 , Y1 , Y2 , · · · una sucesion de variables aleatorias de Bernoulli con
probabilidad de exito p. Para n ≥ 1 denimos Xn = Yn + Yn−1 . >Es
{Xn }n≥1 una cadena de Markov?

18. Las variables aleatorias ξ1 , ξ2 , · · · , son independientes y tienen funcion

de probabilidad P(ξi = 0) = 0.1P(ξi = 1) = 0.3; P(ξi = 2) = 0.2; P(ξi =
3) = 0.4 Sea X0 = 0 y Xn = max{ξ1 , · · · , ξn } la mayor observacion
hasta el instante n. Determine la matriz de transicion para la cadena
de Markov {Xn }.