Inferência para Cadeias de Markov

Inferncia para Cadeias de Markov
Nancy L. Garcia1
1 UNICAMP,
Brasil
2o. Semestre de 2012
Inferncia clssica
Seja uma amostra aleatria X0 , X1 , X2 , . . . , Xn :
I
X0 , X1 , X2 , . . . , Xn so i.i.d.
distribuio de probabilidade conjunta:

P(X0 A0 , . . . , Xn An ) =
n
Y
P(Xi Ai ) =
i=0
n
Y
P(X Ai ),
i=0
onde X tem a mesma distribuio das Xi s.

Considere a sequncia de v.as Xi.j onde Xi,j = 1 se chove no
i-simo dia do j-simo ano e Xi,j = 0 se no chove no i-simo
dia do j-simo ano.
Faz sentido pensar que estas v.as so i.i.d.?
Processos Estocsticos
Um processo estocstico uma coleo de v.as
{Xt , T }
onde T um conjunto de ndices que pode ser discreto
contnuo. Em geral, T = N ou [0, ).
Neste caso, sempre possvel escrever a distribuio conjunta
de um nmero finito destas v.a.s
P(Xt0 A0 , . . . , Xtn An ) =
n
Y
P(Xt0 A0 )
P(Xti Ai |Xt0 A0 , . . . , Xti1 Ai1 ).
i=1
A teoria de Processos Estocsticos estuda diversas

especificaes para as probabilidades condicionais acima e
obtm resultados similares aos clssicos:
I
Lei dos Grandes Nmeros (Teorema Ergdico);
Teorema Central do Limite;
Lei Assinttica;
Estimao de mxima verossimilhana;
Testes de hipteses;
Estimao no paramtrica.
Xt : nmero de terremotos com magnitude maior que 5 que

ocorrem na regio de So Francisco no perodo de (0, t],
onde 0 o incio do registro, por exemplo, 0:00hs do dia
01/01/1950. Processo a tempo contnuo com espao de
estados discreto.

estados discreto.
(Xk , Yk ): nmero de nascimento e mortes,

respectivamente, ocorridos no dia k em uma colnia de
vetores trnsmissores de doena de Chagas. Processo a
tempo discreto com espao de estados discreto.

estados discreto.
(Xk , Yk ): nmero de nascimento e mortes,

respectivamente, ocorridos no dia k em uma colnia de
vetores trnsmissores de doena de Chagas. Processo a
tempo discreto com espao de estados discreto.
Xy ,t : espessura da camada de oznio na locao y no

tempo t. Aqui temos T = R2 [0, ). Processo a tempo
contnuo com espao de estados contnuo.
Xt : a intensidade de um sinal a uma distncia t da origem.

Processo a tempo contnuo com espao de estados
contnuo. alm disso, tempo a distncia.

Clientes chegam a uma fila de supermercado de acordo

com um processo de Poisson. Os clientes so atendidos
por um caixa que atende cada cliente de acordo a uma
distribuio exponencial de parmetro 1. Seja Xt o nmero
de clientes na fila. Processo a tempo contnuo com
espao de estados discreto.

Clientes chegam a uma fila de supermercado de acordo

com um processo de Poisson. Os clientes so atendidos
por um caixa que atende cada cliente de acordo a uma
distribuio exponencial de parmetro 1. Seja Xt o nmero
de clientes na fila. Processo a tempo contnuo com
Temos duas caixas com um total de d bolas numeradas de

1 a d. Em cada experimento selecionamos uma bola ao
acaso e a trocamos de caixa. Seja Xt o nmero de bolas
na caixa 1 no instante t. Processo a tempo discreto com
Aplicaes de Cadeias de Markov
Fsica, qumica, biologia, cincias sociais, jogos, msica,

lingustica, neurocincia, bioinformtica, reconhecimento
de imagens, reconhecimento de assinaturas, etc.
Por exemplo, o PageRank de uma pgina da web como

usado pelo Google completamente definido atravs de
uma cadeia de Markov.
Propriedade de Markov
Espao de estados discreto e tempo discreto
X0 , X1 , . . . v.a.s discretas com valores possveis I

enumervel.
P(Xn = x|X0 = x0 , X1 = x1 , . . . , Xn1 = xn1 ) =

P(Xn = x|Xn1 = xn1 )
para todo n 1 e todos os valores de x, x0 , x1 , . . . , xn1 I.
Exemplo 1: Sejam Y0 , Y1 , . . . v.a.s discretas i.i.d.. Defina

Sn = Y0 + . . . + Yn
Neste caso,
P(Sn = x|S0 = x0 , S1 = x1 , . . . , Sn1 = xn1 )
= P(Sn1 + Yn = x|S0 = x0 , S1 = x1 , . . . , Sn1 = xn1 )
= P(xn1 + Yn = x|S0 = x0 , S1 = x1 , . . . , Sn1 = xn1 )
= P(xn1 + Yn = x) = P(Sn = x|Sn1 = xn1 ).
Propriedade de Markov
Definies equivalentes
P(Xn = x|Xn0 = x0 , Xn1 = x1 , . . . , Xnk = xk ) = P(Xn = x|Xnk = xk )
para todo n 1 e n0 < n1 < . . . < nk n 1.
P(Xn+m = x|X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(Xn = x|Xn = xn )

para todo n 1 e todos os valores de x, x0 , x1 , . . . , xn1 I.
Cadeia de Markov homognea

P(Xn = j|Xn1 = i) = P(X1 = j|X0 = i) := pij
para todo n 1 e todos os valores de i, j I.
Matriz de transio
P = (pij )
A matriz de transio uma matriz estocstica, i.e.,
X
pij 0,
,
pij = 1.
j
Matriz de transio em n-passos

Pn = (pij (n))
onde
pij (n) = P(Xn = j|X0 = i)
Note que P1 = P, mais ainda

pij (2) = P(X2 = j|X0 = i)
X
=
P(X2 = j, X1 = k |X0 = i)
k I
P(X2 = j|X1 = k )P(X1 = k |X0 = i)
k I
X
k I
Portanto, P2 = P2 .
pkj pik .
Equaes de Chapman-Kolmogorov
pij (n + m) =
pkj (n)pik (m)
Consequentemente, Pn+m = Pn Pm e Pn = Pn .
Distribuies marginais
Defina
(n)
= P(Xn = i).
(n)
(n) = (i , i I).
Note que
(1)
= P(X1 = i) =
P(X1 = i, X0 = k )
P(X1 = i|X0 = k )P(X0 = k )
(0)
pki k
(2)
= P(X2 = i) =
P(X2 = i, X1 = j)
P(X2 = i|X1 = j)P(X1 = j)
(1)
pji j
pji
(0)
pkj k
Em geral,
(n+m) = (m) Pn
(n) = (0) Pn
Exemplo: Snoqualmie Falls

I
dados dirios para se choveu ou no, pelo menos, 0,01 cm
36 anos
Janeiro para obter um sistema homogneo e estacionrio.
I = {0, 1} Matriz de transio

p00 p01
P =
p10 p11
Ser que os dados no so independentes?
Hoje
0
0
186 (91)
1
123 (223)
309
128 (223)
314
643 (543)
766
771
1080
Ontem
1
Os valores entre parenteses so os valores esperados sob a

hiptese de independncia. X 2 = 202, 89 e 21;1% = 6, 63.
Funo de verossimilhana
L(P, x) = P(X0 = x0 )
n1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= P(X0 = x0 )
n1
Y
pxi ,xi+1
i=0
= P(X0 = x0 )
pk k,l,l
k ,lI
onde nk ,l = nmero de vezes em que Xi = k , Xi+1 = l.
No exemplo de Snoqualmie Falls,
36
Y
186 123 128 643
L(P, x) = P(X0,j = x0,j ) p00
p01 p10 p11 .
j=1
Assuma que os x0,j so fixos e P(X0,j = x0,j ) = 1, se no,

podemos usar as 36 amostras para estimar esta probabilidade.
p00 + p01 = 1 e p10 + p11 = 1,
1,0 = n1,0 /(n0,0 + n1,0 )
P
e
1,1 = n1,1 /(n0,1 + n1,1 )
P
As estimativas de MV so dadas por:
1,0 = 123/309 = 0, 398
p
1,1 = 643/771 = 0, 834

p
Exemplo - Ferrugem asitica:
Doena que est atacando as culturas de soja causando

muito prejuzo aos produtores e demanda aplicaes de
fungicida causando danos ao meio ambiente e excessivos
gastos.

gastos.
Um dos fatores que influenciam para a ocorrncia da

doena o molhamento foliar superior a oito horas.

gastos.
Um dos fatores que influenciam para a ocorrncia da

doena o molhamento foliar superior a oito horas.
Molhamento foliar acmulo de gua lquida causado por

precipitao ou condensao da umidade atmosfrica na
forma de orvalho - superior a 8 horas.
As variveis coletadas:
1. molhamento foliar (codificada como 1 se h molhamento
superior a oito horas e 0 caso contrrio),
2. velocidade do vento em m/s,
3. umidade relativa do ar,
4. precipitao em mm e temperatura mdia em o C.
Quatro estaes meteorolgicas:
I
Lucas do Rio verde (MT),
Rio Verde (GO),
Passo Fundo (RS) e
Holambra (SP)
Dados enviados diariamente para o CEPAGRI - Unicamp

(Centro de Pesquisas Meteorolgicas e Climticas Aplicadas
Agricultura).
Fonsechi (2006)
I
Modelo de Regresso Logstico para variveis binrias
variveis dependem do tempo anterior, por exemplo, se

choveu no tempo t 1 influencia se haver molhamento
ou no no tempo t. Obviamente no podemos esperar
independncia de um tempo para o outro.
Modelo
P(Y | X) =
n
Y
P(Yi | Y1 , . . . , Yi1 , X)
i=1
onde Y a varivel resposta e X a matriz de covariveis.
Pode-se definir o i-simo logito como:

P(Yi = 1|Y1 , . . . , Yi1 , Xi )
i = log
P(Yi = 0|Y1 , . . . , Yi1 , Xi )
e assumir que i funo linear de Y1 , . . . , Yi1 , Xi .
Temos, ento, um problema de regresso no qual a resposta Yi

binria, mas o conjunto de valores da varivel explicativa
muda de acordo com i.
Para introduzir dependncia no modelo necessrio criar

variveis auxiliares que so funes lineares dos Yi0 s:

2Yi 1 se Yi = 0 ou 1
Zi =
0
se Yi desconhecido
Definimos a regresso logstica da seguinte forma:
1 = + X1
i = +
i1
X
j Zj + Xi , i = 1, . . . , n
j=1
em que , e 0 s so parmetros que variam no intervalo

(, ) e a dependncia foi introduzida no modelo atravs
das variveis Zi0 s presentes nos logitos.
Temos
P(Y|X) =
n
Y
i=1
e
.
(1 + ei )
Para (j < i)
I
Yj =1, a chance do dia i ter molhamento (Yi = 1) aumenta

em ej ,
Yj desconhecido no muda a chance,
Yj =0 diminui a chance em ej
um aumento de uma unidade em Xi aumenta a chance do

dia i ter molhamento em e .
O modelo na forma matricial fica:

= [1 . . . n ]0 ,
Z = [Z1 . . . Zn ]0 ,
= [ 1 2 . . . n1 ]0 ,
A=
1 0
0
...
0 X1
1 Z1
0
...
0 X2
1 Z1 Z2 . . .
0
X3
.
.. ..
..
..
..
..
. .
.
.
.
.
1 Z1
Z2 . . . Zn1 Xn
Ento o modelo torna-se:

= A
(1)
Estruturas Markovianas de Dependncia

Com a estrutura de primeira ordem o modelo torna-se:
P(Y|X) = P(Y1 |X )
n
Y
P(Yi |Yi1 , X ).
i=2
Com a estrutura de segunda ordem o modelo torna-se:

P(Y|X) = P(Y1 |X)P(Y2 |Y1 , X)P
n
Y
P(Yi |Yi1 , Yi2 , X).
i=3
Portanto, a probabilidade de ter molhamento foliar no dia i s

depende da resposta do dia imediatamente anterior (ou dois
dias). Nesse caso, os logitos podem ser escritos como:
i = + Zi1 + Xi .
Mtodo de anlise
I
Foi utilizado o software livre R (www.r-project.org)
Para as quatro estaes testou-se o modelo com estrutura

Markoviana de dependncia de primeira e segunda ordem
Ajustou-se primeiramente um modelo com todas as

covariveis (Modelo completo) e depois utilizou-se
stepwise para selecior as covariveis que realmente so
significativas ao modelo (Modelo reduzido). Critrio AIC.
Para verificar a adequao do modelo foi utilizado a

estatstica deviance (2logL, sendo L a funco de
verossimilhana), essa estatstica tem distribuio 2np1 ,
sendo n p 1 o graus de liberdade, n o nmero de
observaes e p o nmero de parmetros.
Passo Fundo - Estrutura Markoviana de 1a ordem
Tabela: Modelo Completo
Parmetro
Intercepto
Z
UR
Temp mdia
Velocidade Vento
Chuva
Estimao
-13.80594
0.68004
0.15166
0.0995
-0.24003
0.05070
teste-t
6.03e-06
0.00104
2.50e-08
0.12957
0.28894
0.28251
Passo Fundo - Estrutura Markoviana de 1a ordem
Tabela: Modelo Reduzido
Parmetro
Intercepto
Z
UR
Temp mdia
Estimao
-15.67279
0.66143
0.16491
0.10751
teste-t
5.97e-08
0.00103
4.24e-11
0.09699
Para Passo Fundo, com estrutura markoviana com

dependncia de primeira ordem a deviance foi 161,1 e o valor
tabelado da 2223 189.43, ou seja, pelo teste de bondade de
ajuste esse modelo adequado.
Passo Fundo - Estrutura Markoviana de segunda

ordem
Tabela: Modelo Completo
Parmetro
Intercepto
Z1
Z2
UR
Temp mdia
Velocidade Vento
Chuva
Estimao
-13.80594
0.52782
0.36670
0.15069
0.10047
-0.25198
0.055070
teste-t
8.99e-06
0.0197
0.0960
4.24e-08
0.1332
0.2793
0.2512
Tabela: Modelo Reduzido
Parmetro
Intercepto
Z1
Z2
UR
Temp mdia
Estimao
-15.79363
0.51292
0.34475
0.16604
0.10841
teste-t
6.88e-08
0.0204
0.1150
5.61e-11
0.100
Apesar de ter utilizado o mtodo stepwise para selecionar o

melhor modelo ainda h variveis no significativas no modelo
ao nvel de significncia de 10%, sendo ela a varivel que
representa a estrutura de dependncia de segunda ordem, ou
seja, o modelo para passo fundo, com dependncia de
primeira ordem o mais adequado para o conjunto de dados
de Passo Fundo.
Concluso
I
Verificou-se a eficincia da utilizao do Modelo Logstico

Regressivo para a estimao de molhamento foliar na
cultura da soja.
Para as quatro estaes testadas, o modelo que melhor

ajusta aos dados meteorolgicos o logstico regressivo
com estrutura markoviana de primeira ordem, ou seja, o
modelo que leva em considerao a dependncia do dia
anterior para a ocorrncia de molhamento foliar.
Com as previses meteorolgicas e o uso do modelo

proposto ser possvel um melhor monitoramento da
cultura da soja, acionando os produtores de soja para
alert-los quando houver indcios da ocorrncia de
molhamento foliar superior a 8 horas, ajudando assim o
momento certo para aplicao de fungicida.
Urna de Ehrenfest
Modelo para troca de calor ou gases entre dois corpos

isolados.
Urna de Ehrenfest

isolados.

1 a d.
Urna de Ehrenfest

isolados.

1 a d.
Inicialmente algumas destas bolas esto na caixa 1 e o

restante na caixa 2.
Urna de Ehrenfest

isolados.

1 a d.

Em cada experimento selecionamos uma bola ao acaso

(i.e, selecionamos ao acaso um nmero entre 1 e d) e a
trocamos de caixa.
Urna de Ehrenfest

isolados.

1 a d.

Em cada experimento selecionamos uma bola ao acaso

(i.e, selecionamos ao acaso um nmero entre 1 e d) e a
trocamos de caixa.
Repita o procedimento sequencialmente. Seja Xn o

nmero de bolas na caixa 1 no instante n.
Xn uma cadeia de Markov com espao de estados

{0, 1, . . . , d} e matriz de transio
(x/d), y = x 1,
1 (x/d), y = x + 1,
P(x, y ) =
0, caso contrrio
Runa do jogador
Definio: Um estado a de uma cadeia de Markov dito ser

absorvente se P(a, y ) = 0, para y 6= a.
I
Um jogador comea com um capital inicial de i reais e faz

uma sequncia de apostas de R$ 1,00.
Runa do jogador

I

Assuma que ele tem probabilidade p de ganhar e

probabilidade 1 q de perder a cada aposta
independentemente das apostas anteriores.
Runa do jogador

I

Assuma que ele tem probabilidade p de ganhar e

probabilidade 1 q de perder a cada aposta
independentemente das apostas anteriores.
Se seu capital chegar a zero ele se arruinar e seu capital

continuar zero para sempre.
Esta uma CM com espao de estados {0, 1, . . .}

onde 0 um estado absorvente e para x 1
1 p, y = x 1,
p, y = x + 1,
P(x, y ) =
0, caso contrrio
Esta uma CM com espao de estados {0, 1, . . .}

onde 0 um estado absorvente e para x 1
1 p, y = x 1,
p, y = x + 1,
P(x, y ) =
0, caso contrrio
Se houver um adversrio que inicia o jogo com
d i reais e o jogo termina quando o capital do
1o. jogador atinge 0 ou d o espao de estados
{0, 1, . . .} onde 0 e d so estado absorventes e
para 1 x d 1
1 p, y = x 1,
p, y = x + 1,
P(x, y ) =
0, caso contrrio
Cadeias de nascimento e morte
Considere uma CM com espao de estados I = {0, 1, . . .}

ou I = {0, 1, . . . , d}.
Estando no estado x no prximo passo somente poder

estar em x, x + 1 ou x 1.
Considere que a matriez de transio seja:
qx , y = x 1,
px , y = x + 1,
P(x, y ) =
r , y = x,
x
0, caso contrrio
onde para cada x, px , qx , rx 0, px + qx + rx = 1.
Classificao de estados:
Seja A um subconjunto do espao de estados I. O tempo de
chegada a A definido como:

min{n > 0; Xn A}, se Xn atinge A,
TA =
,
caso contrrio
Notaao:
A = {a} usamos a notao: Ta .
Denotaremos por Px () as probabilidades dos
diversos eventos quando o estado inicial da
cadeia for x. Assim,
Px (X1 = a, X2 = b) = P(X1 = a, X2 = b|X0 = x).
Uma identidade importante:

P n (x, y ) =
Pn
m=1 Px (Ty
= m)P nm (y , y ),
n1
Se a um estado absorvente ento

P nm (a, a) = 1,
para1 m n.
e
P n (x, a) =
n
X
m=1
n
X
m=1
Px (Ta = m)P nm (a, a)

Px (Ta = m) = Px (Ta n).
Observe que
Px (Ty = 1) = Px (X1 = y ) = P(x, y )
e que
Px (Ty = 2) =
Px (X1 = z, X2 = y ) =
z6=y
P(x, z)P(z, y ).
z6=y
Em geral,
Px (Ty = n + 1) =
z6=y
P(x, z)Pz (Ty = n),
n1
Estados recorrentes e transientes
xy = Px (Ty < ) = probabilidade que uma CM

comeando em x consiga atingir o estado y em tempo
finito.

finito.
yy = probabilidade que uma CM comeando em y alguma

vez retorne a y .

finito.

vez retorne a y .
Um estado y dito ser:
1. recorrente se yy = 1;
2. transiente se yy < 1.

finito.

vez retorne a y .
Um estado y dito ser:
1. recorrente se yy = 1;
2. transiente se yy < 1.
I
Se y um estado absorvente, ento Py (T1 = y ) = 1 e

yy = 1 e y recorrente.
Para cada estado y I defina a v.a.

N(y ) =
1y (Xn )
n=1
o nmero de vezes que a CM visita o estado y .

Note que:
Px (N(y ) 1) = Px (Ty < ) = xy .
fcil ver que a propriedade de Markov diz que: a
probabilidade da cadeia comeando em x visitar pela primeira
vez y aps m passos e retornar a y n passos depois
Px (Ty = m)Py (Ty = n).
Portanto,
Px (N(y ) 2) =
=
=
X
X
Px (Ty = m)Py (Ty = n)
m=1 n=1
Px (Ty = m)
m=1
xy yy .
!
Py (Ty = n)
n=1
Similarmente,
Px (N(y ) m) = xy m1
yy ,
m 1.
Usando o fato que

Px (N(y ) = m) = Px (N(y ) m) Px (N(y ) m + 1).
Px (N(y ) = m) = xy m1
yy (1 yy ),
e
Px (N(y ) = 0) = (1 xy ).
m 1.
Observe que
Ex (N(y )) = Ex
!
1y (Xn )
n=1
=
=
X
n=1
Ex (1y (Xn ))
P n (x, y ).
n=1
Defina
G(x, y ) = Ex (N(y )) =
n=1 P
n (x, y ).
O seguinte teorema descreve a diferena fundamental entre

estados transientes e estados recorrentes:
Teorema: (i) Seja y um estado transiente. Ento:
Px (N(y ) < ) = 1
e
G(x, y ) =
xy
.
1 yy
(ii) Seja y um estado recorrente. Ento:

Py (N(y ) = ) = 1
G(y , y ) = 1.
Mais ainda,
Px (N(y ) = ) = Px (Ty < ) = xy .
Se xy = 0 ento G(x, y ) = 0 enquanto que xy > 0 implica
que G(x, y ) = .
Seja y um estado transiente. Como
P n (x, y ) = G(x, y ) <
n=1
lim P n (x, y ) = 0.
n
Uma CM dita ser transiente se todos os seus estados so

transientes e recorrente se todos os seus estados so
recorrentes.
fcil ver que toda CM finita precisa ter pelo menos um estado
recorrente, i.e. no pode ter todos os seus estados transientes:
X
0 =
lim P n (x, y )
y I
CM finita = lim
n
P n (x, y )
y I
= lim Px (Xn I)
n
= 1.
Decomposio do espao de estados:
Sejam x e y I
x y,
se
xy > 0.
x y se, e somente se, P n (x, y ) > 0 para algum n.
x y e y z ento x z.
Teorema: Seja x um estado recorrente e suponha que

x y . Ento y recorrente e xy = yx = 1.
Um conjunto no vazio C I dito ser fechado se

nenhum estado de dentro de C leva a um estado fora de
C, i.e., se
xy = 0, x C, y 6 C.
Equivalentemente, C fechado se, e somente se,

P n (x, y ) = 0,
x C, y 6 C, para todo n 1.
Se C um conjunto fechado ento uma CM comeando

em C ficar em C com probabilidade 1.
Se A um estado absorvente, ento {a} fechado.
Um conjunto fechado dito ser irredutvel se x y para

todos x, y C.
Segue do Teorema anterior que se C uma classe

fechada e irredutvel, ento ou todo estado de C
recorrente, ou todo estado de C recorrente.
Seja C uma classe fechada irredutvel de estados

recorrentes. ento xy = 1, Px (N(y ) = ) = 1 e
G(x, y ) = para todas as escolhas de x, y C.
Uma cadeia de Markov irredutvel uma cadeia cujo

espao de estados I fechado e irredutvel. Segue que
tais cadeias ou so transientes ou so recorrentes.
Teorema: Seja C um conjunto finito de estados. Ento todos

os estados em C so recorrentes.
Considere uma CM com um nmero finito de estados.

I
Se a CM irredutvel, deve ser recorrente.
Se a CM no irredutvel verificamos quais so as classes

irredutveis e quais estados so recorrentes e transientes.
Exemplo: I = {0, 1, 2, 3, 4, 5}
1 0 0 0 0 0
1 1 1 0 0 0
4 2 4
1
2
1
1
0 5 5 5 0 5
0 0 0 16 13 12
0 0 0 12 0 12
0 0 0 14 0 34
Note que a matriz abaixo traz os valores + e 0 de acordo com

x y , i.e, xy > 0.
+ 0 0 0 0 0
+ + + + + +
+ + + + + +
0 0 0 + + +
0 0 0 + + +
0 0 0 + + +
Obviamente, se P(x, y ) > 0 ento xy > 0, mas a recproca

no verdadeira pois P(2, 0) = 0 e 20 > 0 pois
P 2 (2, 0) = P(2, 1)P(1, 0) =
11
1
=
> 0.
54
20
0 um estado absorvente, portanto recorrente.
Tambm vemos pela matriz acima que {3, 4, 5} uma

classe finita, fechada e irredutvel portanto todos os seus
estados so recorrentes.
2 0 e 1 0 mas 0 6 2 e 0 6 1, sendo assim 1 e 2 tem

que ser estados transientes.
Sejam:
IT o conjunto de estados transientes;
IR o conjunto de estados recorrentes.
Neste exemplo, IT = {1, 2} e IR = {0} {3, 4, 5}.
Sempre possvel decompor IR numa unio disjunta (finita ou
enumervel) de classes irredutveis.
Probabilidades de absoro
Seja C uma das classes fechadas irredutveis de estados

recorrentes e defina:
C (x) := Px (TC < )
a probabilidade de que a CM comeando em x eventualmente
atinja C ( e permanea em C para sempre). Claramente,
C (x) = 1,
se x C
C (x) = 0,
Como calcular C (x) se x for transiente?
se x recorrente, mas x 6 C
Se temos somente um nmero finito de estados

transientes, em particular se I finito, pode-se encontrar
C (x), x IT atravs de um sistema linear de equaes.
Observe que se x IT , uma cadeia somente pode ser

absorvido em C se, (i) for absorvindo em C no instante 1;
ou (ii) continuar em IT no instante 1 e ser absorvido em C
em um tempo futuro.
P
O evento (i) tem probabilidade
y C P(x, y ) e o evento (ii)
P
tem probabilidade y IT P(x, y )C (y ).
C (x) =
y C
P(x, y ) +
y IT
P(x, y )C (y ),
x IT .
A equao acima pode ser resolvida se IT finito. No caso de

IT no claro como resolver o sistema, nem mesmo garantir
que o sistema tenha soluo nica.
Exemplo: Encontre 10 = {0} (1) e 20 = {0} (2). Montando o

sistema de eques temos,
10 = 1/4 + (1/2)10 + (1/4)20
20 = (1/5)10 + (2/5)20
A soluo : 10 = (3/5) e 20 = (1/5).
Note que uma vez que uma CM comeando em um estado
transiente x entra em uma classe fechada, irredutvel de
estados recorrentes, visita todos os estados de C com
probabilidade 1. Assim,
xy = C (x),
para todo y C.
Portanto,
13 = 14 = 15 = 2/5,
23 = 24 = 25 = 4/5.
CM irredutvel: ou todos os estados recorrentes, ou todos

estados transientes.
CM irredutvel finita: todos os estados recorrentes.
O que fazer no caso I infinito?
Considere uma CM com espao de estados I = {0, 1, . . .}

ou I = {0, 1, . . . , d}.
Estando no estado x no prximo passo somente poder

estar em x, x + 1 ou x 1.
Considere que a matriez de transio seja:
qx , y = x 1,
px , y = x + 1,
P(x, y ) =
r , y = x,
x
0, caso contrrio
onde para cada x, px , qx , rx 0, px + qx + rx = 1. Note
que q0 = 0 e pd = 0 se d < .
Assuma que px , qx > 0 para 0 < x < d.
Para a < b I, seja

u(x) = Px (Ta < Tb ),
a<x <b
e
u(a) = 1,
u(b) = 0.
Portanto, fcil ver que

u(y ) = qy u(y 1) + ry u(y ) + py u(y + 1),
a < y < b.
Como ry = 1 py qy temos
u(y + 1) u(y ) =
qy
(u(y ) u(y 1)),
py
a < y < b.
Defina 0 = 1 e
y =
q1 qy
p1 py ,
0 < y < d.
Temos,
Pb1
y =x
u(x) = Pb1
y =a y
a < x < b.
Portanto, da definio de u(x) temos

Px (Ta < Tb ) =
Pb1
y =x
Pb1
y =a
Px (Tb < Ta ) =
Px1
y =a
Pb1
y =a
a < x < b.
a < x < b.
Exemplo:
I
Um jogador na roleta faz uma sequncia de apostas de

$1.00.
Ele tem probabilidades 9/19 e 10/19 de ganhar e perder

respectivamente.
O jogador decide que ele pra de jogar se ele lucra $25.00

ou se ele perde $10.00.
(a) Ache a probabilidade dele parar de jogar ganhando.

(b) Ache sua perda esperada.
Xn : capital do jogador no tempo n com X0 = 10.
Xn uma cadeia de nascimento e morte com

I = {0, 1, . . . , 35}
taxas px = 9/19, 0 < x < 35 e qx = 10/19, 0 < x < 35.
Os estados 0 e 35 so aobsorventes.
Aplicar a frmula para a = 0, x = 10, b = 35. Portanto,

y = (10/9)y ,
0 y 34,
Probabilidade de ganhar:
P9
y
y =0 (10/9)
P10 (T35 < T0 ) = P34
y =0 (10/9)
(10/9)10 1
= 0.047.
(10/9)35 1
Perda esperada: 10 35 (0.047) = 8.36.
Distribuio estacionria
Seja Xn , n 0 uma CM com espao de estados I e matriz

de transio P.
Uma distribuio estacionria (x), x I satisfaz:
1. P
(x) 0, x I;
2.
(x) = 1;
PxI
3.
xI (x)P(x, y ) = (y ), y I.
Distribuio limite
Suponha que temos

lim P n (x, y ) = (y ),
n
I
y I.
Neste captulo queremos determinar quando temos

distribuio estacionria, quando temos distribuio limite
e quando elas so iguais.
Propriedades de distribuies estacionrias

Seja uma distribuio estacionria para P. Ento:
X
X
X
(x)P 2 (x, y ) =
(x)
P(x, z)P(z, y )
xI
xI
!
=
X X
z
(x)P(x, z) P(z, y )
(z)P(z, y ) = (y ).
Portanto, por induo, usando a frmula

X
P n+1 (x, y ) =
P n (x, z)P(z, y ),
z
temos
P
xI
(x)P n (x, y ) = (y ),
y I.
Se 0 = temos que
P(Xn = y ) = (y ),
y I
e a distribuio de Xn independente de n.
I
Suponha reciprocamente que n no dependa de n, ento

a distribuio de XP
0 e X1 so idnticas e
0 (y ) = 1 (y ) =
x 0 (x)P(x, y ). Consequentemente,
0 distribuio estacionria.
A distribuio de Xn independente de n se, e

somente se, 0 estacionria.
Suponha que distribuio estacionria e

lim P n (x, y ) = (y ),
y I.
P
n
ento P(Xn = y ) =
y I.
x 0 (x)P (x, y ),
Tirando o limite nos dois lados da equao e passando o limite
dentro do somatrio, temos
X
lim P n (x, y ) =
0 (x)(y ), y I.
n
Como
0 (x) = 1 temos
limn P n (x, y ) = (y ),
y I.
Temos que se uma distribuio estacionria e

lim P n (x, y ) = (y ),
y I
, a distribuio n se aproxima de independemtemente

da distribuio inicial.
I
Portanto, a nica distribuio estacionria, seno

usaramos a outra distribuio para 0 e teramos = 0 .
Suponha que observamos nosso sistema por um tempo

longo, digamos n0 passos e seja
Yn = Xn0 +n ,
As v.a.s Yn formam uma CM com a mesma matriz de
transio P. Se N0 for suficientemente grande, podemos
supor que a distribuio marginal de Yn a mesma da
distribuio estacionria .
Exemplo 1:

P=
1p
p
q
1q
Se p + q > 0 temos
(0) =
q
p+q
(1) =
p
.
p+q

Considere uma cadeia de nascimento e morte com
I = {0, 1, . . .}. Vamos assumir que a cadeia irredutvel i.e.,
px > 0,
0x <
qx > 0,
0 < x < .
O sistema de equaes
X
(x)P(x, y ) = (y )
x
ser:
r0 (0) + q1 (1) = (0)
py 1 (y 1) + ry (y ) + qy +1 (y + 1) = (y ),
y 1.
Como px + rx + q + x = 1, temos
(1 p0 )(0) + q1 (1) = (0)
py 1 (y 1)+(1py qy )(y )+qy +1 (y +1) = (y ),
y 1.
Portanto,
qy +1 (y + 1) py (y ) = qy (y ) py 1 (y 1),
e consequentemente, por induo
qy +1 (y + 1) py (y ) = 0,
Neste caso, obtemos
(y + 1) =
py
qy +1 (y ).
y 0.
y 1
Usando novamente induo fcil ver que:

(x) =
p0 p1 px1
(0).
q1 q2 qx
Finalmente, se chamamos
0 = 1,
, x =
p0 p1 px1
,
q1 q2 qx
temos
(x) = x (0),
x 0.
x 1,
Temos
que verificar se as solues de (1) satisfazem
P
= 1.
x (x) P
Caso 1: x x < .
!
X
X
1 =
(x) =
x (0)
x
Portanto,
(0) =
P1
x
Caso 2:
x ,
(x) =
x 1.
x = .
!
Px
x x
(x) =
X
x

(0) =
0,
,
se (0) = 0
se (0) > 0
Portanto, no existe distribuio estacionria.

Todas as dedues anteriores valem para o caso de cadeias
de nascimento e morte finitas, i.e. d < .
Urna de Ehrenfest
d =3
0
1
0
0
1/3 0 2/3 0
P =
0 2/3 0 1/3
0
0
1
0
Esta uma cadeia de nascimento e morte irredutvel com

0 = 1,
1 = 3,
2 = 3,
3 = 1.
Portanto, a nica distribuio estacionria dada por:

(0) = 1/8,
(1) = 3/8,
(2) = 3/8,
(3) = 1/8.
Note que neste caso, P n (x, y ) = 0 para valores mpares de n.

Assim,
P n (x, x) 6 (x).
Urna de Ehrenfest modificada: Suponha que temos o

mesmo esquema da urna de Ehrenfest, mas a cada troca
jogamos independentemente uma moeda e se esta sair cara
decidimos no mudar a bola de urna.
1/2 1/
0
0
1/6 1/2 2/6 0
P =
0
2/ 1/2 1/6
0
0 1/2 1/2
Entretanto, 0 = 1, 1 = 3, 2 = 3, 3 = 1.
Portanto, a nica distribuio estacionria dada por:
(0) = 1/8,
(1) = 3/8,
(2) = 3/8,
(3) = 1/8.
Neste caso, veremos mais tarde,

P n (x, y ) (y ),
para todo y, quando n .
Condies de balano detalhado
(x)p(x, y ) = (y )p(y , x)
(y ) =
X
x
pois
p(y , x) = 1.
(x)p(x, y )
Estados recorrentes positivos e recorrentes nulos
Um estado recorrente se
yy = Py (Ty < +) = 1
Se y recorrente ento:
y recorrente positivo se my = Ey (Ty ) < +;
y recorrente nulo se my = Ey (Ty ) = +;
Nmero mdio de visitas a um estado recorrente:
Defina Nn (y ) o nmero de P
visitas ao estado y nos instantes
1, 2, . . . , n. Isto , Nn (y ) = nm=1 1y (Xm ).
Defina Gn (x, y ) o nmero mdio de visitas ao estado y dado
que X0 = x durante os instantes 1, 2, . . . , n
Gn (x, y ) =
n
X
m=1
Ex [1y (Xm )] =
n
X
m=1
P m (x, y ).
1.- Seja y um estado transiente. ento

lim Nn (y ) = N(y ) < com probabilidade 1,
n
e
lim Gn (x, y ) = G(x, y ) < +.
n
Portanto,
lim
n
Nn (y )
= 0 com probabilidade 1,
n
e
lim
n
Gn (x, y )
= 0, x S.
n
Seja y um estado recorrente. Ento:

lim
n
1Ty <
Nn (y )
=
com probabilidade 1,
n
my
e
lim
n
xy
Gn (x, y )
=
, x S.
n
my
Intuio: Uma vez que a cadeia chega ao estado y ela retorna

a y , em mdia uma vez a cada my unidades de tempo.
Assim, se y pode ser alcanado eventualmente e n grande, a
proporo de tempo que a cadeia gasta no estado y
aproximadamente 1/my .
Corolrio: Seja C um conjunto fechado irredutvel de estados

recorrentes. Ento,
lim
n
Gn (x, y )
1
=
, x, c C
n
my
e se P(X0 C) = 1,
lim
n
Nn (y )
1
=
com probabilidade 1.
n
my
Note que as frmulas valem para my = +.
Teorema: Seja x um estado recorrente positivo e suponha que

x y . ento y recorrente positivo.
Portanto, em uma classe de estados fechada, irredutvel ou
todos os estados so transientes, ou todos os estados so
recorrentes positivos ou todos os estados so recorrentes
nulos.
Se C uma classe fechada e finita ento C tem pelo

menos um estado recorrente positivo.
Se C uma classe fechada, irredutvel e finita de estados

ento todo estado recorrente positivo.
Uma cadeia de Markov irredutvel com um nmero finito

de estados recorrente positiva.
Uma cadeia de Markov tendo um nmero finito de estados

no tem estados recorrentes nulos.
Note que se y um estado recorrente, ento y est
contido numa classe fechada de estados recorrentes.
Como esta classe necessariamente finita, ela contm
pelo menos um estado recorrente positivo e portanto todos
so recorrentes positivos.
Existncia e unicidade das distribuies estacionrias

Teorema: Seja uma distribuo estacionria. Se x
transiente ou recorrente nulo, ento (x) = 0.
Prova: Se x transiente ou recorrente nulo ento
lim
n
Gn (z, x)
= 0, z S.
n
Portanto, se pudermos trocar a ordem da soma e do limite:

(x) lim
n
X
z
(z) lim
n
Gn (z, x)
= 0.
n
Teorema: Seja uma cadeia de Markov irredutvel, recorrente

positiva ento existe uma nica distribuio estacionria
dada por:
1
(y ) =
, y S.
my
Consequncias:
Uma cadeia de Markov positiva recorrente
irredutvel se, e somente se tem uma nica
distribuio estacionria.
Se uma cadeia de Markov tem um nmero finito
de estados e irredutvel ento ela tem uma nica
distribuio estacionria.
Seja Xn , n 0 uma cadeia de Markov irredutvel,
recorrente positiva com distribuio estacionria
. ento com probabilidade 1,
min
n
Nn (y )
= (y ),
n
y S.
Cadeia redutveis:
Teorema: Seja C um conjunto irredutvel fechado de estados
recorrentes positivos. Ento a cadeia de Markov tem uma
nica distribuio estacionria concentrada em C, isto ,
(x) = 0, se x 6 C e (x) = 1/mx se x C.
Suponha que a cadeia tenha dois conjuntos irredutveis
fechados de estados recorrentes positivos C0 e C1 . ento a
cadeia tem uma distribuio estacionria 0 concentrada em
C0 e uma distribuio estacionria 1 concentrada em C1 .
Mais ainda, as distribuies
(x) = (1 )0 (x) + 1 (x)
tambm so estacionrias para a CM.
Teorema Central do Limite

Referncias: Doeblin (1938) e Kendall (1957)
Considere uma cadeia de Markov X0 , X1 , . . . com
possivelmente infinitos estados I = {1, 2, . . .} ergdica. Assim,
todos os tempos de retorno my so finitos.
Seja f : I R e defina
Sn =
n
X
f (Xm ).
m=1
(1)
Sejam as v.as Ty
(k )
Ty
(2)
< Ty
< . . . os tempos de visita a y . Isto ,

(k 1)
= min{n > Ty
; Xn = y }
Teorema ergdico
Assim, as v.as
f (XT (k ) +1 ) + + f (XT (k +1) ),
y
k = 1, 2, . . .
so iid com esperana finita

f ,y = E f (XT (k ) +1 ) + + f (XT (k +1) ) .
y
O Teorema ergdico diz que

y
Sn
n
my
em probabilidade.
CLT - cont.
Agora escreva,
(k +1)
Ty
Zk =
X
(k )
f (Xm )

y (k +1)
(k )
Ty
Ty
.
my
m=Ty +1
Assim, Z1 , Z2 , . . . so iid E(Zi ) = 0 e defina

y2 = Var(Z1 ).
Teorema: Se y existe e y finita e no nulas e os tempos de
(k )
recorrencia Ty tem segundo momento finito ento
Sn (y /my )n
q
N(0, 1).
2
y n/my
Teoria de verossimilhana para Cadeias de Markov

Funo de verossimilhana
L(P, x) = P(X0 = x0 )
n1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= P(X0 = x0 )
n1
Y
pxi ,xi+1
i=0
= P(X0 = x0 )
pk ,lk ,l
(n)
k ,lI
onde Nk ,l (n) = nmero de vezes em que Xi = k , Xi+1 = l nos

instantes 1, . . . , n.
Notao: Nij (n) = Nij e nij (n) = nij ,

L(0 , P, x) = 0 (x0 )
n1
Y
P(Xi+1 = xi+1 |Xi = xi )
i=0
= 0 (x0 )
n1
Y
pxi ,xi+1 = 0 (x0 )
i=0
= 0 (x0 )
pk ,lk ,l
(n)
k ,lI
Lk (P)
k I
Q
N (n)
onde Lk (P) = lI pk ,lk ,l depende somente dos elementos
na k -sima linha da matrix P.
Seja l(0 , P, x) = log L(0 , P, x). Ento temos as equaes,
X
l(0 , P, x) = l0 (0 , x0 ) +
lk (P, x).
k I
Queremos maximizar l sujeita a condies que

X
X
P(k , j) = 1
0 (x) = 1e que
x
jI
para todo k I. P
Usando multiplicadores de Lagrange e
escrevendo ni = jI temos as estimativas de MV
ij =
p
nij
quando ni > 0
0 (i) = 1(i = x0 ).
ni
ij = 0, j 6= i.
Se ni = 0 colocamos p
Seja
I = {i I : ni > 0}
a poro observada do espao de estados. Obviamente, I
uma matriz estocstica sobre I.
ij , i, j I)
finito. Note que (p
Denote esta matriz por P.
Teorema: Se (Xn ) uma cadeia de Markov ergdica

ij pij com
(irredutvel, recorrente positiva), ento P
probabilidade 1 para todo i, j S independentemente da
distribuio inicial.
Lembre-se que
1
Nij (n) (i)pij
n
e
1
Ni (n) (i).
n
Teorema: Se (Xn ) uma cadeia de Markov ergdica, ento

independentemente da distribuio inicial
i
hp
ij (n) pij )
Ni (n)(P
N(0, )
i,jI
onde
ij,kl
pij (1 pij ), (i.j) = (k , l)

pij pil ,
i = k , j 6= l
=
0,
caso contrrio.
Obs.: A covarincia assinttica tem uma estrutura multinomial

dentro das linhas e independncia entre as linhas.
Aplicao a Snoqualmie Falls

01 e P
11
Usando o resultado do Teorema anterior vemos que P
so assintticamente independentes. Mais ainda
11 N(p11 , p11 (1 p11 )/n(1))
P
onde a distribuio estacionria da CM.
Podemos estimar a varincia usando
11 = N11
P
N1
onde
N11 =
e
(1) =
36
X
N1
n
(i)
N11 , . . .
i=1
Como n11 = 643, n1 = 771, n01 = 123, n0 = 309 e n = 1080,

intervalos de confiana assintticos de 95%:
IC(p11 , 95%) = (0.808; 0.860)
IC(p01 , 95%) = (0.343; .453).
Note que cada intervalo tem 95% de confiana, mas

conjuntamente, usando a independncia assinttica,
(.95)2 = .903. a fim de encontrar uma regio de confiana com
95% devemos usar intervalos individuais com 97.5%, obtendo
o retngulo:
(.775; .893) (.272; .524).
Algumas vezes, natural parametrizar o modelo.
Eugen Onegin
O prprio Markov deu um exemplo de Cadeia de Markov em
1924. Markov estudou um extrato de um poema de Puskin
chamado Eugen Onegin e classificou 20.000 caracteres
consecutivos em vogais e consoantes.
Vogal seguinte Consoante seguinte Total
Vogal
1106
7536
8638
Consoante
7533
3829
11362
Total
8639
11361
20000
bastante bvio que a escolha de vogal e consoante para a

letra seguinte no independente da letra atual. Um modelo
muito simples assumir que a troca se faz de forma constante,
isto a matrix de transio :

1p
p
P =
p
1p
Teoria assinttica
Por simplicidade no caso paramtrico vamos assumir espao
de estados finito. Assuma que as probabilidades de transio
dependam somente de um parmetro , tomando valores em
um espao paramtrico Rr . Vamos assumir as seguintes
condies de regularidade:
1. D = {(i, j); pij > 0} no depende de .
2. Cada pij () 3-vezes continuamente diferencivel.
3. A matriz de dimenso d r , pij ()/k , i, j D,
k = 1, . . . , r e d a cardinalidade de D, tem posto r .
4. Para cada existe somente uma classe ergdica e
nenhum estado transiente.
Podemos escrver a verossimilhana como

X
l(, x) =
nij log pij ().
D
Diferenciando esta expresso obtemos as equaes de

verossimilhana:
X ni j pij ()
ln () =
= 0,
k
pij () k
D
Seja 0 o verdadeiro valor do parmtro.
k = 1, . . . , k .
Teorema: Assuma as condies de regularidade:

das equaes de verossimilhana que
(i) Existe uma soluo
consistente;
0 ) N(0, I 1 ( 0 )), onde I a matriz de

(ii) n(
informao:
Iuv ( 0 ) =
X (i, 0 ) pij ( 0 ) pij ( 0 )

.
pij ( 0 ) u
v
(i,j)D
0 ) pode ser estimada de forma consistente

(iii) Var n(
pelo inverso da informao observada
1

Nij 2
.
log pij ()
n
Exemplo: Eugen Onegin Estimamos p pela equao:

l(p) = (n00 + n11 ) log(1 p) + (n01 + n10 ) log p,
onde 0 = vogal e 1 = consoante. O mximo obtido em:
= N01 + N10
P
n
=
p
7532 + 7533
= 0.753.
20000
A segunda derivada da verossimilahna :

l 00 (p) =
n00 + n11 n01 + n10

+
(1 p)2
p2
Portanto, o erro padro assinttico estimado

))1/2 = (p
(1 p
)/n)1/2 = (.753 .247/20000)1/2 . O
(l 00 (p
que nos d um IC de nvel 95% como:
(.747; .759)
01 = .872 nem p
10 = .663 pertence a este
Note que nem p
intervalo, indicando que o modelo de um parmmetro no
adequado.
o
Teorema: Assuma as condies de regularidade. Seja
EMV sob a hiptse paramtrica H0 . Tambm, seja P o EMV

no paramtrico e 0 o verdadeiro valor do parmetro, quando
H0 verdadeira.
Ento:
D
(i) 2 l() l( 0 ) 2 (r );

D
l()

(ii) 2 l(P)
2 (d(d 1) r );
(iii) As estatsticas em (i) e (ii) so assintticqamente
independentes.
0 o
Teorema: Assuma as condies de regularidade. Sejam
EMV sob a hiptese paramtrica H0 : 0 e 1 o EMV sob a

hiptese 0 1 . Ento para se testar H0 : 0 vs.
H1 : 1 a estatstica do teste a ser utilizada :

D
0 ) l(
1)
2 l(
2 (s)
onde s = dim(1 0 ) dim(0 ).
Teste para independncia: Suponha que queremos testar a

hiptese de que a seqncia X1 , X2 , . . . tomando valores em
I = {0, 1, . . . , K } independente vs. a hiptese de que
pertena a uma CM de ordem 1. Em termos de parametrizao
simplesmente colocamos: H0 : pij = j para todo i, j I.
Neste caso, precisamos calcular o mximo sob as duas
hipteses (independncia e CM de ordem 1).
ij = Nij /Ni .
CM de ordem 1: P
Sob a hiptese de independncia
temos uma distribuio
P
multinomial, com n.j = i nij observaes da categoria com
probabilidade j . A verossimilhana :
l() =
K
1
X
n.j j + n.K (1
j=0
K
1
X
j ),
j=0
a qual maximizada por j = N.j /n. Portanto, a estatstica da

razo de verossimilhana dada por:

X
Nij /Ni
l()
=2
2 l(P)
Nij log
N.j /n
i,j
a qual assintoticamente tem uma distribuio 2 com

K (K + 1) K = K 2 graus de liberdade. No modelo de
Snoqualmie Falls K = 1.
Em Inferncia usamos o teste chi-quadrado de Pearson:

X =
X (Nij Ni pij0 )2
Ni pij0
Eugen Onegin Queremos testar a hiptese H0 : p01 = p10

Os valores esperados para a estatstica de Pearson so
calculados multiplicando-se as somas das linhas
(n0 , n1 ) = (8.638; 11.362) pela matriz de transio estimada
sob H0 :

0.247 0.753
P=
0.753 0.247
obtendo

(Eij ) =
2131.4 6506.6
8558.4 2803.6
A Estatstica chiquadrado para testar a hiptese

uni-dimensional :
2
ij0 )2
X (nij ni p
ij
ij0
ni p
= 1217.7.
O valor exato da estatstica exata da verossimilhana 1217.7.

(Aproximao excelente!!!)

Inferência para Cadeias de Markov

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Inferência para Cadeias de Markov

Încărcat de

Drepturi de autor:

Formate disponibile

Inferncia para Cadeias de Markov

2o. Semestre de 2012

distribuio de probabilidade conjunta:

onde X tem a mesma distribuio das Xi s.

A teoria de Processos Estocsticos estuda diversas

Lei dos Grandes Nmeros (Teorema Ergdico);

Teorema Central do Limite;

Estimao de mxima verossimilhana;

Xt : nmero de terremotos com magnitude maior que 5 que

Xt : nmero de terremotos com magnitude maior que 5 que

(Xk , Yk ): nmero de nascimento e mortes,

Xt : nmero de terremotos com magnitude maior que 5 que

(Xk , Yk ): nmero de nascimento e mortes,

Xy ,t : espessura da camada de oznio na locao y no

Xt : a intensidade de um sinal a uma distncia t da origem.

Xt : a intensidade de um sinal a uma distncia t da origem.

Clientes chegam a uma fila de supermercado de acordo

Xt : a intensidade de um sinal a uma distncia t da origem.

Clientes chegam a uma fila de supermercado de acordo

Temos duas caixas com um total de d bolas numeradas de

Aplicaes de Cadeias de Markov

Fsica, qumica, biologia, cincias sociais, jogos, msica,

Por exemplo, o PageRank de uma pgina da web como

Espao de estados discreto e tempo discreto

X0 , X1 , . . . v.a.s discretas com valores possveis I

P(Xn = x|X0 = x0 , X1 = x1 , . . . , Xn1 = xn1 ) =

Exemplo 1: Sejam Y0 , Y1 , . . . v.a.s discretas i.i.d.. Defina

P(Xn+m = x|X0 = x0 , X1 = x1 , . . . , Xn = xn ) = P(Xn = x|Xn = xn )

Cadeia de Markov homognea

Matriz de transio em n-passos

Note que P1 = P, mais ainda

P(X2 = j|X1 = k )P(X1 = k |X0 = i)

pkj (n)pik (m)

P(X1 = i|X0 = k )P(X0 = k )

P(X2 = i|X1 = j)P(X1 = j)

Exemplo: Snoqualmie Falls

dados dirios para se choveu ou no, pelo menos, 0,01 cm

Janeiro para obter um sistema homogneo e estacionrio.

I = {0, 1} Matriz de transio

Os valores entre parenteses so os valores esperados sob a

P(Xi+1 = xi+1 |Xi = xi )

onde nk ,l = nmero de vezes em que Xi = k , Xi+1 = l.

No exemplo de Snoqualmie Falls,

Assuma que os x0,j so fixos e P(X0,j = x0,j ) = 1, se no,

1,1 = 643/771 = 0, 834

Exemplo - Ferrugem asitica:

Doena que est atacando as culturas de soja causando

Exemplo - Ferrugem asitica:

Doena que est atacando as culturas de soja causando

Um dos fatores que influenciam para a ocorrncia da

Exemplo - Ferrugem asitica:

Doena que est atacando as culturas de soja causando

Um dos fatores que influenciam para a ocorrncia da

Molhamento foliar acmulo de gua lquida causado por

Lucas do Rio verde (MT),

Rio Verde (GO),

Passo Fundo (RS) e

Dados enviados diariamente para o CEPAGRI - Unicamp

Modelo de Regresso Logstico para variveis binrias

variveis dependem do tempo anterior, por exemplo, se

onde Y a varivel resposta e X a matriz de covariveis.

Pode-se definir o i-simo logito como:

Temos, ento, um problema de regresso no qual a resposta Yi

Para introduzir dependncia no modelo necessrio criar