Sunteți pe pagina 1din 71

Cadenas de Markov

I N T EGR AN TES
• A N T I CONA R EYES, RON A L D
• CA M POS SA N DOVA L M I L BER
• ESPI R E Q UI SPE M A N UEL
• JUA R ES ACOSTA
• M A RQ UI N A ROJA S GA BY
• PEÑ A GON ZA L EZ , A N SEL M O
Universidad Nacional De Trujillo

INTRODUCCION:
Las cadenas de Markov está destinado a una clase de modelos de probabilidad que son útiles en
una amplia variedad de ciencias. Las cadenas de Markov han encontrado aplicaciones en la
biología, la física, la demografía, la economía; etc.
Un factor importante que se debe considerar al seleccionar una herramienta de toma de
decisiones es su grado de confiabilidad, ya que así la incertidumbre y el riesgo resultan menores.
Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para
determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una
bolsa de valores o para determinar la volatilidad de precios.
Universidad Nacional De Trujillo

OBJETIVO
El objetivo es analizar y entender los conceptos teoricos y practicos de las “CADENAS DE
MARKOV”.
Universidad Nacional De Trujillo

1. Procesos
estocásticos
Universidad Nacional De Trujillo

Procesos estocásticos ,

Un proceso estocástico es una familia de variables aleatorias definida sobre un


espacio de probabilidad.

X t :   , t  T  ;   X t    X , t 
Normalmente el índice t representa un tiempo y X(t) el estado del proceso
estocástico en el instante t.
El proceso puede ser de tiempo discreto o continuo si G es discreto o continuo. Si
el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1,
X2,...}
Universidad Nacional De Trujillo

Clasificación de los procesos estocásticos

S discreto S continuo
DISCRETO

Sucesión
de variables
T discreto Cadena
aleatorias CONTINUO
continuas

Proceso Proceso
T continuo
puntual continuo
Universidad Nacional De Trujillo
Ejemplos de los tipos de procesos
estocásticos
1. Serie mensual de ventas de un producto
2. Estado de una máquina al final de cada semana (funciona/averiada)
3. Nº de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se
supone que existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la sema.
Universidad Nacional De Trujillo

cadena de Markov
Universidad Nacional De Trujillo

Cadenas de Markov
“Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocásticos, esto es, procesos que evolucionan de forma no
determinista a lo largo del tiempo en tomo a un conjunto de estados.
Por tanto, representa un sistema que varía su estado a lo largo del tiempo.
Siendo cada cambio una transición del sistema.
Dichos cambios no están predeterminados, aunque sí lo está la probabilidad del próximo estado
en función de los estados, probabilidad que es constante a lo largo del tiempo (sistema
homogéneo en el tiempo).
Eventualmente, es una transición, el nuevo estado puede ser el mismo que el anterior y es
posible que exista la probabilidad de influir en las probabilidades de transición actuando sobre el
sistema (decisión).”
Universidad Nacional De Trujillo

NOTACIONES
Cadenas homogéneas y no homogéneas: Una cadena de Markov se dice
homogénea si la probabilidad de ir del estado i al estado j en un paso no
depende del tiempo en el que se encuentra la cadena, esto es:
Para
. todo n y para cualquier i, j

Si para alguna pareja de estados y para algún tiempo n la propiedad antes


mencionada no se cumple diremos que la cadena de Markov es no
homogénea.

X t 1  j   P  X t 1  j 
P
 X 0 , X 1 ,..., X t   X t 
Universidad Nacional De Trujillo

Probabilidades de transición
La probabilidad de ir del estado i al estado j en n unidades
de tiempo es:

 En la probabilidad de transición en un paso se omite el


superíndice de modo que queda:

Un hecho importante es que las probabilidades de transición en n pasos satisfacen la ecuación de Chapman-
Kolmogorov, esto es, para cualquier k tal que

0 < k < n se cumple que:


Universidad Nacional De Trujillo

Donde E denota el espacio de estados.


Cuando la cadena de Markov es homogénea, muchas de sus
propiedades útiles se pueden obtener a través de su matriz de
transición, definida entrada a entrada

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j


en un paso. Del mismo modo se puede obtener la matriz de transición
en n pasos como:
Universidad Nacional De Trujillo

Matriz de transición
Al trabajar con cadenas de Markov, a menudo es útil pensar la sucesión de
ensayos como experimentos efectuados en cierto sistema físico, cada resultado
dejando a este sistema en cierto estado.

 q00 q01 q02 ...


 
 q10
Q
q20
q11 q12
q21 q22
...
...
 qij i , jS
 
 ... ...
 ... ...
Universidad Nacional De Trujillo

Propiedades de la matriz de transición


Por ser los qij probabilidades,

i, j  S , qij  0,1


 Por ser 1 la probabilidad del suceso seguro,
cada fila ha de sumar 1, es decir,
i  S , q
jS
ij 1

 Una matriz que cumpla estas dos propiedades


se llama matriz estocástica
Universidad Nacional De Trujillo

Diagrama de transición de estados


El diagrama de transición de estados (DTE) de una CM es un grafo dirigido cuyos nodos
son los estados de la CM y cuyos arcos se etiquetan con la probabilidad de transición
entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.

qij
i j
Universidad Nacional De Trujillo

Ejemplo: Lanzamiento de un dado


Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 €, y cada vez que
sale 5 ó 6 se gana 1 €. El juego acaba cuando se tienen 0 € ó 100 €.
Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM
S={0, 1, 2, …, 100}
Universidad Nacional De Trujillo

Ejemplo: Lanzamiento de un dado


1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5 …

1/3 1/3 1/3 1/3

1
2/3 2/3 2/3 1/3
… 97 98 99 100

1/3

1/3 1/3 1/3
Universidad Nacional De Trujillo

Cadena de Markov homogénea: Decimos que una cadena de Markov es homogénea o


estacionaria cuando se verifica que:

Es decir que las probabilidades de transición solo dependen de la diferencia entre


los instantes de tiempo y no del valor absoluto de estos. Esta característica se cumple en muchos
casos de interés práctico. Las cadenas de Markov homogéneas que van a ser de nuestro interés
son aquellas en las que en régimen permanente el vector de estado tiende a un valor
asintóticamente estable, es decir:

Vector de probabilidad invariante: Se define la distribución inicial.


Universidad Nacional De Trujillo

Diagrama de transición de estados


Diremos que un vector de probabilidad (finito o infinito numerable) es invariante para
una cadena de Markov si:

donde P denota la matriz de transición de la cadena de Markov. Al vector de probabilidad


invariante también se le llama distribución estacionaria o distribución de equilibrio.
Tiempos de entrada: Si definimos el primer tiempo de entrada a C como la
variable aleatoria
Universidad Nacional De Trujillo

Ecuaciones de
Chapman-
Kolmogorov
Universidad Nacional De Trujillo

Ecuaciones de Chapman-Kolmogorov
Teorema: Las probabilidades de transición en n etapas vienen dadas por la
matriz Qn:

 X t n  j 
i, j  S , P  qij
(n)
 X t  i 
 Demostración: Por inducción sobre n
 Caso base (n=1). Se sigue de la definición
de qij
Universidad Nacional De Trujillo

Ecuaciones de Chapman-Kolmogorov
◦ Hipótesis de inducción. Para cierto n, suponemos cierta la
conclusión del teorema.
◦ Paso inductivo (n+1). Para cualesquiera i,jS,

P
X t  n 1  j   P  X t  n  k    X t  n1  j  
 X t  i  kS
 X t  i 

X t n  k  P  X t  n 1  j
  P   H .I . 
kS
 X t  i   X t  n  k 

X t  n 1  j
  qikn  P    q n q  q n1
kS
 X t n  k  
kS
ik kj ij
Universidad Nacional De Trujillo

Ecuaciones de Chapman-Kolmogorov
Por este teorema sabemos que la probabilidad de transitar de i hasta j en n pasos es el elemento
(i,j) de Qn. Para evitar computaciones de potencias elevadas de matrices, se intenta averiguar el
comportamiento del sistema en el límite cuando n, llamado también comportamiento a
largo plazo
A continuación estudiaremos esta cuestión
Universidad Nacional De Trujillo

Clasificación
de estados
Universidad Nacional De Trujillo

Clasificación de estados
Probabilidad de alcanzar un estado:
X n  j para algún n  0
i, j  S ,  ij  P  
 X 0  i 
 Diremos que un estado jS es alcanzable
desde el estado iS sii ij0. Esto significa que
existe una sucesión de arcos (camino) en el
DTE que van desde i hasta j.
 Un estado jS es absorbente sii qjj=1. En el
DTE,
1
j
Universidad Nacional De Trujillo

Subconjuntos cerrados
Sea CS, con C. Diremos que C es cerrado sii iC jC, j no es alcanzable desde i, o lo que
es lo mismo, ij=0. En particular, si C={i}, entonces i es absorbente. S siempre es cerrado.
Un subconjunto cerrado CS se dice que es irreducible sii no contiene ningún subconjunto
propio cerrado
Universidad Nacional De Trujillo

Estados recurrentes y transitorios


Si S es irreducible, se dice que la CM es irreducible. En el DTE, esto ocurre sii dados i,j
cualesquiera, j es alcanzable desde i
Diremos que un estado jS es recurrente sii jj=1. En otro caso diremos que j es transitorio. Se
demuestra que una CM sólo puede pasar por un estado transitorio como máximo una cantidad
finita de veces. En cambio, si visitamos un estado recurrente, entonces lo visitaremos infinitas
veces.
Universidad Nacional De Trujillo

Estados recurrentes y transitorios


Proposición: Sea CS cerrado, irreducible y finito. Entonces
iC, i es recurrente
Ejemplos: La CM de la línea telefónica es irreducible. Como
además es finita, todos los estados serán recurrentes. Lo mismo
ocurre con el ejemplo del buffer
Ejemplo: En el lanzamiento del dado, tenemos los subconjuntos
cerrados {0}, {100}, con lo que la CM no es irreducible. Los
estados 0 y 100 son absorbentes, y el resto son transitorios
Universidad Nacional De Trujillo

Estados recurrentes y transitorios


Proposición: Sea iS recurrente, y sea jS un estado alcanzable
desde i. Entonces j es recurrente.
Demostración: Por reducción al absurdo, supongamos que j es
transitorio. En tal caso, existe un camino A que sale de j y nunca
más vuelve. Por ser j alcanzable desde i, existe un camino B que
va desde i hasta j. Concatenando el camino B con el A, obtengo el
camino BA que sale de i y nunca más vuelve. Entonces i es
transitorio, lo cual es absurdo porque contradice una hipótesis.
Universidad Nacional De Trujillo

Cadenas recurrentes y transitorias


Proposición: Sea X una CM irreducible. Entonces, o bien todos sus estados son
recurrentes (y decimos que X es recurrente), o bien todos sus estados son
transitorios (y decimos que X es transitoria).
Ejemplo: Estado de cuentas con un tío rico (fortunes with the rich uncle).
Probabilidad p de ganar 1 € y 1–p de perder 1 €. Cuando me arruino, mi tío me
presta dinero para la próxima tirada:
Universidad Nacional De Trujillo

Cadenas recurrentes y transitorias


1–p 1–p 1–p 1–p 1–p

0 1 2 3

p p p p

1–p 1–p 1–p


… …
n n+1
… …
p p p
Universidad Nacional De Trujillo

Cadenas recurrentes y transitorias


Esta cadena es irreducible e infinita. Se demuestra que es transitoria sii p>0,5 y recurrente en
otro caso (p0,5)
La cadena es transitoria cuando la “tendencia global” es ir ganando dinero. Esto implica que una
vez visitado un estado, al final dejaremos de visitarlo porque tendremos más dinero.
Universidad Nacional De Trujillo

Periodicidad
Sea jS tal que jj>0. Sea
k  mcd {n  N  {0} | q jjn   0}
Si k>1, entonces diremos que j es periódico
de periodo k. El estado j será periódico de
periodo k>1 sii existen caminos que llevan
desde j hasta j pero todos tienen longitud
mk, con m>0
Universidad Nacional De Trujillo

Periodicidad
Ejemplo: En la siguiente CM todos los estados son
periódicos de periodo k=2:


 Ejemplo: En la siguiente CM todos los estados son
periódicos de periodo k=3:
Universidad Nacional De Trujillo

Periodicidad
Proposición: Sea X una CM irreducible. Entonces, o bien todos los estados son periódicos de
periodo k (y decimos que X es periódica de periodo k), o bien ningún estado es periódico (y
decimos que X es aperiódica)
En toda CM periódica de periodo k, existe una partición  de S, ={A1, A2, …, Ak}, de tal manera
que todas las transiciones van desde Ai hasta A(i mod k)+1
Universidad Nacional De Trujillo

Periodicidad
Ejemplo de CM periódica de periodo k=3:

A1 A2

A3
Universidad Nacional De Trujillo

Cadenas ergódicas
Sea X una CM finita. Diremos que X es ergódica sii es
irreducible, recurrente y aperiódica
Ejemplo: Analizar la siguiente CM, con S={a, b, c, d, e}:

 12 0 1 0 0
 
2

0 1
4 0 3
4 0
Q0 0 1 0 2 
 3 3

 14 1
2 0 1
4 0
1 1 
 3 0 1
3 0 3
Universidad Nacional De Trujillo

Ejemplos
1º Dibujar el DTE:

1/4 1/3

1/2
b 1/2 c
1/2 3/4 a 1/3 2/3
1/4 1/3
d
e
1/4
1/3
Universidad Nacional De Trujillo

Ejemplos
2º Hallar los conjuntos cerrados
◦ Tomado un estado i, construimos un conjunto cerrado Ci con todos los alcanzables desde él en una o
más etapas (el propio i también se pone):
◦ Ca={a, c, e}=Cc=Ce
◦ Cb={b, d, a, c, e}=Cd=S
◦ La CM no será irreducible, ya que Ca es un subconjunto propio cerrado de S
Universidad Nacional De Trujillo

Ejemplos
3º Clasificar los estados
◦ Recurrentes: a, c, e
◦ Transitorios: b, d
◦ Periódicos: ninguno
◦ Absorbentes: ninguno
4º Reorganizar Q. Dada una CM finita, siempre podemos agrupar
los estados recurrentes por un lado y los transitorios por otro, y
hacer:

 Movimientos entre 
 0 
Q 
recurrentes
 Paso de transitorios Movimientos entre 
 
 a recurren tes transitorios 
Universidad Nacional De Trujillo

Ejemplos
En nuestro caso, la nueva ordenación de S es S={a, c, e,
b, d}, con lo que obtenemos:
 12 1 0 0 0
 
2

0 1
3
2
3 0 0
Q   13 1 1 0 0
 3 3

0 0 0 1
4
3
4
1 1 
 4 0 0 1
2 4

 5º Clasificar la cadena. No es irreducible, con


lo cual no será periódica, ni aperiódica, ni
recurrente, ni transitoria ni ergódica.
Universidad Nacional De Trujillo

Ejemplos
Ejemplo: Analizar la siguiente CM, con S={a, b, c, d, e, f, g}:

 0 0 1 0 00 0
 
 0 0,2 0 0 0,4 0,4 0 
 0,8 0 0 0 0,2 0 0 
 
Q 0 0 0 0 0 1 0
 0 0 1 0 0 0 0 

 0 0 0 0,7 0 0,3 0 
 
 0 0 0 0 0 0 1
Universidad Nacional De Trujillo

Ejemplos
1º Dibujar el DTE:

0,3

a f 1
0,4
1 0,4 0,7 1 g
0,8 1 e b

c 0,2
d
0,2
2º Hallar los conjuntos cerrados
◦ Ca={a, c, e}=Cc=Ce
◦ Cf={f, d}=Cd
◦ Cg={g}
◦S
3º Clasificar los estados
◦ Recurrentes: a, c, d, e, f, g
◦ Transitorios: b
◦ Periódicos: a, c, e (todos de periodo 2)
◦ Absorbentes: g
Ejemplos
4º Reorganizar Q. Cuando hay varios conjuntos
cerrados e irreducibles de estados recurrentes (por
ejemplo, n conjuntos), ponemos juntos los estados del
mismo conjunto:

 P1 0 0 ... 0 0
 
0 P2 0 ... 0 0
0 0 P3 ... 0 0
Q 
 ... ... ... ... ... ... 
0 0 0 ... Pn 0 

Z Z 
 1 Z2 Z3 Zn
Ejemplos
En nuestro caso, reordenamos S={a, c, e, d, f, g, b} y
obtenemos:

 0 1 0 0 0 0 0 
 
 0,8 0 0,2 0 0 0 0 
 0 1 0 0 0 0 0 
 
Q 0 0 0 0 1 0 0 
 0 0 0 0,7 0,3 0 0 

 0 0 0 0 0 1 0 
 
 0 0 0,4 0 0,4 0 0,2 
Ejemplos
5º Clasificar la cadena. No es irreducible, con lo cual no será
periódica, ni aperiódica, ni recurrente, ni transitoria ni
ergódica.
Ejemplo: Número de éxitos al repetir indefinidamente una
prueba de Bernouilli (probabilidad p de éxito). No es CM
irreducible, porque por ejemplo C1={1, 2, 3, …} es cerrado.
Todos los estados son transitorios.
p p p p
0 1 2 3 …

1–p 1–p 1–p 1–p


Ejemplos
Ejemplo: Recorrido aleatorio. Es una CM irreducible y periódica de periodo 2. Se
demuestra que si pq, todos los estados son recurrentes, y que si p>q, todos son
transitorios.

q q q q

0 1 2 3

1 p p p
Ejemplos
La siguiente CM es irreducible, recurrente y periódica de periodo 3. No es ergódica.
Ejemplos
La siguiente CM es irreducible, aperiódica, recurrente y ergódica.
Ejemplos
La siguiente CM es irreducible, aperiódica, recurrente y ergódica
Ejemplos
La siguiente CM es irreducible, aperiódica, recurrente y ergódica
Ejemplos
La siguiente CM es irreducible, aperiódica, recurrente y ergódica
Ejemplos
La siguiente CM no es irreducible, y por tanto no es de
ninguno de los demás tipos. 1 y 4 son recurrentes; 2 y 3 son
transitorios.

1 2

4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto no es de
ninguno de los demás tipos. Todos los estados son
recurrentes y ninguno es periódico.
Ejemplos
La siguiente CM es irreducible, recurrente y periódica de periodo 3. No es ergódica.
Ejemplos
La siguiente CM no es irreducible, y por tanto no es de
ninguno de los demás tipos. Ningún estado es periódico.
4 es transitorio, y el resto recurrentes. 1 es absorbente.

1 2

4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto no es de
ninguno de los demás tipos. Ningún estado es
periódico. 4 y 5 son transitorios, y el resto recurrentes.
3 es absorbente.

1 2

5 4
Ejemplos
La siguiente CM es no es irreducible, y por tanto tampoco de
ninguno de los demás tipos. 4 es absorbente, y el resto son
transitorios.

1 2

4 3
Ejemplos
La siguiente CM no es irreducible y por tanto no es de ninguno de
los demás tipos. 1,3 y 5 son recurrentes de periodo 3. 2 y 6 son
recurrentes, pero no periódicos. 4 es transitorio.

1 2

6 3

5 4
Cadenas
absorbentes
Universidad Nacional De Trujillo

Cadenas absorbentes

Simulación de operaciones mineras


Universidad Nacional De Trujillo

Cadena Absorbente:
Una cadena de Markov con espacio de estados
finito se dice absorbente si se cumplen las dos
condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.


2. De cualquier estado no absorbente se accede a
algún estado absorbente.

 Q' R
Q   
0 I
Universidad Nacional De Trujillo

Si denotamos como A al conjunto de todos los estados


absorbentes y a su complemento como D, tenemos los
siguientes resultados:

• Su matriz de transición siempre se puede llevar a una


de la forma

 Q' R 
Q   
0 I
Universidad Nacional De Trujillo

Donde la submatriz Q corresponde a los estados del


conjunto D, I es la matriz identidad, 0 es la matriz nula y
R alguna submatriz.

 Px(T A < ∞)=1, esto es, no importa en donde se


encuentre la cadena, eventualmente terminará en un
estado absorbente.
Universidad Nacional De Trujillo

Resultados sobre cadenas absorbentes

Proposición: El número medio de etapas que se estará en


el estado transitorio jS antes de la absorción, suponiendo
que empezamos en el estado transitorio iS, viene dado por
el elemento (i,j) de (I–Q’)–1

Nota: La etapa inicial también se cuenta, es decir, en la diagonal de (I–Q’)–1 todos


los elementos son siempre mayores o iguales que 1
Universidad Nacional De Trujillo

Proposición: La probabilidad de ser absorbido por un


estado absorbente jS, suponiendo que empezamos en el
estado transitorio iS, viene dada por el elemento (i,j) de la
matriz (I–Q’)–1 R, que se denomina matriz fundamental de la
CM
Universidad Nacional De Trujillo
Ejemplo: De CM Absorbente.

En un juego participan dos jugadores, A y B. En cada turno,


se lanza una moneda al aire. Si sale cara, A le da 1 € a B. Si
sale cruz, B le da 1 € a A. Al principio, A tiene 3 € y B tiene 2 €.
El juego continúa hasta que alguno de los dos se arruine.

Calcular:

 La probabilidad de que A termine arruinándose.


 La probabilidad de que B termine arruinándose.
 El número medio de tiradas que tarda en acabar el
juego.
Ejempl
Universidad Nacional De Trujillo
o
1. Tendremos una CM con un estado por cada posible estado
de cuentas de A: S={1, 2, 3, 4, 5, 0}. Descomponemos Q:

 0 0,5 0 0 
 
 0 0,5 0 0 0 0,5   0,5 0 0,5 0 
  Q'  
 0,5 0 0,5 0 0 0  0 0,5 0 0,5 
 0 0,5 0 0,5 0  
0   0
 0 0,5 0 

Q 
 0 0 0,5 0 0,5 0 
 0   0 0,5 
0 0 0 1 0  
   0 0 
 0  R
 0 0 0 0 1  0 0 
 
 0,5 0 
 
Universidad Nacional De Trujillo

2. Realizamos los cálculos necesarios:


1
 1  0,5 0 0   1,6 1,2 0,8 0,4 
   
  0,5 1  0,5 0   1,2 2,4 1,6 0,8 
I  Q'1  
0  0,5 1  0,5  0,8 1,6 2,4 1,2 
   
 0  0,5 1   0,4 1,6 
 0  0,8 1,2

 0,2 0,8 
 
 0,4 0,6 
 I  Q ' R  
1

0,6 0,4 
 
 0,8 0,2 

Universidad Nacional De Trujillo

3. Probabilidad de que A termine arruinándose.

 La ruina de A está representada por el estado 0, que es el 2º estado


absorbente. Como empezamos en el 3er estado transitorio (A
empieza con 3 €), debemos consultar la 3ª fila, 2ª columna de (I–Q’)–
1R, que nos da una probabilidad de 0,4 de que A empiece con 3 € y

termine en la ruina.

4. Probabilidad de que B termine arruinándose

 Como es el suceso contrario del apartado a), su probabilidad


será 1–0,4=0,6. También podríamos haber consultado la 3ª fila,
1ª columna de (I–Q’)–1R.

S-ar putea să vă placă și