CADENAS DE MARKOV

Un proceso o sucesin de eventos que se desarrolla en el tiempo en el

cual el resultado en cualquier etapa contiene algn elemento que
depende del azar se denomina proceso aleatorio o proceso estocstico.
Por ejemplo, la sucesin podra ser las condiciones del tiempo en Paran
en una serie de das consecutivos: el tiempo cambia da a da de una
manera que en apariencia es algo aleatoria. O bien, la sucesin podra
consistir en los precios de las acciones que cotizan en la bolsa en donde
otra vez interviene cierto grado de aleatoriedad.

Definicin
Una cadena de Markov es una sucesin de ensayos similares u
observaciones en la cual cada ensayo tiene el mismo nmero finito de
resultados posibles y en donde la probabilidad de cada resultado para un
ensayo dado depende slo del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.

Propiedad de Markov: Dada una secuencia de variables aleatorias ......

, , , X1 X2 X3 , tales que el valor de Xn es el estado del proceso en el
tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en
estados pasados es una funcin de Xn por s sola, entonces:

Donde i x es el estado del proceso en el instante i.

Esta identidad es la denominada propiedad de Markov: El estado en t +
1 slo depende del estado en t y no de la evolucin anterior del sistema
PROCESOS ESTOCSTICOS
Se le denomina proceso estocsticos a una sucesin o secuencia de
variables aleatorias X1, X2, . .

Si los valores de estas observaciones no se pueden predecir

exactamente
Pero se pueden especificar las probabilidades para los distintos
valores posibles en cualquier instante de tiempo.

X1 : v.a. que define el estado inicial del proceso

Xn : v.a. que define el estado del proceso en el instante de tiempo n

Para cada posible valor del estado inicial s1 y para cada uno de los
sucesivos
valores sn de los estados Xn, n = 2, 3, . . ., especificamos:

P (Xn+1 = sn+1 | X1 = s1, X2 = s2, . . . , Xn = sn )

CLASIFICACION DE LOS PROCESOS ESTOCASTICOS

Procesos estocsticos
{X(t), t e T}

-T numerable: proceso estocsticos en tiempo discreto { Xn , n=0,1,2,

}
-T Intervalo de la recta real: proceso estocstico en tiempo continuo
{X(t),t>= 0}

CADENA DE MARKOV se puede definir como un proceso estocstico

en cual cada sucesin o proceso tiene el mismo nmero finito de
resultados posibles y donde la posibilidad de resultado para cada
proceso depende solo del resultado del proceso precedente y no
cualquier resultado previo.
La probabilidad del estado futuro Xn+1

No depende de los estados anteriores X1, . . . , Xn1, y

F Solamente depende del estado actual Xn.

Es decir,
Para n = 1, 2, . . . y
Para cualquier sucesin de estados s1, . . . , sn+1
CADENAS DE MARKOV

CADENA DE MARKOV FINITA: Tipo de cadena que solo existe un numero

finito k , tantos estos posibles s1, . . . , sk y en cualquier instante de
tiempo la cadena est en uno de estos k estados.
PROBABILIDAD DE TRANSICIN
P (Xn+1 = sj | Xn = si )
Una cadena de Markov tiene probabilidades de transicin estacionarias
si para cualquier par de estados si y sj existe una probabilidad de
transicin pij tal que
P (Xn+1 = sj | Xn = si) = pij para n = 1, 2, . . .

VECTOR DE PROBABILIDADES INICIALES

VECTOR DE PROBABILIDADES
w = (w1, . . . , wk) se llama vector de probabilidades si
wi 0 para i = 1, . . . , k, y
Xk
i=1
wi = 1.
Consideramos una cadena de Markov con:
1. s1, . . . , sk posibles estados en los que la cadena puede estar en el
tiempo
de observacin inicial n = 1
2. Para i = 1, . . . , k; P (X1 = si) = vi, con vi 0 y v1 + . . . + vk = 1

El vector de probabilidades v = (v1, . . . , vk) se llama vector de

probabilidades iniciales de la cadena. El vector de probabilidades
iniciales y la matriz de transicin determinan la probabilidad para el
estado de la cadena en el segundo instante de tiempo, dicha
probabilidad viene dada por el vector vP
Adems, si las probabilidades de los diversos estados en el instante n se
especifican por el vector de probabilidades w, entonces
Las probabilidades en el instante n + 1
se especifican por el vector de probabilidades Wp

MATRIZDE TRANSICION
Los elementos que forman la Matriz de transicin representan las
probabilidades dadas de que en las prximas observaciones el estado
del sistema indicado a la izquierda de la matriz cambie al estado del
partido indicado arriba de la matriz.

Definicin: Consideremos un proceso de Markov en que el sistema

posee n estados posibles, dados por los nmeros 1, 2, 3, ., n.
Denotemos ij p a la probabilidad de que el sistema pase al estado j
despus de cualquier ensayo en donde su estado era i antes del ensayo.
Los nmeros ij p se denominan probabilidades de transicin y la matriz
nxn ( )ij P = p se conoce como matriz de transicin del sistema
Observaciones:
1) La suma 1 ..... pi1 + pi2 + + pin = . Esta suma representa la
probabilidad de que el sistema pase a uno de los estados 1, 2, ., n
dado que empieza en el estado i. Ya que el sistema ha de estar en
uno de estos n estados, la suma de probabilidades debe ser igual a 1.
Esto significa que los elementos en cualquier rengln de la matriz de
transicin deben sumar 1.
2) Cada elemento 0

Cadena de Markov como modelo para el ADN.

Una cadena de Markow (A, T,G y C) son una secuencia aleatoria para el
patrn de nucletidos en una secuencia gnica. Podra Ser una
aproximacin: las probabilidades para el nucletido en la posicin j+1
dependen del nucletido en la posicin j.

espacio de estados es S = {A, C, G, T}.

La matriz de transicin P es de 4 x 4:

La ecuacin de Chapman-Kolmogorov
Es una de las relaciones ms importantes en las cadenas de Markov

Si denotamos con P(n) la matriz de transicin en n pasos, lo que nos

estn diciendo las ecuaciones de Chapman-Kolmogorov es que

P(n+m) = P(n) P(m).

Por lo tanto,
P(2) = P(1) P(1) = PP
P(3) = P(2) P(1) = P

Clasificacin de estados en una cadena de Markov

Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones que

comienza en i y termina en j, de forma que cada transicin de la secuencia tenga
probabilidad positiva.
Un estado j es alcanzable desde un estado i si hay una trayectoria de i a j, por lo
tanto si dos estados i y j se comunican si i es alcanzable desde j y j es alcanzable
desde
i.

Un conjunto de estados S en una cadena de Markov es cerrado sin ningn

estado fuera de S es alcanzable desde un estado en S.
Un estado i es absorbente si pii=1
Transitorio si hay un estado j alcanzable desde i, pero el estado i no es
alcanzable desde j.
Un estado es recurrente si no es transitorio.
Peridico con periodo k>1 si k es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una
longitud mltiplo de k.

Cadena aperidica Si un estado recurrente no es peridico.

Cadena Ergdica Si todos los estados de una cadena son recurrentes,

aperidicos y se comunican entre s.

TIEMPO DE PRIMERA PASADA Y PROPIEDADES A LARGOPLAZO DE LAS

CADENAS DE MARKOW

Es conveniente hacer afirmacin en trminos de probabilidades sobe el nmero

de ensayos o observacin que hace el proceso al ir de un estado i a un estado j
por primera vez.
El tiempo se llama tiempo de primera pasada ir del estado i a estado j.
El tiempo de primera pasa es j=i , es el nmero de transiciones hasta
que el proceso regresa al estado inicial.

Como ya hemos observado una cadena de markov puede clasificarse en los

siguientes estados:
- Estado ergdico
- Estado peridico
- Estado recurrente
- Estado absorbente

Para estudiar las propiedades a largo plazo de las cadenas de Markov nos
basamos especficamente en las cadenas de Markov ergdicas. Recordemos
que una C.M ergdica es aperidica, recurrente y no nula (si hay estados
absorbentes no es una cadena ergdica). En este tipo de cadenas se puede ir
de un estado i a un estado j en n pasos, aunque no exista un arco dirigido de
un estado i a un estado j, es decir, tiene la libertad de ir de un estado a
cualquier otro en n pasos. Esto nos lleva a afirmar que hay una evidencia de
que existen condiciones de estado estable, por lo tanto, las probabilidades
cada vez que avance el tiempo van a tender a converger en cierto punto, como
se desarroll en la clase y lo recordaremos a continuacin.

Lo anterior se resuelve cuando aplicamos las ecuaciones de ChapmanKolmogorov. Para tener una idea ms clara de ello, podemos remitirnos al
ejemplo realizado en clase, donde para n pasos las probabilidades se repetan.

Estados absorbentes

Un sistema absorbente es un estado a partir del cual existe cero

probabilidades cero.
El estado K se llama estado absorbente si Pkk=1, de manera que
cada vez que la cadena llegue a estado K permanece ah para
siempre.
Si K es un estado absorbente y el proceso comienza en el estado i,
la probabilidad de llegar en algn momento a K se llama
probabilidad de absorcin al estado K dado que el sistema
comenz en i .

Si el estado k es absorbente, entonces el conjunto de

probabilidades de absorcin f ik satisface el sistema de
ecuaciones.

En el anlisis de los sistemas absorbentes enumerados los estados

en tal manera que los estados absorbentes son los ltimos. La
matriz de transicin de un sistema absorbente entonces se ve
como sigue

Aqu i esta la matriz unidad m(m = nmero de estados absorbentes ), S

es una matriz cuadrada (n-m) (n-m) (n = numero tola de estados de
modo n-m= el nmero de estados absorbentes), 0 es un matriz cero y
T es un matriz (n-m)m.

La matriz S , es la matriz de transicin para la circulacin entre los

estados de absorcin. La matriz fundamental para el sistema
absorbente es Q =(I-S)-1

EJEMPLO

La empresa jurdica Angie Montero, emplea 3 tipos de abogados:

subalternos, superiores y socios. Durante cierto ao el 10% de los
subalternos ascienden a superiores y a un 10% se les pide que
abandonen la empresa. Durante un ao cualquiera un 5% de los
superiores ascienden a socios y a un 13% se les pide la renuncia. Los
abogados subalternos deben ascender a superiores antes de llegar a
socios. Los abogados que no se desempean adecuadamente, jams
descienden de categora.

a) Forme la matriz de transicin T

b) Determine si T es regular, absorbente o ninguna de las 2.
c) Calcule la probabilidad de que un abogado subalterno llegue a socio
d) Cunto tiempo deber permanecer en su categora un abogado
subalterno recin contratado?
e) Cunto tiempo deber permanecer en la empresa un abogado
subalterno recin contratado?
f) Calcule la probabilidad de que un abogado superior llegue a socio.

a) Se hace la matriz T y nos queda:

b) Ntese que la parte azul cielo tiene probabilidades iguales a 1, por

lo tanto esta es la parte absorbente de la matriz. Por esta razn es
una matriz absorbente.
Ahora se procede a restar la matriz normal de la identidad y se
halla la inversa para ver los tiempos entre estados, para
posteriormente esta ltima ser multiplicada por la matriz
absorbente y saber las probabilidades de cambios de estado.

c) Al multiplicar la matriz inversa por la Absorbente se puede

hallar dicha probabilidad, esta es 0.14
d) Al simplemente hallar la matriz inversa se es posible hallar el
tiempo en aos que debera permanecer normalmente un abogado
subalterno en su compaa, seran 5 aos.
e) Cuando piden el tiempo que debera permanecer un abogado
subalterno pero durante la empresa sera sumar el tiempo en que

se queda como subalterno con el tiempo en que permanece como

superior: esto es, 5+2.77= 7.77 aos.
f) Por ltimo la probabilidad de que pase de subalterno a socio es
mostrado en la ltima matriz, sera 0,28.
Tomado de : Clase de investigacin de operaciones dada por el
Ingeniero Industrial Medardo Gonzlez

Cadenas de Markov en tiempo continuo.

En las cadenas de Markov en tiempo discreto, utilizbamos como ndice
un tiempo discreto n = 0, 1, 2,... y se deducan numerosas propiedades.
Las nociones de cadenas de Markov se puede extender a un tiempo
continuo t 0. En tiempo continuo es complicado definir la distribucin
condicionada, dados todos los valores Xr para r s, por lo que decimos
en su lugar que Xt, t 0, es una cadena de Markov si para cualquier 0
s0 < s1 < ... < sn < s y posibles estados i0,...,in, i, j se tiene que
P (Xt+s = j | Xs = i, Xsn = in,...,Xs0 = i0) = P (Xt = j | X0 = i)
Es decir, dado el estado actual, el resto del pasado es irrelevante para
predecir el futuro. En la definicin se observa que la probabilidad de ir
desde i en el tiempo s hasta j en el tiempo s + t solo depende de t, esto
es, de las diferencias de tiempos.

Ejemplo.
Sea N(t), t 0, un proceso de Poisson con tasa , y sea Yn una
cadena de
Markov discreta con probabilidad de transicin, digamos, u(i, j).
Entonces el proceso definido como Xt = YN(t) es una cadena de
Markov en tiempo
continuo, es decir, Xt realiza un salto de acuerdo a u(i, j) en cada
llegada de N(t).
Esto se sigue de manera intuitiva de la falta de memoria de la
distribucin exponencial. Si Xn = i, entonces, independientemente
de lo que ocurriese en el pasado, el tiempo hasta el siguiente salto
se distribuye de manera exponencial con tasa , de modo que la
cadena ir al estado j con probabilidad u(i, j).
En las cadenas discretas, se tena la matriz de transicin y de
modo paralelo, aqu, se tiene la probabilidad de transicin para t >
0 definida como
pt (i, j) = P (Xt = j | X0 = i)
que en el ejemplo, como N(t) se distribuye como una Poisson con
media t, tiene la forma

donde un(i, j) es la potencia n-sima de la probabilidad de

transicin u(i, j). Es decir, la
probabilidad de estar en j en el tiempo t , es igual a que aparezcan
n llegadas de N(t) por la probabilidad de transicin en N(t) = n
etapas: un(i, j).
La probabilidad de transicin satisface la ecuacin de ChapmanKolmogorov:

Esto se justifica porque para ir de i a j en el tiempo s + t. debe

estar en algn estado k en el tiempo s, y la propiedad markoviana
implica que las dos partes del recorrido son Independientes entre
s.
De este modo, si se conoce la probabilidad de transicin para

t<t0 para cualquier t0 > 0, entonces se sabe para todo t.Se puede
demostrar que las probabilidades de transicin pt se pueden
determinar a partir de las derivadas en 0 de las propias pt(i, j):

para j 6= i. A esta cantidad, q(i, j) se denomina tasa de saltos de i

a j y tiene el sentidode una velocidad de salto de un estado a otro.

Es decir, se abandona i con una tasa y se va a j con probabilidad

u(i, j).
En la mayora de los casos se describe el sistema determinando
previamente las tasas
de transicin q(i, j) para j 6= i, que determina el ritmo al que se
salta de i a j

tomado Anlisis de redes y sistemas de comunicaciones

Escrito por Xavier Hesselbach Serra,Jordi Alts Bosch

Procesos markovianos de decisin

Son una clase de procesos que tratan con el problema de toma de

decisiones bajo incertidumbre
Esta clase incluye a los Procesos de decisin de Markov
(MDP); a los Procesos de decisin semi-markovianos
(SMDP); y a los procesos de decisin de Markov parcialmente observables
(POMDP)

Son modelos matemticos utilizados para encontrar estrategias ptimas

que un tomador de decisiones debe seguir cuando debe tomar una
secuencia de decisiones en el tiempo y cuyos resultados son inciertos.

T.- Conjunto de momentos de decisin Por un lado deseamos bajo

costo inmediato y por otro lado deseamos bajo costo de largo plazo
(Horizonte)
Una poltica establece que accin se debe tomar en cada momento de
decisin.

Investigacin de operaciones Escrito por Hamdy A. Taha