Sunteți pe pagina 1din 18

Trabajo de

Investigacin de
Operaciones
Presentado por:
Beleo Carvajal Luis Fernando.
Negrette Tapia Juan Gabriel

Docente.

INTRODUCCIN
Las Cadenas de Markov reflejan claramente lo que son procesos estocsticos.
Se conoce, pues, como procesos estocsticos a aquellos en donde una variable
(el tiempo, por ejemplo) depende de la otra. En este parte entran en juego las
probabilidades, y la manera en cmo una variable depende de la otra se puede
apreciar en las diferentes Cadenas de Markov.
Las cadenas de Markov de tiempo discreto son procesos de corta memoria en el
sentido de que solo recuerdan el ultimo estado visitado para decidir cul ser el
prximo.
En procesos con larga memoria (cadenas con conexiones completas) el valor
que toma el proceso en cada paso depende de todo el pasado.
La mayor diferencia que hay entre Cadenas de Markov de Tiempo Discreto y
Cadenas de Markov de Tiempo Continuo es que las primeras saltan de un estado
a otro en tiempos enteros 1, 2, 3, y las de tiempo continuo lo hacen en tiempos
aleatorios t1, t2, t3,...
Para nuestro inters, en las continuas pginas se presentarn procesos de
Cadenas de Markov de Tiempo Continuo y resultados importantes de este tipo
de procesos. Se mostrarn ejemplos relacionados con la biologa, aunque dichos
procesos tienen muchas aplicaciones en otras reas como economa, sociologa,
fsica, etc.

OBJETIVOS.
OBJETIVOS GENERALES.

Identificar los procesos presentes en las cadenas de Markov ocultas y su

aplicacin en la industria.
Identificar procesos de cadenas de Markov de tiempo continuo como
resultado de haber asimilado los conceptos previos a este.

OBJETIVOS ESPECFICOS
Identificar las clases de estados existentes con sus respectivas variables.
Diferenciar claramente las caractersticas de las cadenas de Markov que

guardan ciertas relaciones.


Determinar cules que son y cules son las principales aplicaciones de las

cadenas de Markov ocultas


Formular probabilidades en los procesos de tiempo continuo.

CADENAS DE MARKOV DE TIEMPO CONTINUO


Existen ciertos casos (como en algunos modelos de lneas de espera) en los que
se requiere un parmetro de tiempo continuo, debido a que el proceso se est
observando de manera continua a travs del tiempo.

DESCRIPCIN DE CADENAS DE MARKOV DE TIEMPO CONTINUO


Estados posibles del sistema: 0,1,.., M Los estados son discretos
Parmetro continuo: Tiempo t para t 0
Estado del sistema en el tiempo t: variable aleatoria

X (t )

Sean:
t =r , tiempo pasado
t =s , tiempo presente
t =s+t , t unidades al futuro

El sistema se observa en los tiempos r y s, y sus respectivos estados son


X (s)=i X (r )=x (r )

Distribucin de probabilidad del estado del sistema en el tiempo

t =s+t

P{ X (s+t )= jX ( s)=i y X (r )=x (r )}Para j=0,1,. .., M


Luego, Un proceso estocstico de tiempo continuo tiene la propiedad Markoviana
si: P{ X ( s+t )= jX (s)=i }
Probabilidad de transicin igual que en eventos
discretos
Para j=0,1,... , M ,
r 0 s> r y t> 0

no es necesario que t sea entero.

Si las probabilidades de transicin son independientes de s, se llaman


probabilidades de transicin estacionaria u homognea:
P{ X ( s+t )= j X (s)=i }=P {X (t )= jX (0)=i} Para toda s > 0
Denotada por la Funcin de probabilidad de transicin de tiempo contino
Pij (t)=P { X (t)= j X (0)=i }

Se supone que
Ahora, sea la
Ti :
el

variable
tiempo

aleatoria
que

pasa

cada vez que


un estado i

el proceso est en
antes de ir a otro
estado diferente. Si el proceso entra en i en el tiempo s, entonces para t> 0 , se
observa que

Ti> t

si y slo si

P{Ti> t+ sTi> s }=P {Ti >t }

X (t )=i para t en s t s+ t . esto implicara que

Esta propiedad de la variable aleatoria Ti se conoce

como la falta de memoria. Existe slo una distribucin continua con esta propiedad
(la
exponencial)
definida
por
funcin
de
distribucin
acumulada
P{Ti> t }=1eqt para t 0 donde q es el parmetro y la media es 1/q .
Con lo anterior en mente, tenemos que
La variable aleatoria Ti tiene una distribucin exponencial con media

1/ qi .

Cuando abandona el estado i el proceso entra en el estado j con probabilidad


de transicin Pij con:

Las intensidades de transicin aqu cumplen el papel anlogo que cumplen las
transiciones de un paso en las cadenas de Markov de tiempo discreto. Las
intensidades de transicin son:

Probabilidades de estado
estable
Para cualesquiera estados i y
y nmeros no negativos t y s

j,
(0 s t),

Los

estados

i, j

Pij(t 1)> 0 y Pji(t 2)>0

se

comunican

si

existen

tiempos

t 1,t 2

Se supone que la cadena de Markov de tiempo continuo

es irreductible, es decir, todos los estados de una cadena se comunican formando


una sola clase

Las siguientes ecuaciones de estado estable son ms til para obtener las
probabilidades de estado estable:

Ejemplo.
Un taller opera con 2 mquinas idnticas que operan continuamente excepto
cuando se descomponen.

MAQUINA 1

MAQUINA 2

El tiempo requerido para reparar una mquina tiene distribucin exponencial con
media 1/2 de da. Cuando se termina la reparacin el tiempo que transcurre hasta
la siguiente descompostura se distribuye exponencial con medio 1 da.
Nota: Las distribuciones son independientes
Definamos la variable aleatoria
X (t ) : Nmero de mquinas descompuestas en el tiempo
posibles de

(los valores

X (t ) son 0, 1,2)

Podemos usar las probabilidades de estado estable para hallar la distribucin de


probabilidad de estado estable para el nmero de mquinas descompuestas.
Debemos hallar para i, j=0,1,2
qi

en i
q ij

: Tasa de transicin hacia fuera del estado i por unidad de tiempo que pasa
: Tasa de transicin del estado i al j por unidad de tiempo que pasa en i

El estado (nmero de mquinas descompuestas)

Aumenta en 1 cuando ocurre una descompostura


una reparacin

Disminuye en 1 cuando hay

Como las descomposturas y las reparaciones ocurren una a la vez


q02 = 0
q20 = 0
El tiempo esperado de reparacin es de da La tasa a la que se terminan las
reparaciones (cuando hay mquinas descompuestas) es 2 mquinas por da
Esto implica
q21 = 2
q10 = 2
El tiempo esperado hasta que se descompone una mquina es 1 da La tasa a
la que se descomponen las mquinas (cuando est operando) es 1 por da
Esto implica q 12=1
Durante los tiempos en que las dos mquinas operan, las descomposturas ocurren
a una tasa de 1+1=2 por da q 01=2

Estas tasas de transicin se pueden usar para calcular la tasa de transicin total
hacia fuera del estado
q2 = q21 = 2
q0 = q01 = 2

q1 = q10 + q12 = 3
Ecuaciones de Balance Tasa de salidas de un estado = Tasa de entradas a ese
estado

Cualquiera de estas ecuaciones se puede eliminar como redundante y


obtendremos
( 0 , 1 , 2)=(2/5, 2/5,1/5)
CONCLUSIN: ambas mquinas estarn descompuestas simultneamente el
20% del tiempo y una mquina estar descompuesta el 40%. Las dos estarn
buenas el 40%.
LAS CADENAS OCULTAS DE MARKOV
Existen diferentes situaciones en la naturaleza que obedecen o se comportan
como las cadenas de Markov, sin embargo dentro de estos hay fenmenos que
aparentemente depende de una sola variable, una sola causa, sin embargo, esta
causa implcitamente depende de otra, que a simple vista o de forma inmediata no
se distingue, porque se dice que est escondida u oculta en el fenmeno. Claro
est, estos problemas no dejan de comportarse como cadena de Markov, por ello
se les conoce como cadenas ocultas de Markov.
Los modelos ocultos de Markov fueron descritos por primera vez en una serie de
artculos estadsticos por Leonard E. Baum y otros autores en la segunda mitad de
la dcada de 1960. Una de las primeras aplicaciones de las cadenas ocultas de
Markov fue en el reconocimiento del habla, comenzando en la mitad de la dcada
de 1970. En la segunda mitad de la dcada de 1980, las cadenas ocultas de
Markov comenzaron a ser aplicados al anlisis de secuencias biolgicas, en
particular de DNA. Desde entonces, se han hecho ubicuos en el campo de la
bioinformtica. Algunas de las definiciones que han dado autores o exponentes del
tema son:

una cadena de Markov oculta es un doble proceso estocstico con un


proceso subyacente que no es observable (oculto) pero que puede ser
observada a travs de otro conjunto de procesos estocsticos que generan
la secuencia de observaciones. Rabiner.

. . .es una funcin probabilstica de una cadena oculta de Markov es un


proceso estocstico generado por dos mecanismos interrelacionados, una
cadena de Markov subyacente que tiene un nmero finito de estados, y un
conjunto de funciones aleatorias, cada una asociada con un estado. En
instantes discretos de tiempo, se asume que el proceso est en algn
estado y una observacin es generada por la funcin aleatoria asociada al
estado actual. La cadena de Markov subyacente cambia entonces de
estado de acuerdo con su matriz de probabilidad de transicin. El
observador ve localmente la salida de las funciones aleatorias asociadas a
cada estado y no puede observar directamente los estados de la cadena
de Markov. Magdi y Gader.

INTERPRETACIN DE UNA CADENA DE MARKOV OCULTA


En el siguiente diagrama que se encuentra la interpretacin grafica de una cadena
oculta de Markov. Cada valo representa una variable aleatoria que puede tomar
determinados valores. La variable aleatoria X (t ) es el valor de la variable oculta
en el instante de tiempo (t), la variable aleatoria

Y (t)

es el valor de la variable

observada en el instante de tiempo (t). Las flechas indican dependencias


condicionales. Del diagrama queda claro que el valor de la variable oculta X (t )
(en el instante t) solo depende del valor de la variable oculta

X (t1)

(en el

instante t). A esto se le llama propiedad de Markov. De forma similar, el valor de la


variable observada Y (t) solo depende del valor de la variable oculta X (t )
(ambas en el instante t).

ELEMENTOS DE UNA CADENA DE MARKOV


1. El nmero de estados en el modelo (N). Aunque los estados en los que se
encuentra el sistema modelado se consideran ocultos, para muchas
aplicaciones prcticas existe alguna significacin fsica asociada a los
estados del sistema. Generalmente los estados estn interconectados de
tal manera que cualquier estado puede ser alcanzado desde cualquier otro.
Los estados sern denotados como S={S 1, S 2,... , SN } , y el estado en el
instante t como

q( t) .

2. El nmero de smbolos de observacin distintos por estado M. Es el


alfabeto de tamao discreto del modelo. Los smbolos corresponden
usualmente a la salida fsica u observable del sistema modelado. Se
V ={v 1, v 2,., vm }
denotan los smbolos como
o posibles valores
observables en cada estado. M es un total y V es cada uno de los estados
que van apareciendo.
3. La distribucin de probabilidad de transicin o el conjunto de probabilidades
A={a ij } . Usualmente representada por una matriz donde:
a ij=P (qt +1=Sj qt =Si)

Esto es, la probabilidad de estar en el estado Sj

en el instante t+1, dado que en el instante t estuve en el estado S. Para el


caso especial en el que cada estado puede llevar a cualquier otro estado en
una sola transicin, a ij>0 para todo i, j. En otros tipos de MOM, se tiene
que a ij=0 para uno o ms pares (i, j).
4. La distribucin de probabilidad de observacin de smbolos B = {bj (k)}.
Esta distribucin de probabilidad representa la probabilidad de observar el

smbolo
k
estando
en
el
bj(k )=P( vkentqt=Sj ), 1 j N ,1 k M

estado

donde:

5. La distribucin inicial Representa el estado inicial del sistema modelado,


donde:

i=P(q 1=Si) , 1 i N .

Dados

valores

apropiados

para

N , M , A , B y , el modelo oculto de Markov puede ser utilizado como el


generador de una secuencia de observaciones

O=O 1O 2 OT .

En resumen, los elementos de los modelos ocultos de Markov:


T= longitud de la secuencia de observaciones
N= cantidad de estados en el modelo
M= cantidad de smbolos observables
S= estados: {S 1, S 2, S 3, S 4, , S N }
Q= secuencia de transiciones:

{q 1, q 2, q 3, q 4, , q N }

V= conjunto discreto de observaciones posibles


qt

{v 1, v 2, v 3, v 4, , v N }

= estados visibles en el momento t

A {a ij }=aij=P(q t+1=Sj/q t=Si)


B {b j( k)}=P(V kt /q t=Sj)

={ }=P( q 1=Si) .

TIPOS DE MODELOS OCULTOS DE MARKOV

La siguiente clasificacin de los modelos ocultos de Markov, no se debe


exclusivamente a alguna de sus caractersticas. Esto quiere decir, que los dos
primeros tipos cuya clasificacin depende de los valores de las matrices de
probabilidad de transicin, son excluyentes entre ellos pero no con el tercer tipo.
As, podemos tener MOM que sean no ergdicos y autoregresivos o bien
ergdicos y autoregresivos al mismo tiempo.
Ergdicos:
Cuando un modelo oculto de Markov tiene una matriz de probabilidad de transicin
de estados completa (es decir, que no es cero para ningn a ij) se dice que el
modelo oculto de Markov es ergdico. En este tipo de modelo oculto de Markov
cualquier estado puede ser visitado nuevamente con probabilidad 1 y estas visitas
no deben tomar necesariamente lugar en intervalos de tiempo peridicos. La
siguiente figura muestra un ejemplo de este tipo de modelo, esta es la cadena de
Markov de la deteccin de las anomalas en la carga de un procesador con N=4,
siendo N el nmero de estados.

No Ergdicos:
En los casos en los que las matrices de transicin de los modelos ocultos de
markov pueden tener algunos valores 0, se dice que no son ergdicos. Por
ejemplo, si se tiene una matriz triangular superior, se tendra un modelo oculto
como el que se muestra a continuacin. A estos modelos se les conoce tambin
como modelos izquierda-derecha, pues la secuencia de estados producida por la
secuencia de observaciones siempre deber proceder desde el estado ms a la
izquierda, hasta el que est ms a la derecha.
Estos modelos imponen un orden temporal al modelo oculto de markov, pues los
estados con nmero menor, generan observaciones que ocurrieron antes que las

generadas por los estados con ndices mayores. La figura obedece a una matriz A
triangular superior y N= 4.

Autoregresivos:
Los modelos ocultos de Markov autoregresivos, tienen casos especiales del
parmetro B. Cuando los smbolos observables de un modelo oculto Markoviano
son vectores continuos (no son un conjunto discreto como un alfabeto), la funcin
de distribucin de probabilidad bj(k ) , es remplazada por la funcin continua
bj(x) , 1 j N donde bj ( x) dx

encuentre entre

= probabilidad de que el vector de observacin O se

x y x+ dx . Las siguientes son las formas especiales de

bj(x)

que han sido propuestas.


Estos se clasifican en dos:
Gaussianos con mezcla de densidades

Donde

cjk

es el peso de la mezcla, N es la distribucin normal y

jk , Ujk

los vectores de medias y covarianzas asociados con el estado j y la mezcla k.

son

Gaussianos auto regresivos con mezcla de densidades

donde

APLICACIONES DE LAS CADENAS OCULTAS DE MARKOV.


Los modelos ocultos de Markov son especialmente aplicados al reconocimiento de
formas temporales, como el reconocimiento del habla, los gestos y movimientos
corporales, reconocimiento ptico de caracteres, de escritura manual, de gestos o
bioinformtica, prediccin de regiones que codifican protenas dentro de genomas,
modelado de familias de secuencias de protena o ADN relacionado, prediccin de
elementos de estructura segundaria en secuencias primarias de protenas,
Criptoanlisis, traduccin automtica, seguimiento de partculas musicales,
comportamiento del cliente, entre otros.
En general, las aplicaciones varan en distintas ramas cientficas nos dan a
entender la flexibilidad y potencialidades de estos modelos matemticos, que da
una data histrica representativa, pueden estimar probabilidades y con estas
extrapolar conclusiones a posteriori dentro de un marco de alta variabilidad y poco
conocimiento de las variables cuantitativas.
Reconocimiento de palabra aislada usando cadenas ocultas de markov HMM

Para cada palabra de un vocabulario de palabras se quiere disear un modelo


oculto de markov (HMM) con N estados. Para cada palabra en el vocabulario se
tiene un conjunto de entrenamiento con K instancias de la palabra hablada por uno
o ms locutores. Cada ocurrencia de la palabra constituye una secuencia de
observacin. Las observaciones son alguna representacin espectral (cepstral) o
temporal de la seal de voz.
1. Para cada palabra v en el vocabulario se debe construir un HMM v , es
decir se deben estimar los parmetros del modelo (Ad, Bd, d ) que
optimizan la probabilidad del conjunto de vectores de entrenamiento
asociados a la d-sima palabra.
2. Para cada palabra desconocida que se quiere reconocer, se debe obtener
la secuencia de vectores de observacin O. Luego calcular la
probabilidades de que esa secuencia haya sido generada por cada uno de
1 d D y luego seleccionar la
los modelos posibles P(O d) , con
palabra cuyo modelo tenga la ms alta probabilidad, i.e.
D argmax( P (O d ))

1 d D
A continuacin se mostrara Diagrama de bloques de un reconocedor de dgitos
aislados.

0
dd d
Calculo de la
probabilidad

DIGITO DESCONOCIDO

Obs. De secuencia

P(O| 0 )

1
dd d

Del procedor
final

HMM para digito 0

Calculo de la
probabilidad

DIGITO RECONOCIDO

HMM para 1
P(O| 1 )

Seleccin
mxima

D*=argmax (P(O| d ))
.
1d D
.

9 .
dd d

CONCLUSIN
Calculo
Previo a los conceptos estudiados, dentro
de de
los laprocesos que se encuentran
probabilidad

clasificados como cadenas de Markov de tiempo continuo se hallan muchas


aplicaciones cotidianas llevadas al contexto de nivel ingenieril con el fin de
aumentar el nivel de asertividad en la solucin de problemas, se hizo por ejemplo,
mencin a la teora de colas donde la evolucin o el comportamiento de dicho
proceso se hace de manera continua.
Es fundamental el conocimiento de expertos para formular probabilidades en los
procesos de tiempo continuo, ello conlleva a Identificar adecuadamente las clases
de estados existentes con sus respectivas variables sin temor alguno de
equivocarse.
A medida que se vuelve natural identificar procesos de tiempo contino, entonces
tambin se adquiere destreza en Diferenciar claramente las caractersticas de las
cadenas de Markov que guardan ciertas relaciones como es el caso de cadenas
de Markov de tiempo discreto y contino.

BIBLIOGRAFA
Hillier Frederick S. Lieberman Gerald J. Introduccin a la investigacin de
operaciones. 9 edicin. Editorial Mc Graw Hill.
Phil Blunsom. Hidden Markov Models. Agosto 19, 2004. Disponible en:
http://www.alexu.edu.eg
Troncoso Carrre Nicols. Cadenas de Markov Ocultas. Publicacin:
Valparaso,
24
de
Noviembre
de
2005.
Disponible
en:
http://www.alumnos.inf.utfsm.cl
Investigacin operativa. Cadenas de Markov en tiempo continuo.
Disponible en http://www.dia.fi.upm.es

S-ar putea să vă placă și