Modelo de Márkov

Curso: Álgebra Lineal

Profesores: Clifford Orlando Torres Ponce

Huanca Sullca Víctor

Integrante:
Sofía Poma Altamirano

Código: 20190594I

2019
Introducción

Andréi Andréyevich Márkov (14 de junio de 1856 - 20 de julio de1922) fue un matemático ruso
conocido por sus trabajos en la teoría de los números y la teoría de probabilidades. Perteneció
a la escuela matemática de San Petersburgo fundada por Chebychev, y junto a Liapunov llego a
ser una de las figuras más eminentes de la misma en el campo de la probabilidad. Sin duda la
otra contribución importante de Markov fue la introducción del concepto de cadena.}

Proceso estotástico
Es un conjunto o sucesión de variables aleatorias: {X(t)CG } definidas en un mismo espacio de
probabilidad. Normalmente el índice t representa un tiempo y X(t) el estado del proceso
estocástico en el instante t. El proceso puede ser de tiempo discreto o continuo si G es discreto
o continuo. Si el proceso es de tiempo discreto, usamos enteros para representar el índice: {X1,
X2, ...}

Ejemplos de procesos estocásticos

1.Serie mensual de ventas de un producto
2. Estado de una máquina al final de cada semana (funciona/averiada)
3. Nº de clientes esperando en una cola cada 30 segundos
4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone
que existen 7 marcas diferentes
5. Nº de unidades en almacén al finalizar la semana

Cadena de MARKOV
Una cadena de Márkov es un proceso estocástico con un número finito de estados con
probabilidades de transición estacionarias, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la información relevante para describir en
probabilidad su estado futuro.

Una cadena de Márkov es una secuencia X1, X2, X3,..., de variables aleatorias. El rango de estas
variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la
distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por
si sola, entonces:
Prob{Xn+1=j|X0=k0, X1=k1, ..., Xn-1=kn-1, Xn=i}= Prob{Xn+1=j|Xt=1}
Donde Xi es el estado del proceso en el instante i.
La identidad mostrada es la Propiedad de Markov.
Elementos de una cadena de Markov
 Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo:
estados de la enfermedad)
 Ciclo de markov (“paso”) : periodo de tiempo que sirve de base para examinar las
transiciones entre estados (ejemplo, un mes)
 Probabilidades de transición entre estados, en un ciclo (matriz P)
 Distribución inicial del sistema entre los M estados posibles

Conceptos más utilizados

 Operaciones con matrices:

o Suma-resta
o Multiplicación
o Traspuesta
o Inversa (Gauss-Jordan)
 Probabilidad
o Teoría de la probabilidad

Supongamos una secuencia de n pruebas o experimentos donde cada uno de ellos tiene un
conjunto de resultados posibles (que consideraremos finito) y que designaremos por las letras
E1, E2, E3, ··· Em , mutuamente exclusivos. Si al realizar una prueba se obtiene el resultado Ei,
entonces diremos que el sistema o el fenómeno se encuentra en el estado Ei. Utilizaremos Et i
para representar al estado Ei al cabo de t pruebas. En consecuencia, P[Et i] será la probabilidad
de que después de t experiencias el sistema se encuentre en el estado Ei. Por otro lado,
llamaremos Pt ij a la probabilidad de que el sistema se encuentre en el estado Ei en la prueba t
condicionada a que en la prueba anterior t −1 se encontrara en el estado Ej. Es decir,

Pt ij = P[Et i/Et−1 j ]

Una sucesión de estados E1, E2, E3, ··· Em , mutuamente exclusivos constituyen una cadena de
Márkov cuando
Pt ij = P[Et i/Et−1 j ] = P[Et i/Et−1 j .Et−2 jt−2.Et−3 jt−3.···E1 j1.E0 j0], ∀i, j = 1,2,···m. Es decir, la
probabilidad de que el objeto en el experimento t este situado en el estado Ei solo depende del
estado Ej del experimento anterior t−1 y es independiente de los otros experimentos anteriores.
En cierto modo, es como si el sistema no tuviese “memoria”. Es evidente que la probabilidad Pt
ij depende de tres variables: los sucesos Ei,Ej y el “tiempo ”t. En general,Pt ij = P[Et i/Et−1 j ]6=
Pt0 ij .
 • La cadena de Márkov homogénea esta representada por el sistema de ecuaciones
lineales en diferencias anteriores. Observemos que por las condiciones (7.1) la matriz A
cumplirá: La suma de los elementos de cada una de sus columnas vale la unidad. Sin
embargo, no ocurre lo mismo con la suma de los elementos de sus filas
• Todos sus elementos Pjk son mayores o iguales que cero y menores o iguales que uno.
A una matriz de transición de este tipo se la conoce con el nombre de matriz estocástica.
Aquellas matrices estocásticas donde la suma de los elementos de cada fila sea la unidad
reciben el nombre de doblemente estocásticas.

Ejemplo

Para beber agua un animal puede ir a un lago o a un río. Se sabe que no va al lago dos días
seguidos y que si toma agua en el río la probabilidad de que el día siguiente beba agua en cada
uno de los sitios es la misma. Estamos ante una cadena de Markov homogénea con dos estados,
E1 que representa al hecho de que el animal beba agua en el lago y E2 que beba agua en el río.
La matriz de transición es

0 1/2
𝐴=( )
1 1/2

Observemos que se trata de una cadena particular, ya que el paso de un estado al siguiente no
depende de los anteriores, sino del primero de ellos.

Aplicaciones del Modelo de Márkov

Meteorología
Si consideramos el tiempo atmosférico de una región a través de distintos días, es plausible
asumir que el estado actual sólo depende del último estado y no de toda la historia en sí, de
modo que se pueden usar cadenas de Márkov para formular modelos climatológicos básicos.
Por ejemplo, se han desarrollado modelos de recurrencia de las lluvias basados en cadenas de
Márkov.3
Modelos epidemiológicos
Una importante aplicación de las cadenas de Márkov se encuentra en el proceso Galton-Watson.
Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el
desarrollo de una epidemia (véase modelaje matemático de epidemias).
Internet
El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a
través de una cadena de Márkov, donde la posición que tendrá una página en el buscador será
determinada por su peso en la distribución estacionaria de la cadena.

Simulación
Las cadenas de Márkov son utilizadas para proveer una solución analítica a ciertos problemas
de simulación, por ejemplo en teoría de colas el Modelo M/M/14 es de hecho un modelo de
cadenas de Márkov.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a través de una cadena de Márkov. El
modelo de la ruina del jugador, (Gambler's ruin), que establece la probabilidad de que una
persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las
aplicaciones de las cadenas de Márkov en este rubro.
Economía y finanzas
Las cadenas de Márkov se pueden utilizar en modelos simples de valuación de opciones para
determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una
bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las cadenas de
Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo.
Música
Diversos algoritmos de composición musical usan cadenas de Márkov, por ejemplo el software
Csound o Max. Uno de los compositores que usó esta técnica en sus composiciones fue Iannis
Xenakis con su obra Analoguique A et B (1958–59).

Bibliografía
 http://recursostic.educacion.es/descartes/web/materiales_didacticos/markv
mbgr/Markov5.htm
 http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S0213-91112010000300006
 https://invop2.blogspot.com/2011/06/cadenas-de-markov-conceptos-basicos.html