INSTITUTO TECNOLÓGICO DE TEPIC

CADENAS DE MARKOV

Resumen

Alumno:
Ávila Hernández Karla Estephanía.

Profesor:
Guerrero Medina Manuel. Investigación de
Operaciones II.
Ing. Industrial

Tepic, Nayarit 15 de Julio del 2019.

Tepic, Nayarit 15 de Julio del 2019.

 Índice

Introducción........................................................................................................................2

4.1 Introducción a las Cadenas de Markov.............................................................3

4.2 Probabilidad de transiciones estacionarias de n pasos.............................6

4.3 Estado Estable...........................................................................................................9

4.4 Casos especiales (cadenas absorbentes, cadenas cíclicas)...................11

4.5 Uso de software.......................................................................................................15

Conclusión.........................................................................................................................17

Bibliografía........................................................................................................................18

1
 Introducción

Las cadenas de Markov se utilizan para analizar el comportamiento de

determinados procesos, estos mismos evolucionan de tal forma que a lo
largo del tiempo generan un conjunto de estados.
Por lo tanto una cadena de Markov representa un sistema que va
variando a través del tiempo, haciendo una transición en el sistema,
estos cambios no están predeterminados pero lo que si está es la
probabilidad del próximo estado en función de los anteriores, que a largo
tiempo se vuelve constante.
Existen tres características que definen una cadena de Markov y son:
 Estados del sistema.
 Definición de Transición.
 Ley de probabilidad condicional.
Un ejemplo de donde se aplicaría las Cadena de Markov sería en un
estudio, suponiendo el porcentaje de personas que fuman y otras que no
lo hacen, existe la probabilidad que los que no fuman en un futuro si lo
hagan y los que si fuman después ya no fumen, estos resultados tienen
una probabilidad y solo dependen de la etapa inmediatamente anterior

2
 4.1 Introducción a las Cadenas de Markov

El análisis de Markov, llamado así en honor de un matemático ruso que

desarrollo el método en 1907, permite encontrar la probabilidad de que
un sistema se encuentre en un estado en particular en un momento
dado
Una cadena de Markov es una serie de eventos, donde se está sujeto a
la probabilidad de que un evento ocurra dependiendo del evento
anterior, una característica de este tipo de cadenas es que tienen
memoria, ósea que recuerdan el último evento que condiciona las
probabilidades de eventos futuros, este tipo de dependencia del evento
anterior caracteriza a las cadenas de Markov a diferencia de los evento
independientes, tal como lanzar una moneda o un dado.
Una aplicación que tiene este tipo de cadenas se lleva a cabo en los
negocios, un ejemplo seria para poder analizar la compra, para analizar
el reemplazo de un equipo, planear necesidades de un personal, entre
otras cosas.
Además de encontrar probabilidades, las cadenas de Markov,
encuentran un promedio para un futuro o las probabilidades de estado
estable para cada estado, con este tipo de información se puede
predecir el comportamiento de algún sistema a lo largo de un tiempo.
Lo más complicado que podría ser, seria cuando debe de aplicarse, para
poder emplearlo de la mejor manera posible, teniendo como como
característica muy importante la de buscar en la memoria de un evento
a otro.
Además de la aplicación en los negocio, este sistema se puede emplear
para muchos más ámbitos como:
 Educación.
 Comercialización.
 Servicios de Salud.
 Finanzas.
 Contabilidad.
 Producción.

Algunos conceptos que utiliza la cadena de Markov son:

3
  Estados
El estado de un sistema en un instante t es una variable cuyos valores
solo pueden pertenecer al conjunto de estaos en el sistema. El sistema
modelizado por la cadena, por lo tanto, es una variable que cambia con
el valor del tiempo, cambio al que llamamos transición.
Equipo 1.1

 Matriz de transición
Los elementos de matriz representan la probabilidad de que el estado
próximo sea el correspondiente a la columna si el estado actual es el
correspondiente a la fila.
Equipo 1.2

Tres propiedades básicas de las cadenas de Markov son:

1. La suma de las probabilidades de los estados debe ser igual a 1.
2. La matriz de transición debe ser cuadrada.
3. Las probabilidades de transición deben estar entre 0 y 1.

Equipo 13

Propiedades de las Cadenas de Markov

 Irreducibilidad:
1
2
3
4
 o En una cadena de Markov un estado se dice que es accesible
desde otro estado ei si la probabilidad de ir desde el estado e i al
ej en algún momento futuro es distinta de cero.
o Un estado ei está comunicado con otro ej si ej es accesible desde
ei y ei lo es desde ej.
o Una cadena de Markov se dice que es irreducible si todos los
estados están comunicados entre sí.

 Absorsorbencia:
o Un estado ej se dice absorbente si es imposible abandonar dicho
estado.
o Una cadena de Markov es absorbente si tiene algún estado
absorbente.
o Si una cadena de Markov es irreducible y absorbente entonces la
probabilidad de caer en alguno de los estados absorbentes tiende
a uno cuando el número de etapas tiende a infinito.

 Regularidad:
o Una cadena de Markov se dice que es regular si alguna potencia
de la matriz de transición tiene todos sus elementos positivos (no
hay ceros)
o Si una cadena es regular entonces es irreducible y no absorbente.
Equipo 1.4

4.2 Probabilidad de transiciones estacionarias de n

pasos.

4
5
Se define p(n)ij como la probabilidad de que la cadena esté en el estado E j
después de n pasos, dado que la cadena empezó en el estado E i.
Se tiene que

por la propiedad markoviana se tiene que

para n ≥ 2, ya que la cadena debe haber pasado por uno de los m

posibles estados en la etapa n − 1.
[ CITATION Cad \l 2058 ] 5

Se supone que se estudia una cadena de Markov con matriz P de

probabilidad de transición conocida, una pregunta de interés seria: si
una cadena de Markov está en el estado i en el tempo m ¿Cuál es la
probabilidad que n periodos después de la cadena de Markov este en el
caso J? como se trata de una cadena de Markov estacionaria, la
probabilidad será independiente de m y, por tanto,

Donde se llama probabilidad en la etapa m de transición de estado i a

estado j. [ CITATION
Jai14 \l 2058 ]6

Ejemplo.

5
6
6
En una cierta región el tiempo atmosférico sigue la siguiente secuencia:
Un día se denomina soleado (S) si el sol luce más de la mitad del día, y
se denomina nublado (N), si lo hace menos. Por experiencia, se sabe que
si hay un día nublado, es igual de probable que el día siguiente sea
también nublado. Si el día es soleado hay una probabilidad de 2/3 de
que sea también soleado. [
CITATION Cad \l 2058 ] 7

a) Construye la matriz de transición T de este proceso.

b) 2. Si hoy está nublado, ¿cuál es la probabilidad de que dentro de tres
días esté también nublado? ¿y de que esté soleado? 5
c) Calcula T5 y T10. ¿Cuál es el comportamiento de T n cuando n → ∞?
¿Cómo se comporta p(n) cuando n → ∞? ¿Depende el límite de p (0)?
[ CITATION Cad \l 2058 ]8

a) Asumimos que el proceso es markoviano y que el tiempo sólo

depende del día anterior. Se tiene una cadena de Markov con dos
estados: E1 ≡ Día nublado N, E2 ≡ Día soleado S. La matriz de

transición es:
Es decir;

b) Empezando los pasos a partir del día actual, se tiene que

De este modo, si hoy está nublado, dentro de tres días, se tiene que

7
8
7
 Así, la probabilidad de que haya un día nublado en el tercer día es
p(3)1 = 29/72 y que sea soleado es p(3)2 = 43/72

c)

Cálculos así se facilitan bastante usando programas tipo MatLab, de

modo que

de este modo,

ya que p(0)1 + p(0)2 = 1.

Se observa que cuando n → ∞ p(n) no depende de dónde se parte: p(0) .
[ CITATION Cad \l 2058 ]9

9
8
 4.3 Estado Estable

Se puede decir que el estado estable es la distribución de probabilidades

que en cierto punto quedará fija para el vector P y no presentará
cambios en periodos posteriores.
[ CITATION Jos11 \l 2058 ] 10

Una manera posible de obtener las condiciones del sistema para el

estado estable es repetir iterativamente los cálculos para cada periodo
con el fin de hallar el periodo con aquellas probabilidades que se
mantienen constantes o no cambian.
[ CITATION Liz11 \l 2058 ] 11

Sin embargo también es posible utilizar los métodos para resolver

sistemas de ecuaciones que nos permiten encontrar directamente estas
probabilidades de estado estables.
La siguiente ecuación es importante para obtener la probabilidad del
estado estable: [ CITATION Uni

\l 2058 ]12

Ejemplo:
En la recepción de una empresa se emplean dos conmutadores que
funcionan continuamente, excepto cuando tienen daños. El tiempo
requerido para reparar un conmutador tiene una distribución
exponencial como media de medio día. Una vez se repara, el tiempo que
transcurre hasta el siguiente daño tiene distribución exponencial con
media de un (1) día. Estas distribuciones son independientes. Defina la
variable aleatoria X(t’) como X(t’) = número de conmutadores dañados
en el tiempo t’; tasa de transición total hacia afuera de cada estado.

[ CITATION Uni \l 2058 ]13

10
11
12
13
9
Sustituyendo todas las tasas en las ecuaciones de estado estable dadas
se obtiene:

Cualquiera de las ecuaciones de balance se puede eliminar como

redundante y la solución simultánea de las ecuaciones restantes da la
distribución del estado estable como:

Se concluye entonces que los dos conmutadores estarán dañados

simultáneamente 20% del tiempo y estará dañado un conmutador otro
40%.
[ CITATION Uni \l 2058 ]14

14
10
 4.4 Casos especiales (cadenas absorbentes, cadenas
cíclicas)

Cadenas Absorbentes:
Estado cuya única transición posible es volver al mismo estado. Un
estado absorbente constituye una clase final de un único estado.
En otras palabras un estado absorbente es aquel del que no se puede
salir una vez se haya caído en él, es decir la probabilidad de permanecer
en el mismo es de 100% .Por ejemplo si expresáramos la vida como una
cadena de markov, con la serie de estados: nacer, crecer, reproducirse y
morir; la muerte sería obviamente el estado absorbente ya que no existe
la posibilidad alguna de volver a un estado anterior. [ CITATION Jos11 \l
2058 ]15
Ejemplo:

15
11
12
 [ CITATION Jos11 \l 2058 ]16

Cadenas Cíclicas:
La cadena C4, cuya matriz de probabilidades de transición podría ser
como la que se muestra a continuación, después de un número elevado
de transiciones presenta un comportamiento diferente del de las

16
13
cadenas anteriores. [
CITATION Ind02 \l 2058 ]17
Al ir obteniendo matrices de transición, se observa que etas no
convergen a un valor concreto, si no que muestran a un comportamiento
cíclico. En este caso, las transiciones impares tienden a un valor y las
pares a otro:

Este tipo de cadena son cadenas cíclicas. En este caso particular, se dice
que es una cadena de periodo p=2. [ CITATION

Ind02 \l 2058 ]18

Se puede observar que la primera columna es siempre cero, por lo que
el estado 1 no aparecerá en las probabilidades a largo plazo; esto quiere
decir que la cadena considerada no es ergódica, aunque es claro que
pueden existir cadenas cíclicas ergódicas.
[ CITATION Ind02 \l 2058 ]19
También se debe de preguntar qué ocurre con las probabilidades
estacionarias en las cadenas cíclicas, ya que si las sucesivas potencias
de P no tienden hacia unos valores determinados.
[ CITATION Ind02 \l 2058 ]20

17
18
19
20
14
 4.5 Uso de software

El software que estamos utilizando es el mismo que en las unidades

anteriores, QM donde nos da la opción de resolver ejercicios de cadena
de Markov y los pasos siguientes son:

Se indica el número de
estados y se le nombra
(opcional) al ejercicio.

15
Se procede a introducir los valores para que el software arroje los
resultados para poder concluir el ejercicio, además, indica cuantas veces
queremos que la matriz se repita en la opción “number of transitions”.

16
 Conclusión

Las cadenas de Markov permiten realizar análisis sobre

comportamientos de ciertos periodos ya sean cortos o largos, además se
tiene una relación con cada estado.
Lo más importante de este estudio es el comportamiento a largo plazo
ya que su número de transiciones tiende al infinito.
El conocer las probabilidades de un experimento, permitirá conocer los
estados que se encontrarían en tiempos futuros para tomar decisiones
de manera consciente tratando de no cometer errores.
Además que nos proporcionan un tiempo estimado para que se pueda
identificar cada estado y cada periodo.

17
 Bibliografía

Castellanos, J. V. (10 de Marzo de 2014). SlideShare. Obtenido de

https://es.slideshare.net/TPYXNHKN/cadenas-de-markov-32138994

Granada, U. N. (s.f.). Obtenido de

http://virtual.umng.edu.co/distancia/ecosistema/ovas/ingenieria_civil/investigacion_de_o
peraciones_ii/unidad_2/DM.pdf

Guete, J. J. (3 de Junio de 2011). Obtenido de

http://investigacindeoperaciones2.blogspot.com/2011/06/cadena-de-markov-el-estado-
estable.html

Industrial. (2002). Obtenido de https://jorshua.files.wordpress.com/2012/06/cadenas-de-

markov.pdf

Mancera, L. M. (11 de Mayo de 2011). Blogger.com. Obtenido de http://invoperaciones2-

ingindustrial.blogspot.com/2011/05/cadenas-de-markov-conceptos.html

Markov, C. d. (s.f.). Obtenido de

http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/PEst/tema4pe.pdf

18