INGENIERÍA INDUSTRIAL

Investigación de operaciones II

“Investigación – Cadenas de Markov”

Presenta:
Garcia Arguello Bairon David – 16211146

Profesor:
José Miguel Huerta Palacios

TIJUANA, B.C. 16/04/19.

Indice
Introducción a las cadenas de Markov. ........................................................................ 3

Probabilidad de transiciones estacionarias de n pasos. ................................................... 4

Estado estable........................................................................................................... 4

Casos especiales (cadenas absorbentes, cadenas cíclicas). .............................................. 4

5 ejemplos (Cadenas de Markov) ........................................................................... 5

Conclusión ............................................................................................................... 15

Bibliografía. .............................................................................................................. 16
Cadenas de Markov
Introducción a las cadenas de Markov.
El análisis de Markov es un método de analizar la conducta actual de alguna variable en un
esfuerzo de predecir la conducta futura de esa misma variable.
Este procedimiento fue desarrollado por el matemático ruso, Andrei A. Markov a principios del
siglo anterior. Primero lo usó para describir y pronosticar el comportamiento de partículas de
gas en un recipiente cerrado. Como una arma gerencial, el análisis de Markov ha sido aplicado
exitosamente a una amplia variedad de situaciones de decisión. Quizá su uso más amplio está
en examinar y pronosticar la conducta de consumidores en términos de su lealtad a la marca y
su cambio de una marca a otra.
Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada
ensayo tiene el mismo número finito de resultados posibles y en donde también la probabilidad
de cada resultado para un ensayo dado depende solo del resultado del ensayo inmediatamente
precedente y no de cualquier resultado previo.”
En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad
de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado
presente resume toda la información relevante para describir en probabilidad su estado futuro.
Las suposiciones del Modelo del Markov son las siguientes:
• La suma de las filas de la matriz d3e transición puede ser igual a uno y su forma general está
presentado por:
•Cada elemento de la matriz de transición debe ser no negativo y su forma general está
presentado por: Según Render las suposiciones del Modelo del Markov son las siguientes:
•Existe un número limitado o finito de estados posibles.
•La probabilidad de que los estados cambien permanece igual a lo largo del tiempo.
•Se puede predecir cualquier estado futuro a partir del estado anterior y de la matriz de
probabilidades se transición.
•El tamaño y constitución del sistema (por ejemplo, el número total de fabricantes y clientes)
no cambian durante el análisis. (Render, 2006)
El modelo de Markov tiene la propiedad de que las probabilidades que describen las formas en
que el proceso evolucionara en el futuro dependen solo del estado actual en que se encuentra el
proceso y, por lo tanto, son independientes de los eventos que ocurrieron en el pasado. Muchos
procesos se ajustan a esta descripción, por lo que las cadenas de Markov constituyen una clase
de modelo probabilístico de gran importancia.
Probabilidad de transiciones estacionarias de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
estas probabilidades de transición de n pasos:

Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos,

el proceso estará en algún estado k después de exactamente m (menor que n) pasos.
Así,
Es solo la probabilidad condicional de que, si se comienza en el estado i, el proceso
vaya al estado k después de m pasos y después al estado j en n- m pasos.
En términos más generales, se concluye que la matriz de probabilidades de transición
de n pasos se puede obtener de la expresión: P(n) = P * P .... P = Pn = PPn-1 = Pn-
1 P.
Entonces, la matriz de probabilidades de transición de n pasos se puede obtener
calculando la n-ésima potencia de la matriz de transición de un paso.
Para valores no muy grandes de n, la matriz de transición de n pasos se puede calcular
en la forma que se acaba de describir, pero cuando n es grande, tales cálculos
resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.

Estado estable.
Un estado es estable cuando ya no hay cambios en el sistema, es decir que se alcanza el
equilibrio. Una manera posible de obtener las condiciones del sistema para el estado estable es
repetir iterativamente los cálculos para cada periodo con el fin de hallar el periodo con aquellas
probabilidades que se mantienen constantes o no cambian.
Sin embargo también es posible utilizar los métodos para resolver sistemas de ecuaciones que
nos permiten encontrar directamente estas probabilidades de estado estables.
Se puede decir que el estado estable es la distribución de probabilidades que en cierto punto
quedará fija para el vector P y no presentará cambios en periodos posteriores.

Casos especiales (cadenas absorbentes, cadenas cíclicas).

Cadenas Absorbentes- Matriz Absorbente.
Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones
siguientes:
1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos
los siguientes resultados:
Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula
y R alguna submatriz.
, esto es, no importa en donde se encuentre la cadena, eventualmente
terminará en un estado absorbente.
Para describir procesos o sistemas que cesan (o vuelven a comenzar) después de alcanzar
determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo,
después de hallar un número predeterminado de partes defectuosas o aceptables, se suspende
una inspección; después de un tiempo una cuenta se vuelve incobrable o pagada, etc. Esos
procesos pueden modelarse como una cadena de Markov absorbente.
Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, es
decir que, una vez comenzado es imposible salir de él, y el proceso o se detiene
completamente o se detiene para luego comenzar a partir de algún otro estado.
Una cadena de Markov es absorbente si:
1. Tiene por lo menos un estado absorbente.
2. Es posible ir desde cada estado no absorbente hasta por lo menos un estado
absorbente, no es necesario que esto se dé en un paso, ni es necesario que exista la
posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.
Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia
positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de
cadenas regulares, éste vector invariante es único.

5 ejemplos (Cadenas de Markov)

Ej. 1.
En un país como Colombia existen 3 operadores principales de telefonía móvil como
lo son tigo, Comcel y movistar (estados).
Los porcentajes actuales que tiene cada operador en el mercado actual son para tigo
0.4 para Comcel 0.25 y para movistar 0.35. (estado inicial)
Se tiene la siguiente información un usuario actualmente de tigo tiene una probabilidad
de permanecer en tigo de 0.60, de pasar a Comcel 0.2 y de pasarse a movistar de
0.2; si en la actualidad el usuario es cliente de Comcel tiene una probabilidad de
mantenerse en Comcel del 0.5 de que esta persona se cambie a tigo 0.3 y que se
pase a movistar de 0.2; si el usuario es cliente en la actualidad de movistar la
probabilidad que permanezca en movistar es de 0.4 de que se cambie a tigo de 0.3 y
a Comcel de 0.3.
Partiendo de esta información podemos elaborar la matriz de transición.

La suma de las probabilidades de cada estado en este caso operador deben ser
iguales a 1

Po= (0.4 0.25 0.35) → estado inicial

Ahora procedemos a encontrar los estados en los siguientes pasos o tiempos, esto se
realiza multiplicando la matriz de transición por el estado inicial y asi sucesivamente
pero multiplicando por el estado inmediatamente anterior.
Ej 2.
Suponga que en el mercado se consiguen 3 tipos de gaseosas colas que son: coca cola, Pepsi
cola y big cola cuando una persona a comprado coca cola existe una probabilidad de que la siga
consumiendo de el 75%, un 15% de que compre Pepsi cola y un 10% de que compre big cola;
cuando el comprador actualmente consume Pepsi existe una probabilidad de que la siga
comprando de 60%, un 25% que compre coca cola y un 15% big cola; si en la actualidad
consuma big cola la probabilidad de que la siga consumiendo es del 50%, un 30% que compre
coca cola y 205 pepsi cola.
En la actualidad cada marca cocacola, Pepsi y big cola tienen los siguientes porcentajes en
participación en el mercado respectivamente (60% 30% 10%)
• Elaborar la matriz de transición

• Hallar la probabilidad que tiene cada marca en el periodo 5

Respuesta
Matriz de transición
Ej. 3
Almacenes éxito, Carrefour y Sao han investigado la fidelidad de sus clientes y han encontrado los siguientes
datos:
E1: Exito
E2: Carrefour
E3: Sao
Hallar el estado estable (L)
Eje. 4.
Érase una vez un hippie, que decide quedarse vagabundeando por la
huerta valenciana, especialmente entre los pueblos de Almacera,
Alboraya y Tavernes. El hippie en la tarde se puede cansar del pueblo
en el que esta, sale a la carretera y se pone a pedir raid. El diagrama
que vemos abajo representa las probabilidades de que lo recoja alguien
en la dirección dada. En Alboraya, de vez en cuando decide pasar la
noche y endulzar su vida con una horchata con fartons. Nuestro interés
es conocer las probabilidades de estado y ver si existe un límite en
régimen permanente (independientemente del lugar en el que el hippie
empiece su periplo
La matriz de transición viene dada por:
Y no depende del tiempo.
Entonces recordando que P(i + 1)= P(i) T (i, i + 1), se calcularan las
probabilidades de estado después de varias transiciones y partiendo de
las condiciones iniciales distintas:

Erase una vez un hippie, que decide quedarse vagabundeando por la

huerta valenciana, especialmente entre los pueblos de Almacera,
Alboraya y Tavernes. El hippie en la tarde se puede cansar del pueblo
en el que esta, sale a la carretera y se pone a pedir raid. El diagrama
que vemos abajo representa las probabilidades de que lo recoja alguien
en la dirección dada. En Alboraya, de vez en cuando decide pasar la
noche y endulzar su vida con una horchata con fartons. Nuestro interés
es conocer las probabilidades de estado y ver si existe un límite en
régimen permanente (independientemente del lugar en el que el hippie
empiece su periplo).
La matriz de transición viene dada por:

Y no depende del tiempo.

Entonces recordando que P(i + 1)= P(i) T (i, i + 1), se calcularan las
probabilidades de estado después de varias transiciones y partiendo de las
condiciones iniciales distintas:
 Investigación de operaciones – Teoría de decisiones.

Conclusión
Como conclusión las cadenas de Markov nos permite hacer análisis sobre el estudio de
los comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o
largos. Además se tiene una relación con las probabilidades absolutas. Pero sin embargo
lo más importante es el estudio del comportamiento sistemas a largo plazo, cuando el
número de transiciones tiene al infinito.
Al conocer más o menos las probabilidades de un experimento, esto a su vez nos
permitirá conocer a corto yplazo los estados en que se encontrarían en periodos o
tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros intereses, y
tomar una decisión de manera consciente y no se comentan muchos errores.
Esto también nos proporcionara un tiempo estimado para que identifiquemos cada
estado y el periodo en que se encuentra con la implementación de un proceso, también
se establece las probabilidades como una herramienta más en las cadenas de Markov.

15
Garcia Arguello Bairon David
 Investigación de operaciones – Teoría de decisiones.

Bibliografía.
http://juliovargas.udem.edu.ni/wp-content/uploads/2014/04/PROBLEMAS-
RESUELTOS-CADENAS-DE-MARKOV.pdf
D. PENAZZI: Problemas para resolver, en Revista de Educación Matemática, UMA, vol. 17, n.o
2, pág.46, 2002. http://www.union-matematica.org.ar/publicaciones/index.html (pág. 13)

16
Garcia Arguello Bairon David