Una cadena de Markov, que recibe su nombre del matemático ruso Andrei Markov, es una

serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento
inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “ Recuerdan” el
último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia
del evento anterior distingue a las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo.

En matemáticas, se define como un proceso estocástico discreto que cumple con la

Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual,
su estado presente resume toda la información relevante para describir en probabilidad su
estado futuro.

Una cadena de Markov es una secuencia X1, X2, X3, … de variables aleatorias. El rango
de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el
tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una
función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de

Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. “ Recuerdan” el último evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado.

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo.

El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el

método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un
estado en particular en un momento dado. Algo más importante aún, es que permite
encontrar el promedio a la larga o las probabilidades de estado estable para cada estado.
Con esta información se puede predecir el comportamiento del sistema a través del tiempo.

La tarea más difícil es reconocer cuándo puede aplicarse. La caracteristica más importante
que hay que buscar en la memoria de un evento a otro.

Formulación de las cadenas de Markov.

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un
evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. “ Recuerdan” el último evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las
series de eventos independientes, como tirar una moneda al aire o un dado.

En la figura 4.1.1 se muestra el proceso para formular una cadena de Markov. El generador
de Markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . . . , n, a intervalos
discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para
cada uno de estos eventos depende del estado del generador. Este estado se describe por el
último evento generado. En la figura 4.1.1, el último evento generado fue Ej , de manera
que el generador se encuentra en el estado Mj .

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional

: P ( Ek / Mj ). Esto se llama probabilidad de transición del estado Mj al estado Ek. Para
describir completamente una cadena de Markov es necesario saber el estado actual y todas
las probabilidades de transición.

Probabilidades de transición.

Una forma de describir una cadena de Markov es con un diagrama de estados, como el que
se muestra en la figura 4.1.2. En ésta se ilustra un sistema de Markov con cuatro estados
posibles : M1, M2 , M3 y M4 . La probabilidad condicional o de transición de moverse de
un estado a otro se indica en el diagrama

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. .
La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1
.

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. .
Para n = 0, 1, 2, ….

El superíndice n no se escribe cuando n = 1.

Procesos estocásticos.

Un proceso estocástico se define sencillamente como una colección indexada de variables

aleatorias { X1 }, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia
T se toma como el conjunto de enteros no negativos y X, representa una característica de
interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X1 , X2 , X3, .., Puede
representar la colección de niveles de inventario semanales (o mensuales) de un producto
dado, o puede representar la colección de demandas semanales (o mensuales) de este
producto.

Un estudio del comportamiento de un sistema de operación durante algún periodo suele

llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos
específicos del tiempo t , el sistema se encuentra exactamente en una de un número finito
de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en
el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del
comportamiento general del sistema en el que se encuentra sumergido el proceso
estocástico. Aunque los estados pueden constituir una caracterización tanto cualitativa
como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas 0,
1, . . , M , que se usarán en adelante para denotar los estados posibles del sistema. Así la
representación matemática del sistema físico es la de un proceso estocástico {Xi}, en donde
las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria
puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M . Estos enteros son una
caracterización de los M + 1 estados del proceso.

Propiedad Markoviana de 1o. orden .

Se dice que un proceso estocástico tiene la propiedad markoviana si

P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda

sucesión i, j , K0 , K1 , . . , Ki-1 .

Se puede demostrar que esta propiedad markoviana es equivalente a establecer una

probabilidad condicional de cualquier “evento” futuro dados cualquier “evento “ pasado y
el estado actual Xi = i , es independiente del evento pasado y sólo depende del estado actual
del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de
transición. Si para cada i y j,

P Xt+1 = j = pX1 = j , para toda t = 0, 1, ….

Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por
lo general se denotan por pij . Así, tener probabilidades de transición estacionarias implican
que las probabilidades de transición no cambian con el tiempo. La existencia de
probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y
n (n = 0, 1, 2,…),

P Xt+n = j = pXn = j ,

Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se

llaman probabilidades de transición de n pasos. Así, es simplemente la probabilidad
condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el
estado j después de n pasos ( unidades de tiempo ).

Como las son probabilidades condicionales, deben satisfacer las propiedades:

Probabilidad de transición de un solo paso.

Ejemplo :

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede
ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera,
segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idénticamente distribuidas que tienen una distribución de probabilidad
conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso,
X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política
( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor
que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en
inventario al final de la semana.

Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final de la

semana t ( antes de recibir el pedido }), es una cadena de Markov. Se verá ahora cómo
obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de
transición ( de un paso).

Suponiendo que cada Dt tiene una distribución Poisson con parámetro .

Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la demanda
durante la semana fue de tres o más cámaras. Así, , la probabilidad de que una variable
aleatoria Poisson con parámetro tome el valor de 3 o más; y se puede obtener de una
manera parecida. Si , entonces . Para obtener , la demanda durante la semana debe ser 1 o
más. Por esto, . Para encontrar , observe que si . En consecuencia, si , entonces la demanda
durante la semana tiene que ser exactamente 1. por ende, . Los elementos restantes se
obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transición ( de
un paso):

Probabilidad de transición estacionaria de n pasos.

Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas

probabilidades de transición de n pasos :

Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos, el

proceso estará en algún estado k después de exactamente m ( menor que n) pasos. Así,

Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya

al estado k despues de m pasos y después al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se

pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva.
Para n=2, estas expresiones se vuelven :

Note que las son los elementos de la matriz P(2) , pero también debe de observarse que
estos elementos, se obtienen multiplicando la matriz de transición de un paso por sí misma;
esto es , P(2) = P * P = P2 .
En términos más generales, se concluye que la matriz de probabilidades de transición de n
pasos se puede obtener de la expresión : P(n) = P * P …. P = Pn = PPn−1 = Pn-1 P.

Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando

la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de
n, la matriz de transición de n pasos se puede calcular en la forma que se acaba de describir,
pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de
redondeo pueden causar inexactitudes.

Ejemplo :

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede
ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera,
segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idénticamente distribuidas que tienen una distribución de probabilidad
conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso,
X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política
( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor
que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en
inventario al final de la semana.

Así, dado que tiene una cámara al final de una semana, la probabilidad de que no haya
cámaras en inventario dos semanas después es 0.283; es decir, De igual manera, dado que
se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el
almacén dos semanas después es 0.097; esto es,

La matriz de transición de cuatro pasos también se puede obtener de la siguiente manera :

P(4) = P4 = P(2) * P(2)

Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad de que no
haya cámaras en inventario 4 semanas más tarde; es decir, De igual manera, dado que
quedan dos cámaras en el almacén final de una semana, se tiene una probabilidad de 0.171
de que haya tres cámaras en el almacén 4 semanas después; esto es,

Probabilidades de transición estacionaria de estados estables.

Teorema

Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector tal que

Se establece que para cualquier estado inicial i , .

El vector a menudo se llama distribución de estado estable, o también distribución de

equilibrio para la cadena de Markov. Para encontrar la distribución de probabilidades de
estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n
grande y para toda i , (1)

Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir

(2)

Ejemplo :

Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha
comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1.
Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea
de cola 2.

Entonces :

Al reemplazar la segunda ecuación por la condición ,

obtenemos el sistema

Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que
una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.

Tiempos de primer paso.

Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades
sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por
primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j.
cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el
proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo
de recurrencia para el estado i.

Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente :

Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede
ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera,
segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias
independientes e idénticamente distribuidas que tienen una distribución de probabilidad
conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso,
X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras
al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un
pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido
que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política
( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor
que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la
orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone
que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t =
0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles
del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en
inventario al final de la semana.

Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con ,

Suponga que ocurrió lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el
tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de
recurrencia del estado 3 es de 4 semanas.

En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una
distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad
dependen de las probabilidades de transición del proceso. En particular, denota la
probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede
demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en
n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso. En el
ejemplo, la distribución de probabilidad de los tiempos de primer paso del estado 3 al
estado 0 se obtiene como sigue:

Para i y j fijos, las son números no negativos tales que

Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se
encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las
pueden considerarse como una distribución de probabilidad para la variable aleatoria, el
tiempo de primer paso.

Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define
como:

entonces satisface, de manera única, la ecuación:

Cuando i=j, se llama tiempo esperado de recurrencia.

Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el
tiempo esperado hasta que ya no se tengan cámaras en el almacén, suponiendo que el
proceso inicia cuando se tienen tres cámaras; es decir, se puede obtener el tiempo esperado
de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce
a las expresiones

La solución simultánea de este sistema es

De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.50
semanas.

Caso de Aplicación.

Aplicación a la administración : Planeación de Personal.

El anális de transición puede ser útil al planear satisfacer las necesidades de personal.
Muchas firmas emplean trabajadores de diferentes niveles de clasificación dentro de la
misma categoría de trabajo. Esto es común para personal de confianza, oficinistas, obreros
calificados, no calificados y personal profesional. La firma debe tener el número de
empleados en cada nivel de clasificación para proporcionar la oportunidad de promoción
adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nómina. Una
planeación de personal a largo plazo apropiada requiere que se considere el movimiento de
personas tanto hacia arriba en el escalafón de clasificación como hacia afuera de la
organización. El análisis de Markov puede ayudar en este esfuerzo de planeación.

El movimiento de personal a otras clasificaciones puede considerarse como una cadena de

Markov. Se supone que hay tres clasificaciones; el grado 1 es la más baja. Además, los
descensos se consideran raros y se omiten. El estado “salen” es absorbente, el cual incluye
renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente
alcanzan este estado.

Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones.
Como transiciones de probabilidad, están controladas por la firma, puede establecerse el
nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo,
supóngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado
2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el
próximo año. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al
año, el 20 % de los empleados de grado 2 y el 10 % de aquellos que están en el grado 3. Si
la política es contratar sólo en los niveles de clasificación más bajos, cuántos se deben
contratar y cuántos se deben promover el siguiente año para mantener estables los niveles ?.

Este problema puede resolverse sin el análisis de Markov, pero el modelo es útil para
ayudar a conceptualizar el problema. Como se trata sólo de un ciclo, se usa el análisis de
transición. El análisis comienza con el graado más alto. No se hacen promociones pero el
10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el
nivel de clasificación, el 20 % sale y se deben promover 3, con una pérdida de 21. Esto se
debe compensar por promoción del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben
promoverse, lo cual una pérdida total de 111. Por tanto, el siguiente año se deben contratar
111 empleados del nivel 1.

En este ejemplo se derivan algunas tasas de transición a partir de consideraciones externas.

http://fbarreiro.com/joom2/index.php

Las cadenas de markov son modelos probabilísticos que se usan para predecir la evolución
y el comportamiento a corto y a largo plazo de determinados sistemas.

Una cadena de Márkov, es una serie de eventos, en la cual la probabilidad de que ocurra
un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen
memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos
futuros. Esta dependencia del evento anterior distingue a las cadenas de Márkov de las
series de eventos independientes, como tirar una moneda al aire o un dado. Las cadenas de
Markov son procesos de corta memoria en el sentido de que solo ´recuerdan' el último
estado visitado para decidir cual será el próximo.

Este tipo de proceso, que recibe su nombre del matemático ruso Andrei Andreevitch
Markov (1856-1922), introducido por su autor en un artículo publicado en 1907, presenta
una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables
aleatorias que forman un proceso estocástico.

En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de
compra de los deudores morosos, para planear las necesidades de personal y para analizar
el reemplazo de equipo.

Markov chains are probabilistic models that are used to predict the evolution and behavior
in the short and long term in certain systems.

A Markov chain is a series of events, in which the probability of occurrence of an event

depends on the immediately preceding event. Indeed, such channels have memory.
"Remembers" the last event and this affects the chances of future events. This unit differs
from the previous event to Markov chains of series of independent events, like throwing a
coin into the air or die. Markov chains are short memory processes in the sense that only
'remember' the last state visit to decide what will be next.

This type of process, which takes its name from the Andreevitch Russian mathematician
Andrei Markov (1856-1922), introduced by the author in an article published in 1907,
presents a simple form of dependence, but very useful in many models, among the random
variables forming a stochastic process.
In business, Markov chains were used to analyze the buying patterns from defaulting
debtors to plan staffing requirements and to discuss the replacement of equipment.

Cadena de Markov
De Wikipedia, la enciclopedia libre

(Redirigido desde Cadena de Márkov)

Saltar a: navegación, búsqueda

En la teoría de la probabilidad, se conoce como cadena de Márkov a un tipo especial de

proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende del
evento inmediatamente anterior. En efecto, las cadenas de este tipo tienen memoria.
"Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros.
Esta dependencia del evento anterior distingue a las cadenas de Márkov de las series de
eventos independientes, como tirar una moneda al aire o un dado.

Reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922), que las
introdujo en 1907.1

Estos modelos muestran una estructura de dependencia simple, pero muy útil en muchas
aplicaciones.

Contenido
[ocultar]

 1 Definición formal
 2 Notación útil
o 2.1 Cadenas homogéneas y no homogéneas
o 2.2 Probabilidades de transición y matriz de transición
o 2.3 Vector de probabilidad invariante
o 2.4 Clases de comunicación
o 2.5 Tiempos de entrada
o 2.6 Recurrencia
o 2.7 Periodicidad
 3 Tipos de cadenas de Markov
o 3.1 Cadenas irreducibles
o 3.2 Cadenas positivo-recurrentes
o 3.3 Cadenas regulares
o 3.4 Cadenas absorbentes
o 3.5 Cadenas de Markov en tiempo continuo
 4 Aplicaciones
 o 4.1 Física
o 4.2 Meteorología
o 4.3 Modelos epidemiológicos
o 4.4 Internet
o 4.5 Simulación
o 4.6 Juegos de azar
o 4.7 Economía y Finanzas
o 4.8 Música
 5 Referencias
 6 Bibliografía
 7 Enlaces externos

[editar] Definición formal

En matemáticas, se define como un proceso estocástico discreto que cumple con la
propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual,
su estado presente resume toda la información relevante para describir en probabilidad su
estado futuro.

Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de
estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el
tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una
función de Xn por sí sola, entonces:

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de

Márkov.

[editar] Notación útil

[editar] Cadenas homogéneas y no homogéneas

 Una cadena de Markov se dice homogénea si la probabilidad de ir del estado i al estado j

en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

para todo n y para cualquier i, j.

Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se
cumple diremos que la cadena de Markov es no homogénea.

[editar] Probabilidades de transición y matriz de transición

  La probabilidad de ir del estado i al estado j en n unidades de tiempo es

en la probabilidad de transición en un paso se omite el superíndice de modo que queda

 Un hecho importante es que las probabilidades de transición en n pasos satisfacen la

ecuación de Chapman-Kolmogorov, esto es, para cualquier k tal que 0 < k < n se cumple
que

donde E denota el espacio de estados.

 Cuando la cadena de Markov es homogénea, muchas de sus propiedades útiles se pueden

obtener a través de su matriz de transición, definida entrada a entrada como

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.

Del mismo modo se puede obtener la matriz de transición en n pasos como:

, donde .

[editar] Vector de probabilidad invariante

 Se define la distribución inicial .

 Diremos que un vector de probabilidad (finito o infinito numerable) es invariante para una
cadena de Markov si

donde P denota la matriz de transición de la cadena de Markov. Al vector de probabilidad

invariante también se le llama distribución estacionaria o distribución de equilibrio.

[editar] Clases de comunicación

 Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y se

denotará ) si
 para algún n,

si y entonces diremos que i comunica con j y se denotará i↔j.

La propiedad "↔" es una relación de equivalencia. Esta relación induce una partición en el
espacio de estados. A estas clases de equivalencia las llamaremos clases de comunicación.

Dado un estado x, denotaremos a su clase de comunicación como C(x).

 Diremos que un subconjunto C del espacio de estados (al que denotaremos E) es cerrado

si ningún estado de E-C puede ser accedido desde un estado de C, es decir, si

para todo x∈C, para todo y∈E-C y para todo natural m>0.

[editar] Tiempos de entrada

Si , definimos el primer tiempo de entrada a C como la variable aleatoria

esto es, denota la primera vez que la cadena entra al conjunto de estados C.

[editar] Recurrencia

En una cadena de Markov con espacio de estados E, si x∈E se define

y diremos que:

 x es estado recurrente si .
 x es transitorio si
 x es absorbente si
 Una clase de comunicación es clase recurrente si todos sus estados son recurrentes.

Sea , si x∈Ediremos que:

 x es cero-recurrente si
 x es positivo-recurrente si

El real se interpreta como el tiempo promedio de recurrencia.

[editar] Periodicidad
  El periodo de un estado x∈E se define como:

donde denota el máximo común divisor.

 Si d(x)=1 diremos que x es un estado aperiódico.

 Una cadena de Markov se dice aperiódica si todos sus estados son aperiódicos.

[editar] Tipos de cadenas de Markov

[editar] Cadenas irreducibles

Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes

condiciones (equivalentes entre sí):

1. Desde cualquier estado de E se puede acceder a cualquier otro.

2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
5. El único conjunto cerrado es el total.

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de

cadenas de Markov irreducibles.

[editar] Cadenas positivo-recurrentes

Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-
recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único
vector de probabilidad invariante y está dado por:

[editar] Cadenas regulares

Una cadena de Markov se dice regular (también primitiva o ergódica) si existe alguna
potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente
mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se

tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad
w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas
regulares, éste vector invariante es único.

[editar] Cadenas absorbentes

Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las
dos condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.

2. De cualquier estado no absorbente se accede a algún estado absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento

como D, tenemos los siguientes resultados:

 Su matriz de transición siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0

es la matriz nula y R alguna submatriz.

 , esto es, no importa en donde se encuentre la cadena,

eventualmente terminará en un estado absorbente.

[editar] Cadenas de Markov en tiempo continuo

Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en el
conjunto de números naturales, se consideran las variables aleatorias Xt con t que varía en
un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo
continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa
de la siguiente manera:

tal que

Para una cadena de Markov continua con un número finitod de estados puede definirse una
matriz estocástica dada por:
La cadena se denomina homogénea si . Para una cadena de
Markov en tiempo continuo homogénea y con un número finito de estados puede definirse
el llamado generador infinitesimal como:2

Y puede demostrarse que la matriz estocástica viene dada por:

[editar] Aplicaciones
[editar] Física

Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física

estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el
modelo de difusión de Laplace.

[editar] Meteorología

Si consideramos el clima de una región a través de distintos días, es claro que el estado
actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden
usar cadenas de Markov para formular modelos climatológicos básicos.

[editar] Modelos epidemiológicos

Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-

Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para
modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias).

Internet

El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a
través de una cadena de Markov, donde la posición que tendrá una página en el buscador
será determinada por su peso en la distribución estacionaria de la cadena.

Simulación

Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos
problemas de simulación tales como el Modelo M/M/1.3
[editar] Juegos de azar

Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov.
El modelo de la ruina del jugador, que establece la probabilidad de que una persona que
apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las
cadenas de Markov en este rubro.

[editar] Economía y Finanzas

Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones

para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos
de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las
cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores
morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Proceso estocástico
De Wikipedia, la enciclopedia libre

Saltar a: navegación, búsqueda

El índice de la bolsa es un ejemplo de proceso estocástico de tipo no estacionario (por eso no se

puede predecir).

En estadística, y específicamente en la teoría de la probabilidad, un proceso estocástico es

un concepto matemático que sirve para caracterizar una sucesión de variables aleatorias
(estocásticas) que evolucionan en función de otra variable, generalmente el tiempo. Cada
una de las variables aleatorias del proceso tiene su propia función de distribución de
probabilidad y, entre ellas, pueden estar correlacionadas o no.

Cada variable o conjunto de variables sometidas a influencias o impactos aleatorios

constituye un proceso estocástico.
Contenido
[ocultar]

 1 Ejemplos
 2 Definición matemática
o 2.1 Casos especiales
 3 Referencias

[editar] Ejemplos
 Los siguientes son ejemplos dentro del amplio grupo de las series temporales:
o Señales de telecomunicación
o Señales biomédicas (electrocardiograma, encefalograma, etc.)
o Señales sísmicas
o El número de manchas solares año tras año
o El índice de la bolsa segundo a segundo
o La evolución de la población de un municipio año tras año
o El tiempo de espera en cola de cada uno de los usuarios que van llegando a una
ventanilla
o El clima es un gigantesco cúmulo de procesos estocásticos interrelacionados
(velocidad del viento, humedad del aire, etc) que evolucionan en el espacio y en el
tiempo.
o Los procesos estocásticos de orden mayor a uno, como el caso de una serie de
tiempo de orden 2 y una correlación de cero con las demás observaciones.

En los procesos estocásticos se pueden usar las matrices para definir el número de evento,
ya que no necesitan la historia para "predecir", sino de los hechos que están presentes se
"predice" un comportamiento cadenas de Markov.1

[editar] Definición matemática

Un proceso estocástico se puede definir equivalentemente de dos formas diferentes:

 Como un conjunto de realizaciones temporales y un índice aleatorio que selecciona una de

ellas.
 Como un conjunto de variables aleatorias indexadas por un índice , dado que
, con .

puede ser continuo si es un intervalo (el número de sus valores es ilimitado) o discreto si
es numerable (solamente puede asumir determinados valores). Las variables aleatorias
toman valores en un conjunto que se denomina espacio probabilístico. Sea un
espacio probabilístico. En una muestra aleatoria de tamaño se observa un suceso
compuesto formado por sucesos elementales :

, de manera que .

El suceso compuesto es un subconjunto contenido en el espacio muestral y es un álgebra de

Boole . A cada suceso le corresponde un valor de una variable aleatoria , de manera
que es función de :

El dominio de esta función o sea el campo de variabilidad del suceso elemental, es el

espacio muestral, y su recorrido, o sea el de la variable aleatoria, es el campo de los
números reales. Se llama proceso aleatorio al valor en de un elemento
, donde para todo es una variable aleatoria del
valor en .

Si se observa el suceso en un momento de tiempo:

define así un proceso estocástico.2

Si es una filtración,3 se llama proceso aleatorio adaptado, al valor en , de un

elemento , donde es una variable aleatoria -medible
del valor en . La función se llama la trayectoria asociada
al suceso .

[editar] Casos especiales

 Proceso estacionario: Un proceso es estacionario en sentido estricto si la función de

distribución conjunta de cualquier subconjunto de variables es constante respecto a un
desplazamiento en el tiempo. Se dice que un proceso es estacionario en sentido amplio (o
débilmente estacionario) cuando se verifica que:

1. La media teórica es independiente del tiempo; y

2. Las autocovarianzas de orden s sólo vienen afectadas por el lapso de tiempo
transcurrido entre los dos periodos y no dependen del tiempo.

 Proceso homogéneo: variables aleatorias independientes e idénticamente distribuidas

 Proceso de Márkov: Aquellos procesos discretos en que la evolución sólo depende del
estado actual y no de los anteriores.
 Proceso de Gauss: Proceso continuo en el que toda combinación lineal de variables es una
variable de distribución normal.
 Proceso de Poisson
 Proceso de Gauss-Márkov: Son procesos, al mismo tiempo, de Gauss y de Márkov
 Proceso de Bernoulli Son procesos discretos con una distribución binomial.