Clasificación y definiciones de una cadena de Markov

Dada la matriz transición 𝑃 = 0.4 0.6 0 0 0

0.5 0.5 0 0 0
0 0 0.3 0.7 0 Fig. 1
0 0 0.5 0.4 0.1
0 0 0 0.8 0.2

La cual se puede representar con un diagrama de transición con los 5 Estados 1,2,3,4,5.

Fig. 2

Definición 1.

Dados dos Estados “i”,”j” la trayectoria de “i” a “j” es una sucesión de transiciones que comienza
en “i” y termina en “j”, de modo que con cada transición de la secuencia tenga probabilidad de
presentarse.

Definición 2.

Un estado ”j” es alcanzable desde un estado “i” si hay una trayectoria que vaya de “i” a ”j”

Definición 3.

Se dice que dos Estados (“i”y”j”)se comunica si ”j” es alcanzable desde “i” e “i” si es alcanzable
desde ”j”

Por la matriz P dada anteriormente el estado 5 es alcanzable desde el estado 3 (a través de la

trayectoria 3,4,5);pero el estado 5 no es alcanzable desde el estado 1 (no hay trayectoria de la 5 ).

También los estados 1 y 2 se comunican hay una trayectoria 1 a 2 y de 2 a 1.

Definición 4

Un conjunto de Estados S en una cadena de Markov es un conjunto cerrado si ningún estado fuera
de S es alcanzable desde un estado en 5.

De la cadena de Markov con matriz de transición P en la fig.1 .Los conjuntos de Estados S1={1,2} y
S2={3,4,5} son conjuntos cerrados, cada vez que entramos a un conjunto cerrado no podemos
dejarlo nunca .

En la fig.2 se observa que ninguna transición se inicia en S1 y termina en S2 o se inician S2 y

termina en S1.

Definición 5

Un estado se dice que es absorbente si Pij=1 una vez entrando a este estado no se puede
abandonar .

Valga la comparación es como un hoyo negro .

Definición 6

Un estado y es un estado transitorio si hay un estado ”j” alcanzable desde “i” pero el estado “i” no
es alcanzable desde ”j”.

En otras palabras un estado “i” es transitorio si hay forma decir el estado “i” de modo que no se
pueda regresar a él .

El estado es estado transitorio todos los demás Estados son recurrentes.

Definición 7

Si un estado no es transitorio se llama recurrente para la cadena de markov en la fig. 2.

Definición 8

Un estado es periódico con periodo R>1 si R es el menor número tal que todas las trayectorias que
se pueden del estado “i” y regresan al estado “i” tienen una longitud múltiplo de R si un estado
recurrente no es periódico se llama aperiódico.
0 1 0
𝑄=0 0 1
1 0 0

Para las cadenas de Marcov cuya matriz de transiciones Q, cada una de los 3 estados tiene periodo
3.

 Si comenzamos en 1: la trayectoria para regresar a el es 1,2,3,1

 Si comenzamos en 2: 2,3,1,2

Definición 9

Si todos los estados de una cadena son recurrentes, aperiódicos y se comunican entre si, se dice
que es una cadena ergodica.