INSTITUTO POLITECNICO NACIONAL

ESCUELA SUPERIOR DE INGENIERIA Y ARQUITECTURA ZACATENCO

CADENAS DE MARKOV.
MODELOS ESTOCASTICOS
ALUMNOS:
HERNANDEZ GARCIA EMMANUEL.
MARTINEZ ABARCA VICTOR ALFONSO.
VALENCIA HERNANDEZ ALMA PATRICIA.
VELAZQUEZ GALICIA MARIO.
GRUPO: 7CV01
PROFESOR:
PEREZ TELLEZ GUILLERMO I.

INTRODUCCION.
DEFINICIN
Una cadena

de Markov es una sucesin de ensayos similares u

observaciones en la cual cada ensayo tiene el mismo nmero finito de
resultados posibles y en donde la probabilidad de cada resultado
para un ensayo dado depende slo del resultado del ensayo
inmediatamente precedente y no de cualquier resultado previo.

Esta

dependencia del evento anterior distingue a las cadenas de

Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.

Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos,
cada evento ligado al precedente). Estas cadenas reciben su nombre del matemtico ruso
Andrei Andreevitch Markov (1856-1922) que desarrollo el mtodo en 1907.

Las cadenas de Markov son una herramienta para analizar el comportamiento y el gobierno de
determinados tipos de procesos estocsticos, esto es, procesos que evolucionan de forma no
determinista a lo largo del tiempo en torno a un conjunto de estados

PARA QUE NOS SIRVEN LAS CADENAS DE

MARKOV?
1.

El anlisis de Markov, permite encontrar la probabilidad de que un sistema se

encuentre en un estado en particular en un momento dado. Algo ms importante
an, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.

2.

Una cadena de Markov se utiliza para estudiar el comportamiento a corto y largo

plazo de ciertos sistemas estocsticos.

3.

En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de deudores morosos, para planear necesidades de
personal, para analizar el reemplazo de un equipo, entre otros.

ESTADOS DEL SISTEMA

Los estados son una caracterizacin de la situacin en que se encuentra el

sistema en un instante dado, dicha caracterizacin puede ser tanto

cuantitativa como cualitativa. Desde un punto de vista prctico
probablemente, ala mejor definicin de qu debe entenderse por estado es
la respuesta que se dara a la pregunta Cmo estn las cosas?.

El estado de un sistema en un instante t es una variable cuyos valores slo

pueden pertenecer al conjunto de estados del sistema. El sistema
modelizado por la cadena, por lo tanto, es una variable que cambia de valor
con el tiempo, cambio al que llamamos transicin.

TIPOS DE ESTADOS
PRODUCTIVIDAD.
DEL SISTEMA.

BUENO
( ESTADO 1)

REGULAR
( ESTADO 2)

DEFICIENTE
( ESTADO 3)

ESTADO

MATRIZ DE TRANSICIN
Definicin: Consideremos un proceso de Markov en que el sistema
posee n estados posibles, dados por los nmeros 1, 2, 3, ., n.
Denotemos Pij a la probabilidad de que el sistema pase al estado j
despus de cualquier ensayo en donde su estado era i antes del
ensayo. Los nmeros Pij se denominan probabilidades de transicin y
la matriz nxn P = (Pij) se conoce como matriz de transicin del
sistema

FORMA DE LA MATRIZ DE TRANSICIN

EJEMPLO

MATRICES R Y P
FILAS
P1

ESTADOS
1

1
0.4

2
3

3
0.3

0.5

0.78

FILAS
R1

ESTADOS
1

1
11

2
7

3
3

1.1

-2

FILAS
P2

ESTADOS
1

1
0.2

2
0.8

3
0.5

0.1

0.5

0.3

0.6

0.33

FILAS
P1

ESTADOS
1

1
0.4

2
3

3
0.3

0.5

0.78

FILAS
R1

ESTADOS
1

1
11

2
7

3
3

1.1

-2

FILAS
P2

SOLUCION

K=1

V11 =

(0.4X11)

V21 =

(0X8)

V31 =

(1X9)

SOLUCION

K=2

V11 =

(0.2X8)

V21 =

(0.1X 9)

V31 =

(0.3X6)

(3X7)
(3X6)
(0.78X1.1)

(0.8X11)
(4X2)
(0.6X3)

(0.3X3)

26.3

(0.5X2)

19

(2X-2)

5.858

(0.5X-1)

9.9

(0.5X0.5)

9.15

(0.33X-2)

2.94

K=1

K=2

F3(i)

K*

26.3

9.9

26.3

ESTADOS
1

1
0.2

2
0.8

3
0.5

19

9.15

19

0.1

0.5

5.858

2.94

5.858

0.3

0.6

0.33

K=1

FILAS
P1

Vi^K

ESTADOS
1

1
0.4

2
3

3
0.3

0.5

0.78

26.3
19
5.858

P(i1)^k F3(1)

(0.4X26.3)
(0X26.3)
(1X26.3)

P(i2)^k F3(2)

(3X19)
(3X19)
(0.78X19)

P(i3)^k F3(3)

(0.3X5.86)

95.5774

(0.5X5.86)

78.929

(2X5.86)

58.694

K=2
Vi^K
9.9

FILAS
R1

9.15

ESTADOS
1

1
11

2
7

3
3

1.1

-2

FILAS
P2

ESTADOS
1

1
0.2

2
0.8

3
0.5

0.1

0.5

0.3

0.6

0.33

2.94

P(i1)^k F3(1)

(0.2X26.3)
(0.1X 26.3)
(0.3X26.3)

P(i2)^k F3(2)

(0.8X19)
(2X19)
(0.6X19)

P(i3)^k F3(3)

(0.5X5.86)

33.289

(0.5X5.86)

49.78

(0.33X5.86)

24.16314

F3(i)

K*

95.5774

78.929

58.694

FILAS
P1

ESTADOS
1

1
0.4

2
3

K=1

3
0.3

0.5

0.78

Vi^K
26.3
19
5.858

P(i1)^k F3(1)

(0.4X95.58)
(0X95.58)
(1X95.58)

P(i2)^k F3(2)

(3X78.93)
(3X78.93)
(0.78X78.93)

P(i3)^k F3(3)

(0.3X58.69)

318.92616

(0.5X54.74)

285.134

(2X54.74)

280.38802

K=2
Vi^K

FILAS
R1

9.9

ESTADOS
1

1
11

2
7

3
3

1.1

-2

FILAS
P2

ESTADOS
1

1
0.2

2
0.8

3
0.5

0.1

0.5

0.3

0.6

0.33

9.15
2.94

P(i1)^k F3(1)

(0.2X94.70)
(0.1X 94.70)
(0.3X94.70)

P(i2)^k F3(2)

(0.8X77.47)
(2X77.47)
(0.6X77.47)

P(i3)^k F3(3)

F3(i)

K*

318.92616

285.134

280.38802

(0.5X54.74)

121.50568

(0.5X54.74)

205.91274

(0.33X54.74)

98.33964