Lanul Markov timp discret

Scopul lucrrii:
Studierea metodelor de redare, descrierea, analiza a proprietilor de comportare
ale lanurilor Markov timp discret i a caracteristicilor numerice de performan.
Consideraii teoretice:
Lanul aleatoriu de timp Markovian este un ir de variabile aleatoare care satisface
conditia lui Markov i anume: probabilitatea sistemului discret la moment (k+1)
(deseori numit i epoc sau perioad), s se gseasc n starea discret (ik+1),
condiia de faptul ca sistema s-a gsit respectiv la momentele 1,2,,k-1,k n strile
i1, i2,, ik, nu depinde dect de ultima stare, adic:
Pr(Xk+1= ik+1/Xk=ik, Xk-1= ik-1, , X1=i1)= Pr(Xk+1 = i1/Xk = ik).
Probabilitatea c sistemul s fie n starea i la momentul dat k, vom nota:
i(k) = Pr(xk=i)
0i(k) 1,

i 1

(k ) 1

Probabilitatea ca sistemul s treac n sistemul j la momentul (k+1), tiind c in

momentul precedent k el s-a aflat in starea i, adic probabilitatea conditionat
Pr(Xk+1 = j/Xk = i)= pij (k+1)

i, j=1,n i k=0,1,2

poarta numele de probabilitate de trecere.

Un lan Markov este complet determinat daca cunoatem: mulimea strilor discrete
S={si,i=1,n}, vectorul linie al probabilitilor de stare iniial (0) i matricea stohastic a
probabilitilor de trecere:
(Pi,j) (i,j=1,,n), 0 Pi,j 1,

P
i 1

n
i, j

Relaia prin care determin probabilitile de stare la momentul (k+1) cu ajutorul

probabilitilor de trecere i a vectorului de stare corespunztor momentului k, este
descris de ecuaia Kolmogorov [9]:
j(k+1)=

i 1

(k ) pij , j=1,,n; k=0,1,2,

Dac la fiecare stare j se va ataa o funcie cost cj(k) de aflare a lanului DLM n
aceasta stare, atunci costul mediu c(k) de funcionare a lanului este:

C(k)=

[c
i 1

i (k )]

n figura de mai jos este prezentat lanul Markov discret ergotic.

0,3

0,1

0,3

0,8

2
0,2

0,3

0,5

0,2

0,4
0,5

1
1

0,2
0,4

0,4
1
0

0,1

0,4

0,4

0,5

4
0,3

0,3

0,1
0,1

0,5
0,1

0,2

0,4
8

0,3

0,1

0,6

0,4

0,1

0,2

0,8

0,3

0,1

0,1

1
2

0,3

0,3

0,1

0,1

0,3

0,2
Lan Neergodic:
0,3
0,1

0,3

0,8
0,3

0,3

0,1

0,5

0,4

0,2
0,5

1
1

0,2
0,4

0,1
8
0,1

0,1

0,4

1
0

0,4

0,1
4

0,5

0,2
0,3 0,2
0,30,1
0,1

0,3
1
2

0,1

0,6
0,7

0,1
7

0,4

0,3
5

0,4

0,1

0,2

0,3

0,1
0,3

0,2

Pentru Lanul Markov dat trebuie de calculat cu ajutorul pachetului de programe

QM probabilitatea Sb(k) i costul mediu CSb(k) de aflare a lanului DLM la
momentul k ntr-o submulime de stari SbS, astfel nct SbSr, SbSr=

n acest caz:
i(k)=

Si S B

( k ) , iar CSb(k)=

[c

Si S B

i (k )]

Unde k este numrtorul perioadelor, probabilitatea ca sistemul la momentul de

timp k se afl n starea SB, iar C este mediu de a lanului dat ntr-o submulime de
stri.
S

,S R

(k )

(P

ij
S i S B , S j S B

i (k ))

SB (k )

, S

, S RR

Prelucrarea datelor experimentale:

(k )

(P

ij
S i SR , S j SR

j ( k ))

SR ( k )

Tabelul de probabiliti pentru lanul Markovian ergodic:

1
2
3
4
5
6
7
8
9
10
11
12
Pi(SB)
Pi(SR)
C(SB)
C(SR)
C(k)
L(Sb Sr)
L(SR SB)

0
0,3
0
0,3
0
0,3
0
0,1
0
0
0
0
0
0,4
0,6
61,8
-95
-33
0,4
0

1
0
0,09
0,12
0,27
0,09
0,16
0,4
0
0,12
0,1
0
0,01
0,63
0,73
65,8
-0,7
65,1
0,48
0,21

2
0,13
0,09
0,23
0,17
0,05
0,08
0,02
0,05
0,04
0
0,01
0,12
0,36
0,63
46
-13
33
0,38
0,19

3
0,08
0,13
0,21
0,18
0,04
0,08
0,02
0,03
0,09
0,07
0,01
0,07
0,36
0,65
29,7
-0,3
29,4
0,28
0,23

4
0,14
0,11
0,21
0,16
0,04
0,06
0,01
0,04
0,08
0,04
0,01
0,08
0,39
0,59
37
-3,6
33,4
0,3
0,22

5
0,12
0,13
0,2
0,15
0,04
0,06
0,01
0,04
0,1
0,06
0,01
0,08
0,41
0,59
34,1
-0,4
33,7
0,28
0,23

6
0,14
0,12
0,19
0,14
0,04
0,06
0,01
0,05
0,1
0,06
0,01
0,08
0,44
0,56
38,8
-2,1
36,7
0,29
0,23

7
0,14
0,13
0,18
0,03
0,06
0,01
0,05
0,1
0,06
0,01
0,01
0,08
0,44
0,42
52,2
-12
40,5
0,41
0,23

0,8

80

0,7

60

0,6

40

8
0,15
0,13
0,18
0,13
0,03
0,06
0,01
0,05
0,1
0,06
0,01
0,08
0,45
0,54
40,3
1,13
41,4
0,29
0,24

9
0,15
0,13
0,17
0,13
0,03
0,06
0,01
0,05
0,11
0,06
0,01
0,08
0,46
0,53
38,6
2,68
41,3
0,28
0,25

10
0,15
0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,08
0,46
0,54
38,6
1,15
39,7
0,28
0,25

11
0,15
0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,08
0,46
0,54
38,6
1,15
39,7
0,28
0,25

12
0,15
0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,07
0,45
0,54
36,8
1,15
37,9
0,28
0,25

13
0,15
0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,07
0,45
0,54
38,3
1,15
39,4
0,28
0,25

C
150
160
-155
157
-160
-153
168
170
-171
173
180
179

20

0,5
0,4
0,3

P(Sb)

P(Sr)

-20
-40

0,2

-60

0,1

-80

C(Sb)
1

10 11 12 13 14

C(Sr)
C(k)

-100
1

9 10 11 12 13 14

-120

0,6
0,5
0,4
L(Sb-Sr)

0,3

L(Sr-Sb)

0,2
0,1
0
1

10

11

12

13

14

Tabelul de probabiliti pentru lanul Markovian ergodic(cu ntrri externe

deplasate cu 3 stri):
1

0
0

1
2
3
4
5
6
7
8
9
10 11 12 13
C
0,02 0,04 0,07 0,1 0,12 0,13 0,14 0,14 0,14 0,15 0,15 0,15 0,15 150

0,11
0,26
0,21
0,05
0,08
0,02
0,02
0,05
0,03
0,01
0,09
0,28
0,72
30
-8,2
21,8
0,33
0,2

0,12
0,25
0,19
0,05
0,06
0,01
0,03
0,07
0,04
0,01
0,08
0,33
0,68
31,1
-5,1
26
0,3
0,21

0,12
0,23
0,17
0,04
0,05
0,01
0,04
0,08
0,05
0,01
0,08
0,38
0,62
35,8
-2
33,8
0,3
0,22

0,12
0,21
0,16
0,04
0,05
0,01
0,04
0,09
0,06
0,01
0,08
0,41
0,59
37,3
-0,5
36,8
0,29
0,23

0,12
0,2
0,15
0,04
0,06
0,01
0,04
0,1
0,06
0,01
0,08
0,43
0,58
37,1
-2
35,1
0,28
0,23

100

0,8

50
Psb

0,4

Psr

0,13
0,18
0,14
0,03
0,06
0,01
0,05
0,1
0,06
0,01
0,08
0,44
0,55
38,8
2,7
41,5
0,29
0,25

0,13
0,18
0,13
0,03
0,06
0,01
0,05
0,11
0,06
0,01
0,08
0,46
0,54
38,6
1,13
39,7
0,28
0,24

0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,08
0,46
0,54
38,6
1,15
39,7
0,28
0,25

0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,07
0,45
0,54
36,8
1,15
37,9
0,28
0,25

-50

0,2

0,13
0,17
0,13
0,03
0,07
0,01
0,05
0,11
0,06
0,01
0,07
0,45
0,54
38,3
1,15
39,4
0,28
0,25

160
-155
157
-160
-153
168
170
-171
173
180
179

C(Sb)

0
1

0,6

0,13
0,19
0,14
0,03
0,06
0,01
0,05
0,1
0,06
0,01
0,08
0,44
0,56
38,8
1,15
39,9
0,29
0,24

13

0,08
0,23
0,26
0,09
0,11
0,04
0,02
0,03
0,02
0
0,08
0,23
0,77
28,8
-13
15,5
0,39
0,18

10

0,02
0,21
0,24
0,06
0,3
0,03
0
0,04
0,03
0
0,05
0,17
0,83
15,3
-47
-32
0,31
0,14

0
0,3
0
0,3
0
0
0,3
0
0,1
0
0
0,4
0,6
68,3
-95
-26
0,58
0

2
3
4
5
6
7
8
9
10
11
12
Pi(SB)
Pi(SR)
C(SB)
C(SR)
C(k)
L(Sb Sr)
L(SR SB)

C(Sr)
C(k)

-100
-150

13

11

0,7
0,6
0,5
0,4

L(Sb-Sr)

0,3
0,2
0,1
0

L(Sr-Sb)

10 11 12

13 14

Tabelul de probabiliti pentru lanul Markovian neergodic:

1
2
3

0
1
2
3
4
5
6
7
8
9
10 11 12 13
C
0,3
0 0,08 0,02 0,03 0,02 0,01 0,01 0,01 0
0
0
0
0 150
0 0,09 0,1 0,14 0,12 0,12 0,12 0,12 0,12 0,12 0,12 0,12 0,12 0,12 160
0,3 0,12 0,28 0,29 0,36 0,36 0,39 0,39 0,4 0,41 0,41 0,41 0,41 0,42 -155

4
5
6
7
8
9
10
11
12
Pi(SB)
Pi(SR)
C(SB)
C(SR)
C(k)
L(SR SB)

0
0
0,3
0
0,1
0
0
0
0
0,4
0,6
62
-92
-30
0,05

0,27
0,09
0,16
0,01
0
0,12
0,1
0,03
0,01
0,24
0,76
0,25
4,71
4,96
0,23

0,17
0,05
0,08
0
0,05
0,04
0
0,11
0,03
0,2
0,79
19
-1,2
17,9
0,28

0,23
0,05
0,07
0,01
0,02
0,04
0,04
0,08
0,01
0,14
0,86
9,95
9,25
19,2
0,27

0,23
0,05
0,05
0
0,02
0,03
0,01
0,1
0,01
0,1
0,91
6,29
1,86
8,15
0,26

0,26
0,05
0,04
0
0,01
0,02
0,01
0,09
0,01
0,07
0,92
4,8
6,3
11,1
0,26

0,25
0,05
0,04
0
0,01
0,01
0,01
0,1
0,01
0,05
0,95
5,01
1,88
6,89
0,25

0,27
0,05
0,03
0
0,01
0,01
0,01
0,1
0
0,04
0,96
3,22
6,55
9,77
0,26

0,27
0,05
0,03
0
0
0,01
0
0,11
0
0,02
0,98
-0,2
6,8
6,59
0,26

0,27
0,05
0,03
0
0
0
0
0,11
0
0
0,99
0
5,25
5,25
0,26

0,27
0,05
0,03
0
0
0
0
0,11
0
0
0,99
0
5,25
5,25
0,26

0,27
0,05
0,02
0
0
0
0
0,11
0
0
0,98
0
6,78
6,78
0,26

0,27
0,05
0,02
0
0
0
0
0,11
0
0
0,98
0
6,78
6,78
0,26

0,28
0,05
0,02
0
0
0
0
0,11
0
0
1
0
6,8
6,8
0,26

157
-160
-153
168
170
-171
173
180
179

1,2
1
0,8
P(Sb)

0,6

P(Sr)

0,4
0,2
0
1

10

11

12

10

11

12

13

14

80
60
40
20
0
-20

C(Sb)
1

-40

13

14

C(Sr)
C(k)

-60
-80
-100
-120

Tabelul de probabiliti pentru lanul Markovian neergodic(cu ntrri externe

deplasate cu 3 stri):
1
2

0
0
0

1
2
3
4
5
6
7
8
9
10 11 12 13
C
0,02 0,03 0,02 0,01 0,01 0,01 0
0
0
0
0
0
0 150
0,02 0,08 0,13 0,13 0,12 0,12 0,12 0,12 0,12 0,12 0,12 0,12 0,12 160

3
4
5
6
7
8
9
10
11
12
Pi(SB)
Pi(SR)
C(SB)
C(SR)
C(k)
L(SR SB)

0,3
0
0,3
0
0
0,3
0
0,1
0
0
0,4
0,6
68,3
-95
-26
0

0,21
0,24
0,06
0,3
0,03
0
0,04
0,03
0
0,05
0,17
0,83
15,3
-47
-32
0,14

0,24
0,26
0,09
0,11
0,01
0,02
0,03
0,02
0,1
0,01
0,12
0,88
9,7
3,19
12,9
0,26

0,32
0,23
0,05
0,07
0
0,02
0,02
0,01
0,11
0,01
0,08
0,91
6,5
8,4
14,9
0,28

0,36
0,25
0,05
0,05
0
0,01
0,02
0,01
0,1
0,01
0,06
0,94
3,3
6,6
9,9
0,26

0,39
0,26
0,05
0,04
0
0,01
0,01
0,01
0,1
0
0,04
0,96
3,22
3,45
6,67
0,25

0,4
0,27
0,05
0,03
0
0
0,01
0
0,1
0
0,02
0,97
-0,2
5
4,79
0,25

0,4
0,27
0,05
0,03
0
0
0,01
0
0,11
0
0,01
0,98
-1,7
6,8
5,09
0,26

0,41
0,27
0,05
0,03
0
0
0
0
0,11
0
0
0,99
0
5,25
5,25
0,26

0,41
0,27
0,05
0,03
0
0
0
0
0,11
0
0
0,99
0
5,25
5,25
0,26

0,41
0,27
0,05
0,02
0
0
0
0
0,11
0
0
0,98
0
6,78
6,78
0,26

0,42
0,28
0,05
0,02
0
0
0
0
0,11
0
0
1
0
6,8
6,8
0,26

0,42
0,28
0,05
0,02
0
0
0
0
0,11
0
0
1
0
6,8
6,8
0,26

0,42
0,28
0,05
0,02
0
0
0
0
0,11
0
0
1
0
6,8
6,8
0,26

-155
157
-160
-153
168
170
-171
173
180
179

1,2
1
0,8
Pi(Sb)

0,6

Pi(Sr)

0,4
0,2
0
1

10

11

12

13

14

10

11

12

13

14

80
60
40
20
0
-20
-40
-60

C(Sb)
1

C(Sr)
C(k)

-80
-100
-120

Concluzie: n procesul elaborrii lucrrii de laborator am fcut cunotin cu

studiul lanurilor Markov timp discret i evaluarea caracteristicilor de performan.