Ministerul Educaiei al Republicii Moldova

Universitatea Tehnic a Moldovei

Catedra Calculatoare

Raport
la lucrarea de laborator Nr.1
Tema: Lanturi Markov, timp discret

A efecuat :
A verificat:

Chiinu

Scopul lucrrii: Studierea metodelor de redare, descriere, analiza a

proprietatzilor de comportare ale lanturilor Markov timp discret (DLM) si
evaluarea a caracteristicilor numerice de performanta.
Consideratii teoretice: Lanul aleator de timp Markov este un ir de variabile
alea-toare, care satisface condiia lui Markov i anume: probabillitatea sistemului
c sistemul discret la momentul (k+1) (deseori numit i epoc sau perioad), s se
gseasc n starea discret (ik+1), condiia de faptul c sistemul s-a gsit, respectiv,
la momentele 1, 2, ...., k-1, k n strile i1, i2, ...., ik, nu depinde de ultima stare, adic

Pr ( x k 1 i k 1 / x k i k , x k 1 i k 1 ,..., x1 i1 ) Rr ( x k 1 i1 / x k i k ).
Probabilitatea c sistemul va fi n starea i la momentul k , o vom nota:

i ( k ) Pr( x k i )
n

0 i ( k ) 1, i ( k ) 1
i 1

Probabilitatea c sistemul va trece n starea j la momentul (k+1), tiind c n

momentul precedent k el se afla n starea i, adic probabilitatea condiionat poart
numele de probabilitate de trecere.
n

i (k 1) i (k ) Pn , j 1,....., n; k 0,1,2...
i 1

Un lan Markov este complet determinat dac cunoatem: mulimea strilor

discrete S={si, i=1,n}, vectorul-linie al probabilitilor de stare iniial (0) i
matricea stochastic a probabilitilor de trecere:
n

( Pi , j )(i, j 1,.., n),0 Pi , j 1, Pi , j 1

i 1

Relaia prin care determinm probabilitile de stare la momentul (k+1) cu

ajutorul proba-bilitilor de trecere i a vectorului de stare corespunztor
momentului k, este descris de ecuaia Kolmogorov(9):
n

i (k 1) i (k ) p n , j 1,..., n; k 0,1,2,...
i 1

Dac la fiecare stare j se va ataa o funcie const cj(k) de aflare a lanului

DLM n aceast stare, atunci costul madiu c(k) de funcionare a lanului este:
n

C (k ) [c i * i (k )]
i 1

Deseori este necesar de a determina probabilitatea Sb(k) i costul mediu

CSb(k) de aflare a lanului DLM la momentul k ntr-o submulime de stri
astfel nct
n acest caz

Sb S R , Sb S R

Sb (k )
Sr (k )

Sb S
,

SS B i

SS r i

(k ), iarC Sb (k )
(k ), iarC Sr (k )

[c

S i S B
n

[c

S i S r

* i ( k )];
* i (k )];

C C sb C sr ;
Unde k este numrtorul perioadelor, probabilitatea c sistemul la momentul
de timp k se afl n starea Sb iar C este mediul lanului dat ntr-o submulime de
stri.

Graful pentru lanul Markov ergodic

Graful pentru lanul Markov neergodic

Tab1: Probabilitatile de stare LMD ergodic

Pi/K
1
2

0
0,4

1
0,08
0,12

2
0,07
0,1

3
0,05
0,09

4
0,05
0,09

5
0,04
0,08

6
0,04
0,08

7
0,04
0,08

8
0,04
0,08

9
0,04
0,08

10
0,04
0,07

Ci
10
15

3
4
5
6
7
8
9
10
11
12
Psb
Psr

0,03
0,12
0,12
0,1
0,13
0
0,03
0,18
0,05
0,04
0,49
0,51

0,07
0,12
0,09
0,06
0,11
0,11
0,12
0,03
0,09
0,03
0,41
0,59

0,08
0,09
0,12
0,06
0,15
0,08
0,06
0,1
0,06
0,04
0,43
0,55

0,08
0,09
0,13
0,06
0,12
0,12
0,08
0,07
0,08
0,05
0,41
0,61

Csb

27,1

23

23,5

23

Csr

13,4

17,5

16,9

20,1

40,5

40,5

40,4

43,1

0,3
0,2
0,1

0,08
0,08
0,13
0,05
0,13
0,11
0,07
0,09
0,08
0,05
0,42
0,57
23,8
5

0,08
0,08
0,13
0,05
0,12
0,12
0,08
0,09
0,08
0,05
0,42
0,58
24,0
5

0,08
0,08
0,14
0,05
0,12
0,12
0,07
0,09
0,08
0,05
0,41
0,59
23,4
5

19,1
42,9
5

19,6
43,6
5

19,9
43,3
5

0,08
0,07
0,14
0,05
0,12
0,12
0,08
0,09
0,09
0,05
0,43
0,58
24,8
5
19,6
5

0,08
0,07
0,14
0,05
0,12
0,12
0,08
0,09
0,09
0,05
0,43
0,58
24,8
5
19,6
5

44,5

44,5

0,08
0,07
0,14
0,05
0,12
0,12
0,08
0,1
0,09
0,05
0,44
0,57
25,5
5

20
25
30
35
40
50
60
70
80
90

19,5
45,0
5

Tabelul 2 :Probabilitatile de stare LMD ergodic cu conditiile initiale schimbate

Pi/K
1
2
3
4
5
6
7
8
9
10
11
12
Psb
Psr

0
0,1

1
0,02
0,07
0,08
0,03
0,04
0,02
0
0,18
0,18
0,06
0,15
0,17
0,41
0,59

2
0,02
0,03
0,08
0,02
0,11
0,02
0,14
0,08
0,07
0,19
0,17
0,06
0,59
0,4

3
0,02
0,04
0,06
0,05
0,11
0,04
0,1
0,13
0,13
0,11
0,14
0,07
0,52
0,48

4
0,03
0,05
0,06
0,05
0,12
0,04
0,13
0,1
0,1
0,14
0,12
0,06
0,53
0,47

Csb

27,7
29,1

56,8

32,1
19,3
5
51,4
5

32

Csr

37,4
15,4
5
52,8
5

0,4

0,3
0,2

Graficele :

17,5
49,5

5
0,03
0,06
0,06
0,06
0,12
0,05
0,12
0,12
0,1
0,11
0,12
0,05
0,5
0,5
29,8
5

6
0,03
0,06
0,06
0,06
0,13
0,05
0,13
0,11
0,09
0,11
0,11
0,05
0,49
0,5
28,8
5

7
0,03
0,07
0,07
0,07
0,13
0,05
0,13
0,12
0,09
0,1
0,1
0,05
0,47
0,54
27,3
5

8
0,03
0,07
0,07
0,07
0,13
0,05
0,13
0,11
0,09
0,1
0,1
0,05
0,47
0,53
27,3
5

9
0,04
0,07
0,07
0,07
0,13
0,05
0,13
0,12
0,08
0,1
0,09
0,05
0,45
0,55
25,9
5

10
0,04
0,07
0,07
0,07
0,13
0,05
0,13
0,12
0,08
0,1
0,09
0,05
0,45
0,55
25,9
5

18
47,8
5

17,8
46,6
5

18,9
46,2
5

18,4
45,7
5

19
44,9
5

19
44,9
5

Ci
10
15
20
25
30
35
40
50
60
70
80
90

0.7

0.7

0.6

0.6

0.5

0.5

0.4

Psb1

0.4

Psr1

0.3

Psb2

0.3

Psr2

0.2

0.2

0.1

0.1

0
1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

40

35

35

30

30

25

25
20
15

Csb1

20

Csr1

Csb2

15

Csr2

10

10

0
1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

60
50
40
C1

30

C2

20
10
0
1

10

Tabelul3: Probabilitate de stare LMD neergodic

Pi/K
1
2
3
4
5
6
7
8
9
10
11
12
Psb
Psr
Csb

0
0,4

0,3
0,2
0,1

1
0,16
0,12
0,03
0,12
0,21
0,02
0,1
0
0,03
0,09
0,05
0,07
0,29
0,71
16,8

Csr

19,6

36,4

2
0,09
0,15
0,15
0,12
0,13
0,02
0,04
0,14
0,06
0,02
0,04
0,02
0,18
0,8
10,5
21,8
5
32,3
5

3
0,07
0,13
0,18
0,09
0,2
0,01
0,04
0,11
0,03
0,03
0,03
0,08
0,14
0,86
8,25

4
0,05
0,13
0,21
0,07
0,21
0,01
0,02
0,16
0,02
0,02
0,02
0,08
0,09
0,91
5,35

27,2
35,4
5

29,9
35,2
5

5
0,04
0,11
0,21
0,06
0,25
0,01
0,02
0,16
0,02
0,01
0,01
0,1
0,07
0,93
3,85
32,2
5
36,1

6
0,03
0,11
0,22
0,05
0,26
0,01
0,01
0,18
0,01
0,01
0,01
0,1
0,05
0,95
2,85
33,4
36,2
5

7
0,02
0,11
0,23
0,04
0,28
0
0,01
0,19
0,01
0,01
0,01
0,11
0,04
0,98
2,5
35,2
5
37,7
5

8
0,02
0,1
0,23
0,03
0,29
0
0,01
0,2
0,01
0
0
0,11
0,02
0,98
1
35,6
5
36,6
5

9
0,01
0,1
0,23
0,03
0,3
0
0
0,2
0
0
0
0,11
0
0,98
0
35,8
5
35,8
5

10
0,01
0,1
0,23
0,02
0,3
0
0
0,2
0
0
0
0,11
0
0,97
0

Ci
10
15
20
25
30
35
40
50
60
70
80
90

35,6
35,6

Tabelul 4: Probabilitatile de stare LMD neergodic cu conditii initiale

schimbate
Pi/K
1
2
3
4
5
6
7
8
9
10
11
12
Psb
Psr
Csb

0
0,1
0,4

0,3
0,2

1
0,04
0,07
0,08
0,03
0,04
0
0
0,18
0,18
0,06
0,15
0,17
0,39
0,61
27

Csr

29,3

56,3

2
0,02
0,04
0,19
0,03
0,16
0,02
0,09
0,12
0,07
0,1
0,08
0,08
0,36
0,64
21,9
23,3
5
45,2
5

3
0,02
0,07
0,14
0,04
0,19
0,02
0,05
0,18
0,07
0,04
0,06
0,1
0,24
0,74
14,5
28,7
5
43,2
5

4
0,02
0,08
0,18
0,04
0,24
0,02
0,05
0,16
0,04
0,04
0,04
0,09
0,19
0,81
11,1
29,3

5
0,02
0,09
0,18
0,04
0,25
0,01
0,03
0,18
0,03
0,02
0,03
0,09
0,12
0,85
7,15
30,7
5

40,4

37,9

6
0,02
0,1
0,2
0,04
0,27
0,01
0,02
0,18
0,02
0,02
0,02
0,1
0,09
0,91
5,35

7
0,02
0,1
0,21
0,04
0,28
0,01
0,02
0,19
0,02
0,01
0,01
0,1
0,07
0,94
3,85

32,8
38,1
5

33,8
37,6
5

8
0,02
0,1
0,22
0,03
0,29
0,01
0,01
0,19
0,01
0,01
0,01
0,1
0,05
0,95
2,85
34,0
5
36,9

9
0,01
0,1
0,22
0,03
0,29
0
0,01
0,2
0,01
0,01
0,01
0,11
0,04
0,96
2,5
35,3
5
37,8
5

10
0,01
0,1
0,23
0,03
0,3
0
0,01
0,2
0,01
0
0
0,11
0,02
0,98
1
35,8
5
36,8
5

Ci
10
15
20
25
30
35
40
50
60
70
80
90

Graficele:
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

1.2
1
0.8
Psb1
Psb2

Psr1

0.6

Psr2

0.4
0.2
0
1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10
40

30

35

25

30

20
Csb1

15

Csb2

10

25

Csr1

20

Csr2

15
10

0
1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

60
50
40
C1

30

C2

20
10
0
1

10

Concluzie:La efectuarea aceastei lucrri de laborator am fcut cunotin

lanurile Markov discrete n timp i am observat ce benificiu il are acest lant.
Studiind graficele de probabilitate i costurile am ajuns la concuzia c treptat ntrun anumit interval de timp graficele tind la o linie dreapt, adica se apropie de
limita oarecare.

Am lucrat cu MS-Excel i cu programul QM.