Ministerul Educaţiei al Republicii Moldova

Universitatea Tehnică a Moldovei

Catedra Calculatoare
Disciplina: Procese Stochastice

Raport
Lucrare de laborator Nr.1
Tema: Lanturi Markov timp discret

A efectuat: st. gr. C-102 Efros Petru

A verificat: lect. univ. Oșovschi Mariana

Chişinău 2011
1 Scopul lucrarii:
Studierea metodelor de redare, descriere, analiza a proprietatilor de comportare
ale lanturilor Markov timp discret si evaluare a caracteristicilor numerice de
performanta.

2 Obiectivele lucrarii de laborator:

- pentru varianta formulata de profesor de construit graful lantului Markov;

- de determinat matricea stochastica a DLM si de scris ecuatiile Kolmogorov;
- de elaborat algoritmul si programul de calcul numeric al repartitiei probabilitatilor de
stare la mementul de timp k;
- de evaluat probabilitatea  Sp (k ) de aflare in S B si valoarea respectiva a costului
mediu C(k) si C S (k) functie de durata functionarii DLM.
B

3 Scurte date teoretice:

Procesele stochastice permit modelarea matematica a numeroaselor componente

ale sistemelor tehnice, informationale, economicea, sociale etc. Un process stochastic X
este o familie de variabile aleatoare(X  )   definite de acelasi spatiu de probabilitate
cu valori reale in acelasi spatiu de valori  si indexate dupa un parametru      .
Un process stochastic se reprezinta prin : {X   ,   }.
In figura de mai jos este reprezentat grapfic exemplu de trecere din starea i in
starea j caruia ii corespunde un eveniment de trecere dintr-o stare e ij in e , unde
ji
 ,i j
durata de aflare in starea i,j(vezi Fig. 3.1.).
eij
Si Sj

i  j

e ji

Fig. 3.1.Trecerea din starea i in starea j.

4 Graful lantului Markov.

 4
3
5

1
12

11

10 8

Fig.1. Lant Markov ergodic.

Tab.№1.Probabilitatea de aflare in starea Si la momentul de timp k.

Si\K 0 1 2 3 4 5 6 7 8 9 10 11 12
1 0.00 0.12 0.17 0.16 0.16 0.15 0.15 0.15 0.15 0.15 0.15 0.14 0.14
2 0.00 0.11 0.07 0.10 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09
3 0.25 0.00 0.09 0.05 0.07 0.07 0.07 0.07 0.06 0.07 0.06 0.06 0.06
4 0.00 0.16 0.00 0.10 0.07 0.07 0.08 0.07 0.08 0.08 0.08 0.08 0.08
5 0.00 0.00 0.11 0.07 0.07 0.09 0.08 0.08 0.08 0.08 0.08 0.08 0.08
6 0.00 0.02 0.05 0.07 0.09 0.08 0.09 0.09 0.09 0.09 0.09 0.09 0.09
7 0.15 0.00 0.09 0.08 0.07 0.08 0.07 0.08 0.08 0.08 0.08 0.08 0.08
8 0.00 0.16 0.10 0.12 0.10 0.09 0.10 0.09 0.10 0.10 0.10 0.10 0.10
9 0.00 0.16 0.12 0.11 0.10 0.10 0.09 0.09 0.09 0.09 0.09 0.09 0.09
10 0.25 0.09 0.04 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03
11 0.35 0.07 0.06 0.06 0.06 0.07 0.07 0.07 0.07 0.07 0.07 0.07 0.07
12 0.00 0.09 0.10 0.04 0.09 0.07 0.08 0.08 0.08 0.08 0.08 0.08 0.08
 4
3
5

1
12

11

10 8

Fig.2. Lant Markov ergodic cu conditiile initiale schimbate

Tab.№.2.Probabilitatea de aflarea in starea Si la momentul de

timp k.
Si\k 0 1 2 3 4 5 6 7 8 9 10
1 0.35 0.14 0.17 0.14 0.15 0.14 0.15 0.14 0.14 0.14 0.14
2 0.00 0.15 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09 0.09
3 0.00 0.04 0.08 0.07 0.06 0.07 0.06 0.06 0.06 0.06 0.06
4 0.00 0.04 0.10 0.06 0.09 0.07 0.08 0.08 0.08 0.08 0.08
5 0.15 0.16 0.03 0.11 0.07 0.09 0.08 0.08 0.08 0.08 0.08
6 0.00 0.06 0.12 0.08 0.10 0.09 0.09 0.09 0.09 0.09 0.09
7 0.00 0.15 0.04 0.11 0.06 0.09 0.08 0.08 0.08 0.08 0.08
8 0.25 0.05 0.13 0.06 0.11 0.09 0.10 0.10 0.10 0.10 0.10
9 0.00 0.10 0.06 0.11 0.08 0.09 0.09 0.09 0.09 0.09 0.09
10 0.00 0.02 0.03 0.03 0.04 0.03 0.04 0.03 0.03 0.03 0.03
11 0.00 0.07 0.05 0.08 0.06 0.07 0.06 0.07 0.07 0.07 0.07
12 0.25 0.00 0.10 0.08 0.08 0.08 0.08 0.08 0.08 0.08 0.08
 4
3
5

1
12

11

10 8

Fig.3. Lant Markov neergodic

Tab.№.3.Probabilitatea de aflare in starea Si la momentul de

timp k.
Si\k 0 1 2 3 4 5 6 7 8 9 10 11 12
1 0.00 0.00 0.27 0.22 0.25 0.23 0.24 0.23 0.23 0.23 0.23 0.23 0.23
2 0.00 0.00 0.08 0.15 0.13 0.14 0.13 0.14 0.13 0.13 0.13 0.13 0.13
3 0.25 0.25 0.15 0.05 0.12 0.09 0.11 0.10 0.10 0.11 0.10 0.11 0.11
4 0.00 0.00 0.00 0.10 0.05 0.08 0.08 0.08 0.08 0.08 0.08 0.08 0.08
5 0.00 0.00 0.06 0.05 0.04 0.05 0.04 0.05 0.05 0.05 0.05 0.05 0.05
6 0.00 0.00 0.01 0.03 0.03 0.03 0.04 0.03 0.04 0.04 0.04 0.04 0.04
7 0.15 0.15 0.03 0.05 0.04 0.05 0.04 0.05 0.04 0.05 0.04 0.05 0.05
8 0.00 0.00 0.09 0.07 0.08 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07
9 0.00 0.00 0.14 0.16 0.11 0.13 0.11 0.12 0.11 0.11 0.11 0.11 0.11
10 0.25 0.25 0.05 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03
11 0.35 0.35 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07 0.07 0.07 0.07
12 0.00 0.00 0.06 0.01 0.05 0.03 0.05 0.04 0.04 0.04 0.04 0.04 0.04
 4
3
5

1
12

11

10 8

Fig.4. Lant Markov neergodic cu conditiile initiale schimbate.

Tab.№4.Probabilitatea de aflare in starea Si la momentul de

timp k.
Si\k 0 1 2 3 4 5 6 7 8 9 10 11 k Ci
1 0.35 0.14 0.20 0.18 0.20 0.20 0.21 0.22 0.22 0.22 0.22 0.22 1 40
2 0.00 0.15 0.10 0.11 0.12 0.12 0.13 0.12 0.13 0.13 0.13 0.13 2 45
3 0.00 0.04 0.10 0.10 0.09 0.11 0.10 0.10 0.10 0.10 0.10 0.10 3 50
4 0.00 0.04 0.10 0.06 0.10 0.07 0.09 0.08 0.08 0.08 0.08 0.08 4 55
5 0.15 0.16 0.03 0.08 0.05 0.07 0.06 0.06 0.06 0.05 0.05 0.05 5 60
6 0.00 0.06 0.10 0.04 0.06 0.04 0.05 0.04 0.04 0.04 0.04 0.04 6 65
7 0.00 0.15 0.04 0.09 0.04 0.06 0.05 0.05 0.05 0.05 0.05 0.05 7 70
8 0.25 0.05 0.12 0.05 0.09 0.07 0.08 0.07 0.07 0.07 0.07 0.07 8 75
9 0.00 0.10 0.07 0.12 0.10 0.12 0.11 0.12 0.11 0.11 0.11 0.11 9 80
10 0.00 0.02 0.03 0.03 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 10 85
11 0.00 0.07 0.05 0.08 0.06 0.07 0.06 0.07 0.06 0.07 0.07 0.07 11 90
12 0.25 0.00 0.06 0.05 0.05 0.05 0.04 0.05 0.04 0.05 0.04 0.04 12 100
Lantul Markov ergodic
k Psb Psr Csb Csr C k Psb Psr Csb Csr C
1 0.27 0.71 21.50 45.3 66.8 1 0.44 0.56 31,5 32,55 63,6
2 0.45 0.55 33.65 32.85 66.5 2 0.42 0.58 32,15 32,2 64,4
3 0.38 0.62 27.35 36.5 63.85 3 0.44 0.58 32 35 67
4 0.40 0.58 31.45 33.75 65.2 4 0.42 0.57 31,15 32,8 64
5 0.39 0.58 29.95 34.25 64.2 5 0.44 0.56 32,3 33,05 65,4
6 0.40 0.58 31,05 34.45 65.5 6 0.43 0.57 31,75 33,05 64,8
7 0.40 0.57 31 33.9 64.9 7 0.43 0.56 31,75 33,1 64,9
8 0.41 0.57 31.35 33.95 65.3 8 0.43 0.56 31,75 33,1 64,9
9 0.41 0.58 31.25 34.45 65.7 9 0.43 0.56 31,75 33,1 64,9
10 0.41 0.57 31.25 33.95 65.2 10 0.43 0.56 31,75 33,1 64,9
11 0.41 0.57 31.25 33.55 64.8
12 0.41 0.57 31.25 33.55 64.8

Lantul Markov neergodic

k Psb Psr Csb Csr C k Psb Psr Csb Csr C
1 0,15 0,85 19,5 44,5 64 1 0,42 0,56 27,75 32,55 60,3
2 0,25 0,75 19,1 42,75 61,85 2 0,35 0,65 26,1 33,65 59,8
3 0,21 0,78 14,7 45,2 59,9 3 0,31 0,68 22,45 39,8 62,3
4 0,24 0,76 18,15 42,35 60,5 4 0,29 0,71 21,45 40,2 61,7
5 0,22 0,78 15,95 43,65 59,6 5 0,29 0,72 21,25 41,2 62,5
6 0,24 0,76 18,05 43,8 61,85 6 0,28 0,73 20,35 40,95 61,3
7 0,23 0,77 16,95 43,35 60,3 7 0,27 0,74 19,95 42,05 62
8 0,24 0,75 17,65 42,1 59,75 8 0,26 0,73 18,95 40,8 59,8
9 0,24 0,76 17,6 42,6 60,2 9 0,26 0,74 19,35 41,7 61,1
10 0,24 0,76 17,65 42,1 59,75 10 0,25 0,74 18,35 41,7 60,1
11 0,25 0,75 18,35 42,6 60,95 11 0,25 0,74 18,35 41,7 60,1
12 0,25 0,75 18,35 42,6 60,95

5 Graficile varierii probabilitatilor de stare

Graficul P S B a lantului Markov ergodic. Graficul P S B a lantului Markov
neergodic.
 0,6 0,6

0,5 0,5

0,4 0,4
Psb

Psb
0,3 0,3

0,2 0,2

0,1 0,1

0 0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13

k k

Psb1 Psb2 Psb1 Psb2

Graficul P S R a lantului Markov ergodic. Graficul P S R a lantului Markov neergodic.

0,8 0,9

0,7 0,8
0,7
0,6
0,6
0,5
0,5
Psr

0,4

Psr
0,4
0,3
0,3
0,2
0,2
0,1
0,1
0
0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13

k k

Psr1 Psr2
Psr1 Psr2

Graficul C S B a lantului Markov ergodic. Graficul C S B a lantului Markov

neergodic.
34 28
33 27
32 26
31 25
30 24
23
29
22
28
Csb

Csb

21
27 20
26 19
25 18
24 17
23 16
22 15
21 14
0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13

k k

Csb1 Csb2 Csb1 Csb2

Graficul C S R a lantului Markov ergodic. Graficul C S R a lantului Markov

neergodic.
45 45
44 44
43 43
42 42
41 41
40 40
39 39
Csr

Csr

38 38
37 37
36 36
35 35
34 34
33 33
32
32
0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13

k k

Csr1 Csr2
Csr1 Csr2

Graficul C a lantului Markov ergodic. Graficul C a lantului Markov neergodic.

 65
68

67 64

66 63
C

65 62

C
64 61

63 60

62 59
0 1 2 3 4 5 6 7 8 9 10 11 12 13 0 1 2 3 4 5 6 7 8 9 10 11 12 13

k
k
C C
C C

6 Concluzii: In cadrul acestei lucrari de laborator am studiat metodele de redare,

descriere, analiza a proprietatilor de comportare ale lanturilor Markov timp discret si
evaluare a caracteristicilor numerice de performanta. Am introdus datele despre graf in
programul QM si am primit probabilitatile a ficarui virf in fiacre moment de timp k.
Am calculat probabilitatile de aflare in starea buna\rea si vectorii de recompense a
starilor bune\rele si am creat graficile acestora. Am studiat lanturile Markov timp
discret ergodic si neergodic.