Universitatea Tehnica a Moldovei

Catedra Automatică și Tehnologii Informaționale

Raport
despre lucrarea de laborator nr.1

la disciplina Procese Stochastice

Tema: Lanțuri Markov timp discret

A îndeplinit: st.gr.TI-112 Nicuța Dragoș

A controlat: lector universitar Chirilă Sergiu

Chișinău - 2012
Scopul lucrării: Studiere metodelor de redare, descriere, analiză a proprietăților de
comportare Markov timp discret și evaluare a caracteristilor numerice de performanță.

Referințe teoretice: Un proces stochastic markovian omogen definit în spațiu de stări discrete
și în timp discret se numește lanț Markov timp discret.

 Lanț Markov timp discret este definit dacă cunoaștem mulțimea stărilor: { ̅̅̅̅̅}
| | și dacă cunoaștem matricea stochastică: ( )( ̅̅̅̅̅ ̅̅̅̅̅) ̅̅̅̅̅
unde k este perioada/pasul ce reprezintă durata de aflare în starea Si și dacă această durată
este mai mare de o unitate de timp, atunci starea respectivă se numește instabilă.

 La scurgerea unei unități de timp sistemul va trece dintr-o stare în alta și se spune că se
declanșează un selector probabilistic, care este definit prin următoarea relație:

Fiecărei stări Si se pune în corespondență un vector de recompensă a sistemului Ci.

 Lanț Markov timp discret poate fi reprezentat fie în baza unui graf orientat, ponderat, sau în
baza unei matrici stochastice. Caracteristicele numerice de performanță a lanțului Markov
sunt redate prin intermediul:

- Probabilității de aflare-n starea SB (starea bună):

( ) ∑ ( )

- Probabilitatea de aflare-n starea SR (starea rea):

( ) ∑ ( )

- Recompensa stării bune:

( ) ∑ ( ) ( )

- Recompensa stării rele:

( ) ∑ ( ) ( )

- Recompensa sistemului:
( ) ( ) ( )
Graful Ergodic pentru LMD:

0,
4 0,2

0,3
2 0,3 3
1 0,4
0 , ,2 0,
2

0,
0,

0
1

5
0,2
0,2
0,2

1 4

0,
3
0, ,2 1

0,1

0, ,3
3
0,
5

0
0,3

2
0,

10 0,
6 5

0,1
0,1

0,4
0,1

2
0,1

0,
0,

0,1,2
3
0,
2
0,

0
2

0 ,1

9 0,4
0,1
6
0
0,2

4 0, 1 , 3 7
0, 3
0,
0,
0,
3
8 0,1
0,1
7
0,2

0,5

(Fig.1) LMD Ergodic

Graful Neergodic pentru LMD:

0,
4 0,2

0,3
2 0,3 3
1 0,4
0, 0,
2
0,
1

0,2
0,2

1 4

0,
5
0, ,4 1

0,6

0, ,4
3
0,

0
0,5

2
0

10 0,
6 0,2 5

0,4
0,6
0,1
0,

0,8,4
3
0,
2

0
0 ,1

9 0,4 6
0
0,2

4 0, 1 , 3
0,
0,
3
0,
3
8 0,1
0,1
7
0,2

0,5

(Fig.2) LMD Neergodic

Determinarea matricelor stochastice a LMD în formă de tabel:

Tabelul nr.1: Probabilitățile pentru Lanțul Markov ergodic (nemodificat)

Si 0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,10 0,07 0,03 0,04 0,03 0,03 0,03 0,03 0,03 0,03 0,03 10
2 0,00 0,02 0,10 0,08 0,06 0,07 0,07 0,07 0,07 0,07 0,07 20
3 0,00 0,12 0,21 0,11 0,16 0,13 0,14 0,14 0,14 0,14 0,14 30
4 0,20 0,24 0,03 0,16 0,10 0,12 0,12 0,12 0,12 0,12 0,12 40
5 0,00 0,12 0,18 0,16 0,17 0,16 0,16 0,16 0,16 0,16 0,16 50
6 0,30 0,02 0,13 0,06 0,09 0,08 0,09 0,08 0,08 0,08 0,08 60
7 0,00 0,23 0,07 0,14 0,11 0,12 0,11 0,12 0,12 0,12 0,12 70
8 0,00 0,07 0,09 0,14 0,13 0,14 0,14 0,14 0,14 0,14 0,14 80
9 0,40 0,00 0,13 0,06 0,11 0,09 0,10 0,10 0,10 0,10 0,10 90
10 0,00 0,11 0,03 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 100
Psb 0,40 0,44 0,60 0,53 0,57 0,55 0,56 0,57 0,57 0,57 0,57
Psr 0,60 0,56 0,40 0,46 0,43 0,43 0,44 0,43 0,43 0,43 0,43
Csb 36,00 25,70 32,10 31,30 34,00 33,00 33,50 34,20 34,20 34,20 34,20
Csr 27,00 28,50 21,30 22,40 22,20 21,90 22,50 21,90 21,90 21,90 21,90
Cs 63,00 54,20 53,40 53,70 56,20 54,90 56,00 56,10 56,10 56,10 56,10

Tabelul nr.2: Probabilitățile pentru Lanțul Markov ergodic (modificat)

Si 0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,00 0,06 0,05 0,03 0,04 0,03 0,03 0,03 0,03 0,03 0,03 10
2 0,00 0,27 0,05 0,08 0,08 0,07 0,07 0,07 0,07 0,07 0,07 20
3 0,40 0,08 0,13 0,17 0,13 0,14 0,14 0,14 0,14 0,14 0,14 30
4 0,00 0,02 0,21 0,09 0,13 0,12 0,12 0,12 0,12 0,12 0,12 40
5 0,10 0,16 0,12 0,17 0,16 0,16 0,16 0,16 0,16 0,16 0,16 50
6 0,00 0,05 0,05 0,08 0,08 0,08 0,08 0,08 0,08 0,08 0,08 60
7 0,00 0,04 0,09 0,10 0,11 0,11 0,12 0,12 0,12 0,12 0,12 70
8 0,20 0,18 0,18 0,15 0,15 0,14 0,14 0,14 0,14 0,14 0,14 80
9 0,00 0,12 0,07 0,10 0,09 0,10 0,10 0,10 0,10 0,10 0,10 90
10 0,30 0,02 0,06 0,05 0,04 0,04 0,04 0,04 0,04 0,04 0,04 100
Psb 0,60 0,69 0,52 0,60 0,56 0,56 0,57 0,57 0,57 0,57 0,57
Psr 0,40 0,31 0,49 0,42 0,45 0,43 0,43 0,43 0,43 0,43 0,43
Csb 28,00 35,80 31,90 34,70 33,30 33,50 34,20 34,20 34,20 34,20 34,20
Csr 35,00 14,40 23,90 22,20 22,40 21,90 21,90 21,90 21,90 21,90 21,90
Cs 63,00 50,20 55,80 56,90 55,70 55,40 56,10 56,10 56,10 56,10 56,10
Tabelul nr.3: Probabilitățile pentru Lanțul Markov neergodic (nemodificat)
Si 0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,10 0,10 0,08 0,10 0,06 0,08 0,07 0,07 0,07 0,07 0,07 10
2 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 20
3 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 30
4 0,20 0,24 0,07 0,09 0,11 0,10 0,10 0,10 0,10 0,10 0,10 40
5 0,00 0,37 0,39 0,52 0,48 0,49 0,51 0,50 0,51 0,51 0,51 50
6 0,30 0,12 0,37 0,23 0,28 0,29 0,28 0,29 0,28 0,28 0,28 60
7 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 70
8 0,00 0,04 0,02 0,01 0,01 0,00 0,00 0,00 0,00 0,00 0,00 80
9 0,40 0,00 0,01 0,01 0,00 0,00 0,00 0,00 0,00 0,00 0,00 90
10 0,00 0,13 0,05 0,04 0,05 0,03 0,04 0,04 0,04 0,04 0,04 100
Psb 0,40 0,04 0,03 0,02 0,01 0,00 0,00 0,00 0,00 0,00 0,00
Psr 0,60 0,96 0,96 0,98 0,98 0,99 1,00 1,00 1,00 1,00 1,00
Csb 36,00 3,20 2,50 1,70 0,80 0,00 0,00 0,00 0,00 0,00 0,00
Csr 27,00 49,30 50,30 48,40 50,80 49,70 51,00 51,10 51,00 51,00 51,00
Cs 63,00 52,50 52,80 50,10 51,60 49,70 51,00 51,10 51,00 51,00 51,00

Tabelul nr.4: Probabilitățile pentru Lanțul Markov neergodic (modificat)

Si 0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,00 0,12 0,07 0,06 0,08 0,07 0,08 0,07 0,07 0,07 0,07 10
2 0,00 0,12 0,02 0,02 0,01 0,00 0,00 0,00 0,00 0,00 0,00 20
3 0,40 0,08 0,06 0,02 0,01 0,01 0,00 0,00 0,00 0,00 0,00 30
4 0,00 0,02 0,12 0,11 0,10 0,11 0,10 0,10 0,10 0,10 0,10 40
5 0,10 0,16 0,33 0,31 0,42 0,44 0,46 0,48 0,49 0,50 0,50 50
6 0,00 0,22 0,09 0,26 0,23 0,26 0,27 0,27 0,28 0,28 0,28 60
7 0,00 0,02 0,02 0,01 0,01 0,01 0,00 0,00 0,00 0,00 0,00 70
8 0,20 0,18 0,14 0,09 0,06 0,04 0,02 0,01 0,01 0,01 0,00 80
9 0,00 0,06 0,06 0,05 0,03 0,02 0,01 0,01 0,01 0,00 0,00 90
10 0,30 0,02 0,09 0,06 0,05 0,05 0,04 0,04 0,04 0,04 0,04 100
Psb 0,60 0,46 0,30 0,19 0,12 0,08 0,03 0,02 0,02 0,01 0,00
Psr 0,40 0,54 0,70 0,80 0,88 0,93 0,95 0,96 0,98 0,99 0,99
Csb 28,00 26,00 20,20 13,40 8,70 6,00 2,50 1,70 1,70 0,80 0,00
Csr 35,00 25,20 36,40 42,10 44,60 47,70 48,00 48,90 50,00 50,50 50,50
Cs 63,00 51,20 56,60 55,50 53,30 53,70 50,50 50,60 51,70 51,30 50,50
Graficele dependențelor pentru tabelul nr.1 și nr.2

0,8

0,7

0,6

0,5

0,4 Psb1
Psb2
0,3

0,2

0,1

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.1) Graficul probabilităților pentru stările bune în dependență de momentul k

0,7

0,6

0,5

0,4
Psr1
0,3 Psr2

0,2

0,1

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.2) Graficul probabilităților pentru stările rele în dependență de momentul k

40

35

30

25

20 Csb1
Csb2
15

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.3) Graficul recompensei pentru stările bune în dependență de momentul k

40

35

30

25

20 Csr1
Csr2
15

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.4) Graficul recompensei pentru stările rele în dependență de momentul k

70

60

50

40
Cs1
30 Cs2

20

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.5) Graficul recompensei pentru sistem în dependență de momentul k

Graficele dependențelor pentru tabelul nr.3 și nr.4

0,7

0,6

0,5

0,4
Psb3
0,3 Psb4

0,2

0,1

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.6) Graficul probabilităților pentru stările bune în dependență de momentul k

1,2

0,8

0,6 Psr3
Psr4
0,4

0,2

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.7) Graficul probabilităților pentru stările rele în dependență de momentul k

40

35

30

25

20 Csb3
Csb4
15

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.8) Graficul recompensei pentru stările bune în dependență de momentul k

 60

50

40

30 Csr3
Csr4
20

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.9) Graficul recompensei pentru stările rele în dependență de momentul k

70

60

50

40
Cs3
30 Cs4

20

10

0
1 2 3 4 5 6 7 8 9 10 11

(Fig.10) Graficul recompensei pentru sistem în dependență de momentul k

Concluzie: În cadrul efectuării acestei lucrări de laborator am studiat metodele de redare,

descriere, analiză a proprietăților de comportare ale lanțurilor Markov timp discret și evaluare a
caracteristicilor numerice de performanță.
 Am introdus datele despre graf în programul QM și am primit probabilitățile a fiecărui vîrf
în fiecare moment de timp k.
 Am calculat probabilitățile de aflare în starea bună\rea și vectorii de recompense a stărilor
bune\rele și am creat graficile acestora.
 Am studiat lanțurile Markov timp discret ergodic și neergodic.