Scopul lucrării:

Studierea metodelor de redare, descriere, şi analiză a proprietăţilor

de comportare ale lanţurilor Marcov timp discret şi a caracteristicilor
numerice de performanţă.

Consideraţii Teoretice:
Lanţul aleator de timp Marcov este un şir de variabile aleatoare , care satisface
condiţia lui Marcov şi anume: probabillitatea sistemului că sistemul discret la
momentul (k+1) ( deseori numită şi epocă sau petioadă), să se găsească în starea
discretă (ik+1), condiţia de faptul că sistema s-a găsit respectiv la momentele
1,2,....,k-1,k în stările i1,i2,....,ik, nu depinde de ultima stare, adică
Pr ( x k 1  i k 1 / x k  i k , x k 1  i k 1 ,..., x1  i1 )  Rr ( x k 1  i1 / x k  i k ).
Probabilitatea că sistemul va fi în starea i la momentul k , o vom nota:
 i (k )  Pr( x k  i )
n
0   i (k )  1,   i (k )  1
i 1
Probabilitatea că sistemul va trece în starea j la momentul (k+1), ştiind că momentul
precedent k el se afla în starea i, adică probabilitatea condiţionată
n
 i (k  1)    i ( k ) Pn , j  1,....., n; k  0,1,2...
i 1
Poartă numele de probabilitate de trecere.
Un lanţ Marcov este complet determinat dacă cunoaştem: mulţimea stărilor discrete
S={si, i=1,n}, vectorul-linie al probabilităţilor de stare iniţială π(0) şi matricea
stochastică a probabilităţilor de trecere:
n
( Pi , j )(i, j  1,.., n),0  Pi , j  1,  Pi , j  1
i 1
Relaţia prin care determinăm probabilităţile de stare la momentul (k+1)cu ajutorul
probabilităţilor de trecere şi a vectorului de stare corespunzător momentului k, este
descrisă de ecuaţia Kolmogorov [9]:
n
 i (k  1)    i (k ) p n , j  1,..., n; k  0,1,2,...
i 1
Dacă la fiecare stare j se va ataşa o funcţie const c j(k) de aflare a lanţului DLM în
această stare , atunci costul madiu c(k) de funcţionare a lanţului este:
n
C (k )   [c i *  i (k )]
i 1
În continuare va fi prezentat lanţul Marcov , care este u graf cu 12 noduri. Pentru
Lanţul Marcov dat trebuie de calculate cu ajutorul pachetului de programe QM
probabilitatea πSb(k) şi costul mediu CSb(k) de aflare a lanţului DLM la momentul k
într-o submulţime de stări Sb  S , astfel încît Sb  S R , Sb  S R  Ø.
n n

În acest caz  Sb (k )  
S SBi
 i (k ), iarC Sb (k )  [c *  (k )]
Si  S B
i i

Unde k este numărătorul perioadelor , π probabilitatea că sistemul la momentul de

timp k se află în starea Sb iar C este mediul lanţului dat într-o submulţime de stări.

Lanțul markovian ergodic

În cadrul figurii 1 este reprezentat grafic lanțul markovian ergodic, stările
acestui lanț au fost împărțite în stări bune și rele, acestea fiind reprezentate prin
 cerculețe, de culoare roz cele din starea bună și de culoare albastru cele de starea
rea.

0,4,0.4

0.3 0.1
0.1
0.15
0.3 0.3
22 0.1 0.2 55 0.2 88
0.3 0.1
0.1 0.1
0.15 0.2 0.4 0.1 0.3
0.1
0.1
0.3
0.1
0.4 11
0.1 0.3 0.1
0.1 0.3 0.5
0.1
1
0.2 0.2 0.2
11 33 0.2 0.1 6 0.1 99
0.1 0.1 0.4
0.1 0.1 0.2
0.2 0.2 0.3 0.2

0.1 0.1 0.1 1

0.1
0.3 0.2 0.3 0.2 2
0.1 0.1 0.2 0.3
44 0.1 0.1
0.3 77 1
0.2 0.3
0.1
0.3
0

0.1 0.1

Figura 1. Reprezentarea grafică a lanțului markovian ergodic.

0.1
0.1

0.3 0.3
0.2
0.3 22 55 0.2 88
0.35 0.1
0.15 0.2 0.4 0.1 0.3
0.5

0.4 0.1
0.3 0.1 11 0.5
0.3
0.2 0.1 1
0.5 0.2
11 33 0.1 6 0.1 99
0.3 0.1 0.4
0.1 0.2
0.1 0.2 0.2 0.58

0.7 0.1
1
0.3 0.2 0.3
0.1 0.2
0.5 2
44 0.1 0.1
77 1
0.1
0.2 0.3 0.3 0
0.1 0.1

Figura 2. Reprezentarea grafică a lanțului markovian neergodic.

Tabelul 1. Probabilitătile LMD ergodic

0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,3 0,13 0,11 0,11 0,1 0,1 0,1 0,1 0,1 0,1 0,1 -180
2 0 0,15 0,15 0,11 0,1 0,09 0,09 0,09 0,09 0,09 0,09 -150
3 0 0,12 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 0,04 -130
4 0,1 0,05 0,1 0,08 0,08 0,08 0,08 0,08 0,08 0,08 0,08 -90
5 0,4 0,02 0,06 0,06 0,05 0,06 0,06 0,06 0,06 0,06 0,06 -60
6 0 0,23 0,1 0,13 0,12 0,13 0,13 0,13 0,13 0,13 0,13 50
7 0 0,03 0,8 0,08 0,09 0,09 0,09 0,09 0,09 0,09 0,09 120
8 0,1 0,11 0,13 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 135
9 0 0,02 0,05 0,05 0,06 0,05 0,06 0,06 0,06 0,06 0,06 150
10 0 0,04 0,04 0,06 0,07 0,07 0,07 0,07 0,07 0,07 0,07 160
11 0 0,05 0,07 0,08 0,08 0,08 0,08 0,08 0,08 0,08 0,08 175
12 0,1 0,05 0,06 0,09 0,1 0,1 0,1 0,1 0,1 0,1 0,1 180
Psr 0,5 0,55 1,7 0,51 0,5 0,49 0,49 0,49 0,49 0,49 0,49
Psb 0,5 0,45 2,62 0,49 0,5 0,51 0,51 0,51 0,51 0,51 0,51
Csb -10,5 38,15 128,85 44,45 48,85 47,25 52,35 52,35 52,35 52,35 52,35
Csr -45 -48,25 -33,45 -18,5 -13,4 -11,9 -11,9 -11,9 -11,9 -11,9 -11,9
C -55,5 -10,1 95,4 25,95 35,45 35,35 40,45 40,45 40,45 40,45 40,45
Tabelul 2. Probabilitățile LMD ergodic (cu intrările modificate).
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0 0,08 0,08 0,09 0,09 0,09 0,09 0,1 0,1 0,1 0,1 -180
2 0 0,03 0,09 0,08 0,09 0,09 0,09 0,009 0,09 0,09 0,09 -150
3 0,1 0,03 0,05 0,03 0,04 0,04 0,04 0,04 0,04 0,04 0,04 -130
4 0,3 0,03 0,07 0,08 0,07 0,08 0,08 0,08 0,08 0,08 0,08 -90
5 0 0,09 0,03 0,06 0,06 0,05 0,06 0,06 0,06 0,06 0,06 -60
6 0 0,2 0,11 0,13 0,13 0,13 0,13 0,13 0,13 0,13 0,13 50
7 0,1 0,1 0,09 0,09 0,1 0,09 0,09 0,09 0,09 0,09 0,09 120
8 0,4 0,04 0,13 0,11 0,11 0,11 0,11 0,11 0,11 0,11 0,11 135
9 0 0,1 0,07 0,05 0,06 0,05 0,06 0,06 0,06 0,06 0,06 150
10 0 0,05 0,09 0,09 0,07 0,08 0,07 0,07 0,07 0,07 0,07 160
11 0,1 0,14 0,06 0,09 0,08 0,08 0,08 0,08 0,08 0,08 0,08 175
12 0 0,4 0,12 0,09 0,1 0,09 0,1 0,1 0,1 0,1 0,1 180
Psr 0,4 0,71 0,45 0,46 0,47 0,47 0,48 0,48 0,48 0,48 0,48
Psb 0,5 0,58 0,39 0,53 0,53 0,51 0,52 0,52 0,52 0,52 0,52
Csb 66 45 56,95 50,45 49,95 49,45 48,75 48,75 48,75 48,75 48,75
Csr -22,5 58 -8,6 -7,35 -9,2 -11,9 -10,1 -10,1 -10,1 -10,1 -10,1
C 43,5 103 48,35 43,1 40,75 37,55 38,65 38,65 38,65 38,65 38,65
 Tabelul 3. Probabilitătile LMD neergodic.
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0,3 0,12 0,18 0,21 0,19 0,2 0,2 0,2 0,2 0,2 0,2 -180
2 0 0,15 0,14 0,09 0,08 0,07 0,07 0,06 0,06 0,06 0,06 -150
3 0 0,11 0,03 0,02 0,03 0,02 0,02 0,02 0,02 0,02 0,02 -130
4 0 0,08 0,13 0,11 0,13 0,14 0,14 0,14 0,14 0,14 0,14 -90
5 0,4 0,02 0,01 0,02 0,01 0 0 0 0 0 0 -60
6 0 0,19 0,02 0,04 0,02 0,01 0,01 0 0 0 0 50
7 0 0 0,04 0,02 0,02 0,01 0,01 0 0 0 0 120
8 0,1 0,04 0,06 0,01 0,01 0,01 0 0 0 0 0 135
9 0 0,01 0,02 0,01 0 0 0 0 0 0 0 150
10 0 0,01 0,01 0,02 0,01 0 0 0 0 0 0 160
11 0 0,08 0,15 0,19 0,21 0,24 0,24 0,25 0,25 0,26 0,26 175
12 0,1 0,09 0,1 0,16 0,19 0,19 0,21 0,21 0,21 0,22 0,22 180
Psr 0,4 0,63 0,73 0,78 0,83 0,86 0,88 0,88 0,88 0,9 0,9
Psb 0,5 0,27 0,16 0,12 0,07 0,03 0,02 0 0 0 0
Csb -10,5 16,8 17,9 9,25 5,75 3,05 1,7 0 0 0 0
Csr -36 -35,4 -24,75 -1,75 9,15 14,5 18,1 21,35 21,35 24,9 24,9
C -46,5 -18,6 -6,85 7,5 14,9 17,55 19,8 21,35 21,35 24,9 24,9
Tabelul 4. Probabilitățile LMD neergodic (cu intrările modificate).
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0 0,26 0,13 0,18 0,2 0,19 0,2 0,2 0,2 0,2 0,2 -180
2 0 0,06 0,09 0,08 0,07 0,07 0,06 0,06 0,06 0,06 0,06 -150
3 0,1 0 0,05 0,02 0,02 0,02 0,02 0,02 0,02 0,02 0,02 -130
4 0,3 0,02 0,1 0,14 0,12 0,14 0,14 0,14 0,14 0,14 0,14 -90
5 0 0,08 0,01 0,01 0,01 0 0 0 0 0 0 -60
6 0 0,12 0,04 0,04 0,02 0,01 0,01 0 0 0 0 50
7 0 0 0,04 0,02 0,01 0,01 0,01 0 0 0 0 120
8 0,4 0 0,04 0,02 0,01 0,01 0 0 0 0 0 135
9 0 0,04 0,01 0,01 0 0 0 0 0 0 0 150
10 0 0,04 0,02 0,01 0,01 0 0 0 0 0 0 160
11 0,1 0,17 0,16 0,22 0,22 0,24 0,24 0,25 0,25 0,26 0,26 175
12 0 0,11 0,19 0,15 0,2 0,2 0,21 0,21 0,21 0,22 0,22 180
Psr 0,5 0,62 0,72 0,79 0,83 0,86 0,93 0,88 0,88 0,9 0,9
Psb 0,4 0,28 0,16 0,11 0,06 0,03 0,02 0 0 0 0
Csb 54 13,6 16,3 9,6 3,55 3,05 1,7 0 0 0 0
Csr -22,5 -8,05 9,8 5,9 14,6 18,1 19,6 21,35 21,35 24,9 24,9
C 31,5 5,55 26,1 15,5 18,15 21,15 21,3 21,35 21,35 24,9 24,9
Concluzie: Efectuînd această lucrare de laborator am făcut cunoştinţă cu
studiul lanţurilor Markov discrete în timp şi evaluarea caracteristicilor de
performanţă.

Ministerul Învațămîntului,Tineretului și Sportului al

Republicii Moldova
Universitatea Tehnică a Moldovei
Facultatea Calculatoare, Informatică și Microelectronică
Catedra Tehnologii Informaționale

RAPORT
despre lucrarea de laborator
la Procese Stochastice

Tema: „Lanțuri Markov in timp discret”

Elaborat de: Tatiana

Rotundu,
Studenta a gr.TI-
121 F/R FCIM

Verificat de: Diana Palii,

lector
universitar al FCIM
Chișinău, 2014