Ministerul Educaţiei, Culturii și Cercetării al Republicii

Moldova
Universitatea Tehnică a Moldovei
Departamentul Informatica și Ingenieria Sistemelor

RAPORT
Lucrarea de laborator nr.1
la disciplina
Metode si modele de calcul
Tema: „Lanțuri Markov in timp discret”

A efectuat:
st. gr. C-171 V.Ciubotaru

A verificat:
lect.univ., A.Bița-Țurcan
Chișinău-2018
 Noțiuni teoretice:
Un lanţ Markov în timp discret este totalmente determinat de distribuţia iniţială şi
matricea sa stochastică R(1), notată simplu R şi numită matrice de probabilităţi de trecere ale
lanţului: rij=Pr(Xn+1 =j / Xn =i). Astfel, pentru orice n>0 : R(n)=Rn . Dacă ne vom interesa
de un regim tranzitoriu, atunci ne vom folosi de relaţia [1,8,9]: π (n +1) = π (n)⋅ Rsau n π (n) =
π (0)⋅ R ceea ce redau ecuaţiile lui Kolmogorov, care descriu comportarea unui lanţ DLM.
Teorema următoare dă posibilitate de a determina un criteriu de ergodicitate pentru lanţurile
DLM . Orice lanţ DLM omogen, aperiodic cu un spaţiu finit de stări discrete şi ireductibil este
un lanţ ergodic. Distribuţia limită π a probabilităţilor de stare este independentă de distribuţia
iniţială: πi =1/E[ξii] este mărimea inversă a duratei medii de recurenţă în starea i. Ea este
unica soluţie a sistemului de ecuaţii Kolmogorov: ,∑ 1. ∈Ω = ∗ = i π π R π i (1.5) Distribuţia
probabilităţilor de stare care verifică π r =π r *R este numită staţionară, deoarece pentru orice
n este verificată relaţia π r *Rn=π r .R.Rn-1=π r . Deci dacă o distribuţie π r este staţionară,
atunci pentru orice moment de timp n are loc relaţia : Pr(Xn =i)=πi , i =1,| Ω | , care dă
posibilitatea de a facilita studiul comportării a unui astfel de lant.
Stările unui lanţ Markov sunt clasificate în conformitate cu modul cum ele sunt "vizitate" în
cursul timpului funcţionării lanţului. Prima clasificare este fondată pe momentele de
reîntoarcere în starea dată. Notăm ξ i momentul de a i-mă schimbare de stare, iar ξ ij = min{τ
/τ >ξ i ∧ Xτ =j /X0=i} momentul primei treceri în starea j din starea i. 11 Definiţia 1.3. O stare
i este: a) tranzitorie dacă Pr(ξii <∞)0, atunci starea i este numită periodică de perioada δ, dacă
δ>1, şi aperiodică dacă δ=1. Fără a menţiona contrariul, în continuare vom folosi lanţuri
Markov în timp discret aperiodice, adică stările căruia sunt toate stări aperiodice. A doua
clasificare este fondată pe mulţimea trecerilor dintr-o stare în alta. Astfel, subansamblul de
stări este numit închis dacă: ∀i∈Ω′ ∃τ > r τ ≠ ⇒ j ∈Ω′ ij , 0, ( ) 0 adică este imposibil de a
părăsi. Fie E o relaţie în Ω: iEj dacă şi numai dacă lanţul poate trece din i la j şi invers, adică
dacă există cel puţin un τ≥0 astfel că rij(τ)>0 şi un astfel că , ceea ce determină o relaţie de
echivalenţă E, adică fiecare clasă constituie un ansamblu de stări astfel încât din fiecare se
poate, pe parcursul timpului, să se atingă toate alte stări ale acestei clase. Definiţia 1.4. O stare
i este absorbantă dacă ea este singurul element din clasa sa de echivalenţă E şi că această clasă
este închisă. Un lanţ Markov este ireductibil dacă ansamblul de stări Ω formează o singură
clasă de echivalenţă E. Asfel, îndată ce un lanţ atinge o stare absorbantă, acolo pentru
totdeauna el şi va rămâne. Legătura între aceste două clasificări este dată de faptul că toate
stările unei clase de echivalenţă pentru E sunt de acelaşi tip, adică tranzitorii, recurent - nule
sau recurent - nenule. Pentru un lanţ Markov în timp discret ele, de asemenea, toate sunt
aperiodice sau periodice de aceeaşi perioadă 12 Restricţia unui lanţ la o clasă de echivalenţă E
închisă duce la un lanţ ireductibil. Din aceste considerente, în afara unei menţiuni explicite, în
continuare ne vom restrânge la lanţuri ireductibile.
Lanţul aleator de timp Marcov este un şir de variabile aleatoare , care satisface condiţia
lui Marcov şi anume: probabillitatea sistemului că sistemul discret la momentul (k+1) (
deseori numită şi epocă sau petioadă), să se găsească în starea discretă (ik+1), condiţia de
faptul că sistema s-a găsit respectiv la momentele 1,2,....,k-1,k în stările i1,i2,....,ik, nu depinde
de ultima stare, adică
Pr ( x k 1  i k 1 / x k  i k , x k 1  i k 1 ,..., x1  i1 )  Rr ( x k 1  i1 / x k  i k ).
Probabilitatea că sistemul va fi în starea i la momentul k , o vom nota:
 i (k )  Pr( x k  i )
n
0   i (k )  1,   i (k )  1
i 1

Probabilitatea că sistemul va trece în starea j la momentul (k+1), ştiind că momentul precedent k

el se afla în starea i, adică probabilitatea condiţionată
n
 i (k  1)    i (k ) Pn , j  1,....., n; k  0,1,2...
i 1

Poartă numele de probabilitate de trecere.

Un lanţ Marcov este complet determinat dacă cunoaştem: mulţimea stărilor discrete S={s i, i=1,n},
vectorul-linie al probabilităţilor de stare iniţială π(0) şi matricea stochastică a probabilităţilor de
trecere:
n
( Pi , j )(i, j  1,.., n),0  Pi , j  1,  Pi , j  1
i 1

Relaţia prin care determinăm probabilităţile de stare la momentul (k+1)cu ajutorul probabilităţilor
de trecere şi a vectorului de stare corespunzător momentului k, este descrisă de ecuaţia
Kolmogorov [9]:
n
 i (k  1)    i (k ) p n , j  1,..., n; k  0,1,2,...
i 1

Dacă la fiecare stare j se va ataşa o funcţie const cj(k) de aflare a lanţului DLM în această stare ,
atunci costul madiu c(k) de funcţionare a lanţului este:
n
C (k )   [c i *  i (k )]
i 1

În continuare va fi prezentat lanţul Marcov , care este u graf cu 12 noduri. Pentru Lanţul Marcov
dat trebuie de calculate cu ajutorul pachetului de programe QM probabilitatea πSb(k) şi costul mediu
CSb(k) de aflare a lanţului DLM la momentul k într-o submulţime de stări Sb  S , astfel încît
Sb  SR , Sb  SR  Ø.
n n
În acest caz  Sb (k )    (k ), iarC
S SBi
i Sb ( k )  [c *  (k )]
Si  S B
i i

Unde k este numărătorul perioadelor , π probabilitatea că sistemul la momentul de timp k se află în

starea Sb iar C este mediul lanţului dat într-o submulţime de stări.

Scopul lucrări:
Studierea metodelor de redare, descriere, şi analiză a proprietăţilor de
comportare ale lanţurilor Marcov timp discret şi a caracteristicilor
numerice de performanţă.
 8

6 9
1

7 10
Tabel 1
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0.2 0 0.05 0.04 0.04 0.03 0.03 0.03 0.03 0.03 0.03 20
2 0 0.06 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 40
3 0.3 0.12 0.06 0.1 0.15 0.13 0.11 0.12 0.12 0.12 0.12 -60
4 0.3 0.09 0.08 0.07 0.09 0.1 0.09 0.08 0.09 0.09 0.09 80
5 0 0.17 0.1 0.05 0.07 0.09 0.09 0.08 0.08 0.08 0.08 100
6 0 0.23 0.13 0.08 0.08 0.1 0.1 0.1 0.1 0.1 0.1 -20
7 0 0.07 0.19 0.19 0.18 0.17 0.17 0.17 0.17 0.17 0.17 50
8 0.2 0.15 0.09 0.08 0.08 0.09 0.09 0.09 0.09 0.09 0.09 70
9 0 0.05 0.11 0.08 0.14 0.13 0.15 0.15 0.15 0.15 0.15 80
10 0 0.05 0.14 0.19 0.14 0.13 0.14 0.15 0.15 0.15 0.15 -60
Psb1 0.2 0.25 0.34 0.35 0.36 0.35 0.38 0.39 0.39 0.39 0.39
Psr1 0.8 0.74 0.65 0.64 0.64 0.65 0.62 0.61 0.61 0.61 0.61
Csb1 14 11.5 6.7 0.6 8.4 7.2 9.9 9.3 9.3 9.3 9.3
Csr1 10 18.3 20.7 14.5 14.6 17.5 17.9 15.5 15.5 15.5 15.5
Cs1 24 29.8 27.4 15.1 23 24.7 27.8 24.8 24.8 24.8 24.8
Tabel 2
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0 0 0.04 0.04 0.03 0.03 0.03 0.03 0.03 0.03 0.03 20
2 0 0 0.02 0.03 0.03 0.03 0.03 0.03 0.03 0.03 0.03 40
3 0.2 0.16 0.09 0.14 0.13 0.11 0.12 0.12 0.12 0.12 0.12 -60
4 0 0.06 0.08 0.07 0.1 0.09 0.08 0.08 0.08 0.08 0.08 80
5 0.3 0.08 0.07 0.07 0.09 0.09 0.08 0.08 0.08 0.08 0.08 100
6 0.3 0.04 0.08 0.09 0.1 0.1 0.1 0.1 0.1 0.1 0.1 -20
7 0 0.23 0.14 0.18 0.17 0.18 0.17 0.17 0.17 0.17 0.17 50
8 0 0.1 0.09 0.1 0.08 0.09 0.09 0.09 0.09 0.09 0.09 70
9 0 0.21 0.18 0.14 0.14 0.15 0.15 0.15 0.15 0.15 0.15 80
10 0.2 0.12 0.2 0.16 0.13 0.14 0.15 0.15 0.15 0.15 0.15 -60
Psb2 0.2 0.43 0.47 0.4 0.35 0.36 0.39 0.39 0.39 0.39 0.39
Psr2 0.8 0.57 0.52 0.61 0.65 0.62 0.61 0.61 0.61 0.61 0.61
Csb2 -12 16.6 8.7 8.6 9 6.9 9.3 9.3 9.3 9.3 9.3
Csr2 22.8 13.9 15 13.9 17.5 18.4 15.5 15.5 15.5 15.5 15.5
Cs2 10.8 30.5 23.7 22.5 26.5 25.3 24.7 24.7 24.7 24.7 24.7
Tabel 3
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0.2 0 0 0 0 0 0 0 0 0 0 20
2 0 0 0.02 0 0 0 0 0 0 0 0 40
3 0.3 0.06 0.02 0.02 0.04 0.01 0.02 0.02 0.02 0.02 0.02 -60
4 0.3 0.12 0.01 0.07 0.04 0.06 0.07 0.05 0.05 0.05 0.05 80
5 0 0.06 0.19 0.15 0.14 0.12 0.12 0.12 0.12 0.12 0.12 100
6 0 0.29 0.49 0.5 0.49 0.5 0.49 0.49 0.49 0.49 0.49 -20
7 0 0.27 0.19 0.17 0.17 0.17 0.17 0.17 0.17 0.17 0.17 50
8 0.2 0.1 0.04 0.07 0.08 0.09 0.08 0.09 0.09 0.09 0.09 70
9 0 0.05 0.01 0.01 0.02 0.02 0.02 0.02 0.02 0.02 0.02 80
10 0 0.05 0.03 0.01 0.02 0.03 0.03 0.04 0.04 0.04 0.04 -60
Psb1 0.2 0.2 0.08 0.09 0.12 0.14 0.13 0.15 0.15 0.15 0.15
Psr1 0.8 0.8 0.92 0.91 0.88 0.86 0.87 0.85 0.85 0.85 0.85
Csb1 14 8 1.8 5.1 6 6.1 5.4 5.5 5.5 5.5 5.5
Csr1 10 19.7 19.1 17.9 13.5 14.7 15.1 13.5 13.5 13.5 13.5
Cs1 24 27.7 20.9 23 19.5 20.8 20.5 19 19 19 19
Tabel 4
0 1 2 3 4 5 6 7 8 9 10 Ci
1 0 0 0 0 0 0 0 0 0 0 0 20
2 0 0 0 0 0 0 0 0 0 0 0 40
3 0.2 0.08 0.08 0.09 0.09 0.09 0.1 0.1 0.1 0.1 0.1 -60
4 0 0.06 0.12 0.13 0.14 0.13 0.13 0.13 0.13 0.13 0.13 80
5 0.3 0.25 0.16 0.12 0.1 0.1 0.1 0.1 0.1 0.1 0.1 100
6 0.3 0.34 0.41 0.44 0.42 0.41 0.41 0.41 0.41 0.41 0.41 -20
7 0 0.19 0.18 0.14 0.14 0.14 0.14 0.14 0.14 0.14 0.14 50
8 0 0.04 0.03 0.06 0.07 0.07 0.07 0.07 0.07 0.07 0.07 70
9 0 0 0.01 0.01 0.02 0.02 0.02 0.02 0.02 0.02 0.02 80
10 0.2 0 0.01 0.01 0.02 0.03 0.03 0.03 0.03 0.03 0.03 -60
Psb2 0.2 0.04 0.05 0.08 0.11 0.12 0.12 0.12 0.12 0.12 0.12
Psr2 0.8 0.96 0.95 0.92 0.89 0.87 0.88 0.88 0.88 0.88 0.88
Csb2 -12 2.8 2.3 4.4 5.3 4.7 4.7 4.7 4.7 4.7 4.7
Csr2 12 25.7 21.6 15.2 14.4 13.8 13.8 13.8 13.8 13.8 13.8
Cs2 0 28.5 23.9 19.6 19.7 18.5 18.5 18.5 18.5 18.5 18.5
 0.5 0.9
0.45 0.8
0.4 0.7
0.35
0.6
0.3
0.5
0.25
0.4
0.2
0.3
0.15
0.1 0.2

0.05 0.1
0 0
1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11
Psb1 0.2 0.25 0.34 0.35 0.36 0.35 0.38 0.39 0.39 0.39 0.39 Psr1 0.8 0.74 0.65 0.64 0.64 0.65 0.62 0.61 0.61 0.61 0.61
Psb2 0.2 0.43 0.47 0.4 0.35 0.36 0.39 0.39 0.39 0.39 0.39 Psr2 0.8 0.57 0.52 0.61 0.65 0.62 0.61 0.61 0.61 0.61 0.61

20 25

15
20
10
15
5

0
10
-5
5
-10

-15 0
1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11
Csb1 14 11.5 6.7 0.6 8.4 7.2 9.9 9.3 9.3 9.3 9.3 Csr1 10 18.3 20.7 14.5 14.6 17.5 17.9 15.5 15.5 15.5 15.5
Csb2 -12 2.8 2.3 4.4 5.3 4.7 4.7 4.7 4.7 4.7 4.7 Csr2 22.8 13.9 15 13.9 17.5 18.4 15.5 15.5 15.5 15.5 15.5
0.25 1

0.95
0.2

0.9
0.15
0.85
0.1
0.8

0.05
0.75

0 0.7
1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11
Psb1 0.2 0.2 0.08 0.09 0.12 0.14 0.13 0.15 0.15 0.15 0.15 Psr1 0.8 0.8 0.92 0.91 0.88 0.86 0.87 0.85 0.85 0.85 0.85
Psb2 0.2 0.04 0.05 0.08 0.11 0.12 0.12 0.12 0.12 0.12 0.12 Psr2 0.8 0.96 0.95 0.92 0.89 0.87 0.88 0.88 0.88 0.88 0.88

20 30

15 25

10
20
5
15
0
10
-5

-10 5

-15 0
1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11
Csb1 14 8 1.8 5.1 6 6.1 5.4 5.5 5.5 5.5 5.5 Csr1 10 19.7 19.1 17.9 13.5 14.7 15.1 13.5 13.5 13.5 13.5
Csb2 -12 2.8 2.3 4.4 5.3 4.7 4.7 4.7 4.7 4.7 4.7 Csr2 12 25.7 21.6 15.2 14.4 13.8 13.8 13.8 13.8 13.8 13.8
35

30

25

20

15

10

0
1 2 3 4 5 6 7 8 9 10 11
Cs1 24 29.8 27.4 15.1 23 24.7 27.8 24.8 24.8 24.8 24.8
Cs2 10.8 30.5 23.7 22.5 26.5 25.3 24.7 24.7 24.7 24.7 24.7

30

25

20

15

10

0
1 2 3 4 5 6 7 8 9 10 11
Cs1 24 27.7 20.9 23 19.5 20.8 20.5 19 19 19 19
Cs2 0 28.5 23.9 19.6 19.7 18.5 18.5 18.5 18.5 18.5 18.5
 Concluzie:
Efectuând acestă lucrare de laborator am făcut cunoştinţă cu studiul lanţurilor
Markov discrete în timp şi evaluarea caracteristicilor de performanţă. Am văzut
diferența dintre lanțul Markov în timp discret: ergodic și neergodic cu intrările
externe de bază într-un caz, iar în alt caz cu intrările modificate peste 2 poziții în
cadrul grafului.