Ministerul Educaiei al Republicii Moldova

Universitatea Tehnic a Moldovei

Lucrare de laborator Nr1.

La Procese stochastice

Tema: Lanul Markov timp discret

A efectuat:

st. grupei TI-093

Overcenco Marin

A verificat:

Palii Diana

Chiinu 2010

Scopul lucrarii: Studierea metodelor de redare, descriere, analiza a

proprietatilor de comportare ale lanturilor Markov timp discret si evaluarea
caracteristicelor numerice de performanta.
Consideraii Teoretice: Lanul aleator de timp Markov este un ir de variabile
aleatoare, care satisface condiia lui Markov i anume: probabillitatea sistemului
c sistemul discret la momentul (k+1) (deseori numit i epoc sau perioad),
s se gseasc n starea discret (ik+1), condiia de faptul c sistemul s-a gsit,
respectiv, la momentele 1,2,....,k-1,k n strile i1,i2,....,ik, nu depinde de ultima stare,
adic
Pr ( x k 1 i k 1 / x k i k , x k 1 i k 1 ,..., x1 i1 ) Rr ( x k 1 i1 / x k i k ).

Probabilitatea c sistemul va fi n starea i la momentul k , o vom nota:

i ( k ) Pr( x k i )
n

0 i (k ) 1, i ( k ) 1
i 1

Probabilitatea c sistemul va trece n starea j la momentul (k+1), tiind c n momentul

precedent k el se afla n starea i, adic probabilitatea condiionat
n

i (k 1) i (k ) Pn , j 1,....., n; k 0,1,2...
i 1

poart numele de probabilitate de trecere.

Un lan Markov este complet determinat dac cunoatem: mulimea strilor
discrete S={si, i=1,n}, vectorul-linie al probabilitilor de stare iniial (0) i matricea
stochastic a probabilitilor de trecere:
n

( Pi , j )(i , j 1,.., n),0 Pi , j 1, Pi , j 1

i 1

Relaia prin care determinm probabilitile de stare la momentul (k+1) cu ajutorul

proba-bilitilor de trecere i a vectorului de stare corespunztor momentului k,
este descris de ecuaia Kolmogorov(9):
n

i (k 1) i (k ) p n , j 1,..., n; k 0,1,2,...
i 1

Dac la fiecare stare j se va ataa o funcie const cj(k) de aflare a lanului DLM n
aceast stare, atunci costul mediu c(k) de funcionare a lanului este:
n

C (k ) [ci * i (k )]
i 1

n continuare va fi prezentat lanul Markov, care este un graf cu 12 noduri.

Pentru Lanul Marcov dat trebuie de calculate cu ajutorul pachetului de programe
QM probabilitatea Sb(k) i costul mediu CSb(k) de aflare a lanului DLM la
momentul k ntr-o submulime de stri
Sb ( k )

n acest caz

Sb S

astfel nct

(k ), iarC

SS B i

Sb S R , Sb S R

Sb

(k )

[c * (k )]

Si S B

 Sr (k )

(k ), iarC

SS r i

Sr ( k )

[c * (k )]

Si S r

C=Csb+Csr;
Unde k este numrtorul perioadelor , probabilitatea c sistemul la momentul de
timp k se afl ntr-o submulime de stri.

Lant Markov ergodic

12

11
2
10

3
9

8
5

7
6

Lant Markov neergodic

12

11
2
10

3
9

8
5

7
6

Tabelul valorilor grafului ergotic:

X
x1
x2
x3
x4
x5
x6
x7
x8
x9
x10
x11
x12

x1
0.2
0.3
0
0
0
0
0
0
0
0.4
0
0

x2
0.2
0
0
0
0
0
0
0
0
0
0.1
0.1

x3
0
0
0
0.1
0
0
0
0
0
0.3
0.4
0.4

x4
0
0
0.4
0
0.4
0
0.4
0
0.7
0
0
0.3

x5
0.2
0
0
0.6
0.1
0.2
0
0
0
0
0.2
0

x6
0
0.6
0
0
0.1
0
0.3
0
0
0
0
0

x7
0.2
0
0.3
0
0
0.1
0
0.1
0
0
0
0

x8
0
0
0
0
0.4
0
0.3
0
0.1
0
0
0

x9
0
0.1
0
0
0
0.7
0
0.1
0.1
0.2
0.3
0

x10
0
0
0
0
0
0
0
0
0.1
0.1
0
0.2

x11
0
0
0.3
0.3
0
0
0
0.8
0
0
0
0

x12
0.2
0
0
0
0
0
0
0
0
0
0
0

x10
0
0
0
0
0
0
0
0
0.1
0.1
0
0.2

x11
0
0
0
0
0
0
0
0.8
0
0
0
0

x12
0.2
0
0
0
0
0
0
0
0
0
0
0

Tabelul valorilor gragului neergotic:

X
x1
x2
x3
x4
x5
x6
x7
x8
x9
x10
x11
x12

x1
0.2
0
0
0
0
0
0
0
0
0.4
0
0

x2
0.2
0
0
0
0
0
0
0
0
0
0.1
0.1

x3
0
0
0
0.7
0
0
0
0
0
0.3
0.4
0.4

x4
0
1
1
0
0.5
0
0.4
0
0.7
0
0
0.3

x5
0.2
0
0
0.3
0.5
0.2
0
0
0
0
0.2
0

x6
0
0
0
0
0
0
0.3
0
0
0
0
0

x7
0.2
0
0
0
0
0.1
0
0.1
0
0
0
0

x8
0
0
0
0
0
0
0.3
0
0.1
0
0
0

x9
0
0
0
0
0
0.7
0
0.1
0.1
0.2
0.3
0

Tabela fara mutari de adrese[ergotic]

Tabela fara mutari de adrese[ergotic](cu conditile initiale schimbate)

0.6
0.5
0.4

Psr

0.3

Psr(cs)

0.2
0.1
0
1

10 11

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

Psb
Psb(cs)

10 11

40
35
30
25
20
15
10
5
0

Csr
Csr(cs)

10 11

80
70
60
50
40
30
20
10
0

Cs
Cs(cs)

10 11

50
40
30

Csb

20

Csb(cs)

10
0
1

10 11

Tabela fara mutari de adrese[neergotic]:

Tabel cu mutati de adrese [neergolic]:

1.2
1
0.8

Psr

0.6

Psr(cs)

0.4
0.2
0
1

10

0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

Psb
Psb(cs)

10

50
40
30

Csr

20

Csr(cs)

10
0
1

10

50
40
30

Csb

20

Csb(cs)

10
0
1

10

70
60
50
40

Cs

30

Cs(cs)

20
10
0
1

10

Concluzie: In urma efectuarii lucrarii de laborator Nr.1 am studiat metode de

redare,descriere,analiza a proprietatilor de comportare ale lanturilor markov timp
discret si evaluare a caracteristicilor numerice de performanta