Sunteți pe pagina 1din 20

3.

LANŢURI MARKOV
3.1. Procese stohastice
3.2. Lanţuri Markov omogene în timp discret
3.3. Lanţuri Markov omogene în timp continuu
3.4. Lanţuri Markov asociate reţelelor Petri stohastice

3.3. Lanţuri Markov omogene în timp continuu


Definiţie
Lanţ Markov în timp continuu (continuous -time Markov chain – CTMC): proces stohastic
 mulţime (cel mult numărabilă) de stări, notată  1, 2,...   (lanţ)
 momente de timp continuu =  0,+   

Starea lanţului la momentul t  este variabila aleatoare discretă X (t )  .

 proprietatea Markov (memoryless property):


t0  t1   tk  tk 1 , x0 , x1 , , xk , xk 1  :
P[ X (tk 1 )  xk 1 | X (tk )  xk , , X (t1 )  x1, X (t0 )  x0 ] 
 P[ X (tk 1 )  xk 1 | X (tk )  xk ]
Lanţuri Markov omogene în timp continuu

 funcţii de tranziţie de stare (eng. state transition function):


i, j  , 0  s  t : pij ( s, t )  P  X (t )  j X ( s )  i 

 lanţ Markov omogen în timp continuu (eng. homogeneous CTMC):


pij ( s, t )  pij (0, t  s ) , 0  s  t , i, j  .
echivalent cu:
pij (t )  P  X ( s  t )  j X ( s )  i   P  X (t )  j X (0)  i  , s, t  0 , i, j  .

 matricea funcţiilor de tranziţie de stare:


P (t )   pij (t )  , i, j  , t  = .
proprietăţi:
 1, i  j
pij (0)  P  X (0)  j X (0)  i    ij    P (0)  I
0, i  j
t  , i, j  : pij (t )  0
– matrice stohastică
 pij (t )   P  X (t )  j X (0)  i   1
j j

2
Lanţuri Markov omogene în timp continuu

Ecuaţia Chapman-Kolmogorov:
0 s t
pij ( s  t )   pir ( s ) prj (t ), s, t  0, i, j  i r j
r
 P ( s  t )  P ( s )  P (t ), s, t  0 .

Matricea ratelor tranziţiilor de stare


 ratele tranziţiilor de stare (eng: state transition rates)
dpij (t )
qij  , i, j 
dt t 0
 matricea ratelor tranziţiilor de stare:
dP (t ) 1 1
Q   qij  , Q   lim  P ( t )  P (0)   lim  P ( t )  I 
dt t 0 t 0 t t 0 t

 dP (t )
  P (t )  Q, t  0
 dt  P (t )  exp  Qt  , t  0 ,
 P (0)  I
unde:

tk k t t2 2
exp  Qt    Q  I  Q  Q 
k 0 k ! 1! 2!

3
Lanţuri Markov omogene în timp continuu

 matricea ratelor tranziţiilor de stare


dP (t )
Q   qij  , Q 
dt t 0

t  0 :  j pij (t )  1, i    qij  0 , i 
j
 semnificaţie:
o pentru i, j  , j  i :
 dacă este posibilă trecerea instantanee din starea i în starea j, atunci qij  0
 dacă NU este posibilă trecerea instantanee din starea i în starea j, atunci qij  0
o pentru i  :
dp (t ) d
qii  ii   qii  1  pii (t ) 
dt t 0 dt t 0
  (i )   qii este rata instantanee cu care lanţul părăseşte starea i

 reprezentare grafică asociată matricei Q: i r


diagrama ratelor tranziţiilor de stare
j

4
Lanţuri Markov omogene în timp continuu

Durata de menţinere a unei stări


X 1, X 2 , , X k , X k 1, – succesiunea stărilor, la momentele de timp 0  Y1  Y2   Yk  Yk 1 

0 t

X k  i , T (i )  Yk 1  Yk = durata de menţinere a stării i (eng. state holding time)

T (i ) v.a. continuă cu distribuţie exponenţială:


i  ,  (i )   qii   qij  0 astfel încât P T (i )  t   1  e  (i )t , t  0 ,
j i
lipsa memoriei!!

5
Lanţuri Markov omogene în timp continuu

Probabilităţile tranziţiilor instantanee de stare


 probabilitatea ca, la momentul în care lanțul părăsește starea i, să aibe loc o tranziţie din starea i
în starea j, j  i :
qij qij
Pij  lim P  X (t  t )  j X (t  t )  i, X (t )  i    , i, j  , i  j
t 0  qii  qik
k i
 prin definiţie, Pii  0
 Pij  1, i .
j
 lanţ Markov în timp discret subordonat lanţului continuu (eng. embedded discrete time Markov
chain – EDTMC, sau jump chain)
 0 P12 P13 
P 0 P23 
P 
e 21 .
 P31 P32 0 
 
 

6
Lanţuri Markov omogene în timp continuu

Moduri echivalente de a preciza un lanţ Markov omogen în timp continuu


parametrii distribuţiilor exponenţiale ale duratele de
 matricea ratelor tranziţiilor de stare ocupare a stărilor:
 (i )   qii  0, i 
Q   qij 
i , j
lanţul EDTMC corespunzător, cu matricea
probabilităţilor tranziţiilor de stare:
 Pii  0

P e   Pij  :  qij
 ij  q , i, j  , i  j
P 
 ii

 parametrii distribuţiilor exponenţiale


ale duratele de ocupare a stărilor
 (i )  0, i  matricea ratelor tranziţiilor de stare:
 lanţul EDTMC / matricea qii   (i ), i 
probabilităţilor tranziţiilor de stare Q   qij  : 
qij   (i ) Pij , i, j  , i  j
P e   Pij 
i , j

simulare CTMC: , P e

7
Lanţuri Markov omogene în timp continuu

Exemplul 1 (server cu 2 stări).


 1 – server în stare de funcţionare; 2 – server defect
 rata de defectare a serverului este 
 durata de reparare a acestuia are distribuţie exponenţială de rată 

1 2 1 2

1
Evolutia starilor lantului Markov continuu
2.5

 = 1,  = 2

2
Stare X(t)

Semnificatie stari: 1 - Working ; 2 - Down

0.5
0 2 4 6 8 10 12 14 16 18 20
Timp t

8
Lanţuri Markov omogene în timp continuu

Exemplul 2 (atelier cu 2 maşini şi 1 mecanic).


 durata de reparare a unei maşini are distribuţie exponenţială de rată 
 după reparare, durata de funcţionare fără defectare are distribuţie exponenţială de rată 
 CTMC: 1 – două maşini funcţionează, 2 – o maşină funcţionează şi 3 – două maşini defecte

1
1 2 3
1 2 3
1

Evolutia starilor lantului Markov continuu


3.5
 = 1,  = 2

3
Stare X(t)

0.5
0 2 4 6 8 10 12 14 16 18 20
Timp t

9
Lanţuri Markov omogene în timp continuu

Analiza regimului tranzitoriu


 starea la momentul t    : variabilă aleatoare discretă X (t ) 
o probabilităţi de stare (eng. state probabilities)
t  0 :  j (t )  P  X (t )  j  , j  .
o vectorul probabilităţilor de stare (eng. state probability vector)
t  0: (t )  1 (t ),  2 (t ),  ,   i (t )  1.
i
o starea iniţială la t0  0 : X (0)  X 0  , (0)  1 (0),  2 (0), 
 analiza regimului tranzitoriu al unui CTMC:
(legea probabilităţii totale:  A1 , A2 ,  sistem complet de evenimente atunci P[ B]   i P[ B | Ai ]P[ Ai ] )
t  0:  j (t )  P  X (t )  j    P  X (t )  j X (0)  i  P  X (0)  i     i (0) pij (t ), j 
i i
 ecuaţia de stare (formă matriceală):
t  0:  (t )  (0)  P (t )  (t )  (0)  exp  Qt 

 d  (t )
   (t )  Q, t  0
 dt
 (0)   0

transformata Laplace!

10
Lanţuri Markov omogene în timp continuu

 ecuaţia de bilanţ al „fluxului de probabilitate” pentru starea (nodul) j  a lanţului Markov

d j (t )
 q jj j (t )   qij i (t )  Q (jin ) (t )  Q (jout ) (t )
dt i j
cu
Q (jin ) (t )   i  j qij i (t ) , Q (jout ) (t )   r  j q jr j (t )  q jj j (t )

i r

11
Lanţuri Markov omogene în timp continuu

Exemplul 1 (server cu 2 stări).


 1 – server în stare de funcţionare; 2 – server defect
t  0 : (t )  1 (t )  2 (t ) 
1 2
 d1 (t )
d  (t )  dt  1 (t )   2 (t ),
  (t )  Q  
dt  d 2 (t )   (t )   (t ).
 dt 1 2

  1 (0)   2 (0)  (    )t



 1 (t )   e ,
 
 (t )  (0)  exp(Qt )  
 (t )    1 (0)   2 (0) e  (    )t .
 2  
Probabilitatile de stare
1
1(t)
2(t)
 = 1,  = 2

  1 s-1,   2 s-1 şi (0)  [1 0] 2/3

2 1 1 1
1 (t )   e3t ,  2 (t )   e3t ,

 (t)
3 3 3 3 1/3

0
0 0.5 1 1.5 2 2.5 3
t

12
Lanţuri Markov omogene în timp continuu

Clasificarea stărilor
 starea j  este accesibilă (eng. reachable) din starea i  : i  j
t  0 a.î. pij (t )  P  X (t )  j X (0)  i   0
interpretare grafică: pe diagrama ratelor tranziţiilor de stare corespunzătoare CTMC există un
drum de la nodul i la nodul j

 un lanţ CTMC este ireductibil dacă mulţimea stărilor este ireductibilă:


i, j  S , i  j
interpretare grafică: diagrama ratelor tranziţiilor de stare este graf tare conex

 starea i  se numeşte absorbantă (eng. absorbing state) dacă mulţimea {i} este închisă:
qij  0, j  , j  i  qii  0

13
Lanţuri Markov omogene în timp continuu

Analiza regimului staţionar


 probabilitate de stare în regim staţionar (eng. steady-state probability, stationary state
probability) corespunzătoare stării i
 i  lim  i (t )  lim P  X (t )  i  (dacă există!)
t  t 
 distribuţie staţionară de probabilitate de stare (eng. stationary state probability vector)
t 
  lim (t )  1,  2 ,  3 , , satisface  (t )   (t )  Q   Q  
t 

Teoremă:
Într-un lanţ CTMC omogen, ireductibil, ce constă numai din stări pozitiv recurente, există şi este
unic vectorul   lim (t ) , care satisface:
t 
  Q  0,

  i  1.
i

 ecuaţia de bilanţ al „fluxului de probabilitate” în regim staţionar pentru starea j  :


 i j qij i  q jj j  Q(jin)  Q(jout )
cu
Q (jin )   i  j qij i , Q (jout )   r  j q jr j  q jj j

14
Lanţuri Markov omogene în timp continuu

Moduri echivalente de a preciza un lanţ Markov omogen în timp continuu


parametrii distribuţiilor exponenţiale ale
matricea ratelor tranziţiilor de stare duratele de ocupare a stărilor:
qii   (i ), i   (i )   qii  0, i  ; M T (i )   1 (i )
Q   qij  : 
lanţul EDTMC, cu matricea probabilităţilor
qij   (i ) Pij , i, j  , i  j
tranziţiilor instantanee de stare:
 Pii  0

P e   Pij  :  qij
 ij  q , i, j  , i  j
P 
 ii

regim staţionar:
  Q  0  e  P e   e
 
  1,  2 ,  3 , :   i  1  e  1e ,  2e ,  :   e 1
i i

i

 ie M T (i )   ie qii  i qii
i   , i  ie  , i
  j M T ( j )   j q jj
e e
 j jj
 q
j j j

15
Lanţuri Markov omogene în timp continuu

Exemplul 1 (server cu 2 stări).


 1 – server în stare de funcţionare; 2 – server defect
CTMC: EDTMC:

1 2 1 2

CTMC regim staţionar: (t )  1 (t )  2 (t )  


t 
   [1  2 ]

  1 (0)   2 (0)  (    )t  



 1 (t )   e  
 1   
  t  1   2  0   Q  0
       
 (t )  

 1 (0)   2 (0)
e  (    )t    
 1   2  1 1   2  1
 2    2   

 e 1q11
 
1e   2e 1  1 2  1q11   2 q22
e 1
EDTMC:  e   e  
1   2  1
e
 2  1 2  e   2 q22
 2 1q11   2 q22

16
Lanţuri Markov omogene în timp continuu

Lanţuri birth-death în timp continuu


 diagrama ratelor tranziţiilor de stare pentru un lanţ birth-death în timp continuu:

0 1 2 i-1 i i+1

qi ,i 1  i  0 , i  0,1, ; qi ,i 1  i  0 , i  1, 2, .

 0 1 0 0 
 0 0 0 0   1 1 
 (1  1 ) 1 0   1  1 0 1  1
0 
 1   2 2 
Q 0 2 (2   2 ) 2   P  0
e
2  2 0 2  2 
 0 0 3 (3  3 )   
3
   0 0 3  3 0 
   
 
durata de ocupare a stării i  : T (i ) E ( (i )) ,
 (0)   q00  0 ,  (i )   qii  i  i , i  1, 2,

17
Lanţuri Markov omogene în timp continuu

Analiza regimului tranzitoriu:

0 1 2 i-1 i i+1

 i (t )  P  X (t )  i  , i  0,1, 2,... , t  0
d 0 (t )
 0 0 (t )  11 (t )
dt
d i (t )
 (i  i ) i (t )  i 1 i 1 (t )  i 1 i 1 (t ), i  1, 2,
dt

18
Lanţuri Markov omogene în timp continuu

flux Poisson de evenimente = lanţ de tip pure birth, i  0 , i  1, 2, ; i   , i  0,1, .

0 1 2 i-1 i i+1

X (t )  N (t ) = numărul de evenimente care au avut loc în fluxul Poisson în intervalul de timp [0, t ]
d 0 (t )
  0 (t )
dt
d i (t )
  i (t )   i 1 (t ), i  1, 2,
dt
 0 (0)  1   0 (t )  e  t , t  0 .
d1 (t )
 1 (t )   e  t  1 (t )  t e t , t  0
dt
( t )i  t
inducţie matematică   i (t )  P  N (t )  i   e , t0 (distribuţie Poisson!)
i!

19
Lanţuri Markov omogene în timp continuu

Analiza regimului staţionar:  i  lim  i (t )  lim P  X (t )  i  , i  0,1, 2,...


t  t 

0 1 2 i-1 i i+1

0 0  11  0
 Q  0  
(i  i ) i  i 1 i 1  i 1 i 1  0, i  1, 2,
0  i 1
 1  0 , i  0  , i  1, 2,
1 1 i 0

1
   i 1     i 1  
 i0  i  1   0 1       1   0  1     j 
j

 i 1 j 0 j 1   i 1 j 0 j 1 
dacă şi numai dacă
 i 1 j i
     i0  
, i  i0 :
i
1
i 1 j 0 j 1

20