3.

Lanţuri Markov
3.1. Procese stohastice
3.2. Lanţuri Markov omogene în timp discret
3.3. Lanţuri Markov omogene în timp continuu
3.4. Lanţuri Markov asociate reţelelor Petri stohastice

3.2. Lanţuri Markov omogene în timp discret

Definiţie
Lanţ Markov în timp discret (discrete-time Markov chain – DTMC): proces stohastic
 mulţime (cel mult numărabilă) de stări, notată  1, 2,...   (lanţ)
 momente de timp discret = 0,1,2,... 
Starea lanţului la momentul k  este variabila aleatoare discretă X k  .
 proprietatea Markov (memoryless property):
P  X k 1  xk 1 X k  xk , X k 1  xk 1,..., X 0  x0   P  X k 1  xk 1 X k  xk  , k  .

 Probabilitatea de tranziţie a lanţului din starea i în starea j la pasul k:

k  : pij (k )  P  X k 1  j X k  i  , i, j  .

 Lanţ Markov omogen în timp discret (homogeneous DTMC):

pij  P  X k 1  j X k  i   P  X 1  j X 0  i  , k  , i, j  .
 Lanţuri Markov omogene în timp discret

 matricea probabilităţilor de tranziţie într-un pas (one-step transition probabilities matrix):

P  [ pij ], i, j   1, 2,...
pij  0, i, j 
i  :  p   P  X  j X  i   1
ij 1 0
 P – matrice stohastică

j j

 diagrama probabilităţilor tranziţiilor de stare: graf orientat ponderat

 1, 2,3 p12 p23

p11 p33
 p11 p12 0 
P   p21 0 p23 
1 2 3
p21
 
 p31 0 p33 
p31
 p11  p12  1

 p21  p23  1
p  p 1
 31 33

2
 Lanţuri Markov omogene în timp discret

P[ A  B | C ]  P[ A | B  C ]  P[ B | C ]
 Matricea probabilităţilor de tranziţie în n paşi:
P ( n )  [ pij( n ) ], n   0,1, 2,...
pij( n )  P  X k n  j X k  i   P  X n  j X 0  i  , i, j   1, 2,...
P (0)  I , P (1)  P

Ecuaţia Chapman-Kolmogorov
P ( n )  P ( m )  P ( nm ) , m, n  , 0  m  n .

pij( n )   P  X k  n  j X k  m  r , X k  i   P  X k  m  r X k  i  m paşi n-m paşi

r
i r j
  P X n  j X m  r   P X m  r X 0  i
r
n paşi
 pir( m ) prj( nm ) , i, j   1, 2,... , m, n  , 0  m  n.
r

n  1, 2,... , m  n  1: P ( n )  P ( n1)  P (1)  P ( n1)  P ,


P ( n )  P n , n  0,1, 2,...

3
 Lanţuri Markov omogene în timp discret

Exemplul 1 (server cu 2 stări).

 server cu 2 stări: în stare de funcţionare (1) şi defect (2),   1, 2 
 starea serverului este testată la fiecare oră:
= 0,1,2,... :
– dacă server este în stare de funcţionare la un
moment dat, probabilitatea ca să se defecteze
în următoarea oră este  ,   (0,1) :
p12    p11  1   .
– dacă serverul este defect probabilitatea de a fi
reparat în următoarea oră este  ,   (0,1) :
p21    p22  1   .
    (1     ) k    (1     ) k 
 
1          
P   P (k )
 P k
 
  1       (1     ) k
   (1     ) 
k
 
     
Observaţie: Modelarea sub formă de lanţ Markov a unui sistem a cărui evoluţie este pilotată de
evenimente este concentrată pe determinarea probabilităţilor tranziţiilor de stare şi
nu interesează evenimentul care a produs această tranziţie.
Dacă interesează descrierea pilotată de evenimente, se poate utiliza formalismul reţelelor Petri.

4
 Lanţuri Markov omogene în timp discret

Durata de menţinere a unei stări

 durata de menţinere a stării i  (eng. state holding time) Ti = numărul de paşi (în timp) cât
lanţul rămâne în starea i odată ce a ajuns în această stare P[ M  N ]
 P[ M | N ] 
 Ti variabila aleatoare discretă, Ti  P[ N ]
P[ A  B | C ]  P[ A | B  C ]  P[ B | C ]
P[Ti  n]  P[ X k  n  i, X k  n1  i, , X k 1  i | X k  i ] 
 P[ X k  n  i | X k  n1  i, , X k 1  i, X k  i ]  P[ X k n1  i, , X k 1  i | X k  i ] 
 P[ X k  n  i | X k  n1  i ]  P[ X k n1  i, , X k 1  i | X k  i ] 
 (1  pii )  P[ X k  n1  i, , X k 1  i | X k  i ].
P[ X k  n1  i, , X k 1  i | X k  i ] 
 P[ X k  n1  i | X k  n2  i, , X k  i ]  P[ X k  n2  i, , X k 1  i | X k  i ] 
 pii  P[ X k  n2  i, ,, X k 1  i | X k  i ]  ...  piin1, n  
.

P[Ti  n]  (1  pii ) piin1 , n  1, 2, , i  ,

 Ti are distribuţie geometrică de parametru pii

 Distribuţia geometrică având proprietatea de lipsă a memoriei, la fiecare pas starea următoare a
lanţului este determinată numai pe baza stării curente.
dacă pii  1, M[Ti ]  1 (1  pii ) şi Var[Ti ]  pii (1  pii ) 2 .

5
 Lanţuri Markov omogene în timp discret

Analiza regimului tranzitoriu

 starea la pasul k  : variabilă aleatoare discretă X k 
o probabilităţi de stare (eng. state probabilities)
 j (k )  P  X k  j  , j  , k  .
o vectorul probabilităţilor de stare (eng. state probability vector) – precizează densitatea de
probabilitate a stării X k
(k )  1 (k ),  2 ( k ),  ,   j (k )  1, k  .
j
o starea iniţială X 0  : (0)  1 (0),  2 (0), 
 analiza regimului tranzitoriu al unui DTMC: relaţia de legătură dintre distribuţiile stărilor
lanţului la două momente consecutive, X k şi X k 1
(legea probabilităţii totale:  A1 , A2 ,  sistem complet de evenimente  P[ B]   i P[ B | Ai ]P[ Ai ] )
 j (k  1)  P  X k 1  j    P  X k 1  j X k  i  P  X k  i  
i
  pij i (k ), j  , k  .
i
 ecuaţia de stare (formă matriceală):
 (k  1)  (k )  P
   (k )  (0)  P k , k  0,1, 2,
 (0)   0
transformata Z!

6
 Lanţuri Markov omogene în timp discret

Exemplul 1 (server cu 2 stări).

 1 – SW, 2 – SD
3 4 1 4 
   1 4 ,   1 2: P   
1 2 1 2 

 P P 
(k ) k 3 3

2 1 1 k 1 1 1 k 
 
4 3

3 4

, k 
2 2 1
 
1 2 1 
k k

   
3 3 4 3 3 4 
 dacă la momentul iniţial serverul era în stare de funcţionare ( X 0  1), (0)  1 0 ,
probabilitatea ca după 2 ore să fie în aceeaşi stare:
2
2 1  1  11
P[ X 2  1| X 0  1]  p11 (2)     
3 3  4  16
sau
11
(2)  (0)  P 2  1 (2) 
16
 2 1  1 k 1 1  1 k 
 dacă (0)  1 3 2 3 , atunci (k )  (0)  P     
k
   
 3 3  
4 3 3  4  

7
 Lanţuri Markov omogene în timp discret

 T1, durata de menţinere a stării 1, are distribuţie geometrică de parametru  :

n 1
n 1 13
P[T1  n]  (1  p11 ) p11   (1   ) n1    , n  1, 2, ; M[T1 ]  1   4 ore
4 4
 T2 , durata de menţinere a stării 1, are distribuţie geometrică de parametru  :
n
n 1 n 1 1
P[T2  n]  (1  p22 ) p22   (1   )    , n  1, 2, ; M[T2 ]  1   2 ore
2

simulare pe o durată de 100 de ore:

Evolutia starilor lantului Markov
2.5

2
X(k)

0.5
0 10 20 30 40 50 60 70 80 90 100
k

8
 Lanţuri Markov omogene în timp discret

Exemplul 2 (alegerea primarului din LaLa Land).

La alegerile pentru primarul din LaLa Land sunt 3 candidaţi, câte unul pentru fiecare partid:
partidul Roşu (1), partidul Verde (2) şi partidul Albastru (3).
Alegătorii sunt indecişi, astfel încât, în fiecare zi:
 15% din suporterii partidului Roşu decid să sprijine candidatul partidului Verde
 3% din suporterii partidului Roşu decid să sprijine candidatul partidului Albastru
 10% din suporterii partidului Verde decid să sprijine candidatul partidului Roşu
 15% din suporterii partidului Verde decid să sprijine candidatul partidului Albastru
 3% din suporterii partidului Albastru decid să sprijine candidatul partidului Roşu
 10% din suporterii partidului Albastru decid să sprijine candidatul partidului Verde
În LaLa Land sunt înregistraţi 700 de alegători. La data de 31 octombrie, 300 de alegători erau
în favoarea partidului Albastru, 300 de alegători erau în favoarea partidului Roşu şi 100 în favoarea
partidului Verde.
Alegerile vor avea loc pe data de 6 Decembrie.
Cine va câştiga?

9
 Lanţuri Markov omogene în timp discret

Exemplul 2 (alegerea primarului din LaLa Land).

La alegerile pentru primarul din LaLa Land sunt 3 candidaţi, câte unul pentru fiecare partid:
partidul Roşu (1), partidul Verde (2) şi partidul Albastru (3).
Alegătorii sunt indecişi, astfel încât, în fiecare zi:
 15% din suporterii partidului Roşu decid să sprijine candidatul partidului Verde
 3% din suporterii partidului Roşu decid să sprijine candidatul partidului Albastru
 10% din suporterii partidului Verde decid să sprijine candidatul partidului Roşu
 15% din suporterii partidului Verde decid să sprijine candidatul partidului Albastru
 3% din suporterii partidului Albastru decid să sprijine candidatul partidului Roşu
 10% din suporterii partidului Albastru decid să sprijine candidatul partidului Verde
În LaLa Land sunt înregistraţi 700 de alegători. La data de 31 octombrie, 300 de alegători erau în favoarea partidului
Albastru, 300 de alegători erau în favoarea partidului Roşu şi 100 în favoarea partidului Verde.
Alegerile vor avea loc pe data de 6 Decembrie.

Cine va câştiga?
 (0)  3 / 7 1 / 7 3 / 7 
0.15

1 2
0.82 0.15 0.03 
P  0.10 0.75 0.15 
0.10

0.03  
0.03 0.10
0.15
 0.03 0.10 0.87 

3

 (36)   0.2500 0.3214 0.4285

10
 Lanţuri Markov omogene în timp discret

Lanţ Markov în timp discret: ( = 0,1,2,...  )

 mulţimea stărilor:  1, 2,...  
 starea lanţului la pasul k  : v.a.d. X k  :  j (k )  P  X k  j  , j  , k  ,   j ( k )  1.
j
o vectorul probabilităţilor de stare (pdf X k ): (k )  1 (k ),  2 ( k ),  , k 
o starea iniţială X 0  : (0)  1 (0),  2 (0), 
o proprietatea Markov:
P  X k 1  xk 1 X k  xk , X k 1  xk 1,..., X 0  x0   P  X k 1  xk 1 X k  xk  , k  .
 lanţ Markov omogen în timp discret:
pij  P  X k 1  j X k  i   P  X 1  j X 0  i  , k  , i, j  .
 matricea probabilităţilor de tranziţie într-un pas: P  [ pij ], i, j   1, 2,...
pij  0, i, j 
 P – matrice stohastică
i  :  j pij   j P  X1  j X 0  i   1
 matricea probabilităţilor de tranziţie în n paşi: P ( n )  [ pij( n ) ], n   0,1, 2,...
pij( n )  P  X k n  j X k  i   P  X n  j X 0  i  , i, j   1, 2,...

11
 Lanţuri Markov omogene în timp discret

 ec. Chapman-Kolmogorov:
P ( n )  P ( m )  P ( nm ) , m, n  , 0  m  n  P ( n )  P n , n  0,1, 2,...
 (k  1)  (k )  P
 ecuaţia de stare:    (k )  (0)  P k , k  0,1, 2,
 (0)   0
 durata de menţinere a stării i  : Ti are distribuţie geometrică de parametru 1  pii
P[Ti  n]  (1  pii ) piin1 , n  1, 2, , i  ,

12
 Lanţuri Markov omogene în timp discret

Clasificarea stărilor unui DTMC

Stări accesibile
 starea j  este accesibilă (eng. reachable) din starea i  : i  j
 n   : pij( n )  P  X k  n  j X k  i   0
interpretare grafică: pe diagrama probabilităţilor tranziţiilor de stare corespunzătoare DTMC
există un drum de la nodul i la nodul j format din n arce
 stările i, j  comunică: i  j dacă i  j şi j  i
 relaţia de comunicare  este o relaţie de echivalenţă pe (reflexivă, simetrică şi tranzitivă)
 submulţimea de stări Sc  este închisă (eng. closed set):
pij  0, i  Sc , j   Sc .
interpretare grafică: pe diagrama probabilităţilor tranziţiilor de stare corespunzătoare DTMC
nu există nici un drum de la o stare oarecare i  Sc la o stare j   Sc
 starea i  se numeşte absorbantă (eng. absorbing state) dacă mulţimea {i} este închisă:
pij  0, j  , j  i  pii  1
 o mulţime închisă Sc  este ireductibilă (eng. irreducible) dacă
i, j  Sc : i  j .

 un lanţ Markov este ireductibil dacă mulţimea stărilor este ireductibilă: i, j  S , i  j
interpretare grafică: diagrama probabilităţilor tranziţiilor de stare este graf tare conex
 dacă un lanţ Markov nu este ireductibil se spune că este reductibil (eng. reducible)

13
 Lanţuri Markov omogene în timp discret

Stări recurente şi stări tranzitorii

 timpul de evoluţie (transfer) din starea i în starea j  i (eng. hitting time): primul moment de
timp la care procesul ajunge în starea j dacă la momentul iniţial era în starea i
Tij  min k  0 : X 0  i, X k  j , i, j  , i  j ,
 timpul de recurenţă (eng. recurrence time) corespunzător stării i 
Tii  min k  0 : X 0  i, X k  i , i  ,
Tii este o variabilă aleatoare discretă, Tii  1, 2,3,  :
i( k )  P Tii  k  , k  1, 2,
.
 probabilitatea ca lanţul aflat la momentul iniţial în starea i să mai revină vreodată în aceasta

i  P Tii      i( k ) .
k 1
 dacă i  1, stare i  se numeşte recurentă (eng. recurrent state)
 dacă i  1, starea i se numeşte tranzitorie (eng. transient state)
interpretare: dacă X 0  i , cu probabilitatea 1  i  0 lanţul nu va mai reveni niciodată în i

Teoreme:
Dacă un lanţ Markov are un număr finit de stări, atunci cel puţin una dintre ele este recurentă.
Dacă i este o stare recurentă şi j este accesibilă din i, atunci starea j este recurentă.
Dacă Sc  este o mulţime închisă ireductibilă de stări, atunci fiecare stare din Sc este recurentă.

14
 Lanţuri Markov omogene în timp discret

Stări nul recurente şi stări pozitiv recurente

 timpul mediu de recurenţă (eng. mean recurrence time) corespunzător stării recurente i 

M i  M Tii    k i( k )
k 1
 dacă M i   , starea i este pozitiv recurentă (eng. positive recurrent state)
 dacă M i   , starea i este nul recurentă (eng. null recurrent state)
! O stare nul recurentă nu este tranzitorie, pentru că probabilitatea procesului de a reveni
în această stare dacă este 1, dar timpul mediu de recurenţă este infinit.

Teoreme:
Dacă i este o stare pozitiv recurentă şi j este accesibilă din i, atunci starea j este pozitiv recurentă.
Dacă Sc  este o mulţime închisă ireductibilă de stări, atunci toate stările din Sc sunt pozitiv
recurente, sau toate stările din Sc sunt nul recurente, sau toate stările din Sc sunt tranzitorii.
Dacă Sc  este o mulţime finită închisă ireductibilă de stări, atunci toate stările din Sc sunt pozitiv
recurente.

15
 Lanţuri Markov omogene în timp discret

Exemple

S1  3, 4 şi S 2  5 : submulţimi închise şi ireductibile

stările 1 şi 2 sunt tranzitorii
stările 3 şi 4 sunt pozitiv recurente
starea 5 este absorbantă (deci este şi recurentă)
toate stările sunt nul recurente

16
 Lanţuri Markov omogene în timp discret

Stări periodice şi stări aperiodice

 perioada stării i  :

di  cmmdc k  0 pii( k )  0 
 dacă di  2 , starea i se numeşte periodică (eng. periodic state)
 dacă di  1 , starea i se numeşte aperiodică (eng. aperiodic state)
Observaţie: dacă pii  0 , atunci starea i este aperiodică.

Teoremă.
Toate stările unui lanţ Markov ireductibil au aceeaşi perioadă.

Exemple

d 3 d 2
d 1

17
 Lanţuri Markov omogene în timp discret

Clasificarea stărilor unui lanţ Markov în timp discret

18
 Lanţuri Markov omogene în timp discret

Analiza regimului staţionar

 probabilitate de stare în regim staţionar (eng. steady-state probability, stationary state
probability) corespunzătoare stării i
 i  lim  i (k )  lim P  X k  i 
k  k 
(dacă există!)
 distribuţie staţionară de probabilitate de stare (eng. stationary state probability vector)
  lim (k )  1,  2 ,  3 , 
k 
satisface ecuaţia
k 
 (k  1)   ( k )  P      P
 semnificaţie distribuţie staţionară
 (0)     ( k )  , k 

Problemă:
 În ce condiţii, pentru orice stare i  a unui DTMC, limitele  i există şi reprezintă efectiv o
repartiţie de probabilitate de stare, adică satisfac condiţia  i  i  1 ?

Condiţie necesară de existenţă:

  limita pentru k   a şirului de matrice {P k }k , lim P k : lim  (k )  lim (0)  P k
k k  k 

19
 Lanţuri Markov omogene în timp discret

Lanţuri Markov ireductibile

 dacă un lanţ Markov ireductibil are stări periodice, atunci toate stările au aceeaşi perioadă şi
nu există   lim (k ) (pentru că nu există limita pentru k   a şirului de matrice {P k }k )
k 

Teoreme:
Într-un lanţ Markov ireductibil şi aperiodic există întotdeauna limita   lim (k ) şi aceasta este
k 
independentă de distribuţia de probabilitate a stării iniţiale  (0) .
Această teoremă nu garantează că elementele vectorului  satisfac condiţia  i  i  1!

Pentru un lanţ Markov ireductibil şi aperiodic ce constă numai din stări tranzitorii sau nul recurente
este satisfăcută relaţia
 i  lim  i (k )  0, i  ,
k 
şi deci nu există o distribuţie de probabilitate de stare de regim staţionar.

20
 Lanţuri Markov omogene în timp discret

Într-un lanţ Markov ireductibil şi aperiodic, ce constă numai din stări pozitiv recurente,
există şi este unic vectorul distribuţiei de probabilitate a stării în regim staţionar,
  1,  2 ,  3 ,  , ale cărui elemente  i  0 satisfac
1
 i  lim  i ( k )  , i  ,
k  Mi
unde M i este timpul mediu de recurenţă corespunzător stării i  .
Vectorul  se determină rezolvând sistemul de ecuaţii liniare
    P ,

   i  1.
i

Observaţii:
  este vector propriu la stânga al matricei P, corespunzător valorii proprii 1
  este singurul vector de repartiţie a stării iniţiale pentru care lanţul considerat este un proces
staţionar (  (0)     (k )  , k  1).
  = distribuţie staţionară de probabilitate a stării lanţului Markov .

 stări ergodice (eng. ergodic states) = stări aperiodice pozitiv recurente

 lanţ Markov ergodic (eng. ergodic chain) = lanţ ireductibil ce constă numai din stări ergodice

21
 Lanţuri Markov omogene în timp discret

 lanţ Markov regulat (eng. regular chain) = lanţ pentru care N  0 astfel încât matricea P N are
numai elemente strict pozitive
N  0 : pij( N )  0, i, j  .
interpretare grafică: pe diagrama probabilităţilor tranziţiilor de stare corespunzătoare DTMC
există drum de la o stare oarecare i la oricare altă stare j format din exact N arce
 toate liniile matricei W  lim P k coincid cu vectorul probabilităţilor de stare staţionară
k 
W  lim P k  eT  
k
 matricea W satisface relaţiile W  P  P  W  W  W 2 .
 matricea fundamentală a unui lanţ regulat, Z   zij  :
i , j
1
Z  I  P W  ,
 i, j  , i  j , mij = valoarea medie a primului moment în care procesul, aflat la momentul
iniţial în starea i, ajunge în starea j, (eng. mean first passage time)
z jj  zij
mij  , i, j  , i  j .
j
Prin definiţie mii  0 .
 matricea M   mij  (eng. mean first passage matrix).
i , j

22
 Lanţuri Markov omogene în timp discret

Teorema Perron-Frobenius.
Fie P   pij   nn o matrice ne-negativă regulată / ireductibilă.
Matricea P admite o valoare proprie r ce satisface următoarele proprietăţi:
a. r  , r  0 ;
b. r  |  | / r  |  | ,    ( P ) (i.e. det( I n  P )  0 ) – r raza spectrală a matricei P;
c. r este rădăcină simpla a ecuaţiei caracteristice det( I n  P )  0 ;
d. r admite vectori proprii, la dreapta şi la stânga, strict pozitivi;

Corolar 1.
n n n n
min  pij  r  max  pij , min  pij  r  max  pij .
i i j j
j 1 j 1 i 1 i 1

Teoremă.
Raza spectrală a unei matrice stohastice P este 1.
O matrice nenegativă este stohastică pe linii dacă şi numai dacă vectorul e  1 ... 1 
T n
este
vector propriu la dreapta corespunzător valorii proprii 1, Pe  e .

23
 Lanţuri Markov omogene în timp discret

Exemplul 1 (server cu 2 stări).

 pentru 0    1 şi 0    1, lanţul este regulat
    (1     ) k    (1     ) k     
    
     
W  lim P  lim 
k   
k  k      (1     ) k    (1     ) k 
   
  
            
 vectorul probabilităţilor de stare în regim staţionar:
 
 1        ,
 
 1 2     
1 2  ,     0, 
1
  
  1      
1 2

    1, 1   2  1,    .
 1 2  2   
 mediile duratelor de recurenţă:
1   1  
M1   , M2   .
1  2 
 matricea fundamentală:
    2        1 
 
         2 
2
1
Z  I  P W    .
       1  2
    
     2 2 
    

 0 1/ 
 m12  1  , m21  1   M  
1 /  0 

24
 Lanţuri Markov omogene în timp discret

Exemplul 1 (server cu 2 stări – proiectare).

 pentru   1/ 4 , să se determine  ( 0    1) astfel încât, după un timp suficient de lung de
funcţionare, probabilitatea ca serverul să fie defect să aibă o valoare mai mică decât 25%.
 1
2    0, 25    0,75
   1  4

25
 Lanţuri Markov omogene în timp discret

Exemplul 3 (Lanţ birth-death în timp discret).

 

p  (0,1) - lanţul Markov ireductibil şi aperiodic ( p11  p  0 )

 p 1 p 0 0 0 
p 0 1 p 0 0 
 
P  0 p 0 1 p 0 
0 0 p 0 1 p 
 
 

analiza stărilor:
 dacă 0  p  1 2 starea 1 este tranzitorie
 dacă p  1 2 starea 1 este nul recurentă
 dacă 1 2  p  1 starea 1 este pozitiv recurentă.

26
 Lanţuri Markov omogene în timp discret

analiza regimului staţionar:

1  p1  p 2
  P  
 i  (1  p ) i 1  p i 1, i  2,3,
 1 p

 2  1
p 1 p
  i   , i  2,3, ,  
i 1 1
0
  1  p   1  , i  2,3,  1 p
 i 1 p
i 1
p
i

 1 1 1
 
i 1 i
 1  1 
 1
, i 
 i 1

 1
, i  2,3, .
 i 1 i 1
 i 1
 i 1

 dacă 0  p  1 2  0    1:  i  0 , i  1, 2,3,  nu există o distribuţie staţionară de stare

 dacă p  1 2    1:  i  0 , i  1, 2,3,  nu există o distribuţie staţionară de stare
 dacă 1 2  p  1    1:
i 1
2 p 1
1  1 2 p 1 1 p 
1  1   , i  i    , i  2,3, ,
 p  p  p 

27
 Lanţuri Markov omogene în timp discret

Exemplul 4 (flux de evenimente de tip Bernoulli).

1  p p 0 0 
 0 1 p p 0 
 
P 0 0 1 p p 
 0 0 0 1  p 
 
 
 0  p  1  pii  1  p  1, i  1, 2,  lanţ ireductibil şi aperiodic
 odată ce lanţul a părăsit starea i nu mai este posibilă revenirea la această stare, deci toate stările
lanţului sunt tranzitorii
 nu există o distribuţie staţionară de stare,  i  lim  i (k )  0, i  1, 2,
k 
 durata Ti de menţinere a stării i are distribuţie geometrică de parametru 1  pii  p , deci
M[Ti ]  1 (1  pii )  1 p şi Var[Ti ]  pii (1  pii ) 2  (1  p) p 2

28
 Lanţuri Markov omogene în timp discret

Lanţuri Markov reductibile

 probabilitatea de tranziţie dintr-o stare tranzitorie i  într-o mulţime închisă Sc :

i ( S c )  P  X k  S c , k  0 X 0  i  :
(a) într-un singur pas: P  X1  Sc X 0  i    P  X1  j X 0  i    pij
jSc jSc
(b) în mai mulţi paşi: P  X 1  , X k  Sc , k  1 X 0  i    pir  r (Sc )
r

 se rezolvă sistemul de ecuaţii liniare

i ( Sc )   pij   r (Sc ) pir , i .
jSc r

29
 Lanţuri Markov omogene în timp discret

Lanţuri Markov absorbante

 lanţ absorbant (eng. absorbing chain): un lanţ Markov în care:
o toate stările tranzitorii sunt mutual accesibile  1, 2, ,t
o toate stările recurente sunt absorbante  t  1, t  2, , n
 forma canonică a matricei probab. de tranziţie
Q R 
P
O I , r  nt
 r
tt
unde: Q – matricea probab. de tranziţie între două stări tranzitorii, satisface lim Q k  Ot
k
R  tr – matricea probab. de tranziţie dintr-o stare tranzitorie într-o stare absorbantă
O este matricea nulă r  t ;
I r este matricea unitate r  r , corespunzătoare stărilor absorbante.
 NU există o distribuţie staţionară de probabilitate de stare

30
 Lanţuri Markov omogene în timp discret

 oricare ar fi starea iniţială, probabilitatea ca lanţul să ajungă într-o stare absorbantă este 1
 pentru i  (stare tranzitorie) şi s  (stare absorbantă):
probabilitatea de absorbţie (eng. absorption probability) din starea i în starea j
i ( s )  P  X k  s , k  0 X 0  i 
 i (s)  1, i 
s
 matricea probabilităţilor de absorbţie (eng. absorption probabilities) B  bis   t r

bis  i ( s )  P  X k  s, k  0 X 0  i  , i  , s 

31
 Lanţuri Markov omogene în timp discret

 calcularea probab. de absorbţie: rezolvarea sistemului de ecuaţii

s  : i ( s )  pij   pir  r ( s ), i  .
r
 1 ( s )   p1 j   1 ( s ) 
    Q , s  B  R  QB   I t  Q  B  R
     
 t ( s )   ptj   t ( s ) 
 B  N R
 matricea fundamentală (eng. fundamental matrix) a lanţului absorbant

 Qk
1
N   nij  , N   It  Q 
i , j 1,t
k 1
 pentru X 0  i  :
o nir = numărul mediu de vizite în starea tranzitorie r  înainte ca procesul să fie absorbit
o numărul mediu de paşi în care procesul va fi absorbit (eng. time to absorption)
t
 i   nij , i 
j 1

o vectorul coloană   1, 2 , , t  poate fi calculat:

T

  N c,
unde c  1,1, ,1
T

32
 Lanţuri Markov omogene în timp discret

 matricea probabilităţilor de absorbţie (eng. absorption probabilities) B  bis 

B  N R
bis  i ( s )  P  X k  s, k  0 X 0  i  , i  , s 
 matricea W  lim P k are forma
k 
Q R  Ot B 
P   W  klim P 
k

 O I r  
 O I r 
 pentru X 0  i  şi j  :
o hij  probabilitatea ca procesul să ajungă în starea j înainte de absorbţie (eng. hitting
probability)
o matricea H   hij  :
i , j 1,t

H   N  I   N dg
1
,
tt
N dg   nij   are pe diagonala principală elementele diagonalei matricei N şi 0 în rest
nii  nii , i  1, t ,
nij  0, i, j  1, t , i  j.

33
 Lanţuri Markov omogene în timp discret

Exemplul 5 (drunkard’s walk).

0  p 1
 0 p 0 1 p 0
1  p 0 p 0 0
p p p  
1 P 0 1 p 0 0 p
 
4 1 2 3 5  0 0 0 1 0
 0 0 0 0 1 
1
1 p 1 p 1 p

Temă.
Să se determine distribuţia staţionară de probabilitate a stării (dacă există) pentru lanţurile
Markov în timp discret pentru care:
1 / 2 1 / 2 0  0 1 / 2 1 / 2 1 / 2 0 1 / 2 
P  3 / 4 0 1 / 4  ; P   1 0 0  ; P   0 1/ 2 1/ 2 ;
     
 0 1 / 4 3 / 4  0 1 0   0 1 / 3 2 / 3
 0 0 1 0  0 1/ 3 0 2 / 3
 0 0 0 1 1 / 3 0 2 / 3 0 
P ; P   .
1 / 2 1 / 2 0 0   0 1/ 2 0 1/ 2
1 / 3 2 / 3 0 0  1 / 2 0 1 / 2 0 
  

34
 Lanţuri Markov omogene în timp discret

Hugh Gordon, Discrete Probability, Springer, 1997.

35
 Lanţuri Markov omogene în timp discret

A
C F

Exit
D

36