§ 4 Lanţuri Markov cu mulţime cel mult numărabilă de stări

n 0
4.1. Definiţii, proprietăţi şi exemple. Considerăm un şir {Xn} de variabile aleatoare
discrete, cu aceeaşi mulţime finită sau mult numnărabilă S de valori. (Cazurile cele mai frecvente
sunt S= {1,…, N}, S = N sau S = Z.) Atunci când Xn = i, vom spune că la momentul n, lanţul se
află în starea i.

n 0
Definiţia 1. Şirul X ={Xn} formează un lanţ Markov dacă, pentru orice n  0 şi orice
i0, …, in + 1 S, avem
P (Xn + 1 = in+ 1| X0 = i0, …, Xn = in) = P(Xn + 1 = in| Xn = in). (4.1)
(Cu alte cuvinte, cunoscând starea procesului la momentul “prezent” n, starea lui la momentul
următor n + 1 este independentă de stările “trecute” la momentele 0,12, …, n1. Se poate arăta că
în acest caz, pentru orice şir strict crescător de momente k0 < k1 < … < kn+1
şi orice i0, …, in+ 1 S, avem

P(X k n 1 = in+ 1 | X k 0 = i0, …, X k n = in } (4.1’)

n 0
Vom presupune că lanţul {Xn} este omogen: probabilităţile de a trece din starea i în starea
j
P(Xm + 1 = j| Xm = i) = pij (4.2)
nu depind de m, în particular
P(Xm + 1 = j| Xm = i) = P(X 1 = j| X0 = i). (4.2’)
Matricea P = [pij]i, jS formată cu probabilităţile de trecere pij se numeşte atunci matricea de
tranziţie a lanţului X. Dacă mulţimea stărilor este finită, egală cu {1, 2, …, N}, atunci lanţul se
numeşte finit, iar
 p11 p12 ... p1N 
p p 22 ... p 2 N 
P= 
21
(4.3)
 ... 
 
 p N1 pN 2 ... p NN 

este atunci o matrice pătratică de tip N  N. Dacă mulţimea stărilor este infinită, atunci P este o
matrice cu un număr infinit de linii şi coloane. În cazul general, linia i a lui P este formată cu
probabilităţile de atrece din starea i la momentul 0 în orice altă stare la momentul 1, deci,

1
deoarece evenimentele {X1 = i, X 0 = j}j S reprezintă o descompunere a evenimentului X1 = i într-
o reuniune finită sau numărabilă de evenimente disjuncte, vom avea
 j
pij = 
j
P(X1 = j| X0 = i) = 1. (4.4)

(O matrice formată cu numere cuprinse între 0 şi 1, având suma elementelor fiecărei linii egală cu
1 se numeşte matrice stochastică.)
Propoziţia 1. i) Dacă X ={Xn}este un lanţ Markov cu matricea de tranziţie P = [pij], atunci
pentru orice i0, …, in  S, avem

P(X0 = i0, …, Xn = in) = P(X0 = i0) p i 0 i1 p i1i 2 … p i n -1i n . (4.5)

ii) Reciproc, dacă relaţia precedentă este satisfăcută pentru orice i0, …, in  S, atunci X este un
lanţ Markov cu matricea de tranziţie P.
Demonstraţie i) Aplicând formula de înmulţire a probabilităţilor pentru intersecţia
evenimentelor X0 = i0, …, Xn = in, obţinem
P(X0 = i0, …, Xn = in) =
= P(X0 = i0) P(X1 = i1| X0 = i0) P(X2 = i2| X0 = i0, X1 = i1 )… P(Xn = i2| X0 = i0,…, Xn1 = in1),

unde prin definiţie P(X1 = i1| X0 = i0) = p i 0 i1 , P(X2 = i2| X0 = i0, X1 = i1) = P(X2 = i2| X1 = i1) datorită
relaţiei (4.1’), etc.
ii) Conform relaţiei (4.5) aplicată şirului i0, …, in +1, avem

P(X0 = i0, …, Xn = in+1) = P(X0 = i0) p i 0 i1 p i1i 2 … p i n i n 1 ,

de unde, împărţind membru cu membru această relaţie la relaţia (4.5), obţinem

P (Xn + 1 = in+ 1| X0 = i0, …, Xn = in) = p i n i n 1 = P(Xn + 1 = in| Xn = in),

deci X satisface relaţia (4.1).

n 0
Exemplul 1. (Procese cu creşteri independente) Fie X ={Xn} un şir de variabile
aleatoare discrete, luând valori întregi. Se spune că X defineşte un proces cu creşteri independente
dacă, pentru orice n1, variabilele X0, X1  X0, …, Xn  Xn+1 sunt independente între ele. Creşterile
se numesc staţionare dacă ele urmează aceeaşi repartiţie. Orice proces cu creşteri independente
staţionare este un lanţ Markov omogen, cu probabilităţile de tranziţie pij = pj i, unde pn = P(X0 = n).
Într-adevăr, e suficient să aplicăm Propoziţia 1 de mai sus, observând că, pentru i0, …, in  Z,
P(X0 = i0, …, Xn = in) = P(X0 = i0, X1  X0 = i1  i0, …, Xn Xn1= in in1) =
= P(X0 = i0) P( X0 = i1  i0)…P(X0 = in  in1).

2
 Exemplul 2. Pentru orice şir {Yn} de variabile aleatoare independente şi identic repartizate,
luând valori întregi, exemplul precedent arată că sumele
Xn = Y0 + Y 1 + …+ Y n
formează un lanţ Markov omogen cu spaţiul stărilor Z. (Dacă variabilele iniţiale iau numai valori
nenegative atunci spaţiul stărilor procesului {Xn}este N.) Presupunând că fiecare Xn ia valorile 1 şi
1 cu probabilităţile p şi q = 1  p, se obţine mersul aleator pe o dreaptă, în care probabilităţile de
tranziţie sunt
 p, daca j  i  1,

pij = q, daca j  i  1, (4.5)
 0 in rest.


4.2. Matricea de tranziţie după n paşi este matricea P(n), ale cărei elemente pij (n) sunt date
de
pij (n) = P (Xm + n = j| Xm = i). (4.6)
Vom avea
N
pij (n) =  P(X
k 1
mn  j | X m  i, X m1  k ) P( X m 1  k | X m  i ) .

Ţinând seama de condiţia Markov (4.1’) aplicată şirului de momente m <m+1<m+n, această
relaţie poate fi transcrisă sub forma
N
pij (n) = p
k 1
ik p kj (n  1) ,

cu alte cuvinte,
P(n) = PP(n – 1).
Aplicând de mai multe ori această formulă, obţinem
P(n) = P2P(n – 2) = … = Pn – 1P(1).
Dar prin definiţie P(1) = P, deci
P(n) = Pn: (4.7)
Matricea de tranziţie după n paşi este puterea a n-a a matricii de tranziţie P. (În particular,
membrul drept al relaţiei (4.6) este şi el independent de m.)
4.3. Repartiţia variabilei Xn. Avem
 1 2 ... N 
p (n ) p 2 (n ) ... p N (n ) 
Xn :  1 , (4.8)
unde

3
 N N
pj(n) = P(Xn = j) =  P(X n  j | X 0  i)P( X 0  i)   p ij ( n )p i (0) , (j = 1,…, N). (4.9)
i 1 i 1

Notând cu p(n) vectorul de probabilitate cu componentele p1(n), …, pN(n) reprezentând

repartiţia variabilei Xn, relaţiile (8) se scriu vectorial
p(n) = p(0) P(n). (4.10)
(Repartiţia l amomentul n depinde de repartiţia la momentul 0 şi de matricea de trecere în n paşi.)
4.4. Lanţuri ergodice.
Definiţie. Lanţul X se numeşte ergodic dacă
lim n
= P,
n  P (4.11)

unde P este o matrice stochastică având toate liniile egale cu acelaşi vector de probabilitate
s = [s1 s2 … sn], (4.12)
care se numeşte atunci repartiţia staţionară.
Lemă. Pentru orice vector de probabilitate v = [v1 v2 …vn], avem
v P = s. (4.13)
Demonstraţie Pentru fiecare j, componenta j a lui este v înmulţit cu coloana j a lui P, deci este
egală cu
v1 sj+ v2 sj + …+vN sj = sj.
Consecinţă. Dacă lanţul este ergodic, atunci
lim p(n) = s. (4.14)
n 

(Repartiţiile p etermen lung tind către repartiţia staţionară indiferent de repartiţia la momentul 0.)
Teorema 1. O condiţie suficientă ca un lanţ Markov finit să fie ergodic este să existe un n,
astfel încât toate elementele matricii Pn să fie strict pozitive.
Teorema 2. Dacă lanţul este ergodic, atunci repartiţia staţionară este unicul vector de
probabilitate v satisfăcând relaţia
vP = v. (4.15)

Demonstraţie Avem P = nlim

 (P P) = PP, deci sP = s. Pe de altă parte, dacă v este un
n

vector de probabilitate care satisface relaţia (4.14), atunci

v Pn = v,
deci
v P = v,
şi astfel, aplicând lema,
4
s = v.