Lanturi Markov

Lant uri Markov
2
0.1 Introducere
In contextul economic actual (dar nu numai, ntruc at ne putem referi si

la alte domenii cum ar ingineria, biologia, genetica, teoria jocurilor de
noroc, biomatematica, mecanica uidelor, teoria asteptarii etc), evolut ia
n timp a cifrei de afaceri a unei rme, evolut ia n timp a pret urilor unui
activ nanciar, evolut ia n timp a stocului dintr-o anumit a marf a aat a
ntr-un depozit, num arul persoanelor ce stau la o coad a de asteptare n
vederea solicitarii unui anumit serviciu precum si a altor fenomene, are
un pronunt at caracter aleator, de incertitudine (i.e. nu sunt cunoscute la
momentul de la care ncepem studiul fenomenului respectiv).
Toate fenomenele descrise se pot modela cu ajutorul proceselor sto-
castice. Un proces stocastic reprezint a o familie (colect ie) de variabile
aleatoare (X
t
)
tT
, unde pentru t T xat, X
t
reprezint a starea fenomenu-
lui studiat la momentul de timp t. Putem vorbi de procese stocastice n
timp discret, atunci cand mult imea T este discret a (i.e. este o mult ime
cel mult numarabila, adic a este nit a sau num arabila) sau procese n
timp continuu, atunci cand mult imea T este un interval de timp (nit
sau nu).
In acest capitol vom studia o clasa particular a de procese n timp dis-

cret, pentru care mult imea valorilor este de asemenea o mult ime discreta,
si anume lant urile Markov. Vom vedea c a lant urile Markov se caracter-
izeaz a prin lipsa memoriei, i.e. dac a suntem n prezent la momentul de
timp t, valorile din viitor ale lant ului depind numai de starea lant ului la
momentul t si nu depind de trecutul acestuia, adic a de ce s-a ntamplat
la momentele de timp s < t. Majoritatea lant urilor Markov pe care le
vom nt alni sunt omogene, sau echivalent spunem c a au probabilitat i de
trecere stat ionare, ceea ce nseamn a ca trecerea lant ului dintr-o stare i
la un moment de timp s ntr-o stare j la un moment ulterior t > s nu
depinde de momentele de timp s, t ci depinde numai de t s, care este
lungimea intervalului de timp scurs ntre cele doua momente.
Vor prezentate un numar considerabil de aplicat ii ale lant urilor
Markov, precum si o serie de probleme rezolvate si propuse care sa clari-
ce si s a completeze cu succes not iunile teoretice prezentate.
0.2 Denit ii si propriet at i 3
0.2 Denit ii si proprietat i
Se considera (, T,P) un cmp de probabilitate, I o mult ime discreta (cel
mult numarabil a) si un sir (X
n
)
n0
de variabile aleatoare denite pe si
lu and valori n mult imea I.
Denit ia 1 Spunem ca sirul (X
n
) formeaza un lant Markov cu mult imea
starilor I, daca pentru orice n N si orice stari i
0
, i
1
, . . . , i
n
, i
n+1
I,
are loc egalitatea
P (X
n+1
= i
n+1
[ X
0
= i
0
, . . . , X
n1
= i
n1
, X
n
= i
n
) = P (X
n+1
= i
n+1
[ X
n
= i
n
) ,
(1)
daca P (X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
, X
n
= i
n
) > 0. Aceasta egali-
tate este cunoscuta sub numele de proprietatea Markov.
Remarca 1 Proprietatea Markov exprima faptul ca evolut ia ulterioara
a lant ului (la momentul n + 1), atunci cand trecutul si prezentul sunt
cunoscute, depinde numai de starea lant ului n prezent (la momentul n)
si nu depinde de ce s-a ntamplat n trecut (la momentele 0, 1, . . . , n1).
Ca o consecint a a denit iei lant ului Markov, putem enunt a urmatorul
rezultat.
Propozit ia 1 Daca (X
n
) este un lant Markov, atunci
P(X
0
= i
0
, X
1
= i
1
. . . ,X
n1
= i
n1
, X
n
= i
n
) = P(X
0
= i
0
) P(X
1
= i
1
[X
0
= i
0
)
. . . P(X
n
= i
n
[X
n1
= i
n1
),
(2)
pentru orice n 1 si i
0
, i
1
, . . . , i
n
I, daca probabilitat ile condit ionate
ce apar au sens.
Demonstratie. Utiliz and denit ia probabilitat ilor condit ionate si
formula (1), obt inem succesiv
P(X
0
= i
0
, X
1
= i
1
. . . , X
n
= i
n
) = P(X
0
= i
0
) P(X
1
= i
1
[X
0
= i
0
)
P(X
2
= i
2
[X
1
= i
1
, X
0
= i
0
) . . . P(X
n
= i
n
[X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
)
= P(X
0
= i
0
) P(X
1
= i
1
[X
0
= i
0
) . . . P(X
n
= i
n
[X
n1
= i
n1
).
4
Denit ia 2 Daca n N este xat, numim matrice de trecere de la mo-
mentul n la momentul n+1 matricea notata P
n,n+1
= (p
n,n+1
ij
)
i,jI
, avand
elementele
p
n,n+1
ij
= P(X
n+1
= j[X
n
= i),
pentru orice i, j I. p
n,n+1
ij
reprezinta probabilitatea de trecere din starea
i la momentul mn starea j ntr-un pas (la momentul n+1). De aseme-
nea, denim
p
m,m+n
ij
= P(X
m+n
= j[X
m
= i),
pentru i, j I si m, n N. Aceasta reprezinta probabilitatea de trecere
din starea i la momentul m n starea j la momentul m + n. Matricea
de trecere de la momentul m la momentul m + n este notata P
n,m+n
=
(p
m,m+n
ij
)
i,jI
.
Spunem ca un lant Markov este omogen daca toate probabilit at ile p
n,n+1
ij
nu depind de n, ci de num arul de pasi necesari trecerii din starea i n
starea j (adic a un pas). Aceasta nseamna c a p
n,n+1
ij
= p
m,m+1
ij
= p
0,1
ij
:=
p
ij
, pentru orice m, n N. De asemenea, notam prin P matricea de
trecere ntr-un pas, i.e. P = (p
ij
)
i,jI
.
In cazul unui lant Markov omogen se poate ar ata ca probabilitat ile

p
m,m+n
ij
sunt independente de momentele de timp m si m + n si depind
doar de n, num arul pasilor n care se trece din starea i n starea j. Astfel
p
m,m+n
ij
= p
l,l+n
ij
= p
0,n
ij
:= p
(n)
ij
, pentru orice m, n, l N. Matricea P
m,m+n
este deci independenta de m si o not am prin P
(n)
= (p
(n)
ij
)
i,jI
.
In mod evident,
p
ij
0, i, j I, (3)
si, pentru i I xat,
jI
p
ij
=
jI
P(X
1
= j[X
0
= i) =
jI
P(X
1
= j, X
0
= i)
P(X
0
= i)
=
P [
jI
(X
1
= j, X
0
= i)]
P(X
0
= i)
=
P [(
jI
(X
1
= j)) (X
0
= i)]
P(X
0
= i)
=
P[ (X
0
= i)]
P(X
0
= i)
=
P(X
0
= i)
P(X
0
= i)
= 1.
(4)
0.2 Denit ii si propriet at i 5
Am utilizat faptul ca familia de evenimente (X
1
= j)
jI
formeaz a o
partit ie (desfacere) a evenimentului sigur , i.e.
(a)
jI
(X
1
= j) = (ntrucat v.a. X
1
ia valori n mult imea starilor
I).
(b) Evenimentele (X
1
= j)
jI
sunt incompatibile doua c ate dou a.
Denit ia 3 O matrice (nita sau innita) cu elementele numere pozitive
si pentru care suma elementelor de pe ecare linie (respectiv suma seriei
elementelor n cazul unei matrici innite) este egala cu 1 se numeste
matrice stocastica.
Deducem, conform cu relat iile (3) si (4), c a matricea de trecere (ntr-un
singur pas) P este o matrice stocastic a.

In mod analog se arat a ca toate
matricile de trecere (ntr-un num ar oarecare de pasi n ) P
(n)
sunt matrici
stocastice.
Repartit ia variabilei (discrete) X
0
X
0
:
_
i
p
i
_
iI
, i.e. P(X
0
= i) = p
i
, i I,
se numeste repartit ia (distribut ia) init iala a lant ului.

In mod evident
iI
p
i
= 1 (n cazul n care I este o mult ime num arabila aceast a sum a
reprezint a suma seriei cu termenul general p
i
).
In cazul unui lant Markov omogen, formula (2) se rescrie, cu notat iile
nou introduse,
P(X
0
= i
0
, X
1
= i
1
. . . , X
n1
= i
n1
, X
n
= i
n
) = p
i
0
p
i
0
i
1
. . . p
i
n1
i
n
.
(5)
Vom vedea acum ce relat ie exist a ntre matricile P
(n)
de trecere n n
pasi si matricea P de trecere ntr-un singur pas.
Propozit ia 2 Fie (X
n
)
n0
un lant Markov omogen. Are loc relat ia
p
(n)
ij
= p
n
ij
, i, j I, n N
, (6)
i.e. matricea de trecere n n pasi P
(n)
este egala cu puterea de ordin n a
matricii de trecere ntr-un singur pas P.
6
Demonstrat ie. Vom demonstra acest rezultat prin induct ie matem-
atic a. Pentru n = 1 formula este n mod evident adevarata. Presupunem
c a P
(n)
= P
n
si vom ar ata c a P
(n+1)
= P
n+1
, pentru n N
oarecare.
Fie i, j I. Atunci
p
(n+1)
ij
= P(X
n+1
= j[X
0
= i) = P((X
n+1
= j) [X
0
= i)
= P(X
n+1
= j,
kI
(X
n
= k)[X
0
= i) =
kI
P(X
n+1
= j, X
n
= k[X
0
= i)
=
kI
P(X
n+1
= j[X
n
= k, X
0
= i) P(X
n
= k[X
0
= i)
=
kI
P(X
n+1
= j[X
n
= k) P(X
n
= k[X
0
= i) =
kI
p
(n)
ik
p
kj
=
kI
p
n
ik
p
kj
= p
n+1
ij
.
Ultima egalitate rezulta din faptul c a P
n+1
= P
n
P, P
(n)
= P
n
(conform
ipotezei de induct ie) si dac a C = AB, atunci c
ij
=
k
a
ik
b
kj
, unde
A, B, C sunt matrici de ordine corespunzatoare (c
ij
reprezinta elementul
de pe linia i, coloana j a matricii produs A B).
Am utilizat de asemenea proprietatea lui Markov si egalit at ile ele-
mentare
P(A B[C) = P(A[B C) P(B[C), daca A, B, C T, (7)
P (A (
jJ
B
j
) [C) =
jJ
P(A B
j
[C),
atunci cand evenimentele (B
j
)
jJ
sunt incompatibile. Mai mult, am
v azut c a familia de evenimente (X
n
= k)
kI
formeaz a o partit ie a
evenimentului sigur .
In continuare, atunci c and nu se specic a daca lant ul Markov este

omogen sau neomogen, vom subnt elege ca acesta este omogen.
Corolarul 1 Pentru orice i, j I si m, n N
are loc egalitatea

p
m+n
ij
=
kI
p
m
ik
p
n
kj
. (8)
Aceasta formula este cunoscuta sub numele de formula Chapman-Kolmogorov.
0.3 Exemple de lant uri Markov 7
Egalitatea de mai sus rezulta imediat din relat ia Intrucat P
n+m
= P
m
P
n
,
n care putem scrie, conform propozit iei anterioare, P
n+m
= P
(n+m)
,
P
m
= P
(m)
si P
n
= P
(n)
.
0.3 Exemple de lant uri Markov
1. Sume de variabile aleatoare independente
Fie Y o variabil a aleatoare discret a avand repartit ia
Y :
_
0 1 . . . k . . .
p
0
p
1
. . . p
k
. . .
_
,
i.e. P (Y = k) = p
k
, k 0 si
k=0
p
k
= 1.
Fie un sir (Y
n
)
n1
de variabile aleatoare independente av and aceeasi
repartit ie cu cea a lui Y . Denim sirul (X
n
)
n0
prin
X
0
= 0, X
n
=
n
k=1
Y
k
= Y
1
+ . . . + Y
n
, n 1. (9)
Vom ar ata ca sirul (X
n
)
n0
este un lant Markov. Pentru aceasta
vom calcula probabilit at ile P (X
n+1
= i
n+1
[ X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= i
0
),
ce sunt nenule numai dac a i
0
= 0 si i
1
i
2
. . . i
n
i
n+1
. Atunci
P(X
n+1
= i
n+1
[X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= 0)
=
P (X
n+1
= i
n+1
, X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= 0)
P(X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= 0)
=
P
_
n+1
k=1
Y
k
= i
n+1
,
n
k=1
Y
k
= i
n
,
n1
k=1
Y
k
= i
n1
, . . . , Y
1
+ Y
2
= i
2
, Y
1
= i
1
, X
0
= 0
_
P(
n
k=1
Y
k
= i
n
,
n1
k=1
Y
k
= i
n1
, . . . , Y
1
+ Y
2
= i
2
, Y
1
= i
1
, X
0
= 0)
=
P(X
0
= 0, Y
1
= i
1
, Y
2
= i
2
i
1
, . . . , Y
n
= i
n
i
n1
, Y
n+1
= i
n+1
i
n
)
P(X
0
= 0, Y
1
= i
1
, Y
2
= i
2
i
1
, . . . , Y
n
= i
n
i
n1
)
=
P(X
0
= 0) P(Y
1
= i
1
) P(Y
2
= i
2
i
1
) . . . P(Y
n
= i
n
i
n1
) P(Y
n+1
= i
n+1
i
n
))
P(X
0
= 0) P(Y
1
= i
1
) PY
2
= i
2
i
1
) . . . P(Y
n
= i
n
i
n1
)
= P(Y
n+1
= i
n+1
i
n
) = p
i
n+1
i
n
,
si de asemenea
P(X
n+1
= i
n+1
[X
n
= i
n
) = P(Y
n+1
= i
n+1
i
n
) = p
i
n+1
i
n
.
8
Am utilizat faptul c a variabilele aleatoare X
0
, Y
1
, Y
2
, . . . , Y
n
, Y
n+1
sunt independente si c a repartit ia comun a a v.a. Y
1
, Y
2
, . . . , Y
n
, . . .
este data de repartit ia v.a. Y . Rezult a
P(X
n+1
= i
n+1
[X
n
= i
n
, X
n1
= i
n1
, . . . , X
1
= i
1
, X
0
= 0) = P(X
n+1
= i
n+1
[X
n
= i
n
),
si deci (X
n
)
n0
este un lant Markov cu mult imea st arilor N.
Se pot calcula cu usurint a probabilitat ile de trecere ntr-un pas
p
ij
. Astfel, pentru i > j, p
ij
este n mod evident 0 si dac a i j,
p
ij
= p
ji
. Atunci matricea de trecere ntr-un pas P este data prin
0 1 2 . . .
0
1
2
.
.
.
_
_
_
_
_
p
0
p
1
p
2
p
3
p
4
. . .
0 p
0
p
1
p
2
p
3
. . .
0 0 p
0
p
1
p
2
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
(a) Mersul la ntamplare
Drumul parcurs de o persoan a n linie dreapta (care poate
deci merge numai nainte sau napoi) se ncadreaz a n modelul
descris mai sus. Presupunem c a la ecare moment de timp
persoana poate face un pas nainte cu probabilitatea p si un
pas napoi cu probabilitatea q si ca la momentul init ial aceasta
se aa n pozit ia 0. Fie Y
n
variabila aleatoare care ne spune
decizia luat a de persoana respectiva la momentul n 1 (poate
face un pas nainte sau napoi). Atunci repartit ia v.a. Y
n
este
Y
n
:
_
1 1
q p
_
, 0 < p, q < 1, p + q = 1.
Putem presupunen mod evident c a variabilele aleatoare Y
1
, Y
2
,
. . . sunt independente, deoarece decizia luata la un moment
oarecare de timp nu depinde de deciziile anterioare. Denim
sirul (X
n
)
n0
prin
X
0
= 0, X
n
=
n
k=1
Y
k
= Y
1
+ . . . + Y
n
, n 1. (10)
Pentru n xat, X
n
reprezint a pozit ia la care se a a persoana
la momentul n. Sirul (X
n
) este n mod evident un lant Markov
cu mult imea starilor dat a de mult imea numerelor ntregi Z.
Vom determina acum probabilit at ile de trecere ntr-un pas.
Dac a la momentul n persoana se gaseste n pozit ia i Z,
atunci la momentul imediat urmator se poate aa n una din
pozit iile i 1 sau i +1, cu probabilitat ile q, respectiv p. Astfel
p
i,i1
= q, p
i,i+1
= p si p
ij
= 0 pentru j ,= i 1, i + 1.
(b) Ruinarea jucatorului
Acest exemplu provine din teoria jocurilor de noroc si este
cunoscut sub numele de ruinarea jucatorului.
Doua persoane A si B cu capitalurile init iale S
1
si S
2
sunt anga-
jate ntr-un joc de noroc constituit din partide independente.
Fie S = S
1
+ S
2
suma total a angajat a n joc. La ecare par-
tid a se mizeaz a o unitate de capital si probabilitat ile de c astig
sunt p (pentru persoana A) si q = 1 p (pentru persoana B).
Fie Y
n
c astigul persoanei A n cea de a n-a partida, deci
sirul (Y
n
)
n1
este un sir de variabile aleatoare independente
cu P(Y
n
= 1) = p, P(Y
n
= 1) = q, pentru orice n. Atunci
c astigul (sau pierderea) persoanei A dupa primele n partide
este X
n
= Y
1
+ ... + Y
n
, pentru n 1.
Presupunem ca daca persoana A ajunge n starea 0 la un mo-
ment dat, nu mai poate continua jocul, ind ruinata. De
asemenea, dac a A ajunge n starea S jocul ia sf arsit intrucat
n acest caz jucatorul B este ruinat.
(X
n
)
n1
este in mod evident un lant Markov cu mult imea
st arilor I = 0, 1, ..., S si cu matricea de trecere
0 1 2 . . . S 1 S
0
1
2
. . .
S 1
S
_
_
_
_
_
_
_
_
1 0 0 0 ... 0 0 0
q 0 p 0 ... 0 0 0
0 q 0 p ... 0 0 0
. . . . . . . . . 0 ... . . . . . . . . .
0 0 0 0 ... q 0 p
0 0 0 0 ... 0 0 1
_
_
_
_
_
_
_
_
St arile 0 si S sunt st ari absorbante (i.e. daca lant ul a ajuns
10
n una din starile respective ramane acolo).
Se poate arat a ca probabilit at ile de trecere in n pasi sunt date
de relat iile
p
n
ij
=
_
C
1
2
(n+ji)
n
p
1
2
(n+ji)
q
1
2
(nj+i)
, dac a n + j i este par,
0, n caz contrar.
(11)
Dac a accept am si varianta jocului neutru (remiza), n care,
n cazul unei partide exista si posibilitatea ca nici unul dintre
juc atori sa nu c astige, cu probabilitatea r, atunci Y
n
va avea
repartit ia
Y
n
:
_
1 0 1
q r p
_
, 0 < p, q, r < 1, p + q + r = 1.
In aceasta situat ie matricea de trecere P are forma

0 1 2 . . . S 1 S
0
1
2
. . .
S 1
S
_
_
_
_
_
_
_
_
1 0 0 0 ... 0 0 0
q r p 0 ... 0 0 0
0 q r p ... 0 0 0
. . . . . . . . . 0 ... . . . . . . . . .
0 0 0 0 ... q r p
0 0 0 0 ... 0 0 1
_
_
_
_
_
_
_
_
Putem considera si cazul n care o persoana A joac a o serie
de jocuri de noroc la un cazino, n care remiza este exclus a.
In aceast a situat ie jucatorul B (cazinoul) dispune de o sum a

nelimitat a de bani (S
2
= ), ntruc at in practica cazinourile
nu sunt niciodat a ruinate. Cu notat iile de mai sus, (X
n
) este
un lant Markov pentru care mult imea st arilor este I = N si
numai starea i = 0 este stare absorbanta.
Matricea de trecere este data prin
0 1 2 . . .
0
1
2
.
.
.
_
_
_
_
_
1 0 0 0 . . . 0 0
q 0 p 0 . . . 0 0
0 q 0 p . . . 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
2. Un exemplu din teoria asteptarii
In cadrul unui centru ce ofera servicii (un supermarket, o banc a, o

benzin arie, un cinematograf etc), client ii ce solicit a serviciul respec-
tiv pot benecia de acesta numai daca se aseaz a ntr-un rand de
asteptare (coad a), ind servit i n momentul n care le vine r andul,
adic a la momentele 0, 1, 2, . . . , n, . . . . Presupunem ca n intervalul
de timp (n, n + 1) sosesc Y
n+1
client i, cu n N arbitrar. Intu-
itiv, este evident ca numarul persoanelor ce ajung la coad a ntre
momentele n, n + 1 nu depinde de num arul celor ce ajung ntre
momentele m, m + 1, unde m, n N sunt oarecare si m ,= n.
De asemenea, num arul client ilor ce ajung la coad a nu depinde de
num arul client ilor aat i deja la coad a.
Putem astfel presupune c a variabilele Y
0
, Y
1
, . . . , Y
n
, . . . sunt inde-
pendente si identic repartizate, avand repartit ia
Y
n
:
_
0 1 . . . k . . .
p
0
p
1
. . . p
k
. . .
_
,
i.e. P (Y
n
= k) = p
k
, k N, si
k=0
p
k
= 1.
Not am prin X
n
num arul client ilor prezent i la coad a la momentul
n, incluzand aici si clientul care este servit la momentul n. Vom
ar ata ca (X
n
)
n0
este un lant Markov cu mult imea st arilor N.
S a observ am ca num arul client ilor prezent i la momentul n +1 este
egal cu num arul client ilor prezent i la momentul n, mai put in cel
servit la momentul n (dac a exista vreunul), plus num arul client ilor
ce sosesc n intervalul (n, n + 1). Prin urmare
X
n+1
=
_
X
n
1 + Y
n
, daca X
n
1,
Y
n
, daca X
n
= 0,
12
Intruc at X
n+1
depinde numai de X
n
si Y
n
iar variabilele X
n
si Y
n
sunt independente, se poate ar ata f ara dicultate c a (X
n
)
n0
este
un lant Markov.
Vom determina acum matricea de trecere P = (p
ij
)
i,j0
. Pentru
i = 0,
p
0j
= P(X
n+1
= j[X
n
= 0) = P(Y
n
= j[X
n
= 0)
=
P(Y
n
= j, X
n
= 0)
P(X
n
= 0)
=
P(Y
n
= j) P(X
n
= 0)
P(X
n
= 0)
= p
j
,
pentru orice j N. Am utilizat faptul c a variabilele aleatoare X
n
si Y
n
sunt independente. Pentru i 1,
p
ij
= P(X
n+1
= j[X
n
= i) = P(X
n
1 + Y
n
= j[X
n
= i)
=
P(X
n
1 + Y
n
= j, X
n
= i)
P(X
n
= i)
=
P(Y
n
= j i + 1, X
n
= i)
P(X
n
= i)
=
P(X
n
= j i + 1)P(X
n
= i)
P(X
n
= i)
=
_
p
ji+1
, daca j i 1,
0, daca j < i 1,
intruc at probabilitatea ca X
n
s a ia valori strict negative este 0.
Matricea de trecere P are atunci forma
0 1 2 3 . . . n . . .
0
1
2
3
.
.
.
n
.
.
.
_
_
_
_
_
_
_
_
_
_
_
p
0
p
1
p
2
p
3
. . . p
n
. . .
p
0
p
1
p
2
p
3
. . . p
n
. . .
0 p
0
p
1
p
2
. . . p
n1
. . .
0 0 p
0
p
1
. . . p
n2
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 0 . . . p
1
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
_
_
_
In practic a ins a, deoarece timpul este extrem de pret ios, de cele

mai multe ori daca cineva observ a o coad a de asteptare prea mare
renunt a s a apeleze la serviciul respectiv. Presupunem astfel c a este
dat un num ar natural M (lungimea maxim admisibil a a cozii)
astfel c a daca cineva ajunge la coada si observa c a aceasta este de
lungime mai mare decat M, pleac a si nu se mai intoarce.

In acest
caz sirul (X
n
) este denit prin
X
n+1
=
_
_
_
X
n
1 + Y
n
, dac a 1 X
n
M, X
n
+ Y
n
1 M,
Y
n
, dac a X
n
= 0, Y
n
M 1,
M, n celelalte cazuri.
Matricea de trecere P este n acest caz
0 1 2 . . . M 1 M
0
1
2
.
.
.
M 1
M
_
_
_
_
_
_
_
_
_
p
0
p
1
p
2
. . . p
M1
k=M
p
k
p
0
p
1
p
2
. . . p
M1
k=M
p
k
0 p
0
p
1
. . . p
M2
k=M1
p
k
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 . . . p
1
k=2
p
k
0 0 0 . . . p
0
k=1
p
k
_
_
_
_
_
_
_
_
_
3. Un model de stocare si aprovizionare
Se consider a un depozit n care este stocat a o anumita marf a, si care
este aprovizionat la momentele de timp 1, 2, . . . , n, . . . . Cererea
pentru marfa respectiva n intervalul (n, n + 1) (dintre momentele
consecutive de aprovizionare n si n + 1, cu n 1 oarecare) este
dat a de variabila aleatoare Y
n
, a c arei repartit ie este dat a prin
Y
n
:
_
0 1 . . . k . . .
p
0
p
1
. . . p
k
. . .
_
,
i.e. P (Y
n
= k) = p
k
, k 0 si
k=0
p
k
= 1. Putem presupune ca
variabilele aleatoare Y
1
, Y
2
, . . . , Y
n
, . . . sunt independente.
Nivelul stocului este vericat la nceputul ec arei perioade si n
funct ie de acesta se ia una din deciziile urmatoare:
14
dac a cantitatea disponibil a de marf a aata n stoc este mai
mic a decat o valoare critic a s, atunci stocul urmeaza s a se
aduc a n perioada imediat urmatoare la capacitatea maxim a
S;
dac a nivelul mari din stoc este mai mare decat s, atunci n
perioada imediat urm atoare nu are loc nici o reaprovizionare
a stocului.
Numerele strict pozitive s si S, cu s < S, reprezentand capaci-
tatea minima respectiv cea maxim a a stocului sunt cunoscute. Fie
X
n
cantitatea de marfa din depozit la momentul de timp imediat
anterior momentului de reaprovizionare n, pentru n 1. Fiecare
variabila aleatoare X
n
poate lua valorile S, S1, . . . , 1, 0, 1, . . . ,
si deci mult imea st arilor sirului (X
n
)
n1
este I = k Z[k S =
S, S 1, . . . , s, s 1, . . . , 0, 1, 2, . . .. Acceptam si valori nega-
tive pentru X
n
, n sensul ca pot exista cereri neonorate din marfa
respectiv a (datorit a epuiz arii stocului), cereri ce vor onorate dupa
urm atoarea reaprovizionare. Este natural s a presupunem ca cererea
dintr-o anumita perioad a nu depinde de cantitatea de marfa aat a
n stoc la sf arsitul perioadei precedente, astfel v. a. X
n
si Y
n+1
sunt
independente, pentru orice n.
Daca X
n
= i s, atunci conform cu cele discutate stocul se
va aduce la capacitatea maxima S la momentul n (c and are loc
urm atoarea aprovizionare), si atunci chiar nainte de momentul
n + 1 vom ram ane cu cantitatea S din care scadem Y
n+1
(care
este cererea din intervalul (n, n+1)), adica X
n+1
= S Y
n+1
. Dac a
nsa X
n
> s, atunci la momentul n stocul nu este remprospatat
(r amanem asadar cu cantitatea de marf a X
n
), si atunci X
n+1
=
X
n
Y
n+1
. Rezum and putem scrie
X
n+1
=
_
X
n
Y
n+1
, daca s < X
n
S,
S Y
n+1
, daca X
n
s.
Vom determina acum probabilit at ile de trecere ntr-un pas. Fie
i s + 1, s + 2, . . . , S si j I. Atunci
p
ij
= P(X
n+1
= j[X
n
= i) =
P(X
n
Y
n+1
= j, X
n
= i)
P(X
n
= i)
=
P(Y
n+1
= i j, X
n
= i)
P(X
n
= i)
=
P(Y
n+1
= i j) P(X
n
= i)
P(X
n
= i)
= P(Y
n+1
= i j) =
_
p
ij
, daca j i,
0, daca j > i,
(12)
unde am utilizat independent a variabilelor X
n
si Y
n+1
si faptul c a
Y
n+1
ia numai valori pozitive. Daca i s, atunci
p
ij
= P(Y
n+1
= S j) = p
Sj
.
4. Un model de transmitere a unui virus ntr-o populat ie
O colectivitate uman a cont ine indivizi contaminat i si indivizi necontaminat i
dar susceptibili de contaminare, cauza contamin arii ind datorat
unui virus (grip a tipic a sau atipica, SIDA etc). Plec and la momen-
tul 0 cu un anumit num ar de indivizi infectat i, urm atoarele cazuri
de mboln avire apar dar susceptibili de contaminare grupuri, la in-
tervale egale cu perioada de incubat ie a virusului. Notam: r =
volumul populat iei considerate, Y
n
, n 0, num arul indivizilor care
se mboln avesc imediat dupa momentul n si X
n
num arul indivizilor
r amasi necontaminat i la momentul n. Evident X
n
= Y
n+1
+ X
n+1
.
Sansa de contaminare (probabilitatea de transmitere a virusului
la un contact ntre un individ contaminat si unul s anatos) este
p > 0, , iar sansa de necontaminare ntre un individ contaminat si
unul s an atos este q = 1 p. Presupun and c a toate contactele se
realizeaz a independent unul de altul, probabilitatea ca i contacte sa
conduc a la k contamin ari (k i) este C
k
i
p
k
q
ik
(conform schemei
bilei revenite).
Deci putem scrie
P (X
n+1
= j [ X
n
= i) = P (Y
n+1
= X
n
j [ X
n
= i) =
16
P (Y
n+1
= i j [ X
n
= i) =
_
C
j
i
p
ij
q
i
, i j
0 i < j.
(X
n
)
n0
este un lant Markov cu st arile 0, 1, . . . , r si matricea de
trecere
P =
0 1 2 . . . r
0
1
2
. . .
r
_
_
_
_
_
_
1 0 0 . . . 0
p q 0 . . . 0
p
2
pq q
2
. . . 0
. . . . . . . . . . . . . . .
p
r
rp
r1
q C
2
r
p
r1
q
2
. . . q
r
_
_
_
_
_
_
.
5. Schema lui Polya (Un exemplu de lant Markov neomogen).
Vom considera o urna ce cont ine la momentul init ial a bile albe si
b bile negre. Din aceasta urna se fac extrageri succesive si dup a
ecare extragere, bila care a fost extrasa este reintrodusa in urna,
impreun a cu c bile de aceeasi culoare.
Not am prin X
n
num arul bilelor albe obt inuten primele n extrageri.
0 X
n
n si X
0
= 0 prin denit ie. Mult imea st arilor este
I = N. Daca X
n
= i, deci dac a n primele n extrageri am obt inut
i bile albe si n i bile negre, atunci naintea celei de a (n + 1)-a
extragere urna va cont ine a +ci bile albe si b +(n i) c bile negre,
si n total a + b + nc bile. Atunci probabilitatea ca X
n+1
s a ia
o anumita valoare, condit ionat a de valorile X
0
, . . . X
n
va depinde
numai de valoarea lui X
n
, valoare ce determina compozit ia urnei
dup a primele n extrageri, ceea ce inseamna ca (X
n
) este un lant
Markov.
X
n+1
are atunci valoarea i daca la cea de a (n + 1)-a extragere
s-a extras o bila neagra, respectiv i + 1 daca la cea de a (n + 1)-a
extragere s-a extras o bila alba. Se obtine
P (X
n+1
= i [ X
n
= i) =
b + (n i) c
a + b + nc
,
P (X
n+1
= i + 1 [ X
n
= i) =
a + ic
a + b + nc
si
P (X
n+1
= j [ X
n
= i) = 0, daca j ,= i, i + 1.
Intruc at probabilitat ile de mai sus depind de momentul n, deducem
in mod evident c a (X
n
)
n0
este un lant Markov neomogen. Aceasta
se datoreaz a faptului ca dupa ecare extragere numarul bilelor ce
sunt introduse in urn a depinde de momentul de timp n la care s-a
facut extragerea.
6. Modelul lui Moran (Un model din teoria rezervoarelor).
S a consideram un rezervor de apa cu capacitatea de S unit at i (de
exemplu litri sau hectolitri). Fie Y
n
cantitatea de apa acumulat a
n rezervor in timpul unitat ii de timp (zi sau sapt am ana sau luna)
n. Se poate evident face presupunerea c a variabilele aleatoare (Y
n
)
sunt independente si identic repartizate, av and repartit ia comuna
dat a prin
Y
n
:
_
0 1 . . . k . . . S
p
0
p
1
. . . p
k
. . . p
S
_
.
La sfarsitul ec arei unit ati de timp se elibereaza o anumita canti-
tate de apa din rezervor, in sensul c a la sf arsitul momentului n se
elibereaz a (livreaza) cantitatea s de unit at i de ap a, except ie f ac and
situat ia cind rezervorul are mai put in de s unit at i, caz in care se
d a drumul intregii cantit at i de apa din rezervor. Evident s < S.
Fie X
n
cantitatea de ap a aata in rezervor la inceputul momentului
n (inceputul zilei sau s apt amanii sau lunii n). La sfarsitul momen-
tului n in rezervor vom avea cantitatea X
n
+ Y
n
(care nu poate
dep asi capacitatea rezervorului S) din care se scade cantitatea de
ap a prevazuta a livrat a. Atunci putem scrie
X
n+1
=
_
X
n
+ Y
n
s, daca s X
n
+ Y
n
,
0, daca X
n
+ Y
n
< s,
sau echivalent
X
n+1
= X
n
+ Y
n
min (s, Y
n
+ X
n
) .
18
Not am P
i
=
i
k=0
p
k
, Q
i
=
S
k=i+1
p
k
= 1 P
i
. Se observ a cu
usurinta c a sirul (X
n
) este un lant Markov omogen cu multimea
st arilor I = 0, 1, ..., S s si matricea de trecere
P =
0 1 2 . . . S s 1 S s
0
1
...
s
s + 1
...
S s
_
_
_
_
_
_
_
_
_
_
P
k
p
k+1
p
k+2
. . . p
m1
Q
m
P
k1
p
k
p
k+1
. . . p
m2
Q
m1
... ... ... ... ... ...
p
0
p
1
p
2
... p
Ss1
p
Ss
0 p
0
p
1
... p
Ss2
p
Ss1
. . . . . . . . . . . . . . . . . .
0 0 0 . . . p
k1
Q
k
_
_
_
_
_
_
_
_
_
_
0.4 Clasicarea starilor unui lant Markov
In aceast a sect iune vom introduce o relat ie de echivalent a pe mult imea

I a st arilor unui lant Markov, n raport cu care I se mparte n clase
de echivalent a. Vom vedea ca st arile dintr-o clasa oarecare se bucur a de
aceleasi propriet at i (recurent a, tranzient a, periodicitate).
Denit ia 4 Spunem ca starea j este accesibila din starea i (scriem i
j) daca exista n N a.. p
n
ij
= P(X
n
= j[X
0
= i) > 0 (i.e. daca putem
ajunge din starea i n starea j cu o probabilitate nenula). Spunem ca
starile i si j comunica (scriem i j) daca starea j este accesibila din i
si starea i este accesibila din j, i.e. daca i j si j i.
Propozit ia 3 Relat ia de comunicare denita pe mult imea starilor
I este o relat ie de echivalent a (i.e. este reexiva, simetrica si tranzitiva).
Demonstrat ie. Fie i I.

Intruc at p
0
ii
= 1, rezulta i i si deci relat ia
este reexiva.
Dac a i, j I si i j, atunci n mod evident j i (conform denit iei
de mai sus). Deducem c a relat ia este simetrica.
Fie acum i, j, k I cu proprietatea i j si j k. Rezulta ca exist a
m, l N a.i. p
m
ij
> 0 si p
l
jk
> 0 (deoarece starea j este accesibila din i si
0.4 Clasicarea st arilor unui lant Markov 19
starea k este accesibila din j). Fie n = m + l. Atunci, conform relat iei
Chapman-Kolmogorov
p
n
ik
= p
m+l
ik
=
hI
p
m
ih
p
l
hk
p
m
ij
p
l
jk
> 0,
Rezult a i k.

In mod asem anator se arat a si c a k i si deci relat ia
este tranzitiva.
Mult imea starilor I se poate mp art i astfel n clase de echivalent a
modulo relat ia de echivalent a , i.e. orice doua st ari ce comunic a se
a a in aceeasi clas a de echivalent a.
Remarca 2 Vom da acum un procedeu practic de gasire a tuturor claselor
de echivalent a. Daca i I este o stare oarecare, determinamam mai ntai
toate starile j ce comunica cu i (j i), rezultand astfel o prima clasa
de echivalent a C
1
. Se alege apoi o stare oarecare i I C
1
, se gasesc
toate starile ce comunica cu i si n acest mod se determina o alta clasa
de echivalent a C
2
. Procedeul continua astfel pana la epuizarea tuturor
starilor.
Denit ia 5 Spunem ca o mult ime de stari C este inchisa daca pentru
orice i C si j I C, rezulta p
ij
= 0 (adica nici o stare din afara
mult imii C nu este accesibila din C, sau altfel spus odata ce am ajuns n
C vom ramane mereu n C).
Spunem ca o stare i este absorbanta daca mult imea i este nchisa,
adica daca p
ij
= 0, pentru orice j ,= i. Atunci, cum matricea de trecere
P este o matrice stocastica, avem
jI
p
ij
= 1. Rezulta atunci p
ii
= 1,
daca i este o stare absorbanta.
Denit ia 6 Spunem ca un lant Markov este ireductibil daca toate starile
comunica (i j pentru orice i, j I).
Astfel, n cazul unui lant Markov ireductibil, exist a o singura clasa de
echivalent a n raport cu relat ia de comunicare .
Denit ia 7 Spunem ca o anumita proprietate este proprietate de clasa
daca odata ce o stare i are proprietatea respectiva, toate starile din clasa
de echivalent a corespunzatoare lui i se bucura de proprietatea respectiva.
20
Fie i I. Denim T
i
ca ind primul moment de timp n 1 la care
lant ul (X
n
)
n0
ajunge n starea i (dac a exist a un asemenea moment), i.e.
T
i
=
_
minn 1[X
n
= i, dac a n 1 a.. X
n
= i;
, n caz contrar.
(13)
T
i
este n mod evident o variabil a aleatoare, ntruc at nu cunoastem
apriori daca si cand lant ul va trece prin starea i.
Denit ia 8 Spunem ca o stare i este recurenta daca P(T
i
< [X
0
=
i) = 1 si tranzienta n caz contrar (i.e. daca P(T
i
< [X
0
= i) < 1).
Cu alte cuvinte, o stare este recurenta dac a odat a ce lant ul a ajuns n
starea respectiv a, se va ntoarce sigur la un moment dat n acea stare.
Se poate arata c a lant ul va trece de o innitate de ori printr-o stare
recurent a.
Pentru i, j I si n N
, notam prin f
n
ij
probabilitatea ca lant ul s a
ajunga din starea i pentru prima oara n starea j dup a exact n pasi, i.e.
f
n
ij
= P(X
1
,= j, X
2
,= j, . . . , X
n1
,= j, X
n
= j[X
0
= i). (14)
Prin convent ie denim f
0
ij
= 0.
Dac a i I, vom nota prin P
i
aplicat ia denit a pe T cu valori n R
denit a prin
P
i
(A) = P(A[X
0
= i), pentru orice A T. (15)
Se poate ar ata cu usurint a c a pentru orice stare i I, P
i
este o funct ie
de probabilitate (condit ionata). Putem formula o prim a caracterizare a
st arilor recurente.
Propozit ia 4 O stare i este recurenta daca si numai daca
n=1
f
n
ii
= 1. (16)
Demonstratie. Scriem
P(T
i
< [X
0
= i) = P
i
(T
i
< ) = P
i
(
n=1
(T
i
= n)) =
n=1
P
i
(T
i
= n)
= P
i
(X
1
,= i, X
2
,= i, . . . , X
n1
,= i, X
n
= i) =
n=1
f
n
ii
.
(17)
Am utilizat denit ia lui T
i
si faptul c a evenimentele (T
i
= n)
n1
sunt
incompatibile. Atunci i este recurent a P
i
(T
i
< ) = 1
n=1
f
n
ii
=
1.
In cazul n care i este o stare recurenta, probabilitatea ca variabila

aleatoare T
i
s a ia o valoare n oarecare (n 1), stiind c a lant ul a plecat
din starea i la momentul 0, este P
i
(T
i
= n) = f
n
ii
(conform cu denit ia
lui T
i
). Atunci repartit ia conditionat a T
i
[X
0
= i are distribut ia
T
i
[X
0
= i :
_
1 2 . . . n . . .
f
1
ii
f
2
ii
. . . f
n
ii
. . .
_
.
Media condit ionat a M(T
i
[X
0
= i) este atunci
M(T
i
[X
0
= i) =
n=1
nf
n
ii
. (18)
Aceast a medie, ind data de suma unei serii, poate eventual innita.
Not am M(T
i
[X
0
= i) = m
i
, care reprezint a timpul mediu de recurent a al
starii i, i.e. reprezint a timpul mediu (asteptat) dupa care lant ul revine
n starea i.
Not am f
ii
=
n=1
f
n
ii
. Conform formulei (17), f
ii
= P
i
(T
i
< ), adic a
f
ii
reprezint a probabilitatea ca plec and din starea i s a ne rentoarcem la
un moment dat n i.
Probabilit at ile f
n
ij
cu i, j I, n 1 se pot determina recurent, n
funct ie de probabilitat ile de trecere ntr-un pas p
ij
.
Propozit ia 5 Au loc egalitat ile
f
1
ij
= p
ij
,
f
n
ij
=
kI\{j}
p
ik
f
n1
kj
, pentru n 2.
(19)
Demonstrat ie. Pentru n = 1 avem
f
1
ij
= P
i
(T
j
= 1) = P (X
1
= j[X
0
= i) = p
ij
.
22
Pentru n 2 se obt ine
f
n
ij
= P
i
(X
1
,= j, X
2
,= j . . . , X
n1
,= j, X
n
= j)
= P
i
(
k=j
(X
1
= k) , X
2
,= j . . . , X
n1
,= j, X
n
= j)
= P
i
(
k=j
(X
1
= k, X
2
,= j . . . , X
n1
,= j, X
n
= j))
=
k=j
P
i
(X
1
= k, X
2
,= j . . . , X
n1
,= j, X
n
= j)
=
k=j
P
i
(X
2
,= j . . . , X
n1
,= j, X
n
= j[X
1
= k) P
i
(X
1
= k)
=
k=j
P
k
(X
1
,= j . . . , X
n1
,= j, X
n
= j) p
ik
=
kI\{j}
f
n1
kj
p
ik
.
In deducerea penultimei egalit at i am utilizat formula (7), proprietatea

lui Markov si faptul c a lant ul (X
n
)
n0
este omogen.
Urm atorul rezultat ne da un mod recursiv de determinare a prob-
abilit at ilor p
n
ij
de trecere dintr-o stare i n alta stare j ntr-un num ar
oarecare de pasi, in funct ie de probabilitat ile f
n
ij
.
Teorema 1 (Teorema primei intrari) Fie i, j I si n 1. Atunci
p
n
ii
=
n
k=0
f
k
ii
p
nk
ii
. (20)
si
p
n
ij
=
n
k=0
f
k
ij
p
nk
jj
. (21)
Demonstrat ie. p
n
ii
reprezint a probabilitatea ca plecand din starea i
s a m iar asi n i la momentul n (nu neap arat pentru prima data dup a
momentul init ial 0). Aceasta inseamn a c a mai putem vizita starea i la
un moment de timp intermediar k cuprins ntre 1 si n. Vom considera
evenimentele (T
i
= k)
1kn
, care sunt n mod evident incompatibile.
Putem scrie
p
n
ii
= P
i
(X
n
= i) = P
i
(
n
k=1
(T
i
= k), X
n
= i)
= P
i
(
n
k=1
(T
i
= k, X
n
= i)) =
n
k=1
P
i
(T
k
= i, X
n
= i)
=
n
k=1
P(X
1
,= i, . . . , X
k1
,= i, X
k
= i, X
n
= i[X
0
= i)
=
n
k=1
P(X
1
,= i, . . . , X
k1
,= i, X
k
= i[X
0
= i)
P(X
n
= i[X
1
,= i, . . . , X
k1
,= i, X
k
= i)
=
n
k=1
P(T
k
= i[X
0
= i) P(X
n
= i[X
k
= i) =
n
k=1
f
k
ii
p
nk
ii
=
n
k=0
f
k
ii
p
nk
ii
.
Am utilizat formula (7), proprietatea lui Markov si faptul ca f
0
ii
= 0.
Intr-un mod similar se obt ine si cea de a doua concluzie a teoremei.

Denit ia 9 Funct ia generatoare a sirului de numere reale (p
n
ij
)
n0
este
denita ca suma seriei de puteri in variabila t denita cu ajutorul sirului
(p
n
ij
), i.e.
P
ij
(t) =
n=0
p
n
ij
t
n
. (22)
Se poate arata ca seria este absolut convergenta pe intervalul (1, 1)
(deoarece raza de convergent a a seriei de puteri este R = 1).

In acelasi
mod se deneste funct ia generatoare a sirului (f
n
ij
)
n0
, i.e.
F
ij
(t) =
n=0
f
n
ij
t
n
, t (1, 1). (23)
In continuare c and ne vom referi la o serie de puteri, prin notat ia
n=0
a
n
t
n
vom nt elege suma seriei de puteri respective.
24
Dac a avem doua serii de puteri, A(t) =
n=0
a
n
t
n
si B(t) =
n=0
b
n
t
n
,
atunci produsul celor doua serii (care este tot o serie de puteri) are forma
A(t)B(t) =
_

n=0
a
n
t
n
__

n=0
b
n
t
n
_
= (a
0
+ a
1
t + a
2
t
2
+ . . .)(b
0
+ b
1
t + b
2
t
2
+ . . .)
= a
0
b
0
+ (a
0
b
1
+ a
1
b
0
)t + (a
0
b
2
+ a
1
b
1
+ a
2
b
0
)t
2
+ . . .
=
n=0
c
n
t
n
,
unde c
n
=
n
k=0
a
k
b
nk
. Seria de puteri produs este denita pentru
valorile lui t pentru care ambele serii A(t) si B(t) sunt convergente.
Utiliz and aceast a formul a si t in and cont de relat ia (20), rezult a
F
ii
(t)P
ii
(t) =
n=0
_
n
k=0
f
k
ii
p
nk
ii
_
t
n
= f
0
ii
p
0
ii
+
n=1
_
n
k=0
f
k
ii
p
nk
ii
_
t
n
=
n=1
p
n
ii
t
n
=
n=0
p
n
ii
t
n
p
0
ii
t
0
= P
ii
(t) 1, pentru t (1, 1),
deoarece f
0
ii
= 0 si p
0
ii
= 1 (atent ie la faptul ca formula (20) este adevarat a
pentru n 1!). Deducem ca
P
ii
(t) =
1
1 F
ii
(t)
, pentru t (1, 1). (24)
T in and cont de relat ia (21), se poate ar ata, printr-un rat ionament similar,
c a
F
ij
(t)P
ij
(t) = P
jj
(t), pentru t (1, 1). (25)
Se stie, conform lemei lui Abel, c a suma unei serii de puteri A(t) =
n=0
a
n
t
n
este continua pe mult imea de convergent a a seriei. Astfel, daca
seria A(t) =
n=0
a
n
t
n
admite ca interval de convergent a intervalul (1, 1)
si seria este convergent a n punctul t = 1, (i.e. daca seria numeric a
n=0
a
n
este convergent a), atunci funct ia A(t) este continu a (la st anga)
n punctul t = 1. Aceasta nseamna ca
lim
t1
A(t) = lim
t1
n=0
a
n
t
n
= A(1) =
n=0
a
n
. (26)
De asemenea, tot cu ajutorul lemei lui Abel se poate ar ata c a n cazul
n care a
n
0, pentru orice n N si intervalul de convergent a al seriei
A(t) este (1, 1), dac a exist a lim
t1
n=0
a
n
t
n
= a (care poate si innita),
atunci suma seriei
n=0
a
n
este egala cu a.
Suntem acumn m asura s a caracterizam st arile recurente cu ajutorul
probabilit at ilor de trecere n n pasi.
Teorema 2 O condit ie necesara si sucienta ca o stare i sa e recurenta
este
n=1
p
n
ii
= . (27)
Demonstrat ie. S a presupunem mai int ai ca starea i este recurenta,
ceea ce nseamn a c a
n=1
f
n
ii
= 1 (n concordant a cu propozit ia 4). Atunci
seria de puteri F
ii
(t) =
n=0
f
n
ii
t
n
este convergenta pentru t = 1 si conform
lemei lui Abel,
lim
t1
F
ii
(t) = lim
t1
n=0
f
n
ii
t
n
= F
ii
(1) =
n=1
f
n
ii
= 1.
Aplic and formula (24) deducem
lim
t1
P
ii
(t) = lim
t1
1
1 F
ii
(t)
= ,
26
ceea ce nseamn a, conform discut iei ce a precedat aceast a teorema, ca
n=0
p
n
ii
= .
Reciproc, sa presupunem c a are loc relat ia (27). Daca starea i ar
tranzient a, atunci utilizand propozit ia 4 deducem
n=1
f
n
ii
< 1. Asadar,
conform relat iilor (26) si (24) rezult a
lim
t1
F
ii
(t) = lim
t1
n=0
f
n
ii
t
n
= F
ii
(1) =
n=1
f
n
ii
< 1
si
lim
t1
P
ii
(t) = lim
t1
1
1 F
ii
(t)
R.
Atunci seria
n=0
p
n
ii
este convergent a (i.e.
n=0
p
n
ii
R), ceea ce intr a n
contradict ie cu relat ia (27). Deducem ca i este recurent a.
Corolarul 2 Presupunem ca starile i, j I comunica ( i j). Atunci,
daca i este recurenta si j are aceeasi proprietate.
Demonstrat ie.

Intruc at st arile i, j comunic a, rezult a c a exist a m, r
N
a.i. p
m
ij
> 0 si p
r
ji
> 0. Fie n > m+r. Utiliz and succesiv proprietatea
Chapman-Kolmogorov se obt ine
p
n
jj
=
kI
p
nm
jk
p
m
kj
p
nm
ji
p
m
ij
=
_
lI
p
r
jl
p
nmr
li
_
p
m
ij
p
r
ji
p
nmr
ii
p
m
ij
.
Deducem ca
n=m+r+1
p
n
jj
=
n=m+r+1
p
r
ji
p
nmr
ii
p
m
ij
= p
r
ji
p
m
ij
n=1
p
n
ii
= ,
ntruc at p
m
ij
> 0, p
r
ji
> 0 si
n=1
p
n
ii
= (conform teoremei 2, deoarece i
este recurent a). Rezulta ca
n=1
p
n
jj
= .
Ca o consecint a imediat a se obt ine
Corolarul 3 Toate starile apart inand unei clase de echivalent a (stari ce
comunica ntre ele) sunt e toate recurente, e toate tranziente.
Propozit ia 6 (a) Fie i, j I. Daca j este stare tranzienta, atunci
n=1
p
n
ij
< si lim
n
p
n
ij
= 0. (28)
(b) Presupunem ca mult imea starilor I este o mult ime nita. Atunci
exista cel put in o stare recurenta.
Demonstrat ie.
(a) Pentru i = j, rezultatul este o consecint a imediat a a teoremei 2.
S a presupunem ca i ,= j. In acelasi mod n care au fost deduse
egalit at ile (24) si (25), se poate ar ata c a
P
ij
(t) = P
jj
(t)F
ij
(t), pentru t (1, 1). (29)
Trecand la limita dup a t 1 se obt ine
n=1
p
n
ij
= lim
t1
P
ij
(t) = lim
t1
P
jj
(t) lim
t1
F
ij
(t) = f
ij
n=1
p
n
jj
.
Cum j este tranzienta, conform teoremei 2 rezulta ca
n=1
p
n
jj
< .
f
ij
este n mod evident nita (ia valori n intervalul [0,1]). Rezult a
atunci
n=1
p
n
ij
< .

In plus, seria
n=1
p
n
ij
ind convergent a, rezult a
conform criteriului necesar de convergent a pentru serii numerice c a
termenul general al seriei are limita 0, i.e. lim
n
p
n
ij
= 0.
(b) Fie i I oarecare. Presupunem prin absurd ca toate st arile sunt
tranziente. Rezult a atunci c a
n=1
p
n
ij
< si lim
n
p
n
ij
= 0, pentru orice j I.
28
Matricea de trecere in n pasi P
n
ind o matrice stocastica, suma
elementelor de pe linia corespunzatoare st arii i este egala cu 1, i.e.
jI
p
n
ij
= 1. Dac a trecem acum la limita dup a n , obt inem
lim
n
_
jI
p
n
ij
_
= 1.
Pe de alta parte, ntrucat suma
jI
p
n
ij
este nit a (I este nit a),
rezult a
lim
n
_
jI
p
n
ij
_
=
jI
_
lim
n
p
n
ij
_
= 0,
deoarece lim
n
p
n
ij
= 0, pentru orice j I. Am obt inut astfel o
contradict ie si deci presupunerea f acuta este falsa. Deducem c a
exist a cel put in o stare recurenta.
Putem atunci enunt a
Propozit ia 7 Daca mult imea starilor I a unui lant Markov ireductibil
este nita, atunci toate starile sunt recurente.
Demonstrat ie. Cum lant ul este ireductibil, avem o singur a clasa (toate
st arile comunica ntre ele) si conform cu corolarul 3 rezulta c a toate
st arile sunt e recurente, e tranziente. Mult imea starilor I ind nita,
propozit ia precedenta ne spune ca exista cel put in o stare recurenta.
Deducem astfel c a toate st arile sunt recurente.
Pentru o stare i oarecare, vom nota prin q
ii
probabilitatea ca plec and
din starea i, sa ne rentoarcem n i de oricate ori (de o innitate de ori).
Propozit ia 8 1. i este recurenta q
ii
= 1.
2. i este tranzienta q
ii
= 0.
Demonstrat ie. Vom nota prin N
i
num arul vizitelor lant ului n starea
i dup a momentul init ial 0, moment la care lant ul a plecat din starea i.
Fie q
k
ii
probabilitatea ca plec and din starea i, sa ne rentoarcem n i de
cel put in k ori, i.e.
q
k
ii
= P
i
(N
i
k), k 1.
Putem scrie
q
ii
= P
i
(N
i
= ) = P
i
_
k=1
(N
i
k)
_
= lim
k
P
i
(N
i
k) = lim
k
q
k
ii
.
(30)
Am utilizat proprietatea de continuitate a funct iei de probabilitate, si
anume faptul c a sirul (A
k
)
k1
= (N
i
k)
k1
ind un sir descendent de
evenimente (A
k
A
k+1
, k 1), rezulta
P
_
k=1
A
k
_
= lim
k
P(A
k
).
Avem n continuare
q
1
ii
= P
i
(N
i
1) = P
i
(n 1 astfel incat X
1
,= i, . . . , X
n1
,= i, X
n
= i)
= P
i
(
n1
(X
1
,= i, . . . , X
n1
,= i, X
n
= i)) =
n=1
P
i
(X
1
,= i, . . . , X
n1
,= i, X
n
= i)
=
n=1
P
i
(T
i
= n) =
n=1
f
n
ii
= f
ii
,
si
q
k
ii
= P
i
(N
i
k) = P
i
(1 n
1
< . . . < n
k
astfel incat X
1
,= i, . . . , X
n
1
1
,= i, X
n
1
= i,
X
n
1
+1
,= i, . . . , X
n
2
1
,= i, X
n
2
= i, X
n
2
+1
,= i, . . . , X
n
k
1
,= i, X
n
k
= i)
= P
i
_
1n
1
<...<n
k
(X
1
,= i, . . . , X
n
1
1
,= i, X
n
1
= i, X
n
1
+1
,= i, . . . , X
n
2
1
,= i,
X
n
2
= i, X
n
2
+1
,= i, . . . , X
n
k
1
,= i, X
n
k
= i)
_
=
1n
1
<...<n
k
P
i
(X
1
,= i, . . . , X
n
1
1
,= i, X
n
1
= i, X
n
1
+1
,= i, . . . , X
n
2
1
,= i, X
n
2
= i,
X
n
2
+1
,= i, . . . , X
n
k
1
,= i, X
n
k
= i)
=
1n
1
<...<n
k
P
i
(X
1
,= i, . . . , X
n
1
1
,= i, X
n
1
= i) P(X
n
1
+1
,= i, . . . , X
n
2
1
,= i,
30
X
n
2
= i, X
n
2
+1
,= i, . . . , X
n
k
1
,= i, X
n
k
= i[X
n
1
= i)
=
1n
1
<...<n
k
f
n
1
ii
P(X
1
,= i, . . . , X
n
2
n
1
1
,= i, X
n
2
n
1
= i, . . . , X
n
k
n
1
1
,= i,
X
n
k
n
1
= i[X
0
= i) =
n
1
=1
f
n
1
ii
P
i
(N
i
k 1) = P
i
(N
i
k 1)
n
1
=1
f
n
1
ii
= f
ii
P
i
(N
i
k 1) = f
ii
q
k1
ii
, pentru k 2.
Am utilizat proprietatea lui Markov si faptul c a lant ul (X
n
) este omogen.
Rezult a c a sirul (q
k
ii
)
k1
este o progresie geometric a de rat ie f
ii
si cu
primul termen q
1
ii
= f
ii
. Deducem ca
q
k
ii
= q
1
ii
f
k1
ii
= (f
ii
)
k
.
Atunci, conform cu propozit ia 4, i este recurenta f
ii
= 1. In acest caz
q
k
ii
= 1, pentru orice k 1 si deci, tin and cont de formula (30), q
ii
= 1.
Dac a i este tranzient a, tot din propozit ia 4 rezult a c a f
ii
(0, 1).
Atunci q
ii
= lim
k
(q
ii
)
k
= 0.
Proced and intr-un mod aseman ator obt inem
Propozit ia 9 Daca i, j sunt stari ce fac parte dintr-o clasa recurenta,
atunci
f
ij
=
n=1
f
n
ij
= 1.
S a denim q
ij
probabilitatea ca plec and din starea i, s a vizitam starea j
de o innitate de ori.
Corolarul 4 Daca i, j sunt stari ce fac parte dintr-o clasa recurenta,
atunci q
ij
= 1.
Demonstrat ie.

In acelasi mod n care am demonstrat propozit ia 8, se
poate ar ata ca q
ij
= f
ij
q
jj
. Conform cu propozit ia 8, rezulta q
jj
= 1, iar
datorit a propozit iei 9 avem f
ij
= 1. Asadar q
ij
= 1.
Dac a i este o stare recurent a, conform propozit iei 8 rezult a q
ii
= 1,
ceea ce nseamna ca starea i este vizitat a de o innitate de ori atunci
c and plec am din i. Rezult a N
i
= cu probabilitatea 1.
Dac a ns a i este stare tranzient a, atunci q
ii
= 0, adic a probabilitatea
ca starea i s a e vizitat a de o innitate de ori, atunci c and plecam din
i, este 0. Vom determina, n aceast a situat ie, repartit ia conditionat a
N
i
[X
0
= i, ce are distribut ia
N
i
[X
0
= i :
_
0 1 . . . k . . .
P(N
i
= 0[X
0
= i) P(N
i
= 1[X
0
= i) . . . P(N
i
= k[X
0
= i) . . .
_
,
pentru k N. Fie k arbitrar. Atunci
P(N
i
= k[X
0
= i) = P
i
(N
i
= k) = P
i
_
(N
i
k) (N
i
k + 1)
_
= P
i
(N
i
k) P
i
(N
i
k + 1) = q
k
ii
q
k+1
ii
= (f
ii
)
k
(f
ii
)
k+1
= (f
ii
)
k
(1 f
ii
).
Am utilizat faptul ca valoarea v.a. N
i
este egal a cu k dac a este mai mare
sau egal a cu k si nu este mai mare sau egal a cu k +1. De asemenea, dac a
A B, atunci P(B A) = P(B) P(A). Atunci repartit ia condit ionat a
N
i
[X
0
= i are distribut ia
N
i
[X
0
= i :
_
0 1 . . . k . . .
1 f
ii
(1 f
ii
)f
ii
. . . (1 f
ii
)(f
ii
)
k
. . .
_
,
Vom determina in continuare numarul mediu (asteptat) de vizite ale
st arii i, stiind ca plecam la momentul 0 din starea i, care este dat de
media condit ionat a M(N
i
[X
0
= i). Avem
M(N
i
[X
0
= i) =
k=0
k P(N
i
= k[X
0
= i) =
k=0
k(1 f
ii
)(f
ii
)
k
= (1 f
ii
)f
ii
k=1
k(f
ii
)
k1
= (1 f
ii
)f
ii
1
(1 f
ii
)
2
=
f
ii
1 f
ii
.
(31)
Am folosit faptul c a pentru x (1, 1),
k=1
kx
k1
= lim
n
_
n
k=1
kx
k1
_
= lim
n
_
n
k=1
(x
k
)
_
= lim
n
_
n
k=1
x
k
_
= lim
n
_
x
1 x
n
1 x
_
= lim
n
_
nx
n+1
(n + 1)x
n
+ 1
(1 x)
2
_
=
1
(1 x)
2
.
32
Sintetiz and discut ia de mai sus, putem enunt a
Propozit ia 10 1. Daca i este stare recurenta, atunci
N
i
= , cu probabilitatea 1.
2. Daca i este stare tranzienta, atunci
P
i
(N
i
= k) = (1 f
ii
)(f
ii
)
k
, pentru orice k N
si
M(N
i
[X
0
= i) =
f
ii
1 f
ii
.
Propozit ia 11 Daca C este o clasa recurenta, atunci C este inchisa,
i.e. odata ce am ajuns in clasa C, nu mai putem parasi aceasta clasa.
Demonstrat ie Fie i C si e j o stare ce este accesibila din i (i j,
i.e. exist a n a.. p
n
ij
> 0). Vom arata c a f
ji
= 1. Presupunem prin absurd
c a f
ji
< 1. Deoarece i este stare recurent a, rezulta, conform propozitiei
precedente
P
i
(N
i
= ) = 1. (32)
In mod evident, daca N

i
() = , rezult a c a exista m() > n a.i.
X
m()
() = i, adica [N
i
() =
m>n
X
m
() = i. Atunci
P
i
(N
i
= ) P
i
_
m>n
(X
m
= i)
_
= P
i
_
(
m>n
(X
m
= i))
= P
i
_
(
kI
(X
n
= k)) (
m>n
(X
m
= i))
= P
i
_
kI
_
(X
n
= k) (
m>n
(X
m
= i)
_
=
kI
P
i
_
(X
n
= k) (
m>n
(X
m
= i))
kI
P
i
(X
n
= k) P
_
m>n
(X
m
= i)[X
n
= k
_
kI
p
n
ik
P
_
m>0
(X
m
= i)[X
0
= k
_
=
kI
p
n
ik
f
ki
=
kI\{j}
p
n
ik
f
ki
+ p
n
ij
f
ji
<
kI\{j}
p
n
ik
+ p
n
ij
=
kI
p
n
ik
= 1,
unde ultima inegalitate stricta rezulta din faptul ca f
ji
< 1 si p
n
ij
> 0.
Am obt inut astfel P
i
(N
i
= ) < 1, ceea ce intr an contradict ie cu relat ia
(32). Asadar f
ji
= 1. Cum f
ji
reprezint a probabilitatea ca plecand din
starea j s a ajungem la un moment dat n starea i si aceasta probabilitate
este egala cu 1, rezult a j i si deci i si j comunic a. Atunci j C si
clasa C este o clas a inchisa.
Denit ia 10 Daca i I si daca exista n 1 a.. p
n
ii
> 0, denim
d (i) perioada starii i ca ind egala cu cel mai mare divizor comun al
numerelor n 1 pentru care p
n
ii
> 0.
Daca d (i) > 1 spunem ca starea i este periodica si daca d (i) = 1
spunem ca i este aperiodica.
Daca p
n
ii
= 0 pentru orice n 1, atunci se considera prin convent ie
d (i) = .
Propozit ia 12 Proprietatea de a avea o perioada d este o proprietate de
clasa.
Demonstrat ie. Fie i, j cu i j. Atunci din i se poate ajunge n j si
din j n i. Aceasta nseamna ca se poate ajunge din starea i napoi n
starea i la un moment n 1 (trec and eventual prin starea intermediara
j). Deci d (i) < , si n mod analog rezulta d (j) < . Fie d(i) = l.
Atunci p
l
ii
> 0.
Fie de asemenea m, n 1 asa nc at p
m
ij
> 0, p
n
ji
> 0. Atunci
p
m+n+l
jj
p
n
ji
p
l
ii
p
m
ij
> 0,
si n general se poate ar ata, prin induct ie, c a
p
m+n+kl
jj
> 0, k 1.
Rezult a ca d(j) [ m + n + kl, pentru orice k N
si n particular c a
d(j) [ m + n + 2l (m + n + l) = l. Deducem c a d(j) [ d(i), si atunci
d(j) d(i). Din simetrie rezult a si c a d(i) d(j) si deci d(i) = d(j)
Prin urmare ntr-o clasa toate starile au aceeasi perioad a d pe care o
vom numi perioada clasei.

In particular daca avem o singura clas a (care
este atunci egal a cu mult imea st arilor I), atunci d se numeste perioada
lant ului.
34
Denit ia 11 Spunem ca un lant Markov ireductibil este periodic daca
d > 1 si este aperiodic daca d = 1.
Aplicat ie. S a consider am exemplele cu mersul la ntamplare si ru-
inarea jucatorului. Ne aducem aminte c a dintr-o stare i ne putem de-
plasa in starea i +1 (facem un pas la dreapta ) cu probabilitatea p sau
n starea i 1 (facem un pas la st anga ) cu probabilitatea q. Astfel,
plec and din starea 0 la momentul init ial, ne putem rentoarce la un mo-
ment dat n aceast a stare numai dac a efectuam un num ar egal de pasi la
dreapta si la stanga. Asadar p
n
00
> 0 daca n este num ar par si p
n
00
= 0
pentru n impar. Atunci
n=0
p
n
00
=
k=0
p
2k
00
. (33)
Evident p
2k
00
este probabilitatea ca din cei 2k pasi parcursi, k s a e la
dreapta si k la st anga, n ordine arbitrar a, ecare pas ind facut in
mod independent fat a de pasii anteriori. Aceasta nseamna c a p
2k
00
poate
calculat a ca probabilitatea extragerii a k bile albe si k bile negre (din 2k
bile extrase) dintr-o urna cu bile albe si negre, pentru care probabilitatea
extragerii unei bile albe este p si a unei bile negre este q. Utiliz and schema
bilei revenite (Bernoulli), deducem
p
2k
00
= C
k
2k
p
k
q
k
=
(2k)!
(k!)
2
p
k
q
k
.
Studiem natura seriei (33) utiliz and Criteriul raportului. Obt inem
lim
k
p
2k+2
00
p
2k
00
= lim
k
(2k + 2)!
((k + 1)!)
2
p
k+1
q
k+1
(k!)
2
(2k)!
1
p
k
q
k
= 4pq
si
4pq 1 = 4p(1 p) 1 = (4p
2
4p + 1) = (2p 1)
2
0,
adic a 4pq 1, cu egalitate numai dac a p =
1
2
. Rezult a c a daca p ,=
1
2
,
atunci 4pq < 1 si deci, conform Criteriului raportului, seria
k=0
p
2k
00
este
convergenta.
Pentru p =
1
2
= q, Criteriul raportului este nsa neconcludent.

In
acest caz,
k=0
p
2k
00
=
k=0
(2k)!
(k!)
2
1
4
k
.
Denit ia 12 Fie (a
n
)
n0
si (b
n
)
n0
doua siruri de numere reale. Scriem
a
n
b
n
daca lim
n
a
n
b
n
= 1.
Conform formulei lui Stirling, se stie ca
n! n
n+
1
2
e
n
2.
Utiliz and aceast a formul a, putem scrie
p
2k
00

(2k)
2k+
1
2
e
2k
2
_
k
k+
1
2
e
k
2
_
2
1
4
k
=
2
2k
k
1
4
k
=
1
k
.
Aceast a serie este divergent a, ntruc at are aceeasi natur a cu seria ar-
monic a generalizata
k=1
1
k
1
2
, care este n mod evident divergenta ( =
1
2
< 1).
Aplic and teorema 2, deducem astfel c a starea 0 este recurent a daca
si numai dac a p =
1
2
= q.

In cadrul problemei ruin arii juc atorului, va
rezulta c a n cazul n cazul unui joc de noroc echitabil (i.e. probabilitatea
de castig a unei partide este egal a cu probabilitatea de pierdere, p = q =
1
2
), jucatorul va sfarsi ruinat.
Dac a ns a p >
1
2
, atunci p > q (caz n care jucatorul triseaza) si
n acest caz starea 0 ind tranzienta, se poate ar ata c a suma de care
va dispune jucatorul dupa un numar mare de jocuri va deveni, cu o
probabilitate strict pozitiva, oricat de mare (adic a pentru orice M > 0,
P( lim
n
X
n
> M) > 0).
Intruc at lant ul este ireductibil, toate starile vor avea aceeasi propri-
etate (deoarece recurent a este o proprietate de clas a).
Remarca 3 Pentru a determina natura seriei
k=1
p
2k
00
se poate utiliza
dezvoltarea n serie MacLaurin a funct iei
f :
_
,
1
4
_
R, f(x) =
1
1 4x
.
36
Mai precis, se stie ca dezvoltarea n serie MacLaurin a funct iei g :
(1, ) R, g(x) = (1 + x)
are forma
(1+x)
= 1+
n=1
( 1) . . . ( n + 1)
n!
x
n
, pentru orice x (1, 1).
In particular, pentru =
1
2
si x 4x deducem, efectuand niste
calcule elementare
1
1 4x
= 1 +
n=1
_
1
2
_ _
3
2
_
. . .
_
2n1
2
_
n!
(1)
n
4
n
x
n
= 1 +
n=1
(1)
n
(2n)!
2
2n
(n!)
2
(1)
n
4
n
x
n
=
n=0
(2n)!
(n!)
2
x
n
=
n=0
C
n
2n
x
n
, daca x
_
1
4
,
1
4
_
.
Dar
k=0
p
2k
00
=
k=0
C
k
2k
p
k
q
k
=
k=0
C
k
2k
(p p
2
)
k
=
1
_
1 4(p p
2
)
=
1
[2p 1[
,
pentru p ,=
1
2
.
0.5 Repartit ia stat ionara si teoreme limita
Utiliz and formula probabilit at ii totale (cu sistemul complet de eveni-
mente (X
0
= k); k I), obt inem
P(X
n
= j) =
kI
P(X
0
= k)P(X
n
= j[X
0
= k) =
kI
p
k
p
n
kj
, (34)
pentru orice stare j I si n 1.
Valorile probabilit at ilor de trecere n n pasi, p
n
ij
, n viitorul ndepartat
(pentru valori mari ale lui n) sunt de un real interes n practic a. Vom
ncerca n cele ce urmeaz a s a determin am comportamentul asimptotic
al acestor probabilit at i, i.e. valoarea limitei lim
n
p
n
ij
, pentru i, j I.
0.5 Repartit ia stat ionar a si teoreme limit a 37
Intuitiv este de asteptat ca starea init ial a i a lant ului sa nu se reg aseasca
n expresia limitei si deci ca lim
n
p
n
ij
s a e independent a de i. Pentru
aceasta vom deni un nou concept, si anume de not iunea de repartit ie
stat ionara a unui lant Markov.
Denit ia 13 Se numeste repartit ie stationara asociata unui lant Markov
(X
n
) un vector linie = (
i
)
iI
ce satisface
i
0, i I,
iI
i
= 1 si P = ,
i.e.
jI

j
p
ji
=
i
, pentru orice i I.
Condit ia
iI

i
= 1, reprezinta o condit ie de normalizare impusa
numerelor
i
, i I prin care vectorul (
i
)
iI
poate considerat un vector
de probabilitate.
Denit ia 14 Spunem ca un lant Markov (X
n
)
n
este stat ionar daca si
numai daca pentru orice m 1, n 0 si i
0
, ..., i
n
I are loc egalitatea
P (X
0
= i
0
, ..., X
n
= i
n
) = P (X
m
= i
0
, ..., X
n+m
= i
n
) . (35)
Teorema 3 Fie (X
n
)
n
un lant Markov cu matricea de trecere P, p =
(p
i
)
iI
repartit ia init iala a lant ului (i.e. P(X
0
= i) = p
i
, pentru orice
i I) si e p
(m)
j
= P(X
m
= j), j I. Atunci urmatoarele armat ii sunt
echivalente:
(a) (X
n
)
n
este stat ionar;
(b) Pentru orice m 1,
p
(m)
j
= p
j
, j I;
(c) p este o repartit ie stat ionara a lant ului.
Demonstrat ie. Pentru a demonstra teorema vom arata implicat iile
(a) (b) (c) (a). Implicat ia (a) (b) este evidenta.
S a ar at am (b)(c). Observ am c a
p
(m)
j
= P(X
m
= j) =
iI
P(X
0
= i)P(X
m
= j [ X
0
= i) =
iI
p
m
ij
p
i
,
(36)
38
de unde rezulta
p
j
=
iI
p
m
ij
p
i
, m 1.
In particular, pentru m = 1 se obti ne c a p este o repartit ie stat ionara a

lant ului.
(c)(a)

In mod evident
P(X
m
= i
0
, ..., X
n+m
= i
n
) = P(X
n+m
= i
n
[ X
n+m1
= i
n1
, ..., X
m
= i
0
)
P(X
n+m1
= i
n1
[X
n+m2
= i
n2
, ..., X
m+1
= i
1
, X
m
= i
0
)
P(X
m+1
= i
1
[X
m
= i
0
) P(X
m
= i
0
)
= p
i
n1
,i
n
p
i
n2
,i
n1
. . . p
i
0
,i
1
P(X
m
= i
0
)
= p
i
n1
,i
n
p
i
n2
,i
n1
. . . p
i
0
,i
1
p
(m)
i
0
.
Cum p este o repartit ie stat ionar a a lant ului, rezulta p = pP, si dac a
nmult im aceast a egalitate cu matricea P se obt ine pP = pP
2
, adic a
p = pP
2
. Un rat ionament prin induct ie ne conduce la egalitatea p =
pP
m
, m 1, i.e.
p
j
=
iI
p
i
p
m
ij
, pentru orice j I, m 1.
Compar and aceasta formul a cu egalitatea (36), deducem c a p
(m)
j
= p
j
,
pentru orice j I, m 1. Obt inem atunci
P(X
m
= i
0
, ..., X
n+m
= i
n
) = p
i
n1
,i
n
p
i
n2
,i
n1
. . . p
i
0
,i
1
p
i
0
,
si de asemenea avem n mod evident
P(X
0
= i
0
, ..., X
n
= i
n
) = p
i
n1
,i
n
p
i
n2
,i
n1
. . . p
i
0
,i
1
p
i
0
.
Deducem ca lant ul (X
n
) este stat ionar.
Remarca 4

In particular daca lant ul Markov are ca distribut ie init iala
o repartit ie stat ionara , atunci toate variabilele lant ului au repartit ia .
Vom enunt a acum (f ar a a da ns a si demonstrat ia) un rezultat extrem de
util n stabilirea teoremelor limita pentru lant uri Markov. Demonstrat ia
se bazeaz a pe not iuni elementare de analiz a matematic a si poate gasit a
n monograa scris a de Karlin, Taylor (titlul 4. din bibliograe).
Propozit ia 13 Se considera seriile numerice
n=0
a
n
si
n=0
b
n
ce sat-
isfac
a
n
> 0, n N, b
n
0, n N,
n=0
a
n
= 1,
n=0
b
n
< +,
si seria
n=0
na
n
este convergenta (
n=0
na
n
< +).

In aceste condit ii,
daca sistemul (innit) de ecuat ii liniare
_
_
u
0
a
0
u
0
= b
0
u
1
(a
1
u
0
+ a
0
u
1
) = b
1
u
2
(a
2
u
0
+ a
1
u
1
+ a
0
u
2
) = b
2
.
.
.
u
n
n
k=0
a
nk
u
k
= b
n
.
.
.
(37)
admite ca solut ie un sir (u
n
)
n0
marginit, atunci
lim
n
u
n
=
n=0
b
n
n=0
na
n
.
Daca renunt am la condit ia de convergent a pentru seria
n=0
na
n
, i.e.
daca presupunem ca
n=0
na
n
= +, atunci se obt ine lim
n
u
n
= 0.
Formul am acum teorema limita fundamental a pentru lant urile Markov.
Teorema 4 Fie (X
n
)
n0
un lant Markov ireductibil, recurent si aperiodic
(toate starile au perioada 1). Atunci
lim
n
p
n
ii
=
1
n=0
nf
n
ii
=
1
m
i
, pentru orice i I, (38)
cu convent ia lim
n
p
n
ii
= 0, daca
n=0
nf
n
ii
= (ne amintim ca m
i
reprezinta
timpul mediu de recurent a al starii i). De asemenea,
lim
n
p
n
ji
=
1
n=0
nf
n
ii
(= lim
n
p
n
ii
), pentru orice i, j I. (39)
40
Demonstrat ie. Fie i I oarecare.
Conform formulei (20), putem scrie
p
n
ii
k=0
f
nk
ii
p
k
ii
=
_
1, daca n = 0,
0, daca n 1.
Vom utiliza acum propozit ia 13, n care a
n
= f
n
ii
, si
b
n
=
_
1, dac a n = 0,
0, dac a n 1.
Intruc at i este recurenta (lant ul ind recurent), deducem c a
n=0
f
n
ii
= 1,
n concordant a cu criteriul de recurent a furnizat de propozit ia 4. S a mai
observ am c a
n=0
b
n
= 1 < .
Solut ia sistemului (37) n cazul nostru este data de (u
n
)
n0
= (p
n
ii
)
n0
,
conform cu relat ia de mai sus.

In mod evident sirul (p
n
ii
)
n0
este marginit
(0 p
n
ii
1). Atunci, conform propozit iei 13 deducem prima concluzie
a teoremei.
In continuare, e i, j I cu i ,= j. Conform cu Teorema primei intrari

(Teorema 1), formula (21) avem
p
n
ji
=
n
k=0
f
nk
ji
p
k
ii
=
n
k=0
f
k
ji
p
nk
ii
.
Se poate arata, printr-un rat ionament elementar, c a daca un sir (x
n
)
n0
are limita l nit a si daca sirul de numere pozitive (a
n
)
n0
satisface
n=0
a
n
=
1, atunci sirul (y
n
)
n0
, obt inut ca solut ie a sistemului liniar (innit)
y
n
=
n
k=0
a
nk
x
k
, n 0
are de asemenea limita l.
S a not am x
n
= p
n
ii
, a
n
= f
n
ji
si y
n
= p
n
ji
. Am v azut nainte c a sirul
(p
n
ii
) are limita nita l =
1
n=0
nf
n
ii
. Totodat a, datorit a faptului ca starile
i, j sunt recurente, conform propozitiei 9 rezult a
n=0
f
n
ji
= 1. Formula
(39) este astfel demonstrat a.
Remarca 5 Fie C o clasa recurenta si aperiodica. Atunci, conform cu
propozit ia anterioara C este si nchisa, i.e. p
ij
= 0, pentru orice i C
si j / C. In aceste condit ii, daca i C, atunci
jC
p
ij
=
jI
p
ij
= 1,
ntrucat matricea de trecere P este o matrice stocastica. Rezulta ca ma-
tricea P[
C
= (p
ij
)
i,jC
este la randul ei o matrice stocastica si lant ul
Markov asociat (restrict ionat la mult imea C) este ireductibil (avem o sin-
gura clasa, si anume clasa C), recurent (deoarece C este clasa recurenta)
si aperiodic. Rezultatele din teorema 4 raman atunci adevarate si pentru
C.
Remarca 6 Sub ipotezele teoremei 4, ntrucat lim
n
p
n
ii
=
1
m
i
, cu ajutorul
lemei Cesaro-Stolz deducem
lim
n
n
k=1
p
k
ii
n
= lim
n
p
n
ii
=
1
m
i
. (40)
Remarca 7 Presupunem ca C este o clasa recurenta periodica cu pe-
rioada d. Atunci, daca i C, se poate arata ca p
m
ii
= 0, daca m nu este
multiplu de d, si de asemenea ca
lim
m
p
m
ii
= lim
n
p
nd
ii
=
d
m
i
. (41)
Dac a C este o clas a recurenta si aperiodic a, utiliz and un rat ionament
similar cu cel din corolarul 2, se poate ar ata c a daca lim
n
p
n
ii
> 0 pentru
o stare i C, atunci lim
n
p
n
jj
> 0, pentru orice j C.

In acest caz
spunem c a clasa C este pozitiv recurenta sau ergodica in sens tare. Dac a
nsa lim
n
p
n
jj
= 0, pentru orice j C, spunem ca C este nul recurenta
sau ergodica n sens slab.
42
Teorema 5 Fie (X
n
)
n0
un lant Markov ireductibil, pozitiv recurent (er-
godic n sens tare) si aperiodic. Atunci
lim
n
p
n
ii
=
i
, i I, (42)
unde = (
i
)
iI
este unica repartit ie stationara asociata lant ului.
Demonstrat ie. Vom presupune, pentru simplicarea scrierii, c a I = N.
Fie n 1. Atunci, pentru orice N 1, ntruc at matricea P
n
este
stocastic a, suma elementelor de pe linia i a acestei matrici este egala cu
1 si deci
N
j=0
p
n
ij

j=0
p
n
ij
= 1.
Trecand la limita dup a n si tin and cont de teorema 4, rezulta c a
1 lim
n
_
N
j=0
p
n
ij
_
=
N
j=0
_
lim
n
p
n
ij
_
=
N
j=0
j
.
Trecand acum la limit a dupa N obt inem c a
j=0
j
1.
Conform formulei Chapman-Kolmogorov avem
p
n+1
ij
=
kI
p
n
ik
p
kj
=
k=0
p
n
ik
p
kj

N
k=0
p
n
ik
p
kj
,
si trec and la limit a dupa n , deducem cu ajutorul teoremei 4
j
= lim
n
p
n+1
ij

N
k=0
_
lim
n
p
n
ik
_
p
kj
=
N
k=0
k
p
kj
Treca nd la limita dup a N rezult a
k=0
k
p
kj
, j I. (43)
Inmultind acum n ultima formul a cu p

ji
, nsumand dupa j si utiliz and
formula Chapman-Kolmogorov, se obt ine
j=0
p
ji
j=0
k=0
k
p
ji
p
kj
=
k=0
k
_

j=0
p
kj
p
ji
_
=
k=0
k
p
2
ki
.
F acandu-l pe j = i n formula (43), rezult a
j=0
j
p
ji

k=0
k
p
2
ki
, pentru orice i I,
si prin induct ie se poate ar ata usor c a
k=0
k
p
n
ki
, pentru orice i I, n 1. (44)
S a presupunem ca ar exista o stare i si un numar n 1 a.. inegalitatea
de mai sus sa e strict a. Atunci, nsum and dupa i I, am avea
i=0
i
>
i=0
_

k=0
k
p
n
ki
_
=
k=0
_
i=0
p
n
ki
_
=
k=0
k
,
contradict ie. Am utilizat din nou faptul c a matricea P
n
este o matrice
stocastica, si deci
i=0
p
n
ki
= 1.
Deducem c a n toate inegalit at ile de tipul (44) avem de fapt egalit at i,
i.e.
i
=
k=0
k
p
n
ki
, pentru orice i I, n 1,
si trec and la limit a dup a n , t inand cont de faptul c a seria
j=0
j
este convergent a (ntrucat
j=0
j
1) si 0 p
n
ki
1, obt inem
i
= lim
n
_

k=0
k
p
n
ki
_
=
k=0
k
_
lim
n
p
n
ki
_
=
i
k=0
k
,
si cum > 0 deoarece lant ul este pozitiv recurent, deducem c a
k=0
k
=
1. De asemenea, ca o consecinta a faptului ca toate inegalitat ile de tipul
(44) sunt de fapt egalit at i, obt inem c a formulele (43) sunt tot egalitat i,
pentru tot i j I. Asadar P = si
k=0
k
= 1, de unde rezult a ca
= (
i
)
iI
este o repartit ie stat ionara.
Vom demonstra acum unicitatea repartit iei stat ionare. Fie = (
i
)
iI
ce satisface
i
0,
iI
i
= 1 si
jI
j
p
ji
=
i
, i I.
44
Atunci, pentru orice i I,
i
=
k=0
k
p
ki
, si prin induct ie rezult a c a
i
=
k=0
k
p
n
ki
, pentru orice n 1. Trecand la limit a dup a n se
obt ine
i
= lim
n
_

k=0
k
p
n
ki
_
=
k=0
k
_
lim
n
p
n
ki
_
=
k=0
i
=
i
k=0
k
=
i
,
pentru orice i I. Rezult a astfel = .
Reamintim c a am notat, pentru i I, T
i
primul moment de timp la
care ajungem n starea i, i.e. T
i
= n X
1
,= i, . . . , X
n1
,= i, X
n
= i.
Urm atorul rezultat ne d a expresia mediei condit ionate M(T
i
[X
0
= i) n
raport cu repartit ia stat ionara.
Corolarul 5 Fie (X
n
)
n0
un lant Markov ireductibil, pozitiv recurent
(ergodic n sens tare) si aperiodic. Atunci
M(T
i
[X
0
= i) =
1
i
, pentru orice i I, (45)
unde = (
i
)
iI
este repartit ia stat ionara asociata lant ului.
Demonstrat ie. Fie i I.

In concordant a cu teorema 4, avem
lim
n
p
n
ii
=
1
n=0
nf
n
ii
,
iar conform cu teorema 5 rezult a lim
n
p
n
ii
=
i
. Deducem atunci c a
n=0
nf
n
ii
=
1
i
si utiliz am acum formula (18).
Remarca 8 Se poate arata ca exista o unica repartit ie stat ionara numai
daca toate starile lant ului sunt pozitiv recurente.
n
)
n0
un lant Markov ireductibil cu un numar nit
de stari. Atunci toate starile sunt pozitiv recurente.
0.6 Comportamentul asimptotic al probabilit at ilor de absorbt ie 45
Demonstratie. Propozit ia 6 ne spune ca exist a cel putin o stare re-
curent a. Cum lant ul Markov este ireductibil si recurent a este o propri-
etate de clas a, rezult a c a toate starile sunt recurente. Cum recurent a
pozitiv a si recurent a nula sunt propriet at i de clas a, rezult a c a starile
sunt e toate pozitiv recurente, e toate nul recurente. Sa presupunem
c a st arile sunt nul recurente. Atunci, conform teoremei ergodice 4 rezulta
lim
n
p
n
ij
= 0, pentru orice i, j I.
Intruc at
iI
p
n
ij
= 1, pentru orice n, si cum suma este nita, trec and la
limit a dup a n obt inem
1 = lim
n
_
iI
p
n
ij
_
=
iI
_
lim
n
p
n
ij
_
=
iI
0 = 0,
contradict ie cu presupunerea f acut a. Rezult a atunci c a toate starile sunt
pozitiv recurente.
0.6 Comportamentul asimptotic al proba-
bilitat ilor de absorbt ie
Fie T mult imea starilor tranziente, C o clas a recurenta si e j T.
Denim
j
(C) probabilitatea ca lant ul s a ajung a la un moment dat n C
si sa nu mai p araseasc a vreodata clas a C, stiind ca a plecat la momentul
init ial din starea j.

Intruc at C este recurent a, odat a ce lant ul a ajuns n
C, va ram ane mereu (va absorbit) n clasa respectiva. Putem atunci
scrie
j
(C) = P
j
_
_
n1
(X
1
/ C, . . . , X
n1
/ C, X
k
C, k n)
_
= P
j
_
_
n1
(X
1
/ C, . . . , X
n1
/ C, X
n
C)
_
= P
j
_
_
n1
A
n
_
,
unde A
n
= (X
1
/ C, . . . , X
n1
/ C, X
n
C), pentru n 1.
46
Not am
n
j
(C) = P
j
(A
n
), i.e.
n
j
(C) reprezinta probabilitatea ca la
momentul n lant ul s a intre (si s a e absorbit) n C, stiind c a X
0
= j.
Atunci, ntrucat evenimentele A
n
, n 1 sunt incompatibile, rezulta
j
(C) =
n=1
P
j
(A
n
) =
n=1
n
j
(C).
Pe de alta parte
1
j
(C) = P
j
(X
1
C) = P
j
(
kC
(X
1
= k)) =
kC
p
jk
si
n
j
(C) = P(X
1
/ C, . . . , X
n1
/ C, X
n
C[X
0
= j)
= P(X
1
T, X
2
/ C, . . . , X
n1
/ C, X
n
C[X
0
= j)
=
kT
P(X
1
= k, X
2
/ C, . . . , X
n1
/ C, X
n
C[X
0
= j)
=
kT
P(X
1
= k[X
0
= j)P(X
2
/ C, . . . , X
n1
/ C, X
n
C[X
1
= k)
=
kT
p
jk
P(X
1
/ C, . . . , X
n2
/ C, X
n1
C[X
0
= k)
=
kT
p
jk

n1
k
(C).
In deducerea acestei formule am utilizat proprietatea lui Markov si faptul

c a la momentul 1 lant ul nu se poate gasi ntr-o stare recurent a (nu are
voie sa e in C, iar dac a se aa ntr-o stare recurent a ce nu apart ine lui
C nseamna c a va r amane mereu acolo, deci lant ul nu are cum s a mai
ajunga n C). Asadar X
1
T. Putem atunci scrie
j
(C) =
1
j
(C) +
n=2
P
j
(A
n
) =
kC
p
jk
+
n=2
_
kT
p
jk

n1
k
(C)
_
=
kC
p
jk
+
kT
p
jk
_

n=2
n1
k
(C)
_ (46)
=
kC
p
jk
+
kT
p
jk
_

n=1
n
k
(C)
_
=
kC
p
jk
+
kT
p
jk

k
(C).
Astfel se observa ca necunoscutele y
j
=
j
(C), j T satisfac sistemul
liniar de ecuat ii
y
j
=
kC
p
jk
+
kT
p
jk
y
k
, pentru orice j T. (47)
De asemenea
j
(C) 1, ntruc at numerele
j
(C) sunt niste probabilit at i.
In spiritul celor discutate se poate ar ata urm atorul rezultat

Propozit ia 15 Presupunem ca singura solut ie marginita a sistemului
liniar omogen de ecuat ii
y
j
=
kT
p
jk
y
k
, pentru orice j T,
este solut ia banala (y
j
= 0, pentru orice j T). Atunci numerele
j
(C), j T, se determina ca unica solut ie marginita a sistemului de
ecuat ii (47).

In plus, are loc exact una din urmatoarele situat ii
(a) exista o stare j T a.i.
1
j
(C) > 0;
(b)
j
(C) = 0, pentru orice j T (si atunci
n
j
(C) = 0, pentru orice
n 1).
Remarca 9 Daca restrictionam un lant Markov la mult imea starilor
data de o clasa C recurenta si aperiodica, atunci matricea de trecere
restrict ionata la C este o matrice stocastica (deoarece p
ij
= 0, pentru
orice i C si j / C, conform cu propozit ia 11), si lant ul obt inut este
ireductibil, pozitiv recurent si aperiodic. Aplicand acum teorema 5 de-
ducem existent a unei unice repartit ii stat ionare (
i
)
iC
.
Urm atorul rezultat precizeaz a comportamenul asimptotic al probabilitat ilor
de absorbt ie.
Teorema 6 Fie C o clasa recurenta aperiodica si e i C. Daca j este
o stare tranzienta, atunci
lim
n
p
n
ji
=
j
(C) lim
n
p
n
ii
=
j
(C)
i
, (48)
48
unde (
i
)
iI
reprezinta repartit ia stat ionara asociata lant ului Markov
restrict ionat la clasa C (n concordant a cu remarca de mai sus).
Stim c a dac a un lant Markov ireductibil are un numar nit de st ari,
atunci toate st arile sunt pozitiv recurente (conform propozit iei 14), sau
echivalent spunem c a lant ul este pozitiv recurent.
Vom enunt a acum doua rezultate care sunt utile n a vedea cand un
lant Markov ireductibil cu o innitate de st ari este recurent sau tranzient.
Intruc at se stie c a pentru orice mult ime innit a numarabil a, exista o

biject ie ntre aceasta si mult imea numerelor naturale, putem presupune
f ara a restrange generalitatea ca I = N.
Teorema 7 Fie (X
n
)
n0
un lant Markov ireductibil cu I = N. O condit ie
necesara si sucienta ca toate starile sa e tranziente (i.e. lant ul sa e
tranzient) este aceea ca sistemul liniar omogen de ecuat ii
y
i
=
j=0
p
ij
y
j
, pentru orice i ,= 0 (49)
sa admita o solut ie (y
j
)
j0
marginita si care nu este constanta.
Remarca 10 Daca nu am impune condit ia ca solut ia (y
j
)
j0
sa nu e
constanta, o solut ie marginita este data ntotdeauna de solut ia banala
y
j
= 0.
Teorema 8 Fie (X
n
)
n0
un lant Markov ireductibil cu I = N. O condit ie
necesara si sucienta ca toate starile sa e recurente (i.e. lant ul sa e
recurent) este aceea ca sistemul liniar de inecuat ii
j=0
p
ij
y
j
y
i
, pentru orice i ,= 0, (50)
sa admita o solut ie (y
j
)
j0
nemarginita, i.e. lim
i
y
i
= .
Aplicat ie. Vom aplica rezultatele din aceast a sectiune pentru ex-
emplul mersului la ntamplare cu mult imea starilor I = 0, 1, . . . , n.

In
acest caz matricea de trecere ntr-un pas are forma
P =
_
_
_
_
_
_
_
_
1 0 0 0 ... 0 0 0
q 0 p 0 ... 0 0 0
0 q 0 p ... 0 0 0
. . . . . . . . . 0 ... . . . . . . . . .
0 0 0 0 ... q 0 p
0 0 0 0 ... 0 0 1
_
_
_
_
_
_
_
_
In mod evident starile 0 si n sunt absorbante, i.e. odat a ce am pierdut

tot i banii sau am c astigat tot i banii adversarului jocul ia sf arsit. Clasele
ireductibile sunt C
0
= 0, C
1
= 1, 2, . . . , n1 si C
n
= n. Clasele C
0
si C
n
ind absorbante sunt n mod evident recurente. C
1
este tranzienta,
ntruc at daca plecam din aceast a clas a putem ajunge cu o probabilitate
strict pozitiv a n oricare din st arile absorbante 0 sau n, de unde nu ne
mai putem ntoarce n C
1
.
Vom calcula probabilit at ile ca lant ul s a ajung a la un moment dat
n C
0
, respectiv C
n
( si atunci n mod evident nu va mai par asi clasele
respective), stiind c a a plecat la momentul init ial din starea j. Aceste
probabilit at i sunt date de
j
(C
0
), respectiv
j
(C
n
), cu j I arbitrar.
Not am y
j
=
j
(C
0
). Atunci sistemul (46) devine
y
j
=
j
(C
0
) =
kC
0
p
jk
+
kC
1
p
jk
k
(C
0
)
= p
j0
+ p
j1
1
(C
0
) + p
j2
2
(C
0
) + . . . + p
j,n1
n1
(C
0
)
= p
j0
+ p
j1
y
1
+ p
j2
y
2
+ . . . + p
j,n1
y
n1
,
care se rescrie
_
_
y
0
= p
00
= 1,
y
1
= q + py
2
,
y
2
= qy
1
+ py
3
,
.
.
.
y
k
= qy
k1
+ py
k+1
,
.
.
.
y
n2
= qy
n3
+ py
n1
,
y
n1
= qy
n2
.
(51)
50
Sistemul dat de ecuat iile 2, . . . , n 2 are forma
y
k
= qy
k1
+ py
k+1
, 2 k n 2.
Acesta este un sistem de ecuat ii cu diferent e nite, pentru care vom
c auta solut ii particulare progresii geometrice de forma y
k
= r
k
, cu r ,= 0.
Inlocuind obt inem

r
k1
(pr
2
r q) = 0,
cu solut iile nenule r
1
= 1 si r
2
=
q
p
. Atunci solut ia generala a sistemului
are forma
y
k
= Ar
k
1
+ Br
k
2
= A + B
_
q
p
_
k
, daca p ,= q,
iar daca p = q rezult a r
1
= r
2
= 1 si atunci solut ia generala este
y
k
= A + Bk.
Constantele A si B se determin a din a doua, respectiv ultima ecuat ie a
sistemului (51).

In cazul p ,= q se obt ine, din a doua ecuat ie,
A + B
q
p
= q + A + B
_
q
p
_
2
,
adic a A = 1 B, iar din ultima ecuat ie se obt ine
A + B
_
q
p
_
n1
= q
_
A + B
_
q
p
_
n2
_
,
sau echivalent p
n
A + q
n
B = 0. Atunci
A =
q
n
q
n
p
n
, B =
p
n
p
n
q
n
si deci
y
k
=
(q/p)
n
(q/p)
k
(q/p)
n
1
, dac a p ,= q. (52)
Dac a p = q (adic a suntemn cazul unui joc de norocn care ambii jucatori
au aceleasi probabilit at i de castig), cum p + q = 1 rezult a p = q =
1
2
. A
doua ecuat ie devine A+B =
1
2
+
1
2
(A+ 2B), de unde rezult a A = 1, iar
ultima ecuat ie se rescrie ca A + B(n 1) =
1
2
(A + B(n 2)), cu solut ia
B =
1
n
. Deducem atunci c a
y
k
= 1
k
n
, dac a p = q =
1
2
.
In mod asem an ator se calculeaz a si

j
(C
n
) probabilitat ile de absorpt ie
n starea n (i.e. n clasa C
n
) si se obt ine
j
(C
n
) = 1
j
(C
0
). Acest
rezultat nu este surprinz ator, deoarece era de asteptat ca mai devreme
sau mai t arziu lant ul s a ajung a ntr-una din st arile absorbante 0 sau n,
adic a jocul sa ia sfarsit prin ruinarea unuia din juc atori.
Dac a se considera acum situat ia in care unul dintre adversari este
mult mai bogat decat cel alalt (exemplul unui jucator care joac a ntr-un
cazino), atunci matricea de trecere este innita si probabilit at ile
j
(C
0
)
de ruinare a juc atorului mai sarac se determin a din sistemul (innit)
de ecuat ii liniare
_
_
_
y
0
= p
00
= 1,
y
1
= q + py
2
,
y
k
= qy
k1
+ py
k+1
, k 2.
(53)
Solut ia generala acestui sistem are aceeasi form a cu cea g asit a n cazul
precedent, i.e.
y
k
= A + B
_
q
p
_
k
, dac a p ,= q,
si
y
k
= A + Bk, dac a p = q =
1
2
.
Constantele A si B nu se mai pot determinan mod unic deoarece singura
relat ie ntre ele provine din a doua ecuat ie a sistemului, din care obt inem
A = 1 B, daca p ,= q, si A = 1 dac a p = q =
1
2
. Atunci
y
k
= 1 + B
_
_
q
p
_
k
1
_
, dac a p ,= q,
si
y
k
= 1 + Bk, dac a p = q =
1
2
,
52
cu B R oarecare. Dar trebuie sa avem 0 y
k
1, pentru orice k 1.
Distingem urmatoarele situat ii:
1) Dac a q > p atunci lim
k
_
q
p
_
k
= si deci lim
k
y
k
= , dac a
B ,= 0. Singura solut ie m arginita se obt ine pentru B = 0, adic a
k
(C
0
) =
y
k
= 1, pentru orice stare init ial a k, ceea ce nseamn a ca n cazul unui
joc inechitabil, n care jucatorul mult mai bogat are o probabilitate
mai mare de castig la o partid a oarecare, juc atorul mai s arac va sf arsi
ruinat cu probabilitatea 1, indiferent de suma pe care o det ine lanceputul
jocurilor.
2) Dac a q = p =
1
2
se observa c a singura solut ie m arginita se obt ine
din nou pentru B = 0 (n caz contrar y
k
sau y
k
) si deci
k
(C
0
) = y
k
= 1, pentru orice stare init ial a k. Chiar dac a jocul este
echitabil, ntruc at unul din jucatori este mult mai bogat decat cel alalt,
juc atorul mai s arac va sf arsi n cele din urma ruinat.
3) Dac a q < p atunci lim
k
_
q
p
_
k
= 0 si n acest caz solut ia (y
k
)
k0
este marginit a pentru orice B R. Se poate ar ata c a singura solut ie
convenabila este y
k
=
_
q
p
_
k
. Asadar
k
(C
0
) =
_
q
p
_
k
, cu alte cuvinte
dac a juc atorul mai s arac porneste cu suma init ial a k, probabilitatea de
ruinare a acestuia este egal a cu
_
q
p
_
k
< 1, n timp ce, cu probabilitatea
1
_
q
p
_
k
, acesta va acumula n timp din ce n ce mai mult capital.
0.7 Lant uri Markov nite
In cazul n care mult imea starilor I a unui lant Markov este nit a (caz n
care vom spune c a lant ul Markov este nit) se poate simplica analiza
acestuia.
In acest paragraf vom presupune c a I este nita si pentru simplicare

e I = 1, 2, ..., n.
Reamintim urm atoarele propriet at i specice ale lant urilor Markov ce
au fost deja demonstrate anterior
(1)

Intr-un lant Markov nit si ireductibil toate st arile sunt pozitiv
recurente (a se vedea Propozit ia 14).
0.7 Lant uri Markov nite 53
(1) Daca (X
n
) este un lant Markov nit ireductibil si aperiodic, atunci
exist a o unic a repartit ie stat ionara, i.e. sistemul
P = ,
n
i=1
i
= 1,
i
0, 1 i n
admite o solut ie unic a, unde P este matricea de trecere.

In plus
j
= lim
n
p
n
ij
, i, j I (a se vedea Teorema 4).
Denit ia 15 Fie A o matrice patratica de ordin n.
1. Spunem ca un numar C este valoare proprie a matricii A
daca este solut ie a ecuat iei det(AI
n
) = 0, unde I
n
reprezinta
matricea identitate (unitate) de ordin n.
2. Spunem ca un vector linie x de dimensiune n este vector propriu la
stanga al matricii A asociat unei valori proprii daca xA = x.
3. Spunem ca un vector coloana y de dimensiune n este vector propriu
la dreapta al matricii A asociat unei valori proprii daca Ay = y.
Pentru calculul probabilit at ilor de trecere n n pasi este extrem de
util a urm atoarea teorema.
Teorema 9 (Perron-Frobenius). Fie (X
n
) un lant Markov nit ireductibil
cu matricea de trecere P si de perioada d. Atunci:
(i) Radacinile (complexe) de ordin d ale unitat ii sunt valori proprii
ale lui P.

In particular P admite valoarea proprie
1
= 1.
(ii) Celelalte valori proprii ale lui P,
d+1
, ....,
n
satisfac
[
i
[ < 1, i = d + 1, . . . , n.
Remarca 11 Daca = (
i
)
iI
este unica repartit ie stat ionara, atunci
este un vector propriu la stanga asociat valorii proprii
1
= 1.
Probabilit at ile de treceren m pasi se pot determina utiliz and urm atorul
rezultat.
54
n
) un lant Markov nit ireductibil cu matricea
de trecere P. Presupunem ca P are valorile proprii
1
= 1,
2
, ....,
n
distincte. Fie a
i
= (a
ji
)
1jn
(respectiv b
i
= (b
ij
)
1jn
) un vector propriu
la dreapta (resp. la stanga) asociat valorii proprii
i
a.. sa e ndeplinita
condit ia de normalizare
n
j=1
a
ji
b
ij
= 1, pentru orice i = 1, . . . , n. (54)
Denim matricile (
i
)
1in
prin
i
= a
i
b
i
. Atunci, pentru orice n 1,
are loc egalitatea
P
m
=
m
i=1
m
i

i
. (55)
Demonstrat ie.Fie matricile A = (a
ij
)
1i,jn
, B = (b
ij
)
1i,jn
si
matricea care are pe diagonala principal a valorile proprii
1
, . . . ,
n
si n
rest 0. Egalit at ile
n
j=1
a
ji
b
ij
= 1, adev arate pentru pentru orice i, se
scriu matricial ca BA = I, adica A = B
1
, iar egalit at ile
Pa
i
=
i
a
i
, b
i
P =
i
b
i
, pentru orice 1 i n,
se scriu matricial sub forma
PA = A, BP = B.
Rezult a atunci
P = AA
1
= B
1
B = AB =
n
i=1
i
.
Concluzia rezult a acumn mod evident ntruct
i
j
= O
n
, pentru i ,= j,
unde O
n
este matricea nula de ordin n.
Aplicat ie. S a presupunem c a vremea ntr-o zi oarecare depinde de
vremea din ziua precedenta. Astfel, dac a ziua de azi este o zi cu soare
m aine vremea va nnorat a cu probabilitatea p, iar dac a ast azi vremea
este nnorat a maine vom avea parte de o zi nsorit a cu probabilitatea r.
Presupunem 0 < p, r < 1.
0.7 Lant uri Markov nite 55
Pentru n xat, denim X
n
ca ind vremea din cea de-a n-a zi, unde X
0
reprezint a vremea din ziua de azi. Atunci (X
n
)
n0
este un lant Markov
cu dou a stari, I = S, N, unde S = vreme nsorita (soare) si N =
vreme nnorat a (nori), av and matricea de trecere P =
_
1 p p
r 1 r
_
.
(a) Determinat i matricea P
n
, cu n 1 oarecare.
(b) Stiind ca ast azi este o zi nsorita, care este probabilitatea ca peste
10 zile s a avem parte de o zi nsorita? Dar daca ast azi este vreme
nnorat a, cu ce probabilitate vom parte de o zi nsorita peste un
an? Considerat i si cazul particular: p =
1
4
si r =
1
2
.
Rezolvare
(a) Ecuat ia det(P I
2
) = 0 este echivalenta cu
1 p p
r 1 r
= (1 p )(1 r ) rp = 0,
cu r ad acinile
1
= 1 (se stia c a 1 este valoare proprie, conform teoremei
Perron-Frobenius) si
2
= 1 p r. Vectorul a = (a
1
, a
2
)
t
este vector
propriu la dreapta corespunz ator valorii proprii
1
= 1 dac a
_
1 p p
r 1 r
_
_
a
1
a
2
_
=
_
a
1
a
2
_
,
de unde rezult a a
1
= a
2
, adica a = (, )
t
, cu R arbitrar.
Vectorul b = (b
1
, b
2
) este vector propriu la st anga corespunz ator valorii
proprii
1
= 1 dac a
(b
1
, b
2
)
_
1 p p
r 1 r
_
= (b
1
, b
2
),
de unde rezult a b
2
=
b
1
p
r
, adic a b = (,
p
r
), cu R oarecare. Condit ia
de normalizare (54) ne conduce la
+
p
r
= 1,
si atunci, daca alegem de exemplu = 1, rezulta =
r
r+p
si vectorii
proprii devin
a
1
= (1, 1)
t
, b
1
= (
r
r + p
,
p
r + p
).
56
In mod aseman ator se arata ca daca a = (a

1
, a
2
)
t
este vector propriu
la dreapta coresp. val. proprii
2
= 1 p r, atunci a
2
=
ra
1
p
si
deci a = (,
r
p
), cu R arbitrar. Daca b = (b
1
, b
2
) este vector
propriu la st anga coresp. aceleiasi val. proprii, atunci b
2
=
pb
1
r
si deci
b = (,
p
r
), cu R oarecare.
Impun and si condit ia de normalizare (54), mpreun a cu alegerea =
1, obt inem =
1
2
iar vectorii proprii devin
a
2
= (1, 1)
t
, b
2
= (
1
2
,
p
2r
).
Cu notat iile din propozit ia 16, avem
1
= a
1
b
1
=
_
1
1
_
(
r
r + p
,
p
r + p
) =
_
r
r+p
p
r+p
r
r+p
p
r+p
_
si
2
= a
2
b
2
=
_
1
1
_
(
1
2
,
p
2r
) =
_
1
2

p
2r
1
2

p
2r
_
.
In nal se obt ine

P
n
=
n
1
1
+
n
2
2
=
_
r
r+p
p
r+p
r
r+p
p
r+p
_
+ (1 p r)
n
_
1
2

p
2r
1
2

p
2r
_
.
(b) Prima probabilitate cerut a este
P(X
10
= S[X
0
= S) = p
10
SS
= (P
10
)
SS
=
r
r + p
+
(1 p r)
10
2
.
Avem apoi de calculat probabilitatea P(X
365
= S[X
0
= N) = p
365
NS
.
Conform formulei de calcul a matricii P
n
rezult a lim
n
p
n
NS
=
r
r+p
(deoarece 1 p r (1, 1) si deci lim
n
(1 p r)
n
= 0). Cum
n = 365 este un numar sucient de mare, se poate face aproximarea
p
365
NS
lim
n
p
n
NS
=
r
r + p
.
In cazul particular p =
1
4
si r =
1
2
rezult a p
10
SS
=
2
3
+
1
2
21
si p
365
NS

2
3
.
0.8 Probleme rezolvate 57
Remarca 12 Se putea determina valoarea aproximativa a probabilitat ii
P(X
365
= S[X
0
= N) fara a avea nevoie de calculul matricii putere
P
n
. Se observa cu usurint a ca (X
n
) este un lant Markov ireductibil si
aperiodic. Se stie atunci ca exista o unica repartit ie stat ionara =
(
S
,
N
) si ca lim
n
p
n
NS
=
S
. Ecuat ia P = , mpreuna cu condit ia
de normalizare
S
+
N
= 1 ne conduce la = (
r
r+p
,
p
r+p
). Deducem n
nal ca lim
n
p
n
NS
=
r
r+p
, i.e. p
365
NS

r
r+p
.
0.8 Probleme rezolvate
Problema 1
Se consider a un lant Markov (X
n
)
n0
av and mult imea starilor I =
1, 2, 3, 4, 5, 6 si matricea de trecere P dat a prin
P =
_
_
_
_
_
_
_
_
1/2 0 0 0 0
1/3 0 0 0 0
0 0 0 7/8 0
1/4 1/4 0 1/4 1/4
0 0 3/4 0 0
0 1/5 0 1/5 1/5
_
_
_
_
_
_
_
_
.
(a) Completat i matricea de trecere cu termenii de pe diagonala princi-
pal a a acesteia.
(b) Determinat i clasele echivalente ale lant ului (n raport cu relat ia de
comunicare ). Ar atat i ca starile 4 si 6 sunt tranziente, si c a
mult imea st arilor ramase se descompune n doua clase recurente.
In continuare, vom nota prin C

1
clasa recurent a ce cont ine starea
1, cu C
2
cealalt a clas a recurent a si e C
3
= 4, 6.
(c) Pentru i I, denim
i
= P(T < [X
0
= i), unde
T =
_
minn 0[X
n
C
1
, dac a n N a.. X
n
C
1
;
, n caz contrar.
58
T reprezint a n mod evident primul moment la care lant ul ajunge
n clasa C
1
.
S a se arate ca
i
=
_
1, dac a i C
1
;
0, dac a i C
2
.
(d) Demonstrat i formula
i
=
jI
p
ij
j
, dac a i C
3
. (56)
(e) Utilizand formula de mai sus, determinat i valorile lui
4
si
6
.
Rezolvare
(a) T inand cont de faptul ca matricea P este o matrice stocastic a (suma
elementelor de pe ecare linie a acestei matrici este egal a cu 1),
deducem p
11
= 1/2, p
22
= 2/3, p
33
= 1/8, p
44
= 0, p
55
= 1/4, p
66
=
2/5. Matricea probabilitat ilor de trecere ntr-un pas are atunci
forma
P =
_
_
_
_
_
_
_
_
1/2 1/2 0 0 0 0
1/3 2/3 0 0 0 0
0 0 1/8 0 7/8 0
1/4 1/4 0 0 1/4 1/4
0 0 3/4 0 1/4 0
0 1/5 0 1/5 1/5 2/5
_
_
_
_
_
_
_
_
.
(b) Intrucat p
12
= 1/2 > 0 si p
21
= 1/3 > 0, deducem c a st arile 1
si 2 comunic a (1 2), deci apart in aceleiasi clase de echivalent a.
Cum din starea 1 putem ram ane n 1 sau merge n starea 2, iar
din starea 2 putem r am ane n 2 sau ajunge n starea 1, deducem
c a dac a lant ul a ajuns n clasa 1, 2, va r amane mereu n aceast a
clas a. Not am C
1
= 1, 2.

In mod similar se arat a ca o alta clasa
este format a din st arile 3, 5 si e C
2
= 3, 5. Clasele C
1
si C
2
sunt
n mod evident nchise.
Este clar c a starile 4 si 6 comunica intruc at p
46
= 1/4 > 0 si
p
64
= 1/5 > 0. Starea 1 este accesibil a din starea 4 (4 1), dar,
asa cum am observat mai sus, din 1 nu putem ajunge n 4. Asadar
st arile 1 si 4 nu comunic a.

In acelasi mod se arat a ca nici starile 2
si 4 nu comunic a. Asadar st arile 4 si 6 formeaza o alt a clas a, notata
C
3
.
Vom cerceta mai nt ai dac a dac a starea 1 este recurent a sau tranzienta.
Calcul am mai int ai
f
n
11
= P(X
1
,= 1, X
2
,= 1, . . . , X
n1
,= 1, X
n
= 1[X
0
= 1)
= P(X
1
= 2, X
2
= 2, . . . , X
n1
= 2, X
n
= 1[X
0
= 1)
= P(X
1
= 2[X
0
= 1) P(X
2
= 2[X
1
= 2) . . . P(X
n1
= 2[X
n2
= 2)
P(X
n
= 1[X
n1
= 2)
= p
12
p
n2
22
p
21
=
1
2
_
2
3
_
n2
1
3
, pentru n 2,
si f
1
11
= p
11
=
1
2
. Rezult a
n=1
f
n
11
=
1
2
+
1
6
n=2
_
2
3
_
n2
=
1
2
+
1
6
1
1
2
3
= 1.
Aplic and propozit ia 4 deducem c a starea 1 este recurent a, si cum
recurent a este o proprietate de clas a, deducem ca si starea 2 este o
stare recurent a. Asadar clasa C
1
este o clas a recurent a.

In acelasi
mod rezulta ca si clasa C
2
este recurent a.
Vom ar ata acum ca starea 4 este tranzienta, ceea ce intuitiv pare
evident, intrucat dac a plec am la momentul init ial din aceasta stare,
putem ulterior ajunge n una din st arile 1 sau 2 cu probabilit at i
strict pozitive, si cum clasa C
1
este o clasa nchisa, odat a ce am
ajuns aici nu avem cum s a revenim n starea 4. Ca atare, nu avem
cum sa revenim n starea 4 cu probabilitatea 1.
Mai precis, pentru n 2,
f
n
44
= P(X
1
,= 4, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
= P(((X
1
= 1) (X
1
= 2) (X
1
= 5) (X
1
= 6)),
X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
= P(X
1
= 1, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
+ P(X
1
= 2, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
+ P(X
1
= 5, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
+ P(X
1
= 6, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4).
60
Am t inut cont de faptul ca din starea 4 se poate ajunge doar n
una din st arile 1, 2, 5 sau 6. Intrucat odat a ce am ajuns n una
din starile 1 sau 2 r am anem mereu n clasa C
1
, iar daca ajungem
n starea 5 vom r amane tot timpul n clasa C
2
, n aceste situat ii nu
mai putem reveni n starea 4 si atunci primii trei termeni din suma
de mai sus sunt egali cu 0. Avem
f
n
44
= P(X
1
= 6, X
2
,= 4, . . . , X
n1
,= 4, X
n
= 4[X
0
= 4)
= P(X
1
= 6, X
2
= 6, . . . , X
n1
= 6, X
n
= 4[X
0
= 4)
= P(X
1
= 6[X
0
= 4) P(X
2
= 6[X
1
= 6) . . . P(X
n1
= 6[X
n2
= 6)
P(X
n
= 4[X
n1
= 6)
= p
46
p
n2
66
p
64
=
1
4
_
2
5
_
n2
1
5
, pentru n 2,
deoarece dac a suntem n starea 6 putem ajunge n starile 1, 2, 5
(de unde nu mai putem reveni niciodat a n starea 4), sau putem
r amane n starea 6. Rezulta
f
44
=
n=1
f
n
44
= f
1
44
+
n=2
f
n
11
=
1
2
+
1
20
n=2
_
2
5
_
n2
=
1
2
+
1
20
1
1
2
5
=
7
12
< 1,
de unde deducem c a starea 4 este o stare tranzienta, si deci clasa
C
3
este tranzient a.
(c) Daca i C
1
, atunci
i
= P(T = 0[X
0
= i) = 1. Daca i C
2
,
intruc at C
2
este o clas a nchis a, vom r am ane mereu n aceast a clas a
si deci vom ajunge cu probabilitatea 0 n clasa C
1
. In acest caz
rezult a
i
= P(T < [X
0
= i) = 0.
(d)

In mod evident, evenimentul (T < ) se poate descompune ca
(T < ) = (T = 0) (T = 1) (2 T < ),
si t in and cont de faptul c a evenimentele ce particip a la reuniune
sunt incompatibile, rezulta, pentru i C
3
,
P(T < [X
0
= i) = P(T = 0[X
0
= i) + P(T = 1[X
0
= i)
+ P(2 T < [X
0
= i).
Intruc at i C
3
, probabilitatea ca la momentul 0 s a m n clasa C
1
este 0, deci P(T = 0[X
0
= i) = 0, iar
P(T = 1[X
0
= i) = P(X
1
C
1
[X
0
= i)
= P((X
1
= 1) (X
1
= 2)[X
0
= i)
= P(X
1
= 1[X
0
= i) + P(X
1
= 2[X
0
= i)
= p
i1
+ p
i2
=
jC
1
p
ij
j
,
deoarece
1
=
2
= 1. De asemenea,
P(2 T < [X
0
= i) = P((X
1
I C
1
) (2 T < )[X
0
= i)
= P((X
1
C
3
) (2 T < )[X
0
= i)
= P((X
1
= 4) (2 T < ) [X
0
= i)
+ P((X
1
= 6) (2 T < )[X
0
= i)
= P ((X
1
= 4) (
n2
(X
n
C
1
)) [X
0
= i)
+ P ((X
1
= 6) (
n2
(X
n
C
1
)) [X
0
= i)
= P ((
n2
(X
1
= 4, X
n
C
1
)) [X
0
= i)
+ P ((
n2
(X
1
= 6, X
n
C
1
)) [X
0
= i)
=
n2
P ((X
1
= 4, X
n
C
1
)[X
0
= i)
+
n2
P((X
1
= 6, X
n
C
1
)[X
0
= i)
=
n2
P(X
1
= 4[X
0
= i) P(X
n
C
1
[X
1
= 4)+
n2
P(X
1
= 6[X
0
= i) P(X
n
C
1
[X
1
= 6)
=
n2
P(X
1
= 4[X
0
= i) P(X
n1
C
1
[X
0
= 4)+
n2
P(X
1
= 6[X
0
= i) P(X
n1
C
1
[X
0
= 6)
62
= P(X
1
= 4[X
0
= i) P(
n2
(X
n1
C
1
)[X
0
= 4)
+ P(X
1
= 6[X
0
= i) P(
n2
(X
n1
C
1
)[X
0
= 6)
= P(X
1
= 4[X
0
= i) P(T < [X
0
= 4)
+ P(X
1
= 6[X
0
= i) P(T < [X
0
= 6) = p
i4
4
+ p
i6
6
=
jC
3
p
ij
j
.
Am folosit faptul c a daca plec am din clasa C
3
, pentru a ajunge la un
moment dat n clasa C
1
(vezi T < ) nu trebuie s a ajungem nicio-
dat a n clasa C
2
, ntruc at odat a ce am ajuns acolo vom r amane
mereu n clasa respectiv a (deoarece C
2
este inchis a).

In deduc-
erea formulei de mai sus am utilizat de asemenea proprietatea lui
Markov si faptul ca lant ul este omogen. Rezulta
i
= P(T < [X
0
= i) =
jC
1
p
ij
j
+
jC
3
p
ij
j
=
jI
p
ij
j
, (57)
ntruc at
j
= 0 pentru j C
2
si I = C
1
C
2
C
3
.
(e)

Inlocuind n ecuat ia (57) pe i = 4, 6, se obt ine
_

4
= p
41
1
+ p
42
2
+ p
43
3
+ p
44
4
+ p
45
5
+ p
46
6
= p
61
1
+ p
62
2
+ p
63
3
+ p
64
4
+ p
65
5
+ p
66
6
,
si t inand cont de expresia matricii de trecere P si de rezultatele
obt inute la subpunctul (c) (
1
=
2
= 1,
3
=
5
= 0), sistemul
precedent se rescrie
_

4
=
1
4
+
1
4
+
1
4
6
=
1
5
+
1
5
4
+
2
5
6
,
cu solut ia
4
=
7
11
,
6
=
6
11
.
Problema 2
Se considera un lant Markov (X
n
)
n0
cu mult imea st arilor I = 1, 2, 3, 4,
av and matricea de trecere P dat a prin
P =
_
_
_
_
p 1 p 0 0
0 0 p 1 p
p 1 p 0 0
0 0 p 1 p
_
_
_
_
, unde p (0, 1).
(a) Ar atat i c a lant ul (X
n
) este recurent si ireductibil.
(b) Determinat i repartit iile stat ionare = (
1
,
2
,
3
,
4
).
(c) Ar atat i c a lant ul este aperiodic. Deducet i c a sirul matricilor de
trecere (P
n
)
n0
tinde, cand n , la matricea
_
_
_
_
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
_
_
_
_
.
(d) Precizat i repartit iile variabilelor X
n
, pentru n 2.
(e) Fie T
4
= infn 1[X
n
= 4. Calculat i media condit ionata M(T
4
[X
0
=
4).
Rezolvare
(a) 1 2 intrucat p
12
= 1 p > 0. Apoi 2 1 deoarece 2 3
(p
23
= p > 0) si 3 1 (p
31
= p > 0). Deducem ca st arile 1 si 2
comunic a (1 2). Utiliz and un rat ionament aseman ator se arata c a
toate starile comunica si deci lant ul este ireductibil, i.e. mult imea starilor
este format a dintr-o singura clas a de echivalent a n raport cu relat ia de
comunicare dintre st ari. Conform propozit iei 6, mult imea starilor ind
nit a (I = 1, 2, 3, 4), deducem c a exista cel put in o stare recurenta.
Dar cum recurent a este o proprietate de clas a (st arile apart inand unei
clase sunt e toate recurente, e toate tranziente) si cum lant ul este
ireductibil, deducem c a toate st arile sunt recurente. De asemenea, cum
I este nit a si lant ul este ireductibil, rezulta conform propozit iei 14 c a
toate starile sunt pozitiv recurente.
(b) Avem de rezolvat ecuat ia P = , i.e.
(
1
,
2
,
3
,
4
)
_
_
_
_
p 1 p 0 0
0 0 p 1 p
p 1 p 0 0
0 0 p 1 p
_
_
_
_
= (
1
,
2
,
3
,
4
),
64
care ne conduce la sistemul
_
1
p +
3
p =
1
1
(1 p) +
3
(1 p) =
2
2
p +
4
p =
3
2
(1 p) +
4
(1 p) =
4
,
cu solut iile =
_
1
,
1p
p

1
,
1p
p

1
,
(1p)
2
p
2

1
_
, cu
1
0 oarecare (
1
,
2
,
3
,
4
trebuie sa e numere reale pozitive). De asemenea trebuie ca
1
+
2
+
3
+
4
= 1, de unde rezult a
1
= p
2
. Se obt ine atunci o unic a repartit ie
stat ionar a data prin = (p
2
, p(1 p), p(1 p), (1 p)
2
).
Faptul c a exista o unic a repartit ie stat ionara rezult a ns a si direct din
teorema 5.
(c)

Intruc at p
1
11
= p > 0 si cum perioada clasei 1 este d(1) =
c.m.m.d.c. n 1[p
n
11
> 0, rezult a d(1)[1, adic a d(1) = 1. Aceasta
nseamn a ca 1 este o stare aperiodic a.

Intruc at lant ul este ireductibil,
rezult a c a toate st arile sunt aperiodice (vezi propozit ia 12) Atunci, n
concordant a cu teorema ergodic a 5, combinat a cu teorema 4, deducem
lim
n
p
n
ji
= lim
n
p
n
ii
=
i
, pentru orice i, j I.
Astfel, pentru orice j I, lim
n
p
n
j1
=
1
= p
2
, lim
n
p
n
j2
=
2
= p(1 p),
lim
n
p
n
j3
=
3
= p(1 p), lim
n
p
n
j4
=
4
= (1 p)
2
.
(d) Prin induct ie se arata ca P
n
= P
2
, pentru orice n 2. Astfel,
convergent a de la subpunctul precedent rezulta imediat t inand cont ca
sirul de matrici (P
n
) este un sir constant ncep and de la rangul n = 2.
Matricea limita este evident P
2
.
Pentru i I oarecare vom nota P(X
0
= i) = p
i
, P(X
n
= i) = p
n
i
si
e = (p
1
, p
2
, p
3
, p
4
). Repartit ia variabilei X
n
este
X
n
:
_
1 2 3 4
p
n
1
p
n
2
p
n
3
p
n
4
_
.
Avem
p
n
i
= P(X
n
= i) = P((X
n
= i) (
jI
(X
0
= j))) =
jI
P(X
n
= i, X
0
= j)
=
jI
P(X
0
= j)P(X
n
= i[X
0
= j) =
jI
p
j
p
n
ji
.
Rezulta
(p
n
1
, p
n
2
, p
n
3
, p
n
4
) = P
n
= P
2
.
Dar
P
2
= (p
1
, p
2
, p
3
, p
4
)
_
_
_
_
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
p
2
p(1 p) p(1 p) p
2
(1 p)
2
_
_
_
_
= (p
2
(p
1
+ p
2
+ p
3
+ p
4
), p(1 p)(p
1
+ p
2
+ p
3
+ p
4
),
p(1 p)(p
1
+ p
2
+ p
3
+ p
4
), (1 p)
2
(p
1
+ p
2
+ p
3
+ p
4
))
==
_
p
2
, p(1 p), p(1 p), (1 p)
2
_
= ,
deoarece p
1
+p
2
+p
3
+p
4
= 1 ( este un vector de probabilitate). Deducem
atunci ca repartit ia lui X
n
, pentru n 2 este dat a prin
X
n
:
_
1 2 3 4
p
2
p(1 p) p(1 p) p
2
(1 p)
2
_
.
Astfel, repartit ia lui X
n
, pentru n 2 nu depinde de n si vectorul
(p
n
1
, p
n
2
, p
n
3
, p
n
4
) compus din probabilit at ile cu care X
n
ia toate valorile
posibile este dat de repartit ia stat ionara .
(e) Asa cum am vazut la subpunctele (a) si (c), lant ul este ireductibil,
aperiodic si pozitiv recurent. Atunci, n virtutea corolarului 5, rezult a
M(T
4
[X
0
= 4) =
1
4
=
1
(1 p)
2
.
Problema 3
n
)
n0
cu mult imea st arilor I = 0, 1, 2, 3, 4,
P =
_
_
_
_
_
_
0
1
4
1
4
1
4
1
4
p 0
1p
2
0
1p
2
p
1p
2
0
1p
2
0
p 0
1p
2
0
1p
2
p
1p
2
0
1p
2
0
_
_
_
_
_
_
, unde p (0, 1).
(a) Ar atat i c a lant ul (X
n
) este recurent si ireductibil.
66
(b) DenimT
0
= infn 1[X
n
= 0. Determinat i repartit ia condit ionat a
T
0
[X
0
= 0 si calculat i media condit ionata M(T
0
[X
0
= 0).
(c) Determinat i = (
0
,
1
,
2
,
3
,
4
) unica repartit ie stat ionar a aso-
ciat a lant ului.
(d) Notam prin N
n
num arul vizitelor lant ului prin starea 0, ntre mo-
mentele 1 si n, i.e.
Y
n
=
n
k=1
1
{X
k
=0}
.
Fie de asemenea M
n
num arul vizitelor lant ului prin toate starile
diferite de 0, ntre momentele 1 si n, i.e.
Z
n
=
n
k=1
1
{X
k
=0}
.
Determinat i limitele sirurilor M
0
_
Y
n
n
_
n1
si M
0
_
Z
n
n
_
n1
, unde M
0
reprezint a media n raport cu probabilitatea P
0
(), denit a prin
P
0
(A) = P(A[X
0
= 0), pentru orice A T.
Rezolvare
(a) Se constat a cu usurint a, la fel ca n problemele anterioare ca toate
st arile comunic a. Rezult a ca lant ul este ireductibil si cum mult imea
st arilor I este nita rezult a c a lant ul este recurent.
(b) Repartit ia condit ionat a T
0
[X
0
= 0 are forma
T
0
[X
0
= 0 :
_
1 2 . . . n . . .
f
1
00
f
2
00
. . . f
n
00
. . .
_
,
unde reamintim ca f
n
00
= P(X
1
,= 0, . . . , X
n1
,= 0, X
n
= 0[X
0
= 0).

In
conformitate cu formula de recurent a (19) putem scrie f
1
00
= p
00
= 0 si
f
n
00
=
kI\{0}
p
0k
f
n1
k0
=
1
4
f
n1
10
+
1
4
f
n1
20
+
1
4
f
n1
30
+
1
4
f
n1
40
. (58)
Se observa ca avem nevoie si de expresiile probabilit at ilor f
n
k0
, cu k ,= 0.
Utiliz and aceeasi formula de recurent a rezult a
f
n
10
=
kI\{0}
p
1k
f
n1
k0
=
1 p
2
f
n1
20
+
1 p
2
f
n1
40
, (59)
f
n
20
=
kI\{0}
p
2k
f
n1
k0
=
1 p
2
f
n1
10
+
1 p
2
f
n1
30
, (60)
f
n
30
=
kI\{0}
p
3k
f
n1
k0
=
1 p
2
f
n1
20
+
1 p
2
f
n1
40
,
si
f
n
40
=
kI\{0}
p
4k
f
n1
k0
=
1 p
2
f
n1
10
+
1 p
2
f
n1
30
.
Deducem, comparand expresiile de mai sus, ca f
n
10
= f
n
30
si f
n
20
= f
n
40
.
Rescriem ecuat iile (59) si (60) sub forma
f
n
10
= (1 p)f
n1
20
si
f
n
20
= (1 p)f
n1
10
,
pentru orice n 2. Rezult a atunci f
n
10
= (1 p)
2
f
n2
10
, pentru n 3.
Cum f
1
10
= p
10
= p, se arat a imediat prin induct ie c a
f
2n+1
10
= (1 p)
2n
f
1
10
= p(1 p)
2n
. (61)
De asemenea,
f
2
10
=
kI\{0}
p
1k
f
1
k0
=
kI\{0}
p
1k
p
k0
=
1 p
2
p +
1 p
2
p = p(1 p).
Deducem ca
f
2n
10
= (1 p)
2n2
f
2
10
= p(1 p)
2n1
. (62)
T in and cont de formulele (61) si (62) rezult a
f
n
10
= p(1 p)
n1
.
Atunci
f
n
20
= (1 p)f
n1
10
= p(1 p)
n1
= f
n
10
, pentru orice n 2,
si nlocuind n formula (58) se obt ine
f
n
00
= p(1 p)
n2
, pentru orice n 2.
68
Atunci
T
0
[X
0
= 0 :
_
1 2 3 . . . n . . .
0 p p(1 p) . . . p(1 p)
n2
. . .
_
si
M(T
0
[X
0
= 0) =
n=1
nf
n
ii
=
n=2
np(1 p)
n2
=
p
1 p
n=2
n(1 p)
n1
=
p
1 p
n=2
((1 p)
n
)
=
p
p 1
_

n=2
(1 p)
n
_
=
p
p 1
_
lim
n
_
(1 p)
2
1 (1 p)
n1
1 (1 p)
__
=
p
p 1
_
(1 p)
2
p
_
=
p
p 1
2(1 p)p (1 p)
2
p
2
=
p + 1
p
.
(c) Cum mult imea st arilor I este nita si lant ul este ireductibil,
rezult a conform propozit iei 14 ca lant ul este pozitiv recurent. Utiliz and
atunci teorema 5, deducem existent a unei unice repartit ii stat ionare =
(
0
,
1
,
2
,
3
,
4
), ce satisface relat iile
P = si
0
+
1
+
2
+
3
+
4
= 1.
Rezult a
(
0
,
1
,
2
,
3
,
4
)
_
_
_
_
_
_
0
1
4
1
4
1
4
1
4
p 0
1p
2
0
1p
2
p
1p
2
0
1p
2
0
p 0
1p
2
0
1p
2
p
1p
2
0
1p
2
0
_
_
_
_
_
_
= (
0
,
1
,
2
,
3
,
4
),
i.e.
_
_
p(
1
+
2
+
3
+
4
) =
0
1
4
0
+
1p
2
(
2
+
4
) =
1
1
4
0
+
1p
2
(
1
+
3
) =
2
1
4
0
+
1p
2
(
2
+
4
) =
3
1
4
0
+
1p
2
(
1
+
3
) =
4
.
Dar
1
+
2
+
3
+
4
= 1
0
, si nlocuind n prima ecuat ie obt inem
p(1
0
) =
0
, adica
0
=
p
1+p
. Comparand celelalte ecuat ii ale sistemului
deducem
1
=
3
si
2
=
4
. Atunci primele dou a ecuat ii ale sistemului
devin
2
1
+ 2
2
=
1
1 + p
si
p
4(1 + p)
+ (1 p)
2
=
1
,
de unde deducem
1
=
1
4(1+p)
=
2
. Astfel, unica repartit ie stat ionar a
este data de =
_
p
1+p
,
1
4(1+p)
,
1
4(1+p)
,
1
4(1+p)
,
1
4(1+p)
,
1
4(1+p)
_
.
(d) Sub probabilitatea P
0
, pentru A T oarecare, variabila aleatoare
1
A
() este discret a si ia valoarea 1 dac a A, i.e. cu probabilitatea
P
0
(A), respectiv valoarea 0 dac a / A, i.e. cu probabilitatea P
0
(

A) =
1 P
0
(A). Astfel, repartit ia v.a. 1
A
, sub probabilitatea P
0
, este
1
A
:
_
1 0
P
0
(A) 1 P
0
(A)
_
,
si deci M
0
(1
A
) = P
0
(A). Atunci
M
0
_
Y
n
n
_
=
1
n
n
k=1
M
0
_
1
{X
k
=0}
_
=
1
n
n
k=1
P(X
k
= 0[X
0
= 0) =
n
k=1
p
k
00
n
.
Se observ a cu usurint a ca lant ul este aperiodic si atunci, conform cu
remarca 6, rezulta
lim
n
n
k=1
p
k
00
n
=
1
M(T
0
[X
0
= 0)
=
0
=
p
1 + p
.
Asadar lim
n
M
0
_
Y
n
n
_
=
p
1 + p
. Dar
Y
n
n
+
Z
n
n
=
1
n
n
k=1
_
1
{X
k
=0}
+1
{X
k
=0}
_
=
1
n
n
k=1
1 = 1.
Atunci
1 = M
0
_
Y
n
n
+
Z
n
n
_
= M
0
_
Y
n
n
_
+ M
0
_
Z
n
n
_
,
70
si deci
lim
n
M
0
_
Z
n
n
_
= 1 lim
n
M
0
_
Y
n
n
_
= 1
p
1 + p
=
1
1 + p
.
0.9 Probleme propuse
Problema 1
n
)
n0
cu mult imea st arilor I = 1, 2, 3, 4, 5, 6
si matricea de trecere P dat a prin
P =
_
_
_
_
_
_
_
_
1/4 1/3 0 0 0
1/4 0 1/4 1/3 0
1/2 0 0 0 0
0 0 0 1/2 1/3
0 0 0 1/2 1/2
0 0 0 1/3 1/4
_
_
_
_
_
_
_
_
.
pal a a acesteia.
(b) Ar atat i c a mult imea st arilor I se descompune n dou a clase de
echivalent a, o clas a recurenta si una tranzienta.
Problema 2
n
)
n0
cu mult imea st arilor I = 1, 2, 3, 4, 5,
P =
_
_
_
_
_
_
1/3 0 1/3 0
1/2 1/2 0 0
0 0 0 2/3
1/3 1/3 0 0
0 0 1/2 0
_
_
_
_
_
_
.
pal a a acesteia.
(b) Ar atat i ca mult imea starilor I este formata din dou a clase de echivalent a,
una ind recurenta si cealalt a tranzienta.
0.9 Probleme propuse 71
(c) Ar atat i c a lant ul posed a o unic a repartit ie stat ionara.
Problema 3
n
)
n0
cu mult imea st arilor I = 1, 2, 3, 4, 5, 6,
P =
_
_
_
_
_
_
_
_
1/2 1/3 0 0 0
1/4 0 1/4 1/4 0
1 0 0 0 0
0 0 0 1/2 1/3
0 0 0 1/2 1/2
0 0 0 1/4 1/4
_
_
_
_
_
_
_
_
.
pal a a acesteia.
(b) Ar atat i ca mult imea starilor I este formata din dou a clase de echivalent a,
una ind recurenta si cealalt a tranzienta.
(c) Aratat i c a lant ul posed a o unic a repartit ie stat ionara.
Problema 4
Se considera lant ul Markov cu mult imea starilor I = 1, 2, 3 si ma-
tricea de trecere
P =
_
_
0
2
5
3
5
1 0 0
1 0 0
_
_
.
(a) S a se calculeze probabilit at ile p
n
ij
de trecere n n pasi, pentru i, j
I.
(b) Sa se arate c a lant ul este ireductibil si are perioada 2.
Indicat ie. Se observa cu usurint a c a lant ul este ireductibil. Valorile
proprii ale matricii P sunt
1
= 1,
2
= 0,
3
= 1. Utiliz and propozit ia
16 obt inem
P
n
=
_
_
1
2
1
5
3
10
1
2
1
5
3
10
1
2
1
5
3
10
_
_
+ (1)
n
_
_
1
2

1
5

3
10
1
2
1
5
3
10
1
2
1
5
3
10
_
_
,
72
deci
P
2k
=
_
_
1 0 0
0
2
5
3
5
0
2
5
3
5
_
_
, P
2k+1
=
_
_
0
2
5
3
5
1 0 0
1 0 0
_
_
.
Deoarece p
2k
ii
> 0 si p
2k+1
ii
= 0, pentru orice k N si i I, rezult a ca
toate starile au perioada 2.
Problema 5
Se consider a lant ul Markov cu multimea st arilor I = 1, 2, 3 si ma-
tricea de trecere
P =
_
_
1 0 0
1
4
1
2
1
4
0 0 1
_
_
.
(a) S a se calculeze probabilit at ile de trecere n n pasi.
(b) Sa se determine (unica) repartit ie stat ionar a.
Problema 6
Fie lant ul Markov cu mult imea starilor I = 1, 2, 3, 4, 5, 6 si matricea
de trecere
P =
_
_
_
_
_
_
_
_
1
2
1
2
0 0 0 0
1
4
3
4
0 0 0 0
1
4
1
4
1
4
1
4
0 0
1
4
0
1
4
1
4
0
1
4
0 0 0 0
1
2
1
2
0 0 0 0
1
2
1
2
_
_
_
_
_
_
_
_
.
(a) S a se determine st arile recurente, tranziente si perioadele lor.
(b) Sa se calculeze probabilitat ile f
n
ij
(ca plecand din starea i s a ajungem
pentru prima oaran starea j dup a n pasi), pentru i, j I si n N
.
Problema 7
Se considera lant ul Markov cu mult imea starilor I = 1, 2, 3, 4 si
matricea de trecere
P =
_
_
_
_
0 p 0 1 p
1 p 0 p 0
0 1 p 0 p
p 0 1 p 0
_
_
_
_
(a) S a se calculeze probabilit at ile de trecere n n pasi.
(b) Sa se clasice st arile.
Problema 8
S a se arate ca lant ul Markov av and mult imea st arilor I = 1, 2, 3, 4, , 5
si matricea de trecere
P =
_
_
_
_
_
_
0
1
2
1
2
0 0
0 0 0
1
5
4
5
0 0 0
2
5
3
5
1 0 0 0 0
1 0 0 0 0
_
_
_
_
_
_
este ireductibil, recurent si de perioada 3.
Problema 9
Fie lant ul Markov cu mult imea starilor I = 1, 2, 3, 4, 5, 6 si matricea
de trecere
P =
_
_
_
_
_
_
_
_
1 0 0 0 0 0
0
3
4
1
4
0 0 0
0
1
8
7
8
0 0 0
1
4
1
4
0
1
8
3
8
0
1
3
0
1
6
1
6
1
3
0
0 0 0 0 0 1
_
_
_
_
_
_
_
_
.
(a) S a se determine toate clasele de echivalent a.
(b) Sa se calculeze probabilit at ile limit a lim
n
p
n
5j
, pentru toate st arile
j I.
74
Problema 10
S a presupunem c a vremea ntr-o zi oarecare depinde de vremea din
cele dou a zile precedente. Astfel, dac a si ziua de ieri si ziua de azi sunt
zile cu soare, vom presupune ca maine vremea va de asemenea nsorit a
cu probabilitatea
4
5
. Dac a ieri a fost nnorat si astazi este soare, m aine
vom avea parte de o zi nsorita cu probabilitatea
4
5
. Daca ieri a fost o zi cu
soare si ast azi este vreme nnorat a, m aine vom avea parte de o zi nsorita
cu probabilitatea
2
5
.

In ne, daca si ieri si azi a fost vreme nnorata, ziua
de maine va nsorit a cu probabilitatea
1
10
.
Pentru n 1 , denim X
n
ca ind vremea din zilele n1 si n. Atunci
(X
n
)
n1
este un lant Markov cu patru stari, I = (S, S); (S, N); (N, S);
(N, N), unde S = vreme nsorit a si N = vreme nnorata. Spunem ca
lant ul se gaseste n
starea (S, S) daca at at ieri c at si azi a fost soare,
starea (S, N) daca ieri a fost soare si azi e nnorat,
starea (N, S) daca ieri a fost nnorat si ast azi e soare,
starea (N, N) daca at at ieri c at si azi a fost nnorat.
Atunci matricea de trecere P are forma
(S, S) (S, C) (C, S) (C, C)
(S, S)
(S, C)
(C, S)
(C, C)
_
_
_
_
4
5
1
5
0 0
0 0
2
5
3
5
3
5
2
5
0 0
0 0
1
10
9
10
_
_
_
_
.
(a) Determinat i matricea de trecere n n pasi P
n
.
(b) Daca ast azi este vreme nnorat a si ieri a fost o zi nsorit a, cu ce
probabilitate lant ul va n starea (S, N) peste un an?
(c) Determinat i (unica) repartit ie stat ionara a lant ului. Ce deducet i
relativ la cerint a (b)?
Bibliograe
1. Nicolas Bouleau, Processus Stochastiques et Applications, Hermann,
2000.
2. Kai Lai Chung, Markov Chains with Stationary Transition Proba-
bilities, Springer-Verlag Berlin Heidelberg, 1967.
3. Bogdan Iftimie, Constantin Tudor, Maria Tudor, Elemente de Teo-
ria Proceselor Stocastice cu Aplicat ii n Finant e, Centrul Editorial
ASE, 1998.
4. Samuel Karlin, Howard M. Taylor, A First Course in Stochastic
Processes, Second Edition, Elsevier, Academic Press, 1981.
5. J. G. Kemeny, J. L. Snell, Finite Markov Chains, Van Nostrand,
Princeton, 1960.
6. J. R. Norris, Markov Chains, Cambridge University Press (Cam-
bridge Series in Statistical and Probabilistic Mathematics), 1997.
7.

Etienne Pardoux, Processus de Markov et Applications, Dunod,
Paris, 2007.
8. Daniel W. Stroock, An Introduction to Markov Processes, Springer-
Verlag Berlin Heidelberg, 2005.

Lanturi Markov

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Lanturi Markov

Încărcat de

Drepturi de autor:

Formate disponibile

Lant uri Markov

In contextul economic actual (dar nu numai, ntruc at ne putem referi si

In acest capitol vom studia o clasa particular a de procese n timp dis-

In cazul unui lant Markov omogen se poate ar ata ca probabilitat ile

In continuare, atunci c and nu se specic a daca lant ul Markov este

are loc egalitatea

In aceasta situat ie matricea de trecere P are forma

In aceast a situat ie jucatorul B (cazinoul) dispune de o sum a

In cadrul unui centru ce ofera servicii (un supermarket, o banc a, o

In practic a ins a, deoarece timpul este extrem de pret ios, de cele

In aceast a sect iune vom introduce o relat ie de echivalent a pe mult imea

In cazul n care i este o stare recurenta, probabilitatea ca variabila

In deducerea penultimei egalit at i am utilizat formula (7), proprietatea

Intr-un mod similar se obt ine si cea de a doua concluzie a teoremei.

In continuare c and ne vom referi la o serie de puteri, prin notat ia

In mod evident, daca N

In particular, pentru m = 1 se obti ne c a p este o repartit ie stat ionara a

Intruc at i este recurenta (lant ul ind recurent), deducem c a

In continuare, e i, j I cu i ,= j. Conform cu Teorema primei intrari

Inmultind acum n ultima formul a cu p

In deducerea acestei formule am utilizat proprietatea lui Markov si faptul

In spiritul celor discutate se poate ar ata urm atorul rezultat

Intruc at se stie c a pentru orice mult ime innit a numarabil a, exista o

In mod evident starile 0 si n sunt absorbante, i.e. odat a ce am pierdut

Inlocuind obt inem

In mod asem an ator se calculeaz a si

In acest paragraf vom presupune c a I este nita si pentru simplicare

In mod aseman ator se arata ca daca a = (a

In nal se obt ine

In continuare, vom nota prin C

S-ar putea să vă placă și