Procese aleatoare Fie {, , P}un cmp borelian de probabilitate, mulimea variabilelor aleatoare definite pe acest cmp i T R. Definiia 1.

. O aplicaie : T E se numete proces aleator sau funcie aleatoare. Observaie. Un process aleator este o funcie (, t), , t T, sau, altfel spus, o familie de variabile aleatoare (t)t T. Dac T = N, vom folosi termenul de lan n loc de proces; prin urmare un lan aleator este un sir de variabile aleatoare. 1. Lanuri Markov. Considerm un lan aleator (n)n N, n variabil aleatoare discret, n N; notm cu S reuniunea tuturor valorilor posibile pe care le poate lua aceste variabile; S este o mulime cel mult numrabil. Rezult c i S dac i numai dac exist n N astfel nct P(n() = i) > 0. Mulimea S se numete mulimea de stri a procesului (lanului). Definiia 2. Un lan Markov este un ir de variabile aleatoare (n)n N , care se bucur de proprietatea lui Markov, adic dac pentru orice n 2, 0 t1 << tn i orice i1, i2 ,..., in S, avem:
1 ( ) = i , 1 ( ) = i ) = P( n ( ) = i | n 1 ( ) = i P(t n ( ) = in | t n n-1 t 1 t n t n-

ori de cte ori membrul stng este definit. Observaie. Condiia din definiia precedent este echivalent cu urmtoarea condiie, aparent mai simpl: pentru orice n N * P(n() = in | n-1() = in-1,, 0() = i0) = P(n() = in | n-1() = in-1).
i1 ,...i n ,...i n +m S

(1)

Teorema 1. Pentru orice n N i 0 t1 <...< t n <...< t n +m i orice P( t ( ) = i , n n + m | t ( ) = i ,1 n 1) = = P( t ( ) = i , n n + m | t n 1 ( ) = in 1 ) .

avem:

(2) Demonstraie. Raionm prin inducie dup m. Pentru m=0, relaia (2) se reduce la relaia (1). Presupunem c relaia (2) are loc pentru o anumit valoare a lui m i demonstrm c are loc i pentru m+1. P( t ( ) = i , n n + m + 1 | t ( ) = i ,1 n 1) = = P( t ( ) = i , n n + m | t ( ) = i ,1 n 1) P ( tn + m +1 ( ) = in + m +1 | t ( ) = i ,1 n + m) = = P( t ( ) = i , n n + m | t 1 ( ) = i n 1 ,1 n 1) .

. P ( t n + m +1 () = in +m +1 | t n + m () = in +m ) = = P( t ( ) = i , n n + m | t n 1 ( ) = i n 1 ) .
P ( tn + m +1 ( ) = in + m +1 | t ( ) = i , n 1 n + m) = P ( t ( ) = i , n n + m + 1 | tn 1 ( ) = in 1 ) .

Am folosit proprietatea urmtoare a probabilitii condiionate:

P( A B | C ) = P( A | B C ) P( B | C )

unde:

A = { | tn+ m+ 1 ( ) = in+ m+ 1} B = { | t ( ) = i , n n + m)
;

C = { | t )( = i ,1 n 1}

2. Probabiliti de trecere. Considerm un ir de variabile aleatoare (n ) nN ; fie 0 corpul borelian generat de variabilele aleatoare ale acestui ir. Dac toate variabile acestui ir sunt discrete cu mulimea de stri S, probabilitile evenimentelor din 0 sunt complet determinate de probabilitile de forma: P ( n ( ) = in ,..., 0 ( ) = i0 ) = P( 0 ( ) = i0 ) P ( t ( ) = it | s ( ) = is ,0 s t 1) ,
t =1 n

unde n N i i0 , i1 ,.., in S . Dac irul de varuabile aleatoare considerat este un lan Markov, atunci probabilitile condiionate care intervin n relaia de mai sus se pot exprima cu ajutorul probabilitailor de trecere: P(t ; it 1 , it ) = P (t () = it | t 1 () = it 1 ), 1 t n (3) adic sub forma unor funcii de t , it , it 1 . Dac punem n eviden repartiia iniial P (0 () = i ) = p i , i S , atunci
P (t () = it , 0 t n) = p i0 p (t ; it 1 , it ) .
t =1 n

(4)

Definiia 3. Un lan Markov se numets omogen, dac funcia p (t ; it 1 , it ) nu depinde explicit de t , adic: p (t ; it 1 , it ) = pit 1it . Aadar, pentru un lan Markov omogen, probabilitile:
p ij = P (t +1 = j | t = i )

numite probabiliti de trecere, nu depind de t N , iar relaia (4) devine:

P (t () = it , 0 t n) = pi0 p(it 1 , it ) .
t =1

Definiia 4. Matricea = ( p ij ) i , jS , format cu probabilitile de trecere se numete matricea (probabilitilor) de trecere. Observaii. (i).Probabilitile iniiale i probabilitile de trecere ale unui lan Markov verific urmtoarele relaii:
p i 0, i S , p i
iS

p ij 0, i, j S ; p ij = 1, j S .
jS

(5)

(ii). Probabilitile iniiale i probabilitile de trecere caracterizeaz (determin) un lan Markov. (iii). Un lan Markov omogen este, aadar, un ir de variabile aleatoare discrete (n ) nN , pentru care exist o mulime cel mult numrabil S , un ir ( pi ) i S i o matrice ( pij ) i , j S , care verific condiiile (5). (n) Introducem acum probabilitile de trecere dup n pai p ij , pentru un lan Markov omogen. Notm:
0, daca i j (0) pij = ij = ; 1, daca i = j (1) p ij = pij .

Definim mrimile pij , n N prin relaia: ( n +1) (n) (1) pij = pik p kj , n 0, i, j S .
(n) *

Teorema 2. Pentru orice N avem: (n) p ij = P ( +n () = j | () = i ) . (7) Demonstraie. Pentru n = 1 , relaia (7) se reduce la relaia (4). Presupunem relaia (7) adevrat pentru o anumit valoare a lui n i o demonstrm pentru n +1 . P ( +n +1 () = j | () = i ) = P( +n +1 () = j , +n () = k | () = i ) =

kS

(6)

P(
k S

= P ( +n () = k | () = i ) P ( +n +1 = j | +n () = k , () = i ) =
+n

k S

() = k | () = i ) P ( +n +1 = j | +n () = k ) =

(n) (1) ( n +1) = p ik p kj = p ij . kS

Observaie. Teorema precedent justific denumirea de probabiliti de trecere (n) dup n pai atribuit mrimii p ij . Definiia 5. Probabilitate absolut a variabilei aleatoare n este: pi( n ) = P( n () = i ) = p j p (jin ) , n N , i S .
jS

3. Relaiile lui Chapman Kolmogorov. Dm acum o generalizare a relaiilor (6).

Teorema 3. Pentru orice m, n S avem: ( n) (m) Pij( n +m ) = pik p kj .

kS

(8)

Demonstraie. Pentru m = 0 egalitatea este evident. Presupunem c relaia este adevrat pentru o valoare a lui m i pentru orice n N , i, j S i o demonstrm pentru m + 1 .
( n + m +1) ( n +m ) (1) (n) (m) (1) pij = pik p kj = ( pil plk ) p kj = kS (n) il (m) lk

p ( p
lS kS

p ) =p
(1) kj lS

kS

lS

(n) il

( m +1) plj .

Relaiile (8) se numesc relaiile lui Chapman-Kolmogorov. Definiia 6. Se numete matrice stochastic o matrice de ordin finit sau numrabil cu elemente nenegative astfel nct suma elementelor de pe fiecare linie s fie egal cu 1. Observaii: (i). Produsul adou matrice stochastice este o matrice stochastic. (ii). Matricea de trecere a unui lan Markom omogen este o matrice stochastic. (n) (n) (iii). Relaia (6) afirm c matricea de trecere dup n pai = ( pij ) i , jS este puterea a n -a a matriceide trecere, adic ( n ) = () n . 4. Clasificarea strilor unui lan Markov. Definiia 7. Starea j este accesibil din starea i i vom scrie i j dac exist (n) n 1 astfel nct pij > 0 . Strile i i j comunic i vom scrie i j dac i j i j i. Observaie. Relaia de accesibilitate este tranzitiv, adic: i j i j k implic i k fapt ce rezult din relaia Chapman-Kolmogorov deoarece: ( m +n ) ( m) n) pik pij p (jk . Observaie. Relaia de comunicare este tranzitiv i simetric, dar nu reflexiv. Definiia 8. O clas de stri este o submulime maximal a spsiului strilor S , astfel nct oricare dou elemente ale sale (distincte sau nu) comunic. Observaie. Dou clase care nu sunt identice sunt disjuncte. Definiia 9. O clas de stri C se numete nchis dac
i C , adic matricea ( p ij ) i , j C este stochastic.

p
j C

ij

=1 pentru orice

Cu alte cuvinte, dac lanul Markov pleac dintr+o stare a unei clase nchise, el nu poate prsi acea clas. Definiia 10. O stare i S cu proprietatea c {i} este clas nchis adic pij =1 se numete absorbant. Definiia 11. Lanul Markov omogen (n ) nN cu mulimea strilor S se numete ireductibil , dac S este o clas nchis. Definiia 12. O proprietate a strilor unui lan Markov se numete proprietate de clas dac odat se o stare se bucur de aceast proprietate, acest lucru este valabil pentru toate strile din clasa care conine acea stare.

Definiia 13. Se numete perioad a unei stri, i se va fi notat d i , cel mai ( m) mare divizor comun al numerelor m 1, m N pentru care pii > 0 . O stare i S se numete periodic sau aperiodic dup cum d i > 1 sau d i = 1 . Teorema 4. Proprietatea de a avea perioada d este o proprietate de clas, cu alte cuvinte, dou stri distincte aparinnd aceleai clase au aceeai perioad. Demonstraie. Fie i j dou stri distincte de perioade d i , respectiv d j . Vom (r ) (s) arta c d i = d j . Deoarece i j , exist r , s N astfel ca pij > 0 i p ji > 0 . (m) Dac pii > 0 , atunci:
(2m) (m) (m) p ii pii p ii > 0;
(m) (s) p (jjm +r + s ) p (jis ) pii pij > 0;

(2m) (r ) p (jj2 m + r + s ) p (jis ) pii p ij > 0,

prin urmare, d j | m + r + s i d j | 2m + r + s atunci d j | m , deci divide toate numerele ( m) naturale m pentru care pii > 0 . Cum cel mai mare divizor comun al acestora este d i , rezult c d j d i . Schimbnd rolurile lui i i j obinem d i d j , deci d i = d j . Observaie. Pe baza teoremei precedente se poate vorbi de perioada unei clase i deci s categorisim clasele ca fiind periodice sau aperiodice. Distingem acum dou tipuri de stri legate de probabilitatea revenirii n starea considerat de un numr finit sau infinit de ori. Notm j - momentul primei intrri a lanului n starea j a lanului j = min ( n 1 | n () = j ) i f ( n, i, j ) = Pi ( j = n), n 1 ;
f (i, j ) = f ( n, i, j ))
n 1

Definiia 14. O stare i S se nuete recurent (persistent) sau nerecurent (tranzient) dup cum f (i, i ) =1 sau f (i, i ) <1 . Teorema 5. Recurena i nerecurena sunt proprieti de clas. Demonstraie. Deoarece recurena i nerecurena sunt proprieti complementare, este suficient s demonstrm afirmaia pentru una dintre ele. Vom demonstra pentru recuren. Fie aadar o clas C i i C o stare recurent. Dac j C , j i , atunci i j , (r) (s) deci exist numerele r , s N astfel nct pij = a > 0, p ji = b > 0 , de unde rezult c:
( n) (r ) (n) p (jjn +r + s ) p (jis ) pii pij = abp ii , () n N .

Starea i fiind recurent, n baza observaiei potrivit creia starea i este (n) recurent sau nerecurent dup cum seria pij diverge sau converge, membrul
n 1

doi este termenul general al unei serii divergente, deci i membrul nti este termenul general al unei serii divergente i n baza aceleiai observaii starea j este tot recurent.