Lanuri Markov

Preliminarii. Sisteme de tip Markov

Noiunea matematic de lan Markov a aprut n urma studierii unor probleme practice de tipul urmtor. Se examinm un sistem (fizic, tehnic, economic, biologic) la momente discrete de timp 0,1,2,...,k,... .Presupunem c la fiecare moment k sistemul se poate afla n una din strile s1, s2, ...,sn, punem S = {s1, s2, ...,sn}, uneori S = {1,2,3,,n}. Notm cu Xk sau X(k) variabila aleatoare care descrie starea sistemului la momentul k i admitem c evoluia sistemului este probabilistic sau stohastic, ceea ce nseamn c, dei se cunosc strile X0, X1, X2,..., Xk ale sistemului pn la momentul k inclusiv, evoluia sa viitoare, n particular starea Xk+1 este cunoscut doar n termeni probabilistici (adic se poate determina probabilitatea cu care Xk+1 ia o anumit valoare din S). n principiu, admitem c se cunosc probabilitile P(X0 = s0, X1 = s1, ..., Xk = sk), condiionate de tipul k N, s0, s1, ...,sn S i se pune problema calculrii probabilitilor

P(Xk+1 = sk+1/ X0 = s0, X1 = s1..., Xk = sk). Dac P(Xk+1 = sk+1/ X0 = s0, X1 = s1..., Xk = sk) = P(Xk+1 = sk+1), atunci sistemul comsiderat este un sistem fr memorie. Dac P(Xk+1 = sk+1/ X0 = s0, X1 = s1..., Xa = sa) = P(Xk+1 = sk+1/ Xk = sk), ceea ce nseamn c pentru a cunoate trecutul sistemului este sufucient s cunoatem starea sa din momentul efecturii ultimei observaii, iar modul n care sistemul a ajuns n aceast stare nu are importan, atunci sistemul considerat se numete sistem de tip Markov (sau sistem markovian). Mersul aleator (Mersul la ntmplare) Se consider o particul care la un moment dat se afl ntr-un punct i {1,2,3,,n} al segmentului [0,n]; fie S = {1,2,3,,n}. Presupunem c la momentul k = 0, particula se afl n poziia s0 S. Dac la momentul k N, particula se afl ntr-o poziie descris astfel: n poziia sk, cu probabilitatea rsk, 0 sk n n poziia sk+1, cu probabilitatea psk,0 sk n-1 n poziia sk-1, cu probabilitatea qsk, 1 sk n.

Au loc relaiile rsk + psk + qsk = 1; 1 skn-1; r0 + p0 = 1; qn + pn = 1. Putem s fixm datele descrise mai sus prin urmtoarea matrice ptratic de ordin (n+1):

Notndcu Xk v.a. care reprezint poziia particulei la momentul k, rezult P(Xk+1 = sk+1/ X0 = s0, X1 = s1..., Xk = sk) = P(Xk+1 = sk+1/ Xk = sk), deci modelul (sistemul) fizic descris este de tip markovian. Asemenea modele descriu micarea brownian ntr-un mediu fluid, descompus dup diferite direcii. Deseori modelul mersului aleator este asociat cu aa-numitul mers al beivului (lund, eventual, rk=0, 0 k n). Exist dou modele celebre ale unor fenomene fizice care reprezint mersuri aleatoare i care au fost concepute fr nici o legtur cu sistemele de tip Markov: modelul lui Daniel Bernoulli (1769) care descrie a dou lichide incompresibile ntre dou containere i modelul Ehrenfest (1907), propus de soii Tatiana i Paul Ehrenfest. Modelul Ehrenfest Acest model descrie schimbul de cldur ntre dou cmpuri izolate avnd temperaturi diferite. Temperaturile sunt reprezentate prin numere asociate unor bile situate n dou urne care conin n total 2N bile, N N*, numerotate de la 1 la 2N. La momentul k = 0, prima urn conine m bile, iar a doua urn 2N - m bile, m N. La fiecare moment k 1, se alege n mod aleator un numr ntreg situat ntre 1 i 2N (valori presupuse echiprobabile), iar bila cu acest numr este mutat din urna n care se afl n cealalt urn. Fie Xk variabila aleatoare care reprezint numrul de bile aflate n prima urn, dup schimbul efectuat la momentul k (Xk descrie temperatura primului corp). Avem X0 = m i S = {1,2,3,,2N}. Mai departe schimbul de cldur se descrie astfel: dac Xk = 0, atunci P(Xk+1 = 1) = 1 i P(Xk+1 S\ {1}) = 0 dac Xk = sk {1,2,3,...,2N-1}, atunci P(Xx+1 = sk+1)= P(Xx+1 = sk-1)= i P(Xk+1 S\ {sk-1, sk+1}) = 0. ;

dac Xk = 2N, atunci P(Xx+1 = 2N-1) = 1 i P(Xk+1 S\ {2N-1}) = 0. Atam modelului Ehrenfest urmtoarea matrice ptratic de ordin 2N+1:

( Observm c:

P(Xk+1 = sk+1/ X0 = s0, X1 = s1..., Xk = sk) = P(Xk+1 = sk+1/ Xk = sk), deci modelul Ehrenfest corespunde unui sistem de tip Markov.

Matrice stohastic. Vector de probabilitate

Un vector p = (p1,p2,...,pn) Rn se numete vector de probabilitate dac pi 0, i {1,2,3,,n} i = 1. O matrice (pij) Mn(R) se numete matrice stohastic dac fiecare linie a sa este un vector de probabilitate, i.e. = 1, i {1,2,3,...,n} i pij 0, i,j {1,2,3,...,n}. O matrice se numete matrice dublu stohastic dac toate liniile i coloanele sale sunt vectori de probabilitate, i.e. i T sunt matrice stohastice. Exemple.Matrciea ( )

este o matrice stohastic dar nu este dublu stohastic. Matricea

este o matrice dublu stohastic. De asemenea matricea unitate In 0 n rest, este o matrice dublu stohastic. , i.e. matricea care are 1 pe diagonala principal i

Noiunea de lan Markov

Se consder urmtoarele date: o mulime S = {s1, s2,,sn}, notat uzual S = {1,2,3,,n}, ale crei elemente se numesc stri un vector de probabilitate p(0)= (p1(0), p2(0),..., pn(0),) = (p1(0), p2(0),..., pn(0)), ale crui componente se numesc probabiliti iniiale o matrice stohastic , ale crei elemente pij se numesc probabiliti de trecere sau probabiliti de tranziie, matrice nsi se numete matrice de trecere sau matrice de tranziie, uneori matrice de pasaj.

Definiie Se numete lan Markov avnd mulimea strilor S un semnal aleator discret (ir de variabile aleatoare) cu valori n S, semnal (ir) notat (Xk)k0 sau (X(k))k0, avnd urmtoarea proprietate: k N, s0, s1, s2,..., sk+1 S are loc egalitatea P(Xk+1 = sk+1/ Xk = sk, Xk-1 = sk-1..., X0 = s0) = P(Xk+1 = sk+1/ Xk = sk). Un sistem (fizic, tehnic, economic, bilogic, social) a crui evoluie este generat (modelat) de un lan Markov se numete sistem markovian. Numrul P(Xk+1 = sk+1/ Xk = sk) se numete probabilitatea de trecere de la starea sk la starea sk+1 dup un pas, de la momentul k la momentul k+1.

Noiunea de lan Markov omogen (staionar n timp)

Se numete lan Markov omogen sau staionar n timp asociat tripletului (S, p(0), ) un semnal aleator discret (ir de v.a. discrete), notat (Xk)k0 sau (X(k))k0, avnd urmtoarele proprieti: 1. P(X0 = 1) = p1(0), P(X0 = 2) = p2(0),..., P(X0 = n) = pn(0) 2. i,j S, k 0 avem P(Xk+1= j/Xk=i) = pij, deci i,j S probabilitatea de trecere din starea i (la momentul t = k) n starea j (la momentul t = k+1) este aceeai pentru orice moment k 0. 3. k 0, s0, s1, s2,..., sk+1 S are loc egalitatea: P(Xk+1 = sk+1/ Xk = sk, Xk-1 = sk-1..., X0 = s0) = P(Xk+1 = sk+1/ Xk = sk) psk,sk+1. Vectorul de probabilitate p(0)= (p1(0), p2(0),..., pn(0)) se numete repartiia iniial a lanului Markov (Xk)k0.

Relaiile Chapman-Kolmogorov
Se considerm un lan Markov (omogen) asociat tripletului (S, p(0), ). Matricea de trecere caracterizeaz schimbrile de stare ale lanului Markov dup un singur pas. Ne propunem s determinm probabilitiile schimbrilor de stare dup m 2 pai. Matricea probabilitiilor de trecere dup m pai Fie (Xk)k0 un lan Markov asociat tripletului (S, p(0), ) i un numr natural nenul. Puterea m a matricei de trecre are elementele pij(m) = p(m, i, j) = P(Xk+m = j/Xk = i), numite probabilitile de trecere dup m pai, din starea i n starea j, i.e. =(pij(m))1i,jn, m N*.

Relaiile (ecuaiile) Chapman-Kolmogorov obinem Utiliznd relaia matriceal = pij(m+s) = pir(m) prj(s), i,j {1,2,3,,n}. m,s 1.

Clasificarea strilor unui lan Markov

Se consider un lan Markov omogen asociat tripletului (S, p(0), ). 1. Se spune c starea j este accesibil din starea i dac m N* astfel nct pij(m) > 0. Se noteaz i j i se observ c relaia i j este tranzitiv. 2. Strile i i j comunic dac i j i j i; se noteaz i j este tranzitiv. 3. Starea i este reflexiv dac i j. Observaie. Starea i este nereflexiv dac pii(m) = 0, m > 0.

4. Starea i este absorbant dac pii = 1 (caz particular de stare reflecxiv). 5. Relaia de comunicare i j este relaie de echivalen n mulimea strilor reflexive din S. Astfel, mulimea strilor reflexive se mparte n clase corespunztoare relaiei de echivalen . Admitem, de asemenea, c orice stare nereflexiv este, ea nsi, o clas.

6. Fie i o stare reflexiv. Numrul di = cmmdc {m 1:pii(m) > 0.} se numete peridoad a strii i. Dac di > 2, atunci starea i se numete periodic, iar dac dii = 1 starea i este neperiodic.

Probabiliti absolute
Fie (Xk)k0 un lan Markov omogen asociat tripletului (S, p(0), ). Definiie Numerele pi(k) = pk(i) = P(Xk = i), k > 0, i S se numesc probabiliti absolute asociate lanului Markov (Xk)k0. Vectorul de probabilitate p(k)= p(k) = (p1(k), p2(k),..., pn(k)) se numete repartiie de probabilitate a lanului Markov la momentul k 0. Din punct de vedere probabilistic, p(k) descrie starea sistemului markovian, la momentul t = k. Determinarea repartiiei de probabilitate a unui lan Markov Are loc egalitatea: p(k) = p(0) sau, n form echivalent, (p1(k), p2(k),..., pn(k),)= (p1(0), p2(0),..., pn(0)) (convenim = In). k > 0;

Lanuri Markov regulate

Definiii O matrice A Mn(C) se numete matrice regulat dac A este stochasitc i exist m 1 astfel nct toate elementele matricei Am sunt pozitive. Un lan Markov asociat tripletului (S, p(0), ) este regulat dac matricea de trecere este o matrice regulat. Proprieti ale matricelor regulate Dac matricea A este regulat, atunci exist Dac A este o matrice regulat i B = toate liniile identice.

. , atunci B este o matrice stochastic i are

Teorem Dac lanul Markov asociat tripletului (S, p(0), ) este regulat, atunci exist limita irului (p(k))k0 al repartiiilor de probabilitate ale lanului.

Repartiia limit a unui lan Markov regulat

Definiie Presupunem c lanul Markov asociat tripletului (S, p(0), ) este regulat i fie p* = . Vectorul p* = (p1*, p2* ,...,pn*) se numete repartiia limit a lanului Markov (S, p(0), ). Observaii Egalitatea p* = nseamn p* = ,1 i n.

Vectorul p* nu depinde de repartiia iniial p(0), ci numai de matricea de tranziie . Noiunea de repartiie limit se poate ataa oricrui lan Markov pentru care exist p* = .

Teorem Repartiia limit p* este un vector de probabilitate, iar (p*)T este unicul vector propriu al matricei asociat valorii proprii = 1 care are toate componentele pozitive de sum 1. Astfel, p* verific relaiile: (p*)T = (p*)T, cu (p*)T, cu p*0 i p1*+ p2*+...+ pn*= 1 sau p* = p*, cu p* 0 i p1*+ p2*+...+ pn*= 1.

Teorem Dac lanul Markov asociat tripletului (S, p(0), ) este regulat, iar matricea sa de trecere este dublu stohastic, atunci repartiia limit a lanului Markov este p*= ( ).

Observaie n cazul unui lan Markov regulat, are loc egalitatea pi*= Pentru valori suficient de mari ale lui k putem scrie: P(Xk = i) pi*, k k0. , 1 i n.

Aadar, sistemul a crui evoluie o urmrim tinde s se stabilizeze, adic la fiecare moment k k0 exist n mod practic aceeai probabilitate ca sistemul s se afle n sterea i.

Repartiia staionar
Fie (Xk)k0 un lan Markov regulat tripletului (S, p(0), ). Repartiia limit p* exist i este independent de repartiia p(0). S lum n rol de p(0) repartiia limit p* = p~T, unde este unicul vector propriu al matricei asociat valorii proprii = 1 care este i vector de probabilitate. Are loc egalitatea = de unde deducem: (
k

= ,

= (p*)T = (p*)T.

Utiliznd relaia p(k)=p(0) , obinem: p(k)=p(0) = p* = (( (p*)T)T = ((p*)T)T= p*, , .

i.e. pi(k) = pi*; 1 i n; k 1 P(Xk= i) = pi*, Astfel este adevrata urmtoarea afirmaie:

Dac repartiia iniial a unui lan Markov regulat coincide cu repartiia sa limit p*, atunci repartiia de probabilitate p(k) este constant n raport cu k, i.e. p(k) = p* = p(0).

Definiie Vectorul p~T se numete repartiia staionar a lanului Markov (Xk)k0 asociat tripletului (S, p(0), ). Repartiia limit este unicul exemplu de repartiie staionar.

Lanuri Markov ergodice (Comportarea asimptotic a unui lan Markov)

Definiie Lanul Markov (Xk)k0 asociat tripletului (S, p(0), ), cu S = {1,2,3,,n} se numete lan Markov ergodic dac pentru orice stri i i j din S exist . Procesul modelat de un lan Markov ergodic se numete proces ergodic. Fie vector ergodic. cu i,j i =( ). Vectorul se numete i aceast limit este independent de i

Lanuri Markov ascunse

Preliminarii S considerm un lan Markov (Xk)k0 asociat tripletului (S, p(0), ), cu S = {1,2,3,,N}, N N*. Repartiia de probabilitate p(k), k 0 satisface egalitatea p(k)= p(0) , scriind aceast egalitate sub forma p(k+1)= p(k) = (p0 )

deducem relaia de recuren a probabilitilor absolute p(k+1)= p(k) , k 0. Interpretnd p(k) drept un indicator al strii sistemului Markov la momentul k, se poate spune c egalitiile (1) reprezint o relaie de actualizare a strii sistemului Markov. Exist, totui, situaii, n care starea sistemului nu poate fi observat direct, n schimb fiecare stare are o lege (distribuie) probabilistic asociat. Mai precis, n momentul cnd sistemul Markov ajunge n starea s la momentul k, ieirea observat este asociat valorilor inei v.a. 1D discrete Yk, n conformitate cu o distribuie (mas) de probabilitate (pmf) condiionat de starea sistemului la momentul k, adic de probabiltatea ca Xk = s. Definiia noiunii de lan Markov ascuns Se consider urmtoarele date: un lan Markov (Xk)k0 asociat tripletului (S, p(0), ) un lan de v.a. (Yk)k0 mpreun cu un ir de pmf condiionate (fk(y/s))k0 care descriu probabilitile ieirilor sistemului la fiecare moment k 0 pentru fiecare s a sistemului.

Se numete lan Markov ascuns (pe scurt LMA) asociat acestor date semnalul aleator discret 2D sau lanul aleator bidimensional (Xk,Yk)k0. Matricele k, k 0, avnd elementele = P(Yk = m/Xk = s) = fk(m/s), 1 m M, 1 s N, definite la seciunea anterioar se numesc matrice ale ieirilor LMA (Xk, Yk)k0.

Bibliografie: Mitrea A. I., Variabile si semnale aleatoare, Ed. UT Press,2006, pag.196-208