Lanturi Markov. Denitie, proprieti, simulare.

at
Algoritmul PageRank-Google
10.1

Denitia i simularea lanturilor Markov

s

Lanturile Markov discrete se folosesc practica modelrii i simulrii sistemelor care se

n
a s
a
n
produc evenimente la momente discrete de timp t = 0, 1, 2, . . . , n, . . .. Ele modeleaz sisa
teme de comunicatii, sistemul calculator, piata nanciar, sisteme biologice, etc. Lanturile

Markov se folosesc design-ul algoritmilor de rutare retele, simularea cozilor la

n
n
n
un server. Exist chiar i un limbaj de modelare pentru sisteme hardware/software
a
s
n
timp real, numit POOSL, Parallel Object Oriented Specification Language, care
genereaz un lant Markov, ca model al sistemului. Studiul modelului permite evaluarea
a

performantelor i abilitii sistemului.

s
at
Elemente denitorii ale lantului Markov

O multime nit S = {1, 2, . . . , m} numit spatiul strilor (se consider S, un

a
a

a
a
sistem ce poate avea un numr nit de stri). Schimbrile de stare se produc la amplare,
a
a
a
nt
la momente discrete de timp t = 0, 1, 2, . . . , n, . . ..
Starea la momentul n este descris de o variabil aleatoare discret Xn .
a
a
a
Multimea valorilor variabilei aleatoare Xn este deci S = {1, 2, . . . , m}.

Denitia 10.1.1 Sirul de variabile aleatoare (Xn ), n N, denete un lant Markov

discret dac probabilitatea ca la momentul (n + 1) sistemul s se ae starea j, tiind

a
a
n
s
c momentele de timp precedente se aa respectiv strile s0 , s1 , . . . sn1 , i este:
a n
n a
P (Xn+1 = j|X0 = s0 , X1 = s1 , . . . Xn = i) = P (Xn+1 = j|Xn = i)

(10.1)

P (Xn+1 = j|Xn = i) se citete: probabilitatea ca sistemul s treac starea j la momens

a
a n
tul n + 1, tiind c se a starea i la momentul n.
s
a
a n
a
a
Relatia (10.1) se numete proprietate markovian. Proprietatea markovian ca
s
racterizeaz lipsa partial de memorie a lantului: cunoscnd succesiunea de stri,
a
a

a
a
s0 , s1 , . . . , sn1 , i, prin care a trecut sistemul pn la momentul n, doar starea prezent
a a
a
a
n
a
a
(Xn = i) inuenteaz probabilitatea de trecere, momentul urmtor, la o nou stare, nu
i drumul parcurs pn la momentul curent n (cu alte cuvinte doar istoria recent, nu i
s
a a
a
s
cea trecut, inuenteaz evolutia viitoare).
a
a

mod normal probabilitile P (Xn+1 = j|Xn = i) depind n, adic

In
at
a
P (Xn+1 = j|Xn = i) = pij (n)
Un lant Markov discret (Xn ) se numete lant Markov omogen, dac probabilitile conditionate:

a
at

P (Xn+1 = j|Xn = i)
nu depind de n.
Pentru un lant Markov omogen, notm cu pij = P (Xn+1 = j|Xn = i), i, j = 1, m

a
probabilitatea ca la momentul n + 1 lantul Markov s treac starea j tiind c la

a
a n
s
a
momentul n se aa starea i. pij se numete probabilitate de trecere
n
s
ntr-un singur pas
s
din starea i starea j , iar matricea Q de elemente Q(i, j) := pij , i, j = 1, m, se numete
n
matricea de tranzitie a lantului Markov.

Matricea de tranzitie Q = (pij )i,jS veric proprietile:

a
at
1) pij 0, (i, j) S S
a
2) m pij = 1, i S, adic suma elementelor de pe ecare linie este 1.
j=1
O astfel de matrice se numete matrice stochastic, iar liniile ei, vectori stochastici.
s
a
Practic (pi1 , pi2 , . . . , pim ), i = 1, m, indic probabilitile ca din starea i sistemul s treac
a
at
a
a
453.707 Inverse Problems, G.K. Nicholls, The University of Auckland
7-2
respectiv strile 1, 2, . . . , m.
n a
0.4

0.2

0.1

0.4

0.5

0.1

0.4

0.7

0.2

ij

Figure 7.1 Digraph corresponding to the transition matrix of Example 1.

Fig.10.1:
1

1. Pick X0 using the initializing distribution Pr (X0 = i) = 3 ; 1 ; 1 . Since we have a = b = c =

3 3
1
Multimea= 0:429; we a unuiX0 = Markov i matricea de tranzitie denesc un graf orienstrilor S, select lant 2:
a

3 and u1

tat ale crui vrfuri sunt strile. Exist arc orientat de la starea i la j, dac probabilitatea
a
a
a
a
a
2. este nenul. Graful astfel asociatchoose a ste graf de tranzitiefrom state 2. Since P2j =
We are now in state 2. We must se nume
new state by jumping al lantului Markov.

pij 1 7 1 a
1
7
1
5 ; 10 ; 10

; we have a = 5 ; b =

10

and c =

3. We are now in state 1. Iterating, since P1j

Since u3 = 0:446 < a; we select X2 = 4:

Since u2 = 0:456 < a; we select X1 = 4:

1
= 2 ; 1 ; 10 ; we have a = 2 ; b = 1 and c =
5 2
5
2

10 :

We thus obtain
X0

X1

X2

X3

X4

X5

:::

1
10 :

Exemplul 1. Fie S = {1, 2, 3} multimea strilor

a
la o stare la alta denit de:
a

0.4 0.5
0.2 0.7
Q=
0.4 0.4
Graful asociat este vizualizat Fig. 10.1.
n

unui sistem i matricea de tranzitie de

s

0.1
0.1
0.2

Proprieti ale matricilor stochastice

at
Notm cu e vectorul de elemente e = [1, 1, . . . , 1]T . Produsul Qe este:
a

p11 + p12 + + p1m

1
p11 p12 . . . p1m
.

.
.
.
.
.
.

.
.

pk1 pk2 . . . pkm 1 = pk1 + pk2 + + pkm =

.
.
.
.

.
.
.
.
.
pm1 + pm2 + + pmm
1
pm1 pm2 . . . pmm

1
.
.
.

1
.
.
.
1

Aceast relatie ne permite exprimarea concentrat a proprietii lui Q de a avea toate

a

a
at
liniile vectori stochastici:
Qe = e
continuare o vom folosi ca relatie denitie a unei matrici stochastice (subntelegnd
In

a
a
c elementele ei sunt mai mari sau egale cu zero).
a
Produsul a dou matrici stochastice P, Q, este o matrice stochastic, deoarece P e =
a
a
e i Qe = e implic (P Q)e = P (Qe) = P e = e.
s
a
Dac P, Q sunt matrici stochastice i (0, 1) atunci combinatia convex:
a
s

a
M = P + (1 )Q
este matrice stochastic.
a
O realizare a lantului Markov (Xn ), sau o observatie asupra lantului este un ir

s
de stri posibile, (s0 , s1 , . . . , sn , . . .), sk S, i se numete traiectorie a lantului.
a
s
s

Pentru a putea analiza i simula un lant Markov, trebuie precizat distributia initial
s

a
de probabilitate, 0 = [0 (1), 0 (2), . . . , 0 (m)], cu 0 (k) 0 i m 0 (k) = 1, unde
s
k=1
0 (k) = P (X0 = k) este probabilitatea ca la momentul t = 0 lantul s porneasc din

a
a
starea k. Cu alte cuvinte, distributia initial de probabilitate a lantului Markov este

distributia de probabilitate a variabilei aleatoare discrete X0 :

X0 =

1
2
...
m
0 (1) 0 (2) . . . 0 (m)

(10.2)

Dac pentru lantul Markov din Exemplul 1 distributia initial de probabilitate este:
a

a
X0 =

1
2
3
0.2 0.5 0.3

atunci
nseamn c probabilitatea ca un mers (drum) aleator multimea S = {1, 2, 3}
a a
n

s porneasc din starea 2 este 0.5.

a
a

10.1.1

Simularea unei traiectorii a lantului Markov

Un lant Markov discret este simulat mod iterativ. Algoritmul de simulare este pro
n
totip pentru clasa algoritmilor iterativi aleatori. Avnd dat spatiul strilor S =
a

a
{1, 2, . . . , m}, distributia initial de probabilitate 0 = [0 (1), 0 (2), . . . , 0 (m)] i ma
a
s
tricea de tranzitie a Q = (pij ), i, j = 1, m,

a unui lant Markov (Xn ), putem genera o traiectorie aleatoare s0 , s1 , . . . , sN , astfel:

construim simulatorul unei variabile aleatoare discrete arbitrare:

1 2 ... m
Y =
p1 p2 . . . pm
pe care notm simbolic
l
a
{1, 2, . . . , m; p}
p este vectorul de probabilitate al variabilei aleatoare discrete ce ia valori {1, 2, . . . , m}.
n
j R {1, 2, . . . , m; p} simbolizeaz faptul c simulatorul genereaz o valoare j.
a
a
a
Se genereaz starea initial s0 , din care pornete traiectoria, simulnd variabila
a
a
s
a
aleatoare X0 denit (10.2).
a n
Probabilitile de trecere din starea i = s0 una din strile sistemului sunt date de
at
n
a
elementele din linia i a matricii de tranzitie Q = (pij ). Astfel starea la momentul t = 1, s1 ,

este valoare de observatie asupra variabilei aleatoare discrete, ce ia valorile {1, 2, . . . , m}

cu probabilitile din linia i a matricii de tanzitie p = [pi1 , pi2 , . . . , pm ], etc.

at

Algoritmul de generare a segmentului de traiectorie s0 , s1 , . . . , sN , este atunci:

s0 R {1, 2, . . . , m; 0 };
j s0 ;
for i=1:N {
p [linia j din matricea Q];
si R {1, 2, . . . , m; p};
j si ;
}
return s0 , s1 , . . . , sN
Vizualizarea traiectoriei unui lant Markov se face astfel: se marcheaz plan

a n
punctele de coordonate (i, si ) i se unesc punctele consecutive (i, si ), (i + 1, si+1 ).
s
Fig. 10.2 este vizualizat o traiectorie de lungime 100 a lantului Markov cu 3
In
a

stri, avnd matricea de tranzitie din Exemplul 1 si distributia initial de probabilitate,

a
a

a
distributia uniform.

a
concluzie, un lant Markov discret denete o lege de evolutie la amplare pe
In

nt
multimea strilor.

10.2

Analiza unui lant Markov

Pe lng tranzitia
a a
ntr-un singur pas a unui lant Markov, suntem interesati i de tranzitia

dintr-o stare alta, n pai. Notm cu:

n
n
s
a
n
Pij = P (Xn = j|X0 = i),

i, j S,

5
3.5
3
2.5
2
1.5
1
0.5
0

20

40

60

80

100

Fig.10.2:

probabilitatea ca sistemul s treac din starea initial i starea j la momentul n sau dup
a
a
a n
a
n pai. Se demonstreaz c matricea de tranzitie n pai, adic matricea de elemente
s
a a
n
s
a
n
Pij , este chiar Qn matricea de tranzitie
ntr-un pas, ridicat la puterea n.
a
Pentru a putea face predictii asupra evolutiei sistemului s calculm cteva proba

a
a
a
biliti ale unor evenimente de interes. Si anume calculm probabilitatea ca sistemul s
at

a
a
evolueze pe traiectoria s0 , s1 , . . . , sn :
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) =
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn )

P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 )

P (X0 = s0 , X1 = s1 , X2 = s2 )
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 )

P (X0 = s0 , X1 = s1 , . . . Xn2 = sn2 )

P (X0 = s0 , X1 = s1 )

(10.3)

P (X0 = s0 , X1 = s1 )
P (X0 = s0 )
P (X0 = s0 )

P (A B)
, i a proprietii markoviene
s
at
P (B)
(10.1) rezult c fractiile de mai sus, ordinea de la dreapta spre stnga, conduc la:
a a

n
a
Din denitia probabilitii conditionate P (A|B) =

at

P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) =

0 (s0 ) P (X1 = s1 |X0 = s0 ) P (X2 = s2 |X0 = s0 , X1 = s1 )
P (Xn = sn |X0 = s0 , X1 = s1 . . . Xn1 = sn1 ) =
0 (s0 )P (X1 = s1 |X0 = s0 ) P (X2 = s2 |X1 = s1 ) P (Xn = sn |Xn1 = sn1 ) =
0 (s0 )Q(s0 , s1 ) . . . Q(sn1 , sn )

(10.4)

a
a
Deci, probabilitatea ca lantul s admit segmentul de traiectorie s0 , s1 , . . . , sn
este:
P(X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) = 0 (s0 )Q(s0 , s1 ) . . . Q(sn1 , sn ).

(10.5)

Exemplul 2. Considerm lantul Markov din exemplul 1, avnd distributia initial de

a

a
probabilitate 0 = [0.2, 0.35, 0.45]. S se calculeze probabilitatea ca lantul s evolueze din
a
a
starea s0 = 2, starea s11 = 3 pe traiectoria: 2, 1, 3, 2, 1, 2, 3, 1, 3, 2, 1, 3.
n
Conform formulei deduse probabilitatea ca lantul s aib traiectoria 2, 1, 3, 2, 1, 2, 3, 1, 3, 2, 1, 3
a
a
este P = 0 (2)Q(2, 1)Q(1, 3)Q(3, 2)Q(2, 1)Q(1, 2)Q(2, 3)Q(3, 1)Q(1, 3)Q(3, 2)Q(2, 1)Q(1, 3).
Calculul numeric al acestui produs conduce la: P (X0 = 2, X1 = 1, X2 = 3, X3 = 2, X4 =
1, X5 = 2, X6 = 3, X7 = 1, X8 = 3, X9 = 2, X10 = 1, X11 = 3) = 8.9600000000e 09.
10.2.1

Determinarea distributiei de probabilitate n a variabilei de stare Xn ,

la momentul n

denitia lantului Markov (Xn ) nu se precizeaz i distributia de probabilitate a variIn

as

abilei aleatoare de stare Xn . Variabila aleatoare Xn ia valorile {1, 2, . . . , m} i evenimens

tul (Xn = j) este evenimentul ca la momentul n traiectoria aleatoare s ajung starea
a
a n
j S.
Vom arta c dac se cunoate distributia initial de probabilitate 0 i matricea de
a
a
a
s

a
s
tranzitie Q a lantului Markov (Xn ) atunci putem determina i distributia de probabilitate

n = [n (1), n (2), . . . , n (m)] a variabilei aleatore Xn , n > 0. Precizm c n (j) =

a
a
P (Xn = j).
Propozitia 10.2.1 Distributia de probabilitate a strii la momentul n este:

a
n = 0 Qn
sau detaliat:
n (1) n (2) . . . n (m)

0 (1) 0 (2) . . . 0 (m) Q

Demonstratie: Notm cu B evenimentul (Xn = j) i cu Ai = (X0 = i), i = 1, 2, . . . , m.

a
s
Evident c A1 , A2 , . . . , Am constituie o o descompunere a evenimentului sigur m evenia
n
mente mutual exclusive dou cte dou. Conform formulei probabilitii totale avem:
a a
a
at
n

P (B) =

P (Ai )PAi (B)

(10.6)

i=1

Rescriem formula probabilitii totale

at
nlocuind B cu (Xn = j) i Ai cu (X0 = i):
s
m

P (Xn = j) =

P (X0 = i)P (Xn = j|X0 = i),

(10.7)

i=1

adic
a

m
n
0 (i)Pij

P (Xn = j) =
i=1

0 (i)Qn (i, j).

=
i=1

(10.8)

Rezult astfel c:
a
a

0 (i)Qn (i, j),

n (j) =

(10.9)

i=1

ceea ce ne conduce la relatia matricial:

a
[ n (1) n (2) . . . n (m) ] = [ 0 (1) 0 (2) . . . 0 (m) ]Qn

(10.10)

sau concentrat
n = 0 Qn

(10.11)

Din relatia (10.10) rezult c distributia de probabilitate a strii la momentul n, Xn

a a

a
se poate calcula recursiv pornind de la distributia initial 0 :

a
1 = 0 Q
2 = 0 Q2 = 1 Q
.
.
.
n = n1 Q

(10.12)

Aceast metod se recomand pentru calculul numeric al distributiei de probabilitate n

a
a
a

a strii n.
a
Exemplul 3. Pentru lantul Markov din Exemplul 1 avnd distributia initial de proba

a
abilitate 0 = [0.2, 0.35, 0.45] distributiile de probabilitate ale strilor pn la momentul

a
a a
n = 100, X1 , X2 , . . . , X100 , calculate conform relatiei de recurent de mai sus, sunt:

a
1
2
3
4
5
6
7
8
9
10

=
=
=
=
=
=
=
=
=
=

[0.330000000000.5250000000000.145000000000];
[0.295000000000.5905000000000.114500000000];
[0.281900000000.6066500000000.111450000000];
[0.278670000000.6101850000000.111145000000];
[0.277963000000.6109225000000.111114500000];
[0.277815500000.6110730500000.111111450000];
[0.277785390000.6111034650000.111111145000];
[0.277779307000.6111095785000.111111114500];
[0.277778084300.6111108042500.111111111450];
[0.277777839150.6111110497050.111111111145];

Pentru variabilele aleatoare X50 , . . . , X100 obtinem cu 15 zecimale, distributia de prob

abilitate :
50 = 51 = = 100 = [0.277777777778, 0.611111111111, 0.111111111111]
Observm c P (X50 = k) = = P (X100 = k), k = 1, 2, 3. Aceste egaliti au loc
a
a
at
pentru trunchierea la 15 zecimale. Orice distributie de probabilitate n , cu n 50, am

calcula cu 15 zecimale, am obtine toate distributiile identice.

continuare interpretm semnicatia acestui comportamnet.

In
a

10.2.2

Distributie de echilibru a unui lant Markov

Faptul c
a ncepnd de la n = 50 distributiile de probabilitate trunchiate la 15 zecimale
a

coincid, adic, de exemplu, 50 = 51 i 51 = 50 Q, implic notnd ambele distributii cu

a
s
a
a

c = Q.
a
Denitia 10.2.1 O distributie de probabilitate , pe spatiul strilor unui lant Markov

cu proprietatea c = Q, unde Q este matricea de tranzitie a lantului, se numete

a

s
distributie invariant sau stationar sau a distributie de echilibru.

a
nc

Se poate verica c dac irul (n ) al distributiilor de stare este convergent, atunci limita
a
as

sa este un vector probabilist , adic un vector de coordonate 0 i suma coordonatelor

a
s
este 1.
Interpretarea distributiei stationare: Dac la un moment dat n, n = , atunci

a
din n+1 = n Q = Q = , rezult c orice moment n + k, k 1, ulterior lui n, lantul
a a n

va avea aceeai distributie de probabilitate a strilor, n+k = , adic dup momentul n

s

a
a
a
distributia este stationar, nu se mai modic i deci sistemul a ajuns

a
as
ntr-un echilibru.
De-a lungul oricrei traiectorii, sn , sn+1 , . . . sn+N , de orice lungime N+1, starea 1 este
a
vizitat de lantul Markov proportie de 100(1)%, starea 2 de 100(2)%, . . . , starea
a

m proportie de 100(m)%.
n

continuare evidentiem conditii care asigur c lantul Markov admite distributie

In

a a

de echilibru, iar apoi precizm cnd astfel de conditii sunt

a
a

ndeplinite.
Propozitia 10.2.2 Dac irul n converge la , atunci este distributie de echilibru a

as

lantului Markov.

Demonstratie: Dac limn n = atunci i limn n1 = . Trecnd la limit cnd

a
s
a
a a
n relatia:
n

n = n1 Q
obtinem:

= Q,
adic este distributie de echilibru a lantului Markov.
a

Observatia 10.2.1 Sirul (n ) ind construit recursiv, pornind de la distributia initial

a
0 , n = 0 Q n = n1 Q, este evident c general ecare distributie initial conduce
a n

a
la un alt ir (n ) i dac acesta este convergent, la alt limit . Cu alte cuvinte un lant
s
s
a
a
a

Markov poate admite mai multe distributii invariante.

Propozitia 10.2.3 Dac irul n converge la , indiferent de distributia initial de prob

as

a
n
abilitate, 0 , atunci irul de matrici (Q ) converge la o matrice care are pe ecare linie
s
coordonatele vectorului probabilist .

Demonstratie: Avem relatia

n = 0 Qn
Deoarece n , oricare ar 0 , particular n i pentru 0 = [0, 0, . . . , 1 , . . . , 0, 0].
n
s
k

acest caz,
In
0 Qn =

q11 q12 . . . q1m

.
.
.

0, 0, . . . , 1 , . . . , 0, 0 qk1 qk2 . . . qkm

.
k
.
.
qm1 qm2 . . . qmm

= [ qk1 qk2 . . . qkm ]

linia k din Qn

Prin urmare n = [ qk1 qk2 . . . qkm ]. Trecnd la limit cnd n obtinem c linia
a
a a

a
k din matricea Qn tinde la (deoarece n ). Cum k a fost ales arbitrar, rezult c
a a
n
toate liniile din Q tind la = [(1), (2), . . . , (n)]. Prin urmare

(1) (2) . . . (n)

(1) (2) . . . (n)

Qn . .

. .

.
.

(1) (2) . . . (n)

Propozitia precedent are o ipotez greu de

a
a
ndeplinit la prima vedere, adic indiferent de
a
distributia initial 0 , cerem ca irul corespunztor (n ), cu n = 0 Q, s e convergent i

a
s
a
a
s
s aib aceeai limit . Vom arta continuare c exist lanturi Markov care au aceast
a
a
s
a
a n
a
a

a
proprietate i mai mult c pe multimea tuturor paginilor WEB, ca spatiul al strilor, se
s
a

a
poate deni un lant Markov (ale crui traiectorii sunt traiectoriile unui navigator pe

a
WWW), ce are o distributie de echilibru.

Exemplul 4. Exemplul 3 am ilustrat c distributiile de probabilitate n tind la =

In
a

[0.277777777778, 0.611111111111, 0.111111111111] pentru o anumit distributie initial.

a

a
Prin experimente numerice se poate vedea c limita este aceeai orice distributie initial
a
s

a
am lua lua (aici facem abuz de limbaj: ceea ce numim limita este realitate o aproximatie
n

a ei, adic un N cu proprietatea c ||N || < ).

a
a
n
Calculnd Q , pentru n = 100 obtinem:
a

0.277777777778 0.611111111111 0.111111111111

Q100 = 0.277777777778 0.611111111111 0.111111111111
0.277777777778 0.611111111111 0.111111111111
Remarcm c pe ecare linie a matricii Q100 avem coordonatele vectorului probabilist
a
a
50 = = 100 = , ce pare s e distributia de echilibru a lantului Markov considerat.
a

S evidentiem acum conditiile pe care trebuie s le

a

a ndeplineasc matricea de tranzitie

a

Q a unui lant Markov, pentru ca pentru orice distributie initial de probabilitate a strilor,

a
a
0 , irul (n ) asociat s e convergent i s aib aceeai limit .
s
a
s a
a
s
a

10

10.2.3

Lanturi Markov ireductibile

Fie S = {1, 2, . . . , m} spatiul strilor unui lant Markov. Denim pe S o relatie de

echivalent: starea i intercomunic cu starea j dac probabilitatea de tranzitie de la

a
a
a

i la j
ntr-un numr de pai este pozitiv, la fel ca i probabilitatea de tranzitie de la j
a
s
a
s

n
k
la i, adic exist n > 0 i k > 0, astfel at Q (i, j) > 0 i Q (j, i) > 0. Notm aceast
a
a
s
nc
s
a
a
relatie prin:

ij
Clasa de echivalenta a unei stri, notat C(i), este format din multimea strilor cu care

a
a
a

a
i intercomunic.
a
Un lant Markov cu o singur clas este lant ireductibil, adic oricare dou stri

a
a

a
a a
intercomunic.
a

Dac matricea de tranzitie are toate elementele Q(i, j) > 0, i, j 1, m, atunci lantul
a

Markov este ireductibil. Dac exist un n > 1 astfel at Qn (i, j) > 0, i, j 1, m, lantul
a
a
nc

Markov este de asemenea ireductibil (conditia precedent corespunde cazului n = 1).

a
Exemplul 5.
tranzitie:

Lantul Markov avnd spatiul strilor S = {1, 2, 3, 4} i matricea de

a
s

0.3 0.7 0
0
0.45 0.55 0
0

Q=
0
0 0.6 0.4
0
0 0.2 0.8

nu este un lant ireductibil, aa cum se poate observa mai simplu din graful asociat.

s
Multimile de stri {1, 2} i {3, 4} nu comunic

a
s
a ntre ele.
Observatia 10.2.2 Simplul fapt c Q(i, j) = 0 nu asigur c i nu comunic cu j. Cele

a
a a
a
dou stri nu comunic
a a
a ntr-un pas, dar pot comunica mai multi pai, adic s-ar putea
n

s
a
n
ca Q (i, j) > 0, pentru un n > 1.
Un lant Markov poate avea i traiectorii periodice (Fig.10.3).

3
1

Fig.10.3: Graful asociat unui lant Markov ce are traiectoria (1,3,4) periodic

11

Din analiza grafului din gur rezult c probabilitile Q3 (1, 1) > 0, Q6 (1, 1) > 0 i
a
a a
at
s
3k
general Q (1, 1) > 0, ceea ce ilustreaz c, cu o probabilitate pozitiv, o traiectorie ce
n
a a
a
pornete din 1 se re
s
ntoarce 1 dup 3, pai, 6 pai, sau mai general un multiplu de 3
n
a
s
s
pai. Aceast proprietate indic c traiectoria ce pornete din 1 este periodic. Analog
s
a
a a
s
a
pentru 3 i 4.
s
Denitia 10.2.2 Perioada unei stri i, este numrul

a
a
i = c.m.m.d.c{n N | Qn (i, i) > 0}
cazul exemplului nostru cel mai mare divizor comun al numerelor de forma 3k, k N
In
este 3, deci starea 1 este periodic de perioad 3, i analog starile 3 i 4.
a
a s
s
O stare i a crei perioad este 1 se numete stare aperiodic, iar un lant Markov
a
a
s
a

care are toate strile aperiodice se numete lant Markov aperiodic.

a
s

Evident c dac matricea de tranzitie are toate elementele de pe diagonala principal

a
a

a
strict pozitive, Q(i, i) > 0, atunci lantul este aperiodic.

Remarcm c proprietile de ireductibilitate i aperiodicitate ale unui lant Markov

a
a
at
s

sunt proprieti ale matricii de tranzitie.

at

Se poate demonstra urmtoarea proprietate:

a
Toate strile dintr-o clas de echivalenta, relativ la relatia de intercomunicare, au
a
a

aceeai perioad.
s
a
Un lant Markov timp discret, ireductibil are toate strile de aceeai perioad d.

n
a
s
a
Prin urmare dac o stare a unui lant ireductibil este aperiodic, atunci toate strile sunt
a

a
a
aperiodice. Astfel pentru a arta c un lant ireductibil este aperiodic este sucient s
a
a

a
identicm o stare i pentru care Q(i, i) > 0 (probabilitatea de trecere de la starea i la ea
a
ai este nenul), pentru a concluziona c starea i este aperiodic i deci toate strile
nss
a
a
as
a
lantului sunt aperiodice.

Dup aceast clasicare a strilor unui lant Markov s caracterizm lanturile Markov
a
a
a

a
a

ireductibile i aperiodice.
s
Teorema 10.2.1 Dac un lant Markov cu o multime nit de stri S este ireductibil i
a

a
a
s
aperiodic, atunci el admite o unic distributie de echilibru i irul (n ) al distributiilor
a

s s

de stare la momentul n este convergent oricare ar distributia initial 0 .

a
Conform propozitiilor 10.2.2, 10.2.2, limita irului (n ) este distributia de echilibru i

s
n
irul (Q ) este convergent, limita sa ind matricea ale crei linii coincid toate cu vectorul
s
a
probabilist .
Aceast teorem st la baza algoritmului PageRank pe care se bazeaz motorul de
a
a a
a
cutare Google.
a
10.2.4

Algoritm de determinare a distributiei invariante a unui lant Markov

ireductibil i aperiodic
s

Presupunem c lantul Markov denit pe spatiul strilor S, |S| = m, are matricea Q

a

a
ireductibil i aperiodic. Conform Teoremei 10.2.1, lantul are o unic distributie de
a s
a

12

echilibru = ((1), (2), . . . , (n)), adic:

a
= Q i
s
(j) 0, m (j) = 1
j=1

(10.13)

Prima conditie scris detaliat:

a
[ (1) (2) . . . (m) ] = [ (1) (2) . . . (m) ]Q
este echivalent (aplicnd transpunerea ambilor membri ai egalitii) cu:
a
a
at

(1)
(1)
(1) (1)

T
Q .
= .

.
.
.
.

(m)
(m)

ceea ce
nseamn c vectorul Rm este vector propriu al transformrii liniare de matrice
a a
a
T
T
Q corespunztor valorii proprii 1, pentru c Q = 1 .
a
a
a
Teorema din algebra liniar cunoscut ca teorema lui PerronFrobenius arm
a
a
c transpusa matricii de tranzitie a unui lant Markov ireductibil i aperiodic admite pe
a

s
1 ca valoare proprie, cu ordinul de multiplicitate 1 i subspatiul propriu corespunztor
s

a
este generat de un vector v = (x1 , x2 , . . . , xm ) avnd toate coordonatele strict pozitive.
a
Evident c i v este vector propriu corespunztor valorii proprii 1, pentru c QT (v) =
as
a
a
QT (v) = 1 v = 1 (v).
Rezult astfel urmtorul algoritm de determinare a distributiei invariante a unui lant
a
a

Markov ireductibil i aperiodic:

s
se determin un vector propriu, v = (x1 , x2 , . . . , xm ), corespunztor valoa
a
T
rii proprii 1 a matricii Q ;
se calculeaz suma coordonatelor r = x1 + x2 + + xm ;
a
vectorul = v/r = (x1 /r, x2 /r, . . . , xm /r) reprezint distributia de echilibru
a

a lantului Markov.

Precizm c conform teoremei Frobenius un vector propriu corespunztor valorii proa

a
a
prii 1 are e toate coordonatele strict pozitive, e toate strict negative. Deci v/r are sigur
coordonatele pozitive i mai mult este un vector probabilist.
s

10.3

Algoritmul PageRankGoogle

Google este un motor de cutare foarte performant datorit algoritmului PageRank, deza
a
voltat de fondatorii Google, Larry Page i Sergei Brin, 1998, cnd a erau studenti
s
n
a nc

la Stanford. Ei au exploatat ideea mersului aleator denit de un lant Markov scopul

n
ierarhizrii paginilor WEB ordinea descresctoare a unui indice numit rangul paginii
a
n
a
(PageRank). PageRank este distributia de echilibru a unui lant Markov denit pe

spatiul strilor ce const din toate paginile WEB. Aceast distributie de probabilitate

a
a
a

este calculat o dat pe lun.

a
a
a

13

S denim mai precis lantul Markov ce st la baza algoritmului PageRank. Fie W =

a

a
{1, 2, . . . , m} multimea tuturor paginilor WEB, H = (hij ) matricea de conectivitate a lui

W , sau matricea hyperlink:

hij =

1 dac exist hyperlink pagina i ctre pagina j

a
a
n
a
0 dac nu exist hyperlink pagina i ctre pagina j
a
a
n
a

H este o matrice sparse, adic cu foarte multe zerouri ( medie cu 3-10 elemente nenule
a
n
pe o linie). Suma elementelor de pe o linie a matricii hyperlink, ri = m hij indic
a
j=1
s
numrul de hyperlink-uri din pagina i. ri se numete outdegree (gradul, ordinul ieirilor
a
s
din pagin) al paginii i. L. Page i S. Brin au considerat c un surfer ajuns pagina i
a
s
a
n
alege cu aceeas probabilitate oricare din paginile ctre care pagina i are link-uri, adic
i
a
a
probabilitatea de trecere de la pagina i la pagina j este pij = hij /ri . De exemplu dac
a

0 0 1 1 0 0 1 0 0 1
1 0 0 0 1 0 0 1 0 0

H= .
.
.
.
.
.
0 0 1 0 0 1 0 1 0 0

atunci ordinul de ieire din pagina 2 este r2 = 3 i deci probabilitatea de a trece din pagina
s
s
2 oricare din paginile {1, 2, . . . , 10} este p2j = h2j /3, adic cu aceeai probabilitate de
n
a
s
1/3, un surfer poate trece din pagina 2 pagina 1, 5 sau 8.
n
Vom exemplica constructia propus de L. Page i S. Brin prin modelul simplu de

a
s
retea izolat de pagini WEB (retea intranet), din Fig.10.4. Notm cu Q = (pij ) matricea

a
a
probabilitilor de tranzitie pij = hij /ri , i, j = 1, 6. Se observ din structura grafului de
at

conectivitate c paginile 1 i 4 sunt pagini ce nu contin link-uri ctre alte pagini. Acestea
a
s

a
s
s
se numesc dangling pages. De exemplu ierele pdf, ps sau ierele imagine sunt
pagini dangling. Prin urmare liniile 1 i 4 din matricea de tranzitie au toate elementele
s

nule i astfel Q nu este o matrice stochastic, deci nu poate interpretat ca matricea de

s
a
a
tranzitie a unui lant Markov cu spatiul strilor {1, 2, 3, 4, 5, 6}. Pentru a remedia aceast

a
a
situatie, L. Page i S. Brin au propus ca vector de probabilitate de tranzitie dintr-o

pagin dangling, i, distributia uniform pij = 1/m, , j = 1, m. Adic, mod articial se

a

a
a n
adaug link-uri dintr-o pagin dangling ctre toate paginilie WEB sau echivalent, ajuns
a
a
a

ntr-o pagin dangling, un navigator poate apoi alege cu o probabilitate uniform orice
a
a
pagin din WWW.
a
1
2
3
4
5
6
1 0
0
0
0
0
0
2 0
0
0
0 1/2 1/2
Q= 3 0 1/4 0 1/4 1/4 1/4
4 0
0
0
0
0
0
5 1/2 0
0
0
0 1/2
6 1/3 0 1/3 1/3 0
0
Matricea stochastic obtinut din matricea Q este:
a
a

14
P3
P4

P1

P2

P6
P5

Fig.10.4: Graf orientat ilustrnd link-urile din 6 pagini WEB ce constituie o retea izolat.
a

1
2
Q1 = 3
4
5
6

1
2
3
4
5
6
1/6 1/6 1/6 1/6 1/6 1/6
0
0
0
0
1/2 1/2
0
1/4
0
1/4 1/4 1/4
1/6 1/6 1/6 1/6 1/6 1/6
1/2
0
0
0
0
1/2
1/3
0
1/3 1/3
0
0

Matricea Q1 astfel obtinut se exprim astfel:

a
a
Q1 = Q + av T
unde a = [a1 , a2 , . . . , am ]T , cu
ai =

1 dac i este o dangling page

a
,
0 rest
n

iar v = [1/m, 1/m, . . . 1/m]T

Lantul Markov avnd matricea Q1 poate s nu e ireductibil ( adic pornind dintr-o

a
a
a
pagin nu se poate ajunge orice alt pagin mersul aleator denit de matricea Q1 )
a
n
a
a n
sau navignd pe WWW conform matricii de tranzitie Q1 un surfer poate intra
a

ntr-un
ciclu innit pentru c matricea Q1 poate conduce la traiectorii periodice. Din aceast
a
a
cauz, dar i pentru c pentru c uneori surferul se plictisete s urmeze link-uri, se
a
s
a
a
s
a
consider c doar cu probabilitatea (0, 1) (prescris), un navigator ajuns pagina i
a a
a
n
alege uniform una din paginile ctre care pagina i are hyperlink-uri i cu probabilitatea
a
s
complementar 1 ignor hyperlink-urile i alege uniform oricare din cele m pagini
a
a
s
din WWW (insernd o adres URL linia de comand a browser-ului). se numete
a
a
n
a
s
damping factor. Astfel matricea de tranzitie devine:

15

G = Q1 + (1 )

1/m 1/m . . . 1/m

1/m 1/m . . . 1/m

.
.

.
1/m 1/m . . . 1/m

(10.14)

Matricea G se numete la ora actual matricea Google, iar matricea stochastic de

s
a
a
tip m m i elemente identice, (1/m) se numete matricea de teleportare, deoarece
s
s
datorit ei surferul se teleporteaz din mersul urmnd link-uri.
a
a
a
Matricea Google se exprim concentrat astfel:
a
G = (Q + av T ) + (1 )ev T .

(10.15)

Aceast modalitate de exprimare permite o stocare redus a ei. Se crede c la ora actual
a
a
a
a
matricea Google este cea mai uriaa matrice cu care se opereaz vreo aplicatie (are
s
a n

aproximativ 9 miliarde linii si 9 miliarde coloane!)

Lantul Markov avnd spatiul strilor constituit din:

a
multimea paginilor WEB la un moment dat, de cardinal m,

matricea de tranzitie de tipul G cu xat, i

s
distributia initial de probabilitate 0 , distributia uniform,

a
este un lant ireductibil i aperiodic, deci are o unic distributie de echilibru , numit
s
a

a
vectorul PageRank.
Deoarece matricea Google, G, este o matrice ptratic de tip m m, cu m > 9
a
a
a
miliarde, distributia de echilibru se calculeaz numeric folosind aa numita metod a

a
s
n
puterii, ca limit a irului n = 0 G a distributiilor de probabilitate la momentul n:
a s

0 [1/m, 1/m, . . . , 1/m];

eps 107 ;
do {
0 ;
0 G;
} while( 0 > eps);
return 0 ;
Cum n = 0 Gn , se consider c metoda puterii a atins stadiul de convergent
a a
a ntr-o
etap n care n n1 < .
a n
Se demonstreaz c rata de convergenta a irului (n ) este rata cu care k 0,
a a

s
unde este probabilitatea din denita matricii Google G. primul raport tehnic al

In
grupului Page-Brin, era 0.85. La ora actual nu se cunoate dac Google folosete
a
s
a
s
acelai parametru sau nu.
s
Interpretarea vectorului PageRank . Vectorul Pagerank este distributia de

echilibru a lantului Markov ce modeleaz navigarea aleatoare prin WWW. Cum el este

a
un vector de probabilitate, deci are coordonate subunitare, coordonata j reprezint
a
proportia din timpul de navigare pe care surferul ar petrece-o vizitnd pagina j. Prin

a
urmare j este votul, nota acordat paginii j sau limbaj de WWW, j este o msur a
a
n
a a

16

autoritii paginii j. La o cerere particular (concretizat cuvntul/cuvinte de cutare)

at
a
a n
a
a
din partea unui navigator, Google caut paginile ce contin cuvintele cheie i apoi le listeaz
a

s
a
ordinea descresctoare a PageRank-ului lor.
n
a
Se pare c Google aeaz Google toolbar drept Pagerank al paginii j (vizitate),
a
s a n
9
10*j , deoarece coecientii j ind numere subunitare i 910 j = 1, chiar i petru

s
s
j=1
paginile cu autoritate mare j este un numr subunitar sucient de mic. Pagerank-ul
a
unei pagini j este o msur global a autoritii ei, care este inuentt doar de numrul
a a
a
at
aa
a
de inlink-uri ale paginii respective i de autoritatea paginilor care au link spre pagina j, nu
s
i de numrul de outlink-uri (care poate controlat de designerul paginii). Pagerank-ul
s
a
este query independent i depinde doar de structura link-urilor. Google are implementat
s
i un detector de spamlinks, care ar forta creterea PageRank-ului anumitor pagini.
s

10.4

Modele de lanturi Markov i Probleme

1. . Lant Markov ce modeleaz schimbrile volumul tracului

a
a
n
ntr-o retea

internet. Se monitorizeaz o lung perioad volumul V al tracului retea, msurat

a
a
a
n
a
Mbiti/secund i se constat c exist trei nivele: volum redus, codicat cu L, volum
n

as
a a
a
mediu, codicat M , i volum mare, cod H. Pentru ecare nivel, volumul V este cuprins
s

ntre dou limite bine precizare i intervalele pentru L, M, H sunt adiacente. Mai mult,
a
s
trecerea de la o stare la alta are probabilitile probabilitile:
at
at

0 3/4 1/4
0 2/3
(10.16)
Q = 1/3
0
1
0
Observm urmtoarea caracteristic: de la volum mare, tracul trece mereu la unul mediu
a
a
a
(probabilitatea p32 = 1).
Dac la momentul n = 0
a
ncepe monitorizarea volumului tracului, i se constat c
s
a a
V0 = M , care este probabilitatea ca V5 = R? Dar probabilitatea s avem (V0 = M, V1 =
a
R, V2 = M, V3 = H, V4 = M, V5 = R)? Calculati aceste probabiliti scriind codul C

at
adecvat.
Admite acest lant Markov o distributie de echilibru? Ce interpretare dati acestei

distributii?

2. Un lant Markov cu 2 stri {1, 2}, are matricea de tranzitie:

Q=

0.8 0.2
0.4 0.6

a) S se calculeze P (X5 = 2|X0 = 1, X1 = 2, X2 = 2, X3 = 2, X4 = 1).

a
b) Determinati distributia de probabilitate a strilor la momentul n = 3 i calculati

a
s

tiind c distributia initial de probabilitate este distributia uniform pe spatiul strilor.

s
a

a
Deduceti i P (X3 = 1|X0 = 1),
s

17

c) S se argumenteze c lantul este ireductibil i aperiodic i s se determine algebric,

a
a

s
s a
distributia de echilibru a lantului.

Rezolvare: a) Datorit lipsei partiale de memorie, P (X5 = 2|X0 = 1, X1 = 2, X2 =

a

2, X3 = 2, X4 = 1) = P (X5 = 2|X4 = 1) = Q(1, 2) = 0.2.

Distributia de probabilitate a strilor la momentul n = 3 este distributia de probabil
a

itate a variabilei aleatore X3 , adic 3 . Stiind c n = 0 Qn , avem c 3 = 0 Q3 , unde

a

a
a
0 = [1/2, 1/2]. Deci:
[ 3 (1) 3 (2) ] = 1/2 1/2 Q3
P (X3 = 1|X0 = 1) ind probabilitatea trecerii 3 pai de la starea 1 la starea 1, avem
n
s
c:
a
P (X3 = 1|X0 = 1) = Q3 (1, 1)
c) Lantul este ireductibil deoarece Q(1, 2) > 0 i Q(2, 1) > 0. Fiind ireductibil este

s
sucient s artm c o singur stare este aperiodic (dac o stare a unui lant ireductibil
a aa
a
a
a
a

este aperiodic, atunci toate strile sunt aperiodice). Cum Q(1, 1) = 0.8 > 0 rezult c
a
a
a a
starea 1 este aperiodic.
a
Distributia de echilibru a unui lant ireductibil i aperiodic este vector propriu core

spunztor valorii proprii 1 a matricii Q , deoarece:

a
Q = ,

adic [1 2 ]
a

Q(1, 1) Q(1, 2)
Q(2, 1) Q(2, 2)

= [1 2 ]

este echivalent cu Q = :
Q(1, 1) Q(2, 1)
Q(1, 2) Q(2, 2)

1
2

1
2

Un vector propriu corespunztor valorii proprii 1 se determin ca o solutie nebanal

a
a

a
a sistemului:
x
0
(Q I2 )
=
y
0
adic:
a

sau

0.8 1
0.4
0.2
0.6 1
0.2 0.4
0.2 0.4

x
y
x
y

0
0

0
0

Alegnd y = ca necunoscut secundar avem x = 2 i deci vectorul propriu

a
a
a
s
v = (2, 1). Cum distributia de echilibru este un vector probabilist, adica un vector de

coordonate din [0, 1] i cu suma coordonatelor egal cu 1, lum = (2/s, 1/s) unde
s
a
a
s = 2 + 1, suma coordonatelor vectorului v. Prin urmare = (2/3, 1/3).
3. Un lant Markov cu dou stri {1, 2} are matricea de tranzitie:

a a

18

Q=

0.8 0.2
0.3 0.7

S se calculeze urmtoarele probabiliti:

a
a
at
i) P (X5 = 2|X4 = 1, X3 = 1);
ii) P (X3 = 2|X1 = 1);
iii) P (X2 = 1, X1 = 1|X0 = 2);
Rezolvare: i) Trecerea unui lant Markov la starea din momentul n + 1 nu depinde

de strile prin care lantul a trecut momentele 0, 1, 2, . . . , n 1, ci doar de starea la

a

n
momentul n. Prin urmare P (X5 = 2|X4 = 1, X3 = 1) = P (X5 = 2|X4 = 1) = Q(1, 2) =
0.2.
ii) Deoarece se cere probabilitatea trecerii doi pai din starea 1 starea 2, avem c
n
s
n
a
2
P (X3 = 2|X1 = 1) = Q (1, 2). Sau folosind denitia probabilitii conditionate avem:

at

P (X3 = 2|X1 = 1) =

P (X1 = 1 X3 = 2)
P (X1 = 1, X3 = 2)
=
P (X1 = 1)
P (X1 = 1)

Evenimentul (X1 = 1, X3 = 2) = (X1 = 1, X2 = 1, X3 = 2) (X1 = 1, X2 = 2, X3 = 2) i

s
deci:
P (X1 = 1, X3 = 2) = P (X1 = 1, X2 = 1, X3 = 2) + (X1 = 1, X2 = 2, X3 = 2) =
= 1 (1)Q(1, 1)Q(1, 2) + 1 (1)Q(1, 2)Q(2, 2) =
= 1 (1)(Q(1, 1)Q(1, 2) + Q(1, 2)Q(2, 2)) = 1 (1)Q2 (1, 2)
Astfel avem:
P (X3 = 2|X1 = 1) =

1 (1)Q2 (1, 2)
1 (1)Q2 (1, 2)
=
= Q2 (1, 2)
P (X1 = 1)
1 (1)

iii)
P (X2 = 1, X1 = 2, X0 = 2)
=
P (X0 = 2)
0 (2)Q(2, 2)Q(2, 1)
P (X0 = 2, X1 = 2, X2 = 1)
=
=
=
P (X0 = 2)
0 (2)
= Q(2, 2)Q(2, 1) = (0.7)(0.3)

P (X2 = 1, X1 = 1|X0 = 2) = P (X2 = 1, X1 = 2|X0 = 2) =

4. Un lant Markov cu strile S = {0, 1, 2, 3, 4, 5, 6} are graful din Fig.10.5: S se

a
a
determine din graful asociat urmtoarele probabiliti:
a
at
P (X7 = 4|X0 = 2, X1 = 5, X2 = 1, X3 = 2, X4 = 6, X5 = 3, X6 = 2),

P (X10 = 6|X8 = 2)

P (X4 = 3, X3 = 1|X2 = 5)
5. gura Fig. 10.6 este reprezentat o retea
In
a
nchis de cozi. Acest tip de retea este
a

cunoscut ca modelul server central i se folosete pentru a studia performanta sistemului.

s
s

Analysis
45]

g with state space

19

1/7

2/9

4/7

2/
7

7/
9

3
1/2

5
3/

6
1/
5/6

1/5

4
1/

8
1/

1/
5

2/
3

3/8

1/2

1/3

1/4

A. Give the transition probability matrix for X.

B. Let , for 0 solicit be the limiting probabilityservire, is inprobabilitateaa complete a un nou
Fiecare job i 6, serviciul CPU i dup that X cu state i. Give p0 solicit
a
s
a
Fig.10.5:

C.
D.

system ofCPU, iar cu probabilitatea pi , i = 1, m, un serviciu de intrareieire de la unitatea

serviciu equations that these limiting probabilities must satisfy.
s
i, din the system aiequations in part retea. the limiting probabilities. UsepMathe- +pm =
cele m unitt I/O existente B for Suma probabilitilor este 1, 0 +p1 +
n
at
Solve
of
1. Dup do the actual orice job se and
a

ntoarce the Mathematica dialog a your

matica to operatiile I/O,computations re includecu probabilitatea 1, adicinsigur, la CPU.
Joburile care circul reteaua
a n
nchis se numesc job-uri active Traiectoria unui proa
solution.
gram (job) prin retea poate modelat ca un lant Markov timp discret, cu spatiul

Assume that1,X begins, m}. S seat time 0; that is, assumeie a acestui0. What is i s se
in state 0 scrie matricea de tranzit that X0 = lant Markov s a
st
{0, 2, 3, . .
a

P arilora4]? What is. P X3a=ile p Explain.

X2 =
2]? sunt strict ntre 0 i 1, lantul Markov este ireductibil i
arate c dac probabilit
a
t
s

s
i

aperiodic, deci admite o unic distributie de echilibru = [0 , 1 , . . . , m ]. Determinati

a

aceast distributie de probabilitate prin metoda algebric (ca vector propriu al matricii
a

1
p1
I/O 1

0
CPU
m
p
0

p
m
I/O m

Fig.10.6: Model de retea

nchis de cozi.
a

20

Q ). Coordona a i-a a acestei distributii de echilibru reprezint numrul mediu de vizite

a
a
ale unui program tipic la serverul i al sistemului, i = 0, m.
6. Pipelining este o tehnic folosit de microprocesoare, ce const executia unei
a
a
a n

instructiuni

nainte ca prima (precedenta) s e complet. Adic exist simultan cteva

a
a
a
a
a
instructiuni pipeline, ecare

n
ntr-un stadiu diferit de procesare.
Termenul pipelining s-a extins i la transiterea pachetelor de
s
nformatii. Pentru a

modela un astfel de pipeline cu dou stadii (twostage pipeline), printr-un lant Markov
a

discret xm protocolul de transmitere:

a
ecare stadiu (etap) are un singur buer;
a

Intr-o unitate de timp xat pachetul poate face o singur tranzitie;

a
a

intervalul de timp dintre k i k + 1 se numete slot time. Presupunem c pipeline-ul

s
s
a
evolueaz astfel
a
ntr-un slot:
dac la
a
nceputul slot-ului nu exist pachete stadiul 1, atunci sosete un nou
a
n
s
pachet acest stadiu cu probabilitatea p, independent de istoria trecut a pipeline-ului
n
a
i de ce se ampl stadiul doi;
s
nt
a n
dac la
a nceputul unui slot, exist un pachet stadiul 1 i nici un pachet stadiul
a
n
s
n
2, atunci pachetul este transferat din stadiul 1 stadiul 2 cu probabilitatea p1 ;
n
dac la
a nceputul unui slot exist un pachet stadiul 2, atunci pachetul pleac din
a
n
a
acest stadiu i prsete sistemul cu probabilitatea p2 , independent de ce se ampl
s aa s
nt
a n
stadiul 1.
Strile modelului pipeline sunt S = {00, 01, 10, 11}, unde de bitii din perechea b1 b2 S
a

indic cte pachete exist stadiul 1, respectiv 2.

a a
a n
Din descrierea protocolului de transmitere a pachetelor avem probabilitile de tranzitie:
at

p
intre strile 00 i 10;
a
s
p1
ntre 10 i 01;
s
p2
ntre 11 i 10.
s
a) Deduceti probabilitile de tranzitie corespunztoare celorlalte arce din graful din

at

a
Fig. 10.7:
b) Artati c lantul Markov este ireductibil preciznd traiectoriile care unesc orice
a a

a
stare b1 b2 cu o alta distinct c1 c2 . Argumentati de ce este lantul i aperiodic. Gsiti
a

s
a
distributia de echilibru.

c) cazul care p = p1 = p2 = 1/2 s se scrie matricea de tranzitie i s se calculeze

In
n
a
s a
probabilitatea P (X3 = 11|X0 = 00, X1 = 10, X2 = 01).

21

00

01

p1
p

10

p2

Fig.10.7:

11