C.

10
Lanturi Markov. Definitie, propriet
ati, simulare.
Algoritmul PageRank-Google
10.1

Definitia si simularea lanturilor Markov

Lanturile Markov discrete se folosesc n practica modelarii si simularii sistemelor n care

se produc evenimente la momente discrete de timp t = 0, 1, 2, . . . , n, . . .. Ele modeleaza
sisteme de comunicatii, piata financiara, sisteme biologice, etc. In CS lanturile Markov se
folosesc n algoritmi randomizati, n inteligenta artificiala (machine learning), n design-ul
algoritmilor de rutare n retele de calculatoare, al protocoalelor pentru retele wireless,
n analiza protocoalelor de management a memoriei, studiul performantei serverelor, etc
Exista chiar si un limbaj de modelare pentru sisteme hardware/software n timp real,
numit POOSL, Parallel Object Oriented Specification Language, care genereaza
un lant Markov, ca model al sistemului. Studiul modelului permite evaluarea performantelor si fiabilitatii sistemului.
Elemente definitorii ale lantului Markov
O multime finita S = {1, 2, . . . , m} numita spatiul st
arilor (se considera S, un
sistem ce poate avea un numar finit de stari). Schimbarile de stare se produc la ntamplare,
la momente discrete de timp t = 0, 1, 2, . . . , n, . . ..
Starea la momentul n este descrisa de o variabil
a aleatoare discret
a Xn .
Multimea valorilor variabilei aleatoare Xn este deci S = {1, 2, . . . , m}.
Definitia 10.1.1 S
irul de variabile aleatoare (Xn ), n N, defineste un lant Markov
discret dac
a probabilitatea ca la momentul (n + 1) sistemul s
a se afle n starea j, stiind
ca n momentele de timp precedente se afla respectiv n st
arile s0 , s1 , . . . sn1 , i este:
P (Xn+1 = j|X0 = s0 , X1 = s1 , . . . Xn = i) = P (Xn+1 = j|Xn = i)

(10.1)

P (Xn+1 = j|Xn = i) se citeste: probabilitatea ca sistemul sa treaca n starea j la momentul n + 1, stiind ca se afla n starea i la momentul n.
a. Proprietatea markoviana caRelatia (10.1) se numeste proprietate markovian
racterizeaza lipsa partiala de memorie a lantului: cunoscand succesiunea de stari,
s0 , s1 , . . . , sn1 , i, prin care a trecut sistemul pana la momentul n, doar starea prezenta
(Xn = i) influenteaza probabilitatea de trecere, n momentul urmator, la o noua stare, nu
1

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

si drumul parcurs pana la momentul curent n (cu alte cuvinte doar istoria recenta, nu si
cea trecuta, influenteaza evolutia viitoare).
In mod normal probabilitatile P (Xn+1 = j|Xn = i) depind n, adica
P (Xn+1 = j|Xn = i) = pij (n)
Un lant Markov discret (Xn ) se numeste lant Markov omogen, daca probabilitatile conditionate:
P (Xn+1 = j|Xn = i)
nu depind de n.
Pentru un lant Markov omogen, notam cu pij = P (Xn+1 = j|Xn = i), i, j = 1, m
probabilitatea ca la momentul n + 1 lantul Markov sa treaca n starea j stiind ca la
momentul n se afla n starea i. pij se numeste probabilitate de trecere ntr-un singur pas
din starea i n starea j , iar matricea Q de elemente Q(i, j) := pij , i, j = 1, m, se numeste
matricea de tranzitie a lantului Markov.
Matricea de tranzitie Q = (pij )i,jS verifica proprietatile:
1) pP
ij 0, (i, j) S S
2) m
a suma elementelor de pe fiecare linie este 1.
j=1 pij = 1, i S, adic
O astfel de matrice se numeste matrice stochastic
a, iar liniile ei, vectori stochastici.
1, m, indic
a probabilit
tileAuckland
ca din starea i sistemul sa treac
a
PracticInverse
(pi1 , pi2
, . . . , pim ),
i = Nicholls,
453.707
Problems,
G.K.
The
Universityaof
7-2
respectiv n starile 1, 2, . . . , m.
0.4

0.2

0.1

0.4

0.5

0.1

0.4

0.7

0.2

ij

Figure 7.1 Digraph corresponding to the transition matrix of Example 1.

Fig.10.1:

1. Pick X0 using the initializing distribution Pr (X0 = i) = 31 ; 13 ; 13 . Since we have a = b = c =

Mult
arilor S, a unui lant Markov si matricea de tranzitie definesc un graf orien1 imea st
3 and u1 = 0:429; we select X0 = 2:

tat ale carui varfuri sunt starile. Exista arc orientat de la starea i la j, daca probabilitatea
are now
in stateastfel
2. Weasociat
must choose
a snew
statede
bytranzit
jumping
state
2. Since
P2j =
iefrom
al lant
ului
Markov.
pij2. este
se nume
te graf
a. Graful
We nenul
1 7 1
5 ; 10 ; 10

; we have a = 15 ; b =

7
10

and c =

3. We are now in state 1. Iterating, since P1j

Since u3 = 0:"46 < a; we select X2 = ":

1
10 :

Since u2 = 0:"56 < a; we select X1 = ":

1
= 25 ; 12 ; 10
; we have a = 25 ; b = 12 and c =

We thus obtain
X0

X1

X2

X3

X4

X5

:::

1
10 :

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

Exemplul 1. Fie S = {1, 2, 3} multimea starilor

la o stare la alta definita de:

0.4 0.5

0.2 0.7
Q=
0.4 0.4
Graful asociat este vizualizat n Fig. 10.1.

unui sistem si matricea de tranzitie de

0.1
0.1
0.2

Propriet
ati ale matricilor stochastice
Notam cu e vectorul de elemente e = [1, 1, . . . , 1]T . Produsul Qe este:

p11 + p12 + + p1m
1
p11 p12 . . . p1m
..

..
..
.

.
.

pk1 pk2 . . . pkm 1 = pk1 + pk2 + + pkm =

.
.
..

..
..
.
pm1 + pm2 + + pmm
1
pm1 pm2 . . . pmm

1
..
.

1
..
.
1

Aceasta relatie ne permite exprimarea concentrata a proprietatii lui Q de a avea toate

liniile vectori stochastici:
Qe = e
In continuare o vom folosi ca relatie definitie a unei matrici stochastice (subantelegand
ca elementele ei sunt mai mari sau egale cu zero).
Produsul a doua matrici stochastice P, Q, este o matrice stochastica, deoarece P e =
e si Qe = e implica (P Q)e = P (Qe) = P e = e.
Daca P, Q sunt matrici stochastice si (0, 1) atunci combinatia convexa:
M = P + (1 )Q
este matrice stochastica.
O realizare a lantului Markov (Xn ), sau o observatie asupra lantului este un sir
de stari posibile, (s0 , s1 , . . . , sn , . . .), sk S, si se numeste traiectorie a lantului.
Pentru a putea analiza si simula un lant Markov, trebuie precizataPdistributia initial
a
de probabilitate, 0 = [0 (1), 0 (2), . . . , 0 (m)], cu 0 (k) 0 si m

(k)
=
1,
unde
k=1 0
0 (k) = P (X0 = k) este probabilitatea ca la momentul t = 0 lantul sa porneasca din
starea k. Cu alte cuvinte, distributia initiala de probabilitate a lantului Markov este
distributia de probabilitate a variabilei aleatoare discrete X0 :


1
2
...
m
X0 =
(10.2)
0 (1) 0 (2) . . . 0 (m)
Daca pentru lantul Markov din Exemplul 1 distributia initiala de probabilitate este:


1
2
3
X0 =
0.2 0.5 0.3
atunci nseamna ca probabilitatea ca un mers (drum) aleator n multimea S = {1, 2, 3}
sa porneasca din starea 2 este 0.5.

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

10.1.1

Simularea unei traiectorii a lantului Markov

Un lant Markov discret este simulat n mod iterativ. Algoritmul de simulare este prototip pentru clasa algoritmilor iterativi aleatori. Avand dat spatiul starilor S =
{1, 2, . . . , m}, distributia initiala de probabilitate 0 = [0 (1), 0 (2), . . . , 0 (m)] si matricea de tranzitie a Q = (pij ), i, j = 1, m,
a unui lant Markov (Xn ), putem genera o traiectorie aleatoare s0 , s1 , . . . , sN , astfel:
construim simulatorul unei variabile aleatoare discrete arbitrare:


1 2 ... m
Y =
p1 p2 . . . pm

pe care l notam simbolic

{1, 2, . . . , m; p}
p este vectorul de probabilitate al variabilei aleatoare discrete ce ia valori n {1, 2, . . . , m}.
j R {1, 2, . . . , m; p} simbolizeaza faptul ca simulatorul genereaza o valoare j.
Se genereaza starea initiala s0 , din care porneste traiectoria, simuland variabila
aleatoare X0 definita n (10.2).
Probabilitatile de trecere din starea i = s0 n una din starile sistemului sunt date de
elementele din linia i a matricii de tranzitie Q = (pij ). Astfel starea la momentul t = 1, s1 ,
este valoare de observatie asupra variabilei aleatoare discrete, ce ia valorile {1, 2, . . . , m}
cu probabilitatile din linia i a matricii de tanzitie p = [pi1 , pi2 , . . . , pm ], etc.
Algoritmul de generare a segmentului de traiectorie s0 , s1 , . . . , sN , este atunci:
s0 R {1, 2, . . . , m; 0 };
j s0 ;
for i=1:N {
p [linia j din matricea Q];
si R {1, 2, . . . , m; p};
j si ;
}
return s0 , s1 , . . . , sN
Vizualizarea traiectoriei unui lant Markov se face astfel: se marcheaza n plan
punctele de coordonate (i, si ) si se unesc punctele consecutive (i, si ), (i + 1, si+1 ).
In Fig. 10.2 este vizualizata o traiectorie de lungime 100 a lantului Markov cu 3
stari, avand matricea de tranzitie din Exemplul 1 si distributia initiala de probabilitate,
distributia uniforma.
In concluzie, un lant Markov discret defineste o lege de evolutie la ntamplare pe
multimea starilor.

10.2

Analiza unui lant Markov

Pe langa tranzitia ntr-un singur pas a unui lant Markov, suntem interesati si de tranzitia
dintr-o stare n alta, n n pasi. Notam cu:
Pijn = P (Xn = j|X0 = i),

i, j S,

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

3.5
3
2.5
2
1.5
1
0.5
0

20

40

60

80

100

Fig.10.2:

probabilitatea ca sistemul sa treaca din starea initiala i n starea j la momentul n sau dupa
n pasi. Se demonstreaza ca matricea de tranzitie n n pasi, adica matricea de elemente
Pijn , este chiar Qn matricea de tranzitie ntr-un pas, ridicata la puterea n.
Pentru a putea face predictii asupra evolutiei sistemului sa calculam cateva probabilitati ale unor evenimente de interes. Si anume calculam probabilitatea ca sistemul sa
evolueze pe traiectoria s0 , s1 , . . . , sn :
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) =
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn )

P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 )

P (X0 = s0 , X1 = s1 , X2 = s2 )
P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 )

P (X0 = s0 , X1 = s1 , . . . Xn2 = sn2 )

P (X0 = s0 , X1 = s1 )

(10.3)

P (X0 = s0 , X1 = s1 )
P (X0 = s0 )
P (X0 = s0 )

P (A B)
, si a proprietatii markoviene
P (B)
(10.1) rezulta ca fractiile de mai sus, n ordinea de la dreapta spre stanga, conduc la:
Din definitia probabilitatii conditionate P (A|B) =

P (X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) =

0 (s0 ) P (X1 = s1 |X0 = s0 ) P (X2 = s2 |X0 = s0 , X1 = s1 )
P (Xn = sn |X0 = s0 , X1 = s1 . . . Xn1 = sn1 ) =
0 (s0 )P (X1 = s1 |X0 = s0 ) P (X2 = s2 |X1 = s1 ) P (Xn = sn |Xn1 = sn1 ) =
0 (s0 )Q(s0 , s1 ) . . . Q(sn1 , sn )

(10.4)

a admit
a segmentul de traiectorie s0 , s1 , . . . , sn
Deci, probabilitatea ca lantul s
este:
P(X0 = s0 , X1 = s1 , . . . Xn1 = sn1 , Xn = sn ) = 0 (s0 )Q(s0 , s1 ) . . . Q(sn1 , sn ).

(10.5)

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

Exemplul 2. Consideram lantul Markov din exemplul 1, avand distributia initiala de

probabilitate 0 = [0.2, 0.35, 0.45]. Sa se calculeze probabilitatea ca lantul sa evolueze din
starea s0 = 2, n starea s11 = 3 pe traiectoria: 2, 1, 3, 2, 1, 2, 3, 1, 3, 2, 1, 3.
Conform formulei deduse probabilitatea ca lantul sa aiba traiectoria 2, 1, 3, 2, 1, 2, 3, 1, 3, 2, 1, 3
este P = 0 (2)Q(2, 1)Q(1, 3)Q(3, 2)Q(2, 1)Q(1, 2)Q(2, 3)Q(3, 1)Q(1, 3)Q(3, 2)Q(2, 1)Q(1, 3).
Calculul numeric al acestui produs conduce la: P (X0 = 2, X1 = 1, X2 = 3, X3 = 2, X4 =
1, X5 = 2, X6 = 3, X7 = 1, X8 = 3, X9 = 2, X10 = 1, X11 = 3) = 8.9600000000e 09.
10.2.1

Determinarea distributiei de probabilitate n a variabilei de stare Xn ,

la momentul n

In definitia lantului Markov (Xn ) nu se precizeaza si distributia de probabilitate a variabilei aleatoare de stare Xn . Variabila aleatoare Xn ia valorile {1, 2, . . . , m} si evenimentul (Xn = j) este evenimentul ca la momentul n traiectoria aleatoare sa ajunga n starea
j S.
Vom arata ca daca se cunoaste distributia initiala de probabilitate 0 si matricea de
tranzitie Q a lantului Markov (Xn ) atunci putem determina si distributia de probabilitate
n = [n (1), n (2), . . . , n (m)] a variabilei aleatore Xn , n > 0. Precizam ca n (j) =
P (Xn = j).
Propozitia 10.2.1 Distributia de probabilitate a starii la momentul n este:
n = 0 Qn
sau detaliat:


n (1) n (2) . . . n (m)


0 (1) 0 (2) . . . 0 (m) Q

Demonstratie: Notam cu B evenimentul (Xn = j) si cu Ai = (X0 = i), i = 1, 2, . . . , m.

Evident ca A1 , A2 , . . . , Am constituie o o descompunere a evenimentului sigur n m evenimente mutual exclusive doua cate doua. Conform formulei probabilitatii totale avem:
P (B) =

n
X

P (Ai )PAi (B)

(10.6)

i=1

Rescriem formula probabilitatii totale nlocuind B cu (Xn = j) si Ai cu (X0 = i):

P (Xn = j) =

m
X

P (X0 = i)P (Xn = j|X0 = i),

(10.7)

i=1

adica
P (Xn = j) =

m
X
i=1

0 (i)Pijn

m
X
i=1

0 (i)Qn (i, j).

(10.8)

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

Rezulta astfel ca:

n (j) =

m
X

0 (i)Qn (i, j),

(10.9)

i=1

ceea ce ne conduce la relatia matriciala:

[ n (1) n (2) . . . n (m) ] = [ 0 (1) 0 (2) . . . 0 (m) ]Qn

(10.10)

sau concentrat
n = 0 Qn

(10.11)

Din relatia (10.10) rezulta ca distributia de probabilitate a starii la momentul n, Xn

se poate calcula recursiv pornind de la distributia initiala 0 :
1 = 0 Q
2 = 0 Q2 = 1 Q
..
.
n = n1 Q

(10.12)

Aceasta metoda se recomanda pentru calculul numeric al distributiei de probabilitate n

a starii n.
Exemplul 3. Pentru lantul Markov din Exemplul 1 avand distributia initiala de probabilitate 0 = [0.2, 0.35, 0.45] distributiile de probabilitate ale starilor pana la momentul
n = 100, X1 , X2 , . . . , X100 , calculate conform relatiei de recurenta de mai sus, sunt:
1
2
3
4
5
6
7
8
9
10

=
=
=
=
=
=
=
=
=
=

[0.33000000000
[0.29500000000
[0.28190000000
[0.27867000000
[0.27796300000
[0.27781550000
[0.27778539000
[0.27777930700
[0.27777808430
[0.27777783915

0.525000000000
0.590500000000
0.606650000000
0.610185000000
0.610922500000
0.611073050000
0.611103465000
0.611109578500
0.611110804250
0.611111049705

0.145000000000];
0.114500000000];
0.111450000000];
0.111145000000];
0.111114500000];
0.111111450000];
0.111111145000];
0.111111114500];
0.111111111450];
0.111111111145];

Pentru variabilele aleatoare X50 , . . . , X100 obtinem cu 15 zecimale, distributia de probabilitate :

50 = 51 = = 100 = [0.277777777778 0.611111111111 0.111111111111]
Observam ca P (X50 = k) = = P (X100 = k), k = 1, 2, 3. Aceste egalitati au loc
pentru trunchierea la 15 zecimale. Orice distributie de probabilitate n , cu n 50, am
calcula cu 15 zecimale, am obtine toate distributiile identice.
In continuare interpretam semnificatia acestui comportament.

10.2.2

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

Distributie de echilibru a unui lant Markov

Faptul ca ncepand de la n = 50 distributiile de probabilitate trunchiate la 15 zecimale

coincid, adica, de exemplu, 50 = 51 si 51 = 50 Q, implica notand ambele distributii cu
ca = Q.
Definitia 10.2.1 O distributie de probabilitate , pe spatiul starilor unui lant Markov
cu proprietatea ca = Q, unde Q este matricea de tranzitie a lantului, se numeste
distributie invariant
a sau stationar
a sau nca distributie de echilibru.
Se poate verifica ca daca sirul (n ) al distributiilor de stare este convergent, atunci limita
sa este un vector probabilist , adica un vector de coordonate 0 si suma coordonatelor
este 1.
Interpretarea distributiei stationare: Daca la un moment dat n, n = , atunci
din n+1 = n Q = Q = , rezulta ca n orice moment n + k, k 1, ulterior lui n, lantul
va avea aceeasi distributie de probabilitate a starilor, n+k = , adica dupa momentul n
distributia este stationara, nu se mai modifica si deci sistemul a ajuns ntr-un echilibru.
De-a lungul oricarei traiectorii, sn , sn+1 , . . . sn+N , de orice lungime N+1, starea 1 este
vizitata de lantul Markov n proportie de 100(1)%, starea 2 de 100(2)%, . . . , starea
m n proportie de 100(m)%.
In continuare evidentiem conditii care asigur
a c
a lantul Markov admite distributie
de echilibru, iar apoi precizam cand astfel de conditii sunt ndeplinite.
Propozitia 10.2.2 Daca sirul n converge la , atunci este distributie de echilibru a
lantului Markov.
Demonstratie: Daca limn n = atunci si limn n1 = . Trecand la limita cand
n n relatia:
n = n1 Q
obtinem:
= Q,
adica este distributie de echilibru a lantului Markov.
Observatia 10.2.1 S
irul (n ) fiind construit recursiv, pornind de la distributia initiala
0 , n = 0 Q n = n1 Q, este evident ca n general fiecare distributie initial
a conduce
la un alt sir (n ) si dac
a acesta este convergent, la alta limit
a . Cu alte cuvinte un lant
Markov poate admite mai multe distributii invariante.
Propozitia 10.2.3 Daca sirul n converge la , indiferent de distributia initial
a de probn
abilitate, 0 , atunci sirul de matrici (Q ) converge la o matrice care are pe fiecare linie
coordonatele vectorului probabilist .

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

Demonstratie: Avem relatia

n = 0 Qn
Deoarece n , oricare ar fi 0 , n particular n si pentru 0 = [0, 0, . . . , |{z}
1 , . . . , 0, 0].
k

In acest caz,

0 Qn =

q11 q12 . . . q1m

"
# ...

0, 0, . . . , |{z}
1 , . . . , 0, 0 qk1 qk2 . . . qkm
.
k
..
qm1 qm2 . . . qmm

= [ qk1 qk2 . . . qkm ]

|
{z
}

n
linia k din Q

Prin urmare n = [ qk1 qk2 . . . qkm ]. Trecand la limita cand n obtinem ca linia
k din matricea Qn tinde la (deoarece n ). Cum k a fost ales arbitrar, rezulta ca
toate liniile din Qn tind la = [(1), (2), . . . , (n)]. Prin urmare

(1) (2) . . . (n)

(1) (2) . . . (n)
Qn .. ..

. .

(1) (2) . . . (n)

Propozitia precedenta are o ipoteza greu de ndeplinit la prima vedere, adica indiferent de
distributia initiala 0 , cerem ca sirul corespunzator (n ), cu n = 0 Q, sa fie convergent si
sa aiba aceeasi limita . Vom arata n continuare ca exista lanturi Markov care au aceasta
proprietate si mai mult ca pe multimea tuturor paginilor WEB, ca spatiul al starilor, se
poate defini un lant Markov (ale carui traiectorii sunt traiectoriile unui navigator pe
WWW), ce are o distributie de echilibru.
Exemplul 4. In Exemplul 3 am ilustrat ca distributiile de probabilitate n tind la =
[0.277777777778, 0.611111111111, 0.111111111111] pentru o anumita distributie initiala.
Prin experimente numerice se poate vedea ca limita este aceeasi orice distributie initiala
am lua lua (aici facem abuz de limbaj: ceea ce numim limita este n realitate o aproximatie
a ei, adica un N cu proprietatea ca ||N || < ).
Calculand Qn , pentru n = 100 obtinem:

0.277777777778 0.611111111111 0.111111111111

Q100 = 0.277777777778 0.611111111111 0.111111111111
0.277777777778 0.611111111111 0.111111111111
Remarcam ca pe fiecare linie a matricii Q100 avem coordonatele vectorului probabilist
50 = = 100 = , ce pare sa fie distributia de echilibru a lantului Markov considerat.
Sa evidentiem acum conditiile pe care trebuie sa le ndeplineasca matricea de tranzitie
Q a unui lant Markov, pentru ca pentru orice distributie initiala de probabilitate a starilor,
0 , sirul (n ) asociat sa fie convergent si sa aiba aceeasi limita .

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

10

10.2.3

Lanturi Markov ireductibile

Fie S = {1, 2, . . . , m} spatiul starilor unui lant Markov. Definim pe S o relatie de

echivalenta: starea i intercomunica cu starea j daca probabilitatea de tranzitie de la
i la j ntr-un numar de pasi este pozitiva, la fel ca si probabilitatea de tranzitie de la j
la i, adica exista n > 0 si k > 0, astfel ncat Qn (i, j) > 0 si Qk (j, i) > 0. Notam aceasta
relatie prin:
ij
Clasa de echivalenta a unei stari, notata C(i), este formata din multimea starilor cu care
i intercomunica.
Un lant Markov cu o singura clasa este lant ireductibil, adica oricare doua stari
intercomunica.
Daca matricea de tranzitie are toate elementele Q(i, j) > 0, i, j 1, m, atunci lantul
Markov este ireductibil. Daca exista un n > 1 astfel ncat Qn (i, j) > 0, i, j 1, m, lantul
Markov este de asemenea ireductibil (conditia precedenta corespunde cazului n = 1).
Exemplul 5.
tranzitie:

Lantul Markov avand spatiul starilor S = {1, 2, 3, 4} si matricea de

0.3 0.7 0
0
0.45 0.55 0
0

Q=
0
0 0.6 0.4
0
0 0.2 0.8

nu este un lant ireductibil, asa cum se poate observa mai simplu din graful asociat.
Multimile de stari {1, 2} si {3, 4} nu comunica ntre ele.
Observatia 10.2.2 Simplul fapt ca Q(i, j) = 0 nu asigur
a ca i nu comunic
a cu j. Cele
dou
a stari nu comunic
a ntr-un pas, dar pot comunica n mai multi pasi, adic
a s-ar putea
n
ca Q (i, j) > 0, pentru un n > 1.
Un lant Markov poate avea si traiectorii periodice (Fig.10.3).

3
1

Fig.10.3: Graful asociat unui lant Markov ce are traiectoria (1,3,4) periodica

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

11

Din analiza grafului din figura rezulta ca probabilitatile Q3 (1, 1) > 0, Q6 (1, 1) > 0 si
n general Q3k (1, 1) > 0, ceea ce ilustreaza ca, cu o probabilitate pozitiva, o traiectorie ce
porneste din 1 se rentoarce n 1 dupa 3, pasi, 6 pasi, sau mai general un multiplu de 3
pasi. Aceasta proprietate indica ca traiectoria ce porneste din 1 este periodica. Analog
pentru 3 si 4.
Definitia 10.2.2 Perioada unei stari i, este num
arul
i = c.m.m.d.c{n N | Qn (i, i) > 0}
In cazul exemplului nostru cel mai mare divizor comun al numerelor de forma 3k, k N
este 3, deci starea 1 este periodica de perioada 3, si analog starile 3 si 4.
a, iar un lant Markov
O stare i a carei perioada este 1 se numeste stare aperiodic
care are toate starile aperiodice se numeste lant Markov aperiodic.
Evident ca daca matricea de tranzitie are toate elementele de pe diagonala principala
strict pozitive, Q(i, i) > 0, atunci lantul este aperiodic.
Remarcam ca proprietatile de ireductibilitate si aperiodicitate ale unui lant Markov
sunt proprietati ale matricii de tranzitie.
Se poate demonstra urmatoarea proprietate:
Toate starile dintr-o clasa de echivalenta, relativ la relatia de intercomunicare, au
aceeasi perioada.
Un lant Markov n timp discret, ireductibil are toate starile de aceeasi perioada d.
Prin urmare daca o stare a unui lant ireductibil este aperiodica, atunci toate starile sunt
aperiodice. Astfel pentru a arata ca un lant ireductibil este aperiodic este suficient sa
identificam o stare i pentru care Q(i, i) > 0 (probabilitatea de trecere de la starea i la ea
nsasi este nenula), pentru a concluziona ca starea i este aperiodica si deci toate starile
lantului sunt aperiodice.
Dupa aceasta clasificare a starilor unui lant Markov sa caracterizam lanturile Markov
ireductibile si aperiodice.
Teorema 10.2.1 Daca un lant Markov cu o multime finita de stari S este ireductibil si
aperiodic, atunci el admite o unic
a distributie de echilibru si sirul (n ) al distributiilor
de stare la momentul n este convergent oricare ar fi distributia initial
a 0 .
Conform propozitiilor 10.2.2, 10.2.2, limita sirului (n ) este distributia de echilibru si
sirul (Qn ) este convergent, limita sa fiind matricea ale carei linii coincid toate cu vectorul
probabilist .
Aceasta teorema sta la baza algoritmului PageRank pe care se bazeaza motorul de
cautare Google.
10.2.4

Algoritm de determinare a distributiei invariante a unui lant Markov

ireductibil si aperiodic

Presupunem ca lantul Markov definit pe spatiul starilor S, |S| = m, are matricea Q

ireductibila si aperiodica. Conform Teoremei 10.2.1, lantul are o unica distributie de

12

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

echilibru = ((1), (2), . . . , (n)), adica:

= Q P
si
(j) 0, m
j=1 (j) = 1

(10.13)

Prima conditie scrisa detaliat:

[ (1) (2) . . . (m) ] = [ (1) (2) . . . (m) ]Q

este echivalenta (aplicand transpunerea ambilor membri ai egalitatii) cu:

(1)
(1)
(1) (1)

T
Q ..
= ..

.
.

(m)
(m)

ceea ce nseamna ca vectorul Rm este vector propriu al transformarii liniare de matrice

QT corespunzator valorii proprii 1, pentru ca QT = 1 .
Teorema din algebra liniara cunoscuta ca teorema lui PerronFrobenius afirma
ca transpusa matricii de tranzitie a unui lant Markov ireductibil si aperiodic admite pe
1 ca valoare proprie, cu ordinul de multiplicitate 1 si subspatiul propriu corespunzator
este generat de un vector v = (x1 , x2 , . . . , xm ) avand toate coordonatele strict pozitive.
Evident ca si v este vector propriu corespunzator valorii proprii 1, pentru ca QT (v) =
QT (v) = 1 v = 1 (v).
Rezulta astfel urmatorul algoritm de determinare a distributiei invariante a unui lant
Markov ireductibil si aperiodic:
se determin
a un vector propriu, v = (x1 , x2 , . . . , xm ), corespunz
ator valoT
rii proprii 1 a matricii Q ;
se calculeaz
a suma coordonatelor r = x1 + x2 + + xm ;
vectorul = v/r = (x1 /r, x2 /r, . . . , xm /r) reprezint
a distribut
ia de echilibru
a lant
ului Markov.
Precizam ca conform teoremei Frobenius un vector propriu corespunzator valorii proprii 1 are fie toate coordonatele strict pozitive, fie toate strict negative. Deci v/r are sigur
coordonatele pozitive si mai mult este un vector probabilist.
Observatia 10.2.3 Daca matricea de tranzitie a unui lant Markov, Q are proprietatea
ca QT admite valoarea proprie 1 si subspatiul propriu corespunz
ator este 1 dimensional,
P
generat de un vector v = (x1 , x2 , . . . , xm )T de coordonate pozitive, atunci pi = v/ m
i=1 xi
este o distributie de echilibru pentru lantul Markov.
Intr-adevar, din QT v = v avem ca = Q, adica este distributie de echilibru.
Exemplul 6. Un lant Markov cu trei stari {1, 2, 3} are matricea de tranzitie:

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

13

0 1/5 4/5
0
Q= 1 0
1 0
0

Ilustrand graful de tranzitie se observa ca lantul este ireductibil si periodic de perioada 2. Matricea QT are valorile proprii 1, 1, 0. Vectorul propriu corespunzator valT
orii proprii
1 este v = (5,

 1, 4) , deci distributia de echilibru a lantului Markov este
= 5/10 1/10 4/10

10.3

Algoritmul PageRankGoogle

Google este un motor de cautare foarte performant datorita algoritmului PageRank, dezvoltat de fondatorii Google, Larry Page si Sergei Brin, n 1998, cand nca erau studenti
la Stanford. Ei au exploatat ideea mersului aleator definit de un lant Markov n scopul
ierarhizarii paginilor WEB n ordinea descrescatoare a unui indice numit rangul paginii
(PageRank). PageRank este distributia de echilibru a unui lant Markov definit pe
spatiul starilor ce consta din toate paginile WEB. Aceasta distributie de probabilitate
este calculata o data pe luna.
Sa definim mai precis lantul Markov ce sta la baza algoritmului PageRank. Fie W =
{1, 2, . . . , m} multimea tuturor paginilor WEB, H = (hij ) matricea de conectivitate a lui
W , sau matricea hyperlink:

1 daca exista hyperlink n pagina i catre pagina j
hij =
0 daca nu exista hyperlink n pagina i catre pagina j
H este o matrice sparse, adica cu foarte multe zerouri (n medie cu 3-10 elemente
nenule
P
pe o linie). Suma elementelor de pe o linie a matricii hyperlink, ri = m
h
a
j=1 ij indic
numarul de hyperlink-uri din pagina i. ri se numeste outdegree (gradul, ordinul iesirilor
din pagina) al paginii i. L. Page si S. Brin au considerat ca un surfer ajuns n pagina i
alege cu aceeasi probabilitate oricare din paginile catre care pagina i are link-uri, adica
probabilitatea de trecere de la pagina i la pagina j este pij = hij /ri . De exemplu daca

0 0 1 1 0 0 1 0 0 1
1 0 0 0 1 0 0 1 0 0

H = ..
..
.
.
0 0 1 0 0 1 0 1 0 0

atunci ordinul de iesire din pagina 2 este r2 = 3 si deci probabilitatea de a trece din pagina
2 n oricare din paginile {1, 2, . . . , 10} este p2j = h2j /3, adica cu aceeasi probabilitate de
1/3, un surfer poate trece din pagina 2 n pagina 1, 5 sau 8.
Vom exemplifica constructia propusa de L. Page si S. Brin prin modelul simplu de
retea izolata de pagini WEB (retea intranet), din Fig.10.4. Notam cu Q = (pij ) matricea

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

14

P3
P4

P1

P2

P6
P5

Fig.10.4: Graf orientat ilustr

and link-urile din 6 pagini WEB ce constituie o retea izolat
a.

probabilitatilor de tranzitie pij = hij /ri , i, j = 1, 6. Se observa din structura grafului de

conectivitate ca paginile 1 si 4 sunt pagini ce nu contin link-uri catre alte pagini. Acestea
se numesc dangling pages. De exemplu fisierele pdf, ps sau fisierele imagine sunt
pagini dangling. Prin urmare liniile 1 si 4 din matricea de tranzitie au toate elementele
nule si astfel Q nu este o matrice stochastica, deci nu poate fi interpretata ca matricea de
tranzitie a unui lant Markov cu spatiul starilor {1, 2, 3, 4, 5, 6}. Pentru a remedia aceasta
situatie, L. Page si S. Brin au propus ca vector de probabilitate de tranzitie dintr-o
pagina dangling, i, distributia uniforma pij = 1/m, , j = 1, m. Adica, n mod artificial se
adauga link-uri dintr-o pagina dangling catre toate paginilie WEB sau echivalent, ajuns
ntr-o pagina dangling, un navigator poate apoi alege cu o probabilitate uniforma orice
pagina din WWW.
1
2
Q= 3
4
5
6

1
2
3
4
5
6
0
0
0
0
0
0
0
0
0
0 1/2 1/2
0 1/4 0 1/4 1/4 1/4
0
0
0
0
0
0
1/2 0
0
0
0 1/2
1/3 0 1/3 1/3 0
0

Matricea stochastica obtinuta din matricea Q este:

1
2
3
4
5
6
1 1/6 1/6 1/6 1/6 1/6 1/6
2
0
0
0
0
1/2 1/2
Q1 = 3
0
1/4
0
1/4 1/4 1/4
4 1/6 1/6 1/6 1/6 1/6 1/6
5 1/2
0
0
0
0
1/2
6 1/3
0
1/3 1/3
0
0
Matricea Q1 astfel obtinuta se exprima astfel:

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

15

Q1 = Q + av T
unde a = [a1 , a2 , . . . , am ]T , cu

1 daca i este o dangling page
,
ai =
0 n rest
iar v = [1/m, 1/m, . . . 1/m]T
Lantul Markov avand matricea Q1 poate sa nu fie ireductibil ( adica pornind dintr-o
pagina nu se poate ajunge n orice alta pagina n mersul aleator definit de matricea Q1 )
sau navigand pe WWW conform matricii de tranzitie Q1 un surfer poate intra ntr-un
ciclu infinit pentru ca matricea Q1 poate conduce la traiectorii periodice. Din aceasta
cauza, dar si pentru ca pentru ca uneori surferul se plictiseste sa urmeze link-uri, se
considera ca doar cu probabilitatea (0, 1) (prescrisa), un navigator ajuns n pagina i
alege uniform una din paginile catre care pagina i are hyperlink-uri si cu probabilitatea
complementara 1 ignora hyperlink-urile si alege uniform oricare din cele m pagini
din WWW (inserand o adresa URL n linia de comanda a browser-ului). se numeste
damping factor. Astfel matricea de tranzitie devine:

1/m 1/m . . . 1/m

1/m 1/m . . . 1/m

G = Q1 + (1 ) ..
(10.14)

1/m 1/m . . . 1/m

Matricea G se numeste la ora actuala matricea Google, iar matricea stochastica de
tip m m si elemente identice, (1/m) se numeste matricea de teleportare, deoarece
datorita ei surferul se teleporteaza din mersul urmand link-uri.
Matricea Google se exprima concentrat astfel:
G = (Q + av T ) + (1 )ev T .

(10.15)

Aceasta modalitate de exprimare permite o stocare redusa a ei. Se crede ca la ora actuala
matricea Google este cea mai uriasa matrice cu care se opereaza n vreo aplicatie (are
aproximativ 9 milioane linii si 9 milioane coloane!)
Lantul Markov avand spatiul starilor constituit din:
multimea paginilor WEB la un moment dat, de cardinal m,
matricea de tranzitie de tipul G cu fixat, si
distributia initiala de probabilitate 0 , distributia uniforma,
este un lant ireductibil si aperiodic, deci are o unica distributie de echilibru , numita
vectorul PageRank.
Deoarece matricea Google, G, este o matrice patratica de tip m m, cu m > 9
aa
milioane, distributia de echilibru se calculeaza numeric folosind asa numita metod
n
puterii, ca limita a sirului n = 0 G a distributiilor de probabilitate la momentul n:

16

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

0 [1/m, 1/m, . . . , 1/m];

eps 107 ;
do {
0 ;
0 G;
} while(k0 k > eps);
return 0 ;
Cum n = 0 Gn , se considera ca metoda puterii a atins stadiul de convergenta ntr-o
etapa n n care kn n1 k < .
Se demonstreaza ca rata de convergenta a sirului (n ) este rata cu care k 0,
unde este probabilitatea din definita matricii Google G. In primul raport tehnic al
grupului Page-Brin, era 0.85. La ora actuala nu se cunoaste daca Google foloseste
acelasi parametru sau nu.
Interpretarea vectorului PageRank . Vectorul Pagerank este distributia de
echilibru a lantului Markov ce modeleaza navigarea aleatoare prin WWW. Cum el este
un vector de probabilitate, deci are coordonate subunitare, coordonata j reprezinta
proportia din timpul de navigare pe care surferul ar petrece-o vizitand pagina j. Prin
urmare j este votul, nota acordata paginii j sau n limbaj de WWW, j este o masura a
autoritatii paginii j. La o cerere particulara (concretizata n cuvantul/cuvinte de cautare)
din partea unui navigator, Google cauta paginile ce contin cuvintele cheie si apoi le listeaza
n ordinea descrescatoare a PageRank-ului lor.
Se pare ca Google afiseaza n Google toolbar drept Pagerank al paginii j (vizitate),
P 9
10*j , deoarece coeficientii j fiind numere subunitare si 910
si petru
j=1 j = 1, chiar
paginile cu autoritate mare j este un numar subunitar suficient de mic. Pagerank-ul
unei pagini j este o masura globala a autoritatii ei, care este influentata doar de numarul
de inlink-uri ale paginii respective si de autoritatea paginilor care au link spre pagina j, nu
si de numarul de outlink-uri (care poate fi controlat de designerul paginii). Pagerank-ul
este query independent si depinde doar de structura link-urilor. Google are implementat
si un detector de spamlinks, care ar forta cresterea PageRank-ului anumitor pagini.

10.4

Modele de lanturi Markov si Probleme

1. . Lant Markov ce modeleaz

a schimb
arile n volumul traficului ntr-o retea
internet. Se monitorizeaza o lunga perioada volumul V al traficului n retea, masurat
n Mbiti/secunda si se constata ca exista trei nivele: volum redus, codificat cu L, volum
mediu, codificat M , si volum mare, cod H. Pentru fiecare nivel, volumul V este cuprins
ntre doua limite bine precizare si intervalele pentru L, M, H sunt adiacente. Mai mult,
trecerea de la o stare la alta are probabilitatile probabilitatile:

0 3/4 1/4
0 2/3
(10.16)
Q = 1/3
0
1
0

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

17

Observam urmatoarea caracteristica: de la volum mare, traficul trece mereu la unul mediu
(probabilitatea p32 = 1).
Daca la momentul n = 0 ncepe monitorizarea volumului traficului, si se constata ca
V0 = M , care este probabilitatea ca V5 = R? Dar probabilitatea sa avem (V0 = M, V1 =
R, V2 = M, V3 = H, V4 = M, V5 = R)? Calculati aceste probabilitati scriind codul C
adecvat.
Admite acest lant Markov o distributie de echilibru? Ce interpretare dati acestei
distributii?
2. Un lant Markov cu 2 stari {1, 2}, are matricea de tranzitie:


0.8 0.2
Q=
0.4 0.6
a) Sa se calculeze P (X5 = 2|X0 = 1, X1 = 2, X2 = 2, X3 = 2, X4 = 1).
b) Determinati distributia de probabilitate a starilor la momentul n = 3 si calculati
stiind ca distributia initiala de probabilitate este distributia uniforma pe spatiul starilor.
Deduceti si P (X3 = 1|X0 = 1),
c) Sa se argumenteze ca lantul este ireductibil si aperiodic si sa se determine algebric,
distributia de echilibru a lantului.
Rezolvare: a) Datorita lipsei partiale de memorie, P (X5 = 2|X0 = 1, X1 = 2, X2 =
2, X3 = 2, X4 = 1) = P (X5 = 2|X4 = 1) = Q(1, 2) = 0.2.
Distributia de probabilitate a starilor la momentul n = 3 este distributia de probabilitate a variabilei aleatore X3 , adica 3 . Stiind ca n = 0 Qn , avem ca 3 = 0 Q3 , unde
0 = [1/2, 1/2]. Deci:


[ 3 (1) 3 (2) ] = 1/2 1/2 Q3
P (X3 = 1|X0 = 1) fiind probabilitatea trecerii n 3 pasi de la starea 1 la starea 1, avem
ca:
P (X3 = 1|X0 = 1) = Q3 (1, 1)
c) Lantul este ireductibil deoarece Q(1, 2) > 0 si Q(2, 1) > 0. Fiind ireductibil este
suficient sa aratam ca o singura stare este aperiodica (daca o stare a unui lant ireductibil
este aperiodica, atunci toate starile sunt aperiodice). Cum Q(1, 1) = 0.8 > 0 rezulta ca
starea 1 este aperiodica.
Distributia de echilibru a unui lant ireductibil si aperiodic este vector propriu corespunzator valorii proprii 1 a matricii Q , deoarece:


Q(1, 1) Q(1, 2)
Q = , adica [1 2 ]
= [1 2 ]
Q(2, 1) Q(2, 2)
este echivalent cu Q = :


 

Q(1, 1) Q(2, 1)
1
1
=
Q(1, 2) Q(2, 2)
2
2

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

18

Un vector propriu corespunzator valorii proprii 1 se determina ca o solutie nebanala

a sistemului:
   
x
0

(Q I2 )
=
y
0
adica:

sau

0.8 1
0.4
0.2
0.6 1


0.2 0.4
0.2 0.4





x
y

x
y



=

0
0

0
0

Alegand y = ca necunoscuta secundara avem x = 2 si deci vectorul propriu

v = (2, 1). Cum distributia de echilibru este un vector probabilist, adica un vector de
coordonate din [0, 1] si cu suma coordonatelor egala cu 1, luam = (2/s, 1/s) unde
s = 2 + 1, suma coordonatelor vectorului v. Prin urmare = (2/3, 1/3).
3. Un lant Markov cu doua stari {1, 2} are matricea de tranzitie:


0.8 0.2
Q=
0.3 0.7
Sa se calculeze urmatoarele probabilitati:
i) P (X5 = 2|X4 = 1, X3 = 1);
ii) P (X3 = 2|X1 = 1);
iii) P (X2 = 1, X1 6= 1|X0 = 2);
Rezolvare: i) Trecerea unui lant Markov la starea din momentul n + 1 nu depinde
de starile prin care lantul a trecut n momentele 0, 1, 2, . . . , n 1, ci doar de starea la
momentul n. Prin urmare P (X5 = 2|X4 = 1, X3 = 1) = P (X5 = 2|X4 = 1) = Q(1, 2) =
0.2.
ii) Deoarece se cere probabilitatea trecerii n doi pasi din starea 1 n starea 2, avem ca
P (X3 = 2|X1 = 1) = Q2 (1, 2). Sau folosind definitia probabilitatii conditionate avem:
P (X3 = 2|X1 = 1) =

P (X1 = 1, X3 = 2)
P (X1 = 1 X3 = 2)
=
P (X1 = 1)
P (X1 = 1)

Evenimentul (X1 = 1, X3 = 2) = (X1 = 1, X2 = 1, X3 = 2) (X1 = 1, X2 = 2, X3 = 2) si

deci:
P (X1 = 1, X3 = 2) = P (X1 = 1, X2 = 1, X3 = 2) + (X1 = 1, X2 = 2, X3 = 2) =
= 1 (1)Q(1, 1)Q(1, 2) + 1 (1)Q(1, 2)Q(2, 2) =
= 1 (1)(Q(1, 1)Q(1, 2) + Q(1, 2)Q(2, 2)) = 1 (1)Q2 (1, 2)
Astfel avem:
P (X3 = 2|X1 = 1) =

1 (1)Q2 (1, 2)
1 (1)Q2 (1, 2)
=
= Q2 (1, 2)
P (X1 = 1)
1 (1)

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS

19

iii)
P (X2 = 1, X1 = 2, X0 = 2)
=
P (X0 = 2)
Homework Exercise
6 2, X1 = 2, X2 = 1) 0 (2)Q(2,
April 8,2)Q(2,
1997 1)
P (X0 =
=
=
=
P (X0 = 2)
0 (2)
= Q(2, 2)Q(2, 1) = (0.7)(0.3)

P (X2 = 1, X1 6= 1|X0 = 2) = P (X2 = 1, X1 = 2|X0 = 2) =

Analysis
[45] 1.

Here is the diagram of a Markov chain X = fX : n 2 Z + g with state space

f0; 1; 2;4.3; 4;Un
5; 6glant
: Markov cu starile S = {0, 1, 2, 3, 4, 5, 6} are graful din Fig.10.5:
n

1/7

2/9

4/7

2/

7/

5/6

1/5

1/3

2/

1/

1/

1/

3/

1/
1/2

3/8

Sa se

1/2

1/4

A. Give the transition probability matrix for X.

determine
urmaprobability
toarele probabilit
B. Let
 , for 0din
 igraful
 6, beasociat
the limiting
that X aisti:in state i. Give a complete
Fig.10.5:

C.
D.

system of equations that these limiting probabilities must satisfy.

P (X7 = 4|X0 = 2, X1 = 5, X2 = 1, X3 = 2, X4 = 6, X5 = 3, X6 = 2), P (X10 = 6|X8 = 2)
Solve the system of equations in part B for the limiting probabilities. Use Mathematica to do the actual computations
the2Mathematica
dialog in your
P (X4 and
= 3,include
X3 = 1|X
= 5)
solution.
Assume
that XFig.
begins
statereprezentat
0 at time 0;
is, nchis
assumea de
thatcozi.
X0 =
0. What
5. In figura
10.6in este
a othat
retea
Acest
tip deis retea este
Pcunoscut
[X2 = 4]?caWhat
is
P
[
X
=
2]?
Explain.
modelul server
3 central si se foloseste pentru a studia performanta sistemului.
Fiecare job solicita serviciul CPU si dupa servire, cu probabilitatea p0 solicita un nou
serviciu CPU, iar cu probabilitatea pi , i = 1, m, un serviciu de intrareiesire de la unitatea
i, din cele m unitati I/O existente n retea. Suma probabilitatilor este 1, p0 +p1 + +pm =
1. Dupa operatiile I/O, orice job se rentoarce cu probabilitatea 1, adica sigur, la CPU.

20

c E. Petrisor, 2008
Cursuldi10,
Probabilit
i si rete
Statistic
a n hiusa
CS
Un algoritmo
Metropolis
peratuna
di ode
1
p1
I/O 1

0
CPU
m
p0

pm
I/O m

Figura 1: Modello di elaboratore entralizzato

Fig.10.6: Model de retea nchisa de cozi.

Appli hiamo ora l'algoritmo di Metropolis a una rete di ode hiusa. La gura 1 rappresenta

omputer
he pu
o mantenere
in memoriajob-uri
un numeroactive
massimoTraiectoria
r di lavori attivi.
Un singolo
Joburile care circulaunn
reteaua
nchis
a se numesc
unui
prolavoro viene elaborato dalla CPU dopodi he termina on probabilita p0 , oppure viene inviato
gram (job) prin retea ( on
poate
fi modelata ca un lant Markov n timp discret, cu spatiul
probabilita p , i = 1; : : : ; m) ad uno di m anali input/output (I/O) per poi ria odarsi alla
starilor {0, 1, 2, 3, . . . , m}.
S
a
se scrie
de tranzit
ie a acestui
lant
Markov
si omputer
sa se
CPU. Se l'arrivo
dei matricea
lavori dall'esterno
e moltofrequente,
possiamo
assumere
he il
lavori
sempre
alla
sua
apa it
a
massima,
quindi
he,
appena
terminato
un
lavoro,
ne
arate ca daca probabilitatile pi sunt strict ntre 0 si 1, lantul Markov este ireductibilentri
si
subito un altro, osi he i sono sempre r lavori attivi. La durata di elaborazione alla CPU ha
aperiodic, deci admite distribuzione
o unica distribut
ie on
demedia
echilibru
= stazioni
[0 , 1I/O
, . . on
.,
m ]. Determinat
esponenziale
0 , quellaalle
media
, i = 1; : : : ; m.i
Sia x = (x0 ; x1 ; :prin
: : ; x metoda
) il numero di
lavori in ias una
quelli in oda
e quello he
aceasta distributie de probabilitate
algebric
a (ca stazione,
vector tra
propriu
al matricii
sta venendo eseguito. Puo essere utile determinare il numero atteso di lavori in ias una stazione

Q ). Coordona a i-a a nel

acestei
distribut
ii de echilibru
a num
rul mediu
viziteil
lungo periodo,
ad esempio
per vedere inreprezint
quale stazione
puo a
essere
ne essariode
diminuire
0, m. 1982) he la distribuzione di X si fattorizza
ale unui program tipic tempo
la serverul
i al sistemului,
i =(Trivedi,
di elaborazione.
Si puo dimostrare
ome segue:


X
h(x)
1Y 
= ce ;const
= rexecut
;
p
(
x
;
x
;
:
:
:
;
x
)
=
0
1
6. Pipelining este o tehnica folosita de microprocesoare,
axn
ia unei
Z =0 
Z
instructiuni nainte ca dove
prima
(precedenta)
s
a
fie
complet
a
.
Adic
a
exist
a
simultan
cateva
i parametri (0 ; : : : ;  ) sono la soluzione del sistema lineare
instructiuni n pipeline, fiecare ntr-un stadiu diferit de procesare.
2
3
p0 p1
p
6 1 0de nformat
Termenul pipelining s-a extins si la transiterea pachetelor
0 7
7 ii. Pentru a
[0 1  = [0 1  6
64 .. .. printr-un
.. 7
modela un astfel de pipeline cu doua stadii
(twostage pipeline),
lant Markov
. .
. 5
1
0
0
discret fixam protocolul de transmitere:
fiecare stadiu (etapa) are un singur buffer;
1
Intr-o unitate de timp fixata pachetul poate face o singura tranzitie;
intervalul de timp dintre k si k + 1 se numeste slot time. Presupunem ca pipeline-ul
evolueaza astfel ntr-un slot:
daca la nceputul slot-ului nu exista pachete n stadiul 1, atunci soseste un nou
pachet n acest stadiu cu probabilitatea p, independent de istoria trecuta a pipeline-ului
si de ce se ntampla n stadiul doi;
daca la nceputul unui slot, exista un pachet n stadiul 1 si nici un pachet n stadiul
2, atunci pachetul este transferat din stadiul 1 n stadiul 2 cu probabilitatea p1 ;
daca la nceputul unui slot exista un pachet n stadiul 2, atunci pachetul pleaca din
acest stadiu si paraseste sistemul cu probabilitatea p2 , independent de ce se ntampla n
stadiul 1.
Starile modelului pipeline sunt S = {00, 01, 10, 11}, unde de bitii din perechea b1 b2 S
indica cate pachete exista n stadiul 1, respectiv 2.
Din descrierea protocolului de transmitere a pachetelor avem probabilitatile de tranzitie:
p intre starile 00 si 10;
i

xi

c E. Petrisor, 2008
Cursul 10, Probabilit
ati si Statistica n CS
00

21

01

p1
p

10

p2

11

Fig.10.7:

p1 ntre 10 si 01;
p2 ntre 11 si 10.
a) Deduceti probabilitatile de tranzitie corespunzatoare celorlalte arce din graful din
Fig. 10.7:
b) Aratati ca lantul Markov este ireductibil precizand traiectoriile care unesc orice
stare b1 b2 cu o alta distincta c1 c2 . Argumentati de ce este lantul si aperiodic. Gasiti
distributia de echilibru.
c) In cazul n care p = p1 = p2 = 1/2 sa se scrie matricea de tranzitie si sa se calculeze
probabilitatea P (X3 = 11|X0 = 00, X1 = 10, X2 = 01).