The ultimate Markov observation:

“Today is the first day of the rest of your life.”

Capitolul 3
LANŢURI MARKOV

3.1. Procese stohastice

Noţiuni generale
Procese Markov
Fluxuri de evenimente
Fluxuri de tip Bernoulli
Fluxuri de tip Poisson
 Procese stohastice

3.1.1. Noţiuni generale

Fie  , E, P  un câmp de probabilitate şi mulţimea momentelor de timp.
Un proces stohastic X (eng. stochastic process) este o familie de variabile aleatoare:
X :  
 
 pentru t  fixat: X (t , ) :   eşantion (eng. sample)
 pentru     fixat: X ( ,   ) :  realizare sau traiectorie (eng. sample path)
 spaţiul stărilor (eng. state space) procesului stohastic:
  X (t ,  ) t  , 

Spaţiul stărilor
Spaţiul parametrilor
discret continuu
discret
={0,1,2,...}  lanţ (eng. chain)

continuu  

2
 Procese stohastice

 proces stohastic X :    : t   , X (t  , ) :   – variabilă aleatoare:

caracteristici dependente de timp t  
 funcţia de repartiţie:
FX :   [0, 1] , FX (t , x)  FX (t ) ( x)  P[ X (t )  x], x  , t  (3.1.2)
 densitatea de probabilitate f X

 valoarea medie:
m X :  , m X (t )  M [ X (t )], t  (3.1.3)

caracteristicii staţionare t   
 funcţia de repartiţie:
F ( x)  lim P[ X (t )  x], x  (3.1.4)
t 

(t1, t2 , , tn )  n
 X (t1 ), X (t2 ), , X (tn )  vectorul aleator
 caracteristica statistică de ordinul n (eng. n-th order distribution):
FX (t1, t2 , , tn ; x1, x2 , , xn )  P[ X (t1 )  x1, X (t2 )  x2 , , X (t n )  xn ] (3.1.5)
Un proces stohastic staţionar este ergodic (eng. ergodic) dacă toate caracteristicile sale
statistice (de orice ordin) pot fi determinate pe baza unei singure realizări (pe o durată de
timp infinit de lungă).
Un proces stohastic este staţionar (eng. stationary process) dacă
FX (t1, t2 , , tn ; x1, x2 , , xn )  FX (t1   , t2   , , tn   ; x1, x2 , , xn ) ,    . (3.1.6)
3
 Procese stohastice

3.1.2. Procese Markov

 proces stohastic de tip Markov (eng. Markov process) – posedă proprietatea de
lipsă a memoriei (denumită şi proprietate Markov):
 t0  t1   tk  tk 1  ,  x0 , x1, , xk , xk 1  ,
P[ X (tk 1 )  xk 1 | X (tk )  xk , , X (t1 )  x1, X (t0 )  x0 ]  P[ X (t k 1 )  xk 1 | X (t k )  xk ] . (3.1.7)
 proces Markov omogen în timp (eng. time-homogeneous):
P[ X (tk 1 )  xk 1 | X (tk )  xk ]  P[ X (tk 1  tk )  xk 1 | X (0)  xk ] . (3.1.8)
 lanţuri Markov (eng. Markov chain): 
P[ X (tk 1 )  xk 1 | X (tk )  xk , , X (t1 )  x1, X (t0 )  x0 ]  P[ X (tk 1 )  xk 1 | X (t k )  xk ]. (3.1.9)

Starea curentă a procesului reflectă întreaga istorie a acestuia!

(M1) Toate informaţiile despre stările trecute sunt irelevante (lipsă de

memorie a stărilor – no state memory needed).
(M2) Nu contează de cât timp se află sistemul în starea curentă (lipsă de
memorie a „vârstei” stărilor – no state age memory needed).
 Andrei A.
durata de „ocupare” a fiecărei stări (eng. state-holding time) are Markov
distribuţie geometrică (lanţ în timp discret) sau (1856-1922)
distribuţie exponenţială (lanţ în timp continuu)

4
 Procese stohastice

3.1.3. Fluxuri de evenimente

 Un flux de evenimente (eng. flow of events) este un şir de evenimente omogene (ca
natură) care apar unul după celălalt la momente de timp aleatoare.
X (t ) – numărul de evenimente care au apărut până la momentul t

Y1  T1 , Y2  Y1  T2 ,
Y3  Y2  T3  T1  T2  T2 , …,
Yk  Yk 1  Tk  T1  T2   Tk , …

 flux de evenimente ordinar

(eng. ordinary flow):
probabilitatea apariţiei
simultane a două sau mai
multe evenimente este nulă
 flux de evenimente elementar
(eng. elementary flow): este
staţionar, ordinar şi fără
memorie.

5
 Procese stohastice

3.1.3.1. Fluxuri de tip Bernoulli

 flux ordinar de evenimente, în timp discret ( = ), pentru care probabilitatea de
apariţie a unui eveniment la un moment oarecare k este aceeaşi pentru orice k  .
 variabila aleatoare X k :
[ X k  1] are semnificaţia de apariţie a unui eveniment la momentul k,
[ X k  0] înseamnă că la momentul k nu s-a produs nici un eveniment.
 0  p  1: probabilitatea de apariţie a unui eveniment la un moment oarecare
 variabilele aleatoare X 0 , X 1 , …, X k , …, sunt independente şi au distribuţie Bernoulli
de parametru p :
P[ X k  1]  p, P[ X k  0]  1  p, k  .

Procesul stohastic { X k | k  0,1, 2, } este denumit flux de evenimente de tip Bernoulli.

trecut prezent viitor

X 0 , X 1, , X n1 , Xn, X n1, X n 2 ,

X 0 , X 1,..., X n1, X n , X n1,... proces Bernoulli 

lipsa memoriei
X n , X n1 ,... proces Bernoulli

6
 Procese stohastice

 duratele Tk  Yk  Yk 1 , k  1,2, , sunt independente, cu distribuţie geometrică Tk Gd ( p ) :

M[Tk ]  1 p , Var[ X ]  (1  p ) p 2

 duratele Yk  T1  T2   Tk , k  1, 2, , au distribuţie Pascal de ordinul k:

o densitate de probabilitate
pYk (m)  P[Yk  m]  Cmk 11 p k (1  p ) mk , m  k , k  1, , k  1, 2, (3.1.13)
o valoare medie
k
M[Yk ]  M[T1 ]  M[T2 ]   M[Tk ]  , (3.1.11)
p
o dispersie
k (1  p )
Var[Yk ]  Var[T1 ]  Var[T2 ]   Var[Tk ]  . (3.1.12)
p

 N k  X 0  X1   X k , k  0,1,2, – numărul de evenimente care au apărut până la

momentul k
 {N k } este un lanţ Markov în timp discret:

P[ N k  n | N k 1  n]  P[ X k  0]  1  p , k  , (3.1.14)
P[ N k  n | N k 1  n  1]  P[ X k  1]  p , k   . (3.1.15)
 Nk Bin(k , p ) – distribuţie binomială

7
 Procese stohastice
Proces Bernoulli, p =0.25 Numar de evenimente
6

0.8
4

0.6

Xk

Nk
3

0.4
2

0.2 1 p =0.25

0 0
0 2 4 6 8 10 12 14 16 18 20 0 2 4 6 8 10 12 14 16 18 20
k k

Exemplul 3.1.2. Se consideră transmiterea unui pachet de 30 de mesaje.

Pentru fiecare mesaj, probabilitatea de transmitere eronată este p.
Sunt suportate cel mult 5 erori de transmisie.
Erorile de transmisie pot fi modelate ca un proces Bernoulli de parametru p.
Variabila Yk corespunde mesajului la transmiterea căruia s-a produs cea de-a k eroare,
k  1, 2, . Numărul de mesaje transmise este Z  min{Y6 ,30}, Z {6,7, 30}.
Variabila aleatoare Y6 are distribuţie Pascal de ordinul 6,
pY6 (m)  P[Y6  m]  Cm5 1 p 6 (1  p ) m6 , m  6,7, ,
astfel încât densitatea de probabilitate a lui Z este dată de relaţiile:
pZ (m)  P[ Z  m]  Cm5 1 p 6 (1  p ) m6 , m  6,7, , 29 ,
29 29
pZ (30)  P[ Z  30]  1   pZ (m)  1   Cm5 1 p 6 (1  p ) m6 .
m 6 m 6

8
 Procese stohastice

Operaţii cu fluxuri de evenimente de tip Bernoulli:

 X se scindează (eng. split): de câte ori apare un eveniment, acesta se reţine în fluxul Y
cu probabilitatea q, sau se renunţă la el (cu probabilitatea 1  q ), formând fluxul Z.
 Fluxurile Y şi Z sunt fluxuri de tip Bernoulli, de parametri pq şi, respectiv, p (1  q ) .

 două fluxuri independente de tip Bernoulli, Y şi Z, de parametri p şi, respectiv, q, sunt

combinate (eng. merge) pentru a forma un nou flux X, de tip Bernoulli de parametru
r  p  q  pq .

9
 Procese stohastice

3.1.3.2. Fluxuri de tip Poisson

N (t ) = numărul de evenimente ce au apărut de la momentul t0  0 până la momentul t  0

Un flux de evenimente este de tip Poisson (proces Poisson) cu rată  (   0 ) dacă:

(P1) Probabilitatea de apariţie a unui număr de k evenimente într-un interval de timp
( s, s  t ] , P (k , t )  P[ N ( s  t )  N ( s )  k ], este independentă de poziţionarea intervalului
pe axă, depinzând numai de lungimea acestuia (procesul este omogen în timp).
(P2) Numărul de evenimente care apar într-un interval oarecare de timp este independent
de numărul de evenimente care apar în orice alt interval de timp, dacă cele două
intervale sunt disjuncte.
(P3) Probabilităţile P (k , t ) satisfac:
P (0, t )  1  t  o(t ) , P (1, t )  t  o1 (t ) , t  0 ,
unde o(t ) şi o1 (t ) sunt funcţii de t pentru care
o(t ) o (t )
lim  0 , lim 1  0 .
t 0 t t 0 t

10
 Procese stohastice

(P1) – (P3): extensii naturale ale proprietăţilor unui proces Bernoulli!

(P1) – (P2) 
N (t ) are distribuţie Poisson de parametru t :
 t k  t
P (k , t )  P  N (t )  k   e ,
k! . (3.1.16)
t  0, k  0,1, 2,

11
 Procese stohastice

 Yk – momentul apariţiei evenimentului k într-un flux Poisson studiat (Y0  0 )

 Tk  Yk  Yk 1 , k  1, 2, – duratele dintre apariţiile a două evenimente consecutive (eng.
interevent times)
 T1, T2 , … sunt variabile aleatoare independente cu distribuţie exponenţială de rată  :
P Tk  t   1  e t , t  0 , k  
, (3.1.17)
valoarea medie M Tk   1  , dispersia Var Tk   1  2
 Yk  T1   Tk , k  1, 2, , are distribuţie Erlang de ordin k şi parametru  , Yk Er (k ,  )
 k t k 1
fYk (t )  e  t , t  0 , k  1, 2, , (3.1.18)
 k  1!
valoarea medie M Yk   k  , dispersia Var Yk   k  2 .

Exemplul 3.1.3. Sosirea mesajelor de e-mail este modelată printr-un proces Poisson
de rată   0, 2 mesaje pe oră (   0.2 h 1 ).
Probabilitatea ca pe parcursul unei ore să nu sosească nici un mesaj:
P(0,1)  P  N (1)  0  e    0,819 .
Probabilitatea ca în acelaşi interval de timp să sosească un mesaj:
P(1,1)  P  N (1)  1   e    0,164 .
Probabilitatea ca pe parcursul unei zile (24 de ore) să nu sosească nici un mesaj:
P(0, 24)  P  N (24)  0  e 24  0,008294 .

12
 Procese stohastice

Operaţii cu fluxuri de evenimente de tip Poisson:

 Un flux X de evenimente de tip Poisson de rată   0 se scindează astfel:

de câte ori apare un eveniment, acesta se reţine în fluxul de evenimente Y cu
probabilitatea p, sau se renunţă la el (cu probabilitatea 1  p ), formând fluxul de
evenimente Z.
Fluxurile Y şi Z sunt fluxuri de tip Poisson, de rate p şi, respectiv, (1  p ) .

13
 Procese stohastice

 Considerăm două fluxuri Poisson independente, X 1 şi X 2 , de rate 1, 2  0 .

Combinăm cele două procese într-unul singur, notat X , înregistrând fiecare moment
de timp la care are loc un eveniment.
Fluxul X rezultat în acest mod este un flux Poisson de rată 1  2 .
Probabilitatea ca următorul eveniment din fluxul X să provină din fluxul X 1 este
1 (1  2 ) , iar probabilitatea ca acest eveniment să provină din X 2 este 2 (1  2 ) .

 Dacă dintr-un flux de evenimente de tip Poisson de rată  se iau în considerare

primul, şi apoi fiecare al k-lea eveniment (celelalte evenimente neglijându-se),
duratele de timp dintre apariţiile a două evenimente succesive din noul flux au
distribuţie Erlang de ordin k şi rată  .
Un asemenea flux de evenimente poartă denumirea de flux Erlang de ordinul k.

14
 Procese stohastice

Exemplul 3.1.4. Sosirea clienţilor unui sistem de aşteptare este modelată printr-un
flux Poisson de rată   5 cl/min.
Probabilitatea ca durata dintre două sosiri succesive să fie mai mic decât 10 secunde:
P[T  1 6]  1  exp   1 6   0,565 .
Probabilitatea ca într-un interval de 2 minute să aibă loc exact 10 sosiri:
(2 )10 2
P (2,10)  P  N (2)  10  e  0,125 .
10!
Probabilitatea ca într-un interval de 1 minut să sosească cel puţin 2 clienţi este:
P  N (1)  2  1  P  N (1)  0  P  N (1)  1  1  (1   )e    0,959 ,
sau ţinând cont că Y2 are distribuţie Erlang, Y2 Er (2,  ) :
1
( ) k  
P Y2  1  1   e  1  (1   )e    0,959 .
k 0 k !
Pp. că fiecare client, independent de ceilalţi clienţi, solicită un serviciu de tip A, cu
probabilitatea p  0, 4 , sau de tip B, cu probabilitatea q  1  p  0,6 .
Sosirea clienţilor de tip A reprezintă un flux Poisson de rată  A  p  2 min 1 .
Sosirea clienţilor de tip B este un flux Poisson de rată B  q  3 min 1 .
Probabilitatea ca durata TA dintre sosirile a doi clienţi care solicită serviciul de tip A să
fie mai mare decât 1 minut este:

15
 Procese stohastice

P[TA  1]  e A  0,135 .
Probabilitatea ca într-un minut să sosească exact 3 clienţi care solicită serviciul A şi 2
clienţi care solicită serviciul B (se ţine cont de faptul că cele două fluxuri Poisson sunt
independente):
 A3  A B2
P[ N A (1)  3, N B (1)  2]  P[ N A (1)  3]  P[ N B (1)  2]  e e  B  0,0404 .
3! 2!

16
 Procese stohastice

Exemplul 3.1.5. La un server de e-mail sosesc mesaje scurte cu rata 1  20 mes/h, şi

mesaje lungi cu rata 2  15 mes/h.
Modelând procesele de sosire a celor două tipuri de mesaje ca procese independente de
tip Poisson, procesul de sosire a unui mesaj oarecare la server reprezintă un proces
Poisson de rată   1  2  35 mes/h (deci   35 60 mes/min).
Durata de timp T dintre sosirile a două mesaje succesive are distribuţie exponenţială de
rată  .
Probabilitatea ca între sosirile a două mesaje să treacă mai puţin de 1 minut este
P[T  1]  1  exp  35 60   0, 442 .
Probabilitatea ca într-un interval de 10 minute să sosească mai mult de 4 mesaje lungi
3 3
(102 ) k 102
P  N 2 (10)  4  1   P  N 2 (10)  k   1   e  0, 2424 .
k 0 k 0 k !
Probabilitatea ca următorul mesaj care va sosi să fie scurt este p1  1   0,571,
iar probabilitatea ca următorul mesaj să fie lung este p2  2   0, 429 .
Probabilitatea ca din următoarele 5 mesaje, exact 2 să fie scurte:
se observă că variabila X care reprezintă numărul de mesaje scurte din următoarele 5
sosite are distribuţie binomială de parametri 5 şi p2 , X Bin(5, p2 ) , astfel că
P[ X  2]  C52 p22 (1  p2 )3  0, 257 .

17
 Procese stohastice

exemple (Steven M. Kay, Intuitive Probability and Random Processes Using MatLab, Springer, 2005)

18
Procese stohastice

19
Procese stohastice

20
Procese stohastice

21
Procese stohastice

22
Procese stohastice

23
Procese stohastice

24
Procese stohastice

25
 Procese stohastice

exerciţii propuse:

26
Procese stohastice

27