tefan Stncescu

Teoria reelelor

Teoria reelelor Stefa

n Stncescu

Proces Markov
X - variabil stochastic cu evoluie continu n timp
X - este proces Markov staionar de variaie continu n timp
dac
starea ulterioar depinde numai de
starea prezent
deci
viitor(prezent)
viitor | trecut indepentente
(Procese independente:
Procese Markov limit
starea ulterioar nu depinde nici de
starea prezent)

Teoria reelelor Stefa

n Stncescu

Lan Markov
Lanul Markov este proces Markov X de valori discrete:
valori discrete ale timpului
t=0,1,2,3,... (valori discrete numrabile)
valori discrete ale variabilei aleatoare (stri discrete)
Xn=v0,v1,... (valori finite numrabile la momentele de
timp n)
Starea i a lanului Markov: Situaia n care X=Xi
Probabilitatea lanului Markov de a trece
din starea i a momentului anterior n-1
n starea j a momentului prezent n:
pi,j = [ p(Xn=j) | Xn-1=i ]
pi,j nu depinde de n;
orict se st n i, cu aceeai probabilitate se trece n j.
Teoria reelelor Stefa
n Stncescu

Parcurgerea unui lan de stri

Lan de stri (i0,i1,i2,...,in):
p(X0=i0,X1=i1,...,Xn=in) = p(X0=i0)*pi0i1*pi1i2*...*pin-1in
probabilitate lan - produsul probabilitilor tuturor tranziiilor

Trecerea din starea i n starea j prin starea k

pij=k pikpkj

(Trecerea n j prin fiecare k se insumeaz ca probabilitate)

Matricea stochastic a lanului Markov :

P = { pij }0<= i,j <= n-1
P2 = { k pikpkj} cu 1 hop n k

Teoria reelelor Stefa

n Stncescu

Pn

cu n hopuri ntre i i j

Pn = Pm*Pn-m
p(n)ij = k p(m)ik * p(n-m)kj (Chapman- Kolmogorov)
Probabilitatea de tranziie prin n hopuri, trecnd dup m hopuri prin nodul k

Probabilitatea ca lanul Markov s fie n starea i la momentul n:

(n)i = p(Xn=i), i=1,2,...
Vectorul de probabilitate pentru toate starile lanului Markov:
(n)=((n)0,(n)1,(n)2,...)
Teoria reelelor Stefa
n Stncescu

Din legea probabilitii totale, la momentul 1:

p(X1= i) = k p(X1=i| X0= k) * p(X0= k),

i=1,2,...

(1)i = p(X1=i) = k p(X1=i| X0= k) * p(X0= k),

i=1,2,...

(1)i = k pk,i * p(X0= k),

i=1,2,...

(1)i = k pk,i * (0)k,

i=1,2,...

(1) = (0) * P
i
(2) = (1) * P
....
(n) = (n-1) * P
nlocuind, obinem probabilitile strilor la momentul n:
(n) = (0) * P(n)
Teoria reelelor Stefa
n Stncescu

Teorema Kolmogorov
Lanurile Markov ajung la staionaritate.
Se ajunge la o
distribuie stabil de stri i
distribuie independent de starea iniial
i = limn (n)i
=(0,1,2,...)
Ecuaia de staionaritate:
=*P
sau (P - I)=0
Aflarea soluiei de staionaritate, adic aflarea vectorului distribuiei
de stri i, din sistemul de ecuaii:
j=ii pij
j=1,2,... condiia de echilibru global
jj= 1
Tj=1/j
interval mediu de timp n care procesul st n starea j
Teoria reelelor Stefa
n Stncescu

Echilibru global
i pji= 1
i j pji

trecerea din j trebuie sa duc sigur ntr-o stare oarecare

probabilitatea ca din starea posibil j
s se ajung n toate celelalte stri (ieiri din j)
i i pij
probabilitatea ca din toate strile s se ajung n j (intrri)
La echilibru, fluctuaia total e nul i ieirile = intrrilePentru fiecare
j cte o ecuaie (n ecuaii, din care una e nenecesar)
i j pji = i i pij
Plus ecuaia de normalizare (n locul ultimei ecuaii)
i j = 1 (sistemul e sigur ntr-una din stri)
Matricial, normalizarea se scrie:
*eT=1, unde e=(1,1,...1), i cu matricea
E=(eTeT...eT), rescriem
*E=e
Teoria reelelor Stefa
n Stncescu

Echilibru global(continuare)
Relund ecuaia de echilibru
=*P, adic
*(P-I)=0,
cu noua ecuaie
*E=e,
se obine
*(P+E-I)=e
cu rezolvarea vectorului probabilitilor de stari la staionaritate
=e*(P+E-I)-1
Am gsit soluia de staionaritate

Teoria reelelor Stefa

n Stncescu

Trecerea spre echilibru la lanuri Markov cu timp continuu

Densitatea de probabilitate de a trece din starea i n j n momentul t
(viteza de modificare a probabilitii de trecere din starea i n j):
q (t) = limt0 P{Xt+t =j|Xt =i}/t
ij
La procese Markov q (t) nu depind de timp.
Densitatea de probabilitate de a prsi starea i
(viteza de modificare a probabilitii de a prsi starea i):
q = ji q
ij

ij

ij

Fie
q =-q
Cu q definite mai sus construim matricea densitii de probabilitate:
Q={q }
i,i

i,j

ij

Teoria reelelor Stefa

n Stncescu

Trecerea spre echilibru la lanuri Markov cu timp continuu (cont)

Cu densitile de probabilitate din matricea Q se stabilesc
evoluiile n timp ale probabilitilor de trecere din starea i n j:
d(t)/dt = (t)*Q
cu soluia
(t) = (0)*eQt
La stabilizare, viteza de modificare a probabilitilor este 0
d(t)/dtt = (t)t*Q = 0
(t)t= =(0,1,2,...)
unde este constant. Deci, la stabilizare, condiia de echilibru este:
* Q = 0
Teoria reelelor Stefa
n Stncescu

Echilibrul fluxurilor de probabilitate

Din linia j a
* Q = 0
se deduce
qj j=iji qij
iar deoarece qj =ij qji rezult
ij j qji =ij i qij
i qij este fluxul de probabilitate de trecere din i n j
Deci toate variaiile de probabiliti de trecere
dinspre starea j nspre celelalte
echilibreaz toate variaiile de probabiliti de trecere
nspre starea j dinspre celelalte
Echilibru global n periada de tranziie spre stabilitate

Teoria reelelor Stefa

n Stncescu

Procese de natere moarte

Proces Markov simplificat la tranziii vecine, cu proprietile:
Spaiu discret de stri, enumerate 0,1,2,3,...
Tranziiile pot aprea numai ntre stri alturate
(i -1) i (i+1)
0
1
n-2
n-1
0

n-1

Densitile de probabilitate de tranziie

|
j=i+1
qij=
| i
j=i -1
| 0
celelalte cazuri
i

Teoria reelelor Stefa

n Stncescu

n-1

Procese de natere moarte(continuare)

La echilibru:
i
i

= i+1 i+1

i+1 = ( / i+1) i
i

k = (
k-1

k-2

...i0 / kk-1...1)

0 k = 1

* 0 = i=0k-1 ( / i+1) * 0
i

sau

0 + 1 k = 1

din care se obine, nlocuind k i extrgnd 0:

0 = 1 / [1+1i=0k-1 ( / i+1)]
i apoi ceilali k , probabilitile tuturor strilor la staionaritate.
i

Teoria reelelor Stefa

n Stncescu

Procese de natere moarte(continuare 2)

Din ecuaia evoluiei spre stabilitate:
d(t)/dt = (t)*Q
d i (t)/dt = - ( + i ) i(t) + ( ) i-1(t) + i+1 i+1(t)
i

i-1

d 0 (t)/dt = - ( + 0 ) 0(t) + 1 1(t).

0

Teoria reelelor Stefa

n Stncescu

Procese de moarte
Proces Markov simplificat la tranziii vecine, cu proprietile:
Spaiu discret de stri, enumerate 0,1,2,3,...
Tranziiile pot aprea numai ntre stri alturate
(i -1) i (i+1)
0

n-1

n-2

(n-1)

Densitile de probabilitate de tranziie

qij=

| i= i
j=i -1
| 0
celelalte cazuri
Se pornete din starea n (0) = 1, cu celelalte i (0) = 0 in
Teoria reelelor Stefa
n Stncescu

Procese de moarte(continuare)
Din ecuaia evoluiei spre stabilitate:
d(t)/dt = (t)*Q
d i (t)/dt = ( i+1) i+1(t) - i i(t)

i = n+1, n-2, ... 1,0

d n (t)/dt = - n n(t)
n (t) = e - n t
i i(t) + d i (t)/dt = ( i+1) i+1(t)
i e i t i(t) + e

(t)/dt = ( i+1) e i t i+1(t)

i = n+1, n-2, ... 1,0
d (e i t i(t))/dt = ( i+1) e i t i+1(t)
Teoria reelelor Stefa
n Stncescu

i t

d i

i = n+1, n-2, ... 1,0

Procese de moarte (continuare 2)

e

i t

i(t) = ( i+1) 0te

i t'

i+1(t')dt'

i = n+1, n-2, ... 1,0

i=n-1
e (n-1)t n-1(t) = n 0te (n-1) t' n(t')dt
cu
n (t') = e - n t'
0te (n-1) t' e - n t'dt' = 0te - t'dt' = 1/ (1 - e -t )
e (n-1)t n-1(t) = n (1 - e -t )
n-1(t) = n * e -(n-1)t (1 - e -t )
i(t) = Cni [e -t ]i (1 - e -t )(n-i)
i(t) 1 (i0), 0(t) 0
Teoria reelelor Stefa
n Stncescu

Distribuie binomial

Procese de natere
Proces Markov simplificat la tranziii vecine, cu proprietile:
Spaiu discret de stri, enumerate 0,1,2,3,...
Tranziiile pot aprea numai ntre stri alturate
(i -1) i (i+1)

n-2

n-1

Densitile de probabilitate de tranziie

|
j=i+1
qij=
| 0
celelalte cazuri
Se pornete din starea 0 (0) = 1, cu celelalte i (0) = 0

Teoria reelelor Stefa

n Stncescu

i0

Procese de natere(continuare)
Din ecuaia evoluiei spre stabilitate:
d(t)/dt = (t)*Q
d i (t)/dt = - i (t) + i-1(t)

i = n, n-1, ... 2,1

d 0 (t)/dt = - 0(t)
0 (t) = e -t
i(t) + d i(t)/dt = i-1(t)

i = n, n-1, ... 2,1

e t i(t) + e td i(t)/dt = e t i-1(t) i = n, n-1, ... 2,1

d(e t i(t))/dt = e t i-1(t)
Teoria reelelor Stefa
n Stncescu

i = n, n-1, ... 2,1

Procese de natere (continuare 2)

e t i(t) = 0te t'' i-1(t')dt'

i = n, n-1, ... 2,1

i=1
e t 1(t) = 0te t'' 0(t')dt'
1(t) = e -t 0te t'' 0(t')dt'
Cu

0 (t) = e -t
1(t) = e -t 0tdt'
1(t) = te -t
i(t) = (t)ie -t/i!

Teoria reelelor Stefa

n Stncescu

Distribuie Poisson

Exemplu server

Starea 0 liber ,
0

Starea 1 ocupat

frecvena de sosiri sarcini (0)

frecvena de ndepliniri de sarcini (1)

De la procese de natere moarte, n=2

d i (t)/dt = - ( + i ) i(t) + ( ) i-1(t) + i+1 i+1(t)
d 0 (t)/dt = - 0(t) + 1(t)
d 1 (t)/dt = - 1(t) + 0(t)
i
1(t) + 0(t)=1
1
0
d 0 (t)/dt = - 0(t) + (1- 0(t))
d 0 (t)/dt + (+) 0(t) =
d /dt(e (+)t0(t)) = e (+)t
e (+)t0(t) = (e (+)t -1)/(+)
0(t) = (1 - e -(+)t)/(+) =>
0 =/(+) 1 =/(+)
i

Teoria reelelor Stefa

n Stncescu

i-1

Teorema Little
Printr-un nod, ntr-un interval dat 0 - t, trec n pachete
n - nr. de pachete care trec prin nod n 0 - t
N - numr mediu de pachete care stau n nod
S - timp total de ateptare al pachetelor care trec n 0 - t
T - timp mediu ateptare n nod pentru un pachet
- frecvena de sosire a pachetelor - trafic
T=S/n
N=S/t =Tn/t
= n / t = N /T

N=T

Teorema Little:
Traficul este dat de
nr mediu de pachete ateptnd n nod / timp mediu de ateptare n nod
sau
nr. mediu de pachete ateptnd n nod este
timp mediu de ateptare n nod * trafic
Teoria reelelor Stefa
n Stncescu

Exemplu la teorema Little

150
convorbiri telefonice / or trafic prin nod ( )
3 minute durata medie a unei convorbiri - timp petrecut in nod ( T )
N = T Teorema Little
N = nr de convorbiri n nod (simultane)
N = (150 apeluri/60 min) * 3 min = 15/2 apeluri =
= 7,5 convorbiri simultane, n medie, prin nod
Cu t =
S
n
n

10 min
= Nt = 75 minute petrecute in sistem ale celor
= S/T= 75/3 = 25 convorbiri
= t = (150/60)*10 = 25 convorbiri

Teoria reelelor Stefa

n Stncescu

||||||||

Cozi de ateptare
Notaia Kendall :

A/S/m/c/p

A(rrival) proces de sosire

S(ervice) proces de serviciu oferit
m - nr. de servere
c - nr. de servicii (opional)
p- nr. de clieni(opional)

Teoria reelelor Stefa

n Stncescu

||||||||

A(rrival) proces de sosire:

M
Proces Markovian, distribuie Poisson
D
Deterministic (periodic, etc.)
G
General (nespecificat)
S(ervice) proces de serviciu oferit
Definete modelul serviciului acordat
Notaia ca la A M/D/G
M/M/1 Sosire i prelucrare Poisson, exponenial, cu 1 server, coada infinit
M/M/m Sosire i prelucrare Poisson, exponenial, cu n servere, coada infinit
M/M/n/n Sosire i prelucrare Poisson, exponenial, cu n servere, n locuri, cu pierderi

Teoria reelelor Stefa

n Stncescu

Sisteme cu pierderi (0 locuri de ateptare M/M/n/n)

daca serverele sunt ocupate, orice alte sosiri se pierd

Rezult trafic blocat pe timp de blocare i
raport trafic blocat/trafic total
Presupuneri: sosiri Poisson
independente
identic (normal) distribuite
Rezult proces Markov natere i moarte, cu
- frecvena sosirilor
- frecvena serviciilor
n - servere n sistem
Teoria reelelor Stefa
n Stncescu

Sisteme cu pierderi (0 locuri de ateptare M/M/n/n)

n-1

n-2

(n-1)

j-1 =j j
cu
a = /
j = (a / j) j-1
j = (aj / j!) 0
j=0,1,...,n
Dar
0nj = 1
0 = 1/ ( 1 + a/1! + ... + an / n!) = 1/ 0nai/i!
i = (aj/j!)/ 0n(ai/i!)
Formula Erlag j=n
0 e-a
dac n
Teoria reelelor Stefa
n Stncescu

Sisteme cu pierderi (M/M/n/n) - exemplu

4/6 modem-uri la trafic de intensitate a = 2 erl (a = / )
E(n,a) = n = (an/n!)/ 0n(ai/i!)

Formula Erlag

E(4,2) = 2/21 = 0,095 = 9,5 %

E(6,2) = 4/331 = 0,012 = 1,2 %
Deci folosind
1,5 (6/4) mai multe echipamente obinem
de 8 ori (9,5/1,2) mai mic probabilitatea de blocare.

Teoria reelelor Stefa

n Stncescu

Sisteme cu ateptare (M/M/1) - un server

||||||||

j-1 = j
cu
= /
j = j-1
j = j 0
j=0,1,...
Dar
0nj = 1
0 = 1/ ( 1 + + ... + n + ...) = 1-
Teoria reelelor Stefa
n Stncescu

n-1

n-2

Sisteme cu ateptare (M/M/1)

||||||||

0 este probabilitatea ca serverul s fie liber = 1-

Probabilitatea ca serverul s fie ocupat =
n = P(N=n) = (1- ) * n
distribuie geometric

Teoria reelelor Stefa

n Stncescu

Sisteme cu ateptare (M/M/1)

||||||||

Fie N numrul mediu de clieni n sistem

N = 0i i = (1- )0 (i i)= (1- )0 (i i-1) =
= (1- )d/d (0 i) = (1- )d/d(1/(1- )) = /(1-) = /( -)
N = + 2 /(1-)
clieni n server + 2 /(1-) clieni n ateptare

Probabilitatea ca sunt cel puin n clieni n nod

P(Nn) = n i = (1- )n i = (1- ) n 0 i = n
Teoria reelelor Stefa
n Stncescu

Cu teorema Little
=N/T
frecvena de sosire a pachetelor (clieni) =
numr mediu de clieni n nod / timp mediu ateptare n nod pt. 1 client
T=N/ = ( /(1-))/
cu = /
T= ( /( -))/=1/(-)
T=1/(-)
Timpul mediu de ateptare n nod pentru un pachet = 1/(-) cu
este frecvena de emisie de pachete procesate de server- capacitatea
este frecvena de sosire a pachetelor
La sisteme cu ateptare (M/M/1):
T dac
Teoria reelelor Stefa
n Stncescu

Exemplu:
Pe o linie cu capacitatea de 64 kbps un router trimite 8 pachete
pe sec. Fiecare de de 400B.
= 8 pps
= 64 kbps / (8 bpB * 400 Bpp) = 64000bps/3200 bpp = 20 pps
= / = 8/20 = 0,4
N= /(1-) = /( -) =0,4/0,6 = 0,67
Deci numrul mediu de pachete procesate (lungimea cozii) este sub 1
P(Nn) = n
Probabilitatea ca s avem n pachete n procesare este (0,4)n
pentru a avea 2 pachete n coad, prob este 16%.
pentru 10, probabilitatea e (0,4)10 = 10 -4

Teoria reelelor Stefa

n Stncescu

Sisteme cu ateptare (M/M/m) - m servere

0

||||||||

...

m-2
m-1

j-1
j-1

= j j
=m j

j = 0(m)j /j!
m
j = 0(mmj)/m!
Teoria
reelelor Stefa
server
n Stncescu

m-1

m-2

(m-2)

(m-1)

jm
j>m
jm cu = a/m ,
j>m

a= / i = /

a= trafic total, =trafic pe

Dar cu
0nj
obinem

= 1 i 1/ ( 1 + + ... + n + ...) = 1-
0 = 1/ ( u+v) , unde
u=j=0m-1(m)j /j!
v=((mmj)/m!)/(1-)

Probabilitatea ca cel puin NW clieni ateapt

P(Nm) =m j =m 0(mmj)/m! = (0(mmm)/m!)/(1-) =
= v 0 = v /(u+v)
Numrul mediu de pachete n ateptare
NW= j=0 jj+m = j=0j0(mmj+m)/m! =(1-) P(Nm)j=0jj
Dar j=0jj =d/d(j=0j) = d/d (1/(1-))=1/(1-)2
Se obine:
NW=( /(1-))P(Nm)
Teoria reelelor Stefa
n Stncescu

Numrul mediu de clieni n sistem (a=m trafic total):

N= m + NW = m + ( /(1-))P(Nm)
Din teorema Little obinem timpul mediu de trecere prin nod:
T = N/
cu = / m, /(1-)=/(m -)
T= 1/ + P(Nm)/(m -)
pentru coad M/M/m.

Teoria reelelor Stefa

n Stncescu

2
= /(2 )
T=1/(2 -)

||||||||

/2

||||||||

/2

||||||||

= ( /2)
T=1/( -/2)

Teoria reelelor Stefa

n Stncescu

||||||||

Adaug un
printer la fel,
cu sarcini 1/2

= ( /2)
T=1/( -/2)

Adaug un
printer la fel,
coad comun

nlocuire cu
printer nou,
vitez dubl

= /(2*
)

Cazul 1 - printer nou vitez dubl M/M/1 cu = /(2 )

T1=1/(2-)
Cazul 2 nc un printer vechi, 2 x M/M/1 cu = ( /2)/
T2=1/(-/2) =2 * T1
Cazul 3 nc un printer vechi, o singur coad M/M/2 cu = /2
T3= 1/ + P(N2)/(2 -)
Dac / 2= este f. mic, nu sunt pierderi,
ntrzierea e dat de trafic util
T3= 1/
(al doilea printer e inutil)
Dac / m= este approx. 1, sunt pierderi,
ntrzierea e dat de aeptarea n coad
T3= 1/(2 -) = T1
Deci adugarea unui acelai printer, la sarcini mari =
printer nou
Teoria reelelor Stefa
n Stncescu