Modelare i simulare

Seminar 3

SEMINARUL 3

3. Procese Markov
n cadrul proceselor aleatoare un loc deosebit l ocup procesele Markov caracterizate prin aceea c
apariia unei anumite stri este condiionat doar de un numr determinat de stri anterioare. Dac
numrul acestor stri anterioare este r , atunci este vorba de un proces Markov de ordinul r .
Procesele Markov de ordinul 1 ocup un loc important n studiul proceselor de trafic ce
caracterizeaz reeaua de telecomunicaii n ansamblul ei. nseamn c dac un sistem se afl la
momentele de timp t0 , t1 ,, t j , n stri N (t0 ), N (t1 ), , N (t j ), i dac el se comport ca un
sistem Markov de ordinul 1, atunci probabilitatea ca la un moment urmtor t j +1 starea lui s fie

N (t j +1 ) este determinat doar de starea lui din momentul anterior, adic:

P{N (t j +1 ) = k N (t0 ) = n0 , N (t1 ) = n1 , , N (t j ) = n} =
= P{N (t j +1 ) = k N (t j ) = n} = pk (t )

(3.1)

Cu alte cuvinte aceasta se exprim prin formularea: starea viitoare k depinde doar de starea
prezent n sau starea prezent nglobeaz n ea ntregul trecut. Se mai obinuiete s se spun c
procesele Markov sunt procese fr memorie.
Pentru orice sistem este caracteristic vectorul de stare p ( t ) . El este structurat ca un vector linie,
avnd ca elemente probabilitile absolute pn ( t ) ale tuturor strilor n ale sistemului ( 0 n ),
adic:
p ( t ) = ( p0 (t ), p1 (t ), , pn (t ),)

cu 0 pn (t ) 1 i

(n)

(3.2)

pn (t ) = 1 .

Dac se consider evoluia unui astfel de sistem ntre dou momente successive t i t + t ,
nseamn c o stare k oarecare poate fi obinut printr-un salt executat n intervalul t dinspre
oricare alt stare a sistemului fie ea 0,1,2,....., sau n.

Modelare i simulare

Seminar 3

n figura 3.1 se prezint grafic aceast evoluie corespunztoare unui proces Markov de ordinul 1.
Strile sistemului numerotate ncepnd cu 0 , sunt reprezentate prin cercuri, iar prin sgei sunt
figurate eventualele tranziii ntre stri. Pe fiecare sgeat sunt notate probabilitile de tranziie:

pk , k
(t + t )

pn , k

p0,k

p1,k

(t )

p2,k

2
1

(t )

(t )

(t )
Fig. 3.1 Tranziii ntre stri la modelul Markov

pn , k (t ) = P{N (t + t ) = k N (t ) = n}

(3.3)

Cu alte cuvinte, pentru ca la momentul t + t sistemul s se afle ntr-o stare nou k , trebuie ca
plecnd din starea prezent n la momentul t s aibe loc tranziia: n k , adic:
starea k (t + t ) = {starea n(t ) salt n k }
(n)

(3.4)

ceea ce n termini probabilistici se poate scrie ca:

pk (t + t ) = pn (t ) pn ,k (t )
(n)

(3.5)

Aceast relaie reprezint modul de exprimare matematic a caracterului Markovian al procesului,

n care starea viitoare k nu depinde dect de starea prezent n .
Relaia 3.5 poate fi scris i sub form matriceal. Toate probabilitile de tranziie pn,k sunt
grupate ntr-o matrice de tranziii T (vezi tabelul 3.1), o matrice ptratic ce are ca dimensiune

Modelare i simulare

Seminar 3

numrul total de stri posibile ale sistemului. n aceast matrice suma elementelor fiecrei linii este
egal cu unitatea. Se obine astfel relaia matriceal:

p(t + t ) = p(t ) T sau p(t ) = p(0) Tt

(3.6)

care face posibil determinarea vectorului de stare a sistemului n orice moment de timp, pe baza
matricei de tranziii i a vectorului de strii vide.

3.1 Procesul general de natere i moarte

Orice reea de telecomunicaii funcioneaz conform unor procese n echilibru statistic, n care
apelurile (cererile de serviciu) se nasc, ateapt servirea, triesc o via atingnd o anumit vrst,
pentru ca apoi n final s moar.
Procesele de natere i moarte ca subclas important a proceselor Markov de ordinul I se adapteaz
perfect modului de apaiie i de servire a traficului n sistemul global de telecomunicaii. Aceste
procese sunt caracterizate de un spaiu discret de stri i de un parametru temporal continuu.
Prin definiie, un proces de natere i moarte autorizeaz pentru un sistem, care la momentul t se
afl n starea k = n , tranziia la momentul urmtor t '(t ' > t ) numai ctre strile adiacente k = n + 1
sau k = n 1 i evident c starea k poate fi meninut i la momentul urmtor t ' .
Evoluia dinamic a unui sistem conform unui proces de natere i moarte poate fi reprezentat ca n
fig. 3.2 sub forma unui lanului Markov liniar cu numr finit N + 1 de stri.

pn 1, n

p0,1
1

p1,0

pN 1, N

pn , n +1

n 1

n +1

pn ,n 1

pn +1, n

N 1

pN , N 1

Fig. 3.2 Lan Markov liniar (proces general de natere i moarte)

Pentru simplificarea desenului nu s-a reprezentat dect pentru starea n tranziia de tip n n
(fluxul intern de probabiliti pn,k ); de asemenea nu este marcat nici intervalul t = t ' t n care se
pot produce tranziiile, controlate prin termeni de tipul pn , k (t )t . De fapt pn , k (t ) apare ce o rat a

schimbrii de stare i care multiplicat prin t msoar chiar probabilitatea tranziiei n k .

Modelare i simulare

Seminar 3

Pe durata intervalului t nu posate avea loc dect cel mult o singur tranziie, iar aceasta este
permis doar ntre stri adiacente. Deci conform relaiei 3.5, se poate scrie c:
pn (t + t ) = pn 1 (t ) pn 1,n (t ) + pn +1 (t ) pn +1, n (t ) + pn (t )[1 pn,n +1 (t ) pn ,n 1 (t )]

(3.7)

n regim staionar, probabilitile strilor sunt independente de timp, iar valoarea probabilitii de
tranziie depinde, n mod direct proporional, de lungimea intervalului n care are loc tranziia i de
rata pn,k a schimbrii de stare, care este o constant real pozitiv, adic:
pn , k (t ) = pn ,k t + o(t )

(3.8)

Cu o(t ) este notat indicele Landau definit astfel:

o(t )
=0
t 0 t
lim

(3.9)

Aa dup cum s-a recizat anterior, pentru orice proces Markov se poate forma matricea T de
tranziie, ale crei elemente sunt probabilitile de tranziie ntre stri. n condiiile echilibrului
statistic se obine ecuaia echilibrului global scris ca n relaia (3.10) i care probabilistic exprim
faptul c suma fluxurilor de ieire de probabiliti dintr-o stare este identic egal cu suma fluxurilor
de intrare:
pn ( pn ,n +1 + pn ,n 1 ) = pn 1 pn 1,n + pn +1 pn +1,n

nn-1
1

(3.10)

n +1

N 1

Fig.3.3 Suprafeele de conservare a fluxurilor de probabiliti (I)

Modelare i simulare

Seminar 3

pn 1, n
n-1

pn , n +1

n +1

n
pn,n 1

pn +1, n

Fig. 3.4 Suprafeele de conservare a fluxurilor de probabiliti (II)

Se pot deduce deasemenea ecuaiile echilibrelor locale dup cum urmeaz:

p1 p1,0 = p0 p0,1 ;

pN 1 pN 1, N = pN pN , N 1 ;

pn 1 pn 1,n = pn pn ,n 1 ;

pn pn ,n +1 = pn +1 pn +1,n ;

(3.11)

Ultimele dou relaii din 3.11 indic faptul c n ecuaia echilibrului global termenii din cei doi
membrii sunt egali doi cte doi, adic pentru o stare n tranziiile ascendent i descendent
sunt echiprobabile.

Dac se consider variaia continu a parametrului timp, atunci plecnd de la (3.5) este adevrat c:

lim

t 0

p (t )
pk (t + t ) pk (t )
= lim pn (t ) n ,k +
t 0
t
t
( nk )

pk (t ) lim

t 0

pk ,k (t ) 1
t

(3.12)

Se formeaz n consecin matricea infinitezimal Q , ale crei elemente sunt constante reale i
anume:

qn , k = lim

t 0

qk ,k = lim

t 0

pn , k (t )
t
pk , k (t ) 1

(3.13)

Relaia (3.12) devine:

pk' (t ) =

( nk )

pn (t ) qn ,k + pk (t ) qk ,k

(3.14)

Sau sub forma cunoscut ca i ecuaia viitorului:

p ' (t ) = p(t )Q

(3.15)

Modelare i simulare

Seminar 3

Trebuie precizat c elementele matricei infinitezimale Q (vezi tabelul 3.1) se deduc uor din cele
ale matricei de tranziii T .
Q=

1
(T I )
t

(3.16)

3.2 Procesul de natere pur

Un proces de natere pur are o evoluie ca cea prezent n figura 3.5 n care s-a considerat un
proces trunchiat, adic s-a presupus un set finit de N + 1 stri.

1 0 t

1 1t

0 t

1 n 1t

nn-1
1

1 n t

n 1t

1 n +1t 1 N 1t

n t

n +1

N 1

N 1t

t
Fig. 3.5 Lanul tranziiilor ntr-un proces de natere pur

n raport cu o stare N (t ) = n , pentru un moment de timp t , n intervalul imediat urmtor t sunt

posibile doar urmtoarele dou evoluii:

Apare o natere:
prob{N (t + t ) = n + 1 N (t ) = n} = pn ,n +1 (t )

(3.17)

Nu se ntmpl nimic:

prob{N (t + t ) = n N (t ) = n} = pn,n (t )

(3.18)

Ceea ce nseamn c:
pn ,n +1 (t ) + pn ,n (t ) = 1

(3.19)

Procesul este omogen i probabilitile de tranziie nu sunt funcii de timp. Ele sunt proporionale cu
t , adic:

Modelare i simulare

Seminar 3

pn , n +1 (t ) = n t + o(t )

(3.20)

pn , n (t ) = 1 n t + o(t )

n reprezint rata medie de nateri adic numrul mediu de cereri de serviciu ce apar n unitatea de
timp.
Mrimea intervalului de tranziie t este n aa fel aleas nct probabilitatea de a avea mai mult de
o natere n t s fie un infinit mic de ordin superior lui t , adic o(t ) .
Tabelul 3.1 Matricea

T pentru procesul de natere pur

Stri n t + t

Stri
n t

1 0 t

....

n-1

n+1

0 t

1 1t

n-1

n+1

N-1

1 n 1

n 1t

1 n t

n t

1 n +1t

N-1

1 N 1t

N 1t

Tabelul 3.2 Matricea

...

Q pentru procesul de natere pur

Stri n t + t

Stri
n t

....

n-1

n+1

n-1

N-1

n 1

n 1

...

Modelare i simulare

Seminar 3

n+1

n +1

N-1

N 1

N 1

Plecnd de la ecuiile viitorului i folosind elementele din Q se obin relaiile:

p0' (t ) = 0 p0 (t )
pn' (t ) = n 1 pn 1 (t ) n pn (t )

(3.21)

pN' (t ) = N 1 pN 1 (t )

Procesul de sosire adecvat cererilor de serviciu se caracterizeaz prin independena fa de starea

sistemului a ratei de natere n , ceea ce nseamn c:

n = , pentru orice n N

(3.22)

Presupunem c la momentul iniial t = 0 , starea sistemului este N (0) = n0 = 0 . nseamn c:

1, daca n = n0
pn (0) =
0, daca n n0

(3.23)

Se poate deduce uor c distribuia cutat este o distribuie Poisson:

( t ) n t
pn (t ) =
e
n!

(3.24)

Ea precizeaz de altfel probabilitatea condiionat ca n nateri s apar n intervalul ( 0, t ) , dac

starea iniial este caracterizat de o populaie nul, adic n0 = 0 .

Aplicaia 1
Linia unui abonat telefonic se poate gsi n dou stri: liber sau ocupat, notate cu 0 , respectiv 1 .
tiind c duratele celor dou tipuri de stri urmeaz distribuii de probabilitate exponeniale de
medie 1 = 5 4 , respectiv 1 = 5 , s se determine probabilitatea de stare p0 ( t ) i p1 (t ) n
funcie de probabilitile iniiale de stare: p0 (0) = 0,3 i p1 (0) = 0, 7

Modelare i simulare

Seminar 3

Rezolvare:

,
pn ( t ) = n 1 pn 1 ( t ) n pn ( t )
,
p1 ( t ) = p0 ( t ) p1 ( t )
pn, ( t ) = n pn ( t ) + n +1 pn +1 ( t )

p0, (t ) = p0 ( t ) + p1 (t )
sist de ecuaii difereniale a viitorului:
p0' ( t ) = p0 (t ) + p1 (t )
'
p1 (t ) = p0 (t ) p1 (t )
- relaia de normare:

p0 (t ) + p1 (t ) = 1
p0' ( t ) = p0 (t ) + (1 p0 (t ))
p0' ( t ) + ( + ) p0 (t ) =
sP0 ( s ) + ( + ) P0 ( s ) =

P0 ( s) =

=
S + + + + S

Cu soluia:

p0 ( t ) =

+ Ce ( + )t

1 4 5
= =1
5 5 5
1
1

= 5 = = 0, 2
+ 1 5

+ = +

C = 0,3

= 0,3 0, 2 = 0,1

Cu soluia:
Penru t =0 avem condiia: p0 (0) = 0.3
0,3 =

+ C C = 0,3

+
9

Modelare i simulare

Seminar 3

p0 (t ) = 0, 2 + 0,1e t
p1' (t ) = p0 (t ) p1 (t )
p0 (t ) = 1 p1 (t )
p1' (t ) = (1 p1 ( t ) ) p1 (t )
p1' (t ) + ( + ) p1 (t ) =
p1 (t ) =

+ Ke ( + )t

pentru t = 0 condiia iniial

p1 (0) = 0, 7
p1 (0) =

+ K K = p1 (0)

4
5

4
= = 0,8
1
4
+
5
+
5 5
K = 0, 7 0,8 = 0,1

p1 ( t ) = 0,8*0,1e t

Definiia 1
Traficul este raportul dintre durata medie de serviciu i durata medie a interapelului, ceea ce
nseamn c e o cantitate fr dimensiuni:

A=

(1 ) sec

(1 ) sec

Unitatea care tinde s se generaliz. este ERLANG-ul.

Definiia 2
Traficul oferit sau traficul de intrare este nr. mediu de cereri ce se prezint n sistem, cu rata de
apelare , n intervalul de apelare egal cu timpul medie de serviciu 1 .
A = ( cereri secunda ) 1 ( secunde )

Dar cererile nu pot exista n afara surselor cele produc. Aceeai definiie poate cpta forma:
Traficul oferit este nr. mediu de surse simultan ocupate n decursul unui interval ct durata medie de
servire 1 , dac rata lor de apelare este .
A = ( surse ocupate secunda ) 1 ( secunde )

10

Modelare i simulare

Seminar 3

Definiia 3
Orice cerere acceptat de sistem are la dispoziie un circuit sau dispozitiv de prelucrare, pe care l
ocup pe toat durata lui de prezen n sistem, ceea ce nseamn c:
Traficul scurs (prelucrat) este nr. de resurse simultan ocupate pe durata timpului mediu de serviciu
1 pentru prelucrarea cererilor oferite cu rata .

A = ( resurse ocupate secunda ) 1 ( secunde )

Aplicaia 2
n figura de mai jos este prezentat diagrama de ocupare a 3 resurse, funcionnd ntr-un grup
comun observate n decurs de 20 ore. Se cere:
a.) Diagrama de ocupare total a grupului
b.) Durata total de angajare
c.) Intensitatea traficului scurs

b.) Durata total de angajare:

3

i =1

= 1 + +2 3

1 = 3,5 + 2 + 0,5 + 2,5 + 1 = 9,5ore

2 = 3 + 3,5 + 2,5 + 1,5 = 10,5ore
3 = 2 + 1,5 + 2,5 + 3 + 2 + 1 = 12ore

11

Modelare i simulare

Seminar 3

c.) Intensitatea traficului scurs:

As 1 R
1
= i ( i ) = [1 (1) + 2 ( 2 ) + 3 ( 3)] =
T T i =1
T
1
= [1 1 + 2 0,5 + 3 0,5 + 2 1 + 3 1 + 2 1 + 1 + 2 2 + 3 1,5 + 2 0,5 +
20
32ore
1 + 2 0,5 + 0,5 + 1 + 2 1 + 3 0,5 + 2 0,5 + 0,5 + 0,5 + 2] =
= 1, 6 E
20

= i ( i )
i

Nr. sursei

Valori medii

Durata total
de angajare i
Nr.de
angajri ni
Rata de
angajare
individual i
Durata total
de servicii tsi

9,5

10,5

12

Intensitate
trafic:1,6

5/20 = 0,25

4/20 = 0,2

3/20 = 0,15

Rata medie de
apelare:0,6

9,5/5 = 1,9

10,5/4 = 2,26

12/3 = 4

Durata medie de
serviciu:2,66h/apel

i' =

ni

; tsi = i
ni
T

Aplicaia 3
n urma observrii a 4 resurse pe durata a 6 minute s-au trasat diagramele din figura de mai jos, n
care: 1 - ocupat; 0 starea de neutilizare a fiecrei resurse. . Se cere:
a.) Diagrama de ocupare total a grupului
b.) Durata total de angajare
c.) Intensitatea traficului scurs

12

Modelare i simulare

Seminar 3

Stabilii intensitatea medie a traficului servit de respectivul grup pe parcursul intervalului

considerat.

Rezolvare:

ni

i min 1

i (durata n div

Ai

2,5

2/6 = 1/3

de servicii)
2,5/2 = 5/4

3/6 =1/2

3/3 = 1

3/6 =1/2

3,5

2/6 = 1/3

3,5/2 = 7/4

3,5/6 = 7/12

4,5

4/6 = 2/3

4,5/4 = 9/8

Total

11

13,5

11/6

27/22 durata
medie de
serviciu

4,5/6 = 9/12
=3/4
9/4

2,5/6 = 5/12

As 1 4
1 4
1
13.5 27 9
= i (i ) = (i ) = (2.5 + 3 + 3.5 + 4.5) =
=
=
6
6
T t i =1
T i =1
12 4
A = si =

9
= 2.25 E
4

(i )

0,5

0,5

Total

i ( i )

13,5 minute

Aplicaia 4
1. Accesul unui grup de terminale la reeaua de telecomunicaii se face prin intermediul unui mod
de comunicaie care dispune de o singur linie de date de o capacitate de 10 Mbii/sec. Dac traficul
oferit de terminale spre a fi transferat n reea este de:
( i ) 600 pachete / sec cu cte 1000 de bii pachetul.
( ii) 8 Mbii/sec

13

Modelare i simulare

Seminar 3

exprimrile n uniti Erlang:

B=

( mesaje / or ) * L(bii )
D(bii / sec) *3600

n cazul nostru:

(i ) B =

600 pachete / sec*1000

6
= 0, 06 E
=
5
10*10
100

( ii ) B =

8*106 bii / sec

= 0,8 E
10*106 bii / sec

Not:
Trafic scurs dup definiia 3
R

i =1

i =1

As = i = i ( i )

1. Intensitatea traficului dup definiia 4

As
=
T

i ( i )
i =1

2. Timpul mediu de servicii caracteristic

t * si =

i
ni

3. Nr de angajri n unitatea de timp (rate de angajare)

i, =

14

ni
T

1 K
i
T i =1