Modelare i simulare Seminar

3
SEMINARUL 3
3. Procese Markov
n cadrul proceselor aleatoare un loc deosebit l ocup procesele Markov caracterizate prin aceea c
apariia unei anumite stri este condiionat doar de un numr determinat de stri anterioare. Dac
numrul acestor stri anterioare este
r
, atunci este vorba de un proces Markov de ordinul
r
.
Procesele Markov de ordinul nti (1) ocup un loc important n studiul proceselor ce caracterizeaz
traficul n cadrul reelelor de telecomunicaii. nseamn c dac un sistem se afl la momentele de
timp
0 1
, , , ,
j
t t t K K
n stri
0 1
( ), ( ), , ( ),
j
N t N t N t K K
i dac el se comport ca un sistem Markov de
ordinul 1, atunci probabilitatea ca la un moment urmtor
1 j
t
+
starea lui s fie
1
( )
j
N t
+
este
determinat doar de starea lui din momentul anterior, adic:
1 0 0 1 1
1
{ ( ) ( ) , ( ) , , ( ) }
{ ( ) ( ) } ( )
j j
j j k
P N t k N t n N t n N t n
P N t k N t n p t
+
+


K
(3.1)
Relaia de mai sus definete aa-numita proprietatea Markov: fiind dat starea curent, n, starea
viitoare a procesului, k, nu depinde de trecut (adic de modul n care acesta a evoluat pn n starea
curent). Sau altfel spus: starea curent conine toate informaiile n ceea ce privete evoluia
procesului. Se mai obinuiete s se spun c procesele Markov sunt procese fr memorie.
Pentru orice sistem este caracteristic vectorul de stare ( ) t p
. El este structurat ca un vector linie,
avnd ca elemente probabilitile absolute ( )
n
p t
ale tuturor strilor
n
ale sistemului ( 0 n ),
adic:
( )
0 1
( ( ), ( ), , ( ), )
n
t p t p t p t p K K
(3.2)
cu
0 ( ) 1
n
p t
i
( )
( ) 1
n
n
p t
.
Dac se consider evoluia unui astfel de sistem ntre dou momente successive
t
i t t + ,
nseamn c o stare k oarecare poate fi obinut printr-un salt executat n intervalul t dinspre
oricare alt stare a sistemului fie ea 0,1,2,....., sau n.
1
Modelare i simulare Seminar
3
n figura 3.1 se prezint grafic aceast evoluie corespunztoare unui proces Markov de ordinul 1.
Strile sistemului numerotate ncepnd cu 0 , sunt reprezentate prin cercuri, iar prin sgei sunt
figurate eventualele tranziii ntre stri. Pe fiecare sgeat sunt notate probabilitile de tranziie:
Fig. 3.1 Tranziii ntre stri la modelul Markov
,
( ) { ( ) ( ) }
n k
p t P N t t k N t n +
(3.3)
Cu alte cuvinte, pentru ca la momentul t t + sistemul s se afle ntr-o stare nou k , trebuie ca
plecnd din starea prezent
n
la momentul
t
s aibe loc tranziia: n k , adic:
( )
starea ( ) {starea ( ) salt }
n
k t t n t n k +
(3.4)
ceea ce n termini probabilistici se poate scrie ca:
,
( )
( ) ( ) ( )
k n n k
n
p t t p t p t +

(3.5)
Aceast relaie reprezint modul de exprimare matematic a caracterului Markovian al procesului,
n care starea viitoare k nu depinde dect de starea prezent
n
.
Relaia 3.5 poate fi scris i sub form matriceal. Toate probabilitile de tranziie
, n k
p
sunt
grupate ntr-o matrice de tranziii T (vezi tabelul 3.1), o matrice ptratic ce are ca dimensiune
0
1
2
n k ( ) t t +
( ) t
( ) t
( ) t
( ) t
0,k
p
1,k
p
2,k
p
, n k
p
, k k
p
2
Modelare i simulare Seminar
3
numrul total de stri posibile ale sistemului. n aceast matrice suma elementelor fiecrei linii este
egal cu unitatea. Se obine astfel relaia matriceal:
( ) ( ) ( ) (0)
t
t t t sau t + p p T p p T (3.6)
care face posibil determinarea vectorului de stare a sistemului n orice moment de timp, pe baza
matricei de tranziii i a vectorului de strii vide.
3.1 Procesul general de natere i moarte
Procesele de natere i moarte reprezint o subclas important a proceselor Markov de ordinul I
putnd fi utilizate pentru a modela procesele de apariie i de servire a traficului ntr-un sistem de
telecomunicaii. Se poate considera urmtorul model: clienii solicit utilizarea unui anumit tip de
echipament(server). Dac acesta este disponibil clientul care sosete va ocupa i utiliza
echipamentul respectiv un anumit interval de timp, dup care l va elibera acesta devenind
disponibil pentru un alt client. Procesul de generare de cereri se numete proces de sosire, iar cel de
utilizare a echipamentului solicitat se numete proces de servire. Evoluia n cadrul sistemului se
poate modela conform unor procese n echilibru statistic asimilate unor procese de natere i
moarte.
Aceste procese sunt caracterizate de un spaiu discret de stri i de un parametru temporal continuu.
Prin definiie, un proces de natere i moarte autorizeaz pentru un sistem, care la momentul
t
se
afl n starea k n , tranziia la momentul urmtor
'( ' ) t t t >
numai ctre strile adiacente 1 k n +
sau 1 k n i evident c starea k poate fi meninut i la momentul urmtor ' t .
Evoluia dinamic a unui sistem conform unui proces de natere i moarte poate fi reprezentat ca n
fig. 3.2 sub forma unui lanului Markov liniar cu numr finit 1 N + de stri.
Fig. 3.2 Lan Markov liniar (proces general de natere i moarte)
1 n n
1 n +
1, n n
p

, 1 n n
p
+
, 1 n n
p
1, n n
p
+
1 N
N
0,1
p
1
0
1,0
p
1, N N
p

, 1 N N
p

3
Modelare i simulare Seminar
3
Pentru simplificarea desenului nu s-a reprezentat dect pentru starea
n
tranziia de tip
n n

(fluxul intern de probabiliti
, n k
p
); de asemenea nu este marcat nici intervalul ' t t t n care se
pot produce tranziiile, controlate prin termeni de tipul
,
( )
n k
p t t
. De fapt
,
( )
n k
p t
apare ce o rat a
schimbrii de stare i care multiplicat prin t msoar chiar probabilitatea tranziiei n k .
Pe durata intervalului t nu posate avea loc dect cel mult o singur tranziie, iar aceasta este
permis doar ntre stri adiacente. Deci conform relaiei 3.5, se poate scrie c:
1 1, 1 1, , 1 , 1
( ) ( ) ( ) ( ) ( ) ( )[1 ( ) ( )]
n n n n n n n n n n n n
p t t p t p t p t p t p t p t p t
+ + +
+ + +
(3.7)
n regim staionar, probabilitile strilor sunt independente de timp, iar valoarea probabilitii de
tranziie depinde, n mod direct proporional, de lungimea intervalului n care are loc tranziia i de
rata
, n k
p
a schimbrii de stare, care este o constant real pozitiv, adic:
, ,
( ) ( )
n k n k
p t p t o t +
(3.8)
Cu
( ) o t
este notat indicele Landau definit astfel:
0
( )
lim 0
t
o t
t

(3.9)
Aa dup cum s-a recizat anterior, pentru orice proces Markov se poate forma matricea T de
tranziie, ale crei elemente sunt probabilitile de tranziie ntre stri. n condiiile echilibrului
statistic se obine ecuaia echilibrului global (GBE) scris ca n relaia (3.10) i care exprim faptul
c suma fluxurilor de probabiliti asociate ieirii dintr-o stare este identic egal cu suma fluxurilor
de probabiliti de intrare n aceea stare (vezi Figura 3.3):
, 1 , 1 1 1, 1 1,
( )
n n n n n n n n n n n
p p p p p p p
+ + +
+ +
(3.10)
Fig. 3.3 Suprafaa de conservare a fluxurilor de probabiliti pentru deducerea GBE
1 n +
1, n n
p

, 1 n n
p
+
, 1 n n
p

1, n n
p
+
n-1
n

4
Modelare i simulare Seminar
3
Se pot deduce deasemenea ecuaiile echilibrelor locale (LBE) , ecuaiile 3.12, dac se aplic
conservarea fluxurilor de probabiliti suprafeelor
0 1
, , , , ,
n n N

K K
indicate n
Figura 3.4.
Fig.3.4 Suprafeele de conservare a fluxurilor de probabiliti pentru deducerea LBE
1 1,0 0 0,1 1 1, , 1
1 1, , 1 , 1 1 1,
; ;
; ;
N N N N N N
n n n n n n n n n n n n
p p p p p p p p
p p p p p p p p

+ + +


(3.11)
Ultimele dou relaii din 3.11 indic faptul c n ecuaia echilibrului global termenii din cei doi
membrii sunt egali doi cte doi, adic pentru o stare
n
tranziiile ascendent i descendent
sunt echiprobabile.
Dac se consider variaia continu a parametrului timp, atunci plecnd de la (3.5) este adevrat c:
, ,
0 0 0
( )
( ) ( ) 1
( ) ( )
lim lim ( ) ( ) lim
n k k k
k k
n k
t t t
n k
p t p t
p t t p t
p t p t
t t t

+
+

(3.12)
Se formeaz n consecin matricea infinitezimal Q, ale crei elemente sunt constante reale i
anume:
,
,
0
,
,
0
( )
lim
( ) 1
lim
n k
n k
t
k k
k k
t
p t
q
t
p t
q
t

(3.13)
Relaia (3.12) devine:
'
, ,
( )
( ) ( ) ( )
k n n k k k k
n k
p t p t q p t q

(3.14)
Sau sub forma cunoscut ca i ecuaia viitorului:
'
( ) ( ) t t p p Q (3.15)
1 n n
1 n +
1 N
N
1 n

1
0
0

n-1
5
Modelare i simulare Seminar
3
Trebuie precizat c elementele matricei infinitezimale Q (vezi tabelul 3.2) se deduc uor din cele
ale matricei de tranziii T .
1
( )
t

Q T I (3.16)
3.2 Procesul de natere pur
Un proces de natere pur are o evoluie ca cea prezent n figura 3.5 n care s-a considerat un
proces trunchiat, adic s-a presupus un set finit de 1 N + stri.
Fig. 3.5 Lanul tranziiilor ntr-un proces de natere pur
n raport cu o stare
( ) N t n
, pentru un moment de timp
t
, n intervalul imediat urmtor t sunt
posibile doar urmtoarele dou evoluii:
Apare o natere:
, 1
{ ( ) 1 ( ) } ( )
n n
prob N t t n N t n p t
+
+ +
(3.17)
Nu se ntmpl nimic:
,
{ ( ) ( ) } ( )
n n
prob N t t n N t n p t +
(3.18)
Ceea ce nseamn c:
, 1 ,
( ) ( ) 1
n n n n
p t p t
+
+
(3.19)
Procesul este omogen i probabilitile de tranziie nu sunt funcii de timp. Ele sunt proporionale cu
t , adic:
, 1
,
( ) ( )
( ) 1 ( )
n n n
n n n
p t t o t
p t t o t
+
+
+

(3.20)
1 n n
1 n +
0
t
1 N
N
1
0
n-1
0
1 t
1 n
t

1
1
n
t

n
t
1
n
t
1
1
n
t
+

1 N
t

1
1
N
t

1
1
1 t
t
6
Modelare i simulare Seminar
3
n

reprezint rata medie de nateri adic numrul mediu de cereri de serviciu ce apar n unitatea de
timp.
Mrimea intervalului de tranziie t este n aa fel aleas nct probabilitatea de a avea mai mult de
o natere n t s fie un infinit mic de ordin superior lui t , adic
( ) o t
.
Tabelul 3.1 Matricea
T
pentru procesul de natere pur
Stri
n
t
Stri n t t +
0 1 .... n-1 n n+1 ... N-1 N
0
0
1 t
0
t 0 0 0 0 0
1 0
1
1 t 0 0 0 0 0
M M M M M M M M
n-1 0 0
1
1
n

1 n
t

0 0 0
n 0 0 0 1
n
t
n
t 0 0
n+1 0 0 0 0
1
1
n
t
+
0 0
M M M M M M M M
N-1 0 0 0 0 0
1
1
N
t


1 N
t


N 0 0 0 0 0 0 1
Tabelul 3.2 Matricea Q pentru procesul de natere pur
Stri
n
t
Stri n t t +
0 1 .... n-1 n n+1 ... N-1 N
0
0

0
0 0 0 0 0
1 0
1
0 0 0 0 0
M M M M M M M M
n-1 0 0
1 n

1 n

0 0 0
n 0 0 0
n

n
0 0
n+1 0 0 0 0
1 n

+
0 0
M M M M M M M M
N-1 0 0 0 0 0
1 N

1 N

N 0 0 0 0 0 0 1
Plecnd de la ecuiile viitorului i folosind elementele din Q se obin relaiile:
7
Modelare i simulare Seminar
3
'
0 0 0
'
1 1
'
1 1
( ) ( )
( ) ( ) ( )
( ) ( )
n n n n n
N N N
p t p t
p t p t p t
p t p t

(3.21)
Procesul de sosire adecvat cererilor de serviciu se caracterizeaz prin independena fa de starea
sistemului a ratei de natere
n

, ceea ce nseamn c:
,
n

pentru orice n N (3.22)
Presupunem c la momentul iniial 0 t , starea sistemului este
0
(0) 0 N n
. nseamn c:
0
0
1, daca
(0)
0, daca
n
n n
p
n n

'

(3.23)
Se poate deduce uor c distribuia cutat este o distribuie Poisson:
( )
( )
!
n
t
n
t
p t e
n

(3.24)
Ea precizeaz de altfel probabilitatea condiionat ca
n
nateri s apar n intervalul ( ) 0, t
, dac
starea iniial este caracterizat de o populaie nul, adic
0
0 n
.
Aplicaia 1
Linia unui abonat telefonic se poate gsi n dou stri: liber sau ocupat, notate cu 0 , respectiv 1.
tiind c duratele celor dou tipuri de stri urmeaz distribuii de probabilitate exponeniale de
medie 1 5 4 , respectiv 1 5 , s se determine probabilitatea de stare ( )
0
p t
i
1
( ) p t
n
funcie de probabilitile iniiale de stare:
0
(0) 0, 3 p
i
1
(0) 0, 7 p
Rezolvare:
Pe baza ecuiilor viitorului:
1
0

8
Modelare i simulare Seminar
3
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( )
,
1 1
,
1 0 1
,
1 1
,
0 0 1
( 1)
( 2)
( ) ( )
n n n n n
n n n n n
p t p t p t v
p t p t p t
p t p t p t v
p t p t p t





+ +

'

'
+

rezult sist de ecuaii difereniale:

( )
'
0 0 1
'
1 0 1
( ) ( )
( ) ( ) ( )
p t p t p t
p t p t p t


+

'

Aplicnd relaia de normare:

0 1
( ) ( ) 1 p t p t +
Se obine:
( )
( )
'
0 0 0
'
0 0
( ) (1 ( ))
( ) ( )
p t p t p t
p t p t


+
+ +
Aplicm transformata Laplace i rezolv ecuaia n domeniul s:
0 0
0
( ) ( ) ( )
( )
sP s P s
P s
s s



+ +

+ + + +
Trecnd din nou n domeniul timp obinem:
( )
( )
0
t
p t Ce

+
+
+
4 1 5
1
5 5 5
1
1
5
0, 2
1 5

+ +

+
Pentru deducerea constantei C aplicm condiia iniial:
0
(0) 0.3 p
. Se obine:
0
0, 3 0,1
( ) 0, 2 0,1
t
C
p t e

+
+
n mod asemntor se deduce soluia pentru
1
( ) p t
:
'
1 0 1
0 1
( ) ( ) ( )
( ) 1 ( )
p t p t p t
p t p t


9
Modelare i simulare Seminar
3
( ) ( )
( )
( )
'
1 1 1
'
1 1
1
( ) 1 ( )
( ) ( )
( )
t
p t p t p t
p t p t
p t Ke

+

+ +
+
+
Aplicnd condiia iniial:
1
1 1
(0) 0, 7
(0) (0)
p
p K K p

+
+ +
( )
1
4
4
5
0, 8
1 4
5
5 5
0, 7 0,8 0,1
0,8 0,1
t
K
p t e

+
+


Definiia 1
Traficul este raportul dintre durata medie de serviciu i durata medie a interapelului, ceea ce
nseamn c e o cantitate fr dimensiuni:
( )
( )
1 sec
1 sec
A

Unitatea care tinde s se generaliz. este ERLANG-ul.

Definiia 2
Traficul oferit sau traficul de intrare este nr. mediu de cereri ce se prezint n sistem, cu rata de
apelare , n intervalul de apelare egal cu timpul medie de serviciu 1 .
( ) ( ) cereri secunda 1 secunde A
Dar cererile nu pot exista n afara surselor cele produc. Aceeai definiie poate cpta forma:
Traficul oferit este nr. mediu de surse simultan ocupate n decursul unui interval ct durata medie de
servire 1 , dac rata lor de apelare este .
( ) ( ) surse ocupate secunda 1 secunde A
Definiia 3
Orice cerere acceptat de sistem are la dispoziie un circuit sau dispozitiv de prelucrare, pe care l
ocup pe toat durata lui de prezen n sistem, ceea ce nseamn c:
Traficul scurs (prelucrat) este nr. de resurse simultan ocupate pe durata timpului mediu de serviciu
1 pentru prelucrarea cererilor oferite cu rata .
10
Modelare i simulare Seminar
3
( ) ( ) resurse ocupate secunda 1 secunde A
Aplicaia 2
n figura de mai jos este prezentat diagrama de ocupare a 3 resurse, funcionnd ntr-un grup
comun observate n decurs de 20 ore. Se cere:
a.) Diagrama de ocupare total a grupului
b.) Durata total de angajare
c.) Intensitatea traficului scurs
b.) Durata total de angajare:
3
1 2 3
1
1
2
3
3, 5 2 0, 5 2, 5 1 9, 5
3 3, 5 2, 5 1, 5 10, 5
2 1, 5 2, 5 3 2 1 12
i
i
ore
ore
ore

+ +
+ + + +
+ + +
+ + + + +

c.) Intensitatea traficului scurs:

11
Modelare i simulare Seminar
3
( ) ( ) ( ) ( )
1
1 1
[1 1 2 2 3 3 ]
1
[1 1 2 0, 5 3 0, 5 2 1 3 1 2 1 1 2 2 3 1, 5 2 0, 5
20
32
1 2 0, 5 0, 5 1 2 1 3 0, 5 2 0, 5 0, 5 0, 5 2] 1, 6
20
R
i
As
i i
T T T
ore
E

+ +
+ + + + + + + + + +
+ + + + + + + + +

( )
i
i i

Nr. sursei 1 2 3 Valori medii
Durata total
de angajare
i

9,5 10,5 12 Intensitate
trafic:1,6
Nr.de angajri
i
n
5 4 3
Rata de
angajare
individual
i

5/20 = 0,25 4/20 = 0,2 3/20 = 0,15 Rata medie de

apelare:0,6
Durata total
de servicii
i
ts
9,5/5 = 1,9 10,5/4 = 2,26 12/3 = 4 Durata medie de
serviciu:2,66h/apel
' i
i
n
T
;
i
i
i
ts
n

Aplicaia 3
n urma observrii a 4 resurse pe durata a 6 minute s-au trasat diagramele din figura de mai jos, n
care: 1 - ocupat; 0 starea de neutilizare a fiecrei resurse. . Se cere:
a.) Diagrama de ocupare total a grupului
b.) Durata total de angajare
c.) Intensitatea traficului scurs
Stabilii intensitatea medie a traficului servit de respectivul grup pe parcursul intervalului
considerat.
12
Modelare i simulare Seminar
3
Rezolvare:
i
i
n
i

1
min
i

1
]
i

(durata n div
de servicii)

i
A
1 2 2,5 2/6 = 1/3 2,5/2 = 5/4 2,5/6 = 5/12
2 3 3 3/6 =1/2 3/3 = 1 3/6 =1/2
3 2 3,5 2/6 = 1/3 3,5/2 = 7/4 3,5/6 = 7/12
4 4 4,5 4/6 = 2/3 4,5/4 = 9/8 4,5/6 = 9/12
=3/4
Total 11 13,5 11/6 27/22 durata
medie de
serviciu
9/4
4 4
1 1
1 1 1 13.5 27 9
( ) ( ) (2.5 3 3.5 4.5)
6 6 12 4
s
i i
A
i i i
T t T


+ + +


9
2.25
4
i
A s E

)
)
i
( ) i ( ) i i
1 0,5 0,5
2 2 4
3 3 9
4 0 0
Total 13,5 minute
Aplicaia 4
1. Accesul unui grup de terminale la reeaua de telecomunicaii se face prin intermediul unui
mod de comunicaie care dispune de o singur linie de date de o capacitate de 10 Mbii/sec. Dac
traficul oferit de terminale spre a fi transferat n reea este de:
( i ) 600 pachete / sec cu cte 1000 de bii pachetul.
( ii) 8 Mbii/sec
exprimrile n uniti Erlang:
( ) / * ( )
( / sec) *3600
mesaje or L bii
B
D bii

n cazul nostru:
13
Modelare i simulare Seminar
3
( )
5
600 / sec*1000 6
0, 06
10*10 100
pachete
i B E
( )
6
6
8*10 / sec
0,8
10*10 / sec
bii
ii B E
bii

Not:
Trafic scurs dup definiia 3
( )
1 1
R R
s i
i i
A i i



1. Intensitatea traficului dup definiia 4
( )
1
1
1
K
s i
i
i
i i
A
T T T

2. Timpul mediu de servicii caracteristic

*
i
i
i
t s
n

3. Nr de angajri n unitatea de timp (rate de angajare)

, i
i
n
T

Probleme propuse:
1) Fie procesul Markov definit pe spatiul {0,1,2} si avand ratele de tranzitii qij indicate in
matricea tranzitiilor Q = (qij | i, j = 0, 1, 2), unde q
ii
= q
i
oricare ar fi i:
1 1 0
0 1 1
1 (1 )
Q

_




+
,
(a) Desenati diagrama tranzitiilor de stare pentru X(t).
(b) Determinatia expresia ditributiei pentru X(t).
(c) Descrieti comportarea sistemului aflat in echilibru cand devine foarte mare, respective
foarte mic.
2) Un process Markov eate definit pe spatiul {0,1,2, 3} si are ratele de tranzitii qij indicate in
matricea tranzitiilor Q = (qij | i, j = 0, 1, 2,3), unde q
ii
= q
i
oricare ar fi i:
3 2 0 1
1 3 2 0
0 1 3 2
2 0 1 3
Q
_

,
(a) Desenati diagrama tranzitiilor de stare pentru X(t).
14
Modelare i simulare Seminar
3
(b) Determinatia expresia ditributiei pentru X(t).
(c) Este procesul reversibil (sunt satisfacute ecuatiile LBE)
3) Fie sistemul caracterizat de urmatoarea diagrama a starilor
a) Precizati tipul procesului
b) Deduceti distributia la echilibru a sistemului pe baza LBE si a conditiei de normare.
4) Fie un sistem cu asteptare cu un singur server si rata de sosire dependenta de stare conform
relatiei:
1
n
n

+
Altfel spus, intervalele inter-sosiri sunt independente si respecta o distributie exponentiala de
parametru
n
cand sunt in starea n. Timpii de servire sunt variabile independente si respecta o
distributie exponentiala de parametru .
a) Desenati diagrama de tranzitie a starilor ce caracterizeaza procesul considerat.
b) Gasiti expresia distributiei la echilibru a procesului
c) Gasiti timpul mediu pe care un client il petrece in sistem

15