Temă 5

Lanţuri Markov

1. Fie lanţul Markov X ( t ) din figura alăturată. Notăm cu X t starea lanţului la

momentul t.

a) Scrieţi matrice de trecere P

b) Calculaţi P ( X 2 = 3 X 0 = 1)
⎛1 1 1⎞
c) Presupunând că X0 = ⎜ ⎟ calculaţi distribuţia de probabilitate pentru
⎝3 3 3⎠
X1 .
d) Presupunând că lanţul pleacă din starea 1 calculaţi distribuţia de probabilitate
pentru X 2 .
⎛1 1 1⎞
e) Presupunând că X 0 = ⎜ ⎟ calculaţi probabilitatea de a obţine traiectoria
⎝3 3 3⎠
( 3, 2,1,1,3) .

⎛ 0 0,5 0,5 ⎞
2. Fie un lanţ Markov X ( t ) cu matricea de trecere P = ⎜ 0, 75 0 0, 25 ⎟⎟ . Notăm cu
⎜
⎜ 0 0 1 ⎟⎠
⎝
X t starea lanţului la momentul t.

⎛1 1 1⎞
Presupunând că X 0 = ⎜ ⎟ calculaţi distribuţia de probabilitate pentru X 1 .
⎝3 3 3⎠
a) Presupunând că lanţul pleacă din starea 1 calculaţi distribuţia de probabilitate
pentru X 2 .
⎛1 1 1⎞
b) Presupunând că X 0 = ⎜ ⎟ calculaţi probabilitatea de a obţine traiectoria
⎝3 3 3⎠
( 3, 2,1,1,3) .

3. Fie lanţul Markov X ( t ) din figura alăturată. Notăm cu X t starea lanţului la momentul
t.
 Numim probabilitate de atingere hiA = P ( X t ∈ A pentru t ≥ 0 X 0 = i ) şi notăm
⎛ P ( X t ∈ A pentru t ≥ 0 X 0 = 1) ⎞
⎜ ⎟
hA = ( hiA )i =1, N = ⎜ #
t
⎟ şi notăm variabila aleatoare care
⎜⎜ ⎟⎟
⎝ P ( X t ∈ A pentru t ≥ 0 X 0 = N ) ⎠
defineşte momentul primei intrări în mulţimea A cu TA = min {t ≥ 0 X t ∈ A} .
a) Calculaţi vectorul h4
b) Dacă A = {1, 4} şi dacă plecăm din starea 2 calculaţi media variabilei aleatoare TA
( media timpului până la absorbţie).
⎧0 dacă i ∈ A
⎪
( Ind. Stim că miA = ⎨1 + pij m jA dacă i ∉ A )
∑
⎪⎩ j∉A

⎛0 1 0 0⎞
⎜ ⎟
⎜0 0 2 1 ⎟
4. Fie matricea stohastică P = ⎜ 3 3⎟ .
⎜1 0 0 0 ⎟
⎜⎜ ⎟⎟
⎝1 0 0 0 ⎠
a) Să se deseneze graficul probabilităţilor de trecere
b) Să se decidă dacă lanţul Markov este convergent (calculând eventual valorile
proprii ale matricei P ).
c) Să se calculeze repartiţia staţionară a acestui proces.

5. Pentru ce valori ale lui α ( 0 ≤ α ≤ 1) lanţul Markov definit de matricea

⎛ 3 1 ⎞
⎜ 4 0⎟
4
⎜ ⎟
P = ⎜1 − α 0 α ⎟ este convergent? Care este atunci repartiţia sa limită?
⎜ 0 1 0⎟
⎜ ⎟
⎝ ⎠

Teoria aşteptării

6. Compania americană All American Aviation are, la magazia de scule, un angajat care
poate servi în medie 12 persoane pe oră. Angajaţii din secţiile de producţie sosesc la
această magazie în medie la fiecare 6 minute. Calculaţi următoarele caracteristici ale
sistemului.
 (a) Utilizarea magaziei de scule. ( ρ )
(b) Timpul mediu de aşteptare la magazia de scule.
(c) Timpul mediu de aşteptare în coadă.
(d) Numărul mediu de persoane în zona magaziei.
(e) Numărul mediu de persoane în coadă.
(f) Probabilitatea ca angajatul de la magazia de scule să nu servească pe nimeni.
(g) Probabilitatea ca sosind la magazie sistemul să fie ocupat.
(h) Probabilitatea ca timpul de aşteptare în sistem să fie mai lung de 30 min.
(i) Probabilitatea ca la sosire în sistem să fie 4 angajaţi din secţiile de producţie.
(j) Probabilitatea de a găsi mai mult de 3 angajaţi din secţiile de producţie în sistem.

7. Compania ABC vrea să închirieze una din două maşini de copiere. Prima marcă,
marca A este capabilă să îndeplinească în medie 20 de sarcini pe oră şi închirierea ei
costă 50 de dolari pe zi. A doua marcă, marca B este capabilă să îndeplinească în
medie 24 de sarcini pe oră şi închirierea ei costă 80 de dolari pe zi. Compania are un
program zilnic de 10 ore şi în medie maşina trebuie să îndeplinească 18 sarcini pe oră.
Maşinile sunt servite de muncitori veniţi din diverse compartimente care sunt plătiţi cu
5 dolari pe oră. Care dintre cele două maşini ( A sau B) ar trebui să fie închiriată de
companie?

8. O companie distribuie produsele sale cu ajutorul camioanelor. Timpul mediu de

încărcare este de 20 de minute pe camion. În medie camioanele sosesc în ritmul de
două pe oră. Compania consideră că actualul sistem de încărcare este satisfăcător dar
şoferii companiei se plâng de faptul că trebuie să aştepte mai mult de jumătate din
timp. Analizaţi situaţia şi decideţi cât de mult ar putea economisi compania prin
scurtarea timpului de încărcare ştiind că o oră de aşteptare pentru un camion costă 30
de dolari, iar programul companiei este de 8 ore zilnic.
Compania poate închiria şi o linie de încărcare automată a camioanelor care poate
încărca 10 camioane pe oră şi care costă cu 200 de dolari pe oră mai mult decât
sistemul actual. Se justifică înlocuirea sistemului actual?

9. Într-un magazin clienţii sosesc în medie câte 5,8 pe oră. Servirea unui client durează
în medie 10 minute. Proprietarul magazinului este îngrijorat de faptul că s-ar putea
forma o coadă foarte lungă care să afecteze vânzările. Este necesar să se angajeze un al
doilea vânzător?

10. Clienţii intră în magazinul A în medie 3 pe minut urmând o distribuţie Poisson. În

magazin lucrează un singur casier care serveşte un client în medie în 15 secunde,
conform unei distribuţii exponenţiale.
a) În această situaţie care sunt parametrii λ şi μ ai distribuţiilor specificate?
b) Care este procentul din timp în care casierul este ocupat?
c) Care este procentul din timp în care casierul este în aşteptare?
d) Care este lungimea medie a cozii?
e) Câte minute aşteaptă în medie un client în coadă?
f) Care este timpul petrecut de un client în sistem ( de la intrarea în magazin până la
ieşirea din magazin)?
g) Calculaţi probabilitatea ca numărul clienţilor în sistem să fie 1, 2 şi 3
11. În magazinul din problema precedentă se mai angajează un casier care are aceeaşi rată
de servire ca şi primul. Presupunem că rata intrărilor în magazin nu se schimbă.
a) Care este lungimea medie a cozii?
b) Care este timpul mediu de aşteptare în coadă?
c) Care este timpul mediu petrecut de client în sistem?
d) Calculaţi probabilitatea ca numărul clienţilor în sistem să fie 1, 2 şi 3.

12. Dacă X este o variabilă aleatoare repartizată Poisson de parametru λ > 0 să se

găsească estimaţia de verosimilitate maximă pentru λ.
13. Dacă X este o variabilă aleatoare cu densitatea de repartiţie
2
( x −θ )
1 −
f ( x,θ ) = e 2θ
x ∈ \,θ > 0 , se cere estimaţia de verosimilitate
2πθ
maximă pentru parametrulθ .

14. Să se găsească estimaţia de verosimilitate maximă pentru parametrul θ al distribuţiei

geometrice dată de densitatea de repartiţie
⎧⎪θ (1 − θ ) x −1 dacă θ ∈ ( 0,1) , x ∈ `
f ( x,θ ) = ⎨ .
⎪⎩ 0 dacă θ ∈ ( )
0,1 , x ∉ `