Ministerul Educaţiei, Culturii și Cercetării al Republicii Moldova

Universitatea Tehnică a Moldovei

RAPORT
Lucrare de laborator nr.1
la Metode și Modele de Calcul II

A efectuat:
st. gr. CR-181 A. Jardan
A verificat:
conf. univ. A. Țurcan

Chişinău -2019

0
 Lucrare de laborator nr.1

Tema: Lanțuri Markov

Scopul lucrării: Studierea și analiza lanțurilor Markov.

Considetații teoretice:
În matematică, un proces Markov, sau un lanț Markov, este un proces
stochastic care are proprietatea că, dată fiind starea sa prezentă, stările viitoare sunt
independente de cele trecute. Această proprietate se numește proprietatea Markov.
Cu alte cuvinte, starea curentă a unui astfel de proces reține toată informația despre
întreaga evoluție a procesului. Lanțurile Markov au fost denumite după
matematicianul rus Andrei Markov.

Într-un proces Markov, la fiecare moment, sistemul își poate schimba sau păstra
starea, în conformitate cu o anumită distribuție de probabilitate. Schimbările de stare
sunt numite tranziții. Un exemplu simplu de proces Markov este parcurgerea
aleatoare a nodurilor unui graf, tranzițiile fiind trecerea de la un nod la unul din
succesorii săi, cu probabilitate egală, indiferent de nodurile parcurse până în acel
moment.

Teoria lanţurilor Markov şi a sistemelor de aşteptare este acea ramură a

matematicii ce studiază fenomenele de aşteptare, principalele elemente ale căreia
sunt: sursa - mulţimea unităţilor (cererilor, clienţilor) ce solicită un serviciu la un
moment dat, care poate fi finită sau infinită; sosirea unităţilor în sistemul de
aşteptare determină o variabilă aleatoare, care reprezintă numărul de unităţi ce intră
în sistem în unitatea de timp. Este necesar să se cunoască repartiţia acestei variabile
aleatoare. La originea teoriei aşteptării se găseşte determinarea “încărcării” optime a
unei server. Pentru a rezolva această problemă, este necesar să se determine cererile
de servicii (apelurile) care sosesc în mod întâmplător şi să se înregistreze timpul
necesar pentru prelucrarea acestora. Un astfel de model în care se urmăreşte
satisfacerea cât mai promptă a cererilor de servicii în condiţii economice cât mai
avantajoase se numeşte model (sistem) de aşteptare (servire).

Un proces stochastic X este o familie de variabile aleatoare (Xτ)τ∈τ definite pe

acelaşi spaţiu de probabilitate cu valori reale în acelaşi spaţiu de valori Ω şi indexate
după un parametru τ∈τ⊆R . Un proces stochastic se reprezintă prin:
{ Xτ∈Ω, τ∈τ }.
Un proces stochastic X este un proces Markov ( sau markovian ) dacă şi numai dacă
are loc relaţia numită proprietatea lui Markov:

1
 Un lanţ Markov este un proces Markov cu un spaţiu discret de stări. N+ este
mulţimea numerelor naturale La baza conceptului de proces Markov se află
imaginea pe care o avem despre un sistem dinamic fără postacţiune, adică un
sistem al cărui evoluţie viitoare (la momentul τ) nu depinde decât de starea
prezentă a procesului (cea de la momentul τn ) dar şi de ceea ce s-a petrecut în
trecutul său (la momentele premergătoare τ0<τ1<...<τn-1). Altfel spus, pentru astfel
de procese stochastice, ultima stare cunoscută determină complet, din punct de
vedere probabilistic, comportarea viitoare a sistemului.

Procesele Markov sunt procese fără memorie.

Timpul petrecut de un lanţ LM într-o stare dată i, numită durata de aflare în

starea i are o lege de distribuţie exponenţial-negativă pentru lanţuri Markov în timp
continuu (LMTC) şi o lege de distribuţie geometrică pentru lanţuri Markov în timp
discret (LMTD). Durata de aflare în orice stare a lui LMTD este strict egală cu o
unitate de timp, numită epocă, perioadă sau tact.

Studiul comportării lanţurilor Markov în funcţie de timp poate fi efectuat în două

direcţii mari:
♦ studierea în regim tranzitoriu, adică determinarea probabilităţilor de aflare în stare
starea sau o submulţime de stări pentru orice τ>0. Pentru aceasta se vor folosi şi
matricele stocastice R(s,τ) pentru orice (s,τ), în particular R(0,τ) şi relaţiile :

♦ studierea în regim de echilibru, adică se va căuta o distribuţie a probabilităţilor

staţionare de stare , astfel încât pentru orice i:

O stare i este: a) tranzitorie dacă Pr(ξii<∞)<1; b) recurent - nulă dacă

Pr(ξii<∞)=1 şi E[ξii]=∞; c) recurent - nenulă dacă Pr(ξii<∞)=1 şi E[ξii]≠∞, unde
E[ξii] este numită durata medie de recurenţă a stării i. O stare i este absorbantă
dacă ea este singurul element din clasa sa de echivalenţă E şi că această clasă este
închisă.

Un lanţ Markov este ireductibil dacă ansamblul de stări Ω formează o singură

clasă de echivalenţă E. Asfel, îndată ce un lanţ atinge o stare absorbantă, acolo
pentru totdeauna el şi va rămâne. Legătura între aceste două clasificări este dată de
faptul că toate stările unei clase de echivalenţă pentru E sunt de acelaşi tip, adică
tranzitorii, recurent - nule sau recurent - nenule. Pentru un lanţ Markov în timp
discret ele, de asemenea, toate sunt aperiodice sau periodice de aceeaşi perioadă.

Orice lanţ DLM omogen, aperiodic cu un spaţiu finit de stări discrete şi

ireductibil este un lanţ ergodic.
Orice lanţ LMTC omogen cu un spaţiu finit de stări discrete şi ireductibil este
ergodic.
2
Mersul lucrării:

Tabelul 1:

Tabelul 2:

3
 Tabelul 3:

Tabelul 4:

Unde:
Psb- Probabilitatea aflării sistemului în stare bună.
Psr- Probabilitatea aflării sistemului în stare rea.
Csb- Costul sistemului în stare bună.
Csr- Costul sitemului în stare rea.
Ct- Costul total al sistemului.
Ci-Valoare aleatoare a intervalui (-180;180);

4
 Graficul 1:
(compararea probabilității aflării sitemului în stare bună din tab. 4 și tab.1)

Graficul 2:
(compararea probabilității aflării sitemului în stare rea din tab. 4 și tab.1)

5
 Graficul 3:
(compararea costului sitemului în stare bună din tab. 4 și tab.1)

Graficul 4:
(compararea costului sitemului în stare rea din tab. 4 și tab.1)

6
 Graficul 5:
(compararea costului total al sitemului din tab. 4 și tab.1)

Analiza rezultatelor și concluzii:

În urma efectuării lucrarii date de laborator, și anume completarea tabelelor cu indicii

respectivi, adică probabilitatea aflării sitemului în stare bună/rea, costul sistemului în stare
bună și rea și costul total al sistemului, si crearea graficelor respective am ajuns la
următoarele concluzii:
Am observant că graficul 1 și 3 ce caracterizeaza probabilitatea aflării sitemului n stare
bună si costul întregului sistem stare bună se aseamană din punctul de vedere că pe
ambele grafice, atât Psb4 și Psb, cât și Csb4 și Csb sunt câte 2 curbe paralele, neavand
puncte de intersecție,(cu cât mai mult crește valoare lui x, cu atăt mai tare crește și
valoarea lui y) ceea ce înseamnă ca sunt independente una față de cealaltă.
De asemenea, graficul 2 și , care caracterizează probabilitatea aflării sitemului în stare rea
și costul sistemului în stare rea se aseamană din punctul de vedere ca pe ambele grafice,
atât Psr4 și Psr, cât și Csr4 și Csr sunt cate 2 curbe ce au începutul în două vecinătăți
succesorii, care, cu fiecare pas se apropie de axa x,(cu cât mai mare este valoarea lui x, cu
atât mai mica a lui y) apropiindu-se și/sau intersectându-se una cu cealalta într-un punct,
cee ace înseamnă ca ele sunt 2 valori dependente una de cealalta.
Graficul cel din urmă, Graficul 5, reprezintă costul total al sistemului, este unul
independent de celelalte 4, diferențiindu-se prin faptul ca ambele curbe Ct4 și Ct se
aseamană, Ct4, din tabelul 4, fiind cu cateva unități de segment mai departe de axa x față
de Ct din graficul 1. Ambele valori sunt independente. Cu cât valoarea lui x este mai mare,
cu atât mai sus se ridică curba respective.