Lanturi Markov 2 PDF Free

Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov
Rezumat
Lucrarea intitulată „Modele de predicţie a funcţionării unui sistem mecanic pe baza

aplicării lanţurilor Markov” este structurată pe patru capitole şi prezintă, pe langă partea
teoretică a proceselor stochastice de tip lanţ Markov şi aplicaţii practice ale acestora.
Capitolul 1 numit Procese stochastice şi lanţuri Markov cuprinde noţiuni teoretice privind
Lanturile Markov, care, au fost denumite după matematicianul rus Andrei Markov. Într-un proces
Markov, la fiecare moment sistemul îşi poate schimba sau păstra starea, în conformitate cu o
anumită distribuţie de probabilitate. Schimbările de stare sunt numite tranziţii. Un exemplu
simplu de proces Markov este parcurgerea aleatoare a nodurilor unui graf, tranziţiile fiind trecerea
de la un nod la unul din succesorii săi, cu probabilitate egală, indiferent de nodurile parcurse până
în acel moment. Practica oferă numeroase exemple, în care anumite valori caracteristice ale unui
sistem, formând aşa numitele stări discrete ale sistemului, variază o dată cu timpul, astfel încât ele
nu pot fi prevăzute cu exactitate. Un asemenea proces, în care una sau mai multe valori
caracteristice lui variază aleator în timp, îl numim “proces stochastic”. Procesele stochastice
permit modelarea matematică a numeroaselor component ale sistemelor tehnice, informatice,
economice, sociale etc.
În acest capitol urmează sa fie redate succint principalele definiţii şi proprietăţi ale
proceselor stochastice şi ale lanţurilor Markov (LM), clasificarea acestora în conformitate cu
modul cum ele sunt "vizitate" în cursul timpului funcţionării lanţului. De asemenea, este
prezentată şi noţiunea de agregare Markoviană, ce constă în a partiţiona spaţiul de stări Ω ale
unui lanţ în subansambluri (Ωk)k=1,...,K în aşa mod încât, comportamentele de stări ale unor şi
aceleaşi Ωk , să fie stochastic echivalente. În practică se întâlnesc deseori şi sisteme dinamice cu

stări discrete, pentru care durata de aflare într-o oarecare stare i, fiind o variabilă aleatoare,
depinde de această stare şi de starea următoare de trecere şi ea nu este necesar distribuită
conform legii exponenţial-negative. Evoluţia sistemului este astfel definită de starea curentă şi de
starea ce urmează. Acest tip de procese stochastice sunt numite procese semi-Markov.
Deoarece lanţurile Markov sunt procese stochastice, nu se poate şti cu exactitate ce se
întâmplă în fiecare stare; de aceea, sistemul trebuie descris în termeni de probabilitate.
Capitolul 2 numit Analiza structurala a lanturilor Markov prezintă modele probabilistice de
studiu a fiabilităţii bazate pe lanţuri Markov pe baza caroră funcţionarea oricărui element al unui
sistem mecanic se caracterizează printr-o succesiune de stări care descriu regimurile de
funcţionare normale sau de avarie. Datorită naturii probabilistice a stărilor prin care trece
instalaţia respectivă, se poate admite că evoluţia procesului este descrisă de un proces aleatoriu.
Evoluţia procesului respectiv este definită de o familie de variabile care descriu traiectoria
procesului. Cunoaşterea stărilor sistemului la momentele consecutive t1, t2,...,tn, anterioare lui t,
contribuie la cunoaşterea stării în momentul t prin colectarea unor informaţii referitoare la starea
din momentele anterioare, dar cuprinse toate în starea cea mai recentă, respectiv starea din
momentul tn. Trebuie ţinut cont de faptul că, în general, un sistem poate ajunge într-o anume stare
prin mai multe succesiuni de stări, modul în care sistemul respectiv a ajuns aici influenţând
funcţionarea sa ulterioară, şi deci şi indicatorii care caracterizează fiabilitatea sistemului pentru
1
momentul tn. Procesul care are o asemenea evoluţie, caracterizată de faptul că, starea în care
va trece sistemul depinde atât de starea în care se găseşte acesta cât şi de modul în care
sistemul a ajuns în această stare, se numeşte proces Markov. De asemenea, în acest capitol se
mai prezintă şi algoritmul de rezolvare a unui fenomen redat prin lanţul Markov, şi exemple de
realizare a lanţurilor Markov cum ar fi: un studiu de caz ce presupune prognozarea numărului de
produse vândute de către cele mai mari companii de telefonie mobilă pe piaţa din România, pe
baza datelor din ultima perioadă, prognozare care se va baza pe utilizarea lanţurilor Markov.
Capitolul 3 este numit Procese Markov. Aici se prezintă faptul că procesele Markov sunt
caracterizate prin aceea că, apariţia unei anumite stări este condiţionată doar de un număr
determinat de stări anterioare. Dacă numărul acestor stări anterioare este r, atunci este vorba de
un proces Markov de ordinul r.
Procesele Markov de ordinul 1 ocupă un loc important în studiul proceselor de trafic ce
caracterizează reţeaua de telecomunicaţii în ansamblul ei. Procesele de naştere şi moarte ca
subclasă importantă a proceselor Markov de ordinul 1 se adaptează perfect modului de apariţie şi
deservire a traficului în sistemul global de telecomunicaţii. Aceste procese sunt caracterizate de
un spaţiu discret de stări şi de un parametru temporal continuu.
Pe langă partea teoretică a proceselor Markov, în acest capitol sunt prezentate şi patru
aplicaţii ale acestor procese.
Capitolul 4 numit Programul Toolkit şi Analiza de tip Markov, prezinta programul
Toolkit şi modul de utilizare a acestuia, crearea unui proiect Markov, ce foloseste modulul ITEM
Toolkit Markov pentru a modela şi analiza un sistem simplu de două componente de aşteptare.
Sistemul constă din două componente identice care operează în modul de „aşteptare la cald”. Se
presupune că cedările asociate componentei de aşteptare nu sunt detectate până când nu este se
pune o întrebare în acest sens. Deasemea, în acest capitol, se prezintă şi alte aplicaţii necesare
înţelegii modului de aplicare şi utilizare a lanţurilor Markov în predicţia funcţionării sistemelor
dinamice.
2
CUPRINS
Capitolul 1. Procese stohastice şi lanţuri Markov.....................................................................5

1.1 Noţiuni şi definiţii generale................................................................................5
1.2 Clasificarea stărilor unui lanţ Markov................................................................7
1.3 Lanţuri Markov în timp discret...........................................................................8
1.4 Lanţuri Markov în timp continuu........................................................................8
1.5 Agregare markoviană...........................................................................................9
1.6 Procese semi-Markov........................................................................................10
1.7 Proprietăţi de bază ale lanţurilor Markov............................................................13
1.8 Lanţuri Markov regulate......................................................................................14
1.9 Rezolvarea numerică a lanţurilor Markov.........................................................15
Capitolul 2. Analiza structurală bazată pe utilizarea lanţurilor Markov....................................17

2.1. Modele probabilistice de studiu a fiabilităţii bazate pe lanţuri Markov.............17
2.2. Algoritm de rezolvare a unui fenomen redat prin lanţul Markov.......................24
2.3. Exemple de realizare a lanţurilor Markov..........................................................25
Capitolul 3. Procese Markov.....................................................................................................30

3.1. Procesul general de naştere şi moarte..................................................................31
3.2. Procesul de naştere pură......................................................................................33
Capitolul 4. Modele de aplicare a lanţurilor Markov................................................................39

4.1. Programul Toolkit şi Analiza de tip Markov.......................................................39
4.1.1.Prezentarea programului Toolkit.......................................................................39
4.1.2 Crearea unui proiect Markov.............................................................................40
4.1.3 Analiza rezultatelor............................................................................................48
4.2. Un model de predicţie a vremii probabile............................................................51
4.3. Un model de predicţie a funcţionării unui sistem mecanic format din trei
componente.................................................................................................................................52
4.4. Funcţionarea unui sistem format dintr-un calculator, o imprimantă şi un plotter..55
3
4
Capitolul 1. Procese stohastice şi lanţuri Markov
În matematică, un proces Markov, sau un lanţ Markov, este un proces stohastic care are
proprietatea că, dată fiind starea sa prezentă, stările viitoare sunt independente de cele trecute.
Această proprietate se numeşte proprietatea Markov. Cu alte cuvinte, starea curentă a unui astfel
de proces reţine toată informaţia despre întreaga evoluţie a procesului. Lanţurile Markov au fost
denumite după matematicianul rus Andrei Markov. Într-un proces Markov, la fiecare moment,
sistemul îşi poate schimba sau păstra starea, în conformitate cu o anumită distribuţie de
probabilitate. Schimbările de stare sunt numite tranziţii. Un exemplu simplu de proces Markov
este parcurgerea aleatoare a nodurilor unui graf, tranziţiile fiind trecerea de la un nod la unul din
succesorii săi, cu probabilitate egală, indiferent de nodurile parcurse până în acel moment.
Practica oferă numeroase exemple în care, anumite valori caracteristice ale unui sistem, formând
aşa numitele stări discrete ale sistemului, variază o dată cu timpul, astfel încât, ele nu pot fi
prevăzute cu exactitate. Un asemenea proces în care una sau mai multe valori caracteristice lui
variază aleator în timp îl numim “proces stohastic”.
1.1. Noţiuni şi definiţii generale
Procesele stohastice permit modelarea matematică a numeroaselor componente ale

sistemelor tehnice, informatice, economice, sociale etc.
În cele ce urmează vom reda succint principalele definiţii şi proprietăţi ale proceselor
stohastice şi ale lanţurilor Markov (LM).
Definiţia 1.1. Un proces stohastic X este o familie de variabile aleatoare(𝑋𝜏 )𝜏𝜖𝝉 definite
pe acelaşi spaţiu de probabilitate cu valori reale, în acelaşi spaţiu de valori Ω şi indexate după
un parametru τ∈τ⊆R.
Un proces stohastic se reprezintă prin:
{Xτ∈Ω,τ∈τ} (1.1)
De obicei, precizarea mulţimii τ coincide cu intervalul de timp al evoluţiei diverselor clase
de procese stohastice. Astfel, dacă τ ={τ1,τ2,...,τn} este o mulţime finită, atunci procesul stohastic
este echivalent cu un vector aleator, care determină vectorul de stare al sistemului studiat.
În termeni probabilistici, a descrie evoluţia unui proces stohastic înseamnă cunoaşterea
probabilităţilor tuturor evenimentelor de forma: "la momentul τ procesul stohastic se găseşte în
starea (Xτ=x)", precum şi a probabilităţilor de realizare simultană a unui număr de astfel de
evenimente pentru diverse momente τi∈τ şi diverse mulţimi ei⊆R, 1≤i≤n. Cu alte cuvinte, este
necesar să fie cunoscute probabilităţile de forma:
Pr( X τ ∈e1,...,X τn∈en)
1 (1.2)
pentru orice n∈N, orice τi∈τ şi orice ei⊆R, 1≤i≤n. Acest fapt se manifestă prin cunoaşterea
funcţiilor de repartiţie n – dimensionale:
5
X τ1 ...τn(x, x2 ,...,xn)=Pr( X τ1≤x1,...,X τ n≤xn)

(1.3)
În acest context se mai spune că legea probabilistică a unui proces stohastic este dată de
legea de repartiţie a tuturor vectorilor aleatori cu probabilităţile (1.2).
În ipoteza că parametrul τ∈τ este timpul, se poate face şi presupunerea particulară că,
momentele 𝜏0 , 𝜏1 , … , 𝜏𝑛 sunt ordonate şi anume că 𝜏0 < 𝜏1 < 𝜏2 < ⋯ < 𝜏𝑛 < 𝜏, fapt care apare natural.
Într-o astfel de situaţie, dacă observăm procesul stohastic la momentul 𝜏𝑛 , pe care îl considerăm
ca "prezent", putem presupune "trecutul" procesului pentru 𝜏𝑖 <τ, 0≤i≤n şi în mod firesc ne
interesează "viitorul" acestui proces pentru τ. Un astfel de interes ne conduce în mod natural şi
direct la evaluarea probabilităţilor condiţionate de forma:
Pr( X τ≤x |X τ n=xn ,...,X τ0≤x0 )
, (1.4)
care înseamnă probabilitatea ca procesul stohastic să se afle la momentul viitor τ în starea Xτ=x,
condiţionat de faptul că la momentele trecute 𝜏0 < 𝜏1 < 𝜏2 < ⋯ < 𝜏𝑛 < 𝜏 s-a aflat succesiv în stările
X τ0=x0,....,X τ n=x n, starea x0 fiind starea iniţială a acestui proces.
Probabilităţile de forma πx(τ)=Pr(Xτ=x), 𝜏0 < 𝜏1 < 𝜏2 < ⋯ < 𝜏𝑛 < 𝜏 se numesc, în contextul de
mai sus, probabilităţi absolute de stare şi se referă la evenimente de forma: "procesul se găseşte
la momentul τ în starea Xτ=x", fără a se face vreo referire la trecutul procesului stohastic.
Ca şi alte concepte matematice, nici procesele stohastice nu pot fi studiate global, fiind
necesară o clasificare a acestora după anumite criterii.
O primă clasificare poate fi făcută pe baza mulţimii parametrilor procesului stohastic:
a) dacă τ este un interval mărginit al dreptei reale, atunci avem procese stohastice de tip
continuu în raport cu parametrul timp;
b) dacă τ este o mulţime discretă, spre exemplu τ=Z (numere întregi) sau τ=R+(mărimi reale),
atunci avem procese stohastice de tip discret în raport cu parametrul τ şi care se mai numesc
lanţuri.
O altă clasificare poate fi făcută în funcţie de mulţimea valorilor procesului şi anume:
a) dacă mulţimea valorilor procesului este nenumărabilă (spre exemplu, un interval real),
atunci avem procese cu valori continue;
b) dacă mulţimea valorilor procesului este cel mult numărabilă, atunci avem procese cu
valori discrete.
Cel mai important criteriu de clasificare se referă la modul în care sunt legate între ele
variabilele aleatoare Xτ, ceea ce permite şi un studiu adecvat al diferitelor tipuri de procese
stohastice.
Definiţia 1.2. Un proces stohastic X este un proces Markov (sau markovian) dacă şi numai
dacă are loc relaţia numită proprietatea lui Markov:
∀n∈N+∴∀𝜏0 < 𝜏1 < 𝜏2 < ⋯ < 𝜏𝑛 < 𝜏,∴∀(x0,x1,...,xn,x),
Pr( X τ≤x |X τn=xn ,...,X τ0≤x0)= Pr( X τ≤x |X τn=xn)
Un lanţ Markov este un proces Markov cu un spaţiu discret de stări.

La baza conceptului de proces Markov se află imaginea pe care o avem despre un sistem
dinamic fără postacţiune, adică un sistem al cărui evoluţie viitoare (la momentul τ) nu depinde
6
decât de starea prezentă a procesului (cea de la momentul τn) dar şi de ceea ce s-a petrecut în
trecutul său (la momentele premergătoare 𝜏0 < 𝜏1 < 𝜏2 < ⋯ < 𝜏𝑛−1 ). Altfel spus, pentru astfel de
procese stohastice, ultima stare cunoscută determină complet, din punct de vedere probabilistic,
comportarea viitoare a sistemului. Pentru exemplificare putem considera cazul transmisiei in
formaţie când, în anumite condiţii, noul semnal care este emis are în vedere semnalul precedent
emis şi nu toată emisiunea realizată până în acel moment. Cu alte cuvinte, procesele Markov
sunt procese fără memorie.
1.2. Clasificarea stărilor unui lanţ Markov
Stările unui lanţ Markov sunt clasificate în conformitate cu modul cum ele sunt "vizitate" în
cursul timpului funcţionării lanţului.
Prima clasificare este fondată pe momentele de reîntoarcere în starea dată. Notăm ξi
momentul i de schimbare de stare, iar ξij=min{τ/τ>ξi∧Xτ=j/X0=i} momentul primei treceri în
starea j din starea i.
Definiţia 1.3. O stare i este: a) tranzitorie dacă Pr(ξii<∞)<1; b) recurent–nulă dacă
Pr(ξii<∞)=1şiE[ξii]=∞;c)recurent-nenulă dacă Pr(ξii<∞)=1 şi E[ξii]≠∞, unde E[ξii] este numită
durata medie de recurenţă a stării i.
Pentru o stare recurentă i a unui lanţ Markov în timp discret, dacă δ este cel mai mare divizor
comun c.m.m.d.c.) al numerelor întregi n, astfel încât Pr(Xn=i/X0=i)>0, atunci starea i este
numită periodică de perioada δ,dacă δ>1, şi aperiodică dacă δ=1.
A doua clasificare este fondată pe mulţimea trecerilor dintr-o stare în alta. Astfel, sub
ansamblul de stări este numit închis dacă:
∀i ∈ Ω′ ′, ∃𝜏 > 0, 𝑟𝑖𝑗 (𝜏) ≠ 0 ⇒ 𝑗 ∈ Ω′
adică este imposibil de a părăsi. Fie E o relaţie în Ω :iEj dacă şi numai dacă lanţul poate trece
din i la j şi invers, adică dacă există cel puţin un τ≥0 astfel că rij(τ)>0, ceea ce determină o relaţie
de echivalenţă E, adică fiecare clasă constituie un ansamblu de stări astfel încât din fiecare se
poate, pe parcursul timpului, să se atingă toate alte stări ale acestei clase.
Definiţia 1.4. O stare i este absorbantă dacă ea este singurul element din clasa sa de
echivalenţă E şi că această clasă este închisă.
Un lanţ Markov este ireductibil dacă ansamblul de stări Ω formează o singură clasă de
echivalenţă E.
Astfel, îndată ce un lanţ atinge o stare absorbantă, el va rămâne acolo pentru totdeauna.
Legătura între aceste două clasificări este dată de faptul că toate stările unei clase de
echivalenţă pentru E sunt de acelaşi tip, adică tranzitorii, recurent-nule sau recurent-nenule.
Pentru un lanţ Markov în timp discret ele sunt aperiodice sau periodice de aceeaşi perioadă.
Restricţia unui lanţ la o clasă de echivalenţă E închisă duce la un lanţ ireductibil. Din aceste
considerente, în afara unei menţiuni explicite, în continuare ne vom restrânge la lanţuri
ireductibile.
7
1.3. Lanţuri Markov în timp discret
Un lanţ Markov în timp discret este totalmente determinat de distribuţia iniţială şi matricea
sa stohastică R(1), notată simplu R şi numită matrice de probabilităţi de trecere 𝜏 ale lanţului:
rij=Pr(Xn+1=j/Xn=i). Astfel, pentru orice n>0 : R(n)=Rn.
Teorema 1.1. Orice lanţ DLM omogen, aperiodic cu un spaţiu finit de stări discrete şi
ireductibil este un lanţ ergodic. Distribuţia limită π a probabilităţilor de stare este independentă
de distribuţia iniţială: πi=1/E[ξii] fiind mărimea inversă a duratei medii de recurenţă în starea i.
Ea este unica soluţie a sistemului de ecuaţii Kolmogorov:
(1.5)
𝜋̅ = 𝜋̅ ∗ 𝑅, ∑ 𝜋𝑖 = 1
𝑖∈Ω
Distribuţia probabilităţilor de stare care verifică 𝜋̅ = 𝜋̅ ∗ 𝑅 este numită staţionară.
1.4. Lanţuri Markov în timp continuu
Echivalentul de matrice R al lanţurilor LMTD pentru lanţuri Markov în timp continuu LMTC
este noţiunea de generator sau matrice dinamică.
Teorema 1.2. Fie X un lanţ LMTC omogen cu un spaţiu finit de stări discrete, redat de o
𝑑𝑅(0)
matrice R(τ), ce este derivabilă la dreapta în 0. Matricea 𝐷 = este numită matrice
𝑑𝜏
generatoare sau matrice dinamică a lui X, astfel încât :
𝑑𝑅(𝜏)
= 𝐷 ∙ 𝑅(𝜏) = 𝑅(𝜏) ∙ 𝐷
𝑑𝜏
de unde R(𝜏)=exp(D.𝜏).
Astfel, un lanţ LMTC este totalmente definit de matricea sa dinamică D şi distribuţia
probabilităţilor de stare iniţială. Matricea dinamică D verifică relaţiile:
∀𝑖 , 𝑗 ∈ Ω, 𝑖 ≠ 𝑗. 0 ≤ 𝑑𝑖𝑗<+∞
∀i∈Ω,dij=-∑𝑖∈Ω 𝑑𝑖𝑗 , dij<0,
∀i,j∈Ω,0=∑𝑖∈Ω 𝑑𝑖𝑗 ,
unde elementul dij este interpretat ca rata de trecere din starea i spre starea j, iar durata de aflare
în starea i este o variabilă aleatorie distribuită conform legii exponenţial-negative de parametrul
λi=-1/dii, numită rata de ieşire din starea i. Notăm că suma elementelor situate pe fiecare linie a
matricei D este egală cu 0.
O matrice care verifică aceste proprietăţi este numită D-matrice dinamică. Dacă se va studia
un regim tranzitoriu al unui lanţ LMTC se vor utiliza relaţiile:
𝑑𝜋⃗ (𝜏)
=𝜋⃗ (𝜏) ∙ 𝐷
𝑑𝜏
si deci
𝜋̅(𝜏) = 𝜋̅(0) ∙ 𝑒 𝐷𝜏
8
Condiţiile suficiente de ergodicitate al lanţurilor LMTC sunt rezumate de următoarea teoremă.

Teorema 1.3. Orice lanţ LMTC omogen cu un spaţiu finit de stări discrete şi reductibil este
ergodic. Distribuţia limită a probabilităţilor de stare este independentă de distribuţia iniţială. Ea
este unica soluţie a sistemului de ecuaţii Kolmogorov:
π ⋅ D=0,∑ πi= 1,0 <πi< 1 i∈Ω
Cu orice lanţ CLM se pot asocial două tipuri de lanţuri DLM: un lanţ inclus şi/sau un lanţ
uniformizat.
Definiţia 1.5. Fie τn momentul n al schimbării stării procesului X. Procesul X(E) definit de
X(E)=X τ n este un lanţ DLM numit lanţ inclus (Embedded Markov Chain) de X redat de o
matrice dinamică U. Se poate demonstra că U=I+ diag⋅ D, unde diag{a } este o matrice
diagonală, elementele căreia sunt ai, iar I este o matrice unitară. Lanţul X(E) corespunde
schimbărilor de stare ale lui X, ignorând timpul de curs de X în fiecare stare (care este distribuit
conform legii exp(−λi.τ)). Dacă se va nota π(E) distribuţia de echilibru a lanţului X(E), obţinem:
(𝐸) 1
𝜋𝑖 ∙𝜆
𝑖
𝜋𝑖 = 1
∑𝑖∈Ω 𝜋𝑖(𝐸) ∙𝜆
𝑖
Fie, pe de altă parte ,λ≥maxλ} işi X(Z) este procesul stohastic obţinut pentru lanţul ∀i
1
Markov Zλ cu o matrice dinamică K λ=I+𝜆 ⋅ D subordonată unui proces tip Poisson i de parametru
𝑖
λ, matricea stohastică de trecere R(Z)(τ) a căruia este definită de:

(𝑍) (𝜆𝜏)𝑛 ∙ exp⁡(−𝜆𝜏) 𝑛
𝑅 (𝜏) =∑ ∙ 𝐾𝜆
𝑛!
𝑛≥0
Definiţia 1.6. Procesul X(Z) are aceleaşi probabilităţi de trecere în regim de echilibru ca şi
procesul X. Lanţul DLM definit de Zλ este numit un lanţ uniformizat de X.
Lanţul Zλ corespunde unei discretizări sau unei uniformizări ale lanţului X, în instantanee
distincte de intervale de timp Δτ suficient de mici pentru ca probabilitatea mai mult de o
schimbare de stare a lui X în acest interval de timp Δτ să fie mică, de ordinul O(Δτ), astfel încât,
𝑂(∆𝜏)
lim = 0.
𝜏→∞ ∆𝜏
1.5. Agregare markoviană
Principiul de agregare exactă, constă în a partiţiona spaţiul de stări Ω ale unui lanţ în
subansambluri (Ωk)k=1,...,K în aşa mod încât comportamentele de stări a unor şi aceleaşi Ωk să
fie stohastic echivalente.
La evaluarea performanţelor unui sistem se va folosi o agregare, subansambluri de stări ale
cărei termeni au o anumită interpretare în comportarea acestui sistem, considerată ca o
macrostare. Metoda de agregare, în particular, este folosită în analiza markoviană a unor modele
ale proceselor de calcul.
9
Definiţia 1.7. Un lanţ Markov X poate fi agregat, urmând partiţia (Ωk)k=1,...,K, dacă
procesul X(A) cu un spaţiu de stări definit astfel încât:

∀τ≥0, Xτ(A)=Ωk, Xτ∈Ωk
este ,de asemenea,un lanţ Markov.
I.G.Kemeny şi J.L.Snell au demonstrat rezultatul următor, care determină condiţia de
agregare a unui lanţ Markov.
Teorema 1.4. Un lanţ Markov poate fi agregat, oricare ar fi distribuţia iniţială, dacă:
(k )
∀h, k ∈{1,...,K},∀w, w′ ∈ Ω :
∑ 𝑟𝑊,𝑊ℎ = ∑ 𝑟𝑤′ ,𝑊ℎ = 𝑟̌
𝑘,ℎ
𝑊ℎ ∈Ω(ℎ) 𝑊ℎ ∈Ω(ℎ)
pentru un DLM
∑ 𝑑𝑊,𝑊ℎ = ∑ 𝑑𝑤′ ,𝑊ℎ = 𝑑̌
𝑘,ℎ
𝑊ℎ ∈Ω(ℎ) 𝑊ℎ ∈Ω(ℎ)
pentru un CLM
Matricea stohastică de probabilităţi de trecere a unui lanţ agregat DLM este 𝑅̃ = [𝑟̃ 𝑘,𝑘 ], iar
matricea dinamică a unui lanţ CLM este⁡𝐷 ̃
̃ =[ 𝑑𝑘,𝑘 ].
În general, are loc relaţia K<<∑ | Ω (k)| , astfel încât, calculul probabilităţilor de ∀k stare în
regim de echilibru să fie mai uşor de efectuat pentru 𝑅̃ ⁡(respectiv 𝐷 ̃ ) decât pentru R (respectiv
D). Invers, aceste probabilităţi nu permit, decât în cazuri particulare, determinarea
probabilităţilor pentru fiecare stare a lanţului original în regim de echilibru.
1.6. Procese semi-Markov
În practică se întâlnesc deseori şi sisteme dinamice cu stări discrete, pentru care durata de
aflare într-o oarecare stare i, fiind o variabilă aleatoare, depinde de această stare şi de starea
următoare de trecere şi ea nu este necesar distribuită conform legii exponenţial-negative.
Evoluţia sistemului este astfel definită de starea curentă şi de starea ce urmează. Acest tip de
procese stohastice sunt numite procese semi-Markov.
Definiţia 1.8. Un proces stohastic X, cu un spaţiu finit Ω de stări discrete, este numit proces
semi-Markov (Semi-Markov Process, SPM) dacă există o suită crescătoare de instantanee
(τn)n∈N astfel încât este o variabilă aleatoare definită ca :
∀i,j ∈ Ω,∀n ∈ N , τ0<τ1< ...<n ,≥0,∀i0 ,..., n−1∈ Ω,
Pr( 𝑋𝜏𝑛+1 = 𝑗, 𝜏𝑛+1 − 𝜏𝑛 ≤ 𝜏⁡𝑋𝜏𝑛 ⁡ = 𝑖,

𝑋𝜏𝑛−1 = 𝑖𝑛−1 ⁡, … … … . , 𝑋𝜏0 = 𝑖0 )
= Pr⁡(𝑋𝜏𝑛+1 = 𝑗, , 𝜏𝑛+1 − 𝜏𝑛 ≤ 𝜏⁡𝑋𝜏𝑛 ⁡ = 𝑖, )
lim 𝜏𝑛 = +∞
𝑛→∞
10
Această probabilitate de trecere este notată hij(τ), iar matricea stohastică H(τ)=(hij(τ)) este
numită nucleu semi markovian.
Notăm că τn este instantaneul n de tranziţie dintr-o stare oarecare, însă procesul X totuşi
poate să rămână în aceeaşi stare pe parcursul acestei tranziţii. Studiul în regim de echilibru al
proceselor semi-Markov SPM este facilitat de existenţa, ca şi pentru lanţuri CLM, al unui lanţ
DLM derivat de SPM, numit, de asemenea, lanţ inclus, care corespunde observării procesului X
în instantaneele de tranziţie.
Propoziţia 1.1. Procesul stohastic în timp discret X(E) definit de X(E)=Xn este un n lanţ
DLM cu o matrice stohastică de treceri= lim 𝐻(𝜏)⁡numit lanţ inclus (LMI) al procesului X.
𝜏→∞
Proprietăţile stărilor: tranzitorii, recurent-nule sau recurent-nenule, astfel că, şi caracterul
ireductibil sau nu, sunt aceleaşi pentru procesul semi-Markov X şi lanţul său inclus. Din contra,
periodicitatea unei stări este o proprietate distinctă pentru X şi X(E): starea i poate fi periodică
pentru X de perioadă:
δ=max{d>0 /(∃n ∈ N, n≠0, τ=nd ) ⇒Pr( X τ= i /X 0= i)=0} însă nu şi pentru
,
lanţul său inclus şi invers.
Următoarea teoremă, demonstrată de E.CINLAR oferă un criteriu de ergodicitate a
proceselor semi-Markov.
Teorema 1.5. Orice proces semi-Markov aperiodic ce are un lanţ Markov inclus X(E)
omogen cu un spaţiu finit de stări discrete, ireductibil şi aperiodic este un proces SP Mergodic.
Distribuţia-limită π a probabilităţilor de stare este independentă de distribuţia iniţială. Dacă π(E)
este distribuţia de echilibru de X(E), iar E(Θi) este durata medie de aflare în starea i, atunci
(𝐸)
𝜋𝑖 ∙𝐸(Θ𝑖 )
avem: 𝜋𝑖 = (𝐸) (1.6)
∑𝑗∈Ω 𝜋𝑖 ∙𝐸(Θ𝑖 )
Rezultatele acestei teoreme, care vor fi folosite la analiza semi markoviană a proceselor de
calcul, permit calcularea distribuţiei probabilităţilor de stare π în regim de echilibru al procesului
SPM, referindu-ne la lanţul său inclus.
Cum deja s-a menţionat, procesele semi-Markov descriu mai adecvat funcţionarea
sistemelor reale. Un proces markovian cu probabilităţile de trecere rij dintr-o stare i în altă stare
j, (i,j∈J) devine un proces semi-Markov dacă distribuţia duratei de aflare în fiecare stare este
Fi(t) .Cu scopul de a determina probabilităţile staţionare qi de aflare a unui lanţ semi-Markov în
starea i∈J cu n=|J| stări finite vom considera un lanţ Markov DLM cu aceleaşi probabilităţi de
treceri.
n
Pentru acest lanţ DLM sunt verificate ecuaţiile (1.6) cu condiţia de normalitate: ∑𝑛𝑖=1 𝜋𝑖 = 1.
i
Vom considera în lanţul semi-Markov cu un număr N de treceri suficient de mare. În timpul
efectuării a N treceri lanţul DLM în mediu Ni=πi .N ori se va afla în starea i∈J. Dacă este
cunoscută durata medie Θi de aflare a lanţului semi-Markov în starea i:
∞
0 < Θ𝑖 = ∫ (1 − 𝐹𝑖 (𝜏))𝑑𝜏 < +∞
0
𝑖 acestui lanţ în starea i pentru acelaşi număr N
atunci se poate calculat durata medie de aflare⁡𝜏̅⁡a
de treceri:
11
𝜏̅𝑖 = 𝜋𝑖 ∙ 𝑁 ∙ Θ𝑖⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(1.7)
Durata medie necesară lanţului semi-Markov pentru a efectua N treceri este:
𝜏̅𝑖 = ∑𝑛𝑗=1 𝜏̅𝑗 = 𝑁 ∙ ∑𝑛𝑗=1 𝑛𝑗 ∙ Θ𝑗 (1.8)
Deoarece qi este probabilitatea staţionară că lanţul semi-Markov se va afla în starea i∈J,
ceea ce înseamnă că pe această durată, durata medie de aflare în starea i a acestui lanţ este:
𝜏̅𝑖 = 𝑞𝑖 ∙ 𝜏̅ = 𝑞𝑖 ∙ 𝑁 ∙ ∑𝑛𝑗=1 𝜋𝑗 ∙ Θ𝑗 ⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡ (1.9)
Din relaţiile (1.7) şi (1.9), obţinem:
𝑞
𝜋𝑖 = Θ𝑖 ∙ ∑𝑛𝑗=1 𝜋𝑗 ∙ Θ𝑗 (1.10)
𝑖
Substituind expresia lui πi din (1.10) în ecuaţia Kolmogorov (1.6) şi divizând la (cu Θi≠0,)
ambele părţi ale ecuaţiilor astfel obţinute, determinăm şi sistemul de ecuaţii algebrice pentru
calcularea probabilităţilor staţionare qi ale lanţului semi-Markov:
𝑛
𝑞𝑖 𝑞𝑘
= ∑ 𝑟𝑘𝑖 ∙
Θ𝑖 Θ𝑘
𝑘=1
i=1,2,...,n;
∑𝑛𝑖=1 𝑞𝑖 = 1⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(1.11)
Este evident că, condiţia de existenţă a soluţiei unice a ecuaţiilor (1.11) este aceeaşi ca şi
condiţia de ergodicitate a lanţului Markov cu matricea stohastică a probabilităţilor de trecere
R=(rij)nxn.
Uneori este mai uşor de a rezolva sistemul de ecuaţii (1.6) decât sistemul (1.11). Atunci în
acest caz din (1.10) putem determina probabilitatea staţionară qi a lanţului-Markov:
𝜋𝑖 ∙ Θ𝑖
𝑞𝑖 = 𝑛
∑𝑗=1 𝜋𝑗 ∙ Θ𝑗
i=1,2,...,n. (1.12)
Pentru graful unui lanţ semi-Markov, nodurile căruia sunt ponderate cu durata medie Θi de
n i
aflare în starea respectivă i∈J ,putem determina condiţiile de conservare a fluxului de

probabilitate prin metoda tăieturilor.
Metoda tăieturilor grafului de treceri al unui lanţ semi-Markov se reduce la următoarea
procedură. Notăm mulţimea stărilor J,|J|=n ale grafului G=(J,A) lanţului semi-Markov, iar
mulţimea arcelor acestui graf este A. Astfel, dacă i,j∈J şi într-un pas poate avea loc o trecere din
starea i în starea j, adică într-o unitate de timp, atunci arcul (i,j)∈A. Fier (i,j)- probabilitatea de
trecere într-un pas din starea i în starea j, iar Θi este durata medie de aflare a lanţului semi-
Markov în starea i. Dacă arcul (i,j)∈A, atunci r(i,j)>0 şi deci r(i,j)= 1.Notăm qi- probabilitatea
staţionară că i∈j procesul semi-Markov în orice moment de timp se va afla în starea i şi este
verificată relaţia de normalitate: ∑ qi= 1i∈j
În aceste condiţii este necesar de a determina probabilităţile staţionare qi–mărimi
necunoscute de aflare a lanţului semi-Markov, în starea I exprimate prin mărimile cunoscute ale
probabilităţilor de treceri r(i,j) ale acestui lanţ şi a duratei medie Θi de aflare în starea i∈J.
Pentru aceasta vom introduce următoarea definiţie.
12
Definiţia1.9. Vom numi U-tăietură a mulţimii arcelor grafului G=(J,A), ce are următoarele
proprietăţi:
1)U⊂A; 2)Înlăturarea tuturor arcelor acestei U-tăieturi din graful G va transforma acest graf
în două sub grafuri G1=(J1,A1) şi G2=(J2,A2), care nu sunt conectate între ele,adică I=I1∪I2,
J1∩J2=∅ şi A=A1∪A2, A1∩A2=∅; 3)dacă (i,j)∈U, atunci nu este o tăietură a grafului G.
Din această definiţie reiese că o U-tăietură nu va conţine nici o buclă,adică (i,i)∉U. Deci o
U-tăietură poate fi redată în modul următor:
♦U=U1∪U2,U1∩U2=∅
♦dacă(i,j)∈U1,atunci j∈J2,i∈J1;
♦dacă(i,j)∈U2,atunci i∈J2,j∈J1.
1.7. Proprietăţi de bază ale lanţurilor Markov
Informaţiile despre tranziţiile de la o stare la alta în cadrul unui lanţ Markov pot fi
reprezentate prin matricea de tranziţie (într-un pas). Ea este formată din elementele pij -
probabilitatea de trecere într-un pas de la starea i la starea j (i, j = 1, 2, …,m). Se poate vorbi,
atunci, şi de probabilităţile de tranziţie în exact k paşi şi de o matrice formată din acestea.
Se vor face următoarele notaţii:
 pij(k) - probabilitatea condiţionată de efectuare a tranziţiei din starea i în starea j în exact k
paşi.
 P(k) - matricea de tranziţie în k paşi.
Teorema 1.6 Fie P matricea de tranziţie într-un pas a unui lanţ Markov. Atunci, matricea
P(k) de tranziţie în k paşi este:
P(k)=P∙P∙….∙P=Pk
de k ori
Relaţia din teorema 1 exprimă o proprietate de bază a lanţurilor Markov prin care acestea
se deosebesc de alte procese stohastice.
Conform proprietăţii 2 a matricei de tranziţie P, suma probabilităţilor de pe fiecare linie a
acesteia trebuie să dea 1. Această proprietate rămâne valabilă şi în cazul matricei de tranziţie în k
paşi P(k) = Pk.
Un vector poate fi reprezentat ca o matrice linie (vector linie) sau ca o matrice coloană
vector coloană).
Definiţia 1.10.Un vector linie (q1, q2, …,qn) care are proprietăţile:
a) 0≤qi≤1
b) =1
se numeşte vector de probabilitate sau vector stohastic.
O matrice ale cărei linii sunt vectori stohastici se numeşte matrice stohastică.
13
Rezultă că fiecare linie a matricei de tranziţie P este un vector de probabilitate. Acelaşi

lucru se poate spune şi despre liniile matricei de tranziţie în k paşi P(k) = Pk. De asemenea,
matricele P şi Pk sunt matrice stohastice.
1.8. Lanţuri Markov regulate
Deoarece lanţurile Markov sunt procese stohastice, nu se poate şti cu exactitate ce se

întâmplă în fiecare stare; de aceea, sistemul trebuie descris în termeni de probabilitate.
Definiţia 1.11. Fie un lanţ Markov cu m stări. Un vector de stare pentru lanţul Markov este
un vector de probabilitate X = x1 x2 … xn . Coordonatele xi ale vectorului de stare X trebuie
interpretate ca probabilitatea ca sistemul să se afle în starea i.
Atunci când se ştie cu siguranţă că sistemul este într-o anumită stare, vectorul de stare are
o formă particulară. Astfel, dacă se ştie sigur că sistemul este în starea a i-a, vectorul de stare va
avea a i-a componentă egală cu 1, iar restul 0. X = [0 0 0 … i … 0].
Comportamentul unui lanţ Markov poate fi descris printr-o secvenţă de vectori de stare.
Starea iniţială a sistemului poate fi descrisă printr-un vector de stare notat X0 . După o tranziţie
sistemul poate fi descris printr-un vector X1, iar după k tranziţii, prin vectorul de stare Xk. Relaţia
dintre aceşti vectori poate fi sumarizată prin următoarea teoremă:
Teorema 1.7. Fie un proces Markov cu matricea de tranziţie P. Dacă Xk şi Xk+1 sunt
vectori de stare care descriu un procesul după k şi k+1 tranziţii, respectiv, atunci
În particular:
Deci, vectorul de stare Xk care descrie sistemul după k tranziţii e produsul între vectorul
stării iniţiale X0 şi matricea Pk.
Observaţie.X0, X1, X2, …Xk, … sunt toţi vectori linie 1 × m.
Dacă interesează studierea unui proces stohastic după un număr mare de tranziţii, atunci
este utilă studierea comportării generale a acestuia pe termen lung. Pentru anumite tipuri de
lanţuri Markov acest lucru este posibil.
În general pentru un lanţ Markov cu m stări, posibilitatea ca sistemul să se afle în starea j
după k tranziţii depinde de starea din care s-a pornit. Astfel, p1j(k) este probabilitatea ca sistemul
să fie în starea j după k tranziţii dacă iniţial se află în starea 1. Semnificaţii similare avem pentru
p2j(k), …, pmj(k). Nu există nici un motiv ca aceste probabilităţi să fie (sau să ne aşteptăm să
devină) egale. Dar, pentru anumite lanţuri Markov există o probabilitate strict pozitivă qj asociată
cu starea j astfel încât după k tranziţii probabilităţile pij(k) devin, toate, foarte apropiate de qj.Cu
alte cuvinte, speranţa ca sistemul să ajungă în starea j după k tranziţii (unde k este suficient de
mare) este cam aceeaşi, indiferent de starea din care se pleacă.
14
Lanţurile Markov care au o astfel de comportare pe termen lung formează o clasă aparte
care este definită după cum urmează.
Definiţia 1.12. Un lanţ Markov cu matricea de tranziţie P se numeşte regulat dacă există
un întreg k pozitiv astfel încât Pk să aibă toate elementele strict pozitive.
1.9. Rezolvarea numerică a lanţurilor Markov
Problemă. Fiind dat un lanţ CLM cu matricea sa dinamică D de dimensiunea (nxn), în a

calcula vectorul probabilităţilor staţionare de Rn,astfel încât :
𝜋
⃗ ∙𝐷 =0
𝑛
𝜋
⃗ ≥ 0, ∑ 𝜋𝑖 = 1
𝑖=1
Mărimea π ieste probabilitatea staţionară că sistemul se va afla în starea i.
Pentru un lanţ DLM, cu matricea sa stohastică a probabilităţilor de trecere R ,se poate
formula căutarea soluţiei de echilibru a sistemului de ecuaţii (1.17) sub aceeaşi formă,dacă vom
pune D=R-In, unde In este matricea unitară de dimensiunea (nxn).
Reamintim că, în majoritatea cazurilor n este foarte "mare" (de exemplu, n≥102) şi deci
matricea D are o talie "mare". Însă în general, ea posedă multe elemente nule şi astfel deseori se
vor implementa scheme de stocare numai a elementelor nenule ale matricei dinamice D. Există
numeroase metode de rezolvare. Aici vom descrie numai în linii mari metodele numerice ce se
impun, luând seama de situaţiile care se vor întâlni în lucrarea dată.
Astfel, analiza lucrărilor în acest domeniu dă posibilitate de a distinge trei mari clase de
metode ce pot fi folosite pentru matricele dinamice D, fără a menţiona anumite proprietăţi
particulare: metode directe, metode iterative, metode de proiecţie şi metode specifice.
La folosirea metodelor directe: metoda eliminării GAUSS, factorizării LU, de iterare inversă
etc, se vor calcula dintr-o dată valorile lui πi.
r
Metodele iterative sunt mai simple şi mai uşor accesibile decât metodele directe. Ele se folosesc,
în general, pentru sisteme de ecuaţii mari (n>50) şi în mod special pentru sisteme cu matrice r
rare, respective şi cu mulţi coeficienţi nuli. Ideea de bază a acestor  metode constă în folosirea
unei expresii de tipul 𝜋 ⃗ (𝑘+1) = 𝑓(𝜋⃗ (𝑘+1) ), unde⁡𝜋
⃗ (𝑘) ⁡⁡𝑒𝑠te aproximaţia mărimii 𝜋
⃗ obţinută la
pasul k. Funcţia f determină metodele folosite:
1) metoda puterii iterate,
2) metoda GAUSS-SEIDEL,
3) metoda JACOBI,
4) metoda supra relaxării (SOR) etc.
Metoda puterii iterate constă în a regăsi valoarea proprie c umodulul cel mai mare unei
matrice R şi un vector propriu asociat ei.
n
Deoarece R este o matrice stohastică, se ştie că această valoare proprie este 1 şi dacă
matricea este ireductibilă, atunci există un singur vector propriu la stânga π>0, ei asociat,care
verifică relaţia :
15
∑ 𝜋𝑖 = 1
𝑖=1
Se obţine astfel 𝜋
⃗ , utilizând iteraţiile
⃗ (𝑘+1) = 𝜋
𝜋 ⃗ (𝑘) ∙ 𝑅
În cazul lanţurilor DLM incluse matricea R este definită de relaţia:
1
𝑅=𝐼+ ∙𝐷
𝛼+𝜀
unde marimea α este aleasă astfel ca R să fie o matrice stohastică, adică:
i 𝑛
∝≥ max ∑ 𝑑𝑖𝑗
∀𝑖
𝑗=1,𝑗≠𝑖
,iar ε este o mărime mică reală pozitivă
Astfel metoda puterii iterate constă în a folosi iteraţiile :
1
⃗ (𝑘+1) = 𝜋
𝜋 ⃗ (𝑘) + ∙𝐷
∝ +𝜀
Pe plan teoretic dacă R este ireductibilă atunci convergenţa este asigurată, însă ea poate fi
lentă şi depinde de modulul cel mai mare al valorilor proprii ce sunt subunitare (inferioare lui 1):
cu cât mai aproape de 1 este valoarea acestui modul, cu atât convergenţa va fi mai lentă.
Notăm că calculul direct de,
𝜋⃗ (𝑘+1) = 𝜋 ⃗ (0) ∙ 𝑅 𝑘
in general,nu este practicabil pentru acest tip de matrice, deoarece ele sunt rarefiate şi in acest
k
caz matricea R din contra, va conţine din ce în ce mai puţine elemente nule. La rezolvarea
sistemului de ecuaţii (1.17) sunt preferabile metodele iterative sau de proiecţie, deoarece ele sunt
folosite din următoarele considerente:
- în aceste metode se folosesc numai produse vector cu matricea D sau matrice precondiţionate
de D. Acest tip de operaţii propagă caracterul rarefiat al matricei D la matricele introduse, care
permit astfel de a efectua implementări reale, ţinând cont de acest caracter. Aceasta este mult
mai dificil pentru metodele directe.
- eventual se poate folosi o valoare iniţiala 𝜋⃗ (0) ,⁡luând în consideraţie proprietăţile sistemului de
ecuaţii, care duce la o convergenţă rapidă a acestor metode;
- este posibilă oprirea calculului printr-o metodă iterativă îndată ce precizia dorită este atinsă,
când trebuie de terminat calculul cu o metodă directă ;
- matricea D nu este nici odată modificată, ceea ce împiedică producerea şi creşterea erorilor de
rotunjire.
Metodele specifice sunt fondate pe proprietăţile matricei dinamice D (sau matricei stohastice
R) deduse, fie direct din analiza lui D, fie din proprietăţile modelului, care generează D. Ele pot
fi particulare unui tip dat de matrice sau constituie adaptări la unele metode generale.
16
Capitolul 2. Analiza structurală bazată pe utilizarea lanţurilor Markov
2.1. Modele probabilistice de studiu a fiabilităţii bazate pe lanţuri Markov
Funcţionarea oricărui element al unui sistem mecanic se caracterizează printr-o succesiune

de stări care descriu regimurile de funcţionare normale sau de avarie. Datorită naturii
probabilistice a stărilor prin care trece instalaţia respectivă, se poate admite că evoluţia procesului
este descrisă de un proces aleatoriu. Evoluţia procesului respectiv este definită de o familie de
variabile care descriu traiectoria procesului. Cunoaşterea stărilor sistemului la momentele
consecutive t1, t2,...,tn anterioare lui t contribuie la cunoaşterea stării în momentul t prin colectarea
unor informaţii referitoare la starea din momentele anterioare, dar cuprinse toate în starea cea mai
recentă, respectiv starea din momentul tn. Trebuie ţinut cont de faptul că în general un sistem
poate ajunge într-o anume stare prin mai multe succesiuni de stări, modul în care sistemul
respectiv a ajuns aici influenţând funcţionarea sa ulterioară, şi deci şi indicatorii care
caracterizează fiabilitatea sistemului pentru momentul tn. Procesul care are o asemenea evoluţie
caracterizată de faptul că starea în care va trece sistemul depinde atât de starea în care se găseşte
acesta cât şi de modul în care sistemul a ajuns în această stare se numeşte proces Markov.
Pentru un proces Markov vom nota cu P(t,e;θ,ξ) probabilitatea ca procesul să fie în starea ξ
la momentul θ ştiind că a fost în starea e la momentul t. Se spune că un proces Markov este
omogen în timp dacă probabilităţile P nu sunt afectate de o translaţie în timp, adică:
pentru orice valoare a lui t1.

Procesele Markov care nu sunt omogene se numesc procese Markov discrete. Schema
tehnologică a oricărei instalaţii mecanice este alcătuită din componente dispuse într-o anumită
configuraţie. Diferitele combinaţii posibile de componente în funcţiune, scoase temporar din
funcţiune sau în reparaţie ca urmare a avariilor definesc stările prin care poate evolua instalaţia.
Unele dintre aceste stări conduc la satisfacerea cerinţelor consumatorilor şi se numesc stări de
succes, iar altele nu satisfac (parţial sau total) aceste cerinţe şi se numesc stări de defect sau de
insucces. În parcursul exploatării ansamblul trece de la o stare la alta pe măsură ce unele
componente ale sale se defectează, altele reintră în funcţiune ca urmare a reparării iar altele sunt
înlocuite. În regim normal de funcţionare se consideră că defectarea unui element sau reintrarea
sa în funcţionare după o reparaţie nu depinde în mod direct de timp, ci numai de intervalul de
timp de la intrarea lor în funcţiune, respectiv de la intrarea lor în reparaţie, ceea ce corespunde
proceselor Markov omogene.
Dacă notăm cu {x(t); t>0} familia de variabile care caracterizează lanţul Markov finit şi cu
timp continuu, şi cu P{x(s)=i} probabilitatea ca la momentul t=s sistemul să se găsească în starea
i (unde i este o stare în care se poate afla sistemul), desemnăm prin pij(s; s1) probabilitatea ca
sistemul să fie în starea j la momentul s1 ştiind că a fost în starea i la momentul s unde s<s1:
17
Dacă s=s1 se deduce că: pij(s;s1)=δij unde δij este simbolul lui Kroneker (ia valoarea 1 dacă
i=j şi 0 dacă i≠j). Prin [pij(s;s1)] desemnăm matricea de tranziţie între stările i şi j pentru
momentele s şi s1. Considerând momentele s şi s+t şi notând:
se poate scrie că probabilitatea ca la momentul s+t sistemul să se găsească în starea j este egală cu
suma produselor dintre probabilitatea ca la momentul anterior s sistemul să se găsească în starea i
şi probabilitatea ca sistemul fiind în momentul s în starea i să treacă în momentul următor s+t în
starea j:
unde N este numărul de stări în care se poate afla sistemul.

Pentru lanţurile Markov omogene probabilităţile de tranziţie pij satisfac relaţiile:
unde prin p(t) am notat matricea de tranziţie [pij(t)]. Dacă derivăm prima relaţie în raport cu s în
punctul s=0 se obţine următoarea ecuaţie matriceală:
care reprezintă un sistem de ecuaţii diferenţiale. Dacă o derivăm în raport cu t punctul t=0
obţinem:
sau, schimbând notaţia parametrilor t şi s:
Introducând notaţia q=p'(0), din relaţiile anterioare se observă că matricea q, ale cărei
elemente satisfac relaţiile:
permite determinarea elementelor matricei p: dacă sunt cunoscute elementele lui q pot fi
determinate elementele matricei p.
Transcriind matriceal relaţia care ne dă probabilitatea ca sistemul să se afle în starea j:
unde prin P(s) am notat vectorul linie având ca elemente Pj(s) şi derivând în raport cu t în punctul
t=0 se obţine:
sau transcriind pentru variabila t:
18
Matricea probabilităţilor de tranziţie p este o matrice pătrată de ordinul n (nr. de stări

posibile ale sistemului) ale cărei elemente pij reprezintă probabilitatea ca sistemul fiind în starea i
să treacă în starea j. Elementele acestei matrice au următoarele proprietăţi:
- termenii matricei sunt probabilităţi (sunt nr. pozitive cuprinse între 0 şi 1);
- suma termenilor fiecărei linii este egală cu 1.
Defectarea unui element oarecare este un eveniment a cărui probabilitate de realizare într-
un interval de timp elementar Δt are valoarea λ⋅Δt, unde λ reprezintă rata de defectare. De
asemenea, repararea unui element oarecare este un eveniment a cărui probabilitate de realizare
într-un interval de timp elementar Δt are valoarea μ⋅Δt, unde μ este rata de reparare.
Probabilitatea de producere a două evenimente simultan într-un interval elementar este
considerată nulă.
Ca exemplu de aplicare a metodei lanţurilor Markov la determinarea indicatorilor de
fiabilitate ai instalaţiilor care conţin şi elemente ce pot fi reparate sau înlocuite, considerăm cazul
cel mai simplu al unui singur element care are rata de defectare λ şi rata de reparare μ.
În acest caz, lanţul Markov are numai două stări:
- starea 0: elementul este în stare de funcţionare;
- starea 1: elementul este defect.
Probabilităţile de tranziţie au următoarele expresii :
iar matricea q va fi:
Pornind de la matricea q se poate trasa un graf al stărilor care să ilustreze stările posibile şi
modul în care se realizează tranziţia între aceste stări; nodurile grafului reprezintă stările posibile,
iar dacă este posibilă tranziţia din starea i în starea j, se trasează un arc între nodurile
corespunzătoare acestor stări, căruia i se asociază un număr egal cu qij. Graful stărilor pentru un
singur element este reprezentat în figura 1.
Fig. 1. Graful stărilor pentru un element reparabil
Notând cu P0(0) şi P1(0) probabilităţile ca sistemul să se găsească în momentul iniţial în

stările 0 şi respectiv 1, sistemul de ecuaţii diferenţiale care ne permit determinarea probabilităţilor
este:
Pentru rezolvarea sistemului se ţine cont că:
19
P0+P1=1
ceea ce conduce la o soluţie particulară a ecuaţiei neomogene ce se obţine pentru P0(t)=ct., şi va fi
de forma:
Punând condiţia iniţială ca la t=0 valoarea lui P(t) să fie P(0), vom putea obţine
probabilităţile P0 şi P1:
Dacă se ştie că starea iniţiala procesului este starea 1, P0(0) şi P1(0) au valorile 0 şi 1, ceea
ce conduce la :
Pentru un sistem de n elemente conectate în serie, lanţul Markov are următoarele stări:
- starea 0: starea de funcţionare a tuturor elementelor sistemului;
- starea i: starea de avarie a elementului i.
Probabilităţile de tranziţie asociate au expresiile:
iar graful de tranziţie a stărilor este reprezentat în figura 2
Fig.2. Graful de tranziţie a stărilor pentru un sistem de n elemente reparabile legate funcţional în
serie
Dacă notăm:
𝑛
𝜆0 = ∑ 𝜆𝑖
𝑖=1
𝜇0= 𝜆0
𝜆0
∑𝑛
𝑖=1 𝜇𝑖
şi considerăm că starea iniţiala sistemului este starea 0 (sistemul este în momentul iniţial în stare
de funcţionare) rezultă sistemul de ecuaţii diferenţiale care dă probabilităţile absolute:
20
𝑃0′ (𝑡) = −𝜆0 𝑃0 (𝑡) + ∑ 𝜇𝑖 𝑃𝑖 (𝑡);⁡⁡𝑃0 (0) = 1

{
𝑖=1
𝑃𝑖′ (𝑡) = 𝜆𝑖 𝑃0 (𝑡) − 𝜇𝑖 𝑃𝑖 (𝑡);⁡⁡𝑃𝑖 (0) = 1⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡
Soluţiile acestui sistem sunt:
𝜇0 + 𝜆0 𝑒 −(𝜆0 +𝜇0 )𝑡
𝑃0 (𝑡) =
𝜇0 + 𝜆0
1 − 𝑒 −(𝜆0 +𝜇0 )𝑡
𝑃𝑖 (𝑡) =
𝜇0 + 𝜆0
Dacă se consideră numai evoluţia procesului din starea 0 în stările i, aceasta este echivalent
cu μi=0, ceea ce permite să se obţină funcţia de distribuţie a perioadelor de funcţionare ale
sistemului (probabilitatea ca perioada de funcţionare până la defectare să fie mai mică decât
timpul:
𝑃{𝑇𝑓 ≤ 𝑡} = 1 − 𝑃0 (𝑡) = 1 − 𝑒 −𝜆0 𝑡
din care, dacă se ţine cont că pentru un singur element această funcţie de distribuţie are expresia:
𝑃{𝑇𝑓 ≤ 𝑡} = 1 − 𝑒 𝜆𝑡
rezultă că sistemul de n elemente conectate funcţional în serie poate fi echivalat cu un singur
element care are intensitatea de defectare :
𝜆𝑒 = 𝜆0
În cazul unui sistem format din n elemente identice care funcţionează în paralel, astfel
încât sistemul este în funcţiune dacă cel mult m elemente sunt defecte, lanţul Markov asociat are
m+1 stări, cu i fiind notată starea care corespunde la i elemente defecte, celelalte n-i elemente
fiind în funcţiune. Acestui sistem îi corespunde graful de tranziţie a stărilor următor:
Fig.3. Graful de tranziţie a stărilor pentru un sistem de n elemente reparabile legate funcţional în
paralel, necesitând funcţionarea a cel puţin m elemente
Probabilităţile de tranziţie au următoarele expresii:

𝑃𝑖,𝑖+1 (Δ𝑡) = (𝑛 − 𝑖) ∙ 𝜆 ∙ ∆𝑡
𝑃𝑖,𝑖−1 (Δ𝑡) = 𝑖 ∙ 𝜇 ∙ ∆𝑡
𝜆𝑖 = (𝑛 − 𝑖)𝜆 + 𝑖 ∙ 𝜇
𝑃𝑖,𝑖 (Δ𝑡) = 1 − [(𝑛 − 𝑖)𝜆 + 𝑖 ∙ 𝜇}∆𝑡 = 1 − 𝜆𝑖 ∙ ∆𝑡
restul probabilităţilor de tranziţie fiind nule deoarece dintr-o stare cu i elemente defecte se poate
trece numai în starea cu i+1 elemente defecte (prin defectarea a încă unui element) sau în starea
cu i-1 elemente defecte (prin repararea unui element defect).
Probabilităţile absolute ale procesului sunt soluţiile următorului sistem de ecuaţii
diferenţiale:
𝑃0′ (𝑡) = −𝜆0 𝑃0 (𝑡) + 𝜇𝑃0 (𝑡);
{𝑃𝑖′ (𝑡) = (𝑛 − 𝑖 + 1)𝜆𝑃𝑖−1 (𝑡) − 𝜆𝑖 𝑃𝑖 (𝑡) + (𝑖 + 1)𝜇𝑃𝑖+1 (𝑡);
𝑃𝑛′ (𝑡) = 𝜆𝑃𝑛−1 (𝑡) − 𝜆𝑛 𝑃𝑛 (𝑡);
21
cu condiţiile iniţiale P0(0)=1, P1(0)=0,..., Pi(0)=0,..., Pn(0)=0 şi pentru care soluţiile au forma:
𝑛−1
𝜆 𝜇 + 𝜆 ∙ 𝑒 −(𝜆+𝜇)𝑡
𝑃𝑖 (𝑡) = 𝐶𝑛𝑖 [ (1 − 𝑒 −(𝜆+𝜇)𝑡 )] ∙ [ ]
𝜆+𝜇 𝜆+𝜇
După cum se observă, pentru sistemele complexe, determinarea probabilităţii de
funcţionare a instalaţiei presupune rezolvarea unui sistem de ecuaţii diferenţiale cu un număr cu
atât mai mare de ecuaţii cu cât sistemul este mai complex. Rezolvarea acestui sistem nu este
totdeauna uşoară. Pentru timpi de observaţie mari, determinarea acestor probabilităţi absolute se
uşurează deoarece ele tind să devină independente de starea iniţială a procesului şi rezolvarea
sistemului de ecuaţii diferenţiale se reduce la rezolvarea unui sistem de ecuaţii algebrice. Dacă
vom considera un sistem cu n stări, sistemul este format din ecuaţii de forma:
𝑛
∑ 𝑃𝑖 ∙ 𝑞𝑖𝑗 = 0; ⁡⁡⁡⁡𝑗 = 1,2, … . . , 𝑛

𝑖=1
la care se adaugă ecuaţia:
𝑛
∑ 𝑃𝑖 = 1
𝑖=1
Pi fiind probabilitatea absolută ca sistemul să se găsească în starea notată cu i. În mod practic, în
unele stări în care se poate găsi procesul sunt îndeplinite condiţiile de funcţionare impuse
instalaţiei respective. Presupunem că aceste stări sunt stările 1, 2,...,s iar restul stărilor s+1,
s+2,...,n sunt stări de defect pentru instalaţie. Când instalaţia se găseşte în una din stările de la 1 la
s se spune că este în stare de succes. Notând cu PS probabilitatea ca instalaţia să se afle în stare de
succes (funcţionare) şi cu PR probabilitatea ca ea să se afle în stare de refuz (defect), cele două
probabilităţi se pot calcula în funcţie de probabilităţile absolute ale stărilor cu formulele:
𝑛
𝑃𝑆 = 𝑃1 + 𝑃2 + ⋯ + 𝑃𝑠 = ∑ 𝑃𝑖
𝑖=1
𝑛
𝑃𝑅 = 𝑃𝑠+1 + 𝑃𝑠+2 + ⋯ + 𝑃𝑛 = ∑ 𝑃𝑖 = 1 − 𝑃𝑆
𝑖=𝑠+1
Considerăm un sistem format din două elemente legate în serie; acest sistem are asociat un
lanţ Markov cu trei stări:
- starea 0: ambele componente în funcţiune;
- starea 1: componenta 1 este defectă;
Matricea q pentru acest lanţ este:
−(𝜆⁡1 + 𝜆2 ) 𝜆⁡1 𝜆⁡2
𝑞=[ 𝜇1 −𝜇1 0 ]
𝜇2 0 −𝜇2
Rezolvând sistemul de ecuaţii format:
−𝑃0 (𝜆⁡1 + 𝜆2 ) + 𝑃1 𝜇1 + 𝑃2 𝜇2 = 0
𝑃0 𝜆1 − 𝑃1 𝜇1 = 0
{
𝑃0 𝜆2 − 𝑃2 𝜇2 = 0
𝑃0 + 𝑃1 + 𝑃2 = 0
obţinem valorile probabilităţilor P0(t),P1(t),P2(t) :
22
1
𝑃0 = 𝜆⁡1 𝜆⁡
1 + 𝜇 + 𝜇2
1 2
𝜆⁡1
𝑃1 = 𝑃0
𝜇1
Prin compararea acestor relaţii cu cele scrise pentru un singur element, se pot obţine
valorile intensităţilor de defectare şi reparare echivalente:
𝜆𝑒 = 𝜆1 + 𝜆2
𝜆𝑒
𝜇𝑒 = 𝜆⁡ 𝜆⁡2
1
+
𝜇 1 𝜇 2
formule care pot fi generalizate pentru un sistem alcătuit din n elemente care funcţionează în
serie:
𝑛
𝜆𝑒𝑠 = ∑ 𝜆𝑖
𝑖=1
𝜆𝑒𝑠
𝜇𝑒𝑠 = 𝜆𝑖
∑𝑛𝑖=1
𝜇𝑖
În continuare considerăm două componente care sunt conectate funcţional în paralel.
Stările în care se poate găsi sistemul sunt:
- starea 0: ambele componente în funcţiune;
- starea 3: ambele componente sunt defecte;
Pentru acest sistem, matricea q are forma:
−(𝜆⁡1 + 𝜆2 ) 𝜆⁡1 𝜆⁡2 ⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡0
𝜇1 −(𝜆⁡2 + 𝜇1 ) 0⁡⁡⁡⁡⁡ 𝜆⁡2
𝑞=
𝜇2 0 −(𝜆⁡1 + 𝜇2 ) 𝜆⁡1
[ 0 𝜇2 𝜇1 −(𝜇1 + 𝜇2 )]
Prin rezolvarea acestui sistem se pot determina valorile probabilităţilor P0, P1, P2, P3 ceea ce
permite determinarea valorilor coeficienţilor echivalenţi:
1
𝑃0 = 𝜆⁡1 𝜆⁡ 𝜆⁡ 𝜆⁡
1 + 𝜇 + 𝜇2 + 𝜇1 𝜇2
1 2 1 2
𝜆⁡1
𝑃1 = 𝑃0
𝜇1
𝜆⁡1 𝜆⁡2
𝑀[∝ (𝑇)] = (𝑃0 + 𝑃1 + 𝑃2 )𝑇 = (1 + + )𝑃 ∙ 𝑇
𝜇1 𝜇2 0
𝜆⁡1 𝜆⁡2
𝑀[𝛽(𝑇)] = 𝑃3 𝑇 = 𝑃 ∙𝑇
𝜇1 𝜇2 0
1 1
𝑀[𝑣(𝑇)] = (𝜆1 𝑃1 + 𝜆2 𝑃2 )𝑇 = ( + ) 𝜆⁡1 𝜆⁡2 𝑃0 ∙ 𝑇
𝜇1 𝜇2
𝑀[∝ (𝑇)] 𝜇1 𝜇2 + 𝜆2 𝜇1 + 𝜆1 𝜇2
𝑀[𝑇𝑓 ] = =
𝑀[𝑣(𝑇)] 𝜆1 𝜆2 (𝜇1 +𝜇2 )
23
𝑀[𝛽(𝑇)] 1
𝑀[𝑇𝑓 ] = =
𝑀[𝑣(𝑇)] (𝜇 1 +𝜇2
de unde:
𝜆1 𝜆2 (𝜇1 +𝜇2 )
𝜆𝑒 =
𝜇1 𝜇2 + 𝜆2 𝜇1 + 𝜆1 𝜇2
𝜇𝑒 = 𝜇1 +𝜇2
2.2. Algoritm de rezolvare a unui fenomen redat prin lanţul Markov

Elementele structurale pot fi reprezentate printr-un vector t

S '  st1 ,...sti ,...stm 
, care pentru
fiecare t  1, n şi pentru fiecare i  1, m , t variază între 0 şi 1, iar suma elementelor structurale
i
s
este 1, pentru orice t.
Etape:
St S t / t 1  S t  S t 1
1. Se vor calcula diferenţele de ordinul întâi ale vectorului astfel: .
Elementele structurale ale fiecărui vector diferenţă
S
t / t 1 au proprietatea că suma valorilor
pozitive este egală cu suma absolută a valorilor negative.

2. În etapa a doua, matricele de trecere parţiale sunt construite pentru fiecare pereche de
perioade consecutive de timp, t/t-1. Matricele de trecere sunt matrice pătratice de forma
MTPt / t 1 m  m , unde elementele de pe diagonala principală sunt date de relaţia:
 
mtptii/ t 1  min sti1 , sti i  1, m
, . Celelalte elemente, care nu se află pe diagonala principală,
s j s i s tj/ t 1
sunt obţinute prin relaţia: mtptij/ t 1  sti / t 1  m t / t 1 , unde t / t 1 este negativă, iar
i 1  stij/ t 1

m
este pozitivă. În această formulă i 1
 stij/ t 1 este suma valorilor pozitive ale vectorului
diferenţă
S t / t 1
. Sintetic, elementele matricei
MTPt / t 1 m  m pot fi determinate astfel:

 t 1 
min s i , s j , daca i  j
t
 s j
mtptij/ t 1   sti / t 1  m t / t 1 , dacă i  j şi sti / t 1  0 şi stj/ t 1  0
 i 2  s t / t 1
ij

0, pentru celelalte elemente
i, j  1, m
3. Matricea de trecere totală MTT m  m se determină prin însumarea elementelor matricilor
parţiale de trecere:
mtt ij  t 2 mtptij/ t 1
m
4. Matricea probabilităţilor de trecere MPm  mse calculează prin raportarea fiecărui element
al matricei de trecere totală la suma liniei pe care se află respectivul element:
24
mtt ij
mp 
ij

m
j 2
mtt ij
5. În ultima etapă a algoritmului se obţine prognoza elementelor structurale pentru p perioade
viitoare prin multiplicarea transpusei matricei MPm  m, ridicată la puterea k, cu vectorul
Sˆ n p  (MP ' ) p  S n
elementelor structurale pentru ultima perioadă:
2.3. Exemple de realizare a lanţurilor Markov
Modelele Markov permit o reprezentare detaliată a cedărilor şi a proceselor de reparare, în

special atunci când sunt implicate dependenţe, şi, prin urmare, conduce la evaluări mai realiste
privind măsurile întreprinse în vederea determinării fiabilităţii sistemelor. Analiza Markov se
ocupă de evenimente rare, spre deosebire de simularea bazate pe analize, şi, prin urmare, permite
ca astfel de evenimente să fie analizate într-o perioadă rezonabilă de timp. Analiza Markov este o
tehnică utilizată pentru a obţine date numerice legate de fiabilitatea şi disponibilitatea unui sistem
sau a unei părţi a acestuia. Analiza Markov este efectuată atunci când dependenţele între cedările
mai multor piese, precum şi dependenţele între cedările componentelor şi ratele de cedare nu pot
fi uşor reprezentate folosind o combinaţie de tip arbore de defectare în vederea determinării
ratelor de cedare şi reparaţii.
În continuare se va realiza un studiu de caz ce presupune prognozarea numărului de
produse vândute de către cele mai mari companii de telefonie mobilă, pe piaţa din România, pe
baza datelor din ultima perioadă. Prognozare care se va baza pe utilizarea lanţurilor Markov. S-a
observat faptul că alegerea unei anumite mărci este influenţată de ultima opţiune pe care
consumatorul a ales-o. Pentru obţinerea rezultatelor dorite se vor urmări cele cinci etape enunţate
anterior, etape în care pentru realizarea calculelor ne vom folosi de programul Matlab.
Vectorul stărilor în această analiză este:
S = {Nokia, Samsung, LG, Sony Ericsson, HTC, Alcatel, Motorola, Blackberry, Apple}
În următorul tabel se dă evoluţia istorică a numărului unităţi vândute pentru fiecare
companie în parte:
FIRMA Numărul de Numărul de Numărul de
PRODUCĂTOARE produse produse produse
vândute în 2008 vândute în vândute în Total
[sute] 2009 [sute] 2010 [sute]
NOKIA 322 357 365 1044
SAMSUNG 1554 1529 1236 4319
LG 651 671 558 1880
SONY ERICSSON 1298 1493 1463 4254
HTC 1283 1216 901 3400
ALCATEL 665 655 551 1871
MOTOROLA 393 382 314 1089
BLACKBERRY 768 826 696 2290
APPLE 2031 1984 1459 5474
25
1. Abateri: S 2009 / 2008  S 2009  S 2008

FIRMA N S LG SE HTC AL MOT BB APP Suma
2009 357 1529 671 1493 1216 655 382 826 1984
2008 322 1554 651 1298 1283 665 393 768 2031
Abatere 35 -25 20 195 -67 -10 -11 58 -47
Abatere + 35 20 195 58 308
Abateri: S 2010 / 2009  S 2010  S 2009

FIRMA N S LG SE HTC AL MOT BB APP Suma
2010 365 1236 558 1463 901 551 314 696 1459
2009 357 1529 671 1493 1216 655 382 826 1984
Abatere 8 -293 -113 -30 -315 -104 -68 -130 -525
Abatere + 8 8
2. În continuare se vor calcula matricele de trecere de la un an la altul:

Matricea de trecere din anul 2008 în anul 2009:
TR2009/ 2008 m  m
- elementele de pe diagonala principală vor fi: min( S 2008
i i
, S 2009 )
𝑖 𝑗
- atunci când 𝑖 ≠ 𝑗 , ∆𝑆2009/2008 < 0 şi ∆𝑆2009/2008 > 0, elementul din matrice va fi egal cu
𝑗
𝑖 ∆𝑆2009/2008
valoare absolută din : ∆𝑆2009/2008 ∗ 𝑖𝑗
∑ ∆𝑆2009/2008 >0
- iar în rest elementele vor fie gale cu 0.

FIRMA N S LG SE HTC AL MOT BB APP
N 322 0 0 0 0 0 0 0 0
S 2.8409 1529 1.6233 15.8279 0 0 0 4.7077 0
LG 0 0 651 0 0 0 0 0 0
SE 0 0 0 1298 0 0 0 0 0
HTC 7.6136 0 4.3506 42.4188 1216 0 0 12.6168 0
AL 1.1363 0 0.6493 6.3311 0 655 0 1.8831 0
M 1.25 0 0.7142 6.9642 0 0 382 2.0714 0
BB 0 0 0 0 0 0 0 768 0
APP 5.3409 0 3.0519 29.7564 0 0 0 8.8506 1459
Matricea de trecere din anul 2009 în anul 2010:

TR2010/ 2009 m  m
- elementele de pe diagonala principală vor fi: min( S 2010
i i
, S 2009 )
26
𝑖 𝑗
- atunci când 𝑖 ≠ 𝑗 , ∆𝑆2010/2009 < 0 şi ∆𝑆2010/2009 > 0, elementul din matrice va fi egal cu
𝑗
𝑖 ∆𝑆2010/2009
valoare absolută din : ∆𝑆2010/2009 ∗ 𝑖𝑗
∑ ∆𝑆2010/2009 >0
- iar în rest elementele vor fie gale cu 0.

N 357 0 0 0 0 0 0 0 0
S 293 1236 0 0 0 0 0 0 0
LG 113 0 558 0 0 0 0 0 0
SE 30 0 0 1463 0 0 0 0 0
HTC 315 0 0 0 901 0 0 0 0
AL 104 0 0 0 0 551 0 0 0
M 68 0 0 0 0 0 314 0 0
BB 130 0 0 0 0 0 0 696 0
APP 525 0 0 0 0 0 0 0 1459
3. În cea de a treia etapă se va calcula matricea de trecere totală, care reprezintă suma
matricelor de trecere parţiale calculate în etapa anterioară.
FIRMA N S LG SE HTC AL MOT BB APP Total
N 679 0 0 0 0 0 0 0 0 679
S 295.8 2765 1.6 15.8 0 0 0 4.7 0 3082.9
LG 113 0 1209 0 0 0 0 0 0 1322
SE 30 0 0 2761 0 0 0 0 0 2791
HTC 322.6 0 4.4 42.4 2117 0 0 12.6 0 2499
AL 105.1 0 0.6 6.3 0 1206 0 1.9 0 1319.9
M 69.3 0 0.7 7 0 0 696 2.1 0 775.1
BB 130 0 0 0 0 0 0 1464 0 1594
APP 530.3 0 3.1 29.8 0 0 0 8.9 2918 3490.1
4. În cea de a patra etapă se calculează matricea probabilităţilor de trecere prin raportarea

fiecărui element al matricei de trecere totală la suma liniei pe care se află respectivul element:

N 1 0 0 0 0 0 0 0 0
S 0.095 0.9 0 0 0 0 0 0 0
LG 0.085 0 0.91 0 0 0 0 0 0
SE 0.010 0 0 0.989 0 0 0 0 0
HTC 0.129 0 0.001 0.016 0.84 0 0 0.005 0
AL 0.079 0 0 0.004 0 0.9 0 0.001 0
1
M 0.089 0 0 0.009 0 0 0.89 0.002 0
BB 0.081 0 0 0 0 0 0 0.91 0
APP 0.15 0 0 0.008 0 0 0 0.002 0.83
27
Probabilităţile de tranziţie sunt între cele nouă opţiuni sunt următoarele:

N S LG SE HTC AL MOT BB APP Tota
FIRM l
A
N 100% 0 0 0 0 0 0 0 0 100
%
S 9.59% 90% 0.0005 0.0051 0 0 0 0.0015 0 100
% % % %
LG 8.54% 0 91.46% 0 0 0 0 0 0 100
%
SE 1.07% 0 0 98.93% 0 0 0 0 0 100
%
HTC 12.91% 0 0.17% 1.69% 84.71 0 0 0.5% 0 100
% %
AL 7.96% 0 0.0004 0.47% 0 91.37 0 0.14% 0 100
% % %
M 8.94% 0 0.0009 0.90% 0 0 89.79 0.26% 0 100
% % %
BB 8.1% 0 0 0 0 0 0 91.9% 0 100
%
APP 15.19% 0 0.0008 0.85% 0 0 0 0.25% 83.6 100
% % %
Valorile de pe diagonala principală reprezintă probabilităţile ca consumatorul să opteze

pentru aceeaşi marcă de telefon mobil.
5. În ultima etapă a algoritmului se obţine prognoza elementelor structurale pentru anul
2011 prin multiplicarea transpusei matricii probabilităţilor de trecere, cu vectorul elementelor
structurale pentru ultima perioadă, şi anume vectorul corespunzător anului 2010.
Matricea de trecere totală reprezintă doar preferinţa actuală şi imediat următoare a
cumpărătorilor pentru o anumită marcă de telefon mobil.

N 1 0 0 0 0 0 0 0 0
S 0.095 0.9 0 0 0 0 0 0 0
LG 0.085 0 0.91 0 0 0 0 0 0
SE 0.010 0 0 0.989 0 0 0 0 0
HTC 0.129 0 0.001 0.016 0.84 0 0 0.005 0
AL 0.079 0 0 0.004 0 0.9 0 0.001 0
1
M 0.089 0 0 0.009 0 0 0.89 0.002 0
BB 0.081 0 0 0 0 0 0 0.91 0
APP 0.15 0 0 0.008 0 0 0 0.002 0.83
28
FIRMA Numărul de produse

vândute în anul 2010
[sute]
N 365
S 1236
LG 558
SE 1463
HTC 901
AL 551
M 314
BB 696
APP 1459
Prognoza privind numărul de produse din anul 2011 se obţine înmulţind cele două matrice
de mai sus şi este prezentată în tabelul următor:
FIRMA Numărul de produse
prognozate pentru
anul 2011 [sute]
N 365
S 1147
LG 542
SE 1451
HTC 840
AL 540
M 331
BB 669
APP 1289
O analiză Markov este formată din trei etape majore:
1)O analiză a stării sistemului;
2)Date privind ratele de tranziţie între sisteme;
3)Calculul în vederea obţinerii soluţiilor modelului.
29
3. Procese Markov
În cadrul proceselor aleatoare un loc deosebit îl ocupă procesele Markov caracterizate

prin aceea că, apariţia unei anumite stări este condiţionată doar de un număr determinat de stări
anterioare. Dacă numărul acestor stări anterioare este r, atunci este vorba de un proces Markov de
ordinul r.
Procesele Markov de ordinul 1 ocupă un loc important în studiul sistemelor mecanice.
Înseamnă că dacă un sistem se află la momentele de timp t0 , t1 , … , tj ,…în stări N (t0 ), N (t1 ),
…, N (tj ),…şi dacă el se comportă ca un sistem Markov de ordinul 1, atunci probabilitatea ca la
un moment următor tj+1 starea lui să fie N (t j+1) este determinată doar de starea lui din momentul
anterior, adică:
P{N (t j+1)= k N (t0)= n0, N (t1)= n1,…, N (t j)= n}=
= P{N (tj+1 ) = k N (tj ) = n} = pk (t) (3.1)
Cu alte cuvinte, aceasta se exprimă prin formularea: starea viitoare k depinde doar de
starea prezentă n sau starea prezentă înglobează în ea întregul trecut.
Pentru orice sistem este caracteristic vectorul de stare p(t ). El este structurat ca un vector
linie, având ca elemente probabilităţile absolute pn (t ) ale tuturor stărilor n ale sistemului
(0≤n≤∞).
Fig. 3.1 Tranziţii între stări la modelul Markov
În figura 3.1 se prezintă grafic această evoluţie corespunzătoare unui proces Markov de
ordinul 1. Stările sistemului numerotate începând cu 0, sunt reprezentate prin cercuri, iar prin
săgeţi sunt figurate eventualele tranziţii între stări. Pe fiecare săgeată sunt notate probabilităţile de
tranziţie:
Cu alte cuvinte, pentru ca la momentul t+ t, sistemul să se afle într-o stare nouă plecând
din starea prezentă n, la momentul t să aibă loc tranziţia: n→k , adică:
Starea k(t+Δt) =∪{starea n(t)∩salt n→k} (3.2)
ceea ce în termeni probabilistici se poate scrie ca:
pk(t+Δt)=∑pn(t)⋅pn,k(t) (3.3)
Această relaţie reprezintă modul de exprimare matematică a caracterului Markovian al
procesului, în care starea viitoare k nu depinde decât de starea prezentă n.
Relaţia 3.3 poate fi scrisă şi sub formă matriceală. Toate probabilităţile de tranziţie pn,k sunt
30
grupate într-o matrice de tranziţie T (vezi tabelul 3.1), o matrice pătratică ce are ca dimensiune
numărul total de stări posibile ale sistemului. In această matrice, suma elementelor fiecărei linii
este egală cu unitatea. Se obţine astfel relaţia matricială:
𝑝(𝑡 + Δ𝑡) = 𝑝(𝑡) ∙ 𝑇sau𝑝(𝑡) = 𝑝(0) ∙ 𝑇 (3.4)
care face posibilă determinarea vectorului de stare a sistemului în orice moment de timp, pe baza
matricei de tranziţie si a vectorului de stării vide.
3.1. Procesul general de naştere şi moarte
Orice sistem funcţionează conform unor procese în echilibru statistic, în care se nasc
cererile de serviciu, aşteaptă servirea, trăiesc o viaţă atingând o anumită vârstă, pentru ca apoi în
final să moară.
Procesele de naştere şi moarte ca subclasă importantă a proceselor Markov de ordinul 1 se
adaptează perfect modului de apariţie şi de servire sistemului. Aceste procese sunt caracterizate
de un spaţiu discret de stări şi de un parametru temporal continuu.
Prin definiţie, un proces de naştere şi moarte autorizează pentru un sistem, care la
momentul t se află în starea k = n , tranziţia la momentul următor t '(t ' >t) numai către stările
adiacente k = n +1 sau k = n −1 şi evident că starea k poate fi menţinută şi la momentul următor t'
Evoluţia dinamică a unui sistem conform unui proces de naştere şi moarte poate fi
reprezentată ca în fig. 3.2 sub forma unui lanţului Markov liniar cu număr finit N +1 de stări.
Fig. 3.2. Lanţ Markov liniar (proces general de naştere şi moarte)
Pentru simplificarea desenului nu s-a reprezentat decât pentru starea n tranziţia de tip n-
1→n (fluxul intern de probabilităţi pn,k); de asemenea nu este marcat nici intervalul t = t '−t în
care se pot produce tranziţiile, controlate prin termeni de tipul pn,k (t ) t . De fapt pn,k(t) apare ce o
rată a schimbării de stare şi care, multiplicată prin t, măsoară chiar probabilitatea tranziţiei n → k.
Pe durata intervalului t nu poate avea loc decât cel mult o singură tranziţie, iar aceasta este
permisă doar între stări adiacente. Deci conform relaţiei 3.4, se poate scrie că:
pn(t +Δt )= pn−1(t ) pn−1,n( t )+ pn+1(t ) pn+1,n( t )+ p n(t )[1− pn,n+1( t )− pn,n−1( t)] (3.5)
În regim staţionar, probabilităţile stărilor sunt independente de timp, iar valoarea

probabilităţii de tranziţie depinde, în mod direct proporţional, de lungimea intervalului în care are
loc tranziţia şi de rata pn,k a schimbării de stare, care este o constantă reală pozitivă, adică:
pn,k( t )= pn,k t + o ( t) (3.6)
Cu o (t) este notat indicele Landau definit astfel:
𝑜(∆𝑡)
lim = 0⁡⁡⁡⁡⁡⁡ (3.7)
Δ𝑡→0 ∆𝑡
31
Aşa după cum s-a precizat anterior, pentru orice proces Markov se poate forma matricea
T de tranziţie, ale cărei elemente sunt probabilităţile de tranziţie între stări. În condiţiile
echilibrului statistic se obţine ecuaţia echilibrului global scrisă ca în relaţia (3.6) şi care
probabilistic exprimă faptul că suma fluxurilor de ieşire de probabilităţi dintr-o stare este identic
egală cu suma fluxurilor de intrare:
𝑝𝑛 (𝑝𝑛,𝑛+1 + 𝑝𝑛,𝑛−1 ) = 𝑝𝑛−1 𝑝𝑛−1,𝑛 + 𝑝𝑛+1 𝑝𝑛+1,𝑛 (3.8)
Fig.3.3. Suprafeţele de conservare a fluxurilor de probabilităţi (I)
Fig. 3.4. Suprafeţele de conservare a fluxurilor de probabilităţi (II)
Se pot deduce de asemenea ecuaţiile echilibrelor locale după cum urmează:

𝑝1 𝑝0,1 = 𝑝0 𝑝0,1 𝑝𝑁−1 𝑝𝑁−1,𝑁 = 𝑝𝑁 𝑝𝑁,𝑁−1
𝑝𝑛−1 𝑝𝑛−1,𝑛 = 𝑝𝑛 𝑝𝑛,𝑛−1 𝑝𝑛 𝑝𝑛,𝑛+1 = 𝑝𝑛+1 𝑝𝑛+1,𝑛
(3.9)
Ultimele două relaţii din (3.9) indică faptul că în ecuaţia echilibrului global termenii din
cei doi membrii sunt egali doi câte doi, adică pentru o stare n tranziţiile ascendentă şi
descendentă sunt echiprobabile.
Dacă se consideră variaţia continuă a parametrului timp, este adevărat că:
𝑝𝑘 (𝑡+∆𝑡)−𝑝𝑘 (𝑡) 𝑝𝑛,𝑘 (𝑡) 𝑝𝑘,𝑘 (∆𝑡)−1
lim = lim ∑𝑛=𝑘 𝑝𝑛 (𝑡) ∙ + 𝑝𝑘 (𝑡) lim (3.10)
∆𝑡→0 ∆𝑡 ∆𝑡→0 ∆𝑡 ∆𝑡→0 ∆𝑡
Se formează în consecinţă matricea infinitezimală Q , ale cărei elemente sunt constante
reale şi anume:
𝑝𝑛,𝑘 (∆𝑡)
𝑞𝑛,𝑘 = lim
∆𝑡→0 ∆𝑡
𝑝𝑘,𝑘 (∆𝑡)−1
𝑞𝑘,𝑘 = lim ∆𝑡
(3.11)
∆𝑡→0
Relaţia (3.12) devine:
𝑝𝑘 (𝑡) = ∑𝑛=𝑘 𝑝𝑛 (𝑡) ∙ 𝑞𝑛,𝑘 + 𝑝𝑘 (𝑡) ∙ 𝑞𝑘,𝑘 (3.12)
32
Sau sub forma cunoscuta ca şi ecuaţia viitorului:

𝑝(𝑡) = 𝑝(𝑡)𝑄 (3.13)
Trebuie precizat că elementele matricei infinitezimale Q (vezi tabelul 3.1) se deduc uşor
din cele ale matricei de tranziţii T.
1
𝑄 = ∆𝑡 (𝑇 − 𝐼) (3.14)
3.2. Procesul de naştere pură
Un proces de naştere pură are o evoluţie ca cea prezentă în figura 3.5 în care s-a considerat un
proces trunchiat, adică s-a presupus un set finit de N +1 stări.
Fig. 3.5 Lanţul tranziţiilor într-un proces de naştere pură

- apare o naştere:
𝑝𝑟𝑜𝑏{𝑁(𝑡 + ∆𝑡) = 𝑛 + 1|𝑁(𝑡) = 𝑛} = 𝑝𝑛,𝑛+1 (∆𝑡) (3.15)
- nu se întâmplă nimic:
𝑝𝑟𝑜𝑏{𝑁(𝑡 + ∆𝑡) = 𝑛|𝑁(𝑡) = 𝑛} = 𝑝𝑛,𝑛 (∆𝑡) (3.16)
Ceea ce înseamnă că:
𝑝𝑛,𝑛+1 (∆𝑡) + 𝑝𝑛,𝑛 (∆𝑡) = 1 (3.17)
Procesul este omogen şi probabilităţile de tranziţie nu sunt funcţii de timp. Ele sunt
proporţionale cu ∆𝑡, adică:
𝑝𝑛,𝑛+1 (∆𝑡) = 𝜆𝑛 (∆𝑡) + 𝑜(∆𝑡) (3.18)
𝑝𝑛,𝑛 (∆𝑡) = 1 − 𝜆𝑛 (∆𝑡) + 𝑜(∆𝑡) (3.19)
𝜆𝑛 reprezintă rata medie de naşteri adică numărul mediu de cereri de serviciu ce apar în unitatea
de timp.
Mărimea intervalului de tranziţie ∆𝑡este în aşa fel aleasăîncât probabilitatea de a avea mai
mult de o naştere în ∆𝑡 să fie un infinit mic de ordin superior lui ∆𝑡, adică o(∆𝑡).
Tabelul 3.1 Matricea T pentru procesul de naştere pura

Stări în Stări în t+∆𝑡
t 0 1 ... n-1 n n+1 ... N-1 N
0 1-𝜆0 ∆𝑡 𝜆0 ∆𝑡 0 0 0 0 0
1 0 1-𝜆1 ∆𝑡 0 0 0 0 0
.... ... ... ... ... ... ... ...
33
n-1 0 0 1- 𝜆𝑛−1 ∆𝑡 0 0 0
𝜆𝑛−1 ∆𝑡
n 0 0 0 1-𝜆𝑛 ∆𝑡 𝜆𝑛 ∆𝑡 0 0
n+1 0 0 0 0 1- 0 0
𝜆𝑛+1 ∆𝑡
... ... ... ... ... ... ... ...
N-1 0 0 0 0 0 1- 𝜆𝑁−1 ∆𝑡
𝜆𝑁−1 ∆𝑡
N 0 0 0 0 0 0 1
Tabelul 3.2 Matricea Q pentru procesul de naştere pura

Stări Stări în t+∆𝑡
iîn t 0 1 ... n-1 n n+1 ... N-1 N
0 -𝜆0 𝜆0 0 0 0 0 0
1 0 -𝜆1 0 0 0 0 0
.... ... ... ... ... ... ... ...
n-1 0 0 -𝜆𝑛−1 𝜆𝑛−1 0 0 0
n 0 0 0 -𝜆𝑛 𝜆𝑛 0 0
n+1 0 0 0 0 -𝜆𝑛+1 0 0
... ... ... ... ... ... ... ...
N-1 0 0 0 0 0 -𝜆𝑁−1 𝜆𝑁−1
N 0 0 0 0 0 0 1
Pornind de la ecuaţiile viitorului şi folosind elementele din Q se obţine o distribuţie Poisson:

(𝜆𝑡)𝑛
𝑝𝑛 (𝑡) = 𝑒 −𝜆𝑡 (3.20)
𝑛!
Ea precizează de altfel probabilitatea condiţionată ca n naşteri să apară în intervalul (0,t),
dacă starea iniţială este caracterizată de o populaţie nulă, adică n0 = 0
3.3. Aplicaţii
Aplicaţia 1
Linia unui abonat telefonic se poate găsi în două stări: liber sau ocupat, notate cu 0,
respectiv 1. Ştiind că duratele celor două tipuri de stări urmează distribuţii de probabilitate
exponenţiale de medie 1/α = 5/4 , respectiv 1/β = 5 , să se determine probabilitatea de stare p0(t)
şi p1(t) în funcţie de probabilităţile iniţiale de stare p0(0)=0,3şi p1(0)=0,7.
Rezolvare:
𝑝𝑛′ (𝑡) = 𝜆𝑛−1 𝑝𝑛−1 (𝑡) − 𝜆𝑛 𝑝𝑛 (𝑡)

{
𝑝1′ (𝑡) = 𝛼𝑝0 (𝑡) − 𝛽𝑝1 (𝑡)
34
𝑝′ (𝑡) = −𝜇𝑛 𝑝𝑛 (𝑡) + 𝜇𝑛+1 𝑝𝑛+1 (𝑡)

{ 𝑛 ′
𝑝0 (𝑡) = −𝛼𝑝0 (𝑡) + 𝛽𝑝1 (𝑡)
⇒sistemul de ecuatii diferentiale a viitorului:

𝑝′ (𝑡) = −𝛼𝑝0 (𝑡) + 𝛽𝑝1 (𝑡)
{ 0′
𝑝1 (𝑡) = 𝛼𝑝0 (𝑡) − 𝛽𝑝1 (𝑡)
- relaţia de normare:
𝑝0 (𝑡) + 𝑝1 (𝑡) = 1
′ (𝑡)
𝑝0 = −𝛼𝑝0 (𝑡) + 𝛽(1 − 𝑝0 (𝑡))
′ (𝑡)
𝑝0 + (𝛼 + 𝛽)𝑝0 (𝑡) = 𝛽
𝑠𝑃0 (𝑠) + (𝛼 + 𝛽)𝑃0 (𝑠) = 𝛽
𝛽
𝑃0 (𝑠) =
𝛼+𝛽+𝑆
cu soluţia:
𝛽
𝑃0 (𝑠) = + 𝐶𝑒 −(𝛼+𝛽)𝑡
𝛼+𝛽
𝛼+𝛽 =1
𝛼
= 0,2
𝛼+𝛽
𝛼
𝐶 = 0,3 − = 0,3 − 0,2 = 0,1
𝛼+𝛽
cu soluţia:
Pentru t=0 avem condiţia: 𝑝0 = 0,3 ⇒ 𝑝0 (𝑡) = 0,2+0,1e-t
𝛼
𝑃1 (𝑡) = + 𝐾𝑒 −(𝛼+𝛽)𝑡
𝛽+𝛼
𝛼 𝛼
Pentru t=0 condiţia iniţială 𝑝1 = 0,7 ⇒ 𝑝0 (𝑡) = ⁡ 𝛽+𝛼 + 𝐾 ⇒ 𝐾 = 𝑝1 (0) − 𝛽+𝛼
𝛼
= 0,8
𝛽+𝛼
K=0,7-0,8=-0,1
Definiţia 1
Traficul este raportul dintre durata medie de serviciu şi durata medie a interapelului, ceea
ce înseamnă că e o cantitate fără dimensiuni:
(1⁄𝜇 )𝑠𝑒𝑐
𝐴= ⁄1
( ⁄𝜆)𝑠𝑒𝑐
Unitatea care tinde să se generalizeze este ERLANG-ul.
Definiţia 2
Traficul oferit sau traficul de intrare este nr. mediu de cereri ce se prezintă în sistem, cu
rata de apelare λ , în intervalul de apelare egal cu timpul medie de serviciu 1 μ .
A = λ (cereri secunda )⋅1 μ (secunde)
Dar cererile nu pot exista în afara surselor cele produc. Aceeaşi definiţie poate căpăta forma:
Traficul oferit este nr. mediu de surse simultan ocupate în decursul unui interval cât durata medie
35
de servire 1 μ , dacă rata lor de apelare este λ .

A = λ (surse ocupate secunda )⋅1 μ (secunde)
Definiţia 3.
Orice cerere acceptată de sistem are la dispoziţie un circuit sau dispozitiv de prelucrare,
pe care îl ocupă pe toată durata lui de prezenţă în sistem, ceea ce înseamnă că: Traficul scurs
(prelucrat) este nr. de resurse simultan ocupate pe durata timpului mediu de serviciu 1 μ pentru
prelucrarea cererilor oferite cu rata λ .
A = λ (resurse ocupate secunda )⋅1 μ (secunde)
Aplicaţia 2
În figura de mai jos este prezentată diagrama de ocupare a 3 resurse, funcţionând într-
un grup comun observate în decurs de 20 ore. Se cere:
a.) Diagrama de ocupare totală a

grupului
b.) Durata totală de angajare
c.) Intensitatea traficului scurs
b.) Durata totală de angajare:

3
∑ 𝜎𝑖
𝑖=1
𝜎1 = 3,5 + 2 + 0,5 + 2,5 + 1 = 9,5𝑜𝑟𝑒
𝜎2 = 3 + 3,5 + 2,5 + 1,5 = 10,5𝑜𝑟𝑒
𝜎3 = 2 + 1,5 + 2,5 + 3 + 2 + 1 = 12𝑜𝑟𝑒
c.) Intensitatea traficului scurs:
36
𝑅
𝐴𝑠 1 1
= ∑ 𝑖𝜎(𝑖) = [1 ∙ 𝜎(1) + 2 ∙ 𝜎(2) + 3 ∙ 𝜎(3)]
𝑇 𝑇 𝑇
𝑖=1
1
= [1 ∙ 1 + 2 ∙ 0,5 + 3 ∙ 0,5 + 2 ∙ 1 + 3 ∙ 1 + 2 ∙ 1 + 1 + 2 ∙ 2 + 3 ∙ 1,5 + 2 ∙ 0,5
20
32𝑜𝑟𝑒
+ 1 + 2 ∙ 0,5 + 0,5 + 1 + 2 ∙ 1 + 3 ∙ 0,5 + 2 ∙ 0,5 + 0,5 + 0,5 + 2] =
20
= 1,6𝐸
∑ 𝜎𝑖 = ∑ 𝑖𝜎(𝑖)
Nr. sursei 1 2 3 Valori medii
Durata totala de 9,5 10,5 12 Intensitate
angajare 𝜎𝑖 trafic:1,6
Numarul de 5 4 3
angajări 𝑛𝑖
Rata de angajare 5/20=0,25 4/20=0,2 3/20=0,15 Rata medie de
individuala 𝜆𝑖 apelare:0,6
Durata totala de 9,5/5=1,9 10,5/4=2,26 12/3=4 Durata medie de
servicii 𝑡𝑠𝑖 serviciu:2,66h/apel
𝑛𝑖 𝜎𝑖
𝜆𝑖 = ;⁡⁡⁡⁡⁡𝑡𝑠𝑖 =
𝑇 𝑛𝑖
Aplicaţia 3
În urma observării a 4 resurse pe durata a 6 minute s-au trasat diagramele din figura de mai jos,
în care: 1 - ocupat; 0 – starea de neutilizare a fiecărei resurse. Se cere:
a.) Diagrama de ocupare totală a grupului

b.) Durata totală de angajare
c.) Intensitatea traficului scurs
Stabiliţi intensitatea medie a traficului servit de respectivul grup pe parcursul intervalului

considerat.
Rezolvare:
i 𝑛𝑖 𝜎𝑖 𝜆𝑖 [𝑚𝑖𝑛−1] 𝜏𝑖 (𝑑𝑢𝑟𝑎𝑡𝑎⁡𝑖𝑛⁡𝑑𝑖𝑣⁡𝑑𝑒⁡𝑠𝑒𝑟𝑣𝑖𝑐𝑖𝑖) 𝐴̂𝑖
1 2 2,5 2/6=1/3 2,5/2=5/4 2,5/6=5/12
2 3 3 3/6=1/2 3/3=1 3/6=1/2
3 2 3,5 2/6=1/3 3,5/2=7/4 3,5/6=7/12
37
4 4 4,5 4/6=2/3 4,5/4=9/8 4,5/6=9/12=3/4

Total 11 13,5 11/6 27/22-durata medie de serviciu 9/4
4 4
𝐴𝑠 1 1 1 13.5 27 9
= ∑ 𝑖𝜎(𝑖) = ∑ 𝑖𝜎(𝑖) = (2.5 + 3 + 3.5 + 4.5) = = =
𝑇 𝑡 𝑇 6 6 12 4
𝑖=1 𝑖=1
9
𝐴̂ = ∑ 𝑆̂𝑖 = = 2.25𝐸
4
i 𝜎(𝑖) 𝑖𝜎(𝑖)
1 0,5 0,5
2 2 4
3 3 9
4 0 0
Total .......................................... 13,5 minute
Aplicaţia 4
1. Accesul unui grup de terminale la reţeaua de telecomunicaţii se face prin intermediul
unui modde comunicaţie care dispune de o singură linie de date de o capacitate de 10 Mbiţi/sec.
Dacă traficul oferit de terminale spre a fi transferat în reţea este de:
(i) 600 pachete /sec cu cate 1000 de biti pachetul
(ii)8 Mbiti/sec
exprimările în unităţi Erlang:
𝜆(𝑚𝑒𝑠𝑎𝑗𝑒/𝑜𝑟𝑎) ∗ 𝐿(𝑏𝑖𝑡𝑖)
𝐵=
𝐷(𝑏𝑖𝑡𝑖/𝑠𝑒𝑐) ∗ 3600
În cazul nostru:
600⁡𝑝𝑎𝑐ℎ𝑒𝑡𝑒/𝑠𝑒𝑐 ∗ 1000 6
(𝑖)𝐵 = 5
= = 0,06𝐸
10 ∗ 10 100
8 ∗ 106 𝑏𝑖𝑡𝑖/𝑠𝑒𝑐
(𝑖𝑖)𝐵 = = 0,8𝐸
10 ∗ 106 𝑏𝑖𝑡𝑖/𝑠𝑒𝑐
Notă:
Trafic scurs după definiţia 3
𝑅 𝑅
𝐴𝑠 = ∑ 𝜎𝑖 = ∑ 𝑖𝜎(𝑖)
𝑖=1 𝑖=1
1.Intensitatea traficului după definiţia 4
𝑘
𝐴𝑠 ∑𝑖=1 𝑖𝜎(𝑖) 1
= = ∑ 𝜎𝑖
𝑇 𝑇 𝑇
𝑖=1
2. Timpul mediu de servicii caracteristic
𝜎𝑖
𝑡 ∗ 𝑆𝑖 =
𝑛𝑖
3. Nr de angajări în unitatea de timp (rate de angajare)
𝑛𝑖
𝜆𝑖 =
𝑇
38
Cap. 4. Modele de aplicare a lanţurilor Markov
4.1. Programul Toolkit şi Analiza de tip Markov
4.1.1.Prezentarea programului Toolkit
In cadrul acestui program, fiabilitatea unui sistem este reprezentată cu ajutorul unei diagrame
de stare de tranziţie, care constă într-un set de stări discrete în care se poate afla sistemul, şi
defineşte viteza cu care au loc tranziţiile între aceste stări. Ca atare, modelele Markov sunt
formate din reprezentări comprehensive de lanţuri de evenimente posibile, ce reprezintă tranziţii
în cadrul sistemelor, care, în cazul analizei fiabilităţii şi duratei de viaţă corespund unor secvenţe
de cedări şi de reparaţii. Analiza de tip Markov se realizează pentru a determina anumiţi
parametri de stare, cum ar fi: probabilitatea de a fi într-o stare dată la un moment dat în timp,
timpul în care un sistem se va afla într-o anumită stare, precum şi numărul estimat de tranziţii
între stări, reprezentând numărul de cedări şi reparaţii. Modelele Markov oferă o mare
flexibilitate în modelarea evenimentelor depinzând de timp. Ele pot fi aplicate atunci când
modelele ce au la bază ca parametru doar timpul, cum ar fi modelele de tip exponenţial sau
modelele de tip Weibull (timpul până la cedare) aceste modele nu sunt suficiente pentru a descrie
aspectele dinamice, de fiabilitate sau durată de viaţă dintr-un sistem, aşa cum poate fi cazul
pentru sistemele de tip redundant. Soluţia unui model Markov este echivalentă soluţia unui sistem
cu foarte multe ecuaţii diferenţiale ordinare, care se face prin integrare. În acest scop, modulul de
analiză Markov se bazează pe un motor de calcul ce se bazează pe multe aplicaţii academice şi
comerciale. Motorul de calcul este pornit printr-un simplu click pe un buton în cadrul Toolkit
ITEM.
Reperele caracteristice modulului sunt:
•etapa de elaborare a modelului;
•editarea modelului în editorul de grafică;
•modele de tranziţie de tip discret şi continuu;
•definirea flexibilă a stărilor şi grupuri de stare.
Modulul Markov furnizează următoarele măsuri şi rezultate:
•limitele superioară şi inferioară de timp aşteptate;
• Număr de cedări şi reparaţii posibile;
• Cedarea şi frecvenţele de reparaţii (la moment dat);
• Disponibilitatea / Încrederea (la moment dat în timp, media pe interval de timp de
funcţionare);
• Probabilitatea de a fi într-o anumită stare (la moment dat în timp, media pe interval de timp
de funcţionare);
• Generator de rapoarte personalizate;
• Facilităţi de Import / Export de la sau către Baza de date Jet, Excel sau text.
Zona de lucru Markov oferă o interfaţă pentru documente multiple (MDI), care vă permite să:
• Alegeţi o anumită fereastră pentru afişare şi pentru a muta şi redimensiona toate ferestrele
deschise;
39
• Deschideţi şi de a crea mai multe proiecte Markov, în acelaşi timp, în scopul de a compara
rezultatele analizelor.
• Trageţi şi plasaţi între proiecte componente de stare şi grup. Această caracteristică vă
permite să creaţi rapid un nou proiect de reutilizare a componentelor de la alte proiecte.
4.1.2 Crearea unui proiect Markov

În acest exemplu, vom folosi modulul ITEM Toolkit Markov pentru a modela şi analiza un
sistem simplu de două componente de aşteptare. Sistemul constă din două componente identice
care operează în modul de „aşteptare la cald”. Se presupune că cedările asociate componentei de
aşteptare nu sunt detectate până când nu este se pune o întrebare în acest sens.
1. Faceţi clic pe pictograma New Project din bara de instrumente implicite, sau selectaţi New
Project din meniul File.
2. Activaţi proiectul dvs., făcând clic pe tab-ul Project sau în fereastra Project.
3. Selectaţi butonul Dialog din partea de jos a ferestrei Viewing Option.
4. Va fi afişată caseta de dialog Project.
Introduceţi informaţiile dvs. de proiect prin plasarea cursorului sau faceţi clic în câmpurile
corespunzătoare.
Tabelul de mai jos prezintă fiecare câmp disponibil pentru proiect precum şi conţinutul
acestuia.
Field Description
Title The Project Title
Name Project Name
Part Number Project Part Number
40
LCN Logistic Control Number

Circuit Ref Reference Identification Number (for internal purposes)
Analyst The person performing the Markov calculation
Compiled By The person who gathered the data for this analysis
Description Description of the project
Function What the project/system does
Description
Notes Any other pertinent information on the project
Approved By The person required to sign off on the project
The following fields will display results only if a prediction system is part of the project
Target Rate Acceptable number of failures for the project (Failures Per Million Hours)
Life Time Project life time given in hours
Redundancy Redundancy Flag
Failure Rate Total Project failure rate once analysis are completed
Unavailability Project unavailability once the analysis has been run
MTBF Mean Time Between Failures for the project
Din meniul Add, selectaţi Sistem Markov. In acest moment se vor adăuga Sistemul Markov şi
anteturile de proiect.
În Window System, faceţi clic pe antetul Markov. Proprietăţile de sistem apar în fila de
dialog.
În fila de dialog, introduceţi informaţiile dvs. de sistem prin plasarea cursorului sau faceţi clic
în câmpurile corespunzătoare.
41
Tabelul de mai jos descrie datele ce ar putea fi introduse şi la ce se referă fiecare câmp şi bloc
de câmpuri.
Field Description
Title The System Title

Name A unique Reference Identifier for the System
Part Number System Part Number
LCN Logistic Control Number
Circuit Ref Circuit Reference Number
Analyst Name of the person performing the Analysis
Compiled by Name of the person who gathered the data for the
Analysis
Approved by Name of the person who is required to sign off on the
project
Description Description for this System
Function Description Purpose/Description of this system
Notes Enter any other pertinent information about this system
Mission Time Mission Time of the System in hours
No of Intermediate No of Intermediate Time Points to be computed during
Time Points the Mission Time
Failure Rate Failure rate of the System. (Calculated)
Failure Frequency Failure Frequency of the System. (Calculated)
No of Expected Failures No of Expected Failures of the System. (Calculated)
Conditional Failure Conditional Failure Intensity of the System. (Calculated)
Intensity
Total Down Time Total Down Time of the System. (Calculated)
Unreliability Unreliability of the System. (Calculated)
Unavailability Unavailability of the System. (Calculated)
Următorul pas este de a introduce 5 posibile stări în cadrul modelului, corespunzătoare

următoarelor stări de sistem: ambele componente disponibile, cedare primară, cedare în aşteptare,
atât primul cât şi cel în aşteptare cedează, şi reparaţie primară.
Din bara de instrumente Markov, faceţi clic pe butonul de stare. Acest buton este folosit
pentru a porni introducerea de noi stări în model.
Mutaţi mouse-ul în câmpul de desenare, şi faceţi clic pe butonul mouse-ului din stânga o dată.
Va apărea un cerc verde, reprezentând o stare nou creată.
42
Mutaţi mouse-ul într-o zonă goală a editotului, şi faceţi clic din nou stânga. In diagramă va
apare o a doua stare.
Repetaţi ultimul pas de 3 ori. Un total de cinci stări vor fi vizibile în editorul de desenare.
Vom considera că, la momentul 0, atât componentele primare şi cele de aşteptare sunt
disponibile, şi că, prin urmare, sistemul este în prima stare. Cu alte cuvinte, această stare este
starea iniţială. Faceţi clic dreapta pe starea S1, corespunzătoare stării "ambele componente
disponibile". Va apărea un meniu pop-up.
Din meniul pop-up, selectaţi opţiunea parametrilor de stare. Va apărea o casetă de dialog.
În caseta de dialog, introduceţi “both available” pentru Name şi bifaţi opţiunea "Initial State",
şi faceţi clic pe OK.
43
Parametrii de stare includ următoarele.

• Nume: o etichetă utilizată pentru a identifica starea. Numele fiecărei stări trebuie să fie unic
între toate stările dintr-un model Markov.
• Probabilitatea de stare iniţială: o valoare cuprinsă între 0 şi 1, reprezentând probabilitatea ca
sistemul să fie în starea specifică la t = 0.Suma probabilităţilor iniţiale ale tuturor stărilor într-un
model trebuie să fie egală cu 1.
• Indisponibilitatea de stare: indică starea în care sistemul nu este disponibil. Modelul Markov
indică starea pentru această opţiune printr-un cerc mic lângă cel mare.
• starea iniţială: indică faptul că singura stare este cea iniţială.
Repetaţi paşii 17 - 19 pentru stările rămase cu parametrii de mai jos
În plus, vom presupune că sistemul în ansamblul său nu este disponibil atunci când ambele
componente, primară şi de aşteptare au cedat. Deşi, în principiu, orice stare poate fi marcată ca
fiind indisponibilă, aici ne vom limita doar la una.
• Faceţi clic dreapta pe starea corespunzătoare ‘both components failed’. Va apărea un meniu
pop-up.
• În meniul pop-up, selectaţi opţiunea State Parameters. Se va deschide o caseta de dialog.
• În caseta de dialog, verificaţi opţiunea ‘Unavailable State’, şi faceţi clic pe OK.
• Asiguraţi-vă că în editorul grafic, starea este indicată ca fiind o stare nedisponibilă
sistemului printr-un cerc mic ce apare alături de cercul mare.
În continuare, vom introduce date în modelul tranziţiilor reprezentând cedările precum şi

reparaţiile componentelor. Prin introducerea unei tranziţii originară într-o stare şi care să conducă
la alta, se modelează posibilitatea ca un eveniment să aibă loc şi care ar aduce sistemul la o stare
la alta. În modelul nostru simplu, vom introduce opt tranziţii, astfel cum sunt enumerate în tabelul
de mai jos.
From To Description Rate
Both Available Primary Failed Failure of primary component 0.001
Both Available Standby Failed Failure of standby component 0.0001
Primary Failed Both Available Repair of primary component 0.5
Primary Failed Both Failed Failure of standby while primary 0.001
44
failed
Standby Failed Both Failed Failure of primary while standby 0.001
failed
Both Failed Primary Repair of primary while standby 0.5
Repaired still failed
Primary Both Available Repair of standby 0.5
Repaired
Primary Both Failed Repair of primary while standby 0.001
Repaired under repair
În bara de instrumente Markov, faceţi clic pe butonul Arrow Link. Acest buton este folosit
pentru a porni crearea de noi tranziţii
Faceţi clic stânga pe starea Both Available. O linie cu originea în această stare devine vizibilă
în timp ce mouse-ul este mutat în editor.
Click pe starea Primary Failed. Va apărea o săgeată între cele două stări. Eticheta de pe
săgeata indică o rată de apariţie R 0.0.
Faceţi clic dreapta pe această etichetă. Va apărea un meniu pop-up.
Selectaţi opţiunea ‘Transition Parameters’. Apare un dialog.
În câmpul cu eticheta ‘Transition Rate’ introduceţi valoarea 0,001, ce corespunde ratei de
apariţie a acestei tranziţii, şi apoi faceţi clic pe OK. Diagrama indică rata completă de apariţie a
tranziţiei.
Repetaţi procesul pentru celelalte şapte tranziţii enumerate în tabel.
45
Acum, că atât stările şi tranziţiile au fost definite, modelul este complet.

Împreună cu stările, este posibil să se definească grupurile de stare. Puteţi crea grupuri de
stare în cazul în care doriţi să obţineţi rezultatele agregate, cum ar fi probabilitatea stărilor
combinate, pentru două sau mai multe stări combinate. Un grup de stare poate conţine orice
număr de stări, şi pot, prin urmare, să conţină o singură stare iar o anumită stare poate să aparţină
la orice număr de grupuri de stare. Grupurile sunt create pentru a calcula rezultatele agregate,
cum ar fi timpul estimat petrecut în oricare dintre stările dintr-un grup.
Cea mai simplă metodă de a crea un grup nou este să faceţi clic pe butonul Add Group de pe
bara de instrumente din editorul Markov. Un Grup nou, cu un nume implicit, este afişat în
ierarhia Markov, în colţul din stânga jos al ferestrei Toolkit. Odată ce stările sunt adăugate la un
grup, acest lucru va fi, de asemenea, vizibil acolo.
Stările sunt adăugate la un grup în caseta de dialog State Parameters. Pentru a deschide acest
dialog, faceţi clic dreapta pe starea respectivă, şi selectaţi opţiunea State Parameters în meniul
pop-up. Apoi, faceţi tab pe Grupul vizibil în acel dialog .
46
Partea stângă a ferestrei enumeră toate grupurile care au fost create până în prezent. Pot fi
adăugate Grupuri noi făcând clic pe butonul Add New Group. Grupurile inutile pot fi şterse prin
selectarea acestora şi făcând clic pe butonul Delete Selected Group. Reţineţi că acest lucru va
şterge numai definiţia de grup, nu şi stările cuprinse în grup.
Atunci când un grup este selectat, numele şi descrierea acestuia sunt vizibile în câmpurile
corespunzătoare. Câmpurile pot fi folosite pentru a modifica numele sau descrierea.
Pentru a adăuga o stare la un grup, faceţi clic pe Add Selected State la butonul Group. Lista
de grupuri va arăta acum că starea a fost ataşată. Butonul Remove Selected State de la butonul
Group poate fi utilizat pentru a elimina stările din grup.
Închideţi caseta de dialog făcând clic pe butonul OK. Informaţiile pentru noul grup sunt
afişată în ierarhia Markov, în colţul din stânga jos al ferestrei Toolkit.
Vom continua exemplu prin analiza modelului, precum şi evaluarea rezultatelor. În primul rând,
vom specifica misiunea intervalului de timp.
Faceţi clic pe tab-ul Dialog.
Setaţi, în fereastra de dialog, timpul misiunii la 1000 şi numărul de puncte intermediare până
la 100,.
Vom începe analiza efectivă.

Se revine la fereastra Markov, şi începeţi analiza modelului, făcând clic pe butonul Go în bara
de instrumente.
Un indicator de progres pentru scurt timp devine vizibil. Odată ce analiza este completă,
apare un mesaj de notificare, care să ateste că a finalizat analiza fară erori. Rezultatele analizei
sunt acum gata pentru vizualizare.
47
Faceţi clic pe butonul Result Summary din bara de instrumente. Se deschide un dialog sumar.
Tabelul din dialogul Result Summary afişează rezultatele cheie ale analizei Markov.
4.1.3 Analiza rezultatelor
In cele ce urmează se va arăta modul în care sunt calculate diferitele criterii de fiabilitate. X
se referă la o stare sau grup de stări, care au fost marcate ca ‘Unavailable States’. În aceste
definiţii, se foloseşte următoarea notaţie:
x: o stare;
X: un grup de stări.
Pr(x,t): Probabilitatea că sistemul se află în starea x la timpul t.
Pr(X,t): Probabilitatea că sistemul se află în una dintre stările care aparţin grupului de X la
momentul t.
λx→y: Rata la care are loc tranziţia de la starea x la starea y. Aceste rate de tranziţie presupun
o tranziţie continuă în timp.
Px→y(t): Probabilitatea de o tranziţie de la starea x la starea y la momentul t. Aceste
probabilităţi se referă la tranziţii discrete în timp.
Indisponibilitatea Q: / Disponibilitate A:
Indisponibilitatea este calculată ca probabilitatea ca sistemul să se afle în oricare din stările
care aparţin grupului X la momentul t. Disponibilitatea este calculată ca 1 minus această valoare.
Q(t) = Pr(X,t)
A(t) = 1-Pr(X,t)
TDT (Total Down Time – timpul de defect): / Total Up Time (timpul de funcţionare) (TUT):
TDT şi TUT sunt calculate ca suma preconizată de timp petrecut în orice stare care aparţine
grupului X, şi, în orice stare care nu aparţine grupului X, între 0 şi t.
t
TDT   Pr( X, )d
0
48
TUT  t  TDT
Indisponibilitatea medie: / Disponibilitatea medie:
Indisponibilitatea medie se calculează ca suma preconizată petrecut în grupul X împărţită la
timpul total al misiunii. Disponibilitatea medie este calculată ca 1 minus această valoare
^ 1 t
U   Pr( X, )d
t 0
^ 1 t
A  1  Pr(X, )d
t  0
Numărul de cedări, f: / Numărul de reparaţii, r:
Numărul estimat de reparaţii r se calculează ca fiind numărul estimat de tranziţii de la X la
stările din afara X. Numărul estimat de cedări f se calculează ca fiind numărul estimat de tranziţii
de la stările din afara X la stările din interiorul X.
 t 
r      Pr( x, )   x  y  d   Pr( x i , t i )  Px  y ( t i )
 0 i 
 t 
f      Pr( y, )   y  x  d   Pr( yi , t i )  Py  x ( t i )
 0 i 
unde tk k = 1, ..., n este un set de timpi tk<t la care au loc tranziţiile discrete. Reţineţi că această
definiţie exclude tranziţiile care au loc între stări ce fac parte din grupul X, precum şi tranziţii
care au loc între stări care nu aparţin grupului X.
Lipsa de fiabilitate:
Lipsa de fiabilitate reprezintă probabilitatea ca unul sau mai multe sisteme să cedeze într-o
perioadă specificată de timp. Numărul de cedări de sistem aşteptate (W) oferă o bună aproximare
a lipsei de fiabilitate a sistemului pentru cazurile în care W << 1.
Fiabilitatea:
Fiabilitatea reprezintă probabilitatea ca sistemul va funcţiona fără cedare în perioada de timp
specificată.
Frecvenţa cedărilor W:
Frecvenţa cedărilor W este termenul folosit de sistem pentru a reprezenta rata de cedare
necondiţionată. Rata de cedare necondiţionată este probabilitatea ca sistemul sau componenta să
cedeze în unitatea de timp, având în vedere că aceasta a lucrat în mod corect, la timpul zero. "W"
este egal cu numărul de cedări aşteptate ale sistemului.
CFI (Conditional Failure Intensity – Rata de cedare condiţională):
Aceasta este probabilitatea de cedare pe unitatea de timp, având în vedere faptul că
componenta lucrează aşa cum a fost proiectată atât la timpul zero cât şi la timpul t.
Cum se pot transfera rezultatele în Microsoft Word:
Este prevăzută o facilitate de export, care vă va permite să transferaţi date direct în Microsoft
Word.
Pentru a accesa această facilitate, selectaţi pictograma Microsoft Word din bara de
instrumente Markov.
49
Apare o fereastră. Selectaţi opţiunea dorită şi faceţi clic pe OK
Paginile de Markov care le-aţi selectat vor fi transferate direct în Microsoft Word. Microsoft
Word nu trebuie să fie activ pe desktop pentru a efectua acest transfer, acesta se va deschide
automat.
Both Available
1
R:0.5
Primary Failed
P=0.090146856
R:0.001
4
R:0.0001
Standby Failed
P=2.8753665e-5
R:0.5
P=3.2628887e-6 R:0.001
R:0.001
Both Failed
Primary Repaired 5
R:0.001
R:0.5 P=0.60668228
3
P=0.30313885
4.2. Un model de predicţie a vremii probabile
Predicţia condițiilor meteorologice (modelate ca fie vremea să fie ploioasă sau soare),
având în vedere vremea din ziua precedentă, poate fi reprezentată de o matrice de tranziție:
50
Matricea P reprezintă modelul în care vremea în care avem o probabilitate de 90% de

vreme însorită ce ar putea fi urmată de o altă zi însorită, şi o probabilitate de 50% de zi ploioasă
ce ar putea fi urmată de o altă zi ploioasă. Coloanele pot fi etichetate "soare" şi "ploios", şi
rândurile pot fi etichetate în aceeași ordine.
Fig. 4.1. Reprezentarea grafică a matricei de tranziţie
(P) ij este probabilitatea ca, în cazul în care o anumită zi este de tip i, acesta va fi urmat de
o zi de tipul j.
Observați că suma rândurilor P este 1: acest lucru este pentru că P este o matrice stohastică.
Predicţia condițiilor meteorologice în zile consecutive apropiate
Se cunoaşte faptul că în ziua 0 este soare. Acest lucru este reprezentat de un vector în care
mențiunea "soare" este de 100%, iar mențiunea "ploios" este 0%:
Vremea în ziua 1 poate fi prezisă de:
Astfel, există o șansă de 90% ca în acea zi să fie, de asemenea, soare.

Vremea în ziua 2 poate fi prezis în același mod:
sau
Regulile generale pentru ziua n sunt:
51
Predicţia condițiilor meteorologice în zile mai îndepărtate
Previziunile pentru vremea din zilele mai îndepărtate sunt din ce în ce inexacte şi tind spre
un vector de tip stare de echilibru. Acest vector reprezintă probabilitățile de vreme însorită și
ploioasă în toate zilele, și este independent de vremea inițial.
Vectorul de stare de echilibru este definit ca:
care converge la un vector strict pozitiv numai dacă P este o matrice de tranziție regulată (atunci
când există cel puțin un Pn cu toate intrările nenule).
Având în vedere că q este independent de condițiile inițiale, acesta trebuie să fie
neschimbat atunci când este transformat de P. Acest lucru face un vector propriu (cu valoare
proprie 1), ceea ce înseamnă că acesta poate fi derivat din P. Pentru exemplul de mai sus avem:
Deci și, deoarece acesta este un vector de probabilitate știm că
Rezolvarea acestei perechi de ecuații simultane dă distribuția stării de echilibru:
În concluzie, pe termen lung, aproximativ 83,3% din zile sunt însorite.
4.3. Un model de predicţie a funcţionării unui sistem mecanic format din trei componente
Un sistem mecanic format din trei componente, poate avea toate componentele
funcţionale (starea 3) după cum poate avea doar două componente funcţionale (starea 2), unul
funcţional (starea 1) sau niciunul (starea 0). Sistemul este, iniţial, complet funcţional şi are
capacitatea să recupereze, parţial sau total, funcţionalitatea.
Probabilitatea p30, spre exemplu, reprezintă probabilitatea defectării la un moment dat a
întregului sistem, constituit din cele trei componente.
52
Fig. 4.2. Lanţul Markov asociat unui sistem format din trei componente având capacitatea
unei recuperări dinamice.
Analog, probabilitatea p02, spre exemplu, reprezintă probabilitatea reparării simultane a

două componente, din cele trei ale sistemului, după acelaşi interval de timp t, atunci când
sistemul format din trei componente a fost complet nefuncţional.
Pentru fiecare stare a lanţului Markov din figura 1 se pot scrie relaţiile:
p33 + p32 + p31 + p30 = 1,
p23 + p22 + p21 + p20 = 1,
p13 + p12 + p11 + p10 = 1,
p03 + p02 + p01 + p00 = 1.
Aceste relaţii arată completitudinea sistemului de evenimente asociate fiecărei stări, în
parte, din lanţul Markov.
Probabilitatea ca sistemul să fie complet funcţional la momentul n spre exemplu, poate fi
scrisă astfel:
P3(n) = p33P3(n-1) + p23P2(n-1) + p13P1(n-1) + p03P0(n-1) (4.1)
În (4.1) s-a notat, spre exemplu, prin P2(n-1) probabilitatea ca sistemul să funcţioneze cu
două unităţi din trei la momentul n-1, iar prin p23 s-a notat probabilitatea recuperării unității
nefuncţionale pe durata momentului n-1.
Similar, probabilităţile ca la momentul n sistemul să a funcţioneze cu 2, 1 sau niciuna dintre
unităţile sale funcţionale sunt:
P2(n) = p32P 3 (n-1) + p22P 2 (n-1) + p12P1(n-1) + p02P0(n-1), (4.2)
P1(n) = p31P3(n-1) + p21P 2 (n-1) + p11P 1 (n-1) + p01P0(n-1), (4.3)
P 0 (n) = p30P3(n-1) + p20P2(n-1) + p10P1(n-1) + p00P0(n-1), (4.4)
Relaţiile anterioare (4.1) – (4.4) se pot rescrie matricial astfel:
53
(4.5)
Se notează în (4.5) vectorul coloană din stânga prin:
(4.6)
Matricea pătrată a sistemului din (4.5) se notează, tradiţional, astfel:
(4.7)
Atunci relaţia (4.5) se rescrie astfel:
(4.8)
Explicitând expresia (4.8) rezultă:
(4.9)
Vectorul iniţial Π0 arată astfel:
(4.10)
Vectorul coloană iniţial arată astfel deoarece, la momentul zero, sistemul se presupune că
era complet funcţional.
Pentru o istorie suficient de lungă a funcţionării sistemului tri-component considerat, acesta
intră într-o starea staţionară caracterizată printr-o anumită distribuţie a probabilităţilor stărilor
acestuia.
(4.11)
Această distribuţie stabileşte probabilităţile sistemului de a se găsi în cele patru stări

posibile.
Un vector coloană de probabilităţi Π care satisface (11) este alcătuit din valori proprii ale
matricei A.
Determinarea valorilor proprii ale unei matrice poate fi o sarcină laborioasă. Dintr-un punct
de vedere pragmatic vectorul coloană Π poate fi aproximat printr-un calcul iterativ aplicând
expresia (4.8). Calculul poate fi oprit deîndată ce:
54
(4.12)
În (4.12) constanta pozitivă ε poate fi aleasă convenabil, în raport cu precizia urmărită, în
calculul probabilităţilor staţionare ale lanţului Markov respectiv. Uzual, valori ale erorii ε de
ordinul 0 < ε < 10-6 sunt satisfăcătoare în marea majoritate a situaţiilor.
4.4. Funcţionarea unui sistem format dintr-un calculator, o imprimantă şi un plotter
Un calculator, ce are cuplate o imprimantă şi un plotter, poate fi privit ca un sistem care se

poate afla într-una din următoarele stări:
- S1 - calculatorul, imprimanta şi plotter-ul sunt funcţionale;
- S2 - imprimanta este defectă şi pot fi rulate numai programe utilizând plotter-ul;
- S3 plotter-ul este defect şi pot fi rulate numai programe utilizând imprimanta;
- S4 calculatorul este defect sau imprimanta şi plotter-ul sunt defecte, sistemul nemaiputând fi
utilizat.
În momentul iniţial, sistemul se află în starea S1 şi este controlat la momente fixate de
timp, t1, t2, t3. Sistemul poate fi modelat cu un lanţ Markov cu trei paşi (momentele de timp după
cele trei controale). Graful asociat este reprezentat în figura 4.3.
Fig. 4.3. Graful asociat lanţului Markov.
Se cer probabilităţile stărilor sistemului după cele trei controale. Nu se iau în considerare
eventuale acţiuni de reparare.
Soluţie: Avem următoarele probabilităţi de tranziţie:
p12 = 0,1;
p13 = 0,2;
p14 = 0,3;
p11= 1 - p12 - p13 - p14 = 1 - 0,1 - 0,2 - 0,3 = 0,4;
p21 = 0;
p23 = 0;
p24 = 0,2;
p22 = 1 - p21 - p23 - p24 = 1 - 0,2 = 0,8;
55
p31 = 0;
p32 = 0;
p34 = 0,1;
p33 = 1 - p31 - p32 - p34 = 1 - 0,1 = 0,9;
p41 = 0;
p42 = 0;
p43 = 0;
p44 = 1 - p41 - p42 - p43 = 1.
Probabilităţile iniţiale ale stărilor sunt:
p1(0) = 1, p2(0) = p3(0) = p4(0) = 0.
Aplicăm formula recurentă:
Obţinem:
p1(1) = p1(0)xP11 + p2(0)xP21 + p3(0)xP31 + p4(0)xP41 = 1x0,4 = 0,4;
p2(1) = p1(0)xP12 = 1x0,1 = 0,1;
p3(1) = p1(0)xP13 = 1x0,2 = 0,2;
p4(1) = p1(0)xP14 = 1x0,3 = 0,3.
Verificare: p1(1) + p2(1) + p3(1) + p4(1) = 1.
p1(2) = p1(1)xP11 = 0,4x0,4 = 0,16;
p2(2) = p1(1)xP12 + p2(1)xP22 = 0,4x0,1 + 0,1x0,8 = 0,12;
p3(2) = p1(1)xP13 + p3(1)xP33 = 0,4x0,2 + 0,2x0,9 = 0,26;
p4(2) = p1(1)xP14 + p2(1)xP24 + p3(1)xP34 + p4(1)xP44 = 0,4x0,3 + 0,1x0,2 +
0,2x0,1 + 0,3x1 = 0,3.
Verificare: p1(2) + p2(2) + p3(2) + p4(2) = 1.
p1(3) = p1(2)xP11 = 0,16x0,4 = 0,064;
p2(3) = p1(2)xP12 + p2(2)xP22 = 0,16x0,1 + 0,12x0,8 = 0,112;
p3(3) = p1(2)xP13 + p3(2)xP33 = 0,16x0,2 + 0,26x0,9 = 0,226;
p4(3) = p1(2)xP14 + p2(2)xP24 + p3(2)xP34 + p4(2)xP44 = 0,16x0,3 + 0,12x0,2 +
0,26x0,1 + 0,46x1 = 0,558.
Verificare: p1(3) + p2(3) + p3(3) + p4(3) = 1.
56
Bibliografie
1. Gh.Mihoc, C.Bergthaller, V.Urseanu. Procese stochastice,elemente de teorie si aplicatii.

Ed.Stiintica si pedagogica. 1978.
2. I.Gh.Sabac : Matematici Speciale 2. Ed. Tehnica. 1977.
3. Emilia Gutulan. Lanturi si sisteme de asteptare markoviene: Elemente teoretice si aplicatii.
Ed Universitatea tehnica a moldovei Chisinau 2010
4. Analiza structurala – Lanturi Markov – Laborator 10
5. Modelare si simulare Seminar 3
http://www.tc.etc.upt.ro/teaching/ms-ap/MS%20SEMINAR%203.pdf
6. Platforma de e-learning si curriculara e-content pentru invatamantul superior ethnic.
Ingineria calculatoarelor – O abordare din punct de vedere fiabilistic a stiintei
calculatoarelor- Lanturi Markov
http://andrei.clubcisco.ro/cursuri/f/f-sym/3ic/IC_6.pdf
57

Lanturi Markov 2 PDF Free

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Lanturi Markov 2 PDF Free

Încărcat de

Drepturi de autor:

Formate disponibile

Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Lucrarea intitulată „Modele de predicţie a funcţionării unui sistem mecanic pe baza

aceleaşi Ωk , să fie stochastic echivalente. În practică se întâlnesc deseori şi sisteme dinamice cu

Capitolul 1. Procese stohastice şi lanţuri Markov.....................................................................5

Capitolul 2. Analiza structurală bazată pe utilizarea lanţurilor Markov....................................17

Capitolul 3. Procese Markov.....................................................................................................30

Capitolul 4. Modele de aplicare a lanţurilor Markov................................................................39

Capitolul 1. Procese stohastice şi lanţuri Markov

1.1. Noţiuni şi definiţii generale

Procesele stohastice permit modelarea matematică a numeroaselor componente ale

X τ1 ...τn(x, x2 ,...,xn)=Pr( X τ1≤x1,...,X τ n≤xn)

Un lanţ Markov este un proces Markov cu un spaţiu discret de stări.

1.2. Clasificarea stărilor unui lanţ Markov

∀i ∈ Ω′ ′, ∃𝜏 > 0, 𝑟𝑖𝑗 (𝜏) ≠ 0 ⇒ 𝑗 ∈ Ω′

1.3. Lanţuri Markov în timp discret

1.4. Lanţuri Markov în timp continuu

Condiţiile suficiente de ergodicitate al lanţurilor LMTC sunt rezumate de următoarea teoremă.

λ, matricea stohastică de trecere R(Z)(τ) a căruia este definită de:

1.5. Agregare markoviană

procesul X(A) cu un spaţiu de stări definit astfel încât:

1.6. Procese semi-Markov

Pr( 𝑋𝜏𝑛+1 = 𝑗, 𝜏𝑛+1 − 𝜏𝑛 ≤ 𝜏⁡𝑋𝜏𝑛 ⁡ = 𝑖,

aflare în starea respectivă i∈J ,putem determina condiţiile de conservare a fluxului de

1.7. Proprietăţi de bază ale lanţurilor Markov

Rezultă că fiecare linie a matricei de tranziţie P este un vector de probabilitate. Acelaşi

1.8. Lanţuri Markov regulate

Deoarece lanţurile Markov sunt procese stohastice, nu se poate şti cu exactitate ce se

1.9. Rezolvarea numerică a lanţurilor Markov

Problemă. Fiind dat un lanţ CLM cu matricea sa dinamică D de dimensiunea (nxn), în a

Capitolul 2. Analiza structurală bazată pe utilizarea lanţurilor Markov

2.1. Modele probabilistice de studiu a fiabilităţii bazate pe lanţuri Markov

Funcţionarea oricărui element al unui sistem mecanic se caracterizează printr-o succesiune

pentru orice valoare a lui t1.

unde N este numărul de stări în care se poate afla sistemul.

sau, schimbând notaţia parametrilor t şi s:

Transcriind matriceal relaţia care ne dă probabilitatea ca sistemul să se afle în starea j:

sau transcriind pentru variabila t:

Matricea probabilităţilor de tranziţie p este o matrice pătrată de ordinul n (nr. de stări

iar matricea q va fi:

Fig. 1. Graful stărilor pentru un element reparabil

Notând cu P0(0) şi P1(0) probabilităţile ca sistemul să se găsească în momentul iniţial în

Pentru rezolvarea sistemului se ţine cont că:

iar graful de tranziţie a stărilor este reprezentat în figura 2

𝑃0′ (𝑡) = −𝜆0 𝑃0 (𝑡) + ∑ 𝜇𝑖 𝑃𝑖 (𝑡);⁡⁡𝑃0 (0) = 1

Probabilităţile de tranziţie au următoarele expresii:

∑ 𝑃𝑖 ∙ 𝑞𝑖𝑗 = 0; ⁡⁡⁡⁡𝑗 = 1,2, … . . , 𝑛

2.2. Algoritm de rezolvare a unui fenomen redat prin lanţul Markov

pozitive este egală cu suma absolută a valorilor negative.

2.3. Exemple de realizare a lanţurilor Markov

Modelele Markov permit o reprezentare detaliată a cedărilor şi a proceselor de reparare, în

1. Abateri: S 2009 / 2008  S 2009  S 2008

Abateri: S 2010 / 2009  S 2010  S 2009

2. În continuare se vor calcula matricele de trecere de la un an la altul:

- iar în rest elementele vor fie gale cu 0.

Matricea de trecere din anul 2009 în anul 2010:

- iar în rest elementele vor fie gale cu 0.

4. În cea de a patra etapă se calculează matricea probabilităţilor de trecere prin raportarea

FIRMA N S LG SE HTC AL MOT BB APP

Probabilităţile de tranziţie sunt între cele nouă opţiuni sunt următoarele:

Valorile de pe diagonala principală reprezintă probabilităţile ca consumatorul să opteze

FIRMA N S LG SE HTC AL MOT BB APP

FIRMA Numărul de produse

În cadrul proceselor aleatoare un loc deosebit îl ocupă procesele Markov caracterizate