Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

CAPITOLUL 7. Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor
Markov

7.1. Introducere
7.2. Procese stohastice şi lanţuri Markov. Noţiuni şi definiţii generale
7.3. Clasificarea stărilor unui lanţ Markov
7.4. Lanţuri Markov în timp discret şi în timp continuu
7.5. Agregare markoviană
7.6. Procese semi-Markov
7.7. Proprietăţi de bază ale lanţurilor Markov
7.8. Lanţuri Markov regulate
7.9. Rezolvarea numerică a lanţurilor Markov
7.10. Modele probabilistice de studiu a fiabilităţii bazate pe lanţuri Markov
7.11. Procese Markov
7.12. Procesul general de naştere şi moarte
7.13. Procesul de maştere pură
7.14. Aplicaţii
7.15. Modele de aplicare a lanţurilor Markov

7.1. Introducere

În matematică, un proces Markov, sau un lanț Markov, este un proces stochastic care are
proprietatea că, dată fiind starea sa prezentă, stările viitoare sunt independente de cele trecute. Într-un
proces Markov, la fiecare moment sistemul îşi poate schimba sau păstra starea, în conformitate cu o
anumită distribuţie de probabilitate. Schimbările de stare sunt numite tranziţii. Un exemplu simplu de
proces Markov este parcurgerea aleatoare a nodurilor unui graf, tranziţiile fiind trecerea de la un nod la
unul din succesorii săi, cu probabilitate egală, indiferent de nodurile parcurse până în acel moment.
Practica oferă numeroase exemple, în care anumite valori caracteristice ale unui sistem, formând aşa
numitele stări discrete ale sistemului, variază o dată cu timpul, astfel încât ele nu pot fi prevăzute cu
exactitate. Un asemenea proces, în care una sau mai multe valori caracteristice lui variază aleator în
timp, îl numim “proces stochastic”. Procesele stochastice permit modelarea matematică a
numeroaselor component ale sistemelor tehnice, informatice, economice, sociale etc.
În acest capitol urmează sa fie redate succint principalele definiţii şi proprietăţi ale proceselor
stochastice şi ale lanţurilor Markov (LM), clasificarea acestora în conformitate cu modul cum ele sunt
"vizitate" în cursul timpului funcţionării lanţului. De asemenea, este prezentată şi noţiunea de agregare
Markoviană, ce constă în a partiţiona spaţiul de stări Ω ale unui lanţ în subansambluri (Ωk)k=1,...,K

130
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

astfel încât, comportamentele de stări ale unor şi aceleaşi Ωk , să fie stochastic echivalente. În practică
se întâlnesc deseori şi sisteme dinamice cu stări discrete, pentru care durata de aflare într-o oarecare
stare i, fiind o variabilă aleatoare, depinde de această stare şi de starea următoare de trecere şi ea nu
este necesar distribuită conform legii exponenţial-negative. Astfel, evoluţia sistemului este definită de
starea curentă şi de starea ce urmează. Acest tip de procese stochastice sunt numite procese semi-
Markov.
Deoarece lanţurile Markov sunt procese stochastice, nu se poate şti cu exactitate ce se întâmplă în
fiecare stare; de aceea, sistemul trebuie descris în termeni de probabilitate.
In cadrul acestui capitol se prezintă modele probabilistice de studiu a fiabilităţii structurate pe
lanţuri Markov pe baza cărora funcţionarea oricărui element al unui sistem mecanic se caracterizează
printr-o succesiune de stări care descriu regimurile de funcţionare normale sau de avarie. Datorită
naturii probabilistice a stărilor prin care trece instalaţia respectivă, se poate admite că evoluţia
procesului este descrisă de un proces aleatoriu. Evoluţia procesului respectiv este definită de o familie
de variabile care descriu traiectoria procesului. Cunoaşterea stărilor sistemului la momentele
consecutive t1, t2,...,tn, anterioare lui t, contribuie la cunoaşterea stării în momentul t prin colectarea
unor informaţii referitoare la starea din momentele anterioare, dar cuprinse toate în starea cea mai
recentă, respectiv starea din momentul tn. Trebuie ţinut cont de faptul că, în general, un sistem poate
ajunge într-o anume stare prin mai multe succesiuni de stări, modul în care sistemul respectiv a ajuns
aici influenţând funcţionarea sa ulterioară, şi, ca urmare, şi indicatorii ce caracterizează fiabilitatea
sistemului pentru momentul tn. Procesul care are o asemenea evoluţie, caracterizată de faptul că,
starea în care va trece sistemul depinde atât de starea în care se găseşte acesta cât şi de modul în
care sistemul a ajuns în această stare, se numeşte proces Markov. Procesele Markov sunt
caracterizate prin aceea că, apariţia unei anumite stări este condiţionată doar de un număr determinat de
stări anterioare. Dacă numărul acestor stări anterioare este r, atunci este vorba de un proces Markov de
ordinul r. Procesele Markov de ordinul 1 ocupă un loc important în studiul proceselor de trafic ce
caracterizează reţeaua de telecomunicaţii în ansamblul ei. Procesele de naştere şi moarte, ca subclasă
importantă a proceselor Markov de ordinul 1, se adaptează perfect modului de apariţie şi deservire a
traficului în sistemul global de telecomunicaţii. Aceste procese sunt caracterizate de un spaţiu discret de
stări şi de un parametru temporal continuu.

7.2. Procese stohastice şi lanţuri Markov. Noţiuni şi definiţii generale

Procesele stohastice permit modelarea matematică a numeroaselor componente ale sistemelor

tehnice, informatice, economice, sociale etc.
În cele ce urmează vom reda succint principalele definiţii şi proprietăţi ale proceselor stohastice şi ale
lanţurilor Markov (LM).
Definiţia 1.1. Un proces stohastic X este o familie de variabile aleatoare definite pe acelaşi
spaţiu de probabilitate cu valori reale, în acelaşi spaţiu de valori Ω şi indexate după un parametru
τ∈τ⊆R.
131
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Un proces stohastic se reprezintă prin:

{Xτ∈Ω,τ∈τ} (7.1)
De obicei, precizarea mulţimii τ coincide cu intervalul de timp al evoluţiei diverselor clase de procese
stohastice. Astfel, dacă τ ={τ1,τ2,...,τn} este o mulţime finită, atunci procesul stohastic este echivalent
cu un vector aleator, care determină vectorul de stare al sistemului studiat.
În termeni probabilistici, a descrie evoluţia unui proces stohastic înseamnă cunoaşterea probabilităţilor
tuturor evenimentelor de forma: "la momentul τ procesul stohastic se găseşte în starea (Xτ=x)", precum
şi a probabilităţilor de realizare simultană a unui număr de astfel de evenimente pentru diverse
momente τi∈τ şi diverse mulţimi ei⊆R, 1≤i≤n. Cu alte cuvinte, este necesar să fie cunoscute
probabilităţile de forma:
Pr( X τ e1,...,X τn en) (7.2)
1
pentru orice n∈N, orice τi∈τ şi orice ei⊆R, 1≤i≤n. Acest fapt se manifestă prin cunoaşterea funcţiilor
de repartiţie n – dimensionale:
X τ ..τn(x, x2 ,...,xn)=Pr( X τ ≤x1,...,X τ n≤xn) (7.3)
7. 1
În acest context se mai spune că legea probabilistică a unui proces stohastic este dată de legea de
repartiţie a tuturor vectorilor aleatori cu probabilităţile (7.2).
În ipoteza că parametrul τ∈τ este timpul, se poate face şi presupunerea particulară că, momentele
sunt ordonate şi anume că , fapt care apare natural. Într-o astfel de
situaţie, dacă observăm procesul stohastic la momentul , pe care îl considerăm ca "prezent", putem
presupune "trecutul" procesului pentru <τ, 0≤i≤n şi în mod firesc ne interesează "viitorul" acestui
proces pentru τ. Un astfel de interes ne conduce în mod natural şi direct la evaluarea probabilităţilor
condiţionate de forma:
Pr( X τ≤x |X τ n=xn ,...,X τ ≤x0 ) (7.4)
0
care înseamnă probabilitatea ca procesul stohastic să se afle la momentul viitor τ în starea Xτ=x,
condiţionat de faptul că la momentele trecute s-a aflat succesiv în stările
X τ0=x0,....,X τ n=x n, starea x fiind starea iniţială a acestui proces.
0
Probabilităţile de forma πx(τ)=Pr(Xτ=x), se numesc, în contextul de mai sus,
probabilităţi absolute de stare şi se referă la evenimente de forma: "procesul se găseşte la momentul τ
în starea Xτ=x", fără a se face vreo referire la trecutul procesului stohastic.
Ca şi alte concepte matematice, nici procesele stohastice nu pot fi studiate global, fiind necesară o
clasificare a acestora după anumite criterii.
O primă clasificare poate fi făcută pe baza mulţimii parametrilor procesului stohastic:
a) dacă τ este un interval mărginit al dreptei reale, atunci avem procese stohastice de tip continuu în
raport cu parametrul timp;
b) dacă τ este o mulţime discretă, spre exemplu τ=Z (numere întregi) sau τ=R+(mărimi reale), atunci
avem procese stohastice de tip discret în raport cu parametrul τ şi care se mai numesc lanţuri.

132
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

O altă clasificare poate fi făcută în funcţie de mulţimea valorilor procesului şi anume:

a) dacă mulţimea valorilor procesului este nenumărabilă (spre exemplu, un interval real), atunci avem
procese cu valori continue;
b) dacă mulţimea valorilor procesului este cel mult numărabilă, atunci avem procese cu valori discrete.
Cel mai important criteriu de clasificare se referă la modul în care sunt legate între ele variabilele
aleatoare Xτ, ceea ce permite şi un studiu adecvat al diferitelor tipuri de procese stohastice.
Definiţia 1.2. Un proces stohastic X este un proces Markov (sau markovian) dacă şi numai dacă are
loc relaţia numită proprietatea lui Markov:
∀n∈N+∴∀ ,∴∀(x0,x1,...,xn,x),
Pr( X τ≤x |X τn=xn ,...,X τ ≤x0)= Pr( X τ≤x |X τ =xn)
0 n

Un lanţ Markov este un proces Markov cu un spaţiu discret de stări.

La baza conceptului de proces Markov se află imaginea pe care o avem despre un sistem dinamic fără
postacţiune, adică un sistem al cărui evoluţie viitoare (la momentul τ) nu depinde decât de starea
prezentă a procesului (cea de la momentul τn) dar şi de ceea ce s-a petrecut în trecutul său (la
momentele premergătoare ). Altfel spus, pentru astfel de procese stohastice,
ultima stare cunoscută determină complet, din punct de vedere probabilistic, comportarea viitoare a
sistemului. Pentru exemplificare putem considera cazul transmisiei in formaţie când, în anumite
condiţii, noul semnal care este emis are în vedere semnalul precedent emis şi nu toată emisiunea
realizată până în acel moment. Cu alte cuvinte, procesele Markov sunt procese fără memorie.

7.3. Clasificarea stărilor unui lanţ Markov

Stările unui lanţ Markov sunt clasificate în conformitate cu modul cum ele sunt "vizitate" în
cursul timpului funcţionării lanţului.
Prima clasificare este fondată pe momentele de reîntoarcere în starea dată. Notăm ξi momentul i
de schimbare de stare, iar ξij=min{τ/τ> ξi∧Xτ=j/X =i} momentul primei treceri în starea j din starea i.
0
Definiţia 1.7. O stare i este: a) tranzitorie dacă Pr(ξii<∞)<1; b) recurent–nulă dacă
Pr(ξii<∞)=1şiE[ξii]=∞;c)recurent-nenulă dacă Pr(ξii<∞)=1 şi E[ξii]≠∞, unde E[ξii] este numită
durata medie de recurenţă a stării i.
Pentru o stare recurentă i a unui lanţ Markov în timp discret, dacă δ este cel mai mare divizor
comun c.m.m.d.c.) al numerelor întregi n, astfel încât Pr(Xn=i/X0=i)>0, atunci starea i este numită
periodică de perioada δ,dacă δ>1, şi aperiodică dacă δ=7.
A doua clasificare este fondată pe mulţimea trecerilor dintr-o stare în alta. Astfel, sub ansamblul de
stări este numit închis dacă:
∀i ∈ ′,

133
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

adică este imposibil de a părăsi. Fie E o relaţie în Ω :iEj dacă şi numai dacă lanţul poate trece din i la j
şi invers, adică dacă există cel puţin un τ≥0 astfel că rij(τ)>0, ceea ce determină o relaţie de echivalenţă
E, adică fiecare clasă constituie un ansamblu de stări astfel încât din fiecare se poate, pe parcursul
timpului, să se atingă toate alte stări ale acestei clase.
Definiţia 1.4. O stare i este absorbantă dacă ea este singurul element din clasa sa de echivalenţă E şi
că această clasă este închisă.
Un lanţ Markov este ireductibil dacă ansamblul de stări Ω formează o singură clasă de echivalenţă E.
Astfel, îndată ce un lanţ atinge o stare absorbantă, el va rămâne acolo pentru totdeauna.
Legătura între aceste două clasificări este dată de faptul că toate stările unei clase de echivalenţă
pentru E sunt de acelaşi tip, adică tranzitorii, recurent-nule sau recurent-nenule. Pentru un lanţ Markov
în timp discret ele sunt aperiodice sau periodice de aceeaşi perioadă.
Restricţia unui lanţ la o clasă de echivalenţă E închisă duce la un lanţ ireductibil. Din aceste
considerente, în afara unei menţiuni explicite, în continuare ne vom restrânge la lanţuri ireductibile.

7.4. Lanţuri Markov în timp discret şi în timp cotinuu

Un lanţ Markov în timp discret este totalmente determinat de distribuţia iniţială şi matricea sa
stohastică R(1), notată simplu R şi numită matrice de probabilităţi de trecere ale lanţului:
rij=Pr(Xn+1=j/Xn=i). Astfel, pentru orice n>0 : R(n)=Rn.
Teorema 1.1. Orice lanţ DLM omogen, aperiodic cu un spaţiu finit de stări discrete şi ireductibil este
un lanţ ergodic. Distribuţia limită π a probabilităţilor de stare este independentă de distribuţia iniţială:
πi=1/E[ξii] fiind mărimea inversă a duratei medii de recurenţă în starea i. Ea este unica soluţie a
sistemului de ecuaţii Kolmogorov:
(7.5)
Distribuţia probabilităţilor de stare care verifică este numită staţionară.

Echivalentul de matrice R al lanţurilor LMTD pentru lanţuri Markov în timp continuu LMTC
este noţiunea de generator sau matrice dinamică.
Teorema 1.2. Fie X un lanţ LMTC omogen cu un spaţiu finit de stări discrete, redat de o matrice R(τ),
ce este derivabilă la dreapta în 0. Matricea este numită matrice generatoare sau matrice
dinamică a lui X, astfel încât :

de unde R( )=exp(D. ).
Astfel, un lanţ LMTC este totalmente definit de matricea sa dinamică D şi distribuţia probabilităţilor de
stare iniţială. Matricea dinamică D verifică relaţiile:

134
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

∀
∀i∈Ω,dij=- , dij<0,
∀i,j∈Ω,0= ,
unde elementul dij este interpretat ca rata de trecere din starea i spre starea j, iar durata de aflare în
starea i este o variabilă aleatorie distribuită conform legii exponenţial-negative de parametrul λi=-1/dii,
numită rata de ieşire din starea i. Notăm că suma elementelor situate pe fiecare linie a matricei D este
egală cu 0.
O matrice care verifică aceste proprietăţi este numită D-matrice dinamică. Dacă se va studia un regim
tranzitoriu al unui lanţ LMTC se vor utiliza relaţiile:

şi deci

Condiţiile suficiente de ergodicitate al lanţurilor LMTC sunt rezumate de următoarea teoremă.

Teorema 1.7. Orice lanţ LMTC omogen cu un spaţiu finit de stări discrete şi reductibil este ergodic.
Distribuţia limită a probabilităţilor de stare este independentă de distribuţia iniţială. Ea este unica
soluţie a sistemului de ecuaţii Kolmogorov:
π ⋅ D=0,∑ πi= 1,0 <πi< 1 i∈Ω
Cu orice lanţ CLM se pot asocial două tipuri de lanţuri DLM: un lanţ inclus şi/sau un lanţ uniformizat.
Definiţia 1.5. Fie τn momentul n al schimbării stării procesului X. Procesul X(E) definit de X(E)=X τ n
este un lanţ DLM numit lanţ inclus (Embedded Markov Chain) de X redat de o matrice dinamică U. Se
poate demonstra că U=I+ diag⋅ D, unde diag{a } este o matrice diagonală, elementele căreia sunt ai,

iar I este o matrice unitară. Lanţul X(E) corespunde schimbărilor de stare ale lui X, ignorând timpul de
curs de X în fiecare stare (care este distribuit conform legii exp(−λi.τ)). Dacă se va nota π(E) distribuţia

de echilibru a lanţului X(E), obţinem:

Fie, pe de altă parte ,λ≥maxλ} şi X(Z) este i procesul stohastic obţinut pentru lanţul ∀i Markov Zλ cu o

matrice dinamică K λ=I+ ⋅ D subordonată unui proces tip Poisson i de parametru λ, matricea stohastică

de trecere R(Z)(τ) a căruia este definită de:

Definiţia 1.6. Procesul X(Z) are aceleaşi probabilităţi de trecere în regim de echilibru ca şi procesul X.
Lanţul DLM definit de Zλ este numit un lanţ uniformizat de X.
135
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Lanţul Zλ corespunde unei discretizări sau unei uniformizări ale lanţului X, în instantanee distincte de
intervale de timp Δτ suficient de mici pentru ca probabilitatea mai mult de o schimbare de stare a lui X
în acest interval de timp Δτ să fie mică, de ordinul O(Δτ), astfel încât, .

7.5. Agregare markoviană

Principiul de agregare exactă, constă în a partiţiona spaţiul de stări Ω ale unui lanţ în
subansambluri (Ωk)k=1,...,K în aşa mod încât comportamentele de stări a unor şi aceleaşi Ωk să fie
stohastic echivalente.
La evaluarea performanţelor unui sistem se va folosi o agregare, subansambluri de stări ale cărei
termeni au o anumită interpretare în comportarea acestui sistem, considerată ca o macrostare. Metoda
de agregare, în particular, este folosită în analiza markoviană a unor modele ale proceselor de calcul.
Definiţia 1.7. Un lanţ Markov X poate fi agregat, urmând partiţia (Ωk)k=1,...,K, dacă procesul X(A)
cu un spaţiu de stări definit astfel încât:
∀τ≥0,Xτ(A)=Ωk,Xτ∈Ωk
este ,de asemenea,un lanţ Markov.
I.G.Kemeny şi J.L.Snell au demonstrat rezultatul următor, care determină condiţia de agregare a unui
lanţ Markov.
Teorema 1.4. Un lanţ Markov poate fi agregat, oricare ar fi distribuţia iniţială, dacă:
(k )
∀h, k ∈{1,...,K},∀w, w′ ∈ Ω :

pentru un DLM

pentru un CLM
Matricea stohastică de probabilităţi de trecere a unui lanţ agregat DLM este = [ ], iar matricea
dinamică a unui lanţ CLM este =[ ].
În general, are loc relaţia K<<∑ | Ω (k)| , astfel încât, calculul probabilităţilor de ∀k stare în regim de
echilibru să fie mai uşor de efectuat pentru (respectiv ) decât pentru R (respectiv D). Invers, aceste
probabilităţi nu permit, decât în cazuri particulare, determinarea probabilităţilor pentru fiecare stare a
lanţului original în regim de echilibru.

136
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

7.6. Procese semi-Markov

În practică se întâlnesc deseori şi sisteme dinamice cu stări discrete, pentru care durata de aflare într-o
oarecare stare i, fiind o variabilă aleatoare, depinde de această stare şi de starea următoare de trecere
şi ea nu este necesar distribuită conform legii exponenţial-negative. Evoluţia sistemului este astfel
definită de starea curentă şi de starea ce urmează. Acest tip de procese stohastice sunt numite procese
semi-Markov.
Definiţia 1.8. Un proces stohastic X, cu un spaţiu finit Ω de stări discrete, este numit proces semi-
Markov (Semi-Markov Process, SPM) dacă există o suită crescătoare de instantanee (τn)n∈N astfel
încât este o variabilă aleatoare definită ca :
∀i,j ∈ Ω,∀n ∈ N , τ0<τ1< ...<n ,≥0,∀i0 ,..., n−1∈ Ω,

Pr(

Această probabilitate de trecere este notată hij(τ), iar matricea stohastică H(τ)=(hij(τ)) este numită
nucleu semi markovian.
Notăm că τn este instantaneul n de tranziţie dintr-o stare oarecare, însă procesul X totuşi poate să
rămână în aceeaşi stare pe parcursul acestei tranziţii. Studiul în regim de echilibru al proceselor semi-
Markov SPM este facilitat de existenţa, ca şi pentru lanţuri CLM, al unui lanţ DLM derivat de SPM,
numit, de asemenea, lanţ inclus, care corespunde observării procesului X în instantaneele de tranziţie.
Procesul stohastic în timp discret X(E) definit de X(E)=X este un n lanţ DLM cu o matrice
n
stohastică de treceri= numit lanţ inclus (LMI) al procesului X.
Proprietăţile stărilor: tranzitorii, recurent-nule sau recurent-nenule, astfel că, şi caracterul
ireductibil sau nu, sunt aceleaşi pentru procesul semi-Markov X şi lanţul său inclus. Din contra,
periodicitatea unei stări este o proprietate distinctă pentru X şi X(E): starea i poate fi periodică pentru X
de perioadă:
δ=max{d>0 /(∃n ∈ N , n≠0, τ=nd ) ⇒Pr( X τ= i /X 0= i)=0} însă nu şi pentru lanţul său inclus şi
,
invers.
Următoarea teoremă, demonstrată de E.CINLAR oferă un criteriu de ergodicitate a proceselor semi-
Markov.
Teorema 1.5. Orice proces semi-Markov aperiodic ce are un lanţ Markov inclus X(E) omogen cu un
spaţiu finit de stări discrete, ireductibil şi aperiodic este un proces SP Mergodic. Distribuţia-limită π a
probabilităţilor de stare este independentă de distribuţia iniţială. Dacă π(E) este distribuţia de echilibru

137
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

de X(E), iar E(Θi) este durata medie de aflare în starea i, atunci avem: :

(7.6)
Rezultatele acestei teoreme, care vor fi folosite la analiza semi markoviană a proceselor de calcul,
permit calcularea distribuţiei probabilităţilor de stare π în regim de echilibru al procesului SPM,
referindu-ne la lanţul său inclus.
Cum deja s-a menţionat, procesele semi-Markov descriu mai adecvat funcţionarea sistemelor reale. Un
proces markovian cu probabilităţile de trecere rij dintr-o stare i în altă stare j, (i,j∈J) devine un proces
semi-Markov dacă distribuţia duratei de aflare în fiecare stare este Fi(t) .Cu scopul de a determina
probabilităţile staţionare qi de aflare a unui lanţ semi-Markov în starea i∈J cu n=|J| stări finite vom
considera un lanţ Markov DLM cu aceleaşi probabilităţi de treceri.
n
Pentru acest lanţ DLM sunt verificate ecuaţiile (7.6) cu condiţia de normalitate: .
i
Vom considera în lanţul semi-Markov cu un număr N de treceri suficient de mare. În timpul efectuării
a N treceri lanţul DLM în mediu Ni=πi .N ori se va afla în starea i∈J. Dacă este cunoscută durata
medie Θi de aflare a lanţului semi-Markov în starea i:

atunci se poate calculat durata medie de aflare a acestui lanţ în starea i pentru acelaşi număr N de
treceri:
(7.7)
Durata medie necesară lanţului semi-Markov pentru a efectua N treceri este:
(7.8)
Deoarece qi este probabilitatea staţionară că lanţul semi-Markov se va afla în starea i∈J, ceea ce
înseamnă că pe această durată, durata medie de aflare în starea i a acestui lanţ este:
(7.9)
Din relaţiile (7.7) şi (7.9), obţinem:
(7.10)

Substituind expresia lui πi din (7.10) în ecuaţia Kolmogorov (7.6) şi divizând la (cu Θi≠0,) ambele
părţi ale ecuaţiilor astfel obţinute, determinăm şi sistemul de ecuaţii algebrice pentru calcularea
probabilităţilor staţionare qi ale lanţului semi-Markov:

i=1,2,...,n;
(7.11)
Este evident că, condiţia de existenţă a soluţiei unice a ecuaţiilor (7.11) este aceeaşi ca şi condiţia de

138
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

ergodicitate a lanţului Markov cu matricea stohastică a probabilităţilor de trecere R=(rij)nxn.

Uneori este mai uşor de a rezolva sistemul de ecuaţii (7.6) decât sistemul (7.11). Atunci în acest caz
din (7.10) putem determina probabilitatea staţionară qi a lanţului-Markov:

, i=1,2,...,n. (7.12)
i n

Pentru graful unui lanţ semi-Markov, nodurile căruia sunt ponderate cu durata medie Θi de aflare în
starea respectivă i∈J ,putem determina condiţiile de conservare a fluxului de probabilitate prin metoda
tăieturilor.
Metoda tăieturilor grafului de treceri al unui lanţ semi-Markov se reduce la următoarea procedură.
Notăm mulţimea stărilor J,|J|=n ale grafului G=(J,A) lanţului semi-Markov, iar mulţimea arcelor
acestui graf este A. Astfel, dacă i,j∈J şi într-un pas poate avea loc o trecere din starea i în starea j, adică
într-o unitate de timp, atunci arcul (i,j)∈A. Fier (i,j)- probabilitatea de trecere într-un pas din starea i în
starea j, iar Θi este durata medie de aflare a lanţului semi-Markov în starea i. Dacă arcul (i,j)∈A,
atunci r(i,j)>0 şi deci r(i,j)= 7.Notăm qi- probabilitatea staţionară că i∈j procesul semi-Markov în

orice moment de timp se va afla în starea i şi este verificată relaţia de normalitate: ∑ qi= 1i∈j
În aceste condiţii este necesar de a determina probabilităţile staţionare qi–mărimi necunoscute de
aflare a lanţului semi-Markov, în starea I exprimate prin mărimile cunoscute ale probabilităţilor de
treceri r(i,j) ale acestui lanţ şi a duratei medie Θi de aflare în starea i∈J.
Pentru aceasta vom introduce următoarea definiţie.
Definiţia 1.9. Vom numi U-tăietură a mulţimii arcelor grafului G=(J,A), ce are următoarele
proprietăţi:
1)U⊂A; 2)Înlăturarea tuturor arcelor acestei U-tăieturi din graful G va transforma acest graf în două
sub grafuri G1=(J1,A1) şi G2=(J2,A2), care nu sunt conectate între ele,adică I=I1∪I2, J1∩J2=∅ şi
A=A1∪A2, A1∩A2=∅; 3)dacă (i,j)∈U, atunci nu este o tăietură a grafului G.
Din această definiţie reiese că o U-tăietură nu va conţine nici o buclă,adică (i,i)∉U. Deci o U-tăietură
poate fi redată în modul următor:
♦U=U1∪U2,U1∩U2=∅
♦dacă(i,j)∈U1,atunci j∈J2,i∈J1;
♦dacă(i,j)∈U2,atunci i∈J2,j∈J7.

7.7. Proprietăţi de bază ale lanţurilor Markov

Informaţiile despre tranziţiile de la o stare la alta în cadrul unui lanţ Markov pot fi reprezentate
prin matricea de tranziţie (într-un pas). Ea este formată din elementele pij - probabilitatea de trecere
într-un pas de la starea i la starea j (i, j = 1, 2, …,m). Se poate vorbi, atunci, şi de probabilităţile de
tranziţie în exact k paşi şi de o matrice formată din acestea.
139
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Se vor face următoarele notaţii:

pij(k) - probabilitatea condiţionată de efectuare a tranziţiei din starea i în starea j în exact k paşi.
P(k) - matricea de tranziţie în k paşi.
Teorema 1.6 Fie P matricea de tranziţie într-un pas a unui lanţ Markov. Atunci, matricea P(k) de
tranziţie în k paşi este:
P(k)=P∙P∙….∙P=Pk
de k ori

Relaţia din teorema 1 exprimă o proprietate de bază a lanţurilor Markov prin care acestea se deosebesc
de alte procese stohastice.
Conform proprietăţii 2 a matricei de tranziţie P, suma probabilităţilor de pe fiecare linie a acesteia
trebuie să dea 7. Această proprietate rămâne valabilă şi în cazul matricei de tranziţie în k paşi P(k) =
Pk.
Un vector poate fi reprezentat ca o matrice linie (vector linie) sau ca o matrice coloană vector
coloană).
Definiţia 1.10.Un vector linie (q1, q2, …,qn) care are proprietăţile:

a) 0≤qi≤1

b) =1
se numeşte vector de probabilitate sau vector stohastic.
O matrice ale cărei linii sunt vectori stohastici se numeşte matrice stohastică.
Rezultă că fiecare linie a matricei de tranziţie P este un vector de probabilitate. Acelaşi lucru se poate
spune şi despre liniile matricei de tranziţie în k paşi P(k) = Pk. De asemenea, matricele P şi Pk sunt
matrice stohastice.

7.8. Lanţuri Markov regulate

Deoarece lanţurile Markov sunt procese stohastice, nu se poate şti cu exactitate ce se întâmplă în
fiecare stare; de aceea, sistemul trebuie descris în termeni de probabilitate.

Definiţia 1.11. Fie un lanţ Markov cu m stări. Un vector de stare pentru lanţul Markov este un vector
de probabilitate X = x1 x2 … xn . Coordonatele xi ale vectorului de stare X trebuie interpretate ca
probabilitatea ca sistemul să se afle în starea i.
Atunci când se ştie cu siguranţă că sistemul este într-o anumită stare, vectorul de stare are o formă
particulară. Astfel, dacă se ştie sigur că sistemul este în starea a i-a, vectorul de stare va avea a i-a
componentă egală cu 1, iar restul 0. X = [0 0 0 … i … 0].
Comportamentul unui lanţ Markov poate fi descris printr-o secvenţă de vectori de stare. Starea iniţială a
sistemului poate fi descrisă printr-un vector de stare notat X0 . După o tranziţie sistemul poate fi descris

140
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

printr-un vector X1, iar după k tranziţii, prin vectorul de stare Xk. Relaţia dintre aceşti vectori poate fi
sumarizată prin următoarea teoremă:

Teorema 1.7. Fie un proces Markov cu matricea de tranziţie P. Dacă Xk şi Xk+1 sunt vectori de stare
care descriu un procesul după k şi k+1 tranziţii, respectiv, atunci

În particular:

Deci, vectorul de stare Xk care descrie sistemul după k tranziţii e produsul între vectorul stării
iniţiale X0 şi matricea Pk.
Observaţie. X0, X1, X2, …Xk, … sunt toţi vectori linie 1 × m.
Dacă interesează studierea unui proces stohastic după un număr mare de tranziţii, atunci este utilă
studierea comportării generale a acestuia pe termen lung. Pentru anumite tipuri de lanţuri Markov acest
lucru este posibil.
În general pentru un lanţ Markov cu m stări, posibilitatea ca sistemul să se afle în starea j după k
tranziţii depinde de starea din care s-a pornit. Astfel, p1j(k) este probabilitatea ca sistemul să fie în
starea j după k tranziţii dacă iniţial se află în starea 7. Semnificaţii similare avem pentru p2j(k), …,
pmj(k). Nu există nici un motiv ca aceste probabilităţi să fie (sau să ne aşteptăm să devină) egale. Dar,
pentru anumite lanţuri Markov există o probabilitate strict pozitivă qj asociată cu starea j astfel încât
după k tranziţii probabilităţile pij(k) devin, toate, foarte apropiate de qj.Cu alte cuvinte, speranţa ca
sistemul să ajungă în starea j după k tranziţii (unde k este suficient de mare) este cam aceeaşi, indiferent
de starea din care se pleacă.
Lanţurile Markov care au o astfel de comportare pe termen lung formează o clasă aparte care este
definită după cum urmează.

Definiţia 1.12. Un lanţ Markov cu matricea de tranziţie P se numeşte regulat dacă există un întreg k
pozitiv astfel încât Pk să aibă toate elementele strict pozitive.

7.9. Rezolvarea numerică a lanţurilor Markov

Problemă. Fiind dat un lanţ CLM cu matricea sa dinamică D de dimensiunea (nxn), în a calcula
vectorul probabilităţilor staţionare de Rn,astfel încât :

141
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Mărimea π ieste probabilitatea staţionară că sistemul se va afla în starea i.

Pentru un lanţ DLM, cu matricea sa stohastică a probabilităţilor de trecere R ,se poate formula căutarea
soluţiei de echilibru a sistemului de ecuaţii (7.17) sub aceeaşi formă,dacă vom pune D=R-In, unde In
este matricea unitară de dimensiunea (nxn).
Reamintim că, în majoritatea cazurilor n este foarte "mare" (de exemplu, n≥102) şi deci matricea D are
o talie "mare". Însă în general, ea posedă multe elemente nule şi astfel deseori se vor implementa
scheme de stocare numai a elementelor nenule ale matricei dinamice D. Există numeroase metode de
rezolvare. Aici vom descrie numai în linii mari metodele numerice ce se impun, luând seama de
situaţiile care se vor întâlni în lucrarea dată.
Astfel, analiza lucrărilor în acest domeniu dă posibilitate de a distinge trei mari clase de metode ce pot
fi folosite pentru matricele dinamice D, fără a menţiona anumite proprietăţi particulare: metode
directe, metode iterative, metode de proiecţie şi metode specifice.
La folosirea metodelor directe: metoda eliminării GAUSS, factorizării LU, de iterare inversă etc, se vor
calcula dintr-o dată valorile lui πi.
r
Metodele iterative sunt mai simple şi mai uşor accesibile decât metodele directe. Ele se folosesc, în
general, pentru sisteme de ecuaţii mari (n>50) şi în mod special pentru sisteme cu matrice rare, r
respective şi cu mulţi coeficienţi nuli. Ideea de bază a acestor metode constă în folosirea unei expresii
de tipul , unde te aproximaţia mărimii obţinută la pasul k. Funcţia f
determină metodele folosite:
1) metoda puterii iterate,
2) metoda GAUSS-SEIDEL,
3) metoda JACOBI,
4) metoda supra relaxării (SOR) etc.
Metoda puterii iterate constă în a regăsi valoarea proprie c umodulul cel mai mare unei matrice R şi un
vector propriu asociat ei.
n
Deoarece R este o matrice stohastică, se ştie că această valoare proprie este 1 şi dacă matricea este
ireductibilă, atunci există un singur vector propriu la stânga π>0, ei asociat,care verifică relaţia :

Se obţine astfel , utilizând iteraţiile

În cazul lanţurilor DLM incluse matricea R este definită de relaţia:

unde marimea α este aleasă astfel ca R să fie o matrice stohastică, adică:

142
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

,iar ε este o mărime mică reală pozitivă

Astfel metoda puterii iterate constă în a folosi iteraţiile:

Pe plan teoretic dacă R este ireductibilă atunci convergenţa este asigurată, însă ea poate fi lentă şi
depinde de modulul cel mai mare al valorilor proprii ce sunt subunitare (inferioare lui 1): cu cât mai
aproape de 1 este valoarea acestui modul, cu atât convergenţa va fi mai lentă.
Notăm că calculul direct de,

in general,nu este practicabil pentru acest tip de matrice, deoarece ele sunt rarefiate şi in acest caz
matricea Rk din contra, va conţine din ce în ce mai puţine elemente nule. La rezolvarea sistemului de
ecuaţii (7.17) sunt preferabile metodele iterative sau de proiecţie, deoarece ele sunt folosite din
următoarele considerente:
- în aceste metode se folosesc numai produse vector cu matricea D sau matrice precondiţionate de D.
Acest tip de operaţii propagă caracterul rarefiat al matricei D la matricele introduse, care permit astfel
de a efectua implementări reale, ţinând cont de acest caracter. Aceasta este mult mai dificil pentru
metodele directe.
- eventual se poate folosi o valoare iniţiala luând în consideraţie proprietăţile sistemului de
ecuaţii, care duce la o convergenţă rapidă a acestor metode;
- este posibilă oprirea calculului printr-o metodă iterativă îndată ce precizia dorită este atinsă, când
trebuie de terminat calculul cu o metodă directă ;
- matricea D nu este nici odată modificată, ceea ce împiedică producerea şi creşterea erorilor de
rotunjire.
Metodele specifice sunt fondate pe proprietăţile matricei dinamice D (sau matricei stohastice R)
deduse, fie direct din analiza lui D, fie din proprietăţile modelului, care generează D. Ele pot fi
particulare unui tip dat de matrice sau constituie adaptări la unele metode generale.

Algoritm de rezolvare a unui fenomen redat prin lanţul Markov

Elementele structurale pot fi reprezentate printr-un vector S't [s1t ,... sit ,... smt ] , care pentru fiecare
i
t 1, n şi pentru fiecare i 1, m s t variază între 0 şi 1, iar suma elementelor structurale este 1, pentru
,
orice t.

143
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Etape:

1. Se vor calcula diferenţele de ordinul întâi ale vectorului S t astfel: S t / t 1 S t S t 1 . Elementele

St / t 1
structurale ale fiecărui vector diferenţă au proprietatea că suma valorilor pozitive este egală cu
suma absolută a valorilor negative.
2. În etapa a doua, matricele de trecere parţiale sunt construite pentru fiecare pereche de perioade
consecutive de timp, t/t-7. Matricele de trecere sunt matrice pătratice de forma MTPt / t 1(m m) , unde
ii
elementele de pe diagonala principală sunt date de relaţia: mtpt / t 1 min(s it 1 , s it ) , i 1, m .
Celelalte elemente, care nu se află pe diagonala principală, sunt obţinute prin relaţia:
s tj/ t sti / t stj/ t
mtp ij
t /t 1 s i
t /t 1 m
1
ij
, unde 1 este negativă, iar 1 este pozitivă. În această
i 1
s t /t 1

formulă
m
s tij/ t este suma valorilor pozitive ale vectorului diferenţă S t / t 1 . Sintetic,
i 1 1

elementele matricei MTPt / t 1(m m) pot fi determinate astfel:

min(s it 1 , s tj ), daca i j
s tj / t 1
mtpijt / t 1 s it / t 1 m
, dacă i j şi s it / t 1 0 şi s tj / t 1 0
ij
i 2
s t /t 1

0, pentru celelalte elemente

i, j 1, m
7. Matricea de trecere totală MTT(m m) se determină prin însumarea elementelor matricilor
parţiale de trecere:
m
mtt ij t 2
mtptij/ t 1

4. Matricea probabilităţilor de trecere MP(m m) se calculează prin raportarea fiecărui element al

matricei de trecere totală la suma liniei pe care se află respectivul element:
mtt ij
mp ij m
j 2
mtt ij

5. În ultima etapă a algoritmului se obţine prognoza elementelor structurale pentru p perioade

viitoare prin multiplicarea transpusei matricei MP(m m) , ridicată la puterea k, cu vectorul
Sˆ n (MP ' ) p S n
elementelor structurale pentru ultima perioadă: p

7.10. Exemple de realizare a lanţurilor Markov

144
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Modelele Markov permit o reprezentare detaliată a cedărilor şi a proceselor de reparare, în special

atunci când sunt implicate dependenţe, şi, prin urmare, conduce la evaluări mai realiste privind
măsurile întreprinse în vederea determinării fiabilităţii sistemelor. Analiza Markov se ocupă de
evenimente rare, spre deosebire de simularea bazate pe analize, şi, prin urmare, permite ca astfel de
evenimente să fie analizate într-o perioadă rezonabilă de timp. Analiza Markov este o tehnică utilizată
pentru a obţine date numerice legate de fiabilitatea şi disponibilitatea unui sistem sau a unei părţi a
acestuia. Analiza Markov este efectuată atunci când dependenţele între cedările mai multor piese,
precum şi dependenţele între cedările componentelor şi ratele de cedare nu pot fi uşor reprezentate
folosind o combinaţie de tip arbore de defectare în vederea determinării ratelor de cedare şi reparaţii.
În continuare se va realiza un studiu de caz ce presupune prognozarea numărului de produse vândute de
către cele mai mari companii de telefonie mobilă, pe piaţa din România, pe baza datelor din ultima
perioadă. Prognozare care se va baza pe utilizarea lanţurilor Markov. S-a observat faptul că alegerea
unei anumite mărci este influenţată de ultima opţiune pe care consumatorul a ales-o. Pentru obţinerea
rezultatelor dorite se vor urmări cele cinci etape enunţate anterior, etape în care pentru realizarea
calculelor ne vom folosi de programul Matlab.
Vectorul stărilor în această analiză este:
S = {Nokia, Samsung, LG, Sony Ericsson, HTC, Alcatel, Motorola, Blackberry, Apple}
În următorul tabel se dă evoluţia istorică a numărului unităţi vândute pentru fiecare companie în
parte:
FIRMA Numărul de Numărul de Numărul de
PRODUCĂTOARE produse produse produse
vândute în 2008 vândute în vândute în Total
[sute] 2009 [sute] 2010 [sute]
NOKIA 322 357 365 1044
SAMSUNG 1554 1529 1236 4319
LG 651 671 558 1880
SONY ERICSSON 1298 1493 1463 4254
HTC 1283 1216 901 3400
ALCATEL 665 655 551 1871
MOTOROLA 393 382 314 1089
BLACKBERRY 768 826 696 2290
APPLE 2031 1984 1459 5474

7. Abateri: S 2009 / 2008 S 2009 S 2008

FIRMA N S LG SE HTC AL MOT BB APP Suma
2009 357 1529 671 1493 1216 655 382 826 1984
2008 322 1554 651 1298 1283 665 393 768 2031
Abatere 35 -25 20 195 -67 -10 -11 58 -47

145
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Abatere + 35 20 195 58 308

Abateri: S 2010 / 2009 S 2010 S 2009

FIRMA N S LG SE HTC AL MOT BB APP Suma
2010 365 1236 558 1463 901 551 314 696 1459
2009 357 1529 671 1493 1216 655 382 826 1984
Abatere 8 -293 -113 -30 -315 -104 -68 -130 -525
Abatere + 8 8

2. În continuare se vor calcula matricele de trecere de la un an la altul:

Matricea de trecere din anul 2008 în anul 2009:
TR2009/ 2008(m m)
- elementele de pe diagonala principală vor fi: min( S 2008
i i
, S 2009 )
- atunci când , şi , elementul din matrice va fi egal cu valoare

absolută din :

- iar în rest elementele vor fie gale cu 0.

FIRMA N S LG SE HTC AL MOT BB APP

N 322 0 0 0 0 0 0 0 0
S 2.8409 1529 7.6233 15.8279 0 0 0 4.7077 0
LG 0 0 651 0 0 0 0 0 0
SE 0 0 0 1298 0 0 0 0 0
HTC 7.6136 0 4.3506 42.4188 1216 0 0 12.6168 0
AL 7.1363 0 0.6493 6.3311 0 655 0 7.8831 0
M 7.25 0 0.7142 6.9642 0 0 382 2.0714 0
BB 0 0 0 0 0 0 0 768 0
APP 5.3409 0 7.0519 29.7564 0 0 0 8.8506 1459

Matricea de trecere din anul 2009 în anul 2010:

TR2010/ 2009(m m)
- elementele de pe diagonala principală vor fi: min( S 2010
i i
, S 2009 )
- atunci când , şi , elementul din matrice va fi egal cu valoare

absolută din :

- iar în rest elementele vor fie gale cu 0.

146
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

FIRMA N S LG SE HTC AL MOT BB APP

N 357 0 0 0 0 0 0 0 0
S 293 1236 0 0 0 0 0 0 0
LG 113 0 558 0 0 0 0 0 0
SE 30 0 0 1463 0 0 0 0 0
HTC 315 0 0 0 901 0 0 0 0
AL 104 0 0 0 0 551 0 0 0
M 68 0 0 0 0 0 314 0 0
BB 130 0 0 0 0 0 0 696 0
APP 525 0 0 0 0 0 0 0 1459

7. În cea de a treia etapă se va calcula matricea de trecere totală, care reprezintă suma matricelor
de trecere parţiale calculate în etapa anterioară.
FIRMA N S LG SE HTC AL MOT BB APP Total
N 679 0 0 0 0 0 0 0 0 679
S 295.8 2765 7.6 15.8 0 0 0 4.7 0 3082.9
LG 113 0 1209 0 0 0 0 0 0 1322
SE 30 0 0 2761 0 0 0 0 0 2791
HTC 322.6 0 4.4 42.4 2117 0 0 12.6 0 2499
AL 105.1 0 0.6 6.3 0 1206 0 7.9 0 1319.9
M 69.3 0 0.7 7 0 0 696 2.1 0 775.1
BB 130 0 0 0 0 0 0 1464 0 1594
APP 530.3 0 7.1 29.8 0 0 0 8.9 2918 3490.1

4. În cea de a patra etapă se calculează matricea probabilităţilor de trecere prin raportarea fiecărui
element al matricei de trecere totală la suma liniei pe care se află respectivul element:

FIRMA N S LG SE HTC AL MOT BB APP

N 1 0 0 0 0 0 0 0 0
S 0.095 0.9 0 0 0 0 0 0 0
LG 0.085 0 0.91 0 0 0 0 0 0
SE 0.010 0 0 0.989 0 0 0 0 0
HTC 0.129 0 0.001 0.016 0.84 0 0 0.005 0
AL 0.079 0 0 0.004 0 0.9 0 0.001 0
1
M 0.089 0 0 0.009 0 0 0.89 0.002 0
BB 0.081 0 0 0 0 0 0 0.91 0
APP 0.15 0 0 0.008 0 0 0 0.002 0.83

147
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Probabilităţile de tranziţie sunt între cele nouă opţiuni sunt următoarele:

N S LG SE HTC AL MOT BB APP Tota
FIRM l
A
N 100% 0 0 0 0 0 0 0 0 100
%
S 9.59% 90% 0.0005 0.0051 0 0 0 0.0015 0 100
% % % %
LG 8.54% 0 97.46% 0 0 0 0 0 0 100
%
SE 7.07% 0 0 98.93% 0 0 0 0 0 100
%
HTC 12.91% 0 0.17% 7.69% 84.71 0 0 0.5% 0 100
% %
AL 7.96% 0 0.0004 0.47% 0 97.37 0 0.14% 0 100
% % %
M 8.94% 0 0.0009 0.90% 0 0 89.79 0.26% 0 100
% % %
BB 8.1% 0 0 0 0 0 0 97.9% 0 100
%
APP 15.19% 0 0.0008 0.85% 0 0 0 0.25% 87.6 100
% % %

Valorile de pe diagonala principală reprezintă probabilităţile ca consumatorul să opteze pentru

aceeaşi marcă de telefon mobil.
5. În ultima etapă a algoritmului se obţine prognoza elementelor structurale pentru anul 2011
prin multiplicarea transpusei matricii probabilităţilor de trecere, cu vectorul elementelor structurale
pentru ultima perioadă, şi anume vectorul corespunzător anului 2010.
Matricea de trecere totală reprezintă doar preferinţa actuală şi imediat următoare a cumpărătorilor
pentru o anumită marcă de telefon mobil.

FIRMA N S LG SE HTC AL MOT BB APP

N 1 0 0 0 0 0 0 0 0
S 0.095 0.9 0 0 0 0 0 0 0
LG 0.085 0 0.91 0 0 0 0 0 0
SE 0.010 0 0 0.989 0 0 0 0 0
HTC 0.129 0 0.001 0.016 0.84 0 0 0.005 0
AL 0.079 0 0 0.004 0 0.9 0 0.001 0
1

148
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

M 0.089 0 0 0.009 0 0 0.89 0.002 0

BB 0.081 0 0 0 0 0 0 0.91 0
APP 0.15 0 0 0.008 0 0 0 0.002 0.83

FIRMA Numărul de produse

vândute în anul 2010
[sute]
N 365
S 1236
LG 558
SE 1463
HTC 901
AL 551
M 314
BB 696
APP 1459

Prognoza privind numărul de produse din anul 2011 se obţine înmulţind cele două matrice de mai
sus şi este prezentată în tabelul următor:
FIRMA Numărul de produse
prognozate pentru
anul 2011 [sute]
N 365
S 1147
LG 542
SE 1451
HTC 840
AL 540
M 331
BB 669
APP 1289

O analiză Markov este formată din trei etape majore:

1) O analiză a stării sistemului;
2) Date privind ratele de tranziţie între sisteme;
3) Calculul în vederea obţinerii soluţiilor modelului.

7.11. Procese Markov

149
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

În cadrul proceselor aleatoare un loc deosebit îl ocupă procesele Markov caracterizate prin aceea
că, apariţia unei anumite stări este condiţionată doar de un număr determinat de stări anterioare. Dacă
numărul acestor stări anterioare este r, atunci este vorba de un proces Markov de ordinul r.
Procesele Markov de ordinul 1 ocupă un loc important în studiul sistemelor mecanice. Înseamnă că
dacă un sistem se află la momentele de timp t0 , t1 , … , tj ,…în stări N (t0 ), N (t1 ), …, N (tj ),…şi dacă
el se comportă ca un sistem Markov de ordinul 1, atunci probabilitatea ca la un moment următor tj+1
starea lui să fie N (t j+1) este determinată doar de starea lui din momentul anterior, adică:
P{N (t j+1)= k N (t0)= n0, N (t1)= n1,…, N (t j)= n}=
= P{N (tj+1 ) = k N (tj ) = n} = pk (t) (7.1)
Cu alte cuvinte, aceasta se exprimă prin formularea: starea viitoare k depinde doar de starea prezentă
n sau starea prezentă înglobează în ea întregul trecut.
Pentru orice sistem este caracteristic vectorul de stare p(t ). El este structurat ca un vector linie, având
ca elemente probabilităţile absolute pn (t ) ale tuturor stărilor n ale sistemului (0≤n≤∞).

Fig. 7.1. Tranziţii între stări la modelul Markov

În figura 7.1 se prezintă grafic această evoluţie corespunzătoare unui proces Markov de ordinul 7.
Stările sistemului numerotate începând cu 0, sunt reprezentate prin cercuri, iar prin săgeţi sunt figurate
eventualele tranziţii între stări. Pe fiecare săgeată sunt notate probabilităţile de tranziţie:
Cu alte cuvinte, pentru ca la momentul t+ t, sistemul să se afle într-o stare nouă plecând din starea
prezentă n, la momentul t să aibă loc tranziţia: n→k , adică:
Starea k(t+Δt) =∪{starea n(t)∩salt n→k} (7.2)
ceea ce în termeni probabilistici se poate scrie ca:
pk(t+Δt)=∑pn(t)⋅pn,k(t) (7.3)
Această relaţie reprezintă modul de exprimare matematică a caracterului Markovian al procesului, în
care starea viitoare k nu depinde decât de starea prezentă n.
Relaţia 7.3 poate fi scrisă şi sub formă matriceală. Toate probabilităţile de tranziţie pn,k sunt grupate
într-o matrice de tranziţie T (vezi tabelul 7.1), o matrice pătratică ce are ca dimensiune numărul total
de stări posibile ale sistemului. In această matrice, suma elementelor fiecărei linii este egală cu unitatea.
Se obţine astfel relaţia matricială:
sau (7.4)
150
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

care face posibilă determinarea vectorului de stare a sistemului în orice moment de timp, pe baza
matricei de tranziţie si a vectorului de stării vide.

Tab. 7.1 Matricea T pentru procesul de naştere pură

7.12. Procesul general de naştere şi moarte

Orice sistem funcţionează conform unor procese în echilibru statistic, în care se nasc cererile de
serviciu, aşteaptă servirea, trăiesc o viaţă atingând o anumită vârstă, pentru ca apoi în final să moară.
Procesele de naştere şi moarte ca subclasă importantă a proceselor Markov de ordinul 1 se adaptează
perfect modului de apariţie şi de servire sistemului. Aceste procese sunt caracterizate de un spaţiu
discret de stări şi de un parametru temporal continuu.
Prin definiţie, un proces de naştere şi moarte autorizează pentru un sistem, care la momentul t se află în
starea k = n , tranziţia la momentul următor t '(t ' >t) numai către stările adiacente k = n +1 sau k = n −1
şi evident că starea k poate fi menţinută şi la momentul următor t'
Evoluţia dinamică a unui sistem conform unui proces de naştere şi moarte poate fi reprezentată ca în
fig. 7.2 sub forma unui lanţului Markov liniar cu număr finit N +1 de stări.

Fig. 7.2. Lanţ Markov liniar (proces general de naştere şi moarte)

151
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Pentru simplificarea desenului nu s-a reprezentat decât pentru starea n tranziţia de tip n-1→n (fluxul
intern de probabilităţi pn,k); de asemenea nu este marcat nici intervalul t = t '−t în care se pot produce
tranziţiile, controlate prin termeni de tipul pn,k (t ) t . De fapt pn,k(t) apare ce o rată a schimbării de stare şi
care, multiplicată prin t, măsoară chiar probabilitatea tranziţiei n → k. Pe durata intervalului t nu poate
avea loc decât cel mult o singură tranziţie, iar aceasta este permisă doar între stări adiacente. Deci
conform relaţiei 7.4, se poate scrie că:
pn(t +Δt )= pn−1(t ) pn−1,n( t )+ pn+1(t ) pn+1,n( t )+ p n(t )[1− pn,n+1( t )− pn,n−1( t)] (7.5)

În regim staţionar, probabilităţile stărilor sunt independente de timp, iar valoarea probabilităţii de
tranziţie depinde, în mod direct proporţional, de lungimea intervalului în care are loc tranziţia şi de rata
pn,k a schimbării de stare, care este o constantă reală pozitivă, adică:
pn,k( t )= pn,k t + o ( t) (7.6)
Cu o (t) este notat indicele Landau definit astfel:

Aşa după cum s-a precizat anterior, pentru orice proces Markov se poate forma matricea T de tranziţie,
ale cărei elemente sunt probabilităţile de tranziţie între stări. În condiţiile echilibrului statistic se obţine
ecuaţia echilibrului global scrisă ca în relaţia (7.6) şi care probabilistic exprimă faptul că suma
fluxurilor de ieşire de probabilităţi dintr-o stare este identic egală cu suma fluxurilor de intrare:
(7.8)

Fig.7.3. Suprafeţele de conservare a fluxurilor de probabilităţi (I)

Fig. 7.4. Suprafeţele de conservare a fluxurilor de probabilităţi (II)

Se pot deduce de asemenea ecuaţiile echilibrelor locale după cum urmează:

152
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

(7.9)
Ultimele două relaţii din (7.9) indică faptul că în ecuaţia echilibrului global termenii din cei doi
membrii sunt egali doi câte doi, adică pentru o stare n tranziţiile ascendentă şi descendentă sunt
echiprobabile.
Dacă se consideră variaţia continuă a parametrului timp, este adevărat că:
(7.10)
Se formează în consecinţă matricea infinitezimală Q , ale cărei elemente sunt constante reale şi
anume:

(7.11)
Relaţia (7.12) devine:
(7.12)
Sau sub forma cunoscuta ca şi ecuaţia viitorului:
(7.13)

Trebuie precizat că elementele matricei infinitezimale Q (vezi tabelul 7.1) se deduc uşor din cele ale
matricei de tranziţii T.
(7.14)

7.13. Procesul de naştere pură

Un proces de naştere pură are o evoluţie ca cea prezentă în figura 7.5 în care s-a considerat un
proces trunchiat, adică s-a presupus un set finit de N +1 stări.

Fig. 7.5. Lanţul tranziţiilor într-un proces de naştere pură

- apare o naştere:
153
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

(7.15)
- nu se întâmplă nimic:
(7.16)
Ceea ce înseamnă că:
(7.17)
Procesul este omogen şi probabilităţile de tranziţie nu sunt funcţii de timp. Ele sunt proporţionale
cu , adică:
(7.18)
(7.19)
reprezintă rata medie de naşteri adică numărul mediu de cereri de serviciu ce apar în unitatea de
timp.
Mărimea intervalului de tranziţie este în aşa fel aleasăîncât probabilitatea de a avea mai mult de o
naştere în să fie un infinit mic de ordin superior lui , adică o( ).

Tab. 7.1. Matricea T pentru procesul de naştere pura

Stări în Stări în t+
t 0 1 ... n-1 n n+1 ... N-1 N
0 1- 0 0 0 0 0
1 0 1- 0 0 0 0 0
.... ... ... ... ... ... ... ...
n-1 0 0 1- 0 0 0

n 0 0 0 1- 0 0
n+1 0 0 0 0 1- 0 0

... ... ... ... ... ... ... ...

N-1 0 0 0 0 0 1-

N 0 0 0 0 0 0 1

Tab. 7.2. Matricea Q pentru procesul de naştere pură

Stări Stări în t+
iîn t 0 1 ... n-1 n n+1 ... N-1 N
0 - 0 0 0 0 0
1 0 - 0 0 0 0 0
.... ... ... ... ... ... ... ...
n-1 0 0 - 0 0 0
n 0 0 0 - 0 0
n+1 0 0 0 0 - 0 0
154
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

... ... ... ... ... ... ... ...

N-1 0 0 0 0 0 -
N 0 0 0 0 0 0 1

Pornind de la ecuaţiile viitorului şi folosind elementele din Q se obţine o distribuţie Poisson:

(7.20)
Ea precizează de altfel probabilitatea condiţionată ca n naşteri să apară în intervalul (0,t), dacă starea
iniţială este caracterizată de o populaţie nulă, adică n0 = 0

7.14. Aplicaţii

Aplicaţia 1
Linia unui abonat telefonic se poate găsi în două stări: liber sau ocupat, notate cu 0, respectiv 7. Ştiind
că duratele celor două tipuri de stări urmează distribuţii de probabilitate exponenţiale de medie 1/α =
5/4 , respectiv 1/β = 5 , să se determine probabilitatea de stare p0(t) şi p1(t) în funcţie de probabilităţile
iniţiale de stare p0(0)=0,3şi p1(0)=0,7.
Rezolvare:

sistemul de ecuatii diferentiale a viitorului:

- relaţia de normare:

cu soluţia:

155
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

cu soluţia:
Pentru t=0 avem condiţia: +0,1e-t

Pentru t=0 condiţia iniţială

K=0,7-0,8=-0,1
Definiţia 1
Traficul este raportul dintre durata medie de serviciu şi durata medie a interapelului, ceea ce înseamnă
că e o cantitate fără dimensiuni:

Unitatea care tinde să se generalizeze este ERLANG-ul.

Definiţia 2
Traficul oferit sau traficul de intrare este nr. mediu de cereri ce se prezintă în sistem, cu rata de apelare
λ , în intervalul de apelare egal cu timpul medie de serviciu 1 μ .

A = λ (cereri secunda )⋅1 μ (secunde)

Dar cererile nu pot exista în afara surselor cele produc. Aceeaşi definiţie poate căpăta forma: Traficul
oferit este nr. mediu de surse simultan ocupate în decursul unui interval cât durata medie de servire 1 μ
, dacă rata lor de apelare este λ .
A = λ (surse ocupate secunda )⋅1 μ (secunde)
Definiţia 7.
Orice cerere acceptată de sistem are la dispoziţie un circuit sau dispozitiv de prelucrare, pe care îl
ocupă pe toată durata lui de prezenţă în sistem, ceea ce înseamnă că: Traficul scurs (prelucrat) este nr.
de resurse simultan ocupate pe durata timpului mediu de serviciu 1 μ pentru prelucrarea cererilor
oferite cu rata λ .
A = λ (resurse ocupate secunda )⋅1 μ (secunde)

156
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Aplicaţia 2

În figura de mai jos este prezentată diagrama de ocupare a 3 resurse, funcţionând într-un grup
comun observate în decurs de 20 ore. Se cere:

a.) Diagrama de ocupare totală a grupului

b.) Durata totală de angajare

c.) Intensitatea traficului scurs

b.) Durata totală de angajare:

c.) Intensitatea traficului scurs:

157
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Nr. sursei 1 2 3 Valori medii

Durata totala de 9,5 10,5 12 Intensitate
angajare trafic:1,6
Nr. De angajări 5 4 3
Rata de angajare 5/20=0,25 4/20=0,2 3/20=0,15 Rata medie de
individuala apelare:0,6
Durata totala de 9,5/5=1,9 10,5/4=2,26 12/3=4 Durata medie de
servicii serviciu:2,66h/apel

Aplicaţia 3
În urma observării a 4 resurse pe durata a 6 minute s-au trasat diagramele din figura de mai jos, în care:
1 - ocupat; 0 – starea de neutilizare a fiecărei resurse. . Se cere:

a.) Diagrama de ocupare totală a grupului

b.) Durata totală de angajare
c.) Intensitatea traficului scurs

Stabiliţi intensitatea medie a traficului servit de respectivul grup pe parcursul intervalului considerat.
Rezolvare:
i [ ]
1 2 2,5 2/6=1/3 2,5/2=5/4 2,5/6=5/12
2 3 3 3/6=1/2 3/3=1 3/6=1/2
3 2 3,5 2/6=1/3 3,5/2=7/4 3,5/6=7/12
4 4 4,5 4/6=2/3 4,5/4=9/8 4,5/6=9/12=3/4
Total 11 13,5 11/6 27/22-durata medie de serviciu 9/4

158
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

i
1 0,5 0,5
2 2 4
3 3 9
4 0 0
Total .......................................... 13,5 minute

Aplicaţia 4
7. Accesul unui grup de terminale la reţeaua de telecomunicaţii se face prin intermediul unui modde
comunicaţie care dispune de o singură linie de date de o capacitate de 10 Mbiţi/sec. Dacă traficul oferit
de terminale spre a fi transferat în reţea este de:
(i) 600 pachete /sec cu cate 1000 de biti pachetul
(ii)8 Mbiti/sec
exprimările în unităţi Erlang:

În cazul nostru:

Notă:
Trafic scurs după definiţia 3

7.Intensitatea traficului după definiţia 4

2. Timpul mediu de servicii caracteristic

7. Nr de angajări în unitatea de timp (rate de angajare)

7.15. Modele de aplicare a lanţurilor Markov

7.15.1. Un model de predicţie a vremii probabile

159
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Predicţia condițiilor meteorologice (modelate ca fie vremea să fie ploioasă sau soare), având în vedere
vremea din ziua precedentă, poate fi reprezentată de o matrice de tranziție:

Matricea P reprezintă modelul în care vremea în care avem o probabilitate de 90% de vreme însorită ce
ar putea fi urmată de o altă zi însorită, şi o probabilitate de 50% de zi ploioasă ce ar putea fi urmată de
o altă zi ploioasă. Coloanele pot fi etichetate "soare" şi "ploios", şi rândurile pot fi etichetate în aceeași
ordine.

Fig. 7.6. Reprezentarea grafică a matricei de tranziţie

(P) ij este probabilitatea ca, în cazul în care o anumită zi este de tip i, acesta va fi urmat de o zi de tipul
j.

Observați că suma rândurilor P este 1: acest lucru este pentru că P este o matrice stohastică.

Predicţia condițiilor meteorologice în zile consecutive apropiate

Se cunoaşte faptul că în ziua 0 este soare. Acest lucru este reprezentat de un vector în care mențiunea
"soare" este de 100%, iar mențiunea "ploios" este 0%:

Vremea în ziua 1 poate fi prezisă de:

Astfel, există o șansă de 90% ca în acea zi să fie, de asemenea, soare.

Vremea în ziua 2 poate fi prezis în același mod:

sau

160
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Regulile generale pentru ziua n sunt:

Predicţia condițiilor meteorologice în zile mai îndepărtate

Previziunile pentru vremea din zilele mai îndepărtate sunt din ce în ce inexacte şi tind spre un vector de
tip stare de echilibru. Acest vector reprezintă probabilitățile de vreme însorită și ploioasă în toate zilele,
și este independent de vremea inițial.
Vectorul de stare de echilibru este definit ca:

care converge la un vector strict pozitiv numai dacă P este o matrice de tranziție regulată (atunci când
există cel puțin un Pn cu toate intrările nenule).
Având în vedere că q este independent de condițiile inițiale, acesta trebuie să fie neschimbat atunci
când este transformat de P. Acest lucru face un vector propriu (cu valoare proprie 1), ceea ce înseamnă
că acesta poate fi derivat din P. Pentru exemplul de mai sus avem:

Deci și, deoarece acesta este un vector de probabilitate știm că

Rezolvarea acestei perechi de ecuații simultane dă distribuția stării de echilibru:

În concluzie, pe termen lung, aproximativ 83,3% din zile sunt însorite.

7.15.2. Un model de predicţie a funcţionării unui sistem mecanic format din trei componente
161
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Un sistem mecanic format din trei componente, poate avea toate componentele funcţionale (starea 3)
după cum poate avea doar două componente funcţionale (starea 2), unul funcţional (starea 1) sau
niciunul (starea 0). Sistemul este, iniţial, complet funcţional şi are capacitatea să recupereze, parţial sau
total, funcţionalitatea.
Probabilitatea p30, spre exemplu, reprezintă probabilitatea defectării la un moment dat a întregului
sistem, constituit din cele trei componente.

Fig. 7.7. Lanţul Markov asociat unui sistem format din trei componente având capacitatea unei
recuperări dinamice

Analog, probabilitatea p02, spre exemplu, reprezintă probabilitatea reparării simultane a două
componente, din cele trei ale sistemului, după acelaşi interval de timp t, atunci când sistemul format
din trei componente a fost complet nefuncţional.
Pentru fiecare stare a lanţului Markov din figura 1 se pot scrie relaţiile:
p33 + p32 + p31 + p30 = 1,
p23 + p22 + p21 + p20 = 1,
p13 + p12 + p11 + p10 = 1,
p03 + p02 + p01 + p00 = 7.
Aceste relaţii arată completitudinea sistemului de evenimente asociate fiecărei stări, în parte, din lanţul
Markov.
Probabilitatea ca sistemul să fie complet funcţional la momentul n spre exemplu, poate fi scrisă astfel:
P3(n) = p33P3(n-1) + p23P2(n-1) + p13P1(n-1) + p03P0(n-1) (7.1)

În (01) s-a notat, spre exemplu, prin P2(n-1) probabilitatea ca sistemul să funcţioneze cu două unităţi
din trei la momentul n-1, iar prin p23 s-a notat probabilitatea recuperării unității nefuncţionale pe durata
momentului n-7.
Similar, probabilităţile ca la momentul n sistemul să a funcţioneze cu 2, 1 sau niciuna dintre unităţile
sale funcţionale sunt:
P2(n) = p32P 3 (n-1) + p22P 2 (n-1) + p12P1(n-1) + p02P0(n-1), (7.2)

162
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

P1(n) = p31P3(n-1) + p21P 2 (n-1) + p11P 1 (n-1) + p01P0(n-1), (7.3)

P 0 (n) = p30P3(n-1) + p20P2(n-1) + p10P1(n-1) + p00P0(n-1), (7.4)
Relaţiile anterioare (01) – (04) se pot rescrie matricial astfel:

(7.5)
Se notează în (05) vectorul coloană din stânga prin:

(7.6)
Matricea pătrată a sistemului din (05) se notează, tradiţional, astfel:

(7.7)
Atunci relaţia (05) se rescrie astfel:

(7.8)
Explicitând expresia (08) rezultă:

(7.9)
Vectorul iniţial Π0 arată astfel:

(7.10)
Vectorul coloană iniţial arată astfel deoarece, la momentul zero, sistemul se presupune că era complet
funcţional.
Pentru o istorie suficient de lungă a funcţionării sistemului tri-component considerat, acesta intră într-o
starea staţionară caracterizată printr-o anumită distribuţie a probabilităţilor stărilor acestuia.

163
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

(7.11)

Această distribuţie stabileşte probabilităţile sistemului de a se găsi în cele patru stări posibile.
Un vector coloană de probabilităţi Π care satisface (11) este alcătuit din valori proprii ale matricei A.
Determinarea valorilor proprii ale unei matrice poate fi o sarcină laborioasă. Dintr-un punct de vedere
pragmatic vectorul coloană Π poate fi aproximat printr-un calcul iterativ aplicând expresia (08).
Calculul poate fi oprit deîndată ce:

(7.12)
În (12) constanta pozitivă ε poate fi aleasă convenabil, în raport cu precizia urmărită, în calculul
probabilităţilor staţionare ale lanţului Markov respectiv. Uzual, valori ale erorii ε de ordinul 0 < ε < 10-6
sunt satisfăcătoare în marea majoritate a situaţiilor.

7.15.3. Funcţionarea unui sistem format dintr-un calculator, o imprimantă şi un plotter

Un calculator, ce are cuplate o imprimantă şi un plotter, poate fi privit ca un sistem care se poate afla
într-una din următoarele stări:
- S1 - calculatorul, imprimanta şi plotter-ul sunt funcţionale;
- S2 - imprimanta este defectă şi pot fi rulate numai programe utilizând plotter-ul;
- S3 plotter-ul este defect şi pot fi rulate numai programe utilizând imprimanta;
- S4 calculatorul este defect sau imprimanta şi plotter-ul sunt defecte, sistemul nemaiputând fi utilizat.
În momentul iniţial, sistemul se află în starea S1 şi este controlat la momente fixate de timp, t1, t2, t7.
Sistemul poate fi modelat cu un lanţ Markov cu trei paşi (momentele de timp după cele trei controale).
Graful asociat este reprezentat în figura 4.2.

Fig. 7.8. Graful asociat lanţului Markov.

164
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

Se cer probabilităţile stărilor sistemului după cele trei controale. Nu se iau în considerare eventuale
acţiuni de reparare.
Soluţie: Avem următoarele probabilităţi de tranziţie:
p12 = 0,1;
p13 = 0,2;
p14 = 0,3;
p11= 1 - p12 - p13 - p14 = 1 - 0,1 - 0,2 - 0,3 = 0,4;
p21 = 0;
p23 = 0;
p24 = 0,2;
p22 = 1 - p21 - p23 - p24 = 1 - 0,2 = 0,8;
p31 = 0;
p32 = 0;
p34 = 0,1;
p33 = 1 - p31 - p32 - p34 = 1 - 0,1 = 0,9;
p41 = 0;
p42 = 0;
p43 = 0;
p44 = 1 - p41 - p42 - p43 = 7.
Probabilităţile iniţiale ale stărilor sunt:
p1(0) = 1, p2(0) = p3(0) = p4(0) = 0.
Aplicăm formula recurentă:

Obţinem:
p1(1) = p1(0)xP11 + p2(0)xP21 + p3(0)xP31 + p4(0)xP41 = 1x0,4 = 0,4;
p2(1) = p1(0)xP12 = 1x0,1 = 0,1;
p3(1) = p1(0)xP13 = 1x0,2 = 0,2;
p4(1) = p1(0)xP14 = 1x0,3 = 0,7.
Verificare: p1(1) + p2(1) + p3(1) + p4(1) = 7.
p1(2) = p1(1)xP11 = 0,4x0,4 = 0,16;
p2(2) = p1(1)xP12 + p2(1)xP22 = 0,4x0,1 + 0,1x0,8 = 0,12;
p3(2) = p1(1)xP13 + p3(1)xP33 = 0,4x0,2 + 0,2x0,9 = 0,26;
p4(2) = p1(1)xP14 + p2(1)xP24 + p3(1)xP34 + p4(1)xP44 = 0,4x0,3 + 0,1x0,2 +
0,2x0,1 + 0,3x1 = 0,7.
Verificare: p1(2) + p2(2) + p3(2) + p4(2) = 7.
p1(3) = p1(2)xP11 = 0,16x0,4 = 0,064;
p2(3) = p1(2)xP12 + p2(2)xP22 = 0,16x0,1 + 0,12x0,8 = 0,112;
p3(3) = p1(2)xP13 + p3(2)xP33 = 0,16x0,2 + 0,26x0,9 = 0,226;
p4(3) = p1(2)xP14 + p2(2)xP24 + p3(2)xP34 + p4(2)xP44 = 0,16x0,3 + 0,12x0,2 +
165
 Modele de predicţie a funcţionării unui sistem mecanic pe baza aplicării lanţurilor Markov

0,26x0,1 + 0,46x1 = 0,558.

Verificare: p1(3) + p2(3) + p3(3) + p4(3) = 7.

Bibliografie

1. Gh.Mihoc, C.Bergthaller, V.Urseanu. Procese stochastice,elemente de teorie si aplicatii.

Ed.Stiintica si pedagogica. 1978.
2. I.Gh.Sabac : Matematici Speciale 2. Ed. Tehnica. 1977.
3. Emilia Gutulan. Lanturi si sisteme de asteptare markoviene: Elemente teoretice si aplicatii. Ed
Universitatea tehnica a moldovei Chisinau 2010
4. Analiza structurala – Lanturi Markov – Laborator 10
5. Modelare si simulare Seminar 3
http://www.tc.etc.upt.ro/teaching/ms-ap/MS%20SEMINAR%207.pdf
6. Platforma de e-learning si curriculara e-content pentru invatamantul superior ethnic. Ingineria
calculatoarelor – O abordare din punct de vedere fiabilistic a stiintei calculatoarelor- Lanturi Markov
http://andrei.clubcisco.ro/cursuri/f/f-sym/3ic/IC_6.pdf

166