Procese Markov Tomita Bogdan

Derius Cristian
Grupa 353AB

Mentenabilitate + procese Markov

M(t)  Prob(Tr  t)

Probabilitatea ca sistemul sa fie restabilit intr - un interval mai mic decat o valoare data t

Corespunzator exista si o densitate de repartitie

dM (t )
m(t )  cu semnificatia
dt
dM (t )  m(t ) dt  P (t  Tr  t  dt )

Deci m(t)dt=probabilitatea ca sistemul sa fie restabilit in intervalul(t, t+t)

Aceeasi probabilitate mai poate fi exprimata si ca produs de probabilitate, intre
probabilitatea(1-M(t)) [sistemul nu este restabilit pana la momentul (t)] si
probabilitatea de restabilire in intervalul(t, t) [conditionata de faptul ca sistemul nu a
fost restabilit pana la momentul (t)].
Aceasta din urma probabilitate se noteaza cu (t)dt iar (t)intensitatea restabilirii
Deci m(t )dt  [1  M (t )] (t )dt
Rezolvand ecuatia diferentiala, cu conditia initiala M(0)<0 se obtine
t


  ( x ) dx
M (t )  1  e 0

In practica, pentru simplificarea calculelor, se admite (desi nu intrutotul adevarat) ca

timpul de repartitie are o repartitie exponentiala si deci  (t)  ct  
Rezulta: M (t )  1  e  t
Se poate defini media timpilor de buna restabilire in general:
 
G (t )  M (t )
mr   tg (t )dt 
0
 [1  G (t )]dt
0 g (t )  m(t )
Daca (t)=ct= rezulta
1
mr 

Rezultat identic cu cel obtinut in cazul repartitiei exponentia l - negative unde 
 
  (t) =  = ct  rata caderilor  
  
 MTDF = m 1
 = (vezi tabelul).




t
  


Procese Markov depinzand de un parametru discret

A Consideratii generale

Proces stohastic: o functie aleatoare de parametru timp (valorile ei depind de timp).

Deoarece procesele stohastice sunt asociate unor sisteme fizice, reflectand fenomene
ce au loc in acestea, valorile marimilor aleatoare care definesc procesul se numesc
stari ale sistemului.
Lant: un sir de variabile aleatoare.
Variabile aleatoare {n} (Lant nN).
Fie un sir de variabile aleatoare {n} si admitem ca fiecare variabila aleatoare este
discreta.

-1-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
Fie I reuniunea tuturor valorilor pe care le pot lua variabilele n, nN.
P(}n=i)>0, iI.
Imultimea de stari ale procesului considerat

Lanturi Markov

Un lant Markov este un sir de variabile aleatoare {n}, nN care se bucura de
proprietatea Markov, adica pentru orice n2 si orice i1,……inI avem:
P ( t n  in |  tn 1  in 1 ,... t1  i1 )  P( t n  in |  t n 1  in1 ) .
Deci un lant Markov este un proces stohastic care are o multime discreta de stari, si
pentru care starea sistemului(procesului) la un moment dat este complet determinata
de ultima stare cunoscuta. Rezulta ca pentru a anticipa starea sistemului la un
moment t+t, nu este necesar sa cunoastem toata evolutia sistemului pana la
momentul t ci toata starea in care se afla sistemul la momentul t. Cu alte cuvinte daca
sistemul se afla intr-o anumita stare, modul in care a ajuns in aceasta stare nu
conteaza in nici un fel pentru evolutia sa ulterioara.
Obs: Este gresit totusi a se crede ca viitorul sistemului este independent de trecut. El
depinde de trecut, dar numai prin intermediul starii prezente.
Se poate spune despre un sistem Markovian, ca intregul sau trecut este rezumat la
starea prezenta, sau ca sistemul pastreza despre trecut amintirea cea mai recenta.
Se numeste starea i neesentiala (tranzitorie) daca cu o probabilitate pozitiva, este
posibil sa se treaca din ea in oricare alta stare, dar nu mai ste posibila revenirea din
acea stare, in starea i (neesentiala).
Orice stare diferita de cea neesentiala, se numeste esentiala.

B Lanturile Markov, precum si proprietatile lor sunt foarte utile in determinarea

indicatorilor de fiabilitate:
Ex: Fie sistemul reprezentat de schema:

(Defectarea blocului A sau B, (si C in functiune)  defectare partiala.

Defectarea blocului C sau a lui A si B  defectare totala).
Tinand seama de faptul ca fiecare bloc are doar doua stari posibile:bun/defect, pentru
intreg sistemul sunt posibile 23=8 stari diferite. Notand cu 1 starea de buna
functionare a unui bloc si cu 0 starea sa de defect cele 8 stari posibile sunt
reprezentate in tabelul care urmeaza:

Nr. de A B C Starea sistemului

stari

-2-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
0 1 1 1 Buna functionare
1 1 1 0 Defect
2 1 0 1 Buna functionare
3 1 0 0 Defect
4 0 1 1 Buna functionare
5 0 1 0 Defect
6 0 0 1 Defect
7 0 0 0 Defect

Deoarece multimea starilor sistemului este discreta si finita, si deoarece starea

sistemului la un moment dat, respectiv probabilitatea ca sistemul sa ajunga in acea
stare nu depinde direct de toate starile anterioare, ci doar de ultima stare in care s-a
aflat sistemul, rezulta ca evolutia starilor sistemului este descrisa de un lant Markov.

C Pentru lanturile Markov ce descriu evolutia probabilistica a unui sistem se vor

evidentia cateva caracteristici mai importante.
Fie A si B doua blocuri, independente ale unui sistem si fie A, B, B, A, intesitatile
de defectare, respectiv de restabilire.
Daca la momentul A ambele blocuri sunt in stare de buna functionare, atunci
probabilitatea ca in intervalul t+t, ambele blocuri sa se defecteze este:
 A t B t   A  B (t ) 2  0(t )  infinit mic de ordin superior lui t.
(Probabilitatea de defectare At s-a calculat pornind de la definitia lui Z(t) si
presupunand o distributie exponential negativa Z(t) e ct.
Consideratii identice pentru h).
Daca la momentul t, ambele blocuri sunt defecte probilitatea ca ele sa fie restabilite
in t este:
 A  B (t ) 2  0(t )
Considerand acum blocul A bun si B defect, probabilitatea ca A sa se defecteze in t
si in acelasi timp B sa se restabileasca este  A  B (t ) 2  0(t ) .
Acest lucru este valabil si in situatia A defect , B bun.
Rezulta deci ca probabilitatea producerii intr-un interval infinit de mic t a doua sau
mai multe schimbari in starea fiabilistica a unui sistem este practic nula. Un astfel de
lant Markov este un lant omogen.
Pe baza proprietatilor de omogenitate se poate considera ca in orice sistem este
imposibila(probabilitatea0) a urmatoarelor evenimente:
-defectarea a doua sau mai multe blocuri
-restabilirea a doua sau a mai multor blocuri
-defectarea unui bloc si restabilirea altuia
-defectarea si restabilirea aceluiasi bloc, etc.
Ca urmare, rezulta ca schimbarea starii unui sistem intr-un interval de timp infinit
mic t se poate face sau prin defectarea sau prin restabilirea unui singur bloc

-3-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
component. Aceasta inseamna ca starea sistemului la un moment dat nu depinde
direct de toate starile anterioare ci doar de ultima stare.
Astfel daca de exemplu sistemul exemplificat mai inainte se afla in starea 0, la
momentul t, la t+t el se va afla sigur intr-una din starile 0(nu s-a intamplat nimic), 1,
2, sau 4(deoarece starile 3, 5, 6, 7 presupun fata de starea 0, doua modificari-
defectari-).

Modelul proceselor Markov

Fie un sistem coerent descris de functia de structura

S  P ( x1 , x 2 ,...x n )
Daca se asociaza fiecarui vector de stare(x1, x2,….xn) cu numar real care sa indice
sintetic starea sistemului, se obtine un proces aleator W(t)(care beneficiaza de
proprietatile enuntate anterior) avand caracteristicile unui lant Markov omogen cu un
numar finit de stari.
Modelul proceselor Markov poate descrie sistemele atat la nivel global cat si la nivel
structural(tinand seama de blocurile componente).
Descriere la nivel global
Descrierea se face pe baza unor grafuri topologice.Fie starea 0 corespunzatoare unei
bune functionari si 1 starea de defect.Tranzitia din 01 se face in t cu
probabilitatea Z(t) t.
Graful:

Analiza cantitativa a fiabilitatii implica in prima faza cunoasterea procesului Markov

respectiv o probabilitate starilor sistemului. In acest scop se scrie ecuatia cu diferente
finite
P0 (t  t )  P0 (t )(1  Z (t )t
P0 (t ) - probabilitatea ca sistemul sa fie in 0 la t.
(1  Z (t ) t - probabilitatea ca sistemul sa nu paraseasca starea 0 (sa nu se

defecteze in t).
Deci P (t  t )  P (t )  P (t )Z (t )t
0 0 0

P0 (t  t )  P0 (t )
  P0 (t ) Z (t )
t
dP (t )
t  0  0   P0 (t ) Z (t ) ecuatie diferentiala (intalnita la definirea lui
dt

-4-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
f (t ) dR (t )
Z (t )   ).
R (t ) R (t )dt
Solutia este
t


 Z ( u ) du
( P0 | t 0 (0)  1) .
P0 (t )  e 0

Daca sistemul nu se restabileste, probabilitatea ca sistemul sa fie in buna functionare

la momentul t, coincide cu R(t): P0(t)=R(t).
Sa presupunem acum ca sistemul este restabilit, si ca durata restabilirii este o
variabila aleatoare distribuita dupa o lege avand rata (intensitatea) restabilirii (t).
Sistemul poate revenii in acum din 1cu probabilitatea (t)t.
Graful starilor in aceasta situatie este:

Fie E1 evenimentul ca sistemul sa fie in 0 la t

P(E1)=P0(t)
E2 evenimentul ca sistemul sa nu se defecteze in t
P(E2)=Z(t)t
E3 sistemul sa fie defect
P(E3)=P1(t)
En sistemul sa se restabileasca in t
P(En)=(t)t
E0 sistemul sa ramana in 0 la t+t
E0  ( E1  E 2 )  ( E3  E 4 )
P ( E 0 )  P ( E1 ) P ( E 2 )  P ( E 3 ) P ( E 4 )
Deci
P0 (t  t )  P0 (t )[1  Z (t ) t ]  P1 (t )  (t ) t
Este evident
P0 (t )  P1 (t )  1  P1 (t )  1  P0 (t )
Deci relatia de mai sus descrie:
P0 (t  t )  P0 (t )[1  Z (t ) t ]  [1  P0 (t )] (t ) t
Sau
P0 (t  t )  P0 (t )
  (t )  P0 (t )[ Z (t )   (t )
t
Daca

-5-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
P0 (t  t )  P0 (t )(1  1t )  P0 (1  2 t )  P0 (1  4 t ) Z (t )  ct  
P0 (t  t )  P0 (1  t )  (t )  ct  
ecuatia diferentiala are solutia:
 
P0 (t )   e (    )t
 
(Solutia a fost dedusa utilizand transformata Laplace).
P0(t)-sistemul sa fie in functiune la momentul tD(t)(disponibilitatea sistemului).
Sa analizam acum un sistem la nivel structural (tinand seama de
blocurile/elementele componente).

Descriere la nivel structural

 Fie un sistem descris de un model logic de tip serie, format din n elemente avand
ratele de defectare/restabilire, constante i, i.
Functia de fiabilitate poate fi calculata cu ajutorul modului Markov, care are
urmatorul graf.

Starea
0–
buna

functionare t + t.
Starile 1, … n, stari de defect,
datorate defectarii celor n
componente ale sistemului.

sistemul este in functiune la t si nu s-a defectat datorita blocului i.

n
 s   i
i 1

-6-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
dP0 (t )
  s P0 (t )
dt
– probabilitatea de buna functionare.
P0 (t )  R (t )
Daca sistemul este cu restabilire:

Probabilitatile starilor procesului

Pi (t  t ) – probabilitatea sa ramana in starea i, la t + t
P0 (t )i t – probabilitatea de trecere de la starea 0 la starea i
Pi (t ) – probabilitatea ca sistemul sa fie in starea i
1   i t – probabilitatea ca sa nu se restabileasca in t (ramane in starea i).
Pi (t  t )  P0 (t )i t  Pi (t )(1   i t )
Cu conditia
n
P0 (t )   Pi (t )  1 (Din 0, in t, nu se poate ajunge decat intr-o singura stare)
i 1

dPi (t )
 P0 (t )i   i Pi (t )
dt
Daca p0|t=0 = 1 ec. diferentiala se poate rezolva aplicand transformatele Laplace si se
poate determina p0  disponibilitatea sistemului.
 Fie un sistem descris de o functie de tip paralel.
Apare o diferenta esentiala fata de sistemele serie: restabilirea unui element defect
poate avea loc in timpul functionarii sistemului, deoarece buna functionare este
originala de alte elemente in paralel.
Deci comportarea sistemului pana la defectare va fi influentata de probabilitatea de
restabilire a elementelor.
Fie un sistem din doua elemente avand 1  2  ct   , 1   2  ct   .
0-starea de buna functionare
1-s-a defectat unul din elemente;cel de-al doilea functioneaza iar celalalt
este in curs de restabilire.
2-starea la care se ajunge (defectarea sistemului) prin defectarea
elementului bun inainte de restabilirea celui defect
Graful Markov arata:

-7-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB

2t - se poate defecta sau 1 sau 2 (deci +)

2t - se poate restabili sau 1 sau 2 (deci +)
P0 (t  t )  P0 (t )(1  2t )  P1 (t ) t
P1 (t  t )  P0 (t ) 2t  P1 (t )[1  (   )t ]

1  (    ) t
- nu s-a defectat al doilea(ca sa ajung in starea 2 sau 3 nu s-a restabilit
elementul 1).
Deci:
 dP0 (t )
  2P0 (t )  P2 (t )
 dt

 dP1 (t )  P (t ) 2  (    ) P (t )

 dt
0 1

Rezolvarea sistemului se poate face prin transformarea Laplace, adaptand conditiile

initial unora din starile de functionare a sistemului.
P0 | t 0  0 P1 | t  0  1  ex. s-a adaptat ca stare initiala la t = 0 starea 1.
Functia de fiabilitate a sistemului este egala cu probabilitatea ca la momentul t sa fie
intr-o stare de functionare.
R (t )  P0 (t )  P1 (t )
A doua etapa de analiza este aceea in care se tine seama si de revenirea sistemului
din starea de defectare intr-o stare de buna functionare prin restabilirea unui element.
Obs: Starile de buna functionare ale sistemului analizat sunt 0 sau 1.
0- functioneaza ambele elemente
1- functioneaza un singur element
Trebuie facuta urmatoarea precizare: posibilitatile de restabilire sunt limitate daca
exista un numar maxim de elemente care se pot afla in curs de restabilire celelalte
elemente defecte ramanand in asteptare.
In cazul de fata numarul maxim de reparatori este 2 iar numarul minim este 1. Daca
exista doi reparatori tranzitia din 2 in 1 se face cu probabilitatea 2t deoarece
punerea in functiune a sistemului se efectueaza la incheierea restabilirii oricaruia din
cele doua elemente defecte, aflate simultan in restabilire.

-8-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
Daca exista un singur reparator, tranzitia, se produce cu probabilitatea t, cand se
incheie restabilirea unui element, celalalt element defect intrand abia atunci in
restabilire.
Grafurile in cele doua situatii arata:
a) un singur reparator

P0 (t  t )  P0 (t )(1  2t )  P1 (t ) t

P1 (t  t )  P0 (t ) 2t  P2 (t )[1  (   )t ]  P2 (t ) t
Trecand la ecuatii diferentiale si tinand seama ca P0 (t )  P1 (t )  P2 (t )  1 .
 dP0 (t )
 dt  2P0 (t )  P1 (t )


dP
 1 ( t )
 ( 2   ) P0 (t )  (  2  ) P1 (t )  P2 (t )

 dt

Utilizand transformata Laplace, si tinand seama ca starea 1 a fost aleasa ca stare

initiala a sistemului, rezulta:
( S  2 ) P0 ( s )  P1 ( s )  0

 s  
  ( 2   ) P0 ( s )  ( S    2  ) P1 ( s ) 
 s

avand solutiile
 (s   )
P0 ( s ) 
s[ s  (3  2  ) s  22  2   2 ]
2

( s  2 )( s   )
P1 ( s ) 
s[ s  (3  2 ) s  22  2   2 ]
2

S    j

Disponibilitatea sistemului
D ( s )  P0 ( s )  P1 ( s )

b) Doi reparatori

Calculul se face similar cu cel anterior

 (s  2 )
P0 ( s) 
s ( s     )( s  2  2  )

-9-
Procese Markov Tomita Bogdan
Derius Cristian
Grupa 353AB
( s  2 )( s  2  )
P1 ( s ) 
s ( s     )( s  2   2 )
D ( s )  P0 ( s )  P1 ( s )

Obs: -Modelul Markov este indicat in cazul sistemelor complexe.

-Modelul Markov conduce la calcule simple.
-Modelul Markov este aplicabil pentru =ct, =ct.
-Modelul Markov conduce la o cunoastere mai detaliata a sistemului.

- 10 -