Laborator nr.

1: Surse Markov

TTI 1 – 2004/2005 – II C + II F

Laborator nr. 1. Surse Discrete Cu Memorie (SDCM). Lanturi Markov

1. Introducere teoretica
Consideram o sursa care emite simboluri din alfabetul X = {xk } , |X|= M , la momente de timp succesive, ..., t 0 , t1 , t2 ,K , tk ,... . • Daca emiterea unui simbol de catre sursa X este conditionata numai de valoarea simbolului precedent, atunci sursa îndeplineste conditia Markov :
P X ( tn ) = x j | X (tn −1 ) = xi , X (tn − 2 ) = xik −1 ,K , X (t1 ) = xik −n +1 = P ( X (tn ) = x j | X (t n −1 ) = xi ) = P ( X n = j | X n −1 = i ) = Pij .

(

)

si poate fi modelata ca un lant Markov finit X 0 , X 1 , X 2 ,K , fiind denumita sursa Markov. • Pentru un lant Markov, notat X 0 , X 1 , X 2 ,K , valoarea curenta a unei v.a. X k la momentul de timp t k oarecare se numeste stare , se noteaza k si apartine spatiului starilor S = {1,2,3, K} . •

Un lant Markov finit este definit pe multimea starilor sale ce formeaza alfabetul starilor S = {1,2,K, k } , satisfacând conditia Markov. Pentru un lant Markov, în termenii distributiei de probabilitati n-dimensionala este satisfacuta conditia:
p ( x1 , x2 ,K , x n ) = p ( x1 ) ⋅ ∏ p( xi | xi −1 ) .
i =2 n

Pentru un lant Markov invariant în timp (sau omogen), probabilitatea de tranzitie dintr-o stare în alta nu depind de timp:

Pi , j = P ( X n = j | X n −1 = i ) = P ( X n −k = j | X n − k −1 = i ) , ∀i, j ∈ S .
Observatie: În general, numarul de stari ale lantului poate fi mai mare decât numarul de simboluri ale alfabetului sursei | X | , caz în care un simbol de iesire poate corespunde mai multor stari. • Un lant Markov X 0 , X 1 , X 2 ,K , invariant în timp, este caracterizat de:

1

• • Lantul Markov este considerat a fi ireductibil daca trece dintr-o stare oarecare în alta stare oarecare într. cu proprietatea: ∑P j i.. 2. j ∈ {1. Daca starea finala a lantului Markov este ireductibila si neperiodica. Desfasurarea lucrarii – vezi îndrumarul de laborator 2 .. j   . daca distributia pn de probabilitati a starilor la momentul de timp n.un numar finit de pasi. M } . cu conditia: ∑π i =1 k 0i = 1. j = 1. atunci lantul Markov formeaza o sursa Markov stationara. este aceeeasi cu distributia pn -1 de probabilitati a starilor la momentul n-1.... si de la orice distributie de start π 0 .Laborator nr.P( X 0 = 2).. c) matricea probabilitatilor de tranzitie P : P=  Pi . π0 k ) = ( P( X 0 = 1). distributia π n tinde la o distributie stationara w când n tinde la infinit. O distributie de stari se numeste stationara (sau de echilibru) si se noteaza w. 1: Surse Markov TTI 1 – 2004/2005 – II C + II F a) starea initiala data de valoarea curenta a v. M = X .. se poate scrie functie de distributia la momentul de timp anterior n-1: π n = π n −1P . X 0 la momentul de timp initial t 0.a.. • • Daca starea initiala a lantului Markov este în concordanta cu o distributie stationara π0 = w . iar procesul Markov se numeste ergodic. b) vectorul de distributie initiala π 0 (vectorul probabilitatilor initiale ale starilor) π 0 = ( π01 .. unde i .2. ∀n ≥ 1 .P( X 0 = k ) ) . π02 . • Distributia de probabilitati a starilor la momentul de timp n.. ∀n ≥ 1 .. ∀n ≥ 1 . adica: π n = π n −1 ⇒ w = π n .. sau fata de distributia initiala de la momentul de timp initial: π n = π0Pn . atunci distributia stationara w este unica.

Sign up to vote on this title
UsefulNot useful