Sunteți pe pagina 1din 11

Surse discrete Markov cu memorie de ordinul nti

1. Obiectivul lucrrii
n aceast lucrare se studiaz sursele discrete Markov cu memorie de ordinul nti cu 2, 3 i 4 stri i modul n care acestea evolueaz pornind de la condiii impuse. De asemenea, n lucrare sunt prezentate e emple de staionarizare a surselor cu dou i trei stri.

2. Introducere teoretic
! surs discret de in"ormaie de#iteaz mesa$e la momente discrete de timp, "iecare mesa$ "iind reprezentat printr%un numr "init de sim#oluri. Mulimii de sim#oluri i se pune n coresponden o mulime "init de semnale su# "orm de impulsuri. &ata de emisie a unei surse discrete este deci "init. 'ursa discret se caracterizeaz prin simbolurile x(,x2,...,xi,...., pe care le emite, cuvintele care se constituie cu aceste sim#oluri n numr "init, alfabetul a"erent { x1 , , x n } ca totalitatea sim#olurilor i limba sursei ca totalitatea cuvintelor pe care le poate de#ita sursa n al"a#etul su. ! surs discret cu memorie "urnizeaz cte un sim#ol a crui pro#a#ilitate de apariie depinde de sim#olul precedent sau de un ir de sim#oluri precedente, numrul acestora determinnd ordinul memoriei. ! surs discret staionar sau omogen )enereaz sim#oluri ale cror pro#a#iliti nu depind de ori)inea timpului, ci doar de poziiile lor relative. *ro#a#ilitile sunt invariante la orice translaie de%a lun)ul irului. ntr%o diagram a tranziiilor de stare , nodurile reprezint strile, iar arcele, tranziiile. +rcele sunt etic,etate prin pro#a#ilitile condiionate asociate tranziiilor p-xi/xj.. Dac un sim#ol este condiionat de mai multe sim#oluri precedente, numrul de stri crete. +st"el, o surs #inar care "urnizeaz sim#oluri condiionate de cte dou sim#oluri precedente se caracterizeaz prin patru stri corespunztoare )rupurilor de cte dou sim#oluri precedente/ S( => 00, S2 => 0(, S3 => (0 i S4 => ((. 'e spune c strii S( i se asi)neaz du#letul 00, strii S2 = 0( etc. O surs cu memorie de ordinul m este o surs cu constrn)eri pro#a#ilistice, distri#uia de pro#a#ilitate avnd elemente de "orma/

p xi j / x i j 1 , xi j 2 , , x i j m ,
adic emisia unui sim#ol este condiionat de m sim#oluri precedente. Dac al"a#etul sursei conine sim#oluri, o surs cu memorie de ordinul m are r D m stri. x ji , , x j j m 'trii sursei i se asi)neaz secvena de m sim#oluri/

S = s i x i j 1 , x i j 2 , , x i j m .
Dac emiterea unui sim#ol de ieire este condiionat numai de starea precedent, sursa poate "i modelat cu a$utorul unui lan Markov "init i se numete surs !ar"ov. 1n lan !ar"ov finit este de"init ca un proces aleator discret { , S 2 , S 1 , S 0 , S1 , S 2 , } , unde elementele Si , numite stri, sunt varia#ile aleatoare discrete care iau valori n al"a#etul strilor { s 0 , s1 ,, s r 1 } , iar dependena satis"ace condiia !ar"ov/
p ( S1 = s j / S 0 , S 1 , ) = p ( S1 = s j / S 0 ) = p( S1 / S 0 )

+ceasta nseamn c pro#a#ilitatea ca o varia#il aleatoare s ia valoarea unei stri, condiionat de un trecut in"init, este e)al cu pro#a#ilitatea condiionat de cel mai recent trecut -ultima stare prsit.. Dac pro#a#ilitatea de trecere dintr%o stare n alta nu depinde de timp, lanul Markov este omogen -staionaritatea condiiei Markov.. ! surs !ar"ov const ntr%un lan Markov intern mpreun cu o "uncie care aplic al"a#etul strilor n al"a#etul sursei. ! surs de in"ormaie Markov este un ir de v.a. discrete

{ , X 0 , X 1 , X 2 , X 3 , X 4 , }
care iau valori n al"a#etul "init al sursei

X = { x1 , x 2 , , x D }
prin tranziii succesive prin irul de stri

{ S 0 , S1 , S 2 , S 3 , } .
2irul de stri constituie un lan Markov "init, lund valori n al"a#etul strilor

S = { s1 , s 2 , , s r }
cu o distri#uie de pro#a#iliti a strii iniiale S0
P0 = { p 01 , p 02 , , p 0 r } ,

adic

P ( S 0 = s j ) = p 0 j , ( j ) .

*o#a#ilitile de tranziie directe ntre stri sunt independente de momentele de timp -omo)eneitate.
P ( S n +1 = s j / S n = s i ) = p ( s j / s i ) = p ij ,
f : S X ,

ast"el nct, pe #aza unei "uncii se o#ine


X 0 = f ( S 0 ) , X 1 = f ( S1 ) ,

cu

distri#uia

de

pro#a#ilii

simultane
4

avnd

proprietatea

de

staionaritate

p x j1 , x j2 , = p x j1+ k , x j2+ k , .
!ri de cte ori lanul intern Markov intr ntr%o nou stare, sursa ). livreaz la ieire sim#olul corespunztor speci"icat de "uncia f ( n )eneral, numrul de stri r poate "i mai mare dect numrul sim#olurilor al"a#etului sursei, , caz n care un sim#ol de ieire poate corespunde mai multor stri. n "iecare moment de timp lanul Markov trece ntr%o nou stare, sursa livrnd la ieire un sim#ol aparinnd al"a#etului sursei n con"ormitate cu "uncia speci"icat. *ro#a#ilitile de trecere dintr%o stare Si n alt stare Sj, independente de mometul de timp,
pij = p ( S1 = s j / S 0 = si ) = p ( s j / si ) ,

constituie matricea de tranziie T/


p11 p T = 21 p r1 p12 p 22 pr 2 p1r p 2r = p ij . p rr

De e emplu, pentru )ra"ul sursei din "i). ( se o#ine

1 3 T = 1 1 2

2 3 0 0

0 0 1 2

1/3 s1 1/2 1 1/2 s3 s2 2/3

Fig. 1. 'urs ireducti#il

Matricea T este o matrice stoc,astic, deci

p
j= 1

ij

=1, ( i) ,

adic suma elementelor pe "iecare linie este (. Distri#uia de pro#a#ilitate a strilor la momentul n este dat de

matricea

unde p s jn reprezint pro#a#ilitatea ca sursa s se )seasc n starea s j , la momentul n/


p s jn = p s jn , s in 1 = p s in 1 p s jn / s in 1 , ( j ) ,
i =1 i =1

( )

Pn = p s1n , p s 2 n , , p s rn ,

[( ) ( )
)
r

( )]

( )

) (

sau nc/
p s jn = p s in 1 p ij .
i =1

( )

&ezult deci/
Pn = Pn 1 T

Dac se noteaz prin P0 matricea linie a pro#a#ilitilor strilor iniiale


P0 = p01 , p02 ,, p0 r ,

atunci rezult
Pn = P0 .T n

n cazul unei surse staionare, Pn = Pn#(, adic pro#a#ilitile de apariie ale strilor nu depind de n, iar pro#a#ilitile de tranziie cu att mai mult nu depind de n. Dac unei stri i se asi)neaz un sin)ur sim#ol de ieire, adic numrul strilor este e)al cu numrul sim#olurilor al"a#etului, sursa Markov este de ordinul (, un sim#ol emis "iind condiionat de sim#olul precedent. Dac unei stri i se asi)neaz dou sim#oluri de ieire, sursa !ar"ov este de ordinul al doilea . n acest caz, unei stri i corespunde cea mai recent perec,e de sim#oluri emise. ! surs !ar"ov ergodic se #ucur de proprietatea c secvena distri#uiilor de pro#a#ilitate Pn pentru n 4 (, 2, ... pe toat mulimea de stri tinde ctre o distri#uie de pro#a#ilitate limit w independent de distri#uia iniial de pro#a#iliti. +ceast distri#uie limit w se numete distribuie de ec$ilibru sau de re)im staionar sau, nc, distribuie asimptotic, adic %n &. *entru "iecare element al lui Pn se poate scrie/
n

lim p ij ,n = P ( S n = s j / S 0 = s i ) = w j , i, j = 1,2, , r ,

unde &j este independent de i. 5umrul &j se numete probabilitatea asimptotic pentru starea sj, iar matricea linie
w = w1 , w2 ,, wr

este distribuia de ec$ilibru , unde


6

wj
j =1

=1

7ondiia necesar i su"icient ca w s "ie distri#uia de ec,ili#ru a unei surse Markov este &' 4 &, adic w este un vector propriu al matricii de tranziie T. Dac distri#uia iniial P0 = w , atunci Pn = w , ( n ) . (ntropia unei surse cu memorie se de"inete ca entropia unui sim#ol oarecare al sursei dup o#servarea tuturor sim#olurilor anterioare. 7antitatea medie de in"ormaie prin emisia unui sim#ol n cazul unei surse cu memorie este, prin urmare/

H ( X ) = lim H ( X n / X 1 , , X n 1 )
n

i este o mrime mr)init deoarece


H ( X ) H ( X n ) log X = log D

reprezint numrul al sim#olurilor al"a#etului 8. (ntropia unei surse !ar"ov ergodice unifilare este)
H ( X ) = w j H (S j ) ,
r j =1

unde r este numrul de stri i w = w1 ,, w j ,, wr reprezint vectorul distri#uiei de ec,ili#ru. n ma$oritatea cazurilor ntlnite, sursele Markov nu sunt staionare. Modul n care o surs poate "i staionarizat prezint interes teoretic, dar este i o necesitate practic. Dac ntr%o stare a sursei nu se poate rmne -sau se poate rmne doar un numr relativ mic de pai., acea stare se numete stare tranzitorie . Dac o stare a sursei, odat atins, nu mai poate "i prsit -sau poate "i prsit numai dup un numr relativ mare de pai., acea stare se numete stare absorbant . Dac irul valorilor succesive de pro#a#ilitate este conver)ent, atunci limita acestuia reprezint vectorul distri#uiei de ec,ili#ru. n "uncie de viteza cu care se atin)e acest vector, conver)ena poate "i rapid sau lent. n "uncie de modul de variaie a valorilor de pro#a#ilitate "a de limit, conver)ena poate "i monoton sau oscilant . 9ucrarea arat c un asemenea proces este asimptotic staionar, cu e cepia rarelor cazuri cnd apar oscilaii permanente ale unor componente din %n. !#inerea unui proces de emisie staionar se "ace n "uncie de ceea ce se impune. Dac se impune matricea de tranziie, este necesar determinarea vectorului distri#uiei de ec,ili#ru care, dac este luat drept %*, determin un proces de emisie permanent staionar. n asemenea situaii nu mai e ist un re)im tranzitoriu de atin)ere a staionaritii.

n alte situaii se impune vectorul distri#uiei de ec,ili#ru i se cere una din matricile de tranziie a cror staionaritate este caracterizat de acest vector. 7teva modaliti de staionarizare ale surselor Markov de ordinul nti sunt prezentate n ane a teoretic din pro)ramul de simulare.

3. Descrierea evolu iei !rogramului


*ro)ramul conine o prezentare teoretic, calcule i e emple. ;olosirea acestui pro)ram necesit cteva precizri le)ate de accesul la di"erite pri ale acestuia. 9ucrarea de la#orator se prezint su# "orma unor succesiuni de ecrane care sunt ordonate ntr%o structur de tip ar#ore. *rimul ecran este ecranul )eneric, care conine titlul lucrrii. +cest ecran se a"l la #aza ar#orelui. <mediat dup acesta se a"l ecranul care conine meniul. <ntrarea i ieirea din pro)ram se "ac numai prin )eneric. n meniu sunt prezentate apte opiuni de studiu. ;iecare opiune conine un numr de ecrane alocate studiului. <eind din aceste opiuni se a$un)e n meniu apasnd tasta = -=uit., indi"erent dac s%au epuizat sau nu ecranele acestora. 9a terminarea lucrrii, ieirea din pro)ram n D!' se "ace apasnd succesiv aceeai tast =. +le)erea unei opiuni din meniu se "ace apasnd tasta avnd marcat ci"ra nscris n dreptul acesteia. n interiorul opiunii se pot e ecuta deplasri nainte apsnd tasta 5 -5e t., sau napoi, apsnd tasta * -*revious.. 'c,im#area sensului de micare se poate "ace n orice moment. n partea de calcul e ist comenzi suplimentare celor de deplasare printre ecranele lucrrii. +cestea sunt/ 7 -7,an)e. % sc,im#area datelor, >nter % declanarea citirii datei introduse, % e ecuia unui pas de calcule, ? -?ector. % a"larea vectorului distri#uiei de ec,ili#ru, M -Matri . % a"larea unei matrici cu vectorul distri#uiei de ec,ili#ru impus. Modul de "olosire a pro)ramului este amintit de%a lun)ul lucrrii prin te te ncadrate sau mesa$e antet. >ste indicat ca datele introduse s respecte toate condiiile impuse@ alt"el ele vor "i re"uzate, precizndu%se )reeala "cut.

". Des#$urarea lucrrii


4.(. 7itii introducerea teoretic din lucrare. 4.2. Sursa !ar"ov cu dou stri. *entru a ilustra cteva aspecte ale emisiei unei surse cu 2 stri, parcur)ei urmtoarele e emple i reinei concluziile acestora.

4.2.(. <ntroducei/ '4 1


0.99 0.01 , 0

%0 4 [1

0] .

Dup 3 pai se a$un)e la vectorul staionar printr%o conver)en monoton. &emarcai rapiditatea conver)enei. 4.2.2. <ntroducei/ '4 0
0.99 0.01 , 1

%0 4 [1

0] .

7onver)ena ctre vectorul staionar este "oarte lent. De ce B 4.2.3. <ntroducei/ '4 1
0.2 0.8 , 0

%0 4 [1

0] .

7onver)ena este oscilant. Dup 30 de pai amplitudinea oscilaiilor este mai mic dect 0.00(. 7are este cauza acestor oscilaii atenuate B 4.2.4. <ntroducei/ '4 1
0.01 0.99 , 0

%0 4 [1

0] .

Dup 430 de pai, amplitudinea oscilaiei rmne relativ mare. >a este mai mic doar dect 0.0(. 7are este cauza acestei conver)ene ncetiniteB Modi"icai vectorul %0 sc,im#nd valorile ntre ele. 7e di"eren se o#servB &emarcai c dup (000 de pai doar primele 3 zecimale ale pro#a#ilitilor sunt staionare. &eprezentati )ra"ic variaia pro#a#ilitilor n timp. 4.3. Sursa !ar"ov cu trei stri. *arcur)ei urmtoarele e emple i reinei concluziile acestora. 4.3.(. <ntroducei/
0.01 ' = 0.98 0.01 0.98 0.01 0.01 0.01 0.01 , 0.98

%0 =

[0

0] .

Dup (30 de pai se a$un)e la staionaritate. 7onver)ena este oscilant. *erioada oscilaiilor este 2. De ceB !#servai c %n-3. conver)e monoton. 4.3.2. <ntroducei/
0.01 ' 4 0.01 0.98 0.98 0.01 0.01 0.01 0.98 , 0.01

%0 4

[0

0] .

Dup (30 de pai se a$un)e la staionaritate. 7onver)ena este oscilant. *erioada oscilaiilor este 3. De ceB 4.3.3. <ntroducei/

0.98 ' 4 0.01 0.01

0.01 0.98 0.01

0.01 0.01 , 0.98

%0 4

[0

0] .

7onver)enta este monoton i lent. De ceB !#servai c pii DD pij, i j. n cazurile anterioare cnd aprea conver)ena oscilant lent se remarca o preponderen a valorilor unor pro#a#iliti. 'c,im#ai vectorii iniiali pentru "iecare caz. 7e di"erene aparB 7e di"erene apar dac valorile preponderente devin unitareB 4.4. Sursa !ar"ov cu patru stri. *arcur)ei urmtoarele e emple i reinei concluziile acestora. 4.4.(. <ntroducei/
0.01 0.01 '4 0.01 0.97 0.97 0.01 0.01 0.01 0.01 0.97 0.01 0.01 0.01 0.01 , 0.97 0.01

%0 4 [1 0

0]

7onver)ena este oscilant cu perioada 4. Eoate valorile conver) oscilant. 7onver)ena este mai rapid dect la sursa cu trei stri. > plicai aceste o#servaii. 4.4.2. <ntroducei/
0.01 0.01 '4 0.97 0.01 0.97 0.01 0.01 0.01 0.01 0.97 0.01 0.01 0.01 0.01 , 0.01 0.97

%0 4 [1 0

0]

n timp ce %n-(., %n-2. i %n-3. conver) oscilant cu perioada 3, %n-4. conver)e monoton. De ceB ?ectorul staionar este atins dup apro imativ (00 de pai. 4.4.3. <ntroducei/
0.01 0.97 '4 0.01 0.01 0.97 0.01 0.01 0.01 0.01 0.01 0.97 0.01 0.01 0.01 , 0.01 0.97

%0 4 [1 0

0]

!#servai c %n-(. i %n-2. conver) oscilant cu perioada 2 pe cnd %n-3. i %n-4. conver) monoton. > plicai. 7onstruii o matrice ' i un vector %0 pentru care toate componentele vectorului %n conver) monoton. Modi"icai vectorii %0 pentru "iecare caz i constatai di"erenele. 7e se ntmpl dac valorile preponderente devin unitare B 4.3. Staionarizarea sursei !ar"ov cu + stri . *rocesul de emisie poate "i "cut staionar "ie modi"icnd matricea ', "ie vectorul iniial %0. 4.3.(. eterminarea vectorului distribuiei de ec$ilibru . 4.3.(.(. <ntroducei/
(0

'4 0.5

0.5

0.5 @ se o#ine & 4 [0.5 0.5

0.5] 4 %st.

?eri"icai acest rezultat ntorcndu%v la opiunea 2 din meniu. ?eri"icrile se pot "ace n dou "eluri. ntr%o prim variant %0 4 %st i %n 4 %st n orice moment. + doua variant permite introducerea unui vector iniial oarecare urmnd a se determina vectorul limit de conver)en citind %n pentru valori mari ale lui n. + doua variant este pre"erat atunci cnd conver)ena este rapid sau vectorul staionar are multe zecimale nenule. 4.3.(.2. <ntroducei/ '4 1
0.5 0.5 @ se o#ine & 4 [0.66 0

0.33] 4 %st.

?eri"icai aceste valori. Dac veri"icai prin metoda a doua vei o#serva o conver)en oscilant. 4.3.(.3. <ntroducei/ '4 0
0.5 0.5 @ se o#ine & 4 [0 1

1] 4 %st.

> plicai acest rezultat. &einei c a"larea vectorului distri#uiei de ec,ili#ru se poate "ace "olosind opiunea 2 din meniu, citind vectorul %n pentru n "oarte mare. 4.3.2. eterminarea matricii de tranziie . 4.3.2.(. 'e impune/ & 4 [ 0 .5
0.5] 4 %st.

7onstruii dou matrici de tranziie care s ai# acest vector al distri#uiei de ec,ili#ru. Dac se ale)e l 4 0.3 rezult '( 4 0.5 iar dac l 4 0.: rezult '2 4 0.3
0.7 0.3 . 0.7 0.5 0.5 , 0.5

?eri"icai aceste rezultate. !#servai c matricea '( este cea indicat pentru studiu la opiunea 2. 4.3.2.2. 'e impune/ & 4 [0.6 0.4] 4 %st. 7onstruii dou matrici de tranziie care s ai# acest vector staionar. Dac se ale)e l 4 0.3 rezult '( 4 0 .5 iar dac l 4 0.( rezult
0.66 0.33 , 0 .5

((

'2 4 0.9 & 4 [0

0.4

0.6 . 0.1

4.3.2.3. 'e impune/


1] 4 %st.

De ce ramn la ale)ere componentele speci"icate in mesa$B 4.6. Staionarizarea sursei !ar"ov cu trei stri . 4.6.(. eterminarea vectorului distribuiei de ec$ilibru .
0.99 0 0 0.01 0.99 @ se o#ine & 4 0.01

<ntroducei/
0 ' 4 0.01 0.99

[0.3345

0.331

0.3345]

4 %st. ?eri"icai acest rezultat. 7onver)ena oscilant lent ntrzie citirea vectorului distri#uiei de ec,ili#ru n cazul "olosirii celei de a doua metode de veri"icare. n aceast situaie se pre"er prima metod de veri"icare. 4.6.2. eterminarea matricii de tranzitie . <ntroducei vectorul staionar determinat nainte. 7onstruii 3 matrici de tranziie care s ai# ca vector al distri#uiei de ec,ili#ru vectorul impus. +cest lucru poate "i realizat ale)nd/ ( 4 0, 2 4 0, 3 4 0.(, 4 4 0.C. 'e va o#ine matricea de la care s%a pornit. ?alorile parametrilor " pot "i modi"icate. *entru e empli"icare, introducei pe rnd/ ( ( ( ( 4 4 4 4 0, 0, 0, 0, 2 4 0, 3 4 0.(, 4 4 2 4 0, 3 4 0.(, 2 4 0, 3 4 0.(, 2 4 0, 3 4 0.C3, 4 4 0.A, 4 4 0.3, 0.(, 4 4 0.

7e se ntmpl dac se introduce 3 4 0 n seturile de valori de mai susB ?eri"icai rezultatele o#inute. ncercai s modi"icai parametrii ( i 2. &einei c, odat cu creterea numrului de stri, e ist tot mai multe posi#iliti de construire a unei matrici de tranziie cnd se impune %st. 9i#ertatea de construcie pare diminuat mult de )reutatea ale)erii parametrilor varia#ili aa nct matricea ' s "ie o matrice de tranziie.

%. &ntrebri
3.(. 7e este o surs Markov de ordinul (B 3.2. 7are este di"erena ntre strile i sim#olurile unei surse Markov de ordinul (B Dar pentru o surs cu memorie de ordin superiorB 3.3. 7um evolueaz procesul de emisie al unei asemenea surseB 3.4. 7nd apare conver)ena monoton sau oscilantB 3.3. n ce condiii o conver)en este lentB
(2

3.6. >ste posi#il o conver)en oscilant cu perioada 4 la o surs cu dou stariB Dar la o surs cu trei striB De ceB 3.:. 7um se poate o#ine un proces de emisie staionarB 3.A. De ce e ist mai multe matrici de tranziie care au acelai vector al distri#uiei de ec,ili#ruB 3.C. 7are este di"erena ntre o stare tranzitorie i o stare a#sor#antB 3.(0. n ce condiii poate "i calculat entropia unei surse MarkovB

(3