Sunteți pe pagina 1din 11

Surse discrete Markov cu memorie de ordinul

nti
1. Obiectivul lucrrii
n aceast lucrare se studiaz sursele discrete Markov cu memorie
de ordinul nti cu 2, 3 i 4 stri i modul n care acestea evolueaz
pornind de la condiii impuse. De asemenea, n lucrare sunt prezentate
exemple de staionarizare a surselor cu dou i trei stri.

2. Introducere teoretic
O surs discret de informaie debiteaz mesaje la momente
discrete de timp, fiecare mesaj fiind reprezentat printr-un numr finit de
simboluri. Mulimii de simboluri i se pune n coresponden o mulime
finit de semnale sub form de impulsuri. Rata de emisie a unei surse
discrete este deci finit.
Sursa discret se caracterizeaz prin simbolurile x1,x2,...,xi,...., pe
care le emite, cuvintele care se constituie cu aceste simboluri n numr
finit, alfabetul aferent x1 , , x n ca totalitatea simbolurilor i limba sursei
ca totalitatea cuvintelor pe care le poate debita sursa n alfabetul su.
O surs discret cu memorie furnizeaz cte un simbol a crui
probabilitate de apariie depinde de simbolul precedent sau de un ir de
simboluri precedente, numrul acestora determinnd ordinul memoriei.
O surs discret staionar sau omogen genereaz simboluri ale
cror probabiliti nu depind de originea timpului, ci doar de poziiile lor
relative. Probabilitile sunt invariante la orice translaie de-a lungul
irului.
ntr-o diagram a tranziiilor de stare, nodurile reprezint strile, iar
arcele, tranziiile. Arcele sunt etichetate prin probabilitile condiionate
asociate tranziiilor p(xi/xj).
Dac un simbol este condiionat de mai multe simboluri precedente,
numrul de stri crete. Astfel, o surs binar care furnizeaz simboluri
condiionate de cte dou simboluri precedente se caracterizeaz prin
patru stri corespunztoare grupurilor de cte dou simboluri precedente:
S1 => 00, S2 => 01, S3 => 10 i S4 => 11. Se spune c strii S1 i se
asigneaz dubletul 00, strii S2 = 01 etc.
O surs cu memorie de ordinul m este o surs cu constrngeri
probabilistice, distribuia de probabilitate avnd elemente de forma:

p x i j / x i j 1 , x i j 2 , , x i j m ,
adic emisia unui simbol este condiionat de m simboluri precedente.
Dac alfabetul sursei conine D simboluri, o surs cu memorie de ordinul
m are r D m stri.
Strii sursei i se asigneaz secvena x ji , , x j j m de m simboluri:

S s i x i j 1 , x i j 2 , , x i j m .
3

Dac emiterea unui simbol de ieire este condiionat numai de


starea precedent, sursa poate fi modelat cu ajutorul unui lan Markov
finit i se numete surs Markov.
Un lan Markov finit este definit ca un proces aleator discret
, S 2 , S 1 , S 0 , S1 , S 2 , , unde elementele Si , numite stri, sunt variabile
aleatoare discrete care iau valori n alfabetul strilor s 0 , s1 ,, s r 1 , iar
dependena satisface condiia Markov:
p S1 s j / S 0 , S 1 , p S1 s j / S 0 p S1 / S 0

Aceasta nseamn c probabilitatea ca o variabil aleatoare s ia


valoarea unei stri, condiionat de un trecut infinit, este egal cu
probabilitatea condiionat de cel mai recent trecut (ultima stare
prsit).
Dac probabilitatea de trecere dintr-o stare n alta nu depinde de
timp, lanul Markov este omogen (staionaritatea condiiei Markov).
O surs Markov const ntr-un lan Markov intern mpreun cu o
funcie care aplic alfabetul strilor n alfabetul sursei.
O surs de informaie Markov este un ir de v.a. discrete

, X 0 , X 1 , X 2 , X 3 , X 4 ,
care iau valori n alfabetul finit al sursei

X x1 , x 2 , , x D
prin tranziii succesive prin irul de stri

S 0 , S1 , S 2 , S 3 , .
irul de stri constituie un lan Markov finit, lund valori n alfabetul
strilor

S s1 , s 2 , , s r
cu o distribuie de probabiliti a strii iniiale S0
P0 p 01 , p 02 , , p 0 r ,

adic

P S 0 s j p 0 j , j .

Pobabilitile de tranziie directe ntre stri sunt independente de


momentele de timp (omogeneitate)
P S n 1 s j / S n s i p s j / s i p ij ,

astfel nct, pe baza unei funcii


f :S X ,

se obine
X 0 f S 0 , X 1 f S1 ,

cu distribuia
staionaritate

de

probabilii

simultane

avnd

proprietatea

de

p x j1 , x j2 , p x j1 k , x j2 k , .
Ori de cte ori lanul intern Markov intr ntr-o nou stare, sursa
livreaz la ieire simbolul corespunztor specificat de funcia f .
n general, numrul de stri r poate fi mai mare dect numrul
simbolurilor alfabetului sursei, D, caz n care un simbol de ieire poate
corespunde mai multor stri.
n fiecare moment de timp lanul Markov trece ntr-o nou stare,
sursa livrnd la ieire un simbol aparinnd alfabetului sursei n
conformitate cu funcia specificat.
Probabilitile de trecere dintr-o stare Si
n alt stare Sj,
independente de mometul de timp,
pij p S1 s j / S 0 si p s j / si ,

constituie matricea de tranziie T:

p11
p
21

p r1

p12
p 22

pr 2

p1r
p 2 r


p ij .


p rr

De exemplu, pentru graful sursei din fig. 1 se obine

1
3
T 1
1

2
3
0

0
1

1/3
s1
1/2

2/3
1

1/2

s3

s2

Fig. 1. Surs ireductibil

Matricea T este o matrice stochastic, deci


r

p
j 1

ij

1, i ,

adic suma elementelor pe fiecare linie este 1.


Distribuia de probabilitate a strilor la momentul n este dat de
matricea

Pn p s1n , p s 2n , , p s rn ,

unde p s jn reprezint probabilitatea ca sursa s se gseasc n starea s j ,


la momentul n:

p s jn p s jn , s in 1 p s in 1 p s jn / s in 1 , j ,
i 1

i 1

sau nc:

p s jn p s in 1 p ij .
i 1

Rezult deci:
Pn Pn 1 T

Dac se noteaz prin P0 matricea linie a probabilitilor strilor


iniiale
P0 p01 , p02 ,, p0 r ,

atunci rezult
Pn P0 .T n

n cazul unei surse staionare, Pn = Pn-1, adic probabilitile de


apariie ale strilor nu depind de n, iar probabilitile de tranziie cu att
mai mult nu depind de n.
Dac unei stri i se asigneaz un singur simbol de ieire, adic
numrul strilor este egal cu numrul simbolurilor alfabetului, sursa
Markov este de ordinul 1, un simbol emis fiind condiionat de simbolul
precedent.
Dac unei stri i se asigneaz dou simboluri de ieire, sursa
Markov este de ordinul al doilea. n acest caz, unei stri i corespunde cea
mai recent pereche de simboluri emise.
O surs Markov ergodic se bucur de proprietatea c secvena
distribuiilor de probabilitate Pn pentru n = 1, 2, ... pe toat mulimea de
stri tinde ctre o distribuie de probabilitate limit w independent de
distribuia iniial de probabiliti. Aceast distribuie limit w se numete
distribuie de echilibru sau de regim staionar sau, nc, distribuie
asimptotic, adic
Pn w.
Pentru fiecare element al lui Pn se poate scrie:

lim p ij , n P S n s j / S 0 s i w j , i, j 1,2, , r ,
n

unde wj este independent de i. Numrul wj se numete probabilitatea


asimptotic pentru starea sj, iar matricea linie
w w1 , w2 ,, wr

este distribuia de echilibru, unde

wj

j 1

Condiia necesar i suficient ca w s fie distribuia de echilibru a unei


surse Markov este
wT = w,
adic w este un vector propriu al matricii de tranziie T. Dac distribuia
iniial P0 w , atunci
Pn w , n .
Entropia unei surse cu memorie se definete ca entropia unui simbol
oarecare al sursei dup observarea tuturor simbolurilor anterioare.
Cantitatea medie de informaie prin emisia unui simbol n cazul unei surse
cu memorie este, prin urmare:

H X lim H X n / X 1 , , X n 1
n

i este o mrime mrginit deoarece


H X H X n log X log D

reprezint numrul D al simbolurilor alfabetului X)


Entropia unei surse Markov ergodice unifilare este:
H X w j H S j ,
r

j 1

unde r este numrul de stri i w w1 ,, w j ,, wr reprezint vectorul


distribuiei de echilibru.
n majoritatea cazurilor ntlnite, sursele Markov nu sunt staionare.
Modul n care o surs poate fi staionarizat prezint interes teoretic, dar
este i o necesitate practic.
Dac ntr-o stare a sursei nu se poate rmne (sau se poate rmne
doar un numr relativ mic de pai), acea stare se numete stare
tranzitorie. Dac o stare a sursei, odat atins, nu mai poate fi prsit
(sau poate fi prsit numai dup un numr relativ mare de pai), acea
stare se numete stare absorbant.
Dac irul valorilor succesive de probabilitate este convergent,
atunci limita acestuia reprezint vectorul distribuiei de echilibru. n
funcie de viteza cu care se atinge acest vector, convergena poate fi
rapid sau lent. n funcie de modul de variaie a valorilor de
probabilitate fa de limit, convergena poate fi monoton sau oscilant.
Lucrarea arat c un asemenea proces este asimptotic staionar, cu
excepia rarelor cazuri cnd apar oscilaii permanente ale unor
componente din Pn. Obinerea unui proces de emisie staionar se face n
funcie de ceea ce se impune.
Dac se impune matricea de tranziie, este necesar determinarea
vectorului distribuiei de echilibru care, dac este luat drept P0, determin
un proces de emisie permanent staionar. n asemenea situaii nu mai
exist un regim tranzitoriu de atingere a staionaritii.

n alte situaii se impune vectorul distribuiei de echilibru i se cere


una din matricile de tranziie a cror staionaritate este caracterizat de
acest vector.
Cteva modaliti de staionarizare ale surselor Markov de ordinul
nti sunt prezentate n anexa teoretic din programul de simulare.

3. Descrierea evoluiei programului


Programul conine o prezentare teoretic, calcule i exemple.
Folosirea acestui program necesit cteva precizri legate de accesul la
diferite pri ale acestuia. Lucrarea de laborator se prezint sub forma
unor succesiuni de ecrane care sunt ordonate ntr-o structur de tip
arbore.
Primul ecran este ecranul generic, care conine titlul lucrrii. Acest
ecran se afl la baza arborelui. Imediat dup acesta se afl ecranul care
conine meniul. Intrarea i ieirea din program se fac numai prin generic.
n meniu sunt prezentate apte opiuni de studiu. Fiecare opiune conine
un numr de ecrane alocate studiului.
Ieind din aceste opiuni se ajunge n meniu apasnd tasta Q (Quit),
indiferent dac
s-au epuizat sau nu ecranele acestora. La terminarea
lucrrii, ieirea din program n DOS se face apasnd succesiv aceeai
tast Q.
Alegerea unei opiuni din meniu se face apasnd tasta avnd
marcat cifra nscris n dreptul acesteia. n interiorul opiunii se pot
executa deplasri nainte apsnd tasta N (Next), sau napoi, apsnd
tasta P (Previous). Schimbarea sensului de micare se poate face n orice
moment.
n partea de calcul exist comenzi suplimentare celor de deplasare
printre ecranele lucrrii. Acestea sunt:
C (Change)
- schimbarea datelor,
Enter
- declanarea citirii datei introduse,
- execuia unui pas de calcule,
V (Vector)
- aflarea vectorului distribuiei de echilibru,

M (Matrix)
- aflarea unei matrici cu vectorul distribuiei de
echilibru impus.
Modul de folosire a programului este amintit de-a lungul lucrrii prin
texte ncadrate sau mesaje antet.
Este indicat ca datele introduse s respecte toate condiiile impuse;
altfel ele vor fi refuzate, precizndu-se greeala fcut.

4. Desfurarea lucrrii
4.1. Citii introducerea teoretic din lucrare.
4.2. Sursa Markov cu dou stri.
Pentru a ilustra cteva aspecte ale emisiei unei surse cu 2 stri,
parcurgei urmtoarele exemple i reinei concluziile acestora.

4.2.1. Introducei:
0.99
1

T=

0.01
,
0

P0 = 1

0 .

Dup 5 pai se ajunge la vectorul staionar printr-o convergen


monoton. Remarcai rapiditatea convergenei.
4.2.2. Introducei:
0.99
0

T=

0.01
,
1

P0 = 1

0 .

Convergena ctre vectorul staionar este foarte lent. De ce ?


4.2.3. Introducei:
0.2

T=
1

0.8
,
0

P0 = 1

0 .

Convergena este oscilant. Dup 30 de pai amplitudinea oscilaiilor este


mai mic dect 0.001. Care este cauza acestor oscilaii atenuate ?
4.2.4. Introducei:
0.01
1

T=

0.99
,
0

P0 = 1

0 .

Dup 450 de pai, amplitudinea oscilaiei rmne relativ mare. Ea este


mai mic doar dect 0.01. Care este cauza acestei convergene ncetinite?
Modificai vectorul P0 schimbnd valorile ntre ele. Ce diferen se
observ? Remarcai c dup 1000 de pai doar primele 3 zecimale ale
probabilitilor sunt staionare. Reprezentati grafic variaia probabilitilor
n timp.
4.3. Sursa Markov cu trei stri.
Parcurgei urmtoarele exemple i reinei concluziile acestora.
4.3.1. Introducei:
0.01

T = 0.98
0.01

0.98
0.01
0.01

0.01
0.01 ,
0.98

P0 =

0 .

Dup 150 de pai se ajunge la staionaritate. Convergena este oscilant.


Perioada oscilaiilor este 2. De ce? Observai c Pn(3) converge monoton.
4.3.2. Introducei:
0.01

T = 0.01
0.98

0.98
0.01
0.01

0.01
0.98 ,
0.01

P0 =

0 .

Dup 150 de pai se ajunge la staionaritate. Convergena este oscilant.


Perioada oscilaiilor este 3. De ce?
4.3.3. Introducei:

0.98

T = 0.01
0.01

0.01
0.98
0.01

0.01
0.01 ,
0.98

P0 =

0 .

Convergenta este monoton i lent. De ce?


Observai c pii >> pij, i j. n cazurile anterioare cnd aprea
convergena oscilant lent se remarca o preponderen a valorilor unor
probabiliti. Schimbai vectorii iniiali pentru fiecare caz. Ce diferene
apar? Ce diferene apar dac valorile preponderente devin unitare?
4.4. Sursa Markov cu patru stri.
Parcurgei urmtoarele exemple i reinei concluziile acestora.
4.4.1. Introducei:
0.01
0.01
T=
0.01

0.97

0.97

0.01

0.01
0.01
0.01

0.97
0.01
0.01

0.01
0.01
,
0.97

0.01

P0 = 1 0

Convergena este oscilant cu perioada 4. Toate valorile converg oscilant.


Convergena este mai rapid dect la sursa cu trei stri. Explicai aceste
observaii.
4.4.2. Introducei:
0.01
0.01
T =
0.97

0.01

0.97
0.01
0.01
0.01

0.01
0.97
0.01
0.01

0.01
0.01
,
0.01

0.97

P0 = 1 0

n timp ce Pn(1), Pn(2) i Pn(3) converg oscilant cu perioada 3, Pn(4)


converge monoton. De ce? Vectorul staionar este atins dup aproximativ
100 de pai.
4.4.3. Introducei:
0.01
0.97
T=
0.01

0.01

0.97

0.01

0.01
0.01
0.01

0.01
0.97
0.01

0.01
0.01
,
0.01

0.97

P0 = 1 0

Observai c Pn(1) i Pn(2) converg oscilant cu perioada 2 pe cnd Pn(3) i


Pn(4) converg monoton. Explicai.
Construii o matrice T i un vector P0 pentru care toate
componentele vectorului Pn converg monoton. Modificai vectorii P0
pentru fiecare caz i constatai diferenele. Ce se ntmpl dac valorile
preponderente devin unitare ?
4.5. Staionarizarea sursei Markov cu 2 stri.
Procesul de emisie poate fi fcut staionar fie modificnd matricea T, fie
vectorul iniial P0.
4.5.1. Determinarea vectorului distribuiei de echilibru.
4.5.1.1. Introducei:
10

0.5

T=
0.5

0 .5
; se obine w = 0.5
0.5

0.5 = Pst.

Verificai acest rezultat ntorcndu-v la opiunea 2 din meniu. Verificrile


se pot face n dou feluri. ntr-o prim variant P0 = Pst i Pn = Pst n orice
moment. A doua variant permite introducerea unui vector iniial oarecare
urmnd a se determina vectorul limit de convergen citind Pn pentru
valori mari ale lui n. A doua variant este preferat atunci cnd
convergena este rapid sau vectorul staionar are multe zecimale nenule.
4.5.1.2. Introducei:
0.5

T=
1

0 .5
; se obine w = 0.66
0

0.33 = Pst.

Verificai aceste valori. Dac verificai prin metoda a doua vei observa o
convergen oscilant.
4.5.1.3. Introducei:
0.5

T=
0

0 .5
; se obine w = 0
1

1 = Pst.

Explicai acest rezultat.


Reinei c aflarea vectorului distribuiei de echilibru se poate face
folosind opiunea 2 din meniu, citind vectorul Pn pentru n foarte mare.
4.5.2. Determinarea matricii de tranziie.
4.5.2.1. Se impune:
w = 0 .5

0.5 = Pst.

Construii dou matrici de tranziie care s aib acest vector al distribuiei


de echilibru.
Dac se alege l = 0.5 rezult
0.5

0 .5
,
0.5

0 .7

0 .3
.
0.7

T1 =
0.5
iar dac l = 0.7 rezult
T2 =
0 .3

Verificai aceste rezultate.


Observai c matricea T1 este cea indicat pentru studiu la opiunea
2.
4.5.2.2. Se impune:
w = 0.6 0.4 = Pst.
Construii dou matrici de tranziie care s aib acest vector staionar.
Dac se alege l = 0.5 rezult
0.66

T1 =
0.5

0.33
,
0.5

iar dac l = 0.1 rezult

11

0.4

T2 =
0.9

0.6
.
0.1

4.5.2.3. Se impune:
w = 0

1 = Pst.

De ce ramn la alegere componentele specificate in mesaj?


4.6. Staionarizarea sursei Markov cu trei stri.
4.6.1. Determinarea vectorului distribuiei de echilibru.
Introducei:

0
0.01
T =
0.99

0.99
0
0

0.01
0.99 ; se obine w =
0.01

0.3345

0.331

0.3345

= Pst.
Verificai acest rezultat. Convergena oscilant lent ntrzie citirea
vectorului distribuiei de echilibru n cazul folosirii celei de a doua metode
de verificare. n aceast situaie se prefer prima metod de verificare.
4.6.2. Determinarea matricii de tranzitie.
Introducei vectorul staionar determinat nainte. Construii 5
matrici de tranziie care s aib ca vector al distribuiei de echilibru
vectorul impus. Acest lucru poate fi realizat alegnd:
1 = 0,

2 = 0,

3 = 0.1,

4 = 0.9.

Se va obine matricea de la care s-a pornit. Valorile parametrilor k pot fi


modificate. Pentru exemplificare, introducei pe rnd:
1
1
1
1

=
=
=
=

0,
0,
0,
0,

2 = 0,
3 = 0.1,
4 =
2 = 0,
3 = 0.1,
2 = 0,
3 = 0.1,
2 = 0,
3 =

0.95,
4 = 0.8,
4 = 0.3,
0.1,
4 = 0.

Ce se ntmpl dac se introduce 3 = 0 n seturile de valori de mai sus?


Verificai rezultatele obinute. ncercai s modificai parametrii 1 i
2.
Reinei c, odat cu creterea numrului de stri, exist tot mai
multe posibiliti de construire a unei matrici de tranziie cnd se impune
Pst. Libertatea de construcie pare diminuat mult de greutatea alegerii
parametrilor variabili aa nct matricea T s fie o matrice de tranziie.

5. ntrebri
5.1. Ce este o surs Markov de ordinul 1?
5.2. Care este diferena ntre strile i simbolurile unei surse Markov
de ordinul 1? Dar pentru o surs cu memorie de ordin superior?
5.3. Cum evolueaz procesul de emisie al unei asemenea surse?
5.4. Cnd apare convergena monoton sau oscilant?
5.5. n ce condiii o convergen este lent?
12

5.6. Este posibil o convergen oscilant cu perioada 4 la o surs


cu dou stari? Dar la o surs cu trei stri? De ce?
5.7. Cum se poate obine un proces de emisie staionar?
5.8. De ce exist mai multe matrici de tranziie care au acelai
vector al distribuiei de echilibru?
5.9. Care este diferena ntre o stare tranzitorie i o stare
absorbant?
5.10. n ce condiii poate fi calculat entropia unei surse Markov?

13