Surse discrete Markov cu memorie de ordinul întâi

1. Obiectivul lucrării

În această lucrare se studiază sursele discrete Markov cu memorie de ordinul întâi cu 2,

3 şi 4 stări şi modul în care acestea evoluează pornind de la condiŃii impuse. De asemenea, în
lucrare sunt prezentate exemple de staŃionarizare a surselor cu două şi trei stări.

2. Introducere teoretică

O sursă discretă de informaŃie debitează mesaje la momente discrete de timp, fiecare

mesaj fiind reprezentat printr-un număr finit de simboluri. MulŃimii de simboluri i se pune în
corespondenŃă o mulŃime finită de semnale sub formă de impulsuri. Rata de emisie a unei surse
discrete este deci finită.
Sursa discretă se caracterizează prin simbolurile x1,x2,...,xi,...., pe care le emite,
cuvintele care se constituie cu aceste simboluri în număr finit, alfabetul aferent {x1 ,K , x n } ca
totalitatea simbolurilor şi limba sursei ca totalitatea cuvintelor pe care le poate debita sursa în
alfabetul său.
O sursă discretă cu memorie furnizează câte un simbol a cărui probabilitate de apariŃie
depinde de simbolul precedent sau de un şir de simboluri precedente, numărul acestora
determinând ordinul memoriei.
O sursă discretă staŃionară sau omogenă generează simboluri ale căror probabilităŃi nu
depind de originea timpului, ci doar de poziŃiile lor relative. ProbabilităŃile sunt invariante la
orice translaŃie de-a lungul şirului.
Într-o diagramă a tranziŃiilor de stare, nodurile reprezintă stările, iar arcele, tranziŃiile.
Arcele sunt etichetate prin probabilităŃile condiŃionate asociate tranziŃiilor p(xi/xj).
Dacă un simbol este condiŃionat de mai multe simboluri precedente, numărul de stări
creşte. Astfel, o sursă binară care furnizează simboluri condiŃionate de câte două simboluri
precedente se caracterizează prin patru stări corespunzătoare grupurilor de câte două simboluri
precedente: S1 => 00, S2 => 01, S3 => 10 şi S4 => 11. Se spune că stării S1 i se asignează
dubletul 00, stării S2 = 01 etc.
O sursă cu memorie de ordinul m este o sursă cu constrângeri probabilistice, distribuŃia
de probabilitate având elemente de forma:
( )
p x i j / x i j −1 , x i j − 2 , K , x i j − m ,

adică emisia unui simbol este condiŃionat ă de m simboluri precedente. Dacă alfabetul sursei
conŃine D simboluri, o sursă cu memorie de ordinul m are r ≤ D m st ări.
(
Stării sursei i se asignează secvenŃa x ji , L , x j j − m de m simboluri: )
(
S = s i → x i j −1 , x i j − 2 , L , x i j − m . )
Dacă emiterea unui simbol de ieşire este condiŃionată numai de starea precedentă, sursa
poate fi modelată cu ajutorul unui lanŃ Markov finit şi se numeşte sursă Markov.
Un lanŃ Markov finit este definit ca un proces aleator discret
{L , S −2 , S −1 , S 0 , S1 , S 2 , L}, unde elementele Si , numite stări, sunt variabile aleatoare discrete
care iau valori în alfabetul stărilor {s 0 , s1 ,L , s r −1 } , iar dependenŃa satisface condiŃia Markov:

3
 p(S1 = s j / S 0 , S −1 , L) = p(S1 = s j / S 0 ) = p(S1 / S 0 )

Aceasta înseamnă că probabilitatea ca o variabilă aleatoare să ia valoarea unei stări,

condiŃionată de un trecut infinit, este egală cu probabilitatea condiŃionată de cel mai recent
trecut (ultima stare părăsită).
Dacă probabilitatea de trecere dintr-o stare în alta nu depinde de timp, lanŃul Markov
este omogen (staŃionaritatea condiŃiei Markov).
O sursă Markov constă într-un lanŃ Markov intern împreună cu o funcŃie care aplică
alfabetul stărilor în alfabetul sursei.
O sursă de informaŃie Markov este un şir de v.a. discrete
{L , X 0 , X 1 , X 2 , X 3 , X 4 , L}
care iau valori în alfabetul finit al sursei
X = {x1 , x 2 ,L , x D }
prin tranziŃii succesive prin şirul de stări
{S 0 , S1 , S 2 , S 3 , L}.
Şirul de stări constituie un lanŃ Markov finit, luând valori în alfabetul stărilor
S = {s1 , s 2 , L, s r }
cu o distribuŃie de probabilităŃi a stării iniŃiale S0
P0 = {p01 , p 02 , L , p0 r } ,
adică
P (S 0 = s j ) = p 0 j , (∀j ) .

PobabilităŃile de tranziŃie directe între stări sunt independente de momentele de timp

(omogeneitate)
P (S n +1 = s j / S n = s i ) = p (s j / s i ) = p ij ,
astfel încât, pe baza unei funcŃii
f :S → X ,
se obŃine
X 0 = f (S 0 ), X 1 = f (S1 ),L
cu distribuŃia de probabiliŃăŃi simultane având proprietatea de staŃionaritate
( ) ( )
p x j1 , x j2 ,L = p x j1+ k , x j2+ k ,L .

Ori de câte ori lanŃul intern Markov intră într-o nouă stare, sursa livrează la ieşire
simbolul corespunzător specificat de funcŃia f (•) .
În general, numărul de stări r poate fi mai mare decât numărul simbolurilor alfabetului
sursei, D, caz în care un simbol de ieşire poate corespunde mai multor stări.
În fiecare moment de timp lanŃul Markov trece într-o nouă stare, sursa livrând la ieşire
un simbol aparŃinând alfabetului sursei în conformitate cu funcŃia specificat ă.
ProbabilităŃile de trecere dintr-o stare Si în altă stare Sj, independente de mometul de
timp,

4
 pij = p (S1 = s j / S 0 = si ) = p (s j / si ) ,

constituie matricea de tranziŃie T:

 p11 p12 L p1r 
p L L L
p 22 L p 2 r  
T =  21 = L p ij L .
L L L L 
  L L L
 p r1 pr 2 L p rr  

De exemplu, pentru graful sursei din fig. 1 se obŃine

1 2 
3 0
3
T = 1 0 0
1 1
 0 
 2 2 

1/3

s1

1/2 2/3
1
1/2 s3 s2

Fig. 1. Sursă ireductibilă

Matricea T este o matrice stochastică, deci

r

∑p ij = 1, (∀i ) ,
j =1

adică suma elementelor pe fiecare linie este 1.

DistribuŃia de probabilitate a stărilor la momentul n este dat ă de matricea
[( ) ( )
Pn = p s1n , p s 2 n , L , p s rn , ( )]
( )
unde p s jn reprezintă probabilitatea ca sursa să se găsească în starea s j , la momentul n:

( ) ( ) ( ) ( )
r r
p s jn = ∑ p s jn , s in −1 = ∑ p s in −1 ⋅ p s jn / s in −1 , (∀j ) ,
i =1 i =1

sau încă:

( ) ( )
r
p s jn = ∑ p s in −1 ⋅ p ij .
i =1

Rezultă deci:
Pn = Pn − 1 ⋅ T

5
 Dacă se notează prin P0 matricea linie a probabilităŃilor stărilor iniŃiale
P0 = p01 , p02 ,L, p 0r ,

atunci rezult ă
Pn = P0 .T n

În cazul unei surse staŃionare, Pn = Pn-1, adică probabilităŃile de apariŃie ale stărilor nu
depind de n, iar probabilităŃile de tranziŃie cu atât mai mult nu depind de n.
Dacă unei st ări i se asignează un singur simbol de ieşire, adică numărul stărilor este egal
cu numărul simbolurilor alfabetului, sursa Markov este de ordinul 1, un simbol emis fiind
condiŃionat de simbolul precedent.
Dacă unei st ări i se asignează două simboluri de ieşire, sursa Markov este de ordinul al
doilea. În acest caz, unei stări îi corespunde cea mai recentă pereche de simboluri emise.
O sursă Markov ergodică se bucură de proprietatea că secvenŃa distribuŃiilor de
probabilitate Pn pentru n = 1, 2, ... pe toată mulŃimea de stări tinde către o distribuŃie de
probabilitate limită w independent ă de distribuŃia iniŃială de probabilităŃi. Această distribuŃie
limită w se numeşte distribuŃie de echilibru sau de regim staŃionar sau, încă, distribuŃie
asimptotică, adică
Pn → w.
Pentru fiecare element al lui Pn se poate scrie:
lim pij ,n = P(S n = s j / S 0 = s i ) = w j , i, j = 1,2, L , r ,
n →∞

unde wj este independent de i. Numărul wj se numeşte probabilitatea asimptotică pentru starea

sj, iar matricea linie
w = w1 , w2 ,L, wr

este distribuŃia de echilibru, unde

r
∑ wj =1
j =1

CondiŃia necesară şi suficientă ca w să fie distribuŃia de echilibru a unei surse Markov este
wT = w,
adică w este un vector propriu al matricii de tranziŃie T. Dacă distribuŃia iniŃială P0 = w , atunci
Pn = w , (∀n ) .
Entropia unei surse cu memorie se defineşte ca entropia unui simbol oarecare al sursei
după observarea tuturor simbolurilor anterioare. Cantitatea medie de informaŃie prin emisia
unui simbol în cazul unei surse cu memorie este, prin urmare:
H ∞ ( X ) = lim H ( X n / X 1 ,L , X n−1 )
n →∞

şi este o mărime mărginită deoarece

H ∞ ( X ) ≤ H ( X n ) ≤ log X = log D

( X reprezintă numărul D al simbolurilor alfabetului X)

Entropia unei surse Markov ergodice unifilare este:

6
 H ∞ ( X ) = ∑ w j ⋅ H (S j ) ,
r

j =1

unde r este numărul de stări şi w = w1 ,L, w j ,L, wr reprezintă vectorul distribuŃiei de echilibru.
În majoritatea cazurilor întâlnite, sursele Markov nu sunt staŃionare. Modul în care o
sursă poate fi staŃionarizată prezintă interes teoretic, dar este şi o necesitate practică.
Dacă într-o stare a sursei nu se poate rămâne (sau se poate rămâne doar un număr
relativ mic de paşi), acea stare se numeşte stare tranzitorie. Dacă o stare a sursei, odată atinsă,
nu mai poate fi părăsită (sau poate fi părăsită numai după un număr relativ mare de paşi), acea
stare se numeşte stare absorbantă.
Dacă şirul valorilor succesive de probabilitate este convergent, atunci limita acestuia
reprezintă vectorul distribuŃiei de echilibru. În funcŃie de viteza cu care se atinge acest vector,
convergenŃa poate fi rapidă sau lentă. În funcŃie de modul de variaŃie a valorilor de
probabilitate faŃă de limită, convergenŃa poate fi monotonă sau oscilantă.
Lucrarea arată că un asemenea proces este asimptotic staŃionar, cu excepŃia rarelor
cazuri când apar oscilaŃii permanente ale unor componente din Pn. ObŃinerea unui proces de
emisie staŃionar se face în funcŃie de ceea ce se impune.
Dacă se impune matricea de tranziŃie, este necesară determinarea vectorului distribuŃiei
de echilibru care, dacă este luat drept P0, determină un proces de emisie permanent staŃionar.
În asemenea situaŃii nu mai există un regim tranzitoriu de atingere a staŃionarit ăŃii.
În alte situaŃii se impune vectorul distribuŃiei de echilibru şi se cere una din matricile de
tranziŃie a căror staŃionaritate este caracterizată de acest vector.
Câteva modalităŃi de staŃionarizare ale surselor Markov de ordinul întâi sunt prezentate
în anexa teoretică din programul de simulare.

3. Descrierea evoluŃiei programului

Programul conŃine o prezentare teoretică, calcule şi exemple. Folosirea acestui program

necesită câteva precizări legate de accesul la diferite părŃi ale acestuia. Lucrarea de laborator se
prezintă sub forma unor succesiuni de ecrane care sunt ordonate într-o structură de tip arbore.
Primul ecran este ecranul generic, care conŃine titlul lucrării. Acest ecran se află la baza
arborelui. Imediat după acesta se află ecranul care conŃine meniul. Intrarea şi ieşirea din
program se fac numai prin generic. În meniu sunt prezentate şapte opŃiuni de studiu. Fiecare
opŃiune conŃine un număr de ecrane alocate studiului.
Ieşind din aceste opŃiuni se ajunge în meniu apasând tasta Q (Quit), indiferent dacă s-
au epuizat sau nu ecranele acestora. La terminarea lucrării, ieşirea din program în DOS se face
apasând succesiv aceeaşi tastă Q.
Alegerea unei opŃiuni din meniu se face apasând tasta având marcată cifra înscrisă în
dreptul acesteia. În interiorul opŃiunii se pot executa deplasări înainte apăsând tasta N (Next),
sau înapoi, apăsînd tasta P (Previous). Schimbarea sensului de mişcare se poate face în orice
moment.
În partea de calcul exist ă comenzi suplimentare celor de deplasare printre ecranele
lucrării. Acestea sunt:
• C (Change) - schimbarea datelor,
• Enter - declanşarea citirii datei introduse,
- execuŃia unui pas de calcule,
• V (Vector) - aflarea vectorului distribuŃiei de echilibru,

• M (Matrix) - aflarea unei matrici cu vectorul distribuŃiei de echilibru impus.

7
 Modul de folosire a programului este amintit de-a lungul lucrării prin texte încadrate
sau mesaje antet.
Este indicat ca datele introduse să respecte toate condiŃiile impuse; altfel ele vor fi
refuzate, precizându-se greşeala făcut ă.

4. Desfăşurarea lucrării

4.1. CitiŃi introducerea teoretică din lucrare.

4.2. Sursa Markov cu două stări.
Pentru a ilustra câteva aspecte ale emisiei unei surse cu 2 stări, parcurgeŃi următoarele
exemple şi reŃineŃi concluziile acestora.
4.2.1. IntroduceŃi:
0.99 0.01
T=  , P0 = [1 0] .
 1 0 
După 5 paşi se ajunge la vectorul staŃionar printr-o convergenŃă monotonă. RemarcaŃi
rapiditatea convergenŃei.
4.2.2. IntroduceŃi:
0.99 0.01
T=  , P0 = [1 0] .
 0 1 
ConvergenŃa către vectorul staŃionar este foarte lentă. De ce ?
4.2.3. IntroduceŃi:
0.2 0.8
T=  , P0 = [1 0] .
1 0 
ConvergenŃa este oscilantă. După 30 de paşi amplitudinea oscilaŃiilor este mai mică decât
0.001. Care este cauza acestor oscilaŃii atenuate ?
4.2.4. IntroduceŃi:
0.01 0.99
T=  , P0 = [1 0] .
 1 0 
După 450 de paşi, amplitudinea oscilaŃiei rămîne relativ mare. Ea este mai mică doar decât
0.01. Care este cauza acestei convergenŃe încetinite? ModificaŃi vectorul P0 schimbând valorile
între ele. Ce diferenŃă se observă? RemarcaŃi că după 1000 de paşi doar primele 3 zecimale ale
probabilităŃilor sunt staŃionare. Reprezentati grafic variaŃia probabilităŃilor în timp.
4.3. Sursa Markov cu trei stări.
ParcurgeŃi următoarele exemple şi reŃineŃi concluziile acestora.
4.3.1. IntroduceŃi:
 0.01 0.98 0.01
T = 0.98 0.01 0.01 , P0 = [0 1 0] .
 0.01 0.01 0.98

După 150 de paşi se ajunge la staŃionaritate. ConvergenŃa este oscilantă. Perioada oscilaŃiilor
este 2. De ce? ObservaŃi că Pn(3) converge monoton.

8
 4.3.2. IntroduceŃi:

 0.01 0.98 0.01

T =  0.01 0.01 0.98 , P0 = [0 1 0] .
0.98 0.01 0.01

După 150 de paşi se ajunge la staŃionaritate. ConvergenŃa este oscilantă. Perioada oscilaŃiilor
este 3. De ce?
4.3.3. IntroduceŃi:
0.98 0.01 0.01
T =  0.01 0.98 0.01 , P0 = [0 1 0] .
 0.01 0.01 0.98

Convergenta este monotonă şi lentă. De ce?

ObservaŃi că pii >> pij, i ≠ j. În cazurile anterioare când apărea convergenŃa oscilantă
lentă se remarca o preponderenŃă a valorilor unor probabilităŃi. SchimbaŃi vectorii iniŃiali pentru
fiecare caz. Ce diferenŃe apar? Ce diferenŃe apar dacă valorile preponderente devin unitare?
4.4. Sursa Markov cu patru stări.
ParcurgeŃi următoarele exemple şi reŃineŃi concluziile acestora.
4.4.1. IntroduceŃi:
 0.01 0.97 0.01 0.01
 0.01 0.01 0.97 0.01
T=  , P0 = [1 0 0 0]
 0.01 0.01 0.01 0.97 
 
0.97 0.01 0.01 0.01
ConvergenŃa este oscilantă cu perioada 4. Toate valorile converg oscilant. ConvergenŃa este
mai rapidă decât la sursa cu trei stări. ExplicaŃi aceste observaŃii.
4.4.2. IntroduceŃi:
 0.01 0.97 0.01 0.01
 0.01 0.01 0.97 0.01
T=  , P0 = [1 0 0 0]
0.97 0.01 0.01 0.01
 
 0.01 0.01 0.01 0.97 
În timp ce Pn(1), Pn(2) şi Pn(3) converg oscilant cu perioada 3, Pn(4) converge monoton. De
ce? Vectorul staŃionar este atins după aproximativ 100 de paşi.
4.4.3. IntroduceŃi:
 0.01 0.97 0.01 0.01
0.97 0.01 0.01 0.01
T=  , P0 = [1 0 0 0]
 0.01 0.01 0.97 0.01
 
 0.01 0.01 0.01 0.97 
ObservaŃi că Pn(1) şi Pn(2) converg oscilant cu perioada 2 pe când Pn(3) şi Pn(4) converg
monoton. ExplicaŃi.

9
 ConstruiŃi o matrice T şi un vector P0 pentru care toate componentele vectorului Pn
converg monoton. ModificaŃi vectorii P0 pentru fiecare caz şi constataŃi diferenŃele. Ce se
întâmplă dacă valorile preponderente devin unitare ?
4.5. StaŃionarizarea sursei Markov cu 2 stări.
Procesul de emisie poate fi făcut staŃionar fie modificând matricea T, fie vectorul iniŃial P0.
4.5.1. Determinarea vectorului distribuŃiei de echilibru.
4.5.1.1. IntroduceŃi:
0.5 0.5
T=   ; se obŃine w = [0.5 0.5] = Pst.
0.5 0.5
VerificaŃi acest rezultat întorcându-vă la opŃiunea 2 din meniu. Verificările se pot face în două
feluri. Într-o primă variantă P0 = Pst şi Pn = Pst în orice moment. A doua variantă permite
introducerea unui vector iniŃial oarecare urmând a se determina vectorul limită de convergenŃă
citind Pn pentru valori mari ale lui n. A doua variantă este preferată atunci când convergenŃa
este rapidă sau vectorul staŃionar are multe zecimale nenule.
4.5.1.2. IntroduceŃi:
0.5 0.5
T=  ; se obŃine w = [0.66 0.33] = Pst.
1 0 
VerificaŃi aceste valori. Dacă verificaŃi prin metoda a doua veŃi observa o convergenŃă
oscilantă.
4.5.1.3. IntroduceŃi:
0.5 0.5
T=  ; se obŃine w = [0 1] = Pst.
0 1 
ExplicaŃi acest rezultat.
ReŃineŃi că aflarea vectorului distribuŃiei de echilibru se poate face folosind opŃiunea 2
din meniu, citind vectorul Pn pentru n foarte mare.
4.5.2. Determinarea matricii de tranziŃie.
4.5.2.1. Se impune:
w = [0.5 0.5] = Pst.
ConstruiŃi două matrici de tranziŃie care să aibă acest vector al distribuŃiei de echilibru.
Dacă se alege l = 0.5 rezultă
0.5 0.5
T1 =  ,
0.5 0.5

iar dacă l = 0.7 rezultă

0 . 7 0 . 3 
T2 =  .
 0 .3 0 .7 
VerificaŃi aceste rezultate.
ObservaŃi că matricea T1 este cea indicată pentru studiu la opŃiunea 2.
4.5.2.2. Se impune:
w = [0.6 0.4] = Pst.
ConstruiŃi două matrici de tranziŃie care să aibă acest vector staŃionar.

10
 Dacă se alege l = 0.5 rezultă
0.66 0.33
T1 =  ,
 0 .5 0 .5 

iar dacă l = 0.1 rezultă

0.4 0.6
T2 =  .
0.9 0.1
4.5.2.3. Se impune:
w = [0 1] = Pst.
De ce ramân la alegere componentele specificate in mesaj?
4.6. StaŃionarizarea sursei Markov cu trei stări.
4.6.1. Determinarea vectorului distribuŃiei de echilibru.
IntroduceŃi:
 0 0.99 0.01

T =  0.01 0 0.99 ; se obŃine w = [0.3345 0.331 0.3345] = Pst.
0.99 0 0.01

VerificaŃi acest rezultat. ConvergenŃa oscilantă lent ă întârzie citirea vectorului distribuŃiei de
echilibru în cazul folosirii celei de a doua metode de verificare. În această situaŃie se preferă
prima metodă de verificare.
4.6.2. Determinarea matricii de tranzitie.
IntroduceŃi vectorul staŃionar determinat înainte. ConstruiŃi 5 matrici de
tranziŃie care să aibăă ca vector al distribuŃiei de echilibru vectorul impus. Acest lucru poate fi
realizat alegând:
λ1 = 0, λ2 = 0, λ3 = 0.1, λ4 = 0.9.
Se va obŃine matricea de la care s-a pornit. Valorile parametrilor λk pot fi modificate. Pentru
exemplificare, introduceŃi pe rând:
λ1 = 0, λ2 = 0, λ3 = 0.1, λ4 = 0.95,
λ1 = 0, λ2 = 0, λ3 = 0.1, λ4 = 0.8,
λ1 = 0, λ2 = 0, λ3 = 0.1, λ4 = 0.3,
λ1 = 0, λ2 = 0, λ3 = 0.1, λ4 = 0.
Ce se întâmplă dacă se introduce λ3 = 0 în seturile de valori de mai sus?
VerificaŃi rezultatele obŃinute. ÎncercaŃi să modificaŃi parametrii λ1 şi λ2.
ReŃineŃi că, odată cu creşterea numărului de stări, există tot mai multe posibilităŃi de
construire a unei matrici de tranziŃie când se impune Pst. Libertatea de construcŃie pare
diminuată mult de greutatea alegerii parametrilor variabili aşa încât matricea T să fie o matrice
de tranziŃie.

5. Întrebări

5.1. Ce este o sursă Markov de ordinul 1?

11
 5.2. Care este diferenŃa între stările şi simbolurile unei surse Markov de ordinul 1? Dar
pentru o sursă cu memorie de ordin superior?
5.3. Cum evoluează procesul de emisie al unei asemenea surse?
5.4. Când apare convergenŃa monotonă sau oscilantă?
5.5. În ce condiŃii o convergenŃă este lentă?
5.6. Este posibilă o convergenŃă oscilantă cu perioada 4 la o sursă cu două stari? Dar la
o sursă cu trei stări? De ce?
5.7. Cum se poate obŃine un proces de emisie staŃionar?
5.8. De ce există mai multe matrici de tranziŃie care au acelaşi vector al distribuŃiei de
echilibru?
5.9. Care este diferenŃa între o stare tranzitorie şi o stare absorbantă?
5.10. În ce condiŃii poate fi calculată entropia unei surse Markov?

12