Capitolul 2

Surse Markov
2.1 Breviar teoretic
Fie o sursa av and alfabetul [X] = [x
1
x
2
. . . x
D
]. Sursa este Markov de ordinul k daca se
respecta relat ia:
p(x
i
n
/x
i
n1
x
i
n2
) . . . x
i
0
) = p(x
i
n
/x
i
n1
x
i
n2
) . . . x
i
nk
)) (2.1)
unde cu p(x
i
n
) am notat probabilitatea ca la momentul n sa se emita simbolul x
i
.
O surs a Markov de ordinul k este, n fapt, o sursa discret a cu memorie unde sansa de a emite
un simbol la momentul curent depinde ultimele k simboluri emise.

In practic a, si, n acest material, de interes sunt numai sursele Markov de ordinul 2 si, mai
ales de ordinul 1.

In continuare, daca nu vom specica altfel, ne vom referi numai la surse Markov de ordinul
1.
Se spune ca o sursa se gaseste la momentul n n starea i, dac a la momentul n 1 a emis
simbolul x
i
.
O surs a Markov este omogena dac a probabilitatea de tranzit ie ntre dou a stari i si j nu
depinde de momentul de timp la care se petrece tranzit ia. Deci, pentru o surs a omogena,
tranzit iile dintre dou a momente de timp se caracterizeaza de acelasi set de probabilit at i.
Consider and momentul prezent ca ind n atunci avem setul de relat ii:
p(x
i
n
) =
D

j=1
p(x
i
n
/x
j
n1
) p(x
j
n1
), ()i = 1, n (2.2)
Daca sursa este omogena, atunci, not am:
p(x
j
n
/x
i
n1
) = p(S
j
/S
i
) = p
ij
Dat ind faptul c a tot ce se aa ntr-o stare la un moment de timp trebuie s a se nt ample
ceva cu el la momentul urmator avem relat ia:
D

j=1
p
ij
= 1, ()i (2.3)
13
14 CAPITOLUL 2. SURSE MARKOV
Tranzit ia unei surse ntre dou a stari poate caracterizata n dou a moduri: printr-un graf de
tranzit ie al starilor sau prin matricea de tranzitie.
La un moment de timp, n, o surs a poate caracterizata printr-un vector (coloan a) de stare:
P
n
=

p(x
1
n
)
p(x
2
n
)
. . .
p(x
D
n
)

Relat ia 2.2 poate rescrisa matricial:

p(x
1
n
)
p(x
2
n
)
. . .
p(x
D
n
)

p(x
1
n
/x
1
n1
) p(x
1
n
/x
2
n1
) . . . p(x
1
n
/x
D
n1
)
p(x
2
n
/x
1
n1
) p(x
2
n
/x
2
n1
) . . . p(x
2
n
/x
D
n1
)
. . .
p(x
D
n
/x
1
n1
) p(x
D
n
/x
2
n1
) . . . p(x
D
n
/x
D
n1
)

p(x
1
n1
)
p(x
2
n1
)
. . .
p(x
D
n1
)

P
n
=

p
11
p
21
. . . p
D1
p
12
p
22
. . . p
D2

p
1D
p
2D
. . . p
DD

P
n1
P
n
= T
t
P
n1
(2.4)
unde cu T am notat matricea de tranzit ie :
T =

p
11
p
12
. . . p
1D
p
21
p
22
. . . p
D2

p
D1
p
D2
. . . p
DD

Matricea de tranzit ie este stochastica, adic a are suma elementelor de pe linii 1, ceea ce, n
faptm rezulta direct din relat ia 2.3. Daca not am cu P
0
vectorul starilor la mometul 0, atunci
obt inem:
P
n
=
_
T
t
_
n
P
0
(2.5)
Daca o sursa omogena, cu D stari, evoluaz a pe baza matricei de tranzit ie:
T =

p
11
p
12
. . . p
1D
p
21
p
22
. . . p
D2

p
D1
p
D2
. . . p
DD

(2.6)
atunci trecerea ei de la o stare la alta poate descrisa, ntr-un mod mai intuitiv, cu ajutorul uni
graf al st arilor. Acesta cont ine n noduri st arile sursei, iar pe muchii se noteaz a probabilitatea
de tranzit ie din starea initiala n starea nal a. Un exemplu de asemenea graf este in gura 2.1.
De notat ca relat ia 2.3 nseamna, n graf, c a suma probabilit at ilor asociate muchiilor care ies
din graf trebuie s a e 1.
Se poate ar ata ca orice sursa evoluaz a dup a un num ar de tranzit ii (momente de timp) ntr-o
stare stat ionar a. O stare stat ionar a este caracterizata de un vector al starilor constant de la o
tranzit ie la alta. Convergent a catre starea stat ionar a poate :
monoton a (strict crescatoare, respectiv descrescatoare) catre valoarea de echilibru;
oscilanta, cu o perioad a nit a, n jurul valorii de echilibru;
2.2. Probleme rezolvate 15
Figura 2.1: Exemplu: graful de tranzitie al st arilor asociat matricii de tranzitie denit a de
relat ia 2.6
2.2 Probleme rezolvate
1. [1] [7] Fie o surs a Markov de ordinul 1. Sursa este omogen a, iar matricea de tran- zit ie
asociata este cea data de relat ia 2.6. S a se arate ca sursa accepta stari stat ionare.
Rezolvare:
Dup a cum am precizat starea stat ionar a este caracterizata de un set de proba- bilit at i ale
starilor care nu se mai modica de la o tranzit ie la alta. Adic a:
P
st
= T
t
P
st
(2.7)
Ecuat ia 2.7 ne aduce aminte de problema vectorilor si valorilor propri si anume: dac a si
V sunt o valoare proprie si, respectiv, vectorul propriu corespunzator, al unei matrice A,
atunci exist a relat ia:
A V = V
Revenind la problema noastr a este sucient sa demonstr am ca matricea de tranzit ie T
accepta = 1 ca valoare proprie, caz in care ecuat ia VVP (cu vectori si valori propri) se
scrie sub forma
A V = V
.
Dup a cum se stie valorile propri ale unei matrici se denesc a solut iile ecuat iei caracter-
istice:
16 CAPITOLUL 2. SURSE MARKOV
det(A I) = 0

In cazul matricei de tranzit ie daca ar atam ca 1 este solut ie a ecuat iei caracteristice prob-
lema este rezolvata. Deci:
det(T
t
I) = 0

p
11
p
21
. . . p
D1
p
12
p
22
. . . p
D2
. . . . . . . . . . . .
p
1D
p
2D
. . . p
DD

= 0
Adun and primele D 1 linii la ultima, se obt ine relat ia echivalent a:

p
11
p
21
. . . p
D1
p
12
p
22
. . . p
D2
. . . . . . . . . . . .
_

D
i=1
p
1i
_

D
i=1
p
2i
_
. . .
_

D
i=1
p
Di
_

= 0
Aplic and relat ia 2.3, obt inem pe ultima linie 1 ceea ce nseamna ca 1 este ntr-adevar
valoare proprie a matricei de tranzit ie. De altfel, rezultatul este unul cunoscut, si anume
ca: orice matrice stochastica are o valoare proprie egal a cu unitatea.
Se poate ar ata ca celelalte valori propri sunt de modul cel mult unitar: || 1.
Se poate face un studiu al convergent ei surselor Markov spre stat ionaritate n functie de
valorile propri ale matricei de tranzit ie:
dac a valorile propri sunt pozitive, ceea ce corespunde cazului c and st arile p astreaza
mai mult dec at dau, (p
ii
p
i
j, i = j) sursa are o convergent a monoton a spre
stat ionaritate.
dac a valorile propri sunt negative, ceea ce corespunde cazului c and st arile dau mai
mult dec at p astreaza ( p
ii
p
i
j, i = j), sursa are o convergent a oscilanta spre
stat ionaritate.
dac a valorile propri sunt 1, ceea ce corespunde unei matrice de tranzit ie cu 1 pe
diagonala principal a (nu se schimba nimic inte st ari), sursa este stat ionar a de la
nceput, n pozitia init ial a.
dac a valorile propri sunt 1, ceea ce corespunde unei matrice de tranzit ie cu 1 in alte
pozit ii fat a de diagonala principal a (starile se schimba total); sursa este permanent
oscilanta.
2. [7] O surs a Markov are un alfabet binar, [x
1
x
2
]. Graful de tranzit ie este reprezentat n
gura 2.2. Vectorul probabilit at ilor init iale este:
a. P
0a
=

1
2
1
2

sau b. P
0b
=

1
3
2
3

2.2. Probleme rezolvate 17

(a) Care este probabilitatea ca sursa s a genereze simbolul x
1
dup a 4 tranzit ii?
(b) Care este vectorul de probabilit at i ce caracterizeaz a starea stat ionar a?
(c) Cum trebuie modicate probabilit atile p
21
si p
22
pentru sursa sa devin a stat ionar a de
la momentul 1 cu P
st
= P
0a
?
(d) Care este entropia sursei stat ionare? C and aceasta entropie este maxim a?
Figura 2.2: Graful de tranzitie al st arilor.
Rezolvare: Matricea de tranzit ie asociata grafului este:
T =
_
3
4
1
4
1
2
1
2
_
(a) Relatia 2.5 ne spune c a este sucient sa a am (T
t
)
4
pentru a calcula probabilitatea
ceruta.
T
t
=
_
3
4
1
2
1
4
1
2
_
_
T
t
_
2
=
_
3
4
1
2
1
4
1
2
_
=
_
3
4
1
2
1
4
1
2
_
=
_
11
16
10
16
5
16
6
16
_
_
T
t
_
4
=
_
11
16
10
16
5
16
6
16
_

_
11
16
10
16
5
16
6
16
_
=
_
171
256
85
256
84
256
86
256
_
P
4
=
_
T
t
_
4
P
0
=
_
341
512
171
512
_
= p(x
14
) =
341
512
(b) Rezultatul de la problema 1 precizeaz a ca starea stat ionar a nu depinde de starea
init ial a deczt daca valorile proprii ale matricei de tranzit ie sunt de modul 1. Nu este
cazul in problema curent a. S a veric am totusi acest lucru.

In cazul n care P
0
= P
0a
obt inem:
P
1a
= T
t
P
0a
=
_
3
4
1
2
1
4
1
2
_

_
1
2
1
2
_
=
_
0.625
0.375
_
P
2a
=
_
0.656
0.344
_
P
3a
=
_
0.664
0.336
_
P
4a
=
_
0.666
0.334
_
P
5a
=
_
0.666
0.334
_
. . . P
st
=
_
2
3
1
3
_
18 CAPITOLUL 2. SURSE MARKOV

In cazul n care P
0
= P
0b
obt inem:
P
1b
= T
t
P
0b
=
_
3
4
1
2
1
4
1
2
_

_
1
3
2
3
_
=
_
0.583
0.417
_
P
2b
=
_
0.656
0.344
_
P
3b
=
_
0.645
0.345
_
P
4b
=
_
0.662
0.338
_
P
5b
=
_
0.666
0.334
_
. . . P
st
=
_
2
3
1
3
_
Evolutia sursei n timp, n cele dou a cazuri, poate v azut a si in gura 2.3.
1 1.5 2 2.5 3 3.5 4 4.5 5
0.3
0.35
0.4
0.45
0.5
0.55
0.6
0.65
0.7
p
a
(x1)

p
b
(x
1
)
p
b
(x
2
)
p
a
(x
2
)
Figura 2.3: Starea stationar a a sursei nu depinde de starea init ial a.
(c) Notam p
21
= x. Atunci p
22
= 1 x si matricea de tranzit devine:
T =
_
3
4
1
4
x 1 x
_
Cerint a presupune c a P
1
= P
0a
= T
t
P
0a
.
=
_
1
2
1
2
_
=
_
3
4
x
1
4
1 x
_

_
1
2
1
2
_
Se obt in dou a ecuat ii:
3
4
1
2
+
x
2
=
1
2
1
4
1
2
+
1 x
2
=
1
2
Ambele ecuat ii accepta solut ia x =
1
4
, pentru care matricea de tranzit devine:
T =
_
3
4
1
4
1
4
3
4
_
2.2. Probleme rezolvate 19
(d) Entropia unei surse discrete f ar a memorie era usor de calculat pentru c a, la orice
moment de timp sursa emitea simbolurile cu aceleasi probabilit at i, si se putea scrie
o formul a stabil a. Pentru o surs a discreta cu memorie este mult mai dicil, deoarece
la momente de timp diferite simbolurile sunt emise cu probabilit at i diferite si, pe
l ang a medierea probabilistic a ar mai trebui o medire temporal a sau o jurnalizare
a probabilit at ilor la toate momentele de timp. Totusi, dac a sursa este stat ionar a
problema este aceiasi cu cea de la sursele discrete far a memorie. Entropia sursei
stat ionare (mai ales n cazul de la punctul (c) ) se calculeaz a cu formula:
H(X
st
) =
n

i=1
p
i
st
log p
i
st
= 1
bit
simbol
Entropia maxim a se obt ine pentru probabilit at i egale (ceea ce s-a si nt amplat).
3. [4] Fie o surs a Markov de ordinul 2. Sursa este binar a si complet determinat a de proba-
bilit at ile condit iontate:
p(0|00) = p(1|11) = 0.8
p(1|00) = p(0|11) = 0.8
p(0|01) = p(0|11) = p(1|01) = p(1|10) = 0.5
Sa se traseze graful de tranzit ie al st arilor. S a se arate c a sursa este stat ionar a si s a se
calculeze vectorul stat ionar.
Rezolvare:
Am precizat ca, n cazul unei surse Markov de ordinul 1 starea este funct ie de ultimul
simbol transmis. De data aceasta sursa este de ordinul 2 si atunci starea este funct ie de
ultimiii doi bit i transmisi. Fiind o sursa binar a rezult a un alfabet al starilor cu 4 elemente.
Convenim asupra urmatoarei codic ari:
starea S
0
nseamna ca la momentul n 2 s-a transmis 0, iar momentul n 1 tot 0;
S
0
= (00)
starea S
1
nseamna ca la momentul n 2 s-a transmis 0, iar momentul n 1, 1;
S
1
= (01)
S
2
= (10)
S
3
= (11)
Ce nseamna starile n cazul unie transmisiuni? Avem succesiunea de simboluri transmise
de tipul x
1
x
2
x
3
. Simbolul x
3
a fost transmis cu proba- bilitatea p(x
3
/x
1
x
2
). Simbolurile
x
1
x
2
codic a starea la momentul n 1, iar x
2
x
3
starea la momentul n. Analiz and setul
de probabilit at i ce caracterizeaza sursa rezulta:
s-a transmis succesiunea de simboluri 00 (starea S
0
). Dup a ele poate urma un simbol
de :
0 cu probabilitate 0.8; succesiunea este 000, iar starea la momentul curent S
0
deci p(S
0
/S
0
) = 0.8
20 CAPITOLUL 2. SURSE MARKOV
1 cu probabilitate 0.2; succesiunea este 001,iar starea la momentul curent S
1
deci
p(S
1
/S
0
) = 0.2
Atunci p(S
2
/S
0
) = p(S
3
/S
0
) = 0
s-a transmis succesiunea de simboluri 01 (starea S
1
). Dup a ele poate urma un simbol
de :
0 cu probabilitate 0.5; succesiunea este 010, iar starea la momentul curent S
2
deci p(S
2
/S
1
) = 0.5
1 cu probabilitate 0.5; succesiunea este 011, iar starea la momentul curent S
3
deci p(S
3
/S
1
) = 0.5
Atunci p(S
0
/S
1
) = p(S
1
/S
1
) = 0
s-a transmis succesiunea de simboluri 10 (starea S
2
). Dup a ele poate urma un simbol
de :
0 cu probabilitate 0.5; succesiunea este 100, iar starea la momentul curent S
0
deci p(S
0
/S
2
) = 0.5
1 cu probabilitate 0.5; succesiunea este 101, iar starea la momentul curent S
1
deci p(S
1
/S
2
) = 0.5
Atunci p(S
2
/S
2
) = p(S
3
/S
2
) = 0
s-a transmis succesiunea de simboluri 11 (starea S
3
). Dup a ele poate urma un simbol
de :
0 cu probabilitate 0.2; succesiunea este 110, iar starea la momentul curent S
2
deci p(S
2
/S
3
) = 0.2
1 cu probabilitate 0.8; succesiunea este 111, iar starea la momentul curent S
3
deci p(S
3
/S
3
) = 0.8
Atunci p(S
0
/S
3
) = p(S
1
/S
3
) = 0
Folosind notat ia
p(S
j
/S
i
) = p
ij
si Q = [p
ij
matricea de tranzit ie Q este:
Q =

0.8 0.2 0 0
0 0 0.5 0
0.5 0.5 0 0.2
0 0 0.2 0.8

Graful de tranzit ie al starilor asociat este prezentat n gura 2.4

Dat ind faptul c a si aceasta matrice este stochastica (are suma elmentelor pe linie egale
cu 1), rezultatul de la problema precedent a este valabil (admite stare stationar a). Aarea
starii stat ionare presupune rezolvarea sistemului 5 ecuat ii si 4 necunoscute:
P
st
= Q
t
P
st
unde
P
st
=

si + + + = 1
2.2. Probleme rezolvate 21
Figura 2.4: Graful de tranzitie al st arilor asociat matricei Q
Adic a

0.8 0 0.5 0
0.2 0 0.5 0
0 0.5 0 0.2
0 0.5 0 0.8

+ + + = 1
Rezultatul obt inut la prima problema ne asigur a ca acest sistem este determinat; n fapt,
relat ia care da suma liniilor matricei de tranzit ie 1 presupune c a una dintre cele patru
ecuat ii este redundant a si, n fapt, avem un sistem de patru ecuatii cu patru necunoscute.
Sistemul se rezolva prin metoda susbtitut iilor (Gauss). Solut ia obt inut a este:
P
st
=

5
14
1
7
1
7
5
14

Aceasta solut ie verica relat ia de stat ionariate.

2.2.1 Probleme propuse
1. S a se studieze convergent a (sunt oscilante respectiv convergente monoton sau oscilant)
sursele Markov de ordinul 1 caracterizate de matricea de convergent a si stare initial a:
22 CAPITOLUL 2. SURSE MARKOV
(a)
T =
_
3
4
1
4
1
4
3
4
_
P
0
=
_
1
4
3
4
_
(b)
T =
_
1
4
3
4
3
4
1
4
_
P
0
=
_
1
4
3
4
_
(c)
(d)
T =
_
3
4
1
4
1
4
3
4
_
P
0
=
_
0
1
_
(e)
T =
_
1 0
0 1
_
P
0
=
_
1
4
3
4
_
(f)
T =
_
0 1
1 0
_
P
0
=
_
1
4
3
4
_
2. Fie o sursa Markov de ordinul 1 cu alfabet binar. Ea caracterizat a de matricea de tranzit ie
T.

In cazurile discutate p an a acum problema a fost de determinat vectorul stat ionar dac a
se stie matricea de tranzit. De data aceasta se cere sa se determine matricea de tranzit
daca se stie vectorul stat ionar: P
st
=
_
1
4
3
4
_
Indicat ie Sistemul init ial este subdeterminat si de aceea trebuie reduse gradele de libertate
prin prexarea unor valori ale matricei de tranzit.