Sunteți pe pagina 1din 511

CUPRINS

CAPITOLUL 1
SEMNALE ALEATOARE …………………………..……………1
1.1. Definirea semnalului aleator, a variabilei aleatoare, a funcţiei şi a
densităţii de repartiţie …………………………………………………….1
1.2. Valori medii statistice şi temporale ale procesului aleator, continuu în
timp ………………………………………………………………………9
1.3. Procese aleatoare continue în timp, staţionare ……………………..16
1.4. Determinarea tensiunii de prag în cazul recepţiei pe canale
perturbate ……………………………………………………………….18
1.5. Teorema Wiener-Khintcine ………………………………...….… 22
1.6. Proprietăţile principale ale funcţiei de autocorelaţie …………...….28
1.7. Determinarea funcţiei de autocorelaţie a semnalelor recepţionate,
afectate de perturbaţii …………………………………………… …32
1.8. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere a unei secvenţe binare aleatoare ………………………………...35
1.9. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere a unui semnal aleator telegrafic ……………………..………….42
1.10. Determinarea funcţiei de autocorelaţie a secvenţelor
pseudoaleatoare (SPA) periodice ………………………………………45
1.11. Determinarea funcţiei pondere a unui sistem liniar invariant în timp
prin metoda corelaţiei …………………………………………………..50
1.12. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere la ieşirea unui sistem analogic, liniar, invariant în timp ……..… 52
1.13. Valori medii statistice definite pe procese aleatoare, discrete
în timp …………………………………………………………………. 54
1.14. Procese aleatoare discrete în timp, staţionare …………………….57
1.15. Valori medii temporale ale proceselor aleatoare, discrete
în timp …………………………………………………………………. 58
1.16. Procese aleatoare discrete în timp, ergodice ……………………. 61
1.17. Proprietăţile principale ale funcţiilor de corelaţie pentru procese
aleatoare staţionare în sens larg ………………………………….…… 67
366
1.18. Reprezentarea semnalelor aleatoare discrete în timp în domeniul
frecvenţă ……………………………………………………………….. 69
1.19. Răspunsul sistemelor discrete, liniare, invariante în timp la semnale
aleatoare …………………………………………………………..…… 70
1.20. Folosirea transformatei Z în calculul puterii medii …………...…. 73
1.21. Matricea de autocorelaţie a unui proces staţionar …………..…… 79
1.22. Procese aleatoare regulate. Factorizare spectrală. Reprezentarea
proceselor aleatoare staţionare ……………………………………...… 86
1.23. Modelarea proceselor aleatoare …………………………...…….. 90
1.24. Relaţii între parametrii modelului şi secvenţa de autocorelaţie a
procesului …………………………………………………………...…. 93
1.25. Probleme rezolvate ………………………………………………. 96

CAPITOLUL 2
ESTIMAREA FORMEI SEMNALULUI …………..……. 117
2.1. Schema bloc a unui sistem de transmisiuni care realizează estimarea
formei semnalului …………………………………………………..... 117
2.2. Ecuaţia integrală Wiener - Hopf ………………………………... 119
2.3. Soluţia ecuaţiei integrale Wiener - Hopf în cazul filtrelor optimale
necauzale …………………………………………………………….. 125
2.4. Soluţia ecuaţiei integrale Wiener - Hopf în cazul când semnalul
recepţionat este zgomot alb ………………………………..………… 129
2.5. Soluţia ecuaţiei integrale Wiener - Hopf în domeniul
frecvenţă .………………………………………………………...…… 131
2.6. Filtrarea optimală în cazul semnalelor cu spectru Butterworth
(n = 1) ………………………………………………………..……… 136
2.7. Determinarea erorii pătratice medii în cazul filtrelor optimale
Wiener - Hopf ………………………………………………..……… 142
2.8. Principiul filtrării optimale Kalman - Bucy pentru semnale
continue ………………………………………………………………. 146
2.9. Sisteme dinamice generatoare de semnale aleatoare …………….147
2.10. Probleme rezolvate …………………………………………..… 154

CAPITOLUL 3
PREDICŢIE LINIARĂ ŞI FILTRARE LINIARĂ
OPTIMALĂ …………………………………………………….… 171
3.1. Predicţie înainte (forward) …………………………………….... 171
367
3.2. Predicţie liniară înapoi (backward) ................................................ 175
3.3. Structuri lattice pentru implementarea filtrelor FIR de eroare a
predicţiei ............................................................................................... 178
3.2.1. Conversia coeficienţilor structurii lattice în coeficienţi ai
filtrului în formă directă ............................................................ 184
3.3.2. Conversia coeficienţilor filtrului FIR din forma directă în
coeficienţi ai structurii lattice .................................................... 187
3.4. Coeficienţii de reflexie optimi ai predictorului lattice înainte şi
înapoi ………………………………………………………….……… 188
3.5. Relaţia dintre un proces AR şi predicţia liniară ............................. 190
3.6. Soluţia ecuaţiilor normale .............................................................. 191
3.6.1. Algoritmul Levison-Durbin ............................................ 192
3.6.2. Algoritmul Schur ............................................................ 197
3.7. Proprietăţi ale filtrelor erorii de predicţie ...................................... 203
3.7.1. Proprietatea de fază minimă a filtrului erorii de predicţie
înainte ....................................................................................... 203
3.7.2. Proprietatea de fază maximă a filtrului erorii de predicție
înapoi ………………………………………….……………… 206
3.7.3. Proprietatea de albire ………………………………..… 206
3.7.4. Proprietatea de ortogonalitate ......................................... 207
3.8. Filtre lattice pentru procese AR şi ARMA …………...………… 208
3.8.1. Structura lattice AR …………………………………… 208
3.8.2. Procese ARMA şi filtre lattice cu poli şi zerouri ……… 211
3.9. Filtre Wiener pentru filtrare şi predicţie …………………...……. 214
3.9.1. Filtru Wiener cu răspuns finit la impuls ......................... 215
3.9.2. Proprietatea de ortogonalitate a filtrului optimal …...…. 218
3.9.3. Determinarea funcţiei pondere a filtrelor Wiener cu răspuns
infinit la impuls (IIR) la recepţionarea secvenţei de zgomot
alb …………………………………………………………….. 219
3.9.4. Filtru Wiener cauzal cu răspuns infinit la impuls (IIR) .. 221
3.9.5. Filtru Wiener IIR necauzal …………………….………. 225
3.10. Probleme rezolvate ....................................................................... 226

CAPITOLUL 4
ESTIMAREA PARAMETRILOR .......................................... 235

368
4.1. Schema bloc a unui sistem de transmisiuni care realizează estimarea
unui parametru …………………………………………………….…. 235
4.2. Determinarea estimatului în cazul funcţiilor de cost pătratul erorii şi
uniforme ……………………………………………………………… 239
4.3. Criterii de evaluare a estimatului ………………………………… 243
4.4. Determinarea estimatului unui parametru invariant în timp în cazul
observării la momente discrete de timp ……………………………… 246
4.5. Estimarea liniară a unui parametru în cazul observării continue ….251
4.6. Estimarea neliniară a unui parametru în cazul observării
continue …………………………………………………………….… 258
4.7. Erori de estimare ……………………………………………...…. 263
4.8. Eroarea de estimare în cazul estimării liniare ……………..…….. 269
4.9. Eroarea de estimare în cazul estimării neliniare ………………… 273
4.10. Estimarea neliniară a mai multor parametri …………...………. 275
4.11. Probleme rezolvate …………………………………………..…. 277

CAPITOLUL 5
ESTIMAREA SPECTRULUI DE PUTERE ………..……. 285
5.1. Estimarea spectrului semnalelor din observarea pe intervale de
lungime finită ……………………………………………………...…. 285
5.1.1. Calculul densităţii spectrale de energie ........................... 286
5.1.2. Estimarea funcţiei de autocorelaţie şi a densităţii spectrale
de putere a semnalelor aleatoare. Periodograma …...………… 293
5.1.2.1. Periodograma modificată ................................. 303
5.1.3. Folosirea Transformatei Fourier Discrete în estimarea
spectrului de putere ................................................................... 306
5.2. Metode neparametrice pentru estimarea densităţii spectrale de
putere …………………………………………………………………. 309
5.2.1. Metoda Bartlett. Periodograma mediată ......................... 309
5.2.2. Metoda Welch. Periodograma mediată modificată ….... 311
5.2.3. Metoda Blackman Tukey. Netezirea periodogramei.….. 314
5.2.4. Caracteristici de performanţă ai estimatorilor densităţii
spectrale de putere neparametrici ............................................. 318
5.3. Metode parametrice pentru estimarea spectrului de putere ........... 323
5.3.1. Relaţii între funcţia de autocorelaţie şi parametrii
modelului ..................................... ............................................ 326

369
5.3.2. Estimarea spectrului de putere pe baza modelului
autoregresiv (AR)....................................................................... 328
5.3.3. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda autocorelaţiei sau Yule-Walker ...................... 329
5.3.4. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda Burg................................................................. 330
5.3.5. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda covarianţei modificate sau a celor mai mici
pătrate fără constrângeri ............................................................ 334
5.3.6. Alegerea ordinului modelului AR ................................... 336
5.3.7. Estimarea spectrului de putere pe baza modelului cu medie
alunecătoare (MA) .................................................................... 337
12.3.8. Estimarea spectrului de putere pentru semnale modelate
ARMA ………………………………………………….…….. 339
5.3.9. Rezultate experimentale .................................................. 343
5.4. Probleme rezolvate ………………………….…………..……….. 351

6. BIBLIOGRAFIE ……………………………………..……… 362

370
CAPITOLUL 1

SEMNALE ALEATOARE

Un semnal aleator este un proces care se desfăşoară în timp


şi este guvernat, cel puţin în parte, de legi probabilistice. Importanţa
teoretică şi practică a studiului semnalelor aleatoare rezidă în faptul
că semnalele purtătoare de informaţie, indiferent de natura lor, şi
zgomotele care apar în procesul transmisiunii sunt modelate cel mai
bine prin astfel de semnale.

1.1. Definirea semnalului aleator, a variabilei


aleatoare, a funcţiei şi a densităţii de repartiţie

Pentru a defini un semnal aleator se consideră o experienţă


oarecare. Prin rezultatul unei experienţe se înţelege una din
posibilităţile de realizare a acesteia. Mulţimea rezultatelor posibile
se va numi în continuare spaţiul eşantioanelor şi va fi notat cu Ω .
Din punct de vedere matematic, un semnal aleator este o
funcţie de două variabile f (k , t ) = f (k )
(t ) , unde k ia valori în spaţiul
eşantioanelor. Funcţiile f (k )
(t ) reprezintă realizări particulare ale
semnalului aleator. O reprezentare geometrică intuitivă a unui
semnal aleator este dată în figura 1.1.

1
Fig. 1.1. Reprezentarea geometrică a unui semnal aleator

În figura 1.1, prin e1 , e 2 ,..., e N s-au notat elementele din


spaţiul eşantioanelor, iar prin f (1)
(t ), f (2 ) (t ),..., f ( N ) (t ) , realizările
particulare ale semnalului aleator notat cu f(t). Cu alte cuvinte,
semnalul aleator este format din mulţimea realizărilor particulare,
adică:
{
f (t ) = f (k ) (t ) } (1.1)
Dacă variabila t ia valori pe axa reală, atunci semnalul f (t )
se va numi proces aleator sau stochastic, continuu în timp.
Dacă variabila t ia numai valori întregi, adică t ∈ Z , atunci
semnalul aleator f (t ) se va numi proces aleator sau stochastic,
discret în timp.
Pentru a face o distincţie între cele două procese aleatoare, se
va nota procesul aleator discret în timp cu x[n] , adică

{ }
x[n] = x ( k ) [n] , n ∈ Z (1.1’)

Funcţiile x ( k ) [ n] se numesc realizări particulare ale


procesului aleator discret în timp.
Pentru orice valoare particulară a lui t = t i sau n = ni
mulţimea valorilor funcţiilor f (k , t i ) = f (k )
(t i ) , respectiv
2
x[k , ni ] = x ( k ) [ni ] , defineşte o variabilă aleatoare, notată în
continuare cu f ( ti ) , respectiv x[ni ] . Cu alte cuvinte, se poate scrie:

{
f ( ti ) = f ( k ) ( ti ) } (1.2)
respectiv,
{
x[ni ] = x ( k ) [ni ] } (1.2’)
Din (1.2) sau (1.2’) se observă că un proces aleator este o
mulţime de variabile aleatoare indexate.
Fie numărul real x i ce aparţine domeniului de valori ale
variabilei aleatoare f (t i ) sau x[ni ] . Dacă se notează cu n numărul
realizărilor particulare pentru care f (k )
(t i ) ≤ x i , respectiv
x ( k ) [ ni ] ≤ xi , şi cu N numărul total al realizărilor particulare, atunci
raportul n/N, când N este suficient de mare, va reprezenta
probabilitatea ca variabila aleatoare f ( ti ) , respectiv x[ni ] , să fie
mai mică sau egală cu x i şi va fi notată cu P{ f (t i ) ≤ x i } , respectiv
P { x[ni ] ≤ xi } . Această probabilitate este în general o funcţie ce
depinde atât de numărul real x i , cât şi de momentul de timp t i sau
ni . Notând această funcţie cu F1 ( x i ; t i ) , respectiv F1 ( xi ; ni ) , se
poate scrie relaţia:
F1 ( xi ; ti ) = P { f ( ti ) ≤ xi } (1.3)
respectiv
F1 ( xi ; ni ) = P { x[ni ] ≤ xi } (1.3’)
Funcţia definită cu relaţia (1.3), respectiv (1.3’), se numeşte
funcţie de repartiţie de ordinul întâi, fapt consemnat prin indicele
unu al funcţiei F.

3
Derivata parţială în raport cu x i a funcţiei de repartiţie de
ordinul întâi defineşte densitatea de repartiţie sau de probabilitate
de ordinul întâi şi va fi notată cu w1 ( x i ; t i ) , adică:
∂F1 ( x i ; t i )
w1 ( x i ; t i ) = (1.4)
∂x i
respectiv
∂F1 ( xi ; ni )
w1 ( xi ; ni ) = (1.4’)
∂xi
Produsul w1 ( x i ; t i )dx i , respectiv w1 ( xi ; ni ) dxi , reprezintă
probabilitatea ca procesul aleator f(t), respectiv x[n], la momentul
t = t i , respectiv n = ni , să treacă prin vecinătatea valorii x i , aşa cum
este reprezentat intuitiv în figura 1.2.

Fig. 1.2. Reprezentarea geometrică intuitivă a produsului w1 ( xi ; ti )dxi


Matematic, aceasta se scrie astfel:
w1 ( xi ; ti ) dxi = P { xi < f ( ti ) ≤ xi + dxi } (1.5)
respectiv
w1 ( xi ; ni ) dxi = P { xi < x[ ni ] ≤ xi + dxi } (1.5’)
Densitatea de repartiţie sau probabilitate de ordinul întâi
determină probabilitatea unei anumite valori a procesului aleator la
un moment de timp dat, nespecificând însă nimic în legătură cu
desfăşurarea în timp a acestuia. În scopul cunoaşterii mai
amănunţite a unui proces aleator, se definesc funcţii de repartiţie şi
densităţi de repartiţie de ordin superior.
4
În general, funcţia de repartiţie de ordinul N se defineşte cu
relaţia :
FN ( x1 , x2 ,..., xN ; t1 , t2 ,..., t N ) =
(1.6)
= P { f ( t1 ) ≤ x1 ; f ( t2 ) ≤ x2 ;...; f ( t N ) ≤ xN }
respectiv
FN ( x1 ,..., xN ; n1 ,..., nN ) =
(1.6’)
= P { x [ n1 ] ≤ x1 , x [ n2 ] ≤ x2 ,..., x [ nN ] ≤ xN }
Densitatea de repartiţie sau de probabilitate de ordinul N se
defineşte cu relaţia:
∂ N FN ( x1 , x2 ,..., xN ; t1 , t2 ,..., t N )
wN ( x1 , x2 ,..., xN ; t1 , t2 ,..., t N ) = (1.7)
∂x1∂x2 ...∂xN
respectiv
∂FN ( x1 , x2 ,..., xN ; n1 , n2 ,..., nN )
wN ( x1 , x2 ,.., xN ; n1 , n2 ,...nN ) = (1.7’)
∂x1∂x2 ...∂xN
Reprezentarea geometrică intuitivă în acest caz este dată în figura
1.3.

Fig. 1.3. Reprezentarea geometrică intuitivă a desfăşurării în timp a


procesului aleator

Expresia analitică sau reprezentarea grafică a densităţii de


repartiţie în raport cu variabilele x1 , x2 ,....., xN determină legea de
repartiţie a procesului aleator.
5
Astfel, legea de repartiţie monodimensională normală sau
gaussiană este de forma:
1
1 − ( x i − m )2
w1 ( x i ) = e 2σ 2
(1.8)
2π σ
unde prin σ 2 s-a notat dispersia şi prin m valoarea medie a
variabilei aleatoare.
Un proces aleator continuu în timp, cu valori complexe, z (t ) ,
se defineşte ca fiind z (t ) = x(t ) + jy (t ) , unde x(t ) şi y (t ) sunt
procese aleatoare cu valori reale.
Densitatea de repartiţie a variabilei aleatoare complexe z (ti ) ,
i=1,2,… N, a procesului este dată de densitatea de repartiţie a
componentelor ( x(ti ), y (ti )) , wN ( x1 , x2 ,.., xN , y1 , y2 ,.., y N ; t1 , t2 ,...t N ) .
Un proces aleator cu valori complexe se întâlneşte, de
exemplu, la reprezentarea componentelor în fază şi cuadratură ale
unui semnal trece jos echivalent unui semnal aleator sau zgomot de
bandă îngustă [61].
Între densităţile de repartiţie şi probabilităţi există o serie de
analogii, care vor fi sintetizate în Tabelul 1.1, în cazul particular al
densităţii de repartiţie de ordinul doi.
Tabelul 1.1
Probabilităţi Densităţi de repartiţie
(probabilitate)
0 ≤ p (x i ∩ x j ) ≤ 1 w2 (xi , x j ) ≥ 0

∑ ∑ p(x i ∩ x j ) = 1
n m ∞ ∞

i =1 j =1
∫ ∫ w (x , x )dx dx
2 i j i j =1
−∞−∞

p (xi ∩ x j ) = p ( xi ) ⋅ p (x j / xi ) = w 2 (x i , x j ) = w1 ( x i ) ⋅ w2 (x j x i ) =
= p (x j ) ⋅ p (xi / x j ) w1 (x j )⋅ w2 x i x j ( )
6
p( x i ) = ∑ p (x i ∩ x j )
m ∞

j =1
w1 ( x i ) = ∫ w (x , x )dx
−∞
2 i j j

n ∞
p ( x j ) = ∑ p ( xi ∩ x j ) w1 (x j ) = ∫ w (x , x )dx
2 i j i
i =1
−∞

p (x i ∩ x j ) = p( x i ) ⋅ p (x j ) w2 (x i , x j ) = w1 ( x i ) ⋅ w1 (x j )
în cazul evenimentelor în cazul variabilelor aleatoare
independente independente

Procesul aleator cu un număr finit de valori ale amplitudinii,


se va numi discret în amplitudine. Considerând un moment de timp
arbitrar, t = t 1 , şi presupunând că procesul aleator are N realizări
particulare, rezultă variabila aleatoare:
f ( t1 ) = { x11 , x12 ,..., x1i ,..., x1 N } (1.9)
unde x1i reprezintă valoarea realizării particulare f (i )
(t ) la
momentul t = t 1 . În mulţimea definită cu relaţia (1.9) se presupune
că s-a realizat ordonarea x11 ≤ x12 ≤ ... ≤ x1i ≤ ... ≤ x1N .
Fie p ( x1i ) probabilitatea ca realizarea particulară f (i )
(t ) la
momentul t = t1 să fie egal cu x1i , adică:
p( x1i ) = P{ f (i )
(t1 ) = x1i } (1.10)
Se presupune, de asemenea, adevărată relaţia:
N

∑ p(x ) =1
i =1
1i (1.11)

ceea ce, din punct de vedere fizic, înseamnă că la momentul t = t 1


cu certitudine procesul aleator discret în amplitudine va lua o
valoare din mulţimea valorilor posibile. În acest caz, funcţia de
repartiţie de ordinul întâi se defineşte cu relaţia:
7
F1 ( x1 ; t1 ) = P { f ( t1 ) ≤ x1} = ∑ p(x ) 1i (1.12)
x1i ≤ x1

unde x1 este un număr real, ales astfel încât:


N
x1 ≤ ∑ x1i (1.13)
i =1

Pentru a putea defini densitatea de repartiţie de ordinul întâi,


se presupune că
k
x1 = ∑ x1i , ( ∀ ) k = 1, N (1.14)
i =1

Cu (1.14), relaţia (1.12) se poate scrie, echivalent, sub forma:


k
F1 ( x1 ; t1 ) = ∑ p( x1i )u ( x1 − x1i ) (1.15)
i =1

unde u ( x1 − x1i ) este treapta unitate.


Conform relaţiei (1.4), densitatea de repartiţie de ordinul întâi
a procesului aleator discret în amplitudine se determină cu relaţia:

∂F1 ( x1 ; t1 ) k
w1 ( x1 ; t1 ) = = ∑ p( x1i )δ ( x1 − x1i ) (1.16)
∂x1 i =1

unde δ ( x1 − x1i ) este distribuţia Dirac unidimensională.


Pentru a putea calcula funcţia de repartiţie şi densitatea de
repartiţie de ordinul doi a unui proces aleator discret în amplitudine,
se consideră o altă variabilă aleatoare discretă, rezultată din acelaşi
proces aleator discret în amplitudine, definită la momentul t = t 2 ,
adică:
f ( t2 ) = { x21 , x22 ,..., x2 j ,..., x2 N } (1.17)
x21 ≤ x22 ≤ ... ≤ x2 j ≤ .. ≤ .x2 N (1.18)

8
r
x2 = ∑ x2 j , ( ∀ )r = 1, N (1.19)
j =1

Funcţia de repartiţie de ordinul doi a procesului aleator


discret în amplitudine se defineşte atunci cu relaţia:
F2 ( x1 , x 2 ; t 1 , t 2 ) = P{ f (t1 ) ≤ x1 , f (t 2 ) ≤ x 2 } =
= ∑ ∑ p (x ∩ x ; t , t )
1i 2j 1 2
(1.20)
x1i ≤ x1 x 2 j ≤ x 2

Cu (1.14) şi (1.19) relaţia (1.20) se poate scrie sub forma


echivalentă:
F2 ( x1 , x 2 ; t 1 , t 2 ) = ∑ ∑ p (x1i ∩ x 2 j ; t1 , t 2 )u (x1 − x1i ; x 2 − x 2 j ) (1.21)
k r

i =1 j =1

unde u (x1 − x1i ; x 2 − x 2 j ) este treapta unitate bidimensională, iar


p (x1i ∩ x 2 j ; t 1 , t 2 ) = P{ f (i )
(t1 ) = x1i şi f ( j)
(t 2 ) = x 2 j } (1.22)
Cu (1.21) rezultă că densitatea de repartiţie de ordinul doi a unui
proces aleator discret în amplitudine se poate calcula cu relaţia:
∂ 2 F2 ( x1 , x2 ; t1 , t 2 )
w2 ( x1 , x2 ; t1 , t 2 ) = =
∂x1∂x2
(1.23)
= ∑ ∑ p (x1i ∩ x2 j ; t1 , t 2 )δ ( x1 − x1i ; x2 − x2 i )
k r

i =1 j =1

unde δ (x1 − x1i ; x 2 − x 2 j ) este distribuţia Dirac bidimensională.

1.2. Valori medii statistice şi temporale ale procesului


aleator, continuu în timp

Procesele aleatoare care modelează din punct de vedere


matematic perturbaţiile sau zgomotele în cazul unei transmisiuni, nu
pot fi cunoscute în detaliu. Pentru caracterizarea lor se evaluează
valori medii de diferite ordine.
9
Valorile medii de diferite ordine se pot calcula fie pe
mulţimea realizărilor particulare la momente de timp alese arbitrar,
t 1 , t 2 ,..., t n ,..., fie dintr-o singură realizare particulară f (k )
(t ) . În
primul caz, se spune că se obţin valori medii statistice (sau medii pe
mulţimi), iar în al doilea caz, valori medii temporale.
Valorile medii statistice folosite frecvent în aplicaţii sunt:
1. Valoarea medie (momentul de ordinul întâi)

f ( t1 ) = m1 { f ( t1 )} = E { f ( t1 )} = ∫ x w ( x ; t ) dx
1 1 1 1 1 (1.24)
−∞

2. Valoarea pătratică medie (momentul iniţial de ordinul doi)


definită în cazul variabilelor aleatoare complexe cu relaţia

{ }
f 2 ( t1 ) = m1 f 2 ( t1 ) = E f 2 ( t1 ) = { } ∫x −∞
1
2
w1 ( x1 ; t1 ) dx1 (1.25)

iar în cazul variabilelor aleatoare reale, cu relaţia


f 2
( t1 ) = m1 { f ( t1 )} = E { f ( t1 )} = ∫ x12 w1 ( x1; t1 ) dx1
2 2
(1.25’)
−∞

3. Funcţia de autocorelaţie (momentul iniţial reunit de ordinul doi)


În cazul variabilelor aleatoare complexe
B ff = f ( t1 ) f * ( t2 ) = m1 { f ( t1 ) f * ( t2 )} = E { f ( t1 ) f * ( t2 )} =
∞ ∞ (1.26)
= ∫∫ x1 x2* w2 ( x1 , x2 ; t1 , t2 ) dx1dx2
−∞ −∞

În cazul variabilelor aleatoare reale


B ff = f (t1 ) f (t 2 ) = m1 { f (t 1 ) f (t 2 )} =
∞ ∞ (1.26’)
=
−∞−∞
∫ ∫ x1 x 2 w2 (x1 , x 2 ; t1 , t 2 )dx1 dx 2
În cazul proceselor aleatoare reale, discrete în amplitudine,
funcţia de autocorelaţie se obţine înlocuind w2 ( x1 , x2 ; t1 , t2 ) din (1.23)
10
în (1.26’). Ţinând cont de proprietatea de filtrare a distribuţiei Dirac,
rezultă:
B ff (t1 , t 2 ) = ∑ ∑ x1i x 2 j p (x1i ∩ x 2 j ; t 1 , t 2 )
k r
(1.27)
i =1 j =1

4. Funcţia de corelaţie (momentul iniţial mixt de ordinul doi) pentru


variabile aleatoare complexe
B fg ( t1 , t2 ) = f ( t1 ) g * ( t2 ) = m1 { f ( t1 ) g * ( t2 )} =
∞ ∞ (1.28)
= E { f ( t1 ) g * ( t2 )} = ∫∫ x1 y2* w2 ( x1 , y2 ; t1 , t2 ) dx1dy2
−∞ −∞

În cazul variabilelor aleatoare reale


B fg ( t1 , t2 ) = f ( t1 ) g ( t2 ) = m1 { f ( t1 ) g ( t2 )} =
∞ ∞ (1.28’)
E { f ( t1 ) g ( t2 )} = ∫∫ x1 y2 w2 ( x1 , y2 ; t1 , t2 ) dx1dy2
−∞ −∞

unde f ( t1 ) şi g ( t2 ) sunt variabile aleatoare obţinute din procesele


aleatoare f(t) şi g(t) la momentele t = t1 , respectiv t = t 2 , iar x1 şi y 2
valori din domeniul posibil al acestor variabile aleatoare.
5. Dispersia (moment centrat de ordinul doi) pentru variabile
aleatoare complexe

( ) ( f (t ) − f (t ))
2 *
σ 2 ( t1 ) = f ( t1 ) − f ( t1 ) = f ( t1 ) − f ( t1 ) 1 1 =

( f (t ) − f (t )) ( f
1 1
*
( t1 ) − f ( t1 )
*
)=
* *
f ( t1 ) f * ( t1 ) − f ( t1 ) f ( t1 ) − f ( t1 ) f * ( t1 ) + f ( t1 ) f ( t1 ) =

(
f ( t1 ) − ( f R ( t1 ) + jf I ( t1 ) ) f R ( t1 ) − j f I ( t1 ) −
2
)
( ) ( f ( t ) − jf ( t )) + f (t )
2
− f R ( t1 ) + j f I ( t1 ) R 1 I 1 1 =

11
( )
2
f ( t1 ) − 2 f R ( t1 ) f R ( t1 ) + f I ( t1 ) f I ( t1 ) + f ( t1 ) =
2

− 2 ⎡( f ( t ) ) + ( f ( t ) ) ⎤ + f ( t )
2 2 2 2
f ( t1 ) = f ( t1 ) − f ( t1 ) (1.29)
2 2

⎢⎣ R 1 I
⎥⎦ 1 1

unde cu f R şi f I s-a notat partea reală, respectiv imaginară, a


variabilei aleatoare.
În cazul variabilelor aleatoare reale
2 2
σ 2 ( t1 ) = ⎡⎣ f ( t1 ) − f ( t1 ) ⎤⎦ = f 2 ( t1 ) − 2 f ( t1 ) f ( t1 ) + ⎡⎣ f ( t1 ) ⎤⎦ =
(1.29’)
= f 2 ( t1 ) − ⎡⎣ f ( t1 ) ⎤⎦
2

6. Funcţia de autovarianţă pentru variabile aleatoare complexe


*
K ff ( t1 , t2 ) = ⎡ f ( t1 ) − f ( t1 ) ⎤ ⎡ f ( t2 ) − f ( t2 ) ⎤ =
⎣ ⎦⎣ ⎦ (1.30)
= B ff ( t1 , t2 ) − f ( t1 ) ⋅ f *
( t2 )
În cazul variabilelor aleatoare reale
K ff ( t1 , t2 ) = ⎡ f ( t1 ) − f ( t1 ) ⎤ ⎡ f ( t2 ) − f ( t2 ) ⎤ =
⎣ ⎦⎣ ⎦ (1.30’)
= B ff ( t1 , t2 ) − f ( t1 ) ⋅ f ( t2 )
7. Funcţia de covarianţă pentru variabile aleatoare complexe
*
K fg ( t1 , t2 ) = ⎡ f ( t1 ) − f ( t1 ) ⎤ ⎡ g ( t2 ) − g ( t2 ) ⎤ =
⎣ ⎦⎣ ⎦ (1.31)
= B fg ( t1 , t2 ) − f ( t1 ) ⋅ g ( t2 )
*

În cazul variabilelor aleatoare reale


K fg ( t1 , t2 ) = ⎡ f ( t1 ) − f ( t1 ) ⎤ ⎡ g ( t2 ) − g ( t2 ) ⎤ =
⎣ ⎦⎣ ⎦ (1.31’)
= B fg ( t1 , t2 ) − f ( t1 ) ⋅ g ( t2 )

12
Valorile medii temporale folosite frecvent în aplicaţii sunt:
1. Valoarea medie temporală

⎡ T2
`````````````````

⎢1 ⎥
f ( t ) = lim ⎢ ∫ f ( ) ( t ) dt ⎥
(k ) k
(1.32)
T →∞ T
⎢⎣ − 2
T
⎥⎦
Din (1.32), se constată că această valoare medie determină
componenta continuă a realizării particulare respective. Se poate
arăta uşor că valoarea medie temporală nu depinde de originea
timpului.
Într-adevăr:
⎡ T2
````````````````````````````

⎢1 ⎥
f ( t + t ) = lim ⎢ ∫ f ( t0 + t ) dt ⎥
(k )
0
(k )
(1.33)
T →∞ T
⎢⎣ − T2 ⎥⎦
Efectuând schimbarea de variabilă

t 0 + t = t ′ ; dt = dt ′ (1.34)
rezultă:
⎡ t + T2 ⎤ ``````````````````
0
1
`````````````````````````````

f (t + t ) = lim
(k )
f (t ′)dt ′⎥ = f ( k ) (t )
(k )
T →∞ ⎢ T ∫
(1.35)
0
T

⎢⎣ t − 2 ⎥⎦ 0

2. Valoarea pătratică medie temporală


⎡ T2
````````````````````````` ⎤
[ f (t )] = Tlim ⎢ 1
(k )
→∞ ⎢T ∫
[ f (k ) (t )] dt ⎥⎥
2 2
(1.36)
T
⎢⎣ − 2 ⎥⎦
În mod analog, se poate demonstra că această mărime medie
temporală nu depinde de originea timpului.

13
3. Funcţia de autocorelaţie temporală
````````````````````````````````````````````````````````
R ff ( t1 , t2 ) = f(k )
(t 1 + t) f (k )
(t
2 + t) =
⎡ T2 ⎤
⎢1 ⎥
= lim ⎢ ∫ f ( ) ( t1 + t ) f ( ) ( t2 + t ) dt ⎥
k k
(1.37)
T →∞ T
⎢⎣ − T2 ⎥⎦
Se poate demonstra că:
R ff (t1 , t 2 ) = R ff (t1 − t 2 ) = R ff (t 2 − t1 ) (1.38)
sau, dacă se notează:
t 2 − t1 = τ (1.39)
rezultă:
R ff (τ ) = R ff (− τ ) (1.40)
adică, funcţia de autocorelaţie temporală este o funcţie pară.
Într-adevăr, efectuând schimbarea de variabilă:
t1 + t = t ′; dt = dt ′ (1.41)
în (1.37), rezultă:
R ff (t1 , t 2 ) =
⎡ t + T2 ⎤
⎢ 1
1
(1.42)
f (t ′) f (t 2 + t ′ − t1 )dt ′⎥ = R ff (t 2 − t1 )
(k ) (k )
T →∞ ⎢ T ∫
= lim
T

⎢⎣ t − 2 1 ⎥⎦
Efectuând schimbarea de variabilă:
t 2 + t = t ′′; dt = dt ′′ (1.43)
în aceeaşi relaţie (1.37), rezultă:
⎡ t + T22 ⎤
1
R ff (t1 , t 2 ) = lim ⎢ ∫ f (k )
(t ′′) f (k )
(t1 + t ′′ − t 2 )dt ′′⎥⎥ =
T →∞ ⎢ T
T (1.44)
⎢⎣ t − 22 ⎥⎦
= R ff (t1 − t 2 )
14
Din (1.42) şi (1.44) rezultă (1.38).

4. Funcţia de corelaţie temporală


```````````````````````````````````````````````````````
R fg (t1 , t 2 ) = f (k )
(t 1 + t )g (k )
(t 2 + t) =
⎡ T2 ⎤
⎢ 1
f (t 1 + t )g (t 2 + t )dt ⎥
(k ) (k )
T →∞ ⎢T ∫
= lim (1.45)
T

⎢⎣ − 2 ⎥⎦
Dacă în relaţia (1.45) se face schimbarea de variabilă (1.41), rezultă:
⎡ t + T2
1 ⎤
⎢ 1
R fg (t1 , t 2 ) = lim f (t ′)g (t 2 + t ′ − t1 )dt ′⎥ = R fg (t 2 − t1 )
(k ) (k )
T →∞ ⎢ T ∫
(1.46)
T

⎣⎢ t − 2
1
⎦⎥
Dacă însă în relaţia (1.45) se face schimbarea de variabilă (1.43),
rezultă:
⎡ T

1 2
R fg (t1 , t 2 ) = lim ⎢ ∫ g (t ′′) f
(k ) (k )
(t1 + t ′′ − t 2 )dt ′′⎥⎥ =
T →∞ ⎢T
T (1.47)
⎢⎣ −
2 ⎥⎦
= R gf (t1 − t 2 )
Comparând (1.46) cu (1.47), rezultă:
R fg (t 2 − t1 ) = Rgf (t1 − t 2 ) (1.48)
sau cu notaţia (1.39):
R fg (τ ) = Rgf (− τ ) (1.49)
5. Dispersia temporală

````````````````````````` 2

[ f (t )] ⎡`````````` ⎤
```````
(k )
− ⎢ f (t ) ⎥
(k )
2
σ = 2
(1.50)
⎣ ⎦

15
1.3. Procese aleatoare continue în timp, staţionare

Procesele aleatoare ale căror proprietăţi statistice sunt


invariante la schimbarea arbitrară a originii timpului se numesc
staţionare. Rezultă, deci, că pentru procesele aleatoare staţionare se
poate scrie relaţia:
wN ( x1 , x2 ,..., xN ; t1 , t2 ,..., t N ) =
(1.51)
= wN ( x1 , x2 ,..., xN ; t1 + τ , t2 + τ ,..., t N + τ )
Dacă în relaţia (1.51) se înlocuieşte τ = −t1 , se poate scrie
echivalent:
wN ( x1 , x2 ,..., xN ; t1 , t2 ,..., t N ) =
(1.52)
= wN ( x1 , x2 ,..., xN ; t2 − t1 ,..., t N − t1 )
Procesele aleatoare pentru care sunt adevărate relaţiile (1.51)
sau (1.52) se numesc staţionare în sens strict.
Pentru n=1, relaţia (1.52) devine:
w1 ( x1 ; t1 ) = w1 ( x1 ) (1.53)
adică densitatea de repartiţie de ordinul întâi nu depinde de timp.
Pentru n=2, relaţia (1.52) devine:
w2 ( x1 , x2 ; t1 , t 2 ) = w2 ( x1 , x2 ; t 2 − t1 ) (1.54)
În aceste condiţii, valoarea medie statistică, valoarea pătratică medie
statistică si dispersia sunt constante.
Într-adevăr, ţinând cont de (1.53), relaţia (1.24’) devine:

f ( t1 ) = ∫ x w ( x ) dx
1 1 1 1 = a = const. (1.55)
−∞

iar din relaţia (1.25’), se obţine:



f 2
( t1 ) = ∫ x12 w1 ( x1 ) dx1 = b = const. (1.56)
−∞

16
Cu (1.55) şi (1.56), relaţia (1.29’) devine:
σ 2 ( t1 ) = b − a 2 = const. (1.57)
Dacă în relaţia (1.26’) se ţine cont de (1.54), rezultă:
∞ ∞
B ff ( t1 , t2 ) = ∫ ∫ x x w ( x , x ;t
1 2 2 1 2 2 − t1 ) dx1dx2 = B ff ( t2 − t1 ) (1.58)
−∞ −∞

În mod analog, se poate arăta că şi funcţiile de corelaţie,


autovarianţă şi covarianţă depind numai de diferenţa de timp t 2 − t 1 .
Procesele aleatoare care sunt staţionare până la ordinul doi,
adică pentru care sunt satisfăcute relaţiile (1.53) şi (1.54), se numesc
staţionare în sens larg.
Evident, procesele aleatoare staţionare în sens strict sunt
staţionare şi în sens larg, reciproca nefiind totdeauna adevărată.
Procesele aleatoare staţionare în sens strict sau larg, aşa cum
au fost definite mai sus, sunt idealizări, deoarece, practic, nici un
semnal nu poate fi urmărit de la t = −∞ la t = ∞ . În realitate,
semnalele sunt observate un timp finit T. Dacă pe acest interval
proprietăţile care caracterizează staţionaritatea se menţin în limitele
unei bune aproximări, ele se consideră staţionare pe intervalul
respectiv.
O categorie foarte largă de procese aleatoare staţionare se
bucură de proprietatea de ergodicitate, a cărei esenţă constă în aceea
că valorile medii statistice sunt egale cu valorile medii temporale
corespunzătoare. Deoarece valoarea medie, valoarea pătratică medie
şi dispersia temporală sunt constante, iar funcţiile de autocorelaţie,
corelaţie, autovarianţă şi covarianţă temporale depind numai de
diferenţele dintre momentele t1 şi t2 , pentru ca aceste valori medii
temporale să fie egale cu valorile medii statistice corespunzătoare

17
este necesar să fie îndeplinite relaţiile (1.53) şi (1.54), adică
procesele aleatoare trebuie să fie staţionare în sens larg.
Ipoteza ergodicităţii este foarte importantă în practică,
deoarece teoria statistică matematică operează cu valori medii
statistice, în timp ce, practic, se pot calcula numai valorile medii
temporale, dispunându-se de o singură realizare particulară a
procesului aleator ce modelează un zgomot sau o perturbaţie.
Egalitatea dintre valorile medii statistice şi valorile medii temporale
corespondente trebuie înţeleasă în sensul convergenţei în
probabilitate. Astfel, egalitatea:
`````````````````````````

f ( t1 ) = ⎡⎣ f (k )
( t )⎤⎦ (1.59)
înseamnă:
⎪⎧ ⎪⎫
```````````````````````

lim P ⎨ f ( t1 ) − ⎡⎣ fT ( k ) ( t ) ⎤⎦ < ε ⎬ = 1 (1.60)


T →∞
⎪⎩ ⎪⎭
pentru orice ε > 0 , arbitrar de mic.
````````````````````

În relaţia (1.60), prin f T


(k )
(t ) s-a notat valoarea medie
temporală a realizării particulare trunchiate, adică:
⎧ (k ) T
⎪ f ( t ) , pentru t ≤
⎪ 2
fT ( ) ( t ) = ⎨
k
(1.61)
⎪0, T
pentru t >
⎪⎩ 2

1.4. Determinarea tensiunii de prag în cazul


recepţiei pe canale perturbate
Problema determinării tensiunii de prag se pune în cazul în
care trebuie stabilit un nivel de prag, astfel încât atunci când
18
semnalul recepţionat este sub nivelul de prag, să se decidă că s-a
recepţionat numai zgomot, iar la recepţionarea unui semnal care
depăşeşte nivelul de prag, să se decidă că în semnalul recepţionat
este şi semnal util. În acest caz, fie se va lua o decizie, fie semnalul
recepţionat va trebui prelucrat adecvat în scopul extragerii
semnalului purtător de informaţie cu un grad de fidelitate impus.
Pentru fixarea ideilor, se presupune că zgomotul de pe
canalul de transmisiuni este reprezentat de o tensiune fluctuantă
(aleatoare), modelată matematic de un proces aleator staţionar şi
ergodic. Fie u ( k ) (t ) o realizare particulară a tensiunii de zgomot
fluctuante, aşa cum este reprezentată în figura 1.4.

Fig. 1.4. Tensiunea fluctuantă de pe canalul de transmisiuni

Datorită ipotezei de ergodicitate, se consideră că valoarea


medie statistică este egală cu valoarea medie temporală.
Pătratul valorii efective, U ef2 , a componentei alternative a
tensiunii fluctuante se determină cu relaţia:
⎡ T

1 2
U ef = lim ⎢ ∫−T ⎡⎣u ( t ) − u ⎤⎦ dt ⎥⎥
2 (k ) 2
(1.62)
T →∞ ⎢ T

⎣⎢ 2 ⎦⎥
Deoarece:
⎡ T2 ⎤
1
⎢ ( u ( t ) ) dt ⎥⎥ = u 2 ( t )
2

T →∞ ⎢ T ∫
(k )
lim (1.63)
T
⎢⎣ − 2 ⎥⎦
19
⎡ T2 ⎤
⎢ 1
u ( t ) dt ⎥ = u ( t )
T →∞ ⎢ T ∫
(k )
lim (1.64)
T

⎣⎢ − 2 ⎦⎥

relaţia (1.62) devine:


U ef2 = u 2 (t ) − u (t ) [ ] 2
(1.65)
Comparând relaţiile (1.29’) cu (1.65) rezultă că pătratul
valorii efective a componentei alternative a tensiunii fluctuante este
egal cu dispersia, adică:
σ 2 (t1 ) = U ef2 (1.66)
Dacă zgomotul de pe canalul de transmisiuni, reprezentat de
tensiunea fluctuantă, este repartizat după o lege normală
monodimensională, conform relaţiei (1.8), se poate scrie:
( )
2
1 u −u
− ⋅
1 2 U2
w1 ( u ) = e ef
(1.67)
2π U ef
Pe de altă parte, conform relaţiei (1.5), se poate scrie:
w1 ( u ) du = P {u < ui ≤ u + du} (1.68)
unde ui = u ( ti ) .
Probabilitatea ca tensiunea fluctuantă să fie între pragurile u 1
şi u 2 se poate calcula atunci cu relaţia:
u2 u2 u1

P {u1 < u ≤ u2 } = ∫ w1 ( u ) du = ∫ w ( u ) du − ∫ w ( u ) du, u


1 1 2 > u1 (1.69)
u1 −∞ −∞

Înlocuind (1.67) în (1.69), rezultă:


( ) ( )
2
u2 1 u −u u1 1 u −u
− ⋅ − ⋅ 2
1 1
P {u1 < u ≤ u2 } =
2 U ef2
∫e ∫e
2 U ef
du − du (1.70)
2π U ef −∞ 2π U ef −∞

20
Efectuând schimbarea de variabilă:
u −u
= v, du = U ef dv (1.71)
U ef
rezultă:
u2 − u u1 −u

⎧⎪ u − u u − u ⎫⎪ 1
U ef 1
− v2 1
U ef 1
− v2
P⎨ 1 <v≤ 2 ⎬=

∫ e 2
dv −

∫ e 2
dv (1.72)
⎩⎪ U ef U ef ⎭⎪ −∞ −∞

Cele două integrale din relaţia (1.72) nu pot fi exprimate prin


funcţii elementare, în schimb este tabelată integrala sau funcţia
Laplace, de forma:
1 x − 12 v2
F ( x) = ∫ e dv (1.73)
2π −∞
a cărei reprezentare grafică este dată în figura 1.5.

Fig.1.5. Reprezentarea grafică a funcţiei Laplace

Funcţia Laplace, F ( x ) , se bucură de următoarele proprietăţi:


F (− ∞ ) = 0 ⎫
F (0 ) = 0,5 ⎪

⎬ (1.74)
F (∞ ) = 1 ⎪
F (− x ) = 1 − F ( x )⎪⎭
Cu (1.73), relaţia (1.72) devine:
⎧⎪ u − u u − u ⎫⎪ ⎛ u2 − u ⎞ ⎛u −u ⎞
P⎨ 1 <v≤ 2 ⎬ = F ⎜⎜ ⎟⎟ − F ⎜⎜ 1 ⎟⎟ (1.75)
⎩⎪ U ef U ef ⎭⎪ ⎝ U ef ⎠ ⎝ U ef ⎠
21
Impunându-se condiţia determinării probabilităţii de depăşire
a unei tensiuni de prag U p , în relaţia (1.75) trebuie înlocuit u1 = U p
şi u2 = ∞ , rezultând:
⎧⎪ U − u ⎫⎪ ⎛Up −u ⎞
P ⎨v > p ⎬ = F ( ∞ ) − F ⎜⎜ ⎟

(1.76)
⎪⎩ U ef ⎪⎭ ⎝ U ef ⎠
Considerând, în continuare, că tensiunea fluctuantă ce
reprezintă zgomotul de pe canalul de transmisiuni are componentă
( )
continuă nulă u = 0 , rezultă:
⎛U ⎞
P {u > U p } = 1 − F ⎜ p ⎟ (1.77)
⎜U ⎟
⎝ ef ⎠
Dacă U p U ef ≈ 3 , consultând tabelul cu valorile integralei
Laplace, rezultă că F(3)≈0,999 , ceea ce înseamnă:
P {u > 3U ef } ≈ 0 (1.78)
Din relaţia (1.78) rezultă că în condiţiile menţionate mai sus
(zgomot repartizat normal cu valoare medie nulă), probabilitatea ca
zgomotul să depăşească tensiunea de prag, U p = 3U ef , este practic
nulă şi deci, alegând un astfel de prag, dacă semnalul recepţionat îl
depăşeşte, se decide că în semnalul recepţionat, pe lângă zgomot,
există şi semnal util.

1.5. Teorema Wiener-Khintcine

Fie f k (t ) o realizare particulară a unui proces aleator


continuu în timp. De obicei:

∫ f ( ) (t ) dt → ∞
k
(1.79)
−∞
22
motiv pentru care transformata Fourier şi, deci, analiza armonică
clasică nu poate fi utilizată. Pentru a se putea aplica şi în acest caz
transformata Fourier, realizarea particulară a procesului aleator se
trunchiază. Notând cu f T( k ) (t ) realizarea particulară trunchiată,
aceasta este definită cu relaţia:
⎧ (k ) T
⎪ f (t ), t ≤
⎪ 2
f T( k ) = ⎨ (1.80)
⎪0, t ≥ T
⎪⎩ 2
Intervalul de trunchiere, T, se alege astfel încât realizarea
trunchiată să admită transformată Fourier. Notând cu FT(k ) ( jω )
transformata Fourier a realizării particulare trunchiate şi ţinând cont
de (1.80), se poate scrie:
T
∞ 2
(k )
FT ( jω ) = ∫ f T (t )e (k ) − jω
dt = ∫ f (t )e
( )
T
k − jω
dt (1.81)
−∞ −T
2

respectiv, transformata inversă:



1
f T( k ) (t ) = ∫ F ( jω )e dω
( ) ω k j
(1.82)

T
−∞

Dacă se notează cu PT( k ) şi ET(k ) puterea, respectiv energia realizării


particulare trunchiate, se poate scrie:
T
(k )
ET 1 2 2
PT( k ) = = ∫ ⎡⎣ fT( k ) ( t ) ⎤⎦ dt (1.83)
T T −T
2

Ţinând cont de (1.80) şi(1.82), rezultă:


∞ ∞
1 1
PT ( t ) = ∫ fT( ) ( t )
(k )
∫ F ( jω )e dω dt =
( ) ω
k k j t


T
T −∞ −∞

23
∞ ∞ ∞
1 1 2


(k )
FT ( jω ) ∫ (k )
fT ( t ) e dtdω =
jωt
∫ FT(
k)
( jω ) dω (1.84)
2π T −∞ −∞
2π T −∞

Mărimea
FT( k ) ( jω )
2
not .
(1.85) = S (ffk ) ( jω )
T T

poartă denumirea de densitatea spectrală de putere a realizării


particulare trunchiate. Din (1.85) rezultă că această mărime este o
funcţie reală, deci va conţine numai puteri pare ale lui jω . Cu
notaţia (1.85), puterea realizării particulare trunchiate se poate scrie
sub forma:

1 1∞
PT( k ) = ∫ S ff ( jω )dω = S ( ) ( jω )dω
(k )

k
(1.86)
2π π
T ff T
−∞ 0

Considerând, în continuare, mulţimea realizărilor particulare şi


notând cu S ff ( jω ) densitatea spectrală de putere a procesului
T

aleator trunchiat, rezultă:


⎧ F ( k ) jω 2 ⎫
⎪ T ( ) ⎪
{
S ffT ( jω ) = m1 S (ffT) ( jω )
k
} = m1 ⎨
T
⎬=
⎪ ⎪
⎩ ⎭
1
T
{
m1 FT( ) ( jω ) FT( ) ( − jω ) =
k k
}
⎧ T2 T

1 ⎪ 2

m1 ⎨ ∫ fT ( t1 ) e dt1 ∫ fT ( t2 ) e dt2 ⎬ =
(k ) − jωt1 (k ) jωt2

T ⎪T T ⎪
⎩− 2 −
2 ⎭
T T

∫ ∫ m { f ( t ) f ( t )}e
2 2
1 ( ) ( ) k k − jω ( t1 −t2 )
1 T 1 T 2 dt1dt2 (1.87)
T T T
− −
2 2

24
Pe de altă parte
m1 { f T( k ) (t1 ) f T( k ) (t 2 )} = B ff (t1 ,t 2 )
T
(1.88)
reprezintă funcţia de autocorelaţie a procesului aleator trunchiat.
Dacă se presupune că procesul aleator este staţionar în sens larg, se
poate scrie:
B ff (t1 , t 2 ) = B ff (t1 − t 2 )
T T
(1.89)
Ţinând cont de (1.88) şi(1.89), relaţia (1.87) devine:
T T
2 2
1
S ffT ( jω ) = ∫ ∫ B (t − t2 ) e
− jω ( t1 −t2 )
ffT 1 dt1dt2 (1.90)
T T T
− −
2 2

Integrala dublă din (1.90) reprezintă volumul cuprins între


suprafaţa
φ (t1 − t 2 ) = B ff (t1 − t 2 )e − jω (t −t
T
1 2 )
(1.91)
şi pătratul cu latura T (Fig.1.6).

Fig. 1.6.
Această integrală dublă poate fi transformată într-o integrală
simplă, dacă se face observaţia că pentru

25
τ = t1 − t2 = const. (1.92)
funcţia φ (τ ) este constantă pe dreapta de pantă unu:
t1 = t2 + τ (1.93)
Conform figurii, se poate scrie succesiv:
ds = BC ⋅ h

h=
2
⎡T ⎛ T ⎞⎤
BC = 2 AB = 2 ⎢ − ⎜τ − ⎟⎥ = 2 (T − τ )
⎣2 ⎝ 2 ⎠⎦
Deoarece τ poate lua şi valori negative, rezultă:
BC = 2 (T − τ ) (1.94)
Rezultă atunci că ds = (T − | τ |)dτ .
Cu (1.92) şi(1.94), relaţia (1.90) devine:
T
1
S ffT ( jω ) = ∫ B ffT (τ ) e − jωτ (T − τ ) dτ =
T −T
(1.95)
T
⎛ τ ⎞
∫ B (τ ) e
− jωτ
= ffT ⎜1 − ⎟ dτ
−T ⎝ T⎠
La limită, când T → ∞ ,
⎛ τ ⎞
lim⎜⎜1 − ⎟⎟ = 1 (1.96)
T →∞
⎝ T ⎠
şi procesul aleator trunchiat devine netrunchiat. În aceste condiţii,
densitatea spectrală de putere a procesului trunchiat, S ff ( jω ) ,
T

devine densitatea spectrală de putere a procesului netrunchiat,


S ff ( jω ) , iar funcţia de autocorelaţie a procesului aleator trunchiat,
B ff (τ ) , devine funcţia de autocorelaţie a procesului aleator
T

26
netrunchiat, B ff (τ ) . Cu aceste observaţii, atunci când T → ∞ ,
relaţia (1.95) se poate scrie sub forma:

S ff ( jω ) = ∫ B ff (τ )e − jωτ dτ (1.97)
−∞

Din (1.97) rezultă că în cazul proceselor aleatoare staţionare


în sens larg, densitatea spectrală de putere a procesului este
transformata Fourier a funcţiei de autocorelaţie a acestuia.
Transformata Fourier inversă este:

1
B ff (τ ) = ∫ S ( jω )e dω
ωτ j
(1.98)

ff
−∞

Relaţiile (1.97) şi (1.98), care arată că densitatea spectrală de


putere şi funcţia de autocorelaţie ale unui proces aleator, staţionar în
sens larg, sunt perechi Fourier, sunt cunoscute sub numele de
teorema Wiener-Khintcine.
În mod similar se poate demonstra că în cazul proceselor
aleatoare staţionare în sens larg transformata Fourier a funcţiei de
corelaţie determină densitatea spectrală de putere de interacţiune,
adică S fg ( jω ) = F { B fg (τ )} .
Conform relaţiei (1.86), rezultă că puterea unui proces
aleator, staţionar în sens larg, se poate calcula cu relaţia:
∞ ∞
1 1
P=
2π ∫ S ( jω ) dω = π ∫ S ( jω ) dω
−∞
ff
0
ff (1.99)

deoarece densitatea spectrală de putere S ff ( jω ) este o funcţie pară


în ω .
Un caz particular interesant, frecvent întâlnit în aplicaţii, îl
reprezintă zgomotul alb, care este caracterizat de o densitate
spectrală de putere constantă, S 0 , în toată banda de frecvenţe
27
− ∞ < ω < ∞ . În cazul zgomotului alb, conform relaţiei (1.98), se
poate scrie

S
B ff (τ ) = 0 ∫e
jωτ
d ω = S0δ (τ ) (1.100)
2π −∞

unde δ (τ ) este distribuţia Dirac.


Din punct de vedere fizic, funcţia de autocorelaţie măsoară
dependenţa statistică dintre eşantioanele prelevate dintr-un proces
aleator. Deoarece δ (τ ) = 0 pentru τ ≠ 0 , din (1.100) rezultă că
B ff (τ ) ≠ 0 numai pentru τ = 0 , ceea ce semnifică faptul că, în cazul
unui proces aleator de tipul zgomotului alb, eşantioanele prelevate
sunt statistic independente, oricât de apropiate ar fi între ele.

1.6. Proprietăţile principale ale funcţiei de


autocorelaţie

Relaţia (1.98) poate fi scrisă echivalent, sub forma:



1
B ff (τ ) = ∫ S ( jω )(cos ωτ + j sin ωτ )dτ (1.101)

ff
−∞

Dacă atât B ff (τ ) cât şi S ff ( jω ) sunt funcţii reale, din (1.101)


rezultă:

1
B ff (τ ) = ∫ S ( jω )(cos ωτ )dω (1.102)

ff
−∞

Relaţia (1.102) specifică prima proprietate a funcţiei de


autocorelaţie a unui proces aleator, staţionar în sens larg, şi anume
că este o funcţie pară:
B ff (τ ) = B ff (− τ ) (1.103)

28
Dacă B ff (τ ) este o funcţie complexă, iar S ff ( jω ) una reală,
se poate arăta că
B ff (τ ) = B*ff ( −τ ) (1.103’)
Într-adevăr, exprimând B ff (τ ) şi B*ff ( −τ ) în funcţie de
densitatea spectrală de putere, se obţine

1
B ff (τ ) =
2π ∫S
−∞
ff (ω )e jωτ d ω (1.104)

şi
*
⎛ 1 ∞
⎞ 1

∫−∞ S ff (ω )e dω ⎟⎠ = 2π ∫S
jω ( −τ )
B*ff (−τ ) = ⎜ *
(ω )e jωτ dω =
⎝ 2π
ff
−∞
(1.105)

1
=
2π ∫S
−∞
ff (ω )e jωτ dω

deoarece densitatea spectrală de putere este o funcţie reală.


Pentru a deduce a doua proprietate a funcţiei de autocorelaţie,
se consideră un proces aleator, staţionar în sens larg, şi două
variabile aleatoare f ( t1 ) şi f ( t1 + τ ) . Conform relaţiei (1.26’),
rezultă:
B ff (τ ) = f ( t1 ) f ( t1 + τ ) (1.106)
Dacă τ → ∞ , cele două variabile aleatoare f ( t1 ) , respectiv
f ( t1 + τ ) , prelevate din procesul aleator f ( t ) , devin statistic
independente şi, deci, se poate scrie relaţia:
B ff ( ∞ ) = f ( t1 ) ⋅ f ( t1 + ∞ ) = a ⋅ a = a 2 = const. (1.107)
unde prin a s-a notat valoarea medie statistică.
Cu alte cuvinte, când τ → ∞ , funcţia de autocorelaţie a
procesului aleator, staţionar în sens larg, tinde asimptotic la o
29
constantă (în particular la zero) fie aperiodic, fie periodic amortizat,
aşa cum este reprezentat în figura 1.7.

Fig 1.7. Reprezentarea grafică a funcţiei de autocorelaţie ce tinde aperiodic la a2,


a), respectiv periodic amortizat, b).
Deoarece funcţia de autocorelaţie reprezintă o măsură a
dependenţei statistice între variabilele aleatoare f ( t1 ) şi f ( t1 + τ ) ,
rezultă intuitiv că pentru τ = 0 dependenţa statistică este cea mai
puternică, adică B ff (0 ) este valoarea maximă a funcţiei de
autocorelaţie. Acest lucru se poate demonstra riguros, adică:
B ff (0 ) ≥ B ff (τ ) (1.108)
care reprezintă a treia proprietate a funcţiei de autocorelaţie.

Într-adevăr, plecându-se de la inegalitatea evidentă:


2
⎡ f ( t1 ) ± f ( t1 + τ ) ⎤ ≥ 0 (1.109)
⎣ ⎦
rezultă succesiv:
f 2 ( t1 ) ± 2 f ( t1 ) f ( t1 + τ ) + f 2 ( t1 + τ ) ≥ 0 (1.110)
Dar
f 2 ( t1 ) = f ( t1 ) f ( t1 ) = B ff ( 0 ) (1.111)
f ( t1 ) f ( t1 + τ ) = B ff ( t1 + τ − t1 ) = B ff (τ ) (1.112)
f 2 ( t1 + τ ) = f ( t1 + τ ) f ( t1 + τ ) = B ff ( 0 ) (1.113)
30
Cu (1.111), (1.112) şi (1.113), relaţia (1.110) devine:
B ff ( 0 ) ± B ff (τ ) ≥ 0 (1.114)
care este echivalentă cu relaţia (1.108), ce trebuia demonstrată.
Pentru a pune în evidenţă a patra proprietate a funcţiei de
autocorelaţie, se pleacă de la relaţia (1.98), care se particularizează
pentru τ = 0 şi se ţine cont de (1.99), rezultând:

1
B ff (0 ) = ∫ S ( jω )dω = P (1.115)

ff
−∞

Relaţia (1.115) evidenţiază faptul că valoarea funcţiei de


autocorelaţie în origine este egală cu puterea procesului aleator,
staţionar în sens larg.
În fine, a cincea proprietate a funcţiei de autocorelaţie se
deduce din (1.29), (1.107) şi (1.111), adică:
σ 2 (t1 ) = B ff (0) − B(∞ ) (1.116)
Cele cinci proprietăţi ale funcţiei de autocorelaţie sunt puse în
evidenţă în figura 1.7 a,b.
Fie, în continuare, două procese aleatoare, staţionare în sens
larg, notate cu f ( t ) , respectiv g ( t ) . Fie, de asemenea, două
variabile aleatoare f ( t1 ) şi g ( t1 + τ ) .
Se pot scrie următoarele relaţii:
f ( t1 ) g ( t1 + τ ) = B fg ( t1 + τ − t1 ) = B fg (τ ) (1.117)
g ( t1 + τ ) f ( t1 ) = Bgf ⎡⎣t1 − ( t1 + τ ) ⎤⎦ = Bgf ( −τ ) (1.118)
Deoarece
f ( t1 ) g ( t1 + τ ) = g ( t1 + τ ) f ( t1 ) (1.119)
din (1.117) şi (1.118) rezultă că în cazul o două procese aleatoare,
staţionare în sens larg, este adevărată relaţia:

31
B fg (τ ) = B gf (− τ ) (1.120)
Din relaţia (1.120) rezultă că funcţia de corelaţie nu mai este
o funcţie pară în τ , aşa cum este funcţia de autocorelaţie. În
general, funcţia de corelaţie nu se bucură de cele cinci proprietăţi ale
funcţiei de autocorelaţie.

1.7. Determinarea funcţiei de autocorelaţie a


semnalelor recepţionate, afectate de perturbaţii

Se presupune că se transmite semnalul s (t ) , purtător de


informaţie pe un canal perturbat de zgomot, modelat matematic de
un proces aleator n(t ) , staţionar în sens larg. Deoarece, în general,
perturbaţiile care apar pe canalul de transmisiuni au un caracter
aditiv, semnalul recepţionat r (t ) va fi de forma
r (t ) = s (t ) + n(t ) (1.121)
Funcţia de autocorelaţie a semnalului recepţionat se determină cu
relaţia
Brr (τ ) = r (t )r (t + τ ) (1.122)
Înlocuind (1.121) în (1.122), rezultă
Brr (τ ) = [ s (t ) + n(t )][ s (t + τ ) + n(t + τ )] =
(1.123)
= Bss (τ ) + Bsn (τ ) + Bns (τ ) + Bnn (τ )
unde
Bss (τ ) = s (t ) s (t + τ )
Bsn (τ ) = s (t )n(t + τ )
(1.124)
Bns (τ ) = n(t ) s (t + τ )
Bnn (τ ) = n(t ) n(t + τ )

32
Zgomotul de pe canalul de transmisiuni este statistic independent de
semnalul util, deoarece acesta apare fie că pe canal se transmite
semnal util, fie că nu se transmite. Considerând, de asemenea, că
procesul aleator staţionar în sens larg, ce descrie zgomotul de pe
canal are valoare medie statistică nulă, adică
n(t ) = 0 (1.125)
rezultă
Bsn (τ ) = s (t ) ⋅ n(t + τ ) = s (t )0 = 0
(1.126)
Bns (τ ) = n(t ) ⋅ s (t + τ ) = 0 s (t + τ ) = 0
Cu (1.126), relaţia (1.123) devine
Brr (τ ) = Bss (τ ) + Bnn (τ ) (1.127)
Se consideră, în continuare, că semnalul util, purtător de
informaţie este de forma
s (t ) = A cos ωt (1.128)
Rezultă atunci:
⎡ T2 ⎤
⎢ 1
s (t ) s (t + τ ) dt ⎥
T →∞ ⎢ T ∫
Bss (τ ) = Rss (τ ) = lim (1.129)
T

⎢⎣ − 2 ⎥⎦
sau, ţinând cont de (1.128):
⎡ T2 ⎤
⎢ 1
cos ωt cos ω (t + τ )dt ⎥ =
T →∞ ⎢ T ∫
Bss (τ ) = A lim
2

T

⎢⎣ − 2 ⎥⎦
(1.130)
2
⎡ T2 T

A ⎢ 1 1 2
cos ω (2t + τ )dt + ∫ cos ωτdt ⎥
2 T →∞ ⎢ T −∫T
= lim
T −T ⎥
⎣⎢ 2 2 ⎦⎥
Deoarece:

33
⎡ T2 ⎤
⎢1 ⎥
cos ω ( 2t + τ ) dt ⎥ = 0
T →∞ ⎢ T ∫
lim (1.131)
⎢⎣ − T2 ⎥⎦
şi
⎡ T2 ⎤
⎢ 1
cos ωτdt ⎥ = cos ωτ
T →∞ ⎢ T ∫
lim (1.132)
T

⎢⎣ − 2 ⎥⎦
relaţia (1.130) devine:
A2
Bss (τ ) = cos ωτ (1.133)
2
Pe de altă parte, conform relaţiei (1.104), rezultă:
Bnn (∞) = a 2 = 0 (1.134)
Din relaţia (1.133) rezultă că funcţia de autocorelaţie a
semnalului util, presupus periodic, este de asemenea periodică şi,
deci, atunci când în semnalul recepţionat există şi semnal util
periodic, funcţia de autocorelaţie a semnalului recepţionat, pentru τ
suficient de mare, va fi un semnal periodic de forma (1.133).
Dacă în semnalul recepţionat nu există şi semnal util
periodic, funcţia de autocorelaţie a semnalului recepţionat, pentru τ
suficient de mare, tinde asimptotic la zero.
Pe baza acestui rezultat se poate decide dacă în semnalul
recepţionat există sau nu semnal util, purtător de informaţie, chiar în
situaţiile severe, când nivelul semnalului util recepţionat este mai
mic decât nivelul zgomotului şi când spectrul semnalului util este
inclus în spectrul zgomotului. În astfel de condiţii, prin nici o
metodă clasică deterministă (filtrare sau detectare de amplitudine)
nu se poate decide dacă în semnalul recepţionat există sau nu
semnal util.
34
1.8. Determinarea funcţiei de autocorelaţie şi a
densităţii spectrale de putere a unei secvenţe binare
aleatoare

O secvenţă binară aleatoare este formată dintr-o succesiune


de impulsuri rectangulare de durată Δ sau multiplu de Δ, a căror
amplitudine poate lua numai două valori egal probabile şi
independente de valorile anterioare. Fără a micşora generalitatea, se
consideră că cele două valori egal probabile sunt 1 şi -1.
O realizare particulară a unei secvenţe binare aleatoare (care
matematic este modelată de un proces aleator discret în amplitudine)
este prezentată în figura 1.8.

Fig. 1.8. Reprezentarea grafică a unei realizări particulare a unei secvenţe binare
aleatoare

Se numesc noduri punctele Tn (n = ±1, ±2, ...) unde pot avea


loc tranziţii de la valoarea 1 la -1 sau invers. Evident, nodurile se
succed regulat la intervale egale cu Δ, însă nu în fiecare nod are loc
o tranziţie.
În scopul calculului funcţiei de autocorelaţie a acestei
secvenţe binare aleatoare, se particularizează relaţia (1.27) pentru
k=r=2, rezultând:
2 2
B ff (t1 , t2 ) = ∑∑ x1i x2 j p ( x1i ∩ x2 j ; t1 , t2 ) (1.135)
i =1 j =1

35
Relaţia (1.135) se poate scrie echivalent sub forma:
B ff (t1 , t2 ) = x11 x21 p( x11 ∩ x21 ; t1 , t2 ) + x11 x22 p( x11 ∩ x22 ; t1 , t2 )
(1.136)
+ x12 x21 p ( x12 ∩ x21; t1 , t2 ) + x12 x22 p( x12 ∩ x22 ; t1 , t2 )
Dar:
x11 = x21 = 1 ⎫
⎬ (1.137)
x12 = x22 = −1⎭
Cu (1.137), relaţia (1.136) devine:
B ff (τ ) = p ( x11 ∩ x21; t1, , t2 ) − p( x11 ∩ x22 ; t1, , t2 ) −
(1.138)
− p ( x12 ∩ x21; t1, , t2 ) + p ( x12 ∩ x22 ; t1, , t2 )
Pe de altă parte, se poate scrie:
p ( x1i ∩ x2 j ; t1 , t2 ) = p( x1i , t1 ) p( x2 j ; t2 | x1i ; t1 ), ( ∀ ) i, j = 1, 2 (1.139)
Ţinând cont de (1.139), relaţia (1.138) devine:
B ff (τ ) = p ( x11; t1 ) p ( x21; t2 | x11 ; t1 ) −
− p ( x 11 ; t1 ) p ( x22 ; t2 | x11; t1 ) (1.140)
− p ( x12 ; t1 ) p ( x21 ; t2 | x12 ; t1 ) + p( x12 ; t1 ) p( x22 ; t2 | x12 ; t1 )
Dar
1
, (∀)i = 1,2
p ( x1i , t1 ) = (1.141)
2
deoarece la un moment oarecare t = t0 , semnalul binar aleator poate
fi egal probabil fie x11 = 1 , fie x12 = −1 .
Se consideră, în continuare, două cazuri (v. fig. 1.8)
a)τ < Δ
b)τ ≥ Δ
În cazul a), rezultă:

p( x2 j ; t2 | x1i ; t1 ) = ( ∀ ) i, j = 1, 2 ; i ≠ j (1.142)
i≠ j 2Δ

36
deoarece această probabilitate condiţionată este egală cu produsul
dintre probabilitatea ca în intervalul τ < Δ să apară un nod,
probabilitate care, evident, este egală cu τ Δ , şi probabilitatea ca în
acel nod să aibă loc o tranziţie de la 1 la -1 sau invers, probabilitate
care, evident, este egală cu 1/2.
Pe de altă parte, este adevărată relaţia:
p ( x 2 j ; t 2 | x1i ; t1 ) i ≠ j + p ( x 2 j ; t 2 | x1i ; t1 ) i = j = 1 (1.143)
Din (1.142) şi (1.143) rezultă:
τ
p( x 2 j ; t 2 | x1i ; t1 ) i = j = 1 − p( x 2 j ; t 2 | x1i ; t1) ) i ≠ j = 1 − (1.144)

Înlocuind relaţiile (1.142) şi (1.144) în (1.140), rezultă:
τ
B ff (t1 , t2 ) = B ff (τ ) = 1 − , τ <Δ (1.145)
Δ
În cazul b), rezultă:
1
, (∀)i, j = 1,2 (1.146)
p( x 2 j ; t 2 | x1i ; t1 ) = p( x 2 j ; t 2 ) =
2
deoarece, când τ ≥ Δ , cu certitudine în intervalul τ apare un nod, iar
în nodul respectiv, cu probabilitatea egală cu 1/2 , poate să aibă loc
tranziţia de la 1 la-1, sau invers.
Ţinând cont de relaţiile (1.141) şi (1.146), relaţia (1.140) devine:
B ff (t1 , t2 ) = B ff (τ ) = 0 , τ ≥ Δ (1.147)
Reunind (1.145) şi (1.147), rezultă:
⎧ τ
⎪1 − Δ , pentru τ < Δ

B ff (τ ) = ⎨ (1.148)
⎪ 0 , pentru τ ≥ Δ

37
Deoarece funcţia de autocorelaţie este o funcţie pară, rezultă
că relaţia (1.148) se menţine adevărată şi pentru τ < 0 , ceea ce
înseamnă că relaţia finală care specifică funcţia de autocorelaţie a
unei secvenţe binare aleatoare este de forma:
⎧ |τ |
⎪1 − Δ , pentru | τ |< Δ

B ff (τ ) = ⎨ (1.149)
⎪ 0 , pentru | τ |≥ Δ


Deoarece funcţia de autocorelaţie nu depinde de originea
timpului, rezultă că semnalul binar aleator analizat este staţionar în
sens larg. Pe măsură ce Δ devine mai mic, funcţia de autocorelaţie
se apropie de un impuls Dirac care, aşa cum s-a precizat anterior,
caracterizează zgomotul alb.
Reprezentarea grafică a acestei funcţii de autocorelaţie este
dată în figura 1.9.

Fig. 1.9. Funcţia de autocorelaţie a unei secvenţe binare aleatoare

Densitatea spectrală de putere a secvenţei binare aleatoare se


poate deduce cu ajutorul teoremei Wiener-Khintcine, adică:
∞ ∞
S ff ( jω ) = ∫ B ff (τ )e dτ = ∫ B ff (τ ) cos ωτdτ
− jωτ
(1.150)
−∞ −∞

Înlocuind (1.149) în (1.150), rezultă:

38
Δ Δ
Δ− | τ | Δ −τ
S ff ( jω ) = ∫ cos ωτ dτ = 2∫ cos ωτ ⋅ dτ (1.151)
−Δ
Δ 0
Δ
Efectuând integrarea prin părţi:
Δ −τ dτ ⎫
= u ⇒ du = − ⎪
Δ Δ

⎬ (1.152)
sin ωτ ⎪
cos ωτ dτ = dv ⇒ = v⎪
ω ⎭
rezultă:
⎛ τ =Δ Δ ⎞ 2
S ff ( jω ) = 2 ⎜ uv τ =0 − ∫ vdu ⎟ = 2 (1 − cos ωΔ ) =
⎝ 0 ⎠ ω Δ
2
⎛ ωΔ ⎞
⎜ sin
4
= 2 sin 2
ωΔ
= Δ⎜ 2 ⎟ (1.153)
ωΔ 2 ωΔ ⎟
⎜ ⎟
⎝ 2 ⎠
Reprezentarea grafică a densităţii spectrale de putere a secvenţei
binare aleatoare, dată de relaţia (1.153), este dată în figura 1.10.

Fig. 1.10. Densitatea spectrală de putere a unei secvenţe binare aleatoare


Un rezultat identic se obţine dacă se observă că:
p ( x21; t2 | x11; t1 ) = p ( x22 ; t2 | x12 ; t1 ) =
(1.154)
= P { f ( i ) (t2 ) = f ( i ) (t1 )}

39
adică, la momentele de timp t1 şi t 2 secvenţa îşi menţine aceeaşi
valoare, 1 sau -1. Acest lucru se întâmplă dacă numărul de tranziţii
în intervalul t 2 − t1 este par.
Analog, rezultă:
p ( x22 ; t2 | x11; t1 ) = p( x21; t2 | x12 ; t1 ) =
(1.155)
= P { f ( i ) (t2 ) = − f ( i ) (t1 )}
adică, la momentele de timp t1 şi t 2 secvenţa binară aleatoare are
semne contrare. Acest lucru se întâmplă dacă numărul de tranziţii în
intervalul t 2 − t1 este impar.
Ţinând cont de (1.141), (1.154) şi (1.155), relaţia (1.140)
devine:
B ff (τ ) = P { f ( i ) (t2 ) = f (i ) (t1 )} − P { f ( i ) (t2 ) = − f (i ) (t1 )} =
(1.156)
= pc − pa ,
unde prin pc şi p a s-au notat probabilităţile de coincidenţă,
respectiv de necoincidenţă a valorilor secvenţei binare aleatoare la
momentele t1 şi t 2 .
Notând:
not.
t 2 − t1 = NΔ + θ ; N = 0,1,2,… ; 0 ≤ θ < Δ (1.157)
rezultă că numărul de tranziţii în intervalul t 2 − t1 este dat de suma
dintre numărul de tranziţii, k , din intervalul NΔ , şi numărul de
tranziţii din intervalul θ , care poate fi zero sau unu.
Probabilitatea ca în N noduri posibile din intervalul NΔ să
aibă loc k tranziţii se poate calcula folosind distribuţia binomială,
adică:
⎛N⎞
PN (k ) = ⎜⎜ ⎟⎟ p k (1 − p ) N − k (1.158)
k
⎝ ⎠
40
unde s-a notat cu p probabilitatea ca într-un nod să aibă loc o
tranziţie. În cazul secvenţei binare aleatoare, p=1/2 şi, deci:
⎛N⎞
PN ( k ) = ⎜ ⎟ 2− N (0 ≤ k ≤ N ) (1.159)
⎝k⎠
În ceea ce priveşte intervalul θ , probabilitatea ca acesta să
conţină un nod este egală cu θ Δ , iar probabilitatea ca în acest nod
să aibă loc o tranziţie este egală cu 1/2.
Rezultă atunci că probabilitatea ca în intervalul θ să aibă loc
o tranziţie, probabilitate care se notează cu pθ (1) , se determină cu
relaţia:
θ
pθ (1) = (1.160)

Probabilitatea ca în intervalul θ să nu aibă loc o tranziţie,
probabilitate care se notează cu pθ (0) , se determină cu relaţia:
θ 2Δ − θ
pθ (0) = 1 − pθ (1) = 1 − = (1.161)
2Δ 2Δ
Rezultă atunci:
pc = pθ (0) ∑ PN (k ) + pθ (1) ∑ PN (k ), (0 ≤ k ≤ N ) (1.162)
k par k impar

pa = pθ (0) ∑
k impar
PN ( k ) + pθ (1) ∑ PN (k ),
k par
(0 ≤ k ≤ N ) (1.163)

În cazul N=0, rezultă t 2 − t1 = θ şi atunci:


Δ −θ
B ff (θ ) = pc − pa = pθ (0) − pθ (1) = (1.164)
N =0 N =0
Δ
Pentru N>0 (t2 − t1 = N Δ + θ ) , rezultă
⎡ ⎤
B ff ( N Δ + θ ) = [ pθ (0) − pθ (1)] ⎢ ∑ PN (k ) − ∑ PN (k ) ⎥ =
⎣ k par k impar ⎦

41
Δ −θ ⎡ ⎛N⎞ ⎛ N ⎞⎤
= 2− N ⎢ ∑ ⎜ ⎟ − ∑ ⎜ ⎟⎥ (1.165)
Δ ⎣ k par ⎝ k ⎠ k impar ⎝ k ⎠ ⎦
Deoarece:
⎛N⎞ ⎛N⎞
∑ ⎜⎜ k ⎟⎟ = ∑ ⎜⎜ ⎟⎟
kimpar ⎝ k ⎠
(1.166)
kpar ⎝ ⎠
rezultă că, pentru N>0:
B ff ( NΔ + θ ) = 0 (1.167)
Reunind relaţiile (1.164) şi (1.167) şi ţinând cont de (1.157),
rezultă:
⎧ θ
⎪1 − pentru N = 0
B ff ( N Δ + θ ) = ⎨ Δ (1.168)
⎪⎩ 0 pentru N > 0
Funcţia de autocorelaţie fiind pară, rezultă relaţia finală:
⎧ |θ |
⎪1 − , pentru | θ |< Δ
B ff ( N Δ + θ ) = ⎨ Δ (1.169)
⎪⎩ 0 , pentru | θ |≥ Δ

care, aşa cum era de aşteptat, este identică cu relaţia (1.149)

1.9. Determinarea funcţiei de autocorelaţie şi a


densităţii spectrale de putere a unui semnal aleator
telegrafic

Semnalul aleator telegrafic poate lua cu aceeaşi probabilitate


valorile 1 şi -1. Tranziţiile de la o valoare la alta (trecerile prin zero)
sunt independente, aleatoare, caracterizate prin distribuţia Poisson:
k τ
1⎛τ ⎞ −T
P (k , τ ) = ⎜⎜ ⎟⎟ e 0
(1.170)
k ! ⎝ T0 ⎠
42
unde P (k , τ ) reprezintă probabilitatea ca în intervalul de timp τ să
aibă loc k tranziţii, iar T0 este valoarea medie a intervalului dintre
două tranziţii.
Fie τ = t 2 − t1 intervalul de timp în care se observă o
(i )
realizare particulară f (t ) a semnalului aleator telegrafic. Funcţia
de autocorelaţie a acestui semnal aleator telegrafic se poate
determina cu relaţia (1.156), care, pentru comoditate, se rescrie:
B ff (τ ) = P{ f ( i ) (t 2 ) = f ( i ) (t1 )}− P{ f ( i ) (t 2 ) = − f ( i ) (t1 )}
(1.171)
= pc − p a
Se reaminteşte că prin p c s-a notat probabilitatea de
coincidenţă, iar prin p a probabilitatea de necoincidenţă a valorilor
secvenţei binare la momentele t1 şi t2 . Evident, dacă în intervalul τ
numărul de tranziţii, k , este par, va rezulta o coincidenţă, iar dacă
în acelaşi interval numărul de tranziţii, k , este impar, va rezulta o
necoincidenţă.
Ţinând cont de această observaţie, relaţia (1.171) se poate
scrie sub formă echivalentă:
B ff (τ ) = P{k par ,τ ) − P{k impar ,τ } (1.172)
Înlocuind (1.170) în (1.172), rezultă:
⎡ 1 ⎛ τ ⎞k − τ ⎤ ⎡ 1 ⎛ τ ⎞k − τ ⎤
B ff (τ ) = ∑ ⎢ ⎜ ⎟ e ⎥ − ∑ ⎢ ⎜ ⎟ e T0 ⎥ =
T0

k par ⎢ k ! ⎝ T0 ⎠ ⎥⎦ k impar ⎢⎣ k ! ⎝ T0 ⎠ ⎥⎦


τ ⎡ 1 ⎛ −τ ⎞ k ⎤ −
τ ⎡
τ
2
1⎛τ ⎞ 1⎛τ ⎞
3

=e ∑ T0
⎢ ⎜ ⎟ =e ⎥ T0
⎢1− + ⎜ ⎟ − ⎜ ⎟ + ...⎥ (1.173)
⎢ k ! T ⎥ ⎢ 1!T 2! ⎝ T0 ⎠ 3! ⎝ T0 ⎠ ⎥⎦
k
⎣ ⎝ 0 ⎠ ⎦ ⎣ 0

τ τ τ
− − −2
=e T0
e T0
=e T0

43
Deoarece funcţia de autocorelaţie este pară în τ , rezultă că
relaţia (1.173) este adevărată şi pentru τ < 0 , deci relaţia finală de
calcul a funcţiei de autocorelaţie a semnalului aleator telegrafic este
de forma:
|τ |
−2
B ff (τ ) = e T0
(1.174)
Reprezentarea grafică a acestei funcţii de autocorelaţie este dată de
figura 1.11.

Fig. 1.11. Funcţia de autocorelaţie a semnalului aleator telegrafic

Densitatea spectrală de putere a semnalului telegrafic se


poate deduce cu ajutorul teoremei Wiener-Khintcine.
Înlocuind relaţia (1.174) în (1.97), rezultă:
∞ |τ | 0 τ ∞ τ
−2 2 −2

∫e ∫e dτ + ∫ e
T0 − jωτ − jωτ
S ff ( jω ) = e dτ = T0
e T0
e − jωτ dτ =
−∞ −∞ 0
0 ∞
⎛ 2 ⎞ ⎛ 2 ⎞ 4 (1.175)
⎜ − jω ⎟τ −⎜ + jω ⎟τ
T
⎝ 0 ⎠ T
⎝ 0 ⎠
e e T0
= − =
2 2 ⎛2⎞
2
− jω + jω
ω +⎜ ⎟ 2
T0 T0
−∞ 0
⎝ T0 ⎠
Reprezentarea grafică a acestei densităţi spectrale de putere
este dată în figura 1.12.
Se observă că frecvenţa unghiulară corespunzătoare unei
atenuări de 3 dB este egală cu inversul constantei în timp ce

44
intervine în exponentul funcţiei de autocorelaţie, (2 T0 ) . Cu cât
valoarea medie a intervalului dintre două tranziţii, T0 , este mai
mică, cu atât mai repede se atenuează funcţia de autocorelaţie şi cu
atât mai mare este lăţimea de bandă a semnalului aleator telegrafic.

Fig. 1.12. Densitatea spectrală de putere


a semnalului aleator telegrafic

1.10. Determinarea funcţiei de autocorelaţie a


secvenţelor pseudoaleatoare (SPA) periodice

O secvenţă pseudoaleatoare (SPA) periodică se bucură de


următoarele proprietăţi:
a) Secvenţa este formată dintr-o succesiune de impulsuri
rectangulare de durată elementară Δ sau multiplu de Δ, în cadrul
unor asemenea intervale putând lua valorile constante a sau -a. Fără
micşorarea generalităţii, în continuare, se va considera a=1 şi -a=-1;
b) Numărul total de intervale elementare Δ în cadrul unei
perioade este n = 2 p − 1 , unde p este un număr întreg pozitiv;
c) În fiecare perioadă, numărul de intervale elementare în
care semnalul are valoarea 1 este mai mare cu o unitate decât
numărul intervalelor elementare în care semnalul are valoarea -1;

45
d) Dacă se defineşte prin stare succesiunea de intervale
elementare Δ în care semnalul are valoarea 1 sau -1, atunci numărul
total de stări este (n+1)/2;
e) În cadrul unei perioade, jumătate din numărul de stări au o
durată egală cu Δ, un sfert din numărul de stări au durata 2Δ, o
optime au durata 3Δ ş.a.m.d., exceptând o stare cu valoarea 1, de
durată pΔ şi o stare cu valoarea -1, de durată (p-1)Δ;
f) Efectuând o permutare ciclică asupra unei secvenţe
pseudoaleatoare periodice, se obţine o nouă secvenţă
pseudoaleatoare periodică care, comparată cu secvenţa originală,
prezintă un număr de necoincidenţe mai mare cu o unitate decât
numărul de coincidenţe.
De obicei, secvenţele pseudoaleatoare periodice se obţin din
secvenţe binare pseudoaleatoare periodice. La rândul lor, secvenţele
binare pseudoaleatoare periodice se generează cu registre de
deplasare cu reacţie, întocmite după polinoame primitive. Gradul
polinomului primitiv este egal cu p, fiind egal cu numărul circuitelor
basculante bistabile din componenţa registrului de deplasare cu
reacţie [48].
Având în vedere caracterul periodic al secvenţei (perioada
T=nΔ), şi funcţia sa de autocorelaţie va fi periodică, de aceeaşi
perioadă.
Funcţia de autocorelaţie a secvenţei pseudoaleatoare
periodice SPA(t) de perioadă T=nΔ se calculează conform relaţiei
(1.37), în care perioada T este finită, adică:

1
B ff (τ ) =
nΔ ∫ SPA(t )SPA(t − τ )dt
0
(1.176)

Înmulţirea celor două secvenţe pseudoaleatoare periodice se

46
efectuează conform Tabelului 1.1.
Tabelul 1.1.
x 1 -1 Notând Ic şi Ia intervalele de timp în care
SPA ( t ) şi SPA ( t − τ ) coincid, respectiv nu
1 1 -1
coincid, funcţia de autocorelaţie se poate determina
-1 -1 1 cu relaţia echivalentă:

Ic − Ia
B ff (τ ) = (1.177)

Pentru determinarea expresiilor lui I c şi I a , se poate considera
SPA binară efectuându-se echivalenţele 0↔1 şi 1↔-1. În cazul SPA
binare, suma modulo doi este definită în Tabelul 1.2:
Tabelul 1.2.
Se constată uşor existenţa izomorfismului
⊕ 0 1 dintre grupurile 1,-1/x şi 0,1/⊕.
Ţinând cont de proprietatea f), rezultă că,
0 0 1
dacă SPAj este o secvenţă pseudoaleatoare obţinută
1 1 0 din SPAi prin j-i deplasări ciclice, atunci:
SPAi ⊕ SPAj = SPAk (1.178)
unde sumarea se efectuează modulo doi, simbol cu simbol, iar SPAk
provine din SPAi prin k-i deplasări ciclice.
Conform proprietăţilor b) şi c), orice SPA periodică binară va
conţine (n-1)/2 =2p-1-1 simboluri zero şi (n+1)/2=2p-1 simboluri 1.
Se face notaţia:
not .
θ + jΔ =τ ;0 ≤ θ < Δ; j = 0,1, 2,,...n − 2 (1.179)
Pentru determinarea expresiilor lui Ic şi Ia, se consideră suma
modulo doi SPA(t)⊕SPA(t-τ) pe o perioadă T=nΔ:
47
SPA(t ) ⊕ SPA(t − τ ) =
⎧ SPA0 ⊕ SPAj +1 , într-un interval θ la fiecare Δ (1.180)
=⎨
⎩ SPA0 ⊕ SPAj , într-un interval Δ − θ la fiecare Δ
Notând cu N0{SPAi⊕SPAj} şi cu N1{SPAi⊕SPAj} numărul de
simboluri 0 (coincidenţe), respectiv 1 (necoincidenţe) ale SPAi⊕SPAj,
se poate scrie:
I c = θ N 0 {SPA0 ⊕ SPAj +1} + ( Δ − θ ) N 0 {SPA0 ⊕ SPAj }⎫⎪
⎬ (1.181)
I a = θ N1 {SPA0 ⊕ SPAj +1} + ( Δ − θ ) N1 {SPA0 ⊕ SPAj } ⎪⎭
Pentru j=0, rezultă din (1.179) că τ = θ . Înlocuind în (1.181)
j=0 şi τ = θ şi ţinând cont de proprietăţile SPA periodice, rezultă:
n −1
Ic = τ + (Δ − τ )n (1.182)
2
n +1
Ia = τ (1.183)
2
Înlocuind (1.182) şi (1.183) în relaţia (1.177), se obţine:
⎛ 1⎞
Δ − τ ⎜1 + ⎟
B ff (τ ) = ⎝ n⎠ (1.184)
Δ
Pentru 0<j<n-2 (τ=θ+jΔ), rezultă:
n −1 n −1
Ic = θ + (Δ − θ ) (1.185)
2 2
n +1 n +1
Ic = θ + (Δ − θ ) (1.186)
2 2
Înlocuind (1.185) şi (1.186) în relaţia (1.177), se obţine:
1
B ff (τ ) = − (1.187)
n

48
Deoarece Bff(τ) este o funcţie pară şi periodică, de perioadă
T=nΔ, se poate scrie:
⎧ ⎛ 1⎞
⎪ Δ − τ ⎜1 + n ⎟
⎪ ⎝ ⎠ , pentru τ ≤ Δ
B ff (τ ) = ⎨ Δ (1.188)
⎪ 1
⎪ − , pentru Δ < τ ≤ (n − 1)Δ
⎩ n
Conform relaţiei (1.188), reprezentarea grafică a funcţiei de
autocorelaţie a unei secvenţe pseudoaleatoare periodice de lungime n
este dată în figura 1.13.

Fig. 1.13. Funcţia de autocorelaţie a unei secvenţe pseudoaleatoare periodice

Se observă că funcţia de autocorelaţie a unei secvenţe


pseudoaleatoare periodice este cu atât mai apropiată de cea a secvenţei
aleatoare binare, cu cât n este mai mare. Cu alte cuvinte, cu cât n este
mai mare şi Δ mai mic, funcţia de autocorelaţie a secvenţei
pseudoaleatoare periodice aproximează mai bine impulsul Dirac, ceea
ce înseamnă că în aceste condiţii secvenţa respectivă aproximează
zgomotul alb.
În aplicaţiile practice, secvenţele pseudoaleatoare periodice se
pot considera cu bună aproximaţie zgomot alb la intrarea unor sisteme
dinamice [48], dacă perioada acestora (nΔ) este cel puţin de zece ori

49
mai mare decât cea mai mare constantă de timp ce caracterizează
sistemul dinamic respectiv.

1.11. Determinarea funcţiei pondere a unui sistem


liniar invariant în timp prin metoda corelaţiei

Pentru determinarea funcţiei pondere a unui sistem liniar


invariant (SLI) în timp prin metoda corelaţiei, se foloseşte schema
bloc din figura 1.14, unde f ( t ) este zgomot alb, g ( t ) răspunsul
sistemului liniar invariant în timp la zgomotul alb, iar corelatorul, o
instalaţie tehnică care poate calcula funcţia de corelaţie dintre f ( t ) şi
g ( t ) . Conform relaţiei (1.45), pentru un T suficient de mare şi
t2 − t1 = τ , rezultă:
T
2
1
R fg (τ ) =
T ∫ T
f (t ) g (t + τ ) dt (1.189)

2

Fig. 1.14. Schema bloc pentru determinarea funcţiei pondere


a unui S. L. I.

Dacă se notează cu h ( t ) funcţia pondere (necunoscută) a


sistemului liniar invariant în timp, conform integralei de convoluţie, se
poate scrie:

50

g (t ) =
−∞
∫ h(u ) f (t − u )du (1.190)

Înlocuind (1.190) în relaţia (1.189), se obţine:


T
2 ∞
1
R fg (τ ) =
T ∫ T
f (t ) ∫ h(u ) f (t + τ − u )du dt =
−∞

2
T
∞ 2
1
= ∫ h(u ) T ∫
−∞ T
f (t ) f (t + τ − u )dtdu (1.191)

2
T
2
1
Dar:
T ∫ T
f (t ) f (t + τ − u )dt = R ff (τ − u ) (1.192)

2

reprezintă funcţia de autocorelaţie a semnalului de la intrarea


sistemului.
Dacă acest semnal se consideră zgomot alb, ergodic, cu
densitatea spectrală de putere S0, conform relaţiei (1.100):
R ff (τ − u ) = S0δ (τ − u ) (1.193)
unde δ(τ-u) este distribuţia Dirac.
Ţinând cont de (1.193) şi de proprietatea de filtrare a
distribuţiei Dirac, relaţia (1.191) devine

R fg (τ ) = ∫ h(u) S δ (τ − u )du = S h(τ )
−∞
0 0 (1.194)

Din (1.194) rezultă că funcţia de corelaţie este proporţională cu


funcţia pondere a sistemului liniar invariant, necunoscut. Cunoscându-
se densitatea spectrală de putere S0 a semnalului f ( t ) , care poate fi
considerat zgomot alb pentru sistemul respectiv şi calculându-se

51
funcţia de corelaţie dintre f ( t ) şi răspunsul sistemului, se poate
deduce funcţia pondere a acestuia.
Avantajul principal al acestei metode faţă de metodele clasice
deterministe (aplicarea la intrare a unui impuls scurt şi înregistrarea
răspunsului sau determinarea prin puncte a funcţiei de transfer etc.),
constă în faptul că funcţia pondere astfel determinată nu este afectată
de perturbaţiile care intervin în funcţionarea sistemului.
Un alt avantaj al acestei metode constă în faptul că se poate
determina funcţia pondere a sistemului în funcţiune, deci în condiţii
reale.

1.12. Determinarea funcţiei de autocorelaţie şi a


densităţii spectrale de putere la ieşirea unui sistem
analogic, liniar, invariant în timp

Se consideră f ( t ) un proces aleator, staţionar în sens larg,


care se aplică la intrarea unui sistem analogic, liniar, invariant în timp.
Dacă h ( t ) este funcţia pondere a acestui sistem, la aplicarea lui f ( t ) ,
la ieşire va rezulta de asemenea un proces aleator staţionar în sens
larg, notat în continuare cu g ( t ) , care se poate determina cu integrala
de convoluţie, după cum urmează:

g (t ) = ∫
−⋅∞
f (t − u )h(u )du (1.195)

Funcţia de autocorelaţie Bgg (τ ) a procesului aleator de la


ieşirea sistemului se poate calcula, conform relaţiei (1.26’), astfel:

Bgg (τ ) = m1{g (t1 ) g (t1 + τ )} =

52
∞ ∞
= m1{ ∫ f (t1 − u )h(u ) du ∫ f (t1 + τ − v)h(v) dv} =
−∞ −∞
∞ ∞
= ∫ ∫ h(u )h(v)m { f (t
−⋅∞ −⋅∞
1 1 − u ) f (t1 + τ − v)}dudv (1.196)

Dar
m1{ f (t1 − u ) f (t1 + τ − v)} = B ff (τ − v + u ) (1.197)
reprezintă funcţia de autocorelaţie a procesului aleator f ( t ) de la
intrarea sistemului analogic, liniar, invariant în timp. Cu (1.197),
relaţia (1.196) devine:
∞ ∞
Bgg (τ ) = ∫ ∫B
−∞ −∞
ff (τ − v + u )h(u )h(v)dudv (1.198)

Densitatea spectrală de putere de la ieşirea sistemului analogic,


liniar, invariant în timp, conform teoremei Wiener - Khintcine, este
transformata Fourier a funcţiei de autocorelaţie, adică:

S gg ( jω ) = ∫B
−∞
gg (τ )e − jωτ dτ (1.199)

Înlocuind B gg (τ ) din (1.198) în relaţia (1.199), rezultă:


∞ ∞ ∞
S gg ( jω ) = ∫ ∫ ∫B
−∞ −∞ −∞
ff (τ − v + u )h(u )h(v)e − jωτ dudvdτ (1.200)

Pentru o scriere mai compactă, se face schimbarea de variabilă:


τ − v + u = θ ; dτ = dθ (1.201)
Cu (1.198), relaţia (1.197) devine:
∞ ∞ ∞
S gg ( jω ) = ∫
−∞
h(u )e jωu du ∫ h(v)e − jωv dv ∫ B ff (θ )e − jωθ dθ
−∞ −∞
(1.202)

Dar:

53



jωu
h (u ) e du = H ( − jω ) ⎪
−∞ ⎪
∞ ⎪⎪

− jω v
h ( v ) e dv = H ( jω ) ⎬ (1.203)
−∞ ⎪
∞ ⎪
∫−∞ ff ⎪
− jθ
B (θ ) e dθ = S ff ( jω )
⎪⎭
unde H ( jω ) este funcţia de transfer a sistemului analogic, liniar,
invariant în timp, iar S ff ( jω ) , densitatea spectrală de putere a
procesului aleator de la intrarea sistemului respectiv.
Cu (1.203), relaţia (1.202) devine:
2
S gg ( jω ) = H ( jω ) S ff ( jω ) (1.204)
În cazul în care la intrarea sistemului se aplică zgomot alb cu
densitatea spectrală de putere S0, rezultă:
2
S gg ( jω ) = H ( jω ) S0 (1.205)

1.13. Valori medii statistice definite pe procese


aleatoare, discrete în timp

Ca şi în cazul proceselor aleatoare continue în timp, un


proces aleator discret în timp este o mulţime indexată de variabile
aleatoare şi, în consecinţă, acesta poate fi caracterizat cu ajutorul
mediilor statistice ale variabilelor aleatoare ce îl compun. Aceste
medii se mai numesc medii pe mulţimi.
După cum s-a precizat, fiecare variabilă aleatoare este
caracterizată statistic de funcţia densitate de repartiţie, notată
w1 ( xi ; ni ) şi, în consecinţă, valorile medii sunt şi ele dependente de

54
variabila temporală discretă n.
Valorile medii statistice frecvent folosite în aplicaţii sunt:
1. Valoarea medie (moment de ordinul întâi):

E { x [ n1 ]} = x [ n1 ] = ∫ x w ( x ; n ) dx
1 1 1 1 1 (1.206)
−∞

2. Valoarea pătratică medie (moment iniţial de ordinul doi),


definită în cazul variabilelor aleatoare complexe, cu relaţia:

{ }

E x[n1 ] = x[n1 ] = w1 ( x1 ; n1 )dx1
2 2 2
∫x
−∞
1 (1.207)

şi în cazul variabilei aleatoare reale



E { x [ n1 ]} = x [ n1 ] =
2 2
∫ x w ( x ; n ) dx
2
1 1 1 1 1 (1.207’)
−∞
3. Funcţia de autocorelaţie (momentul iniţial reunit de
ordinul doi):
În cazul variabilei aleatoare complexe
∞ ∞

γ xx [n1 , n2 ] = x[n1 ]x [n2 ] =


*
∫ ∫ x x w (x , x ; n , n
1
*
2 2 1 2 1 2 )dx1 dx2 (1.208)
− ∞− ∞

În cazul variabilei aleatoare reale:


∞ ∞
γ xx [ n1 , n2 ] = x [ n1 ] x [ n2 ] = ∫ ∫ x x w ( x , x ; n , n )dx dx
1 2 2 1 2 1 2 1 2 (1.208’)
−∞ −∞

4. Funcţia de corelaţie (moment iniţial mixt de ordinul doi):


În cazul variabilei aleatoare complexe
∞ ∞
γ xy [n1 , n2 ] = x[n1 ]y [n2 ] =
*
∫ ∫ x y w (x , y
1
*
2 2 1 2 , n1 , n2 )dx1 dy 2 (1.209)
− ∞− ∞

În cazul variabilelor aleatoare reale


∞ ∞
γ xy [ n1 , n2 ] = x [ n1 ] y [ n2 ] = ∫ ∫ x y w ( x , y , n , n ) dx dy
1 2 2 1 2 1 2 1 2 (1.209’)
−∞ −∞

unde x [ n1 ] şi y [ n2 ] sunt variabile aleatoare care aparţin proceselor


55
aleatoare x [ n ] , respectiv, y [ n ] , la momentele n = n1 , respectiv
n = n2 , definite pe acelaşi spaţiu al eşantioanelor.
5. Dispersia sau varianţa (moment iniţial de ordin doi):
În cazul variabilei aleatoare complexe
2 2
var ( x ) = σ x2 [ n1 ] = x [ n1 ] − x [ n1 ] = x [ n1 ] − x [ n1 ]
2
(1.210)
În cazul variabilei aleatoare reale:
( )
var ( x ) = σ x2 [ n1 ] = x [ n1 ] − x [ n1 ] = ( x [ n1 ]) − x [ n1 ] ( )
2 2 2
(1.210’)
6. Funcţia de autovarianţă:
În cazul variabilei aleatoare complexe

( )( )
*
cxx [ n1 , n2 ] = x [ n1 ] − x [ n1 ] x [ n2 ] − x [ n2 ] =
(1.211)
{ }{
= γ xx [ n1 , n2 ] − x [ n1 ] x [ n2 ]
*
}
În cazul variabilei aleatoare reale:
( )(
cxx [ n1 , n2 ] = x [ n1 ] − x [ n1 ] x [ n2 ] − x [ n2 ] = ) (1.211’)
{ }{
= γ xx [ n1 , n2 ] − x [ n1 ] x [ n2 ] }
7. Funcţia de covarianţă:
În cazul variabilelor aleatoare complexe

( )( )
*
cxy [ n1 , n2 ] = x [ n1 ] − x [ n1 ] y [ n2 ] − y [ n2 ] =
(1.212)
{ }{
= γ xy [ n1 , n2 ] − x [ n1 ] y [ n2 ] }
În cazul variabilelor aleatoare reale:
( )(
cxy [ n1 , n2 ] = x [ n1 ] − x [ n1 ] y [ n2 ] − y [ n2 ] = ) (1.212’)
{ }{
= γ xy [ n1 , n2 ] − x [ n1 ] y [ n2 ] }
56
În cazul în care x [ n1 ] şi y [ n2 ] sunt două variabile aleatoare
statistic independente, atunci:
w2 ( x, y; n1 , n2 ) = w1 ( x; n1 ) w2 ( y; n2 ) (1.213)
şi din (1.209) rezultă:
γ xy [ n1 , n2 ] = E { x [ n1 ]} E { y [ n2 ]} (1.214)
În cazul independenţei statistice a variabilelor aleatoare, din
(1.212) şi (1.214) rezultă:
c xy [n1 , n2 ] = 0 (1.215)
Dacă ultima relaţie este îndeplinită, variabilele aleatoare
x [ n1 ] şi y [ n2 ] sunt necorelate.
Se observă că dacă două variabile aleatoare sunt statistic
independente, ele sunt şi necorelate, reciproca nefiind întotdeauna
adevărată.
Două variabile aleatoare x [ n1 ] şi y [ n2 ] sunt ortogonale,
dacă:
γ xy [ n1 , n2 ] = E { x [ n1 ] y [ n2 ]} = 0 (1.216)

1.14. Procese aleatoare discrete în timp, staţionare

Procesele aleatoare discrete în timp ale căror proprietăţi


statistice sunt invariante la schimbarea arbitrară a originii timpului
se numesc staţionare.
De exemplu, dacă densitatea de probabilitate de ordinul întâi
nu depinde de n, adică w1 ( x1; n1 ) = w1 ( x1 ) , procesul se numeşte
staţionar de ordinul întâi sau staţionar în medie, şi:
E { x [ n1 ]} = x [ n1 ] = mx = constant (1.217)
57
Din (1.207’) şi (1.210’) rezultă atunci
E { x 2 [n]} = x 2 [n] = a = constant (1.218)
σ x2 [ n1 ] = a − mx2 =constant (1.219)
Dacă, în plus, densitatea de probabilitate de ordinul 2
satisface condiţia:
w2 ( x1 , x2 ; n1 , n2 ) = w2 ( x1 , x2 ; n1 − n2 ) (1.220)
se spune că procesul discret în timp este staţionar de ordinul doi. În
acest caz momentele de ordinul doi (autocorelaţia, corelaţia,
autovarianţa şi covarianţa) depind numai de diferenţa momentelor
de timp, n1 − n2 . Procesele aleatoare discrete în timp se numesc
staţionare în sens larg, dacă sunt satisfăcute relaţiile (1.217) şi
(1.218).
Procesele aleatoare a căror densitate de probabilitate
îndeplineşte condiţia:
wN ( x1 , x2 ,..., xN ; n1 , n2 ,..., nN ) =
(1.221)
= wN ( x1 , x2 ,..., xN ; n1 + l , n2 + l ,..., nN + l )
pentru orice l ∈ Z , deci şi pentru l = −n1 , care conduce la:
wN ( x1 , x2 ,..., xN ; n1 , n2 ,..., nN ) =
(1.221’)
= wN ( x1 , x2 ,..., xN ; n2 − n1 ,..., nN − n1 )
se numesc staţionare în sens strict.

1.15. Valori medii temporale ale proceselor


aleatoare, discrete în timp

În practică se dispune de obicei de o singură realizare


particulară x ( k ) [ n ] a procesului aleator x[n] . Valorile medii
58
temporale definite pe procese aleatoare discrete în timp se
calculează dintr-o singură realizare particulară. Valorile medii
temporale folosite frecvent în aplicaţii sunt:
1. Valoarea medie temporală
⎛ 1 N

< x [n] > = lim ⎜⎜
(k )
∑ x ( k ) [ni ] ⎟⎟ (1.222)
N →∞
⎝ 2N + 1 ni = − N ⎠
Se poate arăta că valoarea medie temporală nu depinde de
originea timpului. Într-adevăr,
⎛ 1 N

< x ( k ) [n + n0 ] > = lim ⎜⎜ ∑ x ( k ) [ni + n0 ] ⎟⎟ (1.223)
N →∞
⎝ 2N + 1 ni = − N ⎠
Dacă se face notaţia
ni + n 0 = u i (1.224)
rezultă
⎛ 1 N + n0

< x ( k ) [n + n0 ] > = lim ⎜⎜ ∑ x ( k ) [u i ] ⎟⎟ =< x ( k ) [n] > (1.225)
N →∞
⎝ 2N + 1 ui = − N + n0 ⎠
Înseamnă, deci, că valoarea medie temporală este o constantă.
2. Valoarea pătratică medie temporală
⎛ 1 2⎞
< (x ( k ) [ n]) > = lim ⎜⎜ (x ( k ) [ni ]) ⎟⎟
N


2
(1.226)
N →∞
⎝ 2N + 1 ni = − N ⎠
Similar se poate demonstra că
< ( x ( k ) [n]) >= constant
2
(1.226’)
3. Funcţia de autocorelaţie temporală:
rxx( k ) (n1 , n2 ) =< x ( k ) [n1 + n]x ( k ) [n2 + n] > =
⎛ 1 N
⎞ (1.227)
lim ⎜⎜ ∑ x ( k ) [n1 + ni ]x ( k ) [n2 + ni ] ⎟⎟
N →∞
⎝ 2N + 1 ni = − N ⎠

59
Se poate demonstra că funcţia de autocorelaţie temporală nu
depinde nici de n1 , nici de n2 , ci de diferenţa acestora.
Într-adevăr, dacă în relaţia (1.227) se face notaţia
n1 + ni = vi , (1.228)
rezultă
⎛ 1 N + n1

rxx( k ) (n1 , n2 ) = lim ⎜⎜ ∑ x ( k ) [vi ]x ( k ) [n2 − n1 + vi ] ⎟⎟ =
N →∞
⎝ 2N + 1 vi = − N + n1 ⎠ (1.229)
rxx( k ) (n2 − n1 )
Dacă în relaţia (1.227) se face notaţia
n 2 + ni = u i , (1.230)
rezultă
⎛ 1 N + n2

rxx( k ) (n1 , n2 ) = lim ⎜⎜ ∑ x ( k ) [n1 − n2 + u i ]x ( k ) [u i ] ⎟⎟ =
N →∞
⎝ 2N + 1 vi = − N + n2 ⎠ (1.231)
rxx( k ) (n1 − n2 )
Comparând (1.229) cu (1.231), rezultă
rxx( k ) (n1 , n2 ) = rxx( k ) (n2 − n1 ) = rxx( k ) ( n1 − n2 ) (1.232)
adică, funcţia de autocorelaţie temporală este o funcţie pară,
depinzând numai de diferenţa dintre momentele n1 şi n2 .
4. Funcţia de corelaţie temporală:
rxy( k ) (n1 , n2 ) =< x ( k ) [n1 + n] y ( k ) [n2 + n] > =
⎛ 1 N
⎞ (1.233)
lim ⎜⎜ ∑ x ( k ) [n1 + ni ] y ( k ) [n2 + ni ] ⎟⎟
N →∞
⎝ 2N + 1 ni = − N ⎠
Analog se poate demonstra că
rxy( k ) (n1 , n2 ) = rxy( k ) (n2 − n1 ) = ryx( k ) (n1 − n2 ) (1.234)
5. Funcţia de autovarianţă temporală

60
cxx( k ) (n1 , n2 ) =
= < ( x ( k ) [n1 + n]− < x ( k ) [n] > )( x ( k ) [n2 + n]− < x ( k ) [ n] > ) >
(1.235)
=< x ( k ) [n1 + n]x ( k ) [n2 + n] > − < x ( k ) [ n] >< x ( k ) [n] >
= rxx( k ) ( n1 , n2 )− < x ( k ) [n] >< x ( k ) [n] >
Se poate demonstra pe aceeaşi cale că
c xx( k ) (n1 , n2 ) = c xx( k ) (n2 − n1 ) = c xx( k ) (n1 − n2 ) (1.236)
6. Funcţia de covarianţă temporală
cxy( k ) (n1 , n2 ) =< ( x ( k ) [n1 + n]− < x ( k ) [ n] > )( y ( k ) [n2 + n]− < y ( k ) [n] > ) >=
= rxy( k ) ( n1 , n2 )− < x ( k ) [n] >< y ( k ) [n] > (1.237)
Se poate demonstra că
cxy( k ) (n1 , n2 ) = cxy( k ) (n2 − n1 ) = c (yxk ) ( n1 − n2 ) (1.238)
7. Dispersia temporală
σ 2 [n] = < ( x ( k ) [n]− < x ( k ) [n] > ) >=
2

2 2
(1.239)
=< ⎡⎣ x ( k ) [n]⎤⎦ > − ⎡⎣< x ( k ) [n] > ⎤⎦
Ţinând cont de (1.225) şi (1.226’), rezultă că dispersia temporală
este o constantă.

1.16. Procese aleatoare discrete în timp, ergodice

O categorie mare de procese aleatoare se bucură de


proprietatea de ergodicitate, a cărei esenţă constă în aceea că
valorile medii statistice sunt egale cu valorile medii temporale
corespunzătoare. Deoarece valoarea medie, valoarea pătratică medie
şi dispersia temporală sunt constante, iar funcţiile de autocorelaţie,
corelaţie, autovarianţă şi covarianţă temporale depind numai de

61
diferenţele dintre momentele n1 şi n2 , pentru ca aceste valori medii
temporale să fie egale cu valorile medii statistice corespunzătoare
este necesar ca
w1 ( x1 ; n1 ) = w1 ( x1 ) (1.240)
w2 ( x1 , x 2 ; n1 , n2 ) = w2 ( x1 , x 2 ; n1 − n2 ) (1.241)
adică procesele aleatoare trebuie să fie staţionare în sens larg.
Fie x[n] un proces aleator staţionar în sens larg şi x ( k ) [ n ] o
realizare particulară a acestuia. Un estimat temporal mˆ k al valorii
medii temporale se poate obţine din (1.222), prin relaţia:
N
1
mˆ k = ∑
2N + 1 ni = − N
x ( k ) [ni ] (1.242)

Considerând mulţimea realizărilor particulare, se poate determina


un estimat statistic, m̂ , ca valoarea medie statistică a estimaţilor
temporali rezultaţi din fiecare realizare particulară, adică:
1 ⎧⎪ N ⎫⎪
mˆ = E{mˆ k } = E ⎨ ∑ { x ( k ) [ ni ]}⎬ =
2N + 1 ⎩⎪ ni = − N ⎭⎪ (1.243)
N
1
= ∑ E { x[ni ]}
2N + 1 ni = − N
Dacă procesul este staţionar în sens larg
E { x[ni ]} = mx = const. (1.244)
Din relaţiile (1.243) şi (1.244) rezultă că în cazul proceselor
aleatoare staţionare în sens larg, estimatul statistic este egal cu
valoarea medie statistică.
În general, dacă estimatul statistic este egal cu valoarea reală
ce trebuie estimată, se spune că estimatul statistic este nedeplasat.
Varianţa estimatului statistic m̂ se poate deduce cu relaţia:

62
var(mˆ ) = E {({mˆ k } − mx ) 2 } (1.245)
Ţinând cont de (1.243), relaţia (1.245) se poate scrie echivalent:
var(mˆ ) = E {({mˆ k } − mx )({mˆ k } − mx )} =
⎧⎪⎛ 1 N ⎞⎛ 1 N ⎞ ⎫⎪
E ⎨⎜ ∑ i x 2 N + 1 k∑
x[ n ] − m ⎟⎜ x[ k i ] − m x ⎟⎬ =
⎪⎩⎝ 2 N + 1 ni =− N ⎠⎝ i =− N ⎠ ⎪⎭
⎛ 1 N
1 N ⎞
= E⎜ ∑ ( x [ ni ] − m x ) ∑ ( x[ki ] − mx ) ⎟ = (1.246)
⎝ 2 N + 1 ni =− N 2 N + 1 ki =− N ⎠
N N
1
∑ ∑ E ([ x[ni ] − mx ][ x[ki ] − mx ]) =
(2 N + 1) 2 ni =− N ki =− N
N N
1
=
(2 N + 1) 2
∑ ∑c
ni =− N ki =− N
xx (ni − ki )

Relaţia (1.246) poate fi prelucrată, după cum urmează:


N N
1
var(m) = ∑ ∑ cxx [ni − ki ] =
(2 N + 1) 2 ni =− N ki =− N
1 ⎛ N N N ⎞
⎜ ∑
(2 N + 1) ⎝ ki =− N
2
c xx [ − N − k i ] + ∑ c xx [ − N + 1 − k i ] + ... + ∑ cxx [ N − ki ] ⎟ =
ki =− N ki =− N ⎠
1
= [cxx [0] + cxx [−1] + ... + cxx [−2 N + 1] + cxx [−2 N ] +
(2 N + 1) 2
cxx [1] + cxx [0] + ... + cxx [−2 N + 2] + cxx [−2 N + 1] + (1.247)

cxx [2 N ] + cxx [2 N − 1] + ... + cxx [1] + cxx [0]] =


1
[cxx [2 N ] + 2cxx [2 N − 1] + ... + 2 Ncxx [1] + [2 N + 1]cxx [0] +
(2 N + 1) 2
2 Ncxx [ −1] + [2 N − 1]cxx [−2] + ... + 2cxx [−2 N + 1] + cxx [−2 N ]] =

63
1 2N
1 2N
⎛ |l | ⎞
2 ∑ ∑
[2 N + 1− | l |]cxx [l ] = ⎜1 − ⎟ cxx [l ]
(2 N + 1) l =−2 N (2 N + 1) l =−2 N ⎝ 2 N + 1 ⎠
Dacă
1 2N
⎛ |l | ⎞
lim
N →∞ (2 N + 1)
∑ ⎜
l =−2 N ⎝
1− ⎟ cxx (l ) = 0 ,
2N + 1 ⎠
(1.248)

estimatul statistic m̂ va tinde la mx în valoare pătratică medie.


Procesul aleator x[n] , staţionar în sens larg, pentru care este
adevărată relaţia (1.248) se numeşte ergodic în medie.
Dacă procesul aleator este ergodic în medie, conform
relaţiilor (1.222) (1.244) şi (1.245), rezultă că valoarea medie
temporală converge la valoarea medie statistică, adică se poate scrie
< x[ n] >= E { x[ni ]} = mx .
Deoarece i ∈ Z , pentru simplificarea scrierii, uneori se
renunţă la indicele i, adică se va scrie E { x[ni ]} = E { x[n]} . Din acest
motiv, prin abuz de limbaj, se spune valoarea medie statistică a
procesului aleator x[n] şi nu valoarea medie statistică a variabilei
aleatoare x[ni ] obţinută din procesul aleator x[n] .
Estimatul statistic al estimaţilor temporali ai funcţiei de
autocorelaţie, notat cu r̂ , se defineşte ca valoarea medie statistică a
estimaţilor temporali ai funcţiei de autocorelaţie, rˆk
⎪⎧ 1 N
⎪⎫
rˆ = E{rˆk } = E ⎨ ∑
⎪⎩ 2N + 1 ni = − N
x ( k ) [n1 + ni ]x ( k ) [n2 + ni ]⎬ =
⎪⎭
(1.249)
N
1
∑ E { x[n1 + ni ]x[n2 + ni ]}
2N + 1 ni = − N
Dacă procesul x[n] este staţionar în sens larg, atunci
E ( x[ n1 + ni ]x[n2 + ni ]) = γ xx [n1 − n2 ] (1.250)
64
Înlocuind (1.250) în (1.249), rezultă că pentru un proces
aleator x[n] staţionar în sens larg se poate scrie relaţia
rˆ = γ xx [ n1 − n2 ] = γ xx [m] (1.251)
unde m = n1 − n2 .
Din relaţia (1.251) rezultă că estimatul statistic al estimaţilor
temporali ai funcţiei de autocorelaţie a unui proces aleator discret în
timp x[n] , staţionar în sens larg, este egal cu funcţia de
autocorelaţie statistică.
Varianţa estimatului r̂ se poate deduce cu relaţia
{
var(rˆ) = E ({rˆk } − γ xx [m])
2
} (1.252)
Ţinând cont de (1.249), relaţia (1.252) se poate scrie echivalent:
var(rˆ) = E {({rˆk } − γ xx [ m])({rˆk } − γ xx [m])} =
⎧⎪⎛ 1 N ⎞
= E ⎨⎜ ∑ 1 i 2 i xx ⎟ ⋅
x[ n + n ] x[ n + n ] − γ [ m ]
⎪⎩⎝ 2 N + 1 ni =− N ⎠
⎛ 1 N ⎞ ⎫⎪

2 N + 1
∑ x[ n 1 + k i ] x[ n2 + k i ] − γ xx [ m ] ⎟⎬ = (1.253)
⎝ ki =− N ⎠ ⎭⎪
N N
1
∑ ∑ E {[ x[n1 + ni ]x[n2 + ni ] − γ xx [m]] ⋅
(2 N + 1) 2 ni =− N ki =− N
[ x[n1 + ki ]x[n2 + ki ] − γ xx [m]]}
Efectuând notaţiile
n1 + ni = n ⎫
n2 + ni = n + m ⎪⎪
⎬ (1.254)
n1 + ki = k ⎪
n2 + ki = k + m ⎭⎪
Relaţia (1.253) devine
65
n1 + N n1 + N
1
var(rˆ) =
(2 N + 1) 2
∑ ∑ E {( x[n]x[n + m] − γ
n = n1 − N k = n1 − N
xx [ m]) ⋅
(1.255)
( x[k ]x[k + m] − γ xx [m])}
Valoarea medie statistică a termenului x[n]x[ n + m]x[ k ]x[k + m]
este funcţia de autocorelaţie a procesului aleator
vm [n] = x[n] x[n + m] (1.256)
Notând cu
γ vv( m ) = E {vm [n]vm [k ]} = γ vv( m ) [n − k ] (1.256’)
relaţia (1.255) devine
n1 + N n1 + N
1
∑ ∑ γ vv( m ) [n − k ] − ( γ xx [m]) =
2
var(rˆ) =
(2 N + 1) 2 n = n1 − N k = n1 − N

1 ⎛ n1 + N ( m ) n1 + N

⎜ ∑
(2 N + 1) 2 ⎝ k =n1 − N
γ vv [ n1 − N − k ] + ... + ∑ γ ( m)
vv [ n1 + N − k ] ⎟−
k = n1 − N ⎠
− ( γ xx [m]) =
2

1
2 ( vv
= γ ( m ) [0] + γ vv( m ) [−1] + ... + γ vv( m ) [−2 N + 1] + γ vv( m ) [−2 N ] +
(2 N + 1)
γ vv( m ) [1] + γ vv( m ) [0] + ... + γ vv( m ) [−2 N + 2] + γ vv( m ) [−2 N + 1] +

γ vv( m ) [2 N ] + γ vv( m ) [2 N − 1] + ... + γ vv( m ) [1] + γ vv( m ) [0]) − (γ xx [m]) =


2

1
2 ( vv
γ ( m ) [2 N ] + 2γ vv( m ) [2 N − 1] + ...2 N γ vv( m ) [1] + [2 N + 1]γ vv( m ) [0] +
(2 N + 1)
2 N γ vv( m ) [−1] + [2 N − 1]γ vv( m ) [−2] + ...2γ vv( m ) [−2 N + 1] + γ vv( m ) [−2 N ]) −
2N
1
2 ∑
− ( γ xx [m]) = [2 N + 1− | l |]γ vv( m ) [l ] − ( γ xx [m]) =
2 2

(2 N + 1) l =−2 N

66
1 2N
⎛ | l | ⎞ ( m)
∑ ⎟ γ vv [l ] − ( γ xx [m])
2
= ⎜1 − (1.257)
(2 N + 1) l =−2 N ⎝ 2 N + 1 ⎠
Dacă
⎡ 1 2N
⎛ | l | ⎞ (m) 2⎤
lim ⎢
N →∞ (2 N + 1)
∑ ⎜
l =−2 N ⎝
1− ⎟
2N + 1 ⎠
γ vv (l ) − ( γ xx [m]) ⎥ = 0 (1.258)
⎣ ⎦
atunci, var[rˆ] → 0 şi estimatul statistic r̂ converge cu probabilitate
1 la γ xx [m] , adică la funcţia de autocorelaţie statistică.
Dacă relaţia (1.258) este îndeplinită, procesul aleator x[n] ,
staţionar în sens larg se numeşte ergodic în corelaţie.
În cele ce urmează, procesele aleatoare vor fi considerate
ergodice atât în medie, cât şi în corelaţie.

1.17. Proprietăţile principale ale funcţiilor de


corelaţie pentru procese aleatoare staţionare în sens
larg

Pentru categoria proceselor aleatoare discrete în timp


staţionare în sens larg, sunt adevărate următoarele relaţii:
γ xy [ k ] = E { x [ n1 − k ] y* [ n1 ]} = E { x [ n1 ] y* [ n1 + k ]} (1.259)

γ xx [ k ] = E { x [ n1 − k ] x* [ n1 ]} = E { x [ n1 ] x* [ n1 + k ]} (1.260)

{ }
cxy [ k ] = E ( x [ n1 − k ] − mx ) ( y [ n1 ] − m y )
*
(1.261)

[ k ] = E {( x [ n − k ] − m ) ( x [ n ] − m ) }
*
cxx 1 x 1 x (1.262)

Proprietatea 1
cxx [ k ] = γ xx [ k ] − mx
2
(1.263)

67
cxy [ k ] = γ xy [ k ] − mx m*y (1.264)
Proprietatea 2

{ } = x [n ]
_________

γ xx [ 0] = E x [ n1 ]
2 2
1 = valoare pătratică medie (1.265)

cxx [ 0] = σ x 2 =varianţa sau dispersia (1.266)


Proprietatea 3
γ xx [ k ] = γ xx* [ −k ] (1.267)
cxx [ k ] = cxx* [ − k ] (1.268)
γ xy [ k ] = γ yx* [ − k ] (1.269)
cxy [ k ] = c yx* [ −k ] (1.270)
Proprietatea 4
γ xy [k ] ≤ γ xx [0]γ yy [0]
2
(1.271)

cxy [ k ] ≤ cxx [ 0] c yy [ 0]
2
(1.272)
cu particularizarea
γ xx [k ] ≤ γ xx [0] (1.273)
cxx [ k ] ≤ cxx [ 0] (1.274)
Proprietatea 5
Dacă
y [l ] = x [l − k ] , (1.275)
atunci
γ yy [k ] = γ xx [k ] (1.276)
c yy [ k ] = cxx [ k ] (1.277)
Proprietatea 6
Există procese aleatoare pentru care variabilele aleatoare devin
68
necorelate cu creşterea separării lor în timp. În acest caz
lim cxx [ k ] = 0 (1.278)
k →∞

lim γ xx [ k ] = mx
2
(1.279)
k →∞

lim cxy [ k ] = 0 (1.280)


k →∞

lim γ xy [ k ] = mx m*y (1.281)


k →∞

1.18. Reprezentarea semnalelor aleatoare discrete în


timp în domeniul frecvenţă

Reprezentarea spectrală a funcţiilor de corelaţie joacă


un rol important în descrierea relaţiilor intrare-ieşire pentru un
sistem discret liniar invariant în timp, când la intrarea acestuia se
aplică un semnal aleator.
Fie Γxx (ω ), C xx (ω ), Γxy (ω ) şi C xy (ω ) transformatele Fourier
ale funcţiilor γ xx [m], c xx [m], γ xy [m] , respectiv c xy [m] . Deoarece
acestea sunt discrete în timp, transformatele lor Fourier sunt
periodice, de perioadă 2π .
Din (1.263) şi (1.264) rezultă că
Γ xx (ω ) = C xx (ω ) + 2π mx2δ (ω ) , ω <π (1.282)
Γ xy (ω ) = C xy (ω ) + 2π mx m y δ (ω ) , ω < π (1.283)
Folosind transformatele Fourier inverse, se poate scrie
π
1
γ xx [ m] = ∫π Γ (ω ) e
jωm
dω (1.284)

xx

π
1
cxx [ m] = ∫π C (ω ) e
ω j m
dω (1.285)

xx

69
şi, în consecinţă
π
1
E {( x[n]) 2
} = γ [ 0] = σ 2
+m = 2
∫π Γ (ω )dω (1.286)

xx x x xx

care este puterea medie a semnalului.


π
1
σ x2 = cxx [0] =
2π −
∫π C (ω )dω
xx (1.287)

Mărimile Γ xx (ω ) şi Γ xy (ω ) se numesc densitate spectrală


de putere, respectiv densitate spectrală de putere de interacţiune.
Dacă Γ xx (ω ) are o valoare constantă pentru întreg domeniul
de valori al lui ω , procesul este cunoscut sub numele de zgomot
alb.
Dacă Γ xx (ω ) este constantă numai într-o bandă de frecvenţă
şi zero în rest, procesul este cunoscut sub numele de zgomot alb
de bandă limitată sau cvasialb.
Datorită relaţiei de simetrie (1.267) rezultă că densitatea
spectrală de putere Γxx (ω ) este o mărime reală, iar pentru valori
reale ale procesului aleator şi, implicit, ale funcţiei de autocorelaţie,
densitatea spectrală de putere este o mărime reală şi pară, adică
Γ xx (ω ) = Γ xx ( −ω ) (1.288)
În plus, densitatea spectrală de putere este nenegativă.

1.19. Răspunsul sistemelor discrete, liniare,


invariante în timp la semnale aleatoare

Fie un sistem discret, liniar, invariant în timp, caracterizat


de răspunsul la impuls h [ n ] , funcţia de sistem H ( z ) şi

70
răspunsul în frecvenţă H ( f ) , la intrarea căruia se aplică semnalul
aleator, staţionar în sens larg, discret în timp x[n] de medie
statistică mx . În continuare, se va presupune ca h[n] este real.
Intrarea şi ieşirea sistemului sunt legate prin suma de convoluţie

y [ n] = ∑ h[k ] x [n − k ] (1.289)
n =−∞

Deoarece x[n] este un semnal de intrare aleator, semnalul


de ieşire y [ n ] va fi, de asemenea, aleator, adică fiecărei variabile
aleatoare x [ ni ] a procesului x [ n ] îi va corespunde o variabilă
aleatoare y [ ni ] a procesului discret de la ieşire, y[n].
Caracterizarea statistică a semnalului de ieşire se poate
efectua cu ajutorul caracteristicilor statistice ale semnalului de
intrare.
1. Valoarea medie a ieşirii y [ ni ] este
⎡ ∞ ⎤
m y = E { y [ ni ]} = E ⎢ ∑ h [ k ] x [ ni − k ]⎥ =
⎣ k =−∞ ⎦ (1.290)
∞ ∞
= ∑ h [ k ] E ⎡⎣ x [ n − k ]⎤⎦ = m ∑ h [ k ] = m H (0)
k =−∞
i x
k =−∞
x

unde H (0) se numeşte câştigul în curent continuu.


2. Secvenţa de autocorelaţie a procesului aleator de la ieşirea
sistemului se determină astfel:
γ yy [ m ] = E ⎡⎣ y [ ni ] y [ ni + m]⎤⎦ =
⎡ ∞ ∞ ⎤
= E ⎢ ∑ h [ k ] x [ ni − k ] ∑ h [ j ] x [ ni + m − j ]⎥ =
⎣ k =−∞ j =−∞ ⎦

71
∞ ∞
= ∑ ∑ h [ k ]h [ j ] E ⎡⎣ x [ n − k ] x [ n + m − j ]⎤⎦ =
k =−∞ j =−∞
i i

∞ ∞
= ∑ ∑ h [ k ]h [ j ]γ [ k − j + m]
k =−∞ j =−∞
xx (1.291)

Un caz particular al relaţiei (1.291) se obţine când


intrarea este zgomot alb, caz în care
γ xx [ m] = σ x2δ [ m ] (1.292)
unde σ x2 = γ xx [ 0] este puterea semnalului de intrare iar δ [ m] este
impulsul unitate. În acest caz rezultă

γ yy [ m ] = σ 2
x ∑ h [ k ] h [ k + m] (1.293)
k =−∞

3. Puterea medie a procesului de la ieşire este [72]


1
∞ 2
γ yy [ 0] = σ x2 ∑ h 2 [ n ] = σ x2 ∫ H ( f ) df
2
(1.294)
n =−∞ 1

2

4. Densitatea spectrală de putere a semnalului de


ieşire.
Aplicând transformata Fourier relaţiei (1.291) şi ţinând cont
de teorema Wiener Khintcine, se obţine densitatea spectrală de
putere a procesului de la ieşire:

Γ yy ( f ) = ∑ γ [ m] e
m =−∞
yy
− j 2π fm
=

⎡ ∞ ∞

= ∑
m =−∞
⎢∑
⎣ k =−∞
∑ h [ k ] h [l ]γ [ k − l + m]⎥⎦ e
l =−∞
xx
− j 2π fm
= (1.295)

∞ ∞
⎡ ∞ − j 2π fm ⎤
= ∑ ∑ h [ k ] h [ l ] ⎢ ∑ γ xx [ k − l + m ]e ⎥
k =−∞ l =−∞ ⎣ m=−∞ ⎦
Efectuând schimbarea de variabilă k − l + m = θ , rezultă
72
⎡ ∞ j 2π kl ⎤ ⎡

− j 2π fl ⎤
Γ yy ( f ) = Γ xx ( f ) ⎢ ∑ h [ k ]e ⎥ ⎢ ∑ h [l ]e ⎥=
⎣ k =−∞ ⎦ ⎣ l =−∞ ⎦ (1.296)
= H ( f ) Γ xx ( f )
2

5. Secvenţa de intercorelaţie dintre semnalul de intrare şi


cel de ieşire se obţine multiplicând la stânga ambii termeni ai
relaţiei (1.289) cu x [ ni − m ] şi apoi mediind relaţia obţinută,
adică
⎡ ∞

γ xy [ m ] = E ⎡⎣ x [ ni − m] y [ ni ]⎤⎦ = E ⎢ ∑ h [ k ] x [ ni − m ]x [ ni − k ]⎥ =
⎣ k =−∞ ⎦
∞ ∞
= ∑ h [ k ]E ⎡⎣ x [ ni − m] x [ ni − k ]⎤⎦ = ∑ h [ k ]γ [ m − k ]
xx (1.297)
k =−∞ k =−∞

6. Densitatea spectrală de putere de intercorelaţie este atunci


Γ xy ( f ) = H ( f )Γ xx ( f ) (1.298)
Dacă x[n] este zgomot alb, din (1.298) rezultă
Γ xy ( f ) = σ x2 H ( f ) (1.299)

1.20. Folosirea transformatei Z în calculul puterii


medii

Puterea medie se poate calcula cu ajutorul relaţiei (1.286), dar,


uneori, este dificil a evalua această integrală. Cu ajutorul
transformatei Z, calculul puterii semnalului poate fi mult simplificat
în cazul frecvent întâlnit al sistemelor caracterizate de funcţii de
sistem raţionale. Dacă procesul aleator de la intrare are valoarea
medie statistică diferită de zero, transformata Z poate fi folosită
pentru a reprezenta funcţiile de varianţă, nu şi pe cele de
corelaţie, deoarece, când semnalul are valoare medie diferită de
73
zero, funcţia sa de corelaţie va conţine o componentă constantă
care nu are reprezentare prin transformată Z.
Dacă însă valoarea medie a semnalului este zero, şi dacă
transformata Z a lui γ xx [m] există, atunci, ţinând cont de
proprietatea că pentru semnale reale funcţia de autocorelaţie este
pară, γ xx [ m ] = γ xx [ − m ] , rezultă
Γ xx ( z ) = Γ xx ( z −1 ) (1.300)
Din (1.300) se observă că în cazul în care Γ xx ( z ) este o
funcţie raţională în z, polii şi zerourile lui Γ xx ( z ) apar în perechi
reciproce. Deoarece γ xx [ m ] este o secvenţă bilaterală, transformata
Z a părţii cauzale va converge într-o regiune a planului Z ce este
exteriorul unui cerc, iar transformata Z a părţii necauzale, într-o
regiune ce este interiorul unui cerc. Astfel, regiunea de
1
convergenţă a lui Γ xx ( z ) trebuie să fie de forma ra < z < , cu
ra
0 < ra < 1 , unde ra este cel mai mare modul subunitar al polilor.
Avantajul major al reprezentării cu ajutorul transformatei Z
rezidă în faptul că, dacă Γ xx ( z ) este funcţie raţională, puterea
medie poate fi uşor calculată cu relaţia
E { x 2 [ ni ]} = σ x2 = γ xx [ 0] = Z −1 {Γ xx ( z )}| (1.301)
m =0

Din (1.296), în cazul în care răspunsul la impuls al


sistemului este real, se poate scrie în domeniul Z
Γ yy ( z ) = H ( z ) H ( z −1 )Γ xx ( z ) (1.302)
şi, corespunzător în domeniul timp
γ yy [ m ] = h [ m] ∗ h [ −m ] ∗ γ xx [ m] (1.303)
unde “*” reprezintă operatorul de convoluţie.
74
Dacă la intrare se aplică un zgomot alb de dispersie σ x2 ,
atunci γ xx [ m ] = σ x2δ [ m ] şi funcţia de autocorelaţie a ieşirii este
γ yy [ m ] = σ x2 ( h [ m ] ∗ h [ − m]) (1.304)
iar puterea semnalului de ieşire este

E{ y2 [ ni ]} =γ yy [0] =σx2 ∑h2 [ n] (1.305)
n=−∞

Similar se poate scrie


E{ y2 [ ni ]} =γ yy [0] = Z−1{Γyy ( z)}| (1.306)
m=0

Fie un sistem cauzal şi stabil, cu funcţia de sistem


raţională

∏ (1 − z z −1 )
M

k
H (z ) = G k =1
; z > max pk , max pk < 1 (1.307)
∏ (1 − p )
N
−1 k k
k z
k =1

unde G este un factor de câştig.


Dacă la intrarea acestui sistem se aplică zgomot alb,
staţionar, de dispersie σ x2 , densitatea spectrală de putere a ieşirii
este
M

∏ (1 − z z ) (1 − z z )
k
−1
k
Γ yy ( z ) = σ H ( z ) H ( z ) = σ G
2 −1 2 2 k =1
x x N
(1.308)
∏ (1 − p z ) (1 − p z )
k =1
k
−1
k

Sistemul fiind cauzal şi stabil, polii acestuia sunt în


( pk )
−1
interiorul cercului unitate, pk <1 . Polii , care sunt
reciprocele acestora, sunt în afara cercului unitate. Regiunea de
convergenţă pentru Γ yy ( z ) este, prin urmare,

75
max pk < z < min ( pk ) .
−1

k k

Pentru astfel de funcţii raţionale, dacă M < N , şi


funcţia de sistem are numai poli simpli, descompunerea în fracţii
simple este de forma
⎛ N ⎛ A Ak' ⎞⎞
Γ yy ( z ) = σ x2 G ⎜ ∑ ⎜
2 k
+ ⎟⎟ (1.309)
⎜ k =1 ⎜ 1 − pk z −1 1 − ( pk )−1 z −1 ⎟ ⎟
⎝ ⎝ ⎠⎠
Ak = H ( z ) H ( z −1 ) (1 − pk z −1 )|
z = pk
cu (1.310)
A = H ( z ) H ( z ) 1 − ( pk ) z
'
k
−1
( −1 −1
)| z =( pk )
−1

Funcţia de autocorelaţie corespunzătoare relaţiei (1.309) este

( )
N
γ yy [ n ] = σ x 2 ∑ Ak ( pk ) u [ n ] − Ak' ( pk ) u [ −n − 1]
n −n
(1.311)
k =1

de unde rezultă puterea medie


⎛ N

σ y2 = γ yy [ 0] = σ x2 ⎜ ∑ Ak ⎟ (1.312)
⎝ k =1 ⎠
Exemplul 1.1.
Să se determine şi să se reprezinte densitatea spectrală de
putere a procesului aleator discret în timp x[n] , a cărui funcţie de
autocorelaţie este : γ xx [ k ] = a , 0 < a < 1 .
k

Soluţie
−1 ∞ ∞ ∞
Γ xx ( z ) = ∑
k =−∞
a − k z − k + ∑ a k z − k = ∑ (az ) k + ∑ (az −1 ) k
k =0 k =1 k =0

Prima progresie este convergentă, dacă | az |< 1 , adică


1
| z |< , iar a doua, dacă | az −1 |< 1 , adică | z |> a .
a

76
1
Domeniul comun de convergenţă rezultă a <| z |< . În acest caz
a
az z 1 − a2
Γ xx ( z ) = + = .
1 − az z − a (1 − az ) (1 − az −1 )
Deoarece domeniul de convergenţă include cercul unitate, are
sens evaluarea lui Γ xx ( z ) pe acesta, pentru a obţine densitatea
spectrală de putere Γ xx (ω ) . Înlocuind z = e jω , rezultă
1 − a2
Γ xx (ω ) =
1 + a 2 − 2a cos ω
În figura 1.15 s-a reprezentat funcţia de autocorelaţie, iar în
figura 1.16, densitatea spectrala de putere pentru două valori ale lui
a.

Fig. 1.15. Funcţia de autocorelaţie Fig. 1.16. Densitatea spectrală de putere

Exemplul 1.2.
Fie un sistem descris de ecuaţia cu diferenţe:
x [ n ] = w [ n ] − w [ n − 1] , a cărui intrare w [ n ] este zgomot alb cu
densitatea spectrală de putere Γ ww ( z ) = S0 . Să se determine funcţia
de autocorelaţie şi densitatea spectrală de putere a semnalului de la
ieşire.
77
Soluţie
Funcţia de sistem corespunzătoare este
H ( z ) = 1 − z −1
Aplicând (1.302) rezultă
Γ xx ( z ) = Γ ww ( z ) (1 − z −1 ) (1 − z ) = Γ ww ( z ) ( 2 − z −1 − z ) =
S0 ( 2 − z −1 − z )
γ xx [ m ] = −γ ww [ m + 1] + 2γ ww [ m] − γ ww [ m − 1]
În domeniul frecvenţă
Γ xx (ω ) = S0 ( 2 − e jω − e − jω ) = 2 S0 (1 − cos ω )

Exemplul 1.3.
Ecuaţia recursivă x [ n ] − ax [ n − 1] = w [ n ] , cu | a |< 1 ,
caracterizează un sistem discret, liniar, invariant în timp, cauzal.
Dacă Γ ww ( z ) = S0 , să se determine Γ xx ( z ) , γ xx [ m ] şi valoarea
pătratică medie a lui x [ n ] .
Soluţie
1
Funcţia de sistem este H ( z ) = .
1 − az −1
S0
Γ xx ( z ) = H ( z ) H ( z −1 )Γ ww ( z ) = ,
(1 − az ) (1 − az )
−1

S0
γ xx [ m ] = Z −1 {Γ xx ( z )} = −1
a
m

a +a

{
E x [ ni ]
2
} = γ xx [ 0] =
aS0
1 + a2

78
1.21. Matricea de autocorelaţie a unui proces
staţionar

Fie vectorul de dimensiune N x 1


x [ n ] = ⎡⎣ x ( k ) [n], x ( k ) [n − 1],..., x ( k ) [n − N + 1]⎤⎦
T
(1.312)
numit realizare particulară trunchiată, ale cărui componente sunt N
eşantioane consecutive prelevate din realizarea particulară x ( k ) [n] ,
anterioare momentului n+1.
Procesul aleator x[n] = { x ( k ) [ n]} se consideră staţionar în
sens larg şi ergodic. Se defineşte matricea de autocorelaţie prin
⎡ γ xx [ 0] γ xx [ −1] . . . γ xx [ − N + 1] ⎤
⎢ ⎥
⎢ γ xx [1] γ xx [ 0] . . . γ xx [ − N + 2]⎥
⎢ . ⎥
Γ = E {x [ n ] xT [ n ]} = ⎢ ⎥
⎢ . ⎥
⎢ . ⎥
⎢ ⎥
⎣⎢γ xx [ N − 1] γ xx [ N − 2] . . . γ xx [ 0] ⎦⎥
(1.313)
unde
γ xx [k ] = E { x ( k ) [m]x ( k ) [m + k ]} (1.314)
În cazul semnalelor aleatoare complexe
Γ = E {x [ n ] x H [ n ]} (1.313’)
unde indicele H semnifică operaţiile de conjugare şi transpunere.
Elementul γ xx [0] de pe diagonala principală are întotdeauna valoare
reală, iar celelalte elemente ale matricei sunt, în general, complexe.

79
Având în vedere rolul foarte important pe care această matrice
îl are în analiza statistică, în continuare se vor prezenta
câteva proprietăţi ale acesteia.
1) Matricea de autocorelaţie pentru un proces aleator,
staţionar în sens larg este hermitică, adică:
ΓH = Γ (1.315)
Acest lucru rezultă direct din definiţia dată în relaţia (1.313) şi
(1.267).
Pentru date cu valori reale, funcţia de autocorelaţie este reală
şi matricea de autocorelaţie este simetrică, adică elementele Γij ale
matricei de autocorelaţie au proprietatea că Γij = Γ ji .
2) Matricea Γ este o matrice Toeplitz (are toate elementele de
pe diagonala principală egale, iar elementele de pe orice altă
diagonală paralelă cu diagonala principală, de asemenea, egale între
ele). Această proprietate este o consecinţă directă a faptului că
procesul aleator s-a presupus staţionar în sens larg.
3) Matricea Γ este pozitiv semidefinită, adică pentru orice
vector complex nenul u de dimensiune N × 1 are loc relaţia,
u H Γu ≥ 0 (1.316)
Într-adevăr,
u H Γu = u H E {x[n]x H [n]} u = E {u H x[n]x H [n]u} =

{ }
2 (1.317)
= E u H x[n] ≥0

Dacă în relaţia (1.316) inegalitatea este strictă, matricea de


autocorelaţie Γ este pozitiv definită. Pentru o astfel de matrice,
determinantul şi toţi minorii săi principali sunt mai mari decât zero.
Aceste condiţii implică faptul că matricea de autocorelaţie este
nesingulară, adică este inversabilă.
80
4) Fie x B [ n ] vectorul obţinut inversând ordinea elementelor
vectorului x [ n ] :

x B [ n ] = ⎡⎣ x [ n − N + 1] , x [ n − N + 2] ,..., x [ n ]⎤⎦
T
(1.318)
Matricea de autocorelaţie a acestui vector se obţine prin
transpunerea matricei Γ iniţiale, adică
E {x B [n]x BH [n]} = ΓT (1.319)
5) Matricea Γ aşa cum a fost definită, este de
dimensiune N × N . Pentru a evidenţia acest lucru, se poate adăuga
un indice inferior ( Γ N ). Adăugând încă un element la vectorul
x [ n ] va rezulta o matrice de autocorelaţie extinsă de dimensiune
(N + 1) × (N + 1) , notată cu Γ N +1 . Sunt posibile următoarele
partiţii:
⎡γ xx [ 0] γ H ⎤ ⎡ Γ N γ B* ⎤
Γ N +1 = ⎢ ⎥=⎢ ⎥ (1.320)
⎣ γ Γ N ⎦ ⎣ γ BT γ xx [ 0]⎦
unde
γ H = [γ xx [1], γ xx [2],..., γ xx [ N ]]
(1.321)
γ BT = [γ xx [− N ], γ xx [− N + 1],..., γ xx [−1]]
6) Fie λi valorile proprii ale matricei Γ , adică rădăcinile
ecuaţiei caracteristice
det ( Γ − λ I ) = 0 (1.322)
şi qi vectorii proprii asociaţi,
Γqi = λi q i , i = 1,...., N (1.323)
Valorile proprii ale matricei Γ k , unde k este întreg, sunt
λi k , i = 1, 2,..., N .

81
7) Ca o consecinţă a proprietăţilor 1 şi 3, toate valorile proprii
ale matricei de autocorelaţie sunt reale şi pozitive. Într-adevăr,
înmulţind la stânga relaţia (1.323) cu qi H se obţine
qi H Γq i
λi = ≥0 (1.324)
qi H qi
8) Vectorii proprii q i , q j , corespunzători unor valori proprii
distincte, λi ≠ λ j , i, j = 1,...., N ; i ≠ j , sunt ortogonali, adică
q j H qi = 0 (1.325)
Într-adevăr, conform definiţiei, se poate scrie
Γqi = λi qi ; Γq j = λ j q j (1.326)
Se înmulţeşte la stânga prima relaţie din (1.326) cu q j H , rezultând
q j H Γqi = λi q j H qi (1.327)
Celei de-a doua relaţii din (1.326) i se aplică o transpunere
hermitică (transpunere şi conjugare complexă) şi, ţinând seama şi de
proprietatea 1, rezultă
(Γq j )H =q j H Γ H = q j H Γ = λ j q j H (1.328)
Înmulţind relaţia (1.328) cu qi la dreapta, se obţine
q j H Γqi = λ j q j H q i (1.329)
care, scăzută din ecuaţia (1.327) conduce la
(λ − λ )q
i j j
H
qi = 0 (1.330)
care demonstrează proprietatea enunţată. În particular, deoarece
prin înmulţirea unui vector propriu cu o constantă se obţine tot un
vector propriu, se poate construi un set ortonormat de vectori
proprii, astfel încât

82
⎧1, i = j
p j H pi = ⎨ (1.331)
⎩0, i ≠ j
unde p j = c j q j , pi = ci qi şi c j , ci constante ce asigură normarea
din relaţia precedentă.
9) Dacă valorile proprii λi , i = 1,...., N sunt distincte, atunci
vectorii proprii qi sunt liniar independenţi, şi pot fi utilizaţi ca
o bază pentru reprezentarea oricărui vector w în spaţiul vectorial
N-dimensional.
10) Matricea Γ poate fi diagonalizată în cazul în care valorile
proprii sunt distincte, conform relaţiei:
Q H ΓQ = Λ (1.332)
unde
Q = [q1 , q 2 ,..., q N ]; Λ = diag ( λ1 , λ2 ,..., λN ) (1.333)
Matricea Q are proprietatea că
Q H Q = I, sau Q −1 = Q H (1.334)
Într-adevăr, având în vedere relaţiile (1.323) şi (1.333), se
poate scrie
ΓQ = QΛ (1.335)
Înmulţind relaţia (1.335) la stânga cu Q H rezultă (1.332).
Înmulţind la dreapta relaţia (1.335) cu Q −1 = Q H rezultă
teorema lui Mercer sau teorema spectrală:
N
Γ = QΛQ = ∑ λi qi qi H
H
(1.336)
i =1

11) Urma matricei Γ , notată cu tr (Γ) , adică suma


elementelor de pe diagonala principală, este egală cu suma valorilor
proprii

83
N
tr ( Γ ) = ∑ λi (1.337)
i =1

Cum toate elementele de pe diagonala principală sunt egale


cu γ xx [0] , din (1.337) rezultă că
1 N
γ xx [0] = ∑ λi (1.338)
N i =1
12) Se defineşte norma spectrală a unei matrice A prin
1
A S
= ( valoarea proprie maximă a matricei A H A ) 2 (1.339)
În cazul matricei Γ , ţinând seama de proprietăţile 1 şi 6, aceasta
înseamnă că
Γ S = λmax (1.340)
Se defineşte numărul condiţional al unei matrice, prin
χ ( A) = A S
A −1
S
(1.341)
În cazul matricei Γ :
1 λmax
Γ = λmax ; Γ −1 = ,⇒ χ (Γ) = (1.342)
S S λmin λmin
unde λmin şi λmax reprezintă valoarile proprii minimă şi, respectiv,
maximă ale matricei Γ .
13) Câtul Rayleigh asociat unui vector u nenul, de
dimensiune N × 1 , este definit prin
u H Γu
(1.343)
uH u
Se poate demonstra că [39]
u H Ru u H Ru
λmin = min ; λmax = max (1.344)
uH u uH u

84
În continuare sunt prezentate câteva exemple de matrice de
autocorelaţie pentru diverse tipuri de semnale aleatoare.
1) Cazul zgomotului alb:
⎧σ 2 , k = 0
γ xx [k ] = E { x[ni ]x∗[ni + k ]} = ⎨
⎩0, k ≠ 0
de unde rezultă matricea de autocorelaţie Γ = σ 2 I , unde I este
matricea unitate.
2) Cazul unei sinusoide complexe, x[n] = Ae jnω , A = A e jϕ
în care A şi ω sunt constante, iar ϕ este o variabilă aleatoare.
γ xx [k ] = E { A e jϕ e jn ω A e − jϕ e− j ( n + k )ω } = A e − jkω
2
i i

⎡ 1 e − jω . . . . e − j ( N −1)ω ⎤
⎢ jω ⎥
⎢ e 1 . . . . e − j ( N −2)ω ⎥
2 ⎢ . ⎥
⎥ = A e (ω ) e (ω )
2
Γ= A ⎢ H

⎢ . ⎥
⎢ . ⎥
⎢ j ( N −1)ω ⎥
⎢⎣e e j ( N −2)ω . . . . 1 ⎥⎦
unde
T
e (ω ) = ⎡⎣1, e − jω ,..., e − j ( N −1)ω ⎤⎦

3) Sinusoidă complexă însumată cu zgomot alb, cu valoare


medie nulă,
x[n] = Ae jnω + w[n]
⎧⎪ A 2 + σ 2 , k = 0
γ xx [k ] = E { x[ni ]x [ni + k ]} = ⎨ 2

jkω
⎪⎩ A e , k ≠ 0

85
⎡ A 2 +σ 2 A e jω
2
. . . . A e j ( N −1)ω ⎤
2

⎢ 2 2 2

⎢ A e − jω A +σ 2 . . . . A e j ( N −2)ω ⎥
⎢ ⎥
.
Γ=⎢ ⎥
⎢ . ⎥
⎢ ⎥
⎢ . ⎥
⎢ 2 − j ( N −1)ω 2 2 ⎥
⎣A e A e− j ( N − 2)ω . . . . A +σ 2 ⎦

1.22. Procese aleatoare regulate. Factorizare


spectrală. Reprezentarea proceselor aleatoare
staţionare

În cele ce urmează se va demonstra că un proces aleator


staţionar în sens larg, poate fi reprezentat ca ieşirea unui sistem
liniar, invariant în timp, cauzal, inversabil [72] excitat de un zgomot
alb.
Fie un proces aleator staţionar în sens larg x [ n ] cu funcţia de
autocorelaţie γ xx [ m] . Transformata Z a funcţiei de autocorelatie
γ xx [ m] este

Γ xx ( z ) = ∑ γ xx [ m] z − m (1.345)
m =−∞

Dacă această expresie este convergentă într-o regiune a


planului Z care conţine cercul unitate, din relaţia (1.345) se obţine
densitatea spectrală de putere, prin evaluarea sa pe cercul unitate
( z = e j 2π f ).
Se presupune că log Γ xx ( z ) este analitică (adică log Γ xx ( z ) şi
derivatele sale de orice ordin sunt continue) într-o regiune inelară a
86
planului Z, care include cercul unitate ( r1 < z < r2 cu r1 < 1 şi
r2 > 1 ). Astfel, log Γ xx ( z ) se poate descompune în serie Laurent:

log Γ xx ( z ) = ∑ v [ m] z
m =−∞
−m
(1.346)

unde {v [ m ]} sunt coeficienţii dezvoltării în serie. Aceştia pot fi


consideraţi ca o secvenţă a cărei transformată Z este
V ( z ) = log Γ xx ( z ) . Prin evaluarea expresiei log Γ xx ( z ) pe cercul
unitate se obţine:

log Γ xx ( f ) = ∑ v [ m] e
m =−∞
− j 2π fm
(1.347)

astfel încât {v [ m ]} sunt coeficienţii dezvoltării în serie Fourier a


funcţiei periodice log Γ xx ( f ) .
1
2
v [ m] = ∫ ⎡⎣log Γ ( f )⎤⎦ e
xx
j 2π fm
df , m ∈ Z (1.348)
1

2

Din relaţia (1.346) rezultă:


∞ −1 ∞
∑ v[ m ] z ∑ v[ m] z ∑ v[ m] z
−m −m −m

Γ xx ( z ) = e m =−∞
=e v[0]
e m =−∞
e m =1
(1.349)
Se defineşte

∑ v[ m ] z
−m
v[ 0]
σ =e
2
w şi H ( z ) = e m =1
, z > r1 (1.350)
Deoarece log Γ xx ( f ) este o funcţie reală, coeficienţii
dezvoltării sunt conjugat simetrici v[m] = v ∗ [− m]. Al doilea termen
din factorizarea lui Γxx ( f ) poate fi scris sub forma

87
*
⎛ ∞
( ) ⎟⎠⎞
−1 ∞ *
∑ v[ m] z ∑ v[ − n ] z ⎜ ∑ v[ − n ] z
−m n n

e m =−∞ = e n =1 =e ⎝ n =1
=
− n ⎫∗ (1.351)
⎧⎪ ∞
( )
*

⎛ ∞
( )
n⎞
⎜ ∑ ( v[ − n ] ) z ⎨ ∑ v[ n ]
* * 1

⎩⎪n =1 z∗

⎭⎪ ⎛1⎞ ∗
=e ⎝ n =1 ⎠
=e =H ⎜ ∗⎟
⎝z ⎠
aşa încât
⎛1⎞
Γ xx ( z ) = σ w2 H ( z ) H ∗ ⎜ ∗ ⎟ (1.352)
⎝z ⎠
Un proces care îndeplineşte condiţiile anterioare şi admite o
asemenea factorizare spectrală se numeşte proces regulat.
Prin evaluarea relaţiei (1.349) pe cercul unitate se obţine o
reprezentare echivalentă a densităţii spectrale de putere sub forma
Γ xx ( f ) = σ w2 H ( f )
2
(1.353)
Se observă că
log Γ xx ( f ) = log σ w2 + log H ( f ) + log H * ( f ) =
∞ (1.354)
= ∑ v [ m] e
m =−∞
− j 2π fm

Din definiţia (1.350) a lui H ( z ) se observă că partea cauzală


a seriei Fourier din (1.347) este asociată cu H ( z ) , iar cea necauzală,
⎛1⎞
cu H ∗ ⎜ ∗ ⎟ .
⎝z ⎠
Pentru valori reale ale procesului [72]
⎛1⎞
H ∗ ⎜ ∗ ⎟ = H ( z −1 ) (1.355)
⎝z ⎠
Coeficienţii v [ m] ai seriei Fourier se numesc coeficienţi
cepstrali, iar secvenţa {v [ m ]} se numeşte cepstrul secvenţei γ xx [ m ] .

88
Filtrul cu funcţia de sistem H ( z ) dată de relaţia (1.350) este
analitic în regiunea z > r1 < 1 , astfel încât descompunerea sa în
serie Taylor caracterizează un sistem cauzal

H ( z ) = ∑ h [ n] z − n (1.356)
n=0

Ţinând seama de relaţiile (1.350) şi (1.356), relaţiei (1.353) i


se poate asocia următoarea interpretare:
Oricare ar fi x[n] , un proces aleator, staţionar, cu medie nulă
şi densitate spectrală de putere finită, acesta se poate obţine la
ieşirea unui filtru liniar, cauzal şi invariant în timp, H ( z ) ,
convenabil ales, dacă la intrarea sa se aplică zgomot alb cu
densitatea spectrală de putere σ w2 . Această situaţie este reprezentată
în figura 1.16a.

Figura 1.16. Filtre pentru generarea: a) unui proces aleator din zgomot alb,
b) unui zgomot alb dintr-un proces aleator

Situaţia în care filtrul H ( z ) este de fază minimă (nu are


zerouri pe sau în exteriorul cercului unitate) prezintă interes special,
deoarece în acest caz există un sistem invers, cauzal, cu funcţia de
1
transfer H w ( z ) = , care “albeşte” procesul x[n] . Un astfel de
H ( z)
89
filtru se va numi filtru de albire. Ieşirea sa, notată cu w [ n ] ,
este zgomot alb asociat procesului aleator staţionar x [ n ] . Această
situaţie este reprezentată în figura 1.16b. Evident, regiunile de
convergenţă pentru H ( z ) şi H w ( z ) sunt diferite, iar condiţia de fază
minimă pentru un filtru asigură stabilitatea celuilalt, şi invers.

Dacă Γ xx ( z ) este o funcţie raţională, atunci H(z) are, de


B( z )
asemenea, o expresie raţională, H ( z) = şi factorizarea
A( z )
spectrală are forma
⎛1⎞
Γ xx ( z ) = σ H ( z ) H ⎜ ∗ ⎟ = σ w
2 ∗ 2
B( z ) B∗ ( )
1
z∗
(1.357)
w
⎝z ⎠ A( z ) A∗ ( )
1
z∗

unde
p
A( z ) = 1 + ∑ ak z − k (1.358)
k =1

şi
q
B ( z ) = 1 + ∑ bk z − k (1.359)
k =1

sunt polinoame cu zerourile în interiorul cercului unitate.

1.23. Modelarea proceselor aleatoare

Fie cazul în care densitatea spectrală de putere a unui proces


aleator staţionar x [ n ] este o funcţie raţională, exprimată sub forma

Γ xx ( z ) = σ 2
B( z ) B∗( );
1
z∗
r1 < z < r2 , r1 < 1, r2 > 1 (1.360)
A( z ) A ( )
w ∗ 1
z∗
90
unde polinoamele B ( z ) şi A ( z ) au rădăcini în interiorul cercului
unitate din planul Z. Funcţia de sistem H ( z ) a filtrului care
generează procesul aleator x[n] , dacă este excitat cu zgomot alb,
este de forma
q

B(z) ∑b z k
−k

H ( z) = = k =0
; z > r1 , r1 < 1 (1.361)
A( z ) p
1 + ∑ ak z −k

k =1

unde {bk } şi {ak } sunt coeficienţii care determină poziţiile polilor


şi zerourilor filtrului. Filtrul caracterizat de H ( z ) este cauzal, stabil
şi de fază minimă. Filtrul invers, caracterizat de funcţia de sistem
1
, este, de asemenea, cauzal, stabil şi de fază minimă. Prin
H ( z)
urmare, procesul aleator x[n] poate fi reprezentat de coeficienţii
filtrului şi zgomotul w[n] .
Ecuaţia cu diferenţe pentru sistemul liniar caracterizat de
(1.361) este
p q
x [ n ] + ∑ ak x [ n − k ] = ∑ bk w [ n − k ] (1.362)
k =1 k =0

unde w[n] este zgomot alb.


Se disting trei situaţii:

a) Proces autoregresiv cu medie alunecătoare (ARMA),


notat ARMA(q, p ) . În acest caz filtrul liniar cu funcţia de sistem
B( z)
H ( z) = are poli şi zerouri nebanale. Sistemul care generează
A( z )

91
zgomot alb din x [ n ] este de asemenea cu poli şi zerouri şi are
1 A( z )
funcţia de sistem H w ( z ) = = .
H ( z ) B( z )
b) Proces autoregresiv (AR), notat
AR ( p ) = ARMA(0, p ) , pentru care b0 = 1, bk = 0, k > 0 , caz în care
1
H ( z) = caracterizează un filtru numai cu poli. Ecuaţia cu
A( z )
diferenţe corespunzătoare este
p
x [ n ] + ∑ ak x [ n − k ] = w [ n ] (1.363)
k =1

1
Filtrul de albire caracterizat de funcţia de sistem H w ( z ) = ,
H ( z)
care generează un proces de zgomot alb, când este excitat cu x[n] ,
este, evident, un filtru numai cu zerouri.
c) Proces cu medie mobilă (alunecătoare) (MA), notat
MA(q ) = ARMA(q,0) , ak = 0, k ≥ 1 , caz în care H ( z ) = B ( z ) este
un filtru numai cu zerouri caracterizat de ecuaţia cu diferenţe
q
x [ n ] = ∑ bk w [ n − k ] (1.364)
k =0

Filtrul de albire pentru procesul MA are numai poli.


Se face menţiunea că adoptarea modelului sub forma unei
expresii raţionale pentru densitatea spectrală de putere, dat în relaţia
(1.356), s-a făcut datorită următoarelor motive:
1- evaluarea numerică a parametrilor necunoscuţi este relativ
simplă,
2 - un spectru arbitrar poate fi aproximat destul de fidel de acest
model.
92
1.24. Relaţii între parametrii modelului şi secvenţa de
autocorelaţie a procesului

Fie, în general, un filtru cu funcţia de sistem dată de (1.361).


Dacă acest filtru este excitat cu zgomot alb, atunci densitatea
spectrală de putere a procesului aleator staţionar rezultat la ieşirea
acestuia este o funcţie raţională, putându-se stabili o legătură între
secvenţa de autocorelaţie a procesului, γ xx [ m] , şi parametrii ak şi
bk ai filtrului. Aceasta se poate obţine multiplicând la dreapta relaţia
(1.362) cu x* [ n − m ] şi apoi mediind ambii membri ai ecuaţiei
rezultate pentru n = ni . Dacă procesul aleator x[n] are valori reale,
multiplicarea se face cu x [ n − m ] .
p
E ⎡⎣ x [ ni ] x* [ ni − m ]⎤⎦ = −∑ ak E ⎡⎣ x [ ni − k ] x* [ ni − m]⎤⎦ +
k =1
q
(1.365)
+ ∑ bk E ⎡⎣ w [ ni − k ] x [ ni − m]⎤⎦
*

k =0

adică
p q
γ xx [ m ] = −∑ ak γ xx [ m − k ] + ∑ bk γ xw [ m − k ] (1.366)
k =1 k =0

unde γ xw [ m] este secvenţa de corelaţie între x [ n ] şi w [ n ] .


Secvenţa de corelaţie γ xw [ m] se poate exprima în funcţie de
răspunsul la impuls al filtrului h[n] , după cum urmează:
γ xw [ m] = E { x* [ ni ] w [ ni + m ]} =
⎧∞ ⎫
E ⎨∑ h [ k ] w* [ ni − k ] w [ ni + m]⎬ =
⎩ k =0 ⎭

93

∑ h [ k ] E {w [ n − k ] w[ n + m]} =
k =0
*
i i

∞ ∞
(1.367)
∑ h [ k ]γ
k =0
ww [k + m] =∑ h [ k ]σ δ [k + m] =σ h [ − m ]
k =0
2
w
2
w

unde σ este dispersia zgomotului alb. Înseamnă, deci, că


2
w

⎧⎪0, m > 0
γ wx [ m] = ⎨ 2 (1.367’)
⎪⎩σ w h [ −m ] , m ≤ 0
Ţinând seama de (1.367’), al doilea termen al sumei (1.366)
se prelucrează după cum urmează:
q q k −m= p q−m

∑ bkγ xw [ m − k ] = σ w2 ∑ bk h [ k − m] = σ w2
k =0 k =0
∑b
p =− m
p+m h [ p] =
(1.368)
q−m
=σ 2
w ∑b k +m h[k ]
k =0

numai pentru k − m ≥ 0 şi cum 0 ≤ k ≤ q , rezultă 0 ≤ m ≤ q . Pentru


m > q , limita superioară a sumei este negativă, ceea ce implică
argumente negative pentru răspunsul la impuls, caz în care acesta
este egal cu zero şi suma devine egală cu zero.
Din (1.366) şi (1.368) rezultă
⎧ p
⎪−∑ ak γ xx [ m − k ] , m > q
⎪ k =1
⎪ p q −m
γ xx [ m ] = ⎨−∑ ak γ xx [ m − k ] + σ w2 ∑ h [ k ] bk + m ,0 ≤ m ≤ q (1.369)
⎪ k =1 k =0
⎪γ [ − m ] , m < 0
*
⎪ xx

Relaţiile (1.369) dintre funcţia de autocorelaţie a procesului
şi parametrii modelului sunt valabile pentru un proces ARMA.

94
q −m
Aceste relaţii sunt neliniare din cauza termenului σ w2 ∑ h [ k ] bk + m , în
k =0

care h[k ] se determină din raportul polinoamelor B ( z ) şi A( z ) ,


depinzând astfel de coeficienţii ak şi bk .
Pentru un proces AR, relaţiile (1.369) se simplifică, devenind
⎧ p
⎪−∑ ak γ xx [ m − k ] , m > 0
⎪ k =1
⎪ p
γ xx [ m ] = ⎨−∑ ak γ xx [ m − k ] + σ w2 , m = 0 (1.370)
⎪ k =1
⎪γ * [ − m ] , m < 0
⎪ xx

În acest caz relaţiile dintre γ xx [ m ] şi {ak } sunt liniare.
Acestea se numesc ecuaţiile Yule-Walker şi se exprimă matriceal
sub forma
⎡ 1 ⎤ ⎡σ 2 ⎤
⎡ γ xx [ 0] γ xx [ −1] γ xx [ −2] ....... γ xx [ − p ] ⎤ ⎢ ⎥ ⎢ w ⎥
⎢ ⎥ ⎢ a1 ⎥ ⎢ 0 ⎥
⎢ γ xx [1 ] γ xx [ 0 ] γ xx [ −1 ] ....... γ xx [ − p + 1] ⎥⎢ . ⎥ = ⎢ . ⎥
⎢ . . . . . ⎥⎢ ⎥ ⎢ ⎥
⎢ ⎥⎢ . ⎥ ⎢ . ⎥
γ
⎣⎢ xx [ p ] γ xx [ p − 1] γ xx [ p − 2 ] ....... γ xx [ 0 ] ⎦⎥ ⎢ a ⎥ ⎢ 0 ⎥
⎣ p⎦ ⎣ ⎦
(1.370’)
Matricea de corelaţie este de tip Toeplitz şi există algoritmi
pentru inversarea ei.
Prin impunerea ak = 0 ; 1 ≤ k ≤ p ; h [ k ] = bk ; 0 ≤ k ≤ q în
relaţia (1.369), rezultă relaţiile dintre funcţia de autocorelaţie şi
parametrii modelului în cazul unui proces MA, adică

95
⎧ 2 q
⎪σ w ∑ bk bk + m ,0 ≤ m ≤ q
⎪⎪ k =0
γ xx [ m ] = ⎨0, m > q (1.371)
⎪γ * − m , m < 0
⎪ xx [ ]
⎪⎩
În principiu, relaţiile (1.369) permit determinarea
parametrilor modelului, dacă se cunosc valorile funcţiei de
autocorelaţie. Cum, însă, în foarte multe cazuri, funcţia de
autocorelaţie nu este cunoscută, valorile acesteia pot fi estimate pe
baza unui număr de eşantioane (măsurări sau observaţii) ale unei
realizări particulare a procesului aleator. Invers, când se cunosc
parametrii modelului, funcţia de autocorelaţie se poate determina
recursiv. Alegerea modelului adecvat procesului este un demers
esenţial, în care numărul de parametri este cel minim necesar
reprezentării fidele a procesului.
Dacă procesul se caracterizează printr-o densitate spectrală
de putere cu maxime ascuţite, este indicată alegerea unui model AR,
cu poli situaţi în apropierea cercului unitate, care să producă acele
maxime. Dacă, însă, densitatea spectrală de putere se caracterizează
prin minime pronunţate, eventual anulări, este indicată alegerea unui
mode MA, cu zerouri plasate în apropierea sau pe cercul unitate la
frecvenţe corespunzătoare acelor minime. Când intervin ambele
tipuri de comportări ale densităţii spectrale de putere, se va alege un
model ARMA.

1.25. Probleme rezolvate


1. Un punct efectuează o mişcare armonică de forma x=asinωt.
Să se determine densitatea de repartiţie de ordinul întâi, w1 ( x ) , a
96
mărimii x în orice moment de timp t, dacă probabilitatea aflării
punctului în intervalul (x, x+dx] este proporţională cu lungimea
intervalului dx şi invers proporţională cu viteza din momentul de timp
corespunzător. Să se determine apoi funcţia de repartiţie de ordinul
întâi, F1 ( x ) , şi probabilitatea ca punctul să se afle în intervalul
( −a < x ≤ −a 2 ) .
Soluţie
Conform relaţiei (1.68), se poate scrie:
w1 ( x)dx = Cdt
unde C este o constantă de proporţionalitate.
Rezultă atunci:
dt C C C
w1 ( x) = C = = = =
dx dx aω cos ωt aω 1 − sin 2 ωt
dt
C C
= =
x2 ω a2 − x2
aω 1 − 2
a
Deoarece w1 ( x ) este o mărime reală, rezultă:
C
w1 ( x) = , pentru |x| < a
ω a2 − x2
Pentru determinarea constantei de proporţionalitate, se
foloseşte relaţia generală:

∫ w ( x ; t )dx
−∞
1 1 1 1 =1

În acest caz:
a
a
Cdx C x ω
∫− a ω a 2 − x 2 = 1 ⇔ ω arcsin a − a = 1 ⇒ C = π
97
Deci:
1
w1 ( x) = , pentru |x| < a
π a2 − x2

x x x
dx x 1 1 1 x
F1 ( x) = ∫ w1 ( x)dx = ∫ = arcsin = + arcsin
−∞ −a π a − x
2 2 π a −a 2 π a
a a
− −
2 2 −a
⎧ a⎫
P ⎨− a < x ≤ − ⎬ = ∫ w1 ( x)dx = ∫ w1 ( x)dx − ∫ w1 ( x)dx =
⎩ 2 ⎭ −a −∞ −∞

⎛ a⎞ 1 1 ⎛ 1⎞ 1
= F1 ⎜ − ⎟ − F1 (∞) − F1 (− a) + F1 (∞ ) = + arcsin ⎜ − ⎟ − −
⎝ 2⎠ 2 π ⎝ 2⎠ 2
1 1⎛ π ⎞ 1⎛ π ⎞ 1 1 1
− arcsin(−1) = ⎜ − ⎟ − ⎜ − ⎟ = − =
π π⎝ 6⎠ π⎝ 2⎠ 2 6 3

2. Valoarea efectivă a tensiunii fluctuante ce corespunde


zgomotului staţionar cu componentă continuă nulă descris de o lege
de repartiţie normală este Uef=16V. Sã se determine probabilitatea ca
zgomotul să depăşească nivelul de prag Up=20V. Se dă valoarea
funcţiei Laplace F(1,25)=0,895.

Soluţie
Conform relaţiei (1.67), legea de repartiţie a zgomotului,
reprezentat prin tensiunea fluctuantă, este de forma:
u2 1 u2
− 2
1 2U 1 −
w1 (u ) = e ef =
2
e 2 16
2π U ef 16 2π
Conform relaţiei (1.77), rezultă:

98
∞ ∞ 20
P {u ≥ U p } = P {u ≥ 20} = ∫ w1 (u )du = ∫ w1 (u )du − ∫ w (u )du =
1
20 −∞ −∞
20 1 u2
1 −
= F (∞ ) −
16 2π ∫e
−∞
2 162
du

Efectuând schimbarea de variabilă:


u
= v , du = 16dv
16
rezultă:
20 2
1 16 − v2 ⎛ 20 ⎞
P {u ≥ 20} = 1 − ∫ e dv = 1 − F ⎜ ⎟ = 1 − F (1, 25) =
2π −∞ ⎝ 16 ⎠
= 1 − 0,895 = 0,105

3. Funcţia caracteristică este definită ca transformata Fourier a


densităţii de repartiţie de ordinul întâi cu semnul lui ω inversat,
adică o funcţie ψ(ω) de forma:

∫ w ( x )e
jω x
ψ (ω ) = 1 dx
−∞

Să se demonstreze că
1 ⎡ dψ (ω ) ⎤
f (t1 ) = m1 { f (t1 )} =
j ⎢⎣ d ω ⎥⎦ω =0
1 ⎡ d 2ψ (ω ) ⎤
f 2 (t1 ) = m1 {f 2 (t1 )} =
j 2 ⎢⎣ dω 2 ⎥⎦ ω =0
etc., unde j = − 1 .
Să se calculeze apoi, pe această cale, valoarea medie în cazul
legii de repartiţie uniforme, definite prin relaţia:

99
⎧ 1
⎪b − a , pentru a ≤ x ≤ b
w1 ( x) = ⎨
⎪ 0 , pentru x > b si x < a

Soluţie
dψ (ω ) ⎡∞ ⎤ ∞
= ⎢ ∫ jxw1 ( x)e dx ⎥ = j ∫ xw1 ( x)dx = j f (t1 ) ⇒
jω x

dω ω =0 ⎣ −∞ ⎦ω =0 −∞

1 ⎡ dψ (ω ) ⎤
f (t1 ) =
j ⎢⎣ dω ⎥⎦ω =0
d 2ψ (ω ) ⎡∞ ⎤
= ⎢ ∫ j 2 x 2 w1 ( x)e jω x dx ⎥ =
dω 2 ω =0 ⎣ −∞ ⎦ ω =0

1 ⎡ d 2ψ (ω ) ⎤
= j 2 ∫ x 2 w1 ( x)dx = j 2 f 2 (t1 ) ⇒ f 2 (t1 ) =
−∞
j 2 ⎢⎣ dω 2 ⎥⎦ω =0
În cazul legii de repartiţie uniforme, funcţia caracteristică este
de forma:
∞ b
1 1
∫ w ( x )e ∫
jω x
ψ (ω ) = dx = e jω x dx = (e jωb − e jω a )
jω (b − a )
1
−∞
b−a a
dψ (ω ) 1 ( jbe jωb − jae jω a ) jω − j (e jωb − e jω a ) b+a
= =j
dω ω =0 b−a j 2ω 2 ω =0 2
Rezultă atunci:
1 dψ (ω ) b+a
f (t1 ) = =
j dω ω =0 2

4. Un semnal staţionar şi ergodic, x, este caracterizat prin


densitatea spectrală de putere:

100
2
S xx ( jω ) =
1 + 4ω 2
Dacă semnalul x este repartizat după o lege normală, să se
determine această lege.
Soluţie
1
1 − 2 ( x − x )2
w1 ( x) = e 2σ
2πσ
unde x şi σ 2 reprezintă valoarea medie şi dispersia.
Conform relaţiilor (1.107) şi (1.116), rezultă:
x = Bxx ( ∞ ) şi σ 2 = Bxx (0) − Bxx (∞)
Pentru a calcula funcţia de autocorelaţie Bxx (τ ) , se foloseşte
teorema Wiener - Khintcine:

1
Bxx (τ ) =
2π −∞
∫S xx ( jω )e jωτ d ω

Efectuând schimbarea de variabilă:

jω = s , ⇒ d ω = 1 ( j ) ds şi atunci :

2 1
S xx ( s ) = =
⎛1 ⎞ ⎛1 ⎞⎛ 1 ⎞
4 ⎜ − s2 ⎟ 2 ⎜ − s ⎟⎜ + s ⎟
⎝4 ⎠ ⎝2 ⎠⎝ 2 ⎠
Funcţia de autocorelaţie se poate calcula folosind teorema
reziduurilor.
j∞
1 e sτ ds
2π j −∫j∞ ⎛ 1
Bxx (τ ) = =
⎞⎛ 1 ⎞
2 ⎜ − s ⎟⎜ + s ⎟
⎝2 ⎠⎝ 2 ⎠

101

⎪ e sτ 1 −τ2
⎪ = e , pentru τ > 0
⎪ 2⎛ 1 − s ⎞ 2
⎪ ⎜⎝ 2 ⎟ 1
⎠ s =−
⎪ 2
=⎨

⎪ e sτ 1 τ2
⎪ = e , pentru τ < 0
⎛ 1
⎪ 2⎜ + s ⎟ ⎞ 2
⎪ ⎝2 ⎠ s= 1
⎩ 2

Fig. p1.4

Deci:
1 − 12 τ
Bxx (τ ) = e
2
şi atunci
x = Bxx ( ∞ ) = 0 , iar σ 2 = Bxx (0) − Bxx (∞)
Legea de repartiţie a semnalului va fi de forma:
1 − x2
w1 ( x) = e
π

102
5. Să se deducă funcţia de autocorelaţie de la ieşirea unui filtru
trece jos ideal, caracterizat prin funcţia de transfer
H ( jω ) = A (ω ) e jφ (ω ) , unde:
⎧⎪ A, pentru ω ≤ ω1
A(ω ) = ⎨
⎪⎩ 0, pentru ω ≥ ω1
dacă la intrarea acestuia se aplică zgomot alb cu densitatea spectrală
de putere S0.

Soluţie
Conform relaţiei (1.205), rezultă:
⎧ 2
2
⎪⎪ A S0 , pentru ω ≤ ω1
S gg ( jω ) = H ( jω ) S0 = ⎨
⎪ 0, pentru ω > ω1
⎪⎩
Conform teoremei Wiener - Khintcine:
∞ ω
1 A2 S0 1 jωτ A2 S 0
∫S 2π −∫ω1
jωτ
Bgg (τ ) = ( jω )e dω = e dω = sin ω1τ
2π πτ
gg
−∞

6. Fie filtrul RC din figura alăturată.

Fig. p6.1

Să se determine funcţia de autocorelaţie de la ieşire, Bgg (τ ) , dacă la


intrare se aplică zgomot alb f(t), cu densitatea spectrală de putere
S ff ( jω ) = S0
103
Soluţie
Conform relaţiei (1.204), rezultă:
2
S gg ( jω ) = H ( jω ) S ff ( jω )
Funcţia de transfer, H ( jω ) a filtrului este:
1
H(jω ) =
1 + jω RC
Rezultă atunci:
2 1 1 1
H ( jω ) = =
1 + jω RC 1 − jω RC 1 + (ω RC ) 2
Deoarece S ff ( jω ) = S0 , rezultă:

S0 1
S gg ( jω ) =
1 + (ω RC ) 2
, Bgg (τ ) =
2π ∫S
−∞
gg ( jω )e jωτ dω

Fig. p6.2

Efectuând schimbarea de variabilă jω = s , ⇒ dω = ⎛⎜ 1 j ⎞⎟ds şi atunci:


⎝ ⎠
j∞
S0 e sτ ds
2π j −∫j∞ (1 + sRC )(1 − sRC )
Bgg (τ ) = =

j∞
1 S0 e sτ ds
=
2π j ( RC ) 2 ∫− j∞ 1 1
=
( + s )( − s)
RC RC
104
⎧ S0
⎪ 2
e sτ τ
⎪ ( RC ) S −
= 0 e RC , pentru τ > 0
⎪⎛ 1 − s ⎞ 2 RC
⎪ ⎜⎝ RC ⎟
⎠ s =− 1
⎪ RC
=⎨
⎪ S0 e sτ
⎪ ( RC ) 2 S0 RC τ

⎪ = e , pentru τ > 0
⎪ ⎜⎛ 1 + s ⎟⎞ 2 RC
⎪ ⎝ RC ⎠ s= 1
⎩ RC

Scris sub formă compactă, rezultă:


τ
S −
Bgg (τ ) = 0 e RC
2 RC

7. Fie X (t ) = {x ( k ) (t )} şi Y (t ) = { y ( k ) (t )} două procese


aleatoare legate prin relaţia Y (t ) = Lt [ X (t )] , unde Lt este un operator
liniar ce operează asupra variabilei t. Dacă Lt este operatorul de
derivare, să se arate că:
∂B (t , t ) ∂B (t , t )
BXX (t1 , t2 ) = XX 1 2 ; BXX (t1 , t2 ) = XX 1 2 ;
∂t2 ∂t1
∂ 2 BXX (t1 , t2 ) ∂X (t )
BXX (t1 , t2 ) = , unde X (t ) = , iar BXX (t1 , t2 ) este
∂t1∂t2 ∂t
funcţia de autocorelaţie. Dacă X (t ) este staţionar în sens larg, să se
∂BXX (t1 − t2 ) ∂B (t − t )
arate că: BXX (t1 − t2 ) = ; BXX (t1 − t2 ) = XX 1 2 ;
∂t2 ∂t1
∂ 2 BXX (t1 − t2 )
BXX (t1 − t2 ) =
∂t1∂t2

105
Soluţie
Fie X (t1 ) = {x ( k ) (t1 )} şi Y (t1 ) = { y ( k ) (t1 )} două variabile
aleatoare ale proceselor aleatoare X (t ) şi Y (t ) . Cele două procese
aleatoare sunt legate prin relaţia
Y (t ) = Lt [ X (t )] (p7.1)
Multiplicând la stânga relaţia (p7.1) cu X (t1 ) şi mediind apoi ambii
membri pentru t = t2 , rezultă
E{ X (t1 )Y (t2 )} = E{ X (t1 ) Lt2 [ X (t2 )]} = Lt2 [ E{ X (t1 ) X (t2 )]
Dar E{ X (t1 )Y (t2 )} = BXY (t1 , t2 )
reprezintă funcţia de corelaţie şi
E{ X (t1 ) X (t2 )} = BXX (t1 , t2 )
reprezintă funcţia de autocorelaţie.
Deci, se poate scrie
BXY (t1 , t2 ) = Lt2 [ BXX (t1 , t2 )] (p7.2)
Multiplicând la dreapta relaţia (p7.1) cu X (t2 ) şi mediind
apoi ambii membri pentru t = t1 , rezultă
E{Y (t1 ) X (t2 )} = E{Lt1 [ X (t1 )] X (t2 )} = Lt1 [ E{ X (t1 ) X (t2 )}]
sau
BYX (t1 , t2 ) = Lt1 [ BXX (t1 , t2 )] (p7.3)
Multiplicând la dreapta relaţia (p7.1) cu Y (t2 ) şi mediind
apoi ambii membri pentru t = t1 , rezultă
E{Y (t1 )Y (t2 )} = E{Lt1 [ X (t1 )]Y (t2 )} = Lt1 [ E{ X (t1 )Y (t2 )}]
sau
BYY (t1 , t2 ) = Lt1 [ BXY (t1 , t2 )] (p7.4)

106
În cazul particular când operatorul Lt este de derivare şi procesul
aleator X (t ) este staţionar în sens larg, relaţiile (p7.2), (p7.3), (p7.4)
devin
∂BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.2’)
∂t2
∂BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.3’)
∂t1
∂ 2 BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.4’)
∂t1∂t2
Dacă se face notaţia t1 − t2 = τ , se poate scrie echivalent:
∂BXX (τ )
BXX (τ ) = − (p7.2’’)
∂τ
∂B (τ )
BXX (τ ) = XX (p7.3’’)
∂τ
∂ 2 BXX (τ )
BXX (τ ) = − (p7.4’’)
∂τ 2

8. Să se arate că dacă x[n] este un proces staţionar, cu valori


complexe, atunci densitatea sa spectrală de putere este o mărime
reală, iar dacă x[n] are valori reale, densitatea spectrală de putere
este, în plus, şi pară.
Soluţie
Dacă x[n] este are valori complexe, atunci funcţia sa de
autocorelaţie are, de asemenea, valori complexe,
γ xx [m] = γ xxR [m] + jγ xxI [m] , unde prin γ xxR [m] şi γ xxI [m] s-a notat
partea reală, respectiv, imaginară, a funcţiei de autocorelaţie γ xx [m] .
Densitatea spectrală de putere este
107

Γ xx (ω ) = ∑γ
m =−∞
xx [m]e − jω m =

∑ (γ
m =−∞
R
xx [m] + jγ xxI [m])(cos ω m − j sin ω m) =

∑ (γ
m =−∞
R
xx [m]cos ω m + γ xxI [m]sin ω m) +

(p8.1)
j ∑ (γ
m =−∞
I
xx [m]cos ω m − γ [m]sin ω m) = Γ (ω ) + jΓ (ω )
R
xx
R
xx
I
xx

Dar γ xx [m] = γ xx* [ − m] = γ xxR [ − m] − jγ xxI [− m]


∞ ∞
Γ xx (ω ) = ∑ γ xx [m]e− jωm =
m =−∞
∑γ
m =−∞
*
xx [− m]e − jω m =

= ∑ (γ
m =−∞
R
xx [− m] − jγ xxI [− m])(cos ω m − j sin ω m) =

∑ (γ
m =−∞
R
xx [− m]cos ω m − γ xxI [− m]sin ω m) −

j ∑ (γ
m =−∞
I
xx [− m]cos ω m + γ xxR [− m]sin ω m) =

∑ (γ
m =−∞
R
xx [m]cos ω m + γ xxI [m]sin ω m) −

j ∑ (γ
m =−∞
I
xx [m]cos ω m − γ xxR [−m]sin ω m) =Γ Rxx (ω ) − jΓ Ixx (ω ) (p8.2)

Cum cele două relaţii pentru densitatea spectrală de putere


(p8.1) şi (p8.2) sunt egale, rezultă Γ Ixx (ω ) = 0 .
Dacă x[n] este are valori reale, atunci, impunând în relaţiile
anterioare γ xxI [m] = 0 , rezultă densitatea spectrală de putere

108
∞ ∞
Γ xx (ω ) = ∑ γ xx [m]e− jωm =
m =−∞
∑γ
m =−∞
xx [m]cos ω m

care este o funcţie reală şi pară în ω .

9. Densitatea spectrală de putere a unui proces AR este


σ w2 σ w2
Γ xx (ω ) = =
| A(ω ) |2 1 − e − jω + 1 e −2 jω 2
2

unde σ w2 este dispersia semnalului de intrare.


a) Să se determine ecuaţia cu diferenţe pentru sistemul care
generează procesul AR, când este excitat cu zgomot alb.
b) Să se determine funcţia de sistem a filtrului de albire a
semnalului x[n] .
Soluţie
1
a) A( z ) = 1 − z −1 + 12 z −2 ; H ( z ) =
1 − z + 12 z −2
−1

x[n] = w[n] + x[n − 1] − 12 x[n − 2]

1
b) H w ( z ) = = 1 − z −1 + 12 z −2
H ( z)

10. Un proces ARMA are funcţia de autocorelaţie γ xx [m] a


cărei transformată Z este
9( z − 13 )( z − 3)
Γ xx ( z ) = , 1
2 <| z |< 2
( z − 12 )( z − 2)

109
a) Să se determine filtrul funcţia de sistem H ( z ) a filtrului
cu ajutorul căruia se generează x[n] , dacă la intrare se aplică
zgomot alb. Este H ( z ) unic? Explicaţi. Determinaţi filtrul H ( z )
cauzal şi stabil.
b) Să se determine filtrul de albire liniar, cauzal şi stabil
pentru secvenţa x[n] .
Soluţie
a) Densitatea spectrală a semnalului de la ieşire x[n] , se
exprimă, în funcţie de densitatea spectrală a semnalului de intrare
w[n] şi funcţia de sistem a filtrului, H ( z ) , în forma:
Γ xx ( z ) = Γ ww ( z ) H ( z ) H ( z −1 )
Prin rearanjarea expresiei densităţii de putere a semnalului de
ieşire x[n] , se obţine
27 (1 − 13 z −1 )(1 − 13 z )
Γ xx ( z ) = , 1
<| z |< 2
2 (1 − 12 z −1 )(1 − 12 z ) 2

Dacă pentru H ( z ) nu se impune nici o condiţie de


cauzalitate, în regiunea de convergenţă specificată, rezultă
următoarele posibilităţi:
1 − 13 z −1 1 1 − 13 z 1
H1 ( z ) = −
, | z |> ; H 2 ( z ) = −
, | z |> ;
1 − 12 z 1
2 1 − 12 z 1
2
1 − 13 z 1 − 13 z −1
H3 ( z) = , | z |< 2; H 4 ( z ) = | z |< 2.
1 − 12 z 1 − 12 z
pentru care se obţine Γ xx ( z ) din enunţ.
Impunând pentru H ( z ) condiţia să fie cauzal, rezultă numai
două soluţii, H1 ( z ) şi H 2 ( z ) .

110
b) Pentru ca filtrul de albire să fie stabil, se impune ca filtrul
H ( z ) să fie de fază minimă, adică zerourile sale să fie în interiorul
cercului unitate, condiţie îndeplinită de filtrul H1 ( z ) .
1 1 − 12 z −1
H w ( z) = = 1 −1
, | z |> 13 .
H1 ( z ) 1 − 3 z

11. Fie un proces ARMA generat de ecuaţia cu diferenţe


x[n] = 1,6 x[n − 1] − 0,63 x[n − 2] + w[n] + 0,9 w[n − 1] , unde w[n] este
zgomot alb, staţionar.
a) Să se determine funcţia de sistem a filtrului de albire stabil şi
polii şi zerourile acestuia.
b) Să se determine densitatea spectrală de putere pentru x[n] .
Soluţie
W ( z ) 1 − 1,6 z −1 + 0,63z −2
a) H w ( z ) = = , | z |> 0,9
X ( z) 1 + 0,9 z −1
p1 = −0,9; p2 = 0; z1 = 0,9; z2 = 0,7.
b)
X ( z) 1 + 0,9 z −1 1 + 0,9 z −1
H ( z) = = = ,
W ( z ) 1 − 1,6 z −1 + 0,63 z −2 (1 − 0,9 z −1 )(1 − 0,7 z −1 )
| z |> 0,9
Γ xx ( z ) = Γ ww ( z ) H ( z ) H ( z −1 ) =
(1 + 0,9 z −1 )(1 + 0,9 z )
σ 2
w =
(1 − 0,9 z −1 )(1 − 0,7 z −1 )(1 − 0,9 z )(1 − 0,7 z )
1 + 0,9( z + z −1 ) + 0,81
= σ w2 ,
(1 − 0,9( z + z −1 ) + 0,81)(1 − 0,7( z + z −1 ) + 0, 49)
RC : 0,9 <| z |< 1
0,9

111
Cum cercul unitate este inclus în regiunea de convergenţă a
lui Γ xx ( z ) , densitatea spectrală de putere Γ xx (ω ) se obţine prin
evaluarea lui Γ xx ( z ) pe cercul unitate. z = e jω , z + z −1 = 2cos ω .
1,81 + 1,8cos ω
Γ xx (ω ) = σ w2
(1,81 − 1,8cos ω )(1, 49 − 1, 4cos ω )

12. Un proces AR, de ordinul întâi, x[n] , cu valori reale,


satisface ecuaţia cu diferenţe x[n] + a1 x[n − 1] = w[n] , unde a1 este
o constantă reală, iar w[n] , zgomot alb cu dispersia σ w2 . Pentru
cazul când media lui w[n] este egală cu zero şi | a1 |< 1 , să se arate
σ w2
că var( x[n]) = .
1 − a12
Soluţie

σ x2 = γ xx [0], γ xx [m] = Z −1{Γ xx ( z )},


σ w2
Γ xx ( z ) = σ w2 H ( z ) H ( z −1 ) =
(1 + a1 z −1 )(1 + a1 z )

σ w2 ⎛ z z ⎞
Γ xx ( z ) = 2 ⎜
− ⎟,
1 − a1 ⎜⎝ z + a1 z − a11 ⎟

σ w2 ⎛ ⎞
m
⎛1⎞
γ xx [m] = ⎜ a u[ m
m ] + ⎜ ⎟ u[ − m − 1] ⎟
1 − a12 ⎜ ⎟
1
⎝ a1 ⎠
⎝ ⎠
σ w2
γ xx [0] =
1 − a12
112
13. Un proces MA(2) are următoarea secvenţă de
autocorelaţie:
⎧6σ w2 , m = 0

⎪−4σ , m = ±1
2
γ xx [m] = ⎨ 2 w
⎪σ w , m = ±2
⎪0, în rest

a) Să se determine coeficienţii procesului MA(2).
b) Este soluţia unică? Dacă nu, găsiţi toate soluţiile posibile.
Soluţie
a) Un proces MA(2) este caracterizat de următoarea ecuaţie
cu diferenţe:
x[n] = b0 w[n] + b1w[ n − 1] + b2 w[n − 2] ,
unde w[n] este zgomot alb, cu dispersia σ w2 .
Prin definiţie,
γ xx [m] = E{x[ni ]x[ni + m]} =
E{(b0 w[ni ] + b1w[ni − 1] + b2 w[ ni − 2]) ⋅
(b0 w[ni + m] + b1w[ni − 1 + m] + b2 w[ni − 2 + m])}
Ţinând cont că
⎧σ w2 , pentru mi = ni
E{w[mi ]w[ni ]} = ⎨ ,
⎩0, în rest
rezultă
γ xx [0] = (b02 + b12 + b22 )σ w2
γ xx [1] = (b0b1 + b1b2 )σ w2
γ xx [2] = b0b2σ w2
Prin identificare cu funcţia de autocorelaţie dată în problemă,
se poate scrie
113
⎧b02 + b12 + b22 = 6

⎨b0b1 + b1b2 = −4
⎪b b = 1
⎩ 0 2
de unde rezultă următoarele soluţii:
b0 = 1, b1 = −2, b2 = 1 , respectiv,
b0 = −1, b1 = 2, b2 = −1 .
b) Soluţia nu este unică, există două procese MA(2)
caracterizate de aceeaşi funcţie de autocoralaţie, acestea fiind:
x[n] = w[n] − 2 w[n − 1] + w[n − 2]
x[n] = − w[n] + 2w[n − 1] − w[ n − 2]

14. Să se determine media şi funcţia de autocorelaţie a


secvenţei x[n] , staţionare în sens larg, care este ieşirea unui process
ARMA(1,1), descris de ecuaţia cu diferenţe
1
x[n] = x[n − 1] + w[n] − w[n − 1] , unde w[n] este zgomot alb,
2
staţionar, cu dispersia σ w2 .
Soluţie
Dacă h[k ] este funcţia pondere a sistemului care furnizează
procesul ARMA(1,1), atunci se poate scrie

x[n] = ∑ h[k ]w[n − k ]
k =−∞

⎧ ∞ ⎫ ∞
E{x[ni ]} = E ⎨ ∑ h[k ]w[ni − k ]⎬ = ∑ h[k ]E{w[ni − k ]} = 0
⎩ k =−∞ ⎭ k =−∞
Funcţia de autocorelaţie a ieşirii este transformata Fourier
inversă a densităţii spectrale de putere de la ieşire. În domeniul Z,
aceasta se scrie:
114
γ xx [ m] = Z −1{Γ xx ( z )}
unde
1 − z −1
Γ xx ( z ) = Γ ww ( z ) | H ( z ) | = σ H ( z ) H ( z ) şi H ( z ) =
2 2 −1
.
w
1 −1
1− z
2
⎛ ⎞
1− z −1
1− z ⎜ − z
2 2
z ⎟ 1
Γ xx ( z ) = σ w2 ⋅ = σ w2 ⎜ 2 + 3 + 3 ⎟ , RC : <| z |< 2
1 1 1 z−2 2
1 − z −1 1 − z ⎜ z− ⎟
2 2 ⎝ 2 ⎠

⎛ 2⎛1⎞
m
2⎛1⎞
−m

γ xx [m] = σ ⎜ 2δ [n] − ⎜ ⎟ u[m] − ⎜ ⎟ u[−m − 1] ⎟ =
2
⎜ w
3⎝ 2⎠ 3⎝ 2⎠ ⎟
⎝ ⎠
⎛ 2⎛1⎞ ⎞
|m|

= σ ⎜ 2δ [n] − ⎜ ⎟ ⎟
2
⎜ w
3 ⎝ 2 ⎠ ⎟⎠

15. Funcţia de autocorelaţie a unui proces AR, generat de un


|m|
⎛1⎞
sistem liniar excitat cu zgomot alb, staţionar, este γ xx [m] = ⎜ ⎟ . Să
⎝4⎠
se determine ecuaţia cu diferenţe corespunzătoare sistemului care
produce procesul AR. Este soluţia unică?
Soluţie
Densitatea spectrală de putere a procesului AR, exprimată în
domeniul Z este
Γ xx ( z ) = Z {γ xx [m]} = X ( z ) X ( z −1 ) = σ w2 H ( z ) H ( z −1 )
unde H ( z ) este funcţia de sistem a sistemului ce produce procesul
aleator x[n] , când este excitat cu zgomotul alb w[n] , de dispersie
σ w2 .
115
⎪⎧⎛ 1 ⎞ ⎪⎫ −1 ⎛ 1 ⎞ − k ∞ ⎛ 1 ⎞ − k
|m| −k k

Γ xx ( z ) = Z ⎨⎜ ⎟ ⎬ = ∑ ⎜ ⎟ z + ∑ ⎜ ⎟ z =
⎩⎪⎝ 4 ⎠ ⎭⎪ k =−∞ ⎝ 4 ⎠ k =0 ⎝ 4 ⎠

∞ k
∞ k
⎛1 ⎞ ⎛1 ⎞
= ∑ ⎜ z ⎟ + ∑ ⎜ z −1 ⎟ − 1
k =0 ⎝ 4 ⎠ k =0 ⎝ 4 ⎠
z
Prima progresie este convergentă, dacă < 1 , adică | z |< 4 , iar a
4
z −1 1
doua, dacă < 1 , adică z > . Domeniul comun de convergenţă
4 4
1
rezultă <| z |< 4 . În acest caz
4
1
z z 15
Γ xx ( z ) = 4 1 + = 16
.
1 − 4 z z − 14 (1 − 14 z ) (1 − 14 z −1 )
Impunând condiţia ca sistemul să fie stabil şi cauzal, rezultă
± 15
16σ w2
H ( z) = ,
(1 − 14 z −1 )
de unde rezultă ecuaţia cu diferenţe corespunzătoare:
1
x[n] = x[n − 1] ± 1615σ 2 w[n]
4 w

Se observă că soluţia nu este unică.

116
CAPITOLUL 2

ESTIMAREA FORMEI SEMNALULUI

Estimarea formei semnalului este o operaţie de filtrare a


semnalului util, purtător de informaţie, din semnalul recepţionat,
impunându-se pentru aceasta un semnal dorit a fi estimat, d (t ) .

2.1. Schema bloc a unui sistem de transmisiuni care


realizează estimarea formei semnalului

În figura 2.1 se dă schema bloc simplificată a unui sistem de


transmisiuni care realizează estimarea formei semnalului.

Fig. 2.1. Schema bloc a unui sistem de transmisiuni care realizează


estimarea formei semnalului

Sursa de informaţie, S, furnizează mesajul m(t) purtător de


informaţie care, în cazul general, va fi descris matematic de un proces
aleator, staţionar în sens larg. Canalul de transmisiuni, C, este afectat
de perturbaţiile P, caracterizate de zgomotul n(t), care, în cazul

117
general, va fi, de asemenea, descris de un proces aleator, staţionar în
sens larg. Mai mult, zgomotul de pe canalul de transmisiuni se va
considera aditiv, adică semnalul recepţionat, r(t), va fi de forma:
r (t ) = m(t ) + n(t ) (2.1)
Cunoscându-se statistica zgomotului de pe canal, receptorul R
va trebui proiectat astfel încât, la aplicarea semnalului recepţionat la
intrarea acestuia, să rezulte la ieşire un estimat, d̂ (t ) .
În cazul cel mai general, semnalul dorit a fi estimat este de
forma:
d (t ) = F [m(t )] (2.2)
unde F este o transformată cunoscută a mesajului furnizat de sursă.
În aplicaţiile practice, transformata F este liniară şi de obicei
foarte simplă, întâlnindu-se curent următoarele situaţii:
1) Filtrarea mesajului din semnalul recepţionat, caz în care:
d (t ) = m(t ) (2.3)
2) Filtrarea cu întârziere a mesajului din semnalul recepţionat,
operaţie întâlnită şi sub denumirile de interpolare sau netezire, caz în
care:
d (t ) = m(t + α ),α < 0 (2.4)
3) Filtrarea cu anticipare a mesajului din semnalul
recepţionat, operaţie întâlnită şi sub denumirile de extrapolare sau
predicţie, caz în care:
d (t ) = m(t + α ), α > 0 (2.5)
Între semnalul dorit a fi estimat, d (t ), şi estimatul furnizat la
ieşirea receptorului, d̂ (t ) , există totdeauna o diferenţă, numită eroare
de estimare, notată ε (t ) , dată de relaţia:
ε (t ) = d (t ) − dˆ (t ) (2.6)

118
Aprecierea estimării ca optimală se face în raport cu un criteriu
care, în general, minimizează o funcţie a erorii de estimare.
Unul dintre cele mai utilizate criterii este criteriul erorii
pătratice medii minime, conform căruia se minimizează eroarea
pătratică medie:
2
ε 2 ( t1 ) = ⎡⎣ d ( t1 ) − dˆ ( t1 ) ⎤⎦ (2.7)

2.2. Ecuaţia integrală Wiener - Hopf

Considerând semnalele m(t ) şi n(t ) procese aleatoare


staţionare în sens larg, cu valoare medie nulă, receptorul care poate
minimiza eroarea pătratică medie dată de relaţia (2.7) devine un filtru
optimal şi poate fi determinat în clasa filtrelor liniare invariante.
Notând cu h0 (t ) funcţia pondere a unui astfel de filtru optimal,
liniar şi invariant în timp, estimatul (răspunsul), d̂ (t ) , la semnalul
recepţionat r (t ) , care asigură eroarea pătratică medie minimă,
ε 02 ( t1 ) , se poate deduce cu integrala de convoluţie:

d̂ ( t ) = ∫ h (τ ) r ( t − τ ) dτ
0 (2.8)
−∞

Pentru ca filtrul optimal să fie cauzal, trebuie satisfăcută


condiţia:
ho (t ) = 0, pentru t < 0 (2.9)
Cu restricţia dată de (2.9), relaţia (2.8) devine:

d̂ ( t ) = ∫ h0 (τ ) r ( t − τ ) dτ (2.10)
0

Eroarea pătratică medie minimă se poate atunci calcula

119
înlocuind (2.10) în (2.7), pentru t = t1 , adică:
⎧⎪ ⎡ ∞
⎤ ⎫⎪
2

ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 (τ ) r ( t1 − τ ) dτ ⎥ ⎬
2
0 (2.11)
⎪⎩ ⎣ 0 ⎦ ⎪⎭
În scopul determinării funcţiei pondere h0 (t ) a filtrului optimal
care asigură eroarea pătratică medie minimă, se consideră un filtru
liniar invariant cu funcţia pondere:
h(t ) = ho (t ) + λl (t ) (2.12)
unde λ este un parametru real.
Pentru asigurarea cauzalităţii, va trebui ca pe lângă condiţia
dată de relaţia (2.9) să se impună suplimentar condiţia:
l ( t ) = 0, pentru t < 0 (2.13)
Termenul λl (t ) din relaţia (2.12) reprezintă abaterea funcţiei
h(t ) de la funcţia pondere h0 (t ) a filtrului optimal care asigură
eroarea pătratică medie minimă.
Notând cu ε 2 ( t1 ) eroarea pătratică medie cauzată de filtrul
caracterizat de funcţia pondere h(t ) aceasta poate fi calculată cu
relaţia:
⎧⎪ ⎡ ∞
⎤ ⎫⎪
2

ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h (τ ) r ( t1 − τ ) dτ ⎥ ⎬
2
(2.14)
⎪⎩ ⎣ 0 ⎦ ⎪⎭
sau, ţinând cont de (2.12), rezultă echivalent, relaţia:
⎧⎪ ⎡ ∞ ∞

2
⎫⎪
ε 2 ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 (τ ) r ( t1 − τ ) dτ − λ ∫ l ( u ) r ( t1 − u ) du ⎥ ⎬ =
⎩⎪ ⎣ 0 0 ⎦ ⎭⎪
= aλ 2 + bλ + c
(2.15)
unde coeficienţii a , b şi c sunt independenţi de parametrul λ .
120
Din relaţia (2.12) rezultă că pentru λ = 0 se obţine funcţia
pondere a filtrului optimal, indiferent de l (t ).
Condiţia necesară de extrem a erorii pătratice medii, ca funcţie
de λ , se obţine egalând cu zero derivata acesteia în raport cu λ .
Extremul respectiv este un minim, deoarece
∂ 2ε 2 ( t1 ) ⎧⎪ ⎡ ∞ ⎤ ⎫⎪
2

= 2a = 2m1 ⎨ ⎢ ∫ l ( u ) r ( t1 − u ) du ⎥ ⎬ > 0 .
∂λ 2
⎩⎪ ⎣ 0 ⎦ ⎭⎪
Reunind cele două condiţii, rezultă că eroarea pătratică medie
devine minimă, atunci când este îndeplinită condiţia:
∂ε 2 ( t1 )
=0⇔b=0 (2.16)
∂λ λ = 0
Identificând coeficientul lui λ din relaţia (2.15) şi egalându-l
cu zero, rezultă:

⎡ ∞

∫0 ⎣
l ( u ) ⎢ d ( t1 ) r ( t1 − u ) − ∫0 h0 (τ ) r ( t1 − τ ) r ( t1 − u ) dτ ⎥du = 0 (2.17)

Ţinând cont de (2.13), rezultă că relaţia (2.17) este adevărată
atunci când:

d ( t1 ) r ( t1 − u )− ∫ h0 (τ ) r ( t1 − τ ) r ( t1 − u )dτ = 0, u ≥ 0 (2.18)
0

Dar:
d ( t1 ) r ( t1 − u ) = Βdr ( t1 − u − t1 ) = Βdr ( −u ) = Βrd ( u ) (2.19)
reprezintă funcţia de corelaţie între semnalul recepţionat, r (t ) , şi
semnalul dorit a fi estimat, d (t ) , iar:
r ( t1 − τ ) r ( t1 − u ) = Β rr ⎡⎣( t1 − u ) − ( t1 − τ ) ⎤⎦ = Β rr (τ − u ) =
(2.20)
= Β rr ( u − τ )
reprezintă funcţia de autocorelaţie a semnalului recepţionat.
121
Cu (2.19) şi (2.20), relaţia (2.18) devine:

∫ h (τ ) Β ( u − τ ) dτ = Β ( u ) , u ≥ 0
0
0 rr rd (2.21)

Ecuaţia integrală (2.21) este cunoscută în literatura de


specialitate ca ecuaţia integrală Wiener - Hopf. Din această ecuaţie se
determină funcţia pondere h0 (t ) a filtrului optimal, care asigură
eroarea pătratică medie minimă, chiar în cazul cel mai defavorabil,
când mesajul m(t ) purtător de informaţie este înecat în zgomotul n(t ).
Din demonstraţia care a condus la ecuaţia integrală Wiener -
Hopf rezultă că nici un alt filtru liniar nu poate realiza o eroare
pătratică medie mai mică decât filtrul liniar cu funcţia pondere h0 (t ) ,
ce satisface această ecuaţie integrală.
Observaţia 1
Ecuaţia integrală Wiener - Hopf poate fi formal obţinută
plecându-se de la integrala de convoluţie. Într-adevăr, dacă receptorul
R din figura (2.1) este caracterizat de funcţia pondere h0 (t ), în
condiţiile de cauzalitate se poate scrie:

∫ h (τ )r ( t
0
0 1 − τ ) dτ = d ( t1 ) (2.22)

Înmulţind la stânga cu r (0 ) ≠ 0 ambii membri ai ecuaţiei


(2.22), se poate scrie succesiv:


r ( 0 ) ∫ h0 (τ ) r ( t1 − τ )dτ = r ( 0 ) d ( t1 ) ⇔ ⎪
0 ⎪
∞ ⎬ (2.23)

∫0 h0 (τ ) r ( 0 ) r ( t1 − τ ) dτ = r ( 0 ) d ( t1 ) ⎪⎭
Mediind ambii termeni, rezultă:

122
⎧∞ ⎫ ⎫
m1 ⎨ ∫ h0 (τ ) r ( 0 ) r ( t1 − τ ) dτ ⎬ = m 1 {r ( 0 ) d ( t1 )} ⇔ ⎪
⎩0 ⎭ ⎪
⎬ (2.24)


∫0 h0 (τ ) r ( 0 ) r ( t1 − τ )dτ = r ( 0 ) d ( t1 ) ⎪

Dar:
r ( 0 ) r ( t1 − τ ) = Β rr ( t1 − τ − 0 ) = Β rr ( t1 − τ ) ⎫⎪
⎬ (2.25)
r ( 0 ) d ( t1 ) = Β rd ( t1 − 0 ) = Β rd ( t1 ) ⎪⎭
Rezultă astfel ecuaţia integrală:

∫ h (τ ) Β ( t
0
0 rr 1 − τ ) dτ = Β rd ( t1 ) (2.26)

Observaţia 2
Faptul că mesajul m(t ) s-a presupus un proces aleator, poate fi
justificat presupunând că se fac două observări asupra unui semnal
determinist s (t ) .
Se presupune că, la prima observare, peste semnalul
determinist se suprapune zgomotul n1 (t ) , modelat matematic de un
proces aleator staţionar în sens larg. La o a doua observare se
presupune că peste semnalul determinist se suprapune zgomotul
n2 (t ) , modelat, de asemenea, matematic de un proces aleator staţionar
în sens larg. Pentru estimarea semnalului determinist s (t ) , utilizând o
filtrare optimală Wiener Hopf, se foloseşte schema bloc din figura 2.2.

Fig. 2.2. Schema bloc pentru estimarea unui semnal determinist s(t)

123
În acest caz, semnalul recepţionat este de forma:
r (t ) = n1 (t ) − n2 (t ) , (2.27)
fiind într-adevăr un proces aleator, staţionar în sens larg, dacă
zgomotele n1 (t ) şi n2 (t ) se modelează prin procese aleatoare
staţionare în sens larg.
Filtrul optimal, caracterizat de funcţia pondere ho (t ) , va
furniza la ieşire procesul aleator n1 (t ) , cu eroarea pătratică medie
minimă, dacă funcţia pondere satisface ecuaţia integrală Wiener –
Hopf (2.21), unde:
Β rr ( u ) = r ( t1 ) r ( t1 + u ) = ⎡⎣ n1 ( t1 ) − n2 ( t1 ) ⎤⎦ ⎡⎣ n1 ( t1 + u ) − n2 ( t1 + u ) ⎤⎦ =
= Β n2n2 ( u ) + Β n1n1 ( u )
(2.28)
În relaţia (2.28) s-a ţinut cont că zgomotele n1 (t ) şi n2 (t ) sunt
procese aleatoare statistic independente, cu valoare medie nulă, adică
n1 ( t1 ) n2 ( t1 + u ) = n1 ( t1 ) ⋅ n2 ( t1 + u ) = 0 ⎪⎫
⎬ (2.29)
n2 ( t1 ) n1 ( t1 + u ) = n2 ( t1 ) ⋅ n1 ( t1 + u ) = 0 ⎪⎭

Β rd (u ) = Β rn1 ( u ) = r ( t1 ) n1 ( t1 + u ) = ⎡⎣ n1 ( t1 ) − n2 ( t1 )⎤⎦ n1 ( t1 + u )
(2.30)
= Β n1n1 ( u )
În felul acesta, ecuaţia integrală Wiener-Hopf pentru
determinarea funcţiei pondere h0 (t ) a filtrului optimal va fi în acest
caz, de forma:

∫ h (τ ) ⎡⎣Β ( u − τ ) + Β ( u − τ )⎤⎦dτ = Β ( u ) , u ≥ 0 (2.31)


0
0 n2 n2 n1n1 n1n1

124
2.3. Soluţia ecuaţiei integrale Wiener - Hopf în cazul
filtrelor optimale necauzale

Dacă se renunţă la condiţia de cauzalitate a filtrului optimal,


soluţia ecuaţiei integrale Wiener - Hopf se obţine foarte uşor, deoarece
în acest caz relaţia (2.21) devine:

∫ h (τ )Β ( u − τ ) dτ = Β ( u ) , −∞ < u < ∞
−∞
0n rr rd (2.32)

unde prin h0 n (τ ) s-a notat funcţia pondere a filtrului optimal necauzal.


Fie S rr ( jω ) , S rd ( jω ) şi H 0 n ( jω ), densitatea spectrală de
putere a semnalului recepţionat, densitatea spectrală de putere de
interacţiune, respectiv funcţia de transfer a filtrului optimal necauzal,
adică:


S rr ( jω ) = ∫ Β rr (τ )e − jωτ dτ ⎪
−∞



S rd ( jω ) = ∫ Β rd (τ )e − jωτ dτ ⎬ (2.33)
−∞ ⎪
∞ ⎪
H 0 n ( jω ) = ∫ h0 n (τ )e − jωτ dτ ⎪
−∞ ⎭

Ţinând cont de (2.33), transformata Fourier aplicată ecuaţiei


(2.32), permite să se scrie:
S ( jω )
H 0 n ( jω )S rr ( jω ) = S rd ( jω ) ⇒ H 0 n (s ) = rd
S rr ( jω )
sau în variabilă complexă s = σ + jω :
S rd (s )
H 0 n (s ) = (2.34)
S rr (s )
Se presupune peste tot că regiunea de convergenţă a funcţiilor

125
în variabilă complexă s conţine axa imaginară jω şi, deci, peste tot
este posibilă înlocuirea lui s cu jω . Funcţia de transfer H 0 n (s ) astfel
obţinută va avea, probabil, poli şi în semiplanul drept, caracterizând
astfel un filtru optimal nerealizabil.
Dacă semnalul recepţionat r (t ) este dat de relaţia (2.1), atunci,
conform teoremei Wiener - Khintcine, se poate scrie:

{
S rr ( jω ) = F {Β rr (τ )} = F r ( t1 ) r ( t1 + τ ) = }
{ }
F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ ⎡⎣ m ( t1 + τ ) + n ( t1 + τ ) ⎤⎦ =
(2.36)
{
= F m ( t1 ) m ( t1 + τ ) + n ( t1 ) n ( t1 + τ ) = }
= F {Β mm (τ )} + F {Β nn (τ )} = S mm ( jω ) + Snn ( jω ) ,
deoarece
n ( t1 ) m ( t1 + τ ) = n ( t1 ) ⋅ m ( t1 + τ ) = 0 ⎫⎪
⎬ (2.37)
m ( t1 ) n ( t1 + τ ) = m ( t1 ) ⋅n ( t1 + τ ) = 0 ⎪⎭
Relaţiile (2.37) se datorează independenţei statistice a
zgomotului de pe canal faţă de mesajul m(t ) purtător de informaţie şi
faptului că valoarea medie a zgomotului este nulă.
În mod analog, se poate scrie:
{
S rd ( jω ) = F {Β rd (τ )} = F r ( t1 ) d ( t1 + τ )} (2.38)
În cazul filtrării mesajului din semnalul recepţionat, adică
atunci când este îndeplinită relaţia (2.3), rezultă:
{
S rd ( jω ) = F r ( t1 ) m ( t1 + τ ) =}
{ }
= F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ m ( t1 + τ ) =

{ }
= F m ( t1 ) m ( t1 + τ ) = F {Βmm (τ )} = Smm ( jω ) (2.39)

126
Funcţia de transfer a filtrului optimal necauzal se obţine
înlocuind (2.36) şi (2.39) în relaţia (2.34), adică:
S mm ( jω )
H on ( jω ) = (2.40)
S mm ( jω ) + S nn ( jω )
În cazul filtrării cu întârziere sau cu anticipare a mesajului din
semnalul recepţionat, rezultă:

{
S rd ( jω ) = F r ( t1 ) m ( t1 + τ + α ) =}
= F {[m ( t1 ) + n ( t1 )]m ( t1 + τ + α )} = (2.41)
= F {Β mm (τ + α )} = e jωα S mm ( jω )
Înlocuind relaţiile (2.36) şi (2.41) în (2.34), funcţia de transfer
a filtrului optimal necauzal devine:
S mm ( jω )
H on ( jω ) = e jωα (2.42)
S mm ( jω ) + S nn ( jω )
În cazul filtrării cu întârziere, α < 0 , iar în cazul filtrării cu
anticipare, α > 0. Din relaţiile (2.40), şi (2.42) rezultă că modulul
funcţiei de transfer rămâne acelaşi, fie că se realizează filtrarea,
filtrarea cu întârziere sau filtrarea cu anticipare, adică :
S mm ( jω )
H on ( jω ) = (2.43)
S mm ( jω ) + Snn ( jω )
Dacă densitatea spectrală de putere a mesajului, S mm ( jω ) , şi
densitatea spectrală de putere a zgomotului, S nn ( jω ) , sunt în benzi
adiacente (fig. 2.3), atunci filtrul optimal se reduce la un filtru trece
bandă, plasat în regiunea spectrului semnalului.
În acest caz, în banda 0 ≤ ω ≤ ω1 , S mm ( jω ) ≠ 0 , S nn ( jω ) = 0
şi, deci:
H 0 n ( jω ) = 1 (2.44)

127
iar în banda ω1 < ω < ∞, S mm ( jω ) = 0 , S nn ( jω ) ≠ 0 şi, deci:
H 0 n ( jω ) = 0 (2.45)

Fig. 2.3. Cazul când S mm ( jω ) şi S nn ( jω ) sunt în benzi adiacente

Dacă densităţile spectrale de putere ale semnalului şi


zgomotului se suprapun parţial (fig. 2.4), atunci este necesar ca în
banda 0≤ω≤ω1, ⏐Hon(jω)⏐=1, în banda ω1<ω≤ω2 filtrul să prezinte
o atenuare cu atât mai mare cu cât zgomotul este mai mare, iar în
banda ω2<ω<∞, ⏐Hon(jω)⏐=0.

Fig. 2.4. Cazul când S mm ( jω ) şi S nn ( jω ) se suprapun parţial

Evident că, în acest caz, în banda (ω1 , ω2 ) apar erori în filtrarea


optimală, deoarece în această bandă va trece şi o parte din zgomot.
În fine, în cazul în care semnalul util, purtător de informaţie,
este înecat în zgomot (fig. 2.5), neglijând termenul S mm ( jω ) în raport
cu termenul S nn ( jω ) , rezultă modulul funcţiei de transfer a filtrului
128
optimal, de forma:
S mm ( jω )
H 0 n ( jω ) ≈ (2.46)
S nn ( jω )
Deşi în ultimul caz, care este cel mai dificil, apar erori în
filtrarea optimală, filtrul optimal cu modulul funcţiei de transfer dat de
relaţia (2.46) va asigura o eroare pătratică medie minimă.

Fig. 2.5. Cazul când semnalul util este înecat în zgomot

Un caz particular interesant este acela al predicţiei pure, adică


filtrarea cu anticipare în lipsa perturbaţiilor.
Impunând în relaţia (2.42) S nn ( jω ) = 0 , rezultă:
H 0 n ( jω ) = e jωα , α > 0 (2.47)
Funcţia de transfer a filtrului optimal necauzal în cazul filtrării cu
întârziere şi în lipsa zgomotului va fi atunci:
H 0 n ( jω ) = e jωα , α < 0 (2.48)

2.4. Soluţia ecuaţiei integrale Wiener - Hopf în cazul


când semnalul recepţionat este zgomot alb

Se presupune că semnalul recepţionat r (t ) poate fi aproximat


cu zgomotul alb, adică:

129
r (t ) = a(t ) (2.49)
unde prin a(t ) s-a notat zgomotul alb cu densitatea spectrală de
putere S0.
În acest caz, funcţia de autocorelaţie a semnalului recepţionat
devine:
Β rr (u ) = Β aa (u ) = S 0δ (u ) (2.50)
Dacă se notează cu h0 a (τ ) funcţia pondere a filtrului optimal
şi cu Bad(u) funcţia de corelaţie dintre zgomotul alb şi semnalul dorit
a fi estimat, atunci ecuaţia integrală Wiener - Hopf (rel. 2.21)
devine:

S 0 ∫ h0 a (τ )δ (u − τ )dτ = Β ad (u ), u ≥ 0 (2.51)
0

Fără a micşora generalitatea rezultatelor, se consider S 0 = 1 şi


atunci, ţinând cont de proprietatea de filtrare a distribuţiei Dirac,
δ (u − τ ) , relaţia (2.51) se poate scrie sub forma:
h0 a (u ) = Β ad (u ), u ≥ 0 (2.52)
Se notează cu + Β ad (u ) funcţia de corelaţie între zgomotul alb
a(t ) şi funcţia dorită a fi estimată d (t ) pentru u ≥ 0 şi cu − Β ad (u ) ,
pentru u < 0 . Cu aceste notaţii, se poate scrie:
Β ad (u )= + Β ad (u )+ − Β ad (u ) (2.53)
O reprezentare grafică posibilă a funcţiei de corelaţie Β ad (u ) este dată
în figura 2.6.
În figura 2.6, cu linie întreruptă s-a reprezentat partea din
Bad (u ) pentru u<0, iar cu linie continuă, partea din Bad (u ) pentru
u ≥ 0.

130
Fig. 2.6. Reprezentarea grafică a funcţiei de corelaţie Βad ( u )

Ţinând cont de relaţiile (2.52) şi (2.53), rezultă că funcţia


pondere a filtrului optimal, cauzal, la recepţionarea zgomotului alb se
determină cu relaţia
⎧ + B (u ), pentru u ≥ 0
hoa (u ) = ⎨ ad (2.54)
⎩ 0, pentru u < 0
Aplicând transformata Laplace relaţiei (2.54) şi notând cu H oa ( s )
funcţia de transfer a filtrului optimal la recepţionarea unui semnal ce
poate fi considerat zgomot alb, rezultă
∞ not
H oa ( s ) = L { Bad (u )} = ∫ + Bad (u )e − su du = + Sad ( s )
+
(2.55)
0

Pentru s = jω , relaţia (2.55) devine


H oa ( jω ) = + S ad ( jω ) (2.56)

2.5. Soluţia ecuaţiei integrale Wiener Hopf în


domeniul frecvenţă

Rezultatele obţinute în paragraful precedent pot fi folosite în


cazul general, dacă semnalul recepţionat r(t), cu densitatea spectrală
de putere S rr ( jω ) , poate fi transformat în zgomot alb.
Filtrul liniar cu funcţia pondere ha (t ) , respectiv funcţia de
131
transfer H a ( jω ) , care transformă semnalul de la intrare r (t ) într-un
semnal ce poate fi considerat zgomot alb, a(t ), se numeşte filtru de
albire.
Pentru ca operaţia de albire să nu afecteze estimatul d̂ (t ) , este
necesar să se cascadeze cu filtrul de albire un filtru liniar care să
realizeze operaţia inversă. Acesta se va numi filtru invers faţă de
operaţia de albire şi va fi caracterizat de funcţia pondere ha−1 (t ) ,
respectiv de funcţia de transfer H a−1 ( jω ) .
Dacă se notează cu h0 (t ) funcţia pondere a filtrului optimal
care satisface ecuaţia integrală Wiener - Hopf, respectiv cu H 0 ( jω )
funcţia sa de transfer, atunci schema bloc a receptorului se prezintă ca
în figura 2.7.

Fig. 2.7. Structura fictivă a filtrului optimal

Structura receptorului din figura 2.7 este fictivă, deoarece, aşa


cum va rezulta ulterior, operaţia de albire şi inversa sa nu se realizează
efectiv, aceste operaţii fiind introduse numai pentru facilitarea
calculului funcţiei de transfer a filtrului optimal în domeniul frecvenţă.
Dacă formal se înlocuieşte jω cu s în densitatea spectrală de
putere a semnalului recepţionat, atunci, în general, funcţia S rr (s ) va
avea zerouri şi poli atât în semiplanul stâng, cât şi în semiplanul drept.
Fie S rr− (s ) partea din S rr (s ) care conţine zerourile şi polii din

132
semiplanul drept şi S rr+ (s ) partea lui S rr (s ) care conţine zerourile şi
polii din semiplanul stâng. Cu aceste notaţii, se poate scrie:
S rr ( s ) = S rr− ( s ) S rr+ ( s ) (2.57)
Dacă se înlocuieşte s cu jω , relaţia (2.57) devine:
S rr ( jω ) = S rr− ( jω ) S rr+ ( jω ) (2.58)
Aşa cum s-a arătat în Capitolul 1, densitatea spectrală de putere
este totdeauna o mărime reală. Pentru ca S rr ( jω ) din (2.58) să fie o
mărime reală, este necesar ca S rr− ( s ) şi S rr+ ( s ) să fie mărimi complex
conjugate, adică:
S rr− ( jω ) = S rr+ ( − jω ) (2.59)
Ţinând cont de (2.59), relaţia (2.58) devine:
S rr ( jω ) = S rr+ ( jω )
2
(2.60)
Pe de altă parte, din schema din figura 2.7 se poate scrie:
H 0 a ( jω ) = H a−1 ( jω )H 0 ( jω ) (2.61)
Ţinând cont de (2.56), din relaţia (2.61) se deduce că:
+
S ad ( jω )
H 0 ( jω ) = (2.62)
H a−1 ( jω )
Conform relaţiei (1.205) se poate scrie:
S rr ( jω ) = H a−1 ( jω ) S 0 = H a−1 ( jω ) ; S 0 = 1
2 2
(2.63)
Comparând relaţia (2.60) cu (2.63) şi având in vedere ca faza
funcţiei S rr ( jω ) este nulă, se poate scrie:
H a−1 ( jω ) = S rr+ ( jω ) (2.64)
Înlocuind (8,64) în relaţia (8,62), rezultă:
+
S ad ( jω )
H 0 ( jω ) = (2.65)
S rr+ ( jω )

133
Pentru a determina relaţia dintre funcţia de transfer a filtrului
de albire, H a ( jω ) şi funcţia de transfer a filtrului invers faţă de
operaţia de albire, H a−1 ( jω ) , astfel încât cele două operaţii sa fie
reversibile, se scrie răspunsul filtrului de albire la excitaţia a ( t ) ,
conform figurii 2.7, adică:
a ( t ) = r ( t ) ∗ ha ( t ) (2.66)
r ( t ) = a ( t ) ∗ ha−1 ( t ) (2.67)
unde " ∗ " reprezintă operaţia de convoluţie.
Înlocuind (2.66) în relaţia (2.67), rezultă:
r ( t ) = r ( t ) ∗ ha ( t ) ∗ ha−1 ( t ) (2.68)
Relaţia (2.68) este adevărată, numai dacă:
ha ( t ) ∗ ha−1 ( t ) = δ ( t ) (2.69)
unde δ (t ) este distribuţia Dirac.
Aplicând transformata Laplace ambilor membri ai relaţiei
(2.69), se poate scrie:
H a (s )H a−1 (s ) = 1 (2.70)
sau, pentru s = jω , rezultă:
1
H a ( jω ) =
H −1
a ( jω ) (2.71)
Înlocuind (2.64) în relaţia (2.71), rezultă:
1
H a ( jω ) = +
S rr ( jω ) (2.72)
În aplicaţiile practice nu se cunoaşte S ad ( jω ) şi deci nici
+
S ad ( jω ) ce intervine în funcţia de transfer a filtrului optimal (2.65).
Pentru a elimina acest inconvenient, se ţine cont că S ad ( jω ) şi Bad (τ )
sunt perechi Fourier, aserţiune care poate fi demonstrată similar ca în
134
cazul teoremei Wiener - Khintcine (paragraful 1.5).
Cu alte cuvinte, se poate scrie relaţia:

S ad ( jω ) = ∫ Bad (τ )e − jωτ dτ
−∞
(2.73)
Dar funcţia de corelaţie între zgomotul alb a (t ) şi funcţia dorită a fi
estimată d (t ) se calculează cu relaţia:
Bad (τ ) = m1 {a ( t1 ) d ( t1 + τ )} (2.74)
presupunându-se evident că a (t ) şi d (t ) sunt procese aleatoare,
staţionare în sens larg.
Pe de altă parte, conform figurii 2.7, se poate scrie:

a ( t ) = r ( t ) ∗ ha ( t ) = ∫ h ( u ) r ( t − u ) du
a (2.75)
−∞

Înlocuind (2.75) în relaţia (2.74), pentru t = t1 , rezultă:


⎧∞ ⎫
Bad (τ ) = m1 ⎨ ∫ ha ( u ) r ( t1 − u ) d ( t1 + τ ) du ⎬ =
⎩ −∞ ⎭

(2.76)
= ∫ h ( u ) m {r ( t
−∞
a 1 1 − u ) d ( t1 + τ )} du

Dar
m1 {r ( t1 − u ) d ( t1 + τ )} = Brd ⎡⎣( t1 + τ ) − ( t1 − τ ) ⎤⎦ = Brd (τ + u ) (2.77)
deoarece atât semnalul recepţionat, cât şi funcţia dorită a fi estimată,
sunt procese aleatoare staţionare în sens larg.
Ţinând cont de (2.76) şi (2.77), relaţia (2.73) devine:
∞ ∞
S ad ( jω ) = ∫ ∫ B (τ + u )h (u )e
− jωτ
dτdu
−∞ −∞
rd a
(2.78)
Efectuând schimbarea de variabilă:
τ + u = v ; dτ = dv (2.79)
rezultă:
135
∞ ∞

S ad ( jω ) = ∫ ∫ B (v )h (u )e
rd a
− jω ( v − u )
dvdu =
− ∞− ∞
∞ ∞ (2.80)
= ∫ ha (u )e jωu du ∫ Brd (u )e − jωv dv =H a (− jω )S rd ( jω )
−∞ −∞

Conform relaţiilor (2.72) şi (2.59), se poate scrie:


1 1
H a ( − jω ) = + = −
S rr ( − jω ) S rr ( jω ) (2.81)
Înlocuind (2.81) în relaţia (2.80), rezultă:
S rd ( jω )
S ad ( jω ) =
S rr− ( jω ) (2.82)
şi
+
⎡ S ( jω ) ⎤
+
S ad ( jω ) = ⎢ rd− ⎥ (2.83)
⎣ S rr ( jω ) ⎦
unde
+
[•] reprezintă partea realizabilă a expresiei din interiorul
parantezei, respectiv partea care conţine numai polii din semiplanul
stâng.
Cu (2.83), relaţia (2.65) se poate scrie echivalent, sub forma:
+
1 ⎡ S rd ( jω ) ⎤
H 0 ( jω ) = + ⎢ ⎥ (2.84)
S rr ( jω ) ⎣ S rr− ( jω ) ⎦
care reprezintă soluţia ecuaţiei Wiener - Hopf în domeniul frecvenţă.

2.6. Filtrarea optimală în cazul semnalelor cu spectru


Butterworth (n = 1)

Majoritatea densităţilor spectrale de putere ale mesajelor m(t )


pot fi aproximate prin funcţii care sunt inversul unui polinom
Butterworth, de ordinul 2n , adică:
136
Kn
S mm ( jω ) = 2n
⎛ω ⎞ (2.85)
1+ ⎜ ⎟
⎝a⎠
unde K n > 0 este o constantă ce depinde de n , iar a > 0 , o constantă.
Pentru fixarea ideilor, se va considera n = 1 , caz în care:
K
S mm ( jω ) = 2
a + ω2 (2.86)
unde K = K 1 a 2 .
Dacă zgomotul de pe canalul de transmisiuni poate fi
considerat alb, cu densitatea spectrală de putere S 0 , datorită
caracterului aditiv al acestuia, se poate scrie:
S rr ( jω ) = Smm ( jω ) + S0 (2.87)
unde prin S rr ( jω ) s-a notat densitatea spectrală de putere a
semnalului recepţionat, r (t ) , de forma:
r (t ) = m(t ) + n(t ) (2.88)
Înlocuind (2.86) în (2.87), rezultă:
K
S rr ( jω ) = 2 + S0
a + ω2 (2.89)
Atunci când se trece de la variabila complexă s la jω , se impune
condiţia:
jω = s ⇒ ω = − js (2.90)
Înlocuind (2.90) în (2.89), se poate scrie:
⎛ K ⎞ 2 2
⎜1 + 2 ⎟ a − s (2.91)
K a S0 ⎠
S rr ( s ) = 2 2 + S0 = S0 ⎝
a −s a2 − s2
Se face notaţia:

137
K not 2
1+ = b ,b >1
a 2 S0 (2.92)
Cu notaţia (2.92), relaţia (2.91) devine:
ab + s ab − s
S rr ( s ) = S0 S0 = S rr+ ( s ) S rr− ( s )
a+s a−s (2.93)
Din (2.93) rezultă că partea din S rr ( s ) care conţine zerourile şi
polii în semiplanul stâng este:
ab + s
S rr+ ( s ) = S0 , a > 0, b > 1
a+s (2.94)
iar partea care conţine zerourile şi polii în semiplanul drept este:
ab − s
S rr− ( s ) = S0 , a > 0, b > 1
a−s (2.95)
Conform relaţiei (2.72), funcţia de transfer în variabila s a
filtrului de albire este de forma:
1 1 a+s
Ha (s) = + =
S rr ( s ) S0 ab + s (2.96)
O posibilă implementare cu elemente pasive de circuit a
acestui filtru de albire este dată în figura 2.8.

Fig. 2.8. Filtru de albire cu funcţia de transfer dată de relaţia (2.96)

Într-adevăr, conform figurii, se poate scrie:


1
+s
U e (s ) C1 R1
= (2.97)
U 1 (s ) 1 ⎛ R1 ⎞
⎜1 + ⎟ + s
C1 R1 ⎜⎝ R2 ⎟⎠

138
Prin identificarea relaţiilor (2.96) şi (2.97) rezultă:
1 R
a= ,b =1+ 1
C1 R 1 R2 (2.98)
1
Dacă > 1 , la ieşirea circuitului din figura 2.8 trebuie
S0
1
conectat un amplificator cu factorul de amplificare , iar dacă
S0
1
< 1 , un atenuator. Comparând relaţiile (2.65) şi (2.84), rezultă
S0
că:
S rd ( jω )
S ad ( jω ) =
S rr− ( jω ) (2.99)
Dar:
{
S rd ( jω ) = F { Brd (τ )} = F r ( t1 ) d ( t1 + τ ) = } (2.100)
{ } { }
= F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ m ( t1 + α + τ ) = F m ( t1 ) m ( t1 + α + τ )

= F { Bmm (τ + α )} = e jωα S mm ( jω )

deoarece:
n ( t1 ) m ( t1 + α + τ ) = n ( t1 ) ⋅ m ( t1 + α + τ ) = 0 (2.101)
Funcţia dorită a fi estimată s-a presupus de forma:
d (t ) = m(t + α ) (2.102)
care cuprinde toate cele trei cazuri, adică pentru α = 0 rezultă filtrare,
pentru α < 0 , filtrare cu întârziere, iar pentru α > 0 , filtrare cu
anticipare.
Ţinând cont de (2.86), relaţia (2.100) devine:

139
Ke jωα
S ( jω ) = (2.103)
a2 + ω 2
rd

Înlocuind (2.95) şi (2.103) în (2.99) şi ţinând cont de (2.90), se


poate scrie:
S rd ( s ) K eα s
S ad ( s ) = = , a > 0; b > 1
S rr− ( s ) S0 ( a + s )( ab − s ) (2.104)

Din relaţia (2.104) se observă că S ad (s ) conţine polul s = − a


în semiplanul stâng şi polul s = ab în semiplanul drept, aşa cum este
arătat în figura 2.9. Folosind contururile de integrare din figura 2.9 şi
utilizând teorema reziduurilor, se poate scrie:
e( ) ds
c + j∞ c + j∞ α +τ s
1 K 1
Bad (τ ) = ( )
2π j c −∫j∞ S0 2π j c −∫j∞ ( a + s )( ab − s )

S ad s e ds =

⎧ Ke −α a
⎪ e − aτ , pentru τ > −α (2.105)
⎪ a ( b + 1) S0
=⎨
⎪ Keα ab
e abτ , pentru τ < −α
⎪ a ( b + 1) S
⎩ 0

Fig. 2.9. Plasarea polilor funcţiei S ad (s )

În cazul filtrării cu întârziere ( α < 0 ), reprezentarea grafică a


funcţiei Bad (τ ) , conform relaţiei (2.105), este dată în figura 2.10.

140
Fig. 2.10. Reprezentarea grafică a funcţiei de corelaţie Bad (τ ) în cazul filtrării
cu întârziere

Conform relaţiei (2.105) şi a figurii 2.10, rezultă:



+
S ad ( s ) = L { Bad (τ )} = ∫ + Bad (τ ) e − sτ dτ =
+

K ⎛ α ab −α abτ − sτ ∞

∫0 τ ∫−α
−α a − aτ − sτ
= ⎜ e e e d + e e e dτ ⎟=
a ( b + 1) S0 ⎝ ⎠ (2.106)
αs α ab αs
K ⎛e −e e ⎞
= ⎜ + ⎟
a ( b + 1) S0 ⎝ ab − s a+s⎠
Înlocuind (2.94) şi (2.106) în relaţia (2.65), rezultă funcţia de
transfer a filtrului optimal, în cazul filtrării cu întârziere, de forma:
K ⎡ (a + s )(eαs − eαab ) eαs ⎤
H 0 (s ) = + ,α < 0
a(b + 1)S 0 ⎢⎣ (ab − s )(ab + s ) ab + s ⎥⎦ (2.107)
În cazul filtrării, funcţia de transfer a filtrului optimal se obţine
din relaţia (2.107) pentru α = 0 , adică:
K 1
H 0 (s ) =
a(b + 1)S 0 ab + s (2.108)
În cazul filtrării cu anticipare ( α > 0 ), reprezentarea grafică a
funcţiei Bad (τ ) , conform relaţiei (2.105), este dată în figura 2.11.
În acest caz:

141

+
S ad ( s ) = L { Bad (τ )} = ∫ + Bad (τ )e− sτ dτ =
+

0
−α a ∞ (2.109)
Ke Ke −α a 1

− aτ − sτ
= e e dτ =
a ( b + 1) S0 0 a ( b + 1) S0 a + s
Înlocuind (2.94) şi (2.109) în relaţia (2.65), rezultă funcţia de
transfer a filtrului optimal, în cazul filtrării cu anticipare:
Ke −αs 1
H 0 (s ) = ,α > 0
a(b + 1)S 0 ab + s (2.110)
Dacă în relaţia (2.110) se impune condiţia α = 0 , rezultă, cum
de altfel era de aşteptat, aceeaşi funcţie de transfer a filtrului optimal
în cazul filtrării, dată de (2.108).

Fig. 2.11. Reprezentarea funcţiei de corelaţie Bad (τ ) în cazul filtrării cu


anticipare

2.7. Determinarea erorii pătratice medii în cazul


filtrelor optimale Wiener - Hopf

Fie filtrul optimal, caracterizat de funcţia pondere h0 (t ) , care


verifică ecuaţia integrală Wiener - Hopf, reprezentat în figura 2.12.

Fig. 2.12. Schema bloc a filtrului optimal


142
Eroarea pătratică medie cauzată de acest filtru este:
2
ε 02 ( t1 ) = ⎡⎣ d ( t1 ) − dˆ ( t1 ) ⎤⎦ (2.111)
unde, se reaminteşte, prin d (t ) s-a notat funcţia dorită a fi estimată, în
timp ce d̂ (t ) este estimatul furnizat la ieşirea filtrului optimal.
În cazul unui filtru optimal cauzal, estimatul se poate deduce
cu integrala de convoluţie, adică:

d̂ ( t ) = ∫ h0 ( u ) r ( t − u )du
(2.112)
0

Substituind (2.112) în relaţia (2.111), pentru t = t1 , rezultă:


⎧⎪ ⎡ ∞
⎤ ⎫⎪
2

ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 ( u ) r ( t1 − u ) du ⎥ ⎬ =
2
0
⎪⎩ ⎣ 0 ⎦ ⎪⎭

⎪⎧ 2 ⎞ ⎪⎫
2

⎛∞
= m1 ⎨d ( t1 ) − 2 ∫ h 0 ( u ) d ( t1 ) r ( t1 − u ) du + ⎜ ∫ h0 ( u ) r ( t1 − u ) du ⎟ ⎬
⎪⎩ 0 ⎝0 ⎠ ⎪⎭
(2.113)
Înlocuind pătratul unei integrale cu produsul a două integrale
identice, dar cu variabile de integrare diferite şi ţinând cont că:
m {d 2 ( t )} = d ( t ) d ( t ) = B ( 0 )
1 1 1 1 dd
(2.114)

m1 {d ( t1 ) r ( t1 − u )} = Bdr ( t1 − u − t1 ) = Bdr ( −u ) = Brd ( u ) (2.115)

m1 {r ( t1 − u ) r ( t1 − τ )} = Brr ⎡⎣( t1 − τ ) − ( t1 − u ) ⎤⎦ = Brr ( u − τ ) (2.116)


relaţia (2.113) devine:

ε 02 ( t1 ) = Bdd ( 0 ) − 2∫ h0 ( u ) Brd ( u ) du +
0
∞ ∞
(2.117)
+ ∫ h0 ( u ) ∫ h0 (τ ) Brr ( u − τ ) dτ du
0 0
143
Dacă în relaţia (2.117) se ţine cont de (2.21), rezultă:

ε ( t1 ) = Bdd ( 0 ) − ∫ h0 ( u ) Brd ( u ) du
2
0 (2.118)
0

Uneori, în literatura de specialitate, eroarea pătratică medie,


ε 02 ( t1 ) , este dată într-o formă echivalentă, care se obţine uşor din
(2.118), dacă se consideră:
Brd ( u ) = r ( t1 − u ) d ( t1 ) (2.119)
Înlocuind (2.114) şi (2.119) în relaţia (2.118), se obţine:
⎧ 2 ∞

ε ( t1 ) = m1 ⎨d ( t1 ) − ∫ h0 ( u ) r ( t1 − u ) d ( t1 ) du ⎬
2
0 (2.120)
⎩ 0 ⎭
În fine, dacă în relaţia (2.120) se ţine cont de (2.112), rezultă:
(2.121)
ε 02 ( t1 ) = ⎡⎣ d ( t1 ) − dˆ ( t1 ) ⎤⎦ d ( t1 )
În cazul filtrelor optimale necauzale, eroarea pătratică medie,
notată cu ε 02n ( t1 ) , se obţine din (2.118), înlocuind h0 (u ) cu h0 n (u ) şi
prin eliminarea condiţiei de cauzalitate, adică:

ε 2
0n ( t1 ) = Bdd ( 0 ) − ∫ h0 n ( u ) Brd ( u ) du (2.122)
−∞

Conform teoremei Wiener - Khintcine, se poate scrie:



1
Bdd (0) = ∫ S ( jω )dω
2π (2.123)
dd
−∞

şi

1
Brd (u ) = ∫ S ( jω )e dω
ω j u

2π (2.124)
rd
−∞

Înlocuind (2.123) şi (2.124) în relaţia (2.122), rezultă:


1 ⎡ ⎤
∞ ∞ ∞
ε ( t1 ) =
2
⎢ ∫ S dd ( jω ) d ω − ∫ S rd ( jω ) ∫ h0 n ( u ) e dudω ⎥ (2.125)
jωu

2π ⎣ −∞
0n
−∞ −∞ ⎦
144
Dar

∫ h (u )e du = H (− jω )
ω j u

−∞
0n 0n
(2.126)
unde, conform relaţiei (2.33), H 0 n ( jω ) este funcţia de transfer a
filtrului optimal necauzal. Cu (2.126), relaţia (2.125) devine:

1
ε ( t1 ) =
2
∫ ⎡⎣ S ( jω ) − S ( jω ) H ( − jω )⎤⎦ dω
0n

dd rd 0n (2.127)
−∞

În cazul general, când funcţia dorită a fi estimată este


d (t ) = m(t + α ) se poate scrie:

{
S dd ( jω ) = F m ( t1 + α ) m ( t1 + α + τ ) = S mm ( jω )} (2.128)

în timp ce:
{ }
S rd ( jω ) = F r ( t1 ) m ( t1 + α + τ ) = e jωα S mm ( jω ) (2.129)

În relaţia (2.129) s-a ţinut cont de independenţa zgomotului de


mesajul transmis, adică este adevărată relaţia (2.37).
Înlocuind relaţiile (2.128) şi (2.129) în (2.127) ţinând cont de
(2.42), rezultă:
1

S mm ( jω ) Snn ( jω )
ε ( t1 ) =
2
∫ S ( jω ) + S ( jω )dω
0n
2π (2.130)
−∞ mm nn

Dacă spectrul mesajului m(t ) şi al zgomotului n(t ) nu se


suprapun (vezi, de exemplu, fig. 2.3), atunci:
S mm ( jω )S nn ( jω ) = 0 (2.131)
şi deci:
ε 02n ( t1 ) = 0 (2.132)
Dacă spectrele celor două semnale se suprapun parţial (vezi
fig. 2.4), atunci se poate scrie:

145
S mm ( jω ) S nn ( jω )
ω2
1
ε ( t1 ) = 2
2
∫ ( jω ) + S ( jω )dω (2.133)

0n
ω S
1 mm nn

unde factorul 2 din membrul al doilea al relaţiei (2.133) semnifică


faptul că s-au luat în considerare şi spectrele pentru ω negativ (adică
simetricele faţă de axa ordonatelor din fig. 2.2.).
În cazul când semnalul este înecat în zgomot (fig. 2.5),
neglijând S mm ( jω ) în raport cu S nn ( jω ) , rezultă:

1
ε ( t1 ) ≅
2
∫ S ( jω ) dω = P
0n

mm (2.134)
−∞

unde P este puterea mesajului purtător de informaţie, m(t ) .

2.8. Principiul filtrării optimale Kalman – Bucy pentru


semnale continue

Schema bloc a unui sistem de transmisiuni care utilizează


filtrarea optimală Kalman – Bucy este dată în figura 2.13.

Fig. 2.13. Sistem de transmisiuni cu estimator Kalman – Bucy

Sursa de informaţie S, furnizează mesajul m(t ) , purtător de


informaţie. Pe canalul de transmisiuni C apar perturbaţiile P sub
forma zgomotului aditiv, n(t ) . Dacă estimatul mˆ (t ) ar fi egal cu
mesajul m(t ) , atunci la ieşirea sumatorului Σ ar rezulta zgomotul
n(t ) . Filtrul F este astfel proiectat încât la excitarea acestuia cu
146
zgomotul n(t ) să furnizeze la ieşire un semnal caracterizat de o
densitate spectrală de putere constantă, adică să poată fi aproximat cu
zgomotul alb.
Sistemul dinamic este astfel dimensionat încât la ieşirea acestuia
să rezulte un estimat mˆ (t ) când la intrare se aplică zgomot alb, adică
să asigure o densitate spectrală de putere S mm ( jω ) , proprie mesajului
purtător de informaţie, m(t ) .

2.9. Sisteme dinamice generatoare de semnale aleatoare

Sistemele dinamice care vor fi luate in considerare vor fi sisteme


liniare invariante (S.L.I), descrise de o ecuaţie diferenţială liniară cu
coeficienţi constanţi, de forma:
y ( n ) (t ) + an−1 y ( n−1) + … + a0 y (t ) = bn −1u ( n−1) (t ) + bn− 2u ( n− 2) (t ) + … + b0u (t )
(2.135)
unde:
y (t ) - este răspunsul sistemului;
u (t ) – semnalul de la intrarea sistemului;
ai , bi – coeficienţi constanţi
Pentru determinarea răspunsului sistemului descris de ecuaţia
(2.135) la momentul t ≥ T0 , este necesar să se cunoască o mulţime de n
condiţii iniţiale.
Cunoscându-se coeficienţii ai şi bi , se pune problema să se
determine numărul minim de parametri care specifică comportarea
sistemului în timp. Aceşti parametri se numesc variabile de stare.
Este cunoscut faptul că, dacă se cunoaşte starea sistemului (adică
valorile variabilelor de stare) la momentul ti şi semnalul de la intrare
se aplică de la ti la t j , atunci la momentul t j se poate determina atât

147
răspunsul sistemului, cât şi noua stare a acestuia.
Ecuaţia diferenţială (2.135) se poate scrie echivalent, sub forma:
y ( n ) (t ) = [bn−1u ( n−1) (t ) − an−1 y ( n−1) ] + [bn− 2u ( n− 2) (t ) − an− 2 y ( n− 2) ] +
(2.136)
+ … + [b0u (t ) − a0 y (t )]
Integrând de n ori relaţia (2.136), se obţine:
t t t
y (t ) = ∫ [b
T0
u (t ) − an −1 y (t )] dt + ∫ dt ∫ [bn− 2u (t ) − an− 2 y (t )] +
n −1
T0 T0
t t (2.137)
+ … + ∫ dt … ∫ [b0u (t ) − a0 y (t )]
T0 T0
n

Schema bloc a unui sistem dinamic descris de relaţia (2.137),


realizat cu multiplicatoare cu o constantă, sumatoare şi integratoare,
este dată în figura 2.14.

Fig. 2.14. Structura sistemului dinamic descris de ecuaţia (2.137)

Variabilele de stare, notate xi (t ) , sunt semnalele de la ieşirile


circuitelor de integrare, adică:
t
xi (t ) = ∫ f i′ (t ) dt = f i (t ) − fi (T0 ), i = 1, n (2.138)
T0

unde:
f ′(t ) = xi' (t ) (2.139)
148
Variabilele de stare xi (t ) astfel introduse includ si condiţiile
iniţiale fi (T0 ) . Cunoaşterea celor n variabile de stare determină starea
sistemului, descrisă de matricea:
⎡ x 1 (t ) ⎤
⎢ x (t ) ⎥
⎢ 2 ⎥
⎢ . ⎥
[ x(t )] = ⎢ . ⎥ (2.140)
⎢ ⎥
⎢ . ⎥
⎢ ⎥
⎢⎣ x n (t ) ⎥⎦
Matricea [ x(t ) ] se numeşte matrice de stare sau vector de stare.
Conform figurii 2.14, se pot scrie relaţiile:
x1′ (t ) = x2 (t ) − an−1 x1 (t ) + bn−1u (t ) ⎫
x2′ (t ) = x3 (t ) − an−2 x1 (t ) + bn −2u (t ) ⎪⎪
⎪ (2.141)
………………………………… ⎬
xn′ −1 (t ) = xn (t ) − a1 x1 (t ) + b1u (t ) ⎪

xn′ (t ) = − a0 x1 (t ) + b0u (t ) ⎪⎭

x1 (t ) = y (t ) (2.142)
Conform sistemului (2.141), derivata vectorului de stare se poate
scrie sub forma:
⎡ x1′ (t ) ⎤ ⎡ x2 (t ) − an −1 x1 (t ) ⎤ ⎡ bn−1 ⎤
⎢ x′ (t ) ⎥ ⎢ x (t ) − a x (t ) ⎥ ⎢b ⎥
d [ x(t )] ⎢ ⎥ ⎢ 3 ⎥ ⎢ n−2 ⎥
2 n−2 1

= ⎢ . ⎥ = ⎢ …………… ⎥ + ⎢ … ⎥ u (t ) (2.143)
dt ⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎢ xn′ −1 (t ) ⎥ ⎢ xn (t ) − a1 x1 (t ) ⎥ ⎢ b1 ⎥
⎣⎢ xn′ (t ) ⎦⎥ ⎣⎢ −a0 x1 (t ) ⎦⎥ ⎣⎢ b0 ⎦⎥
Dacă se fac notaţiile:

149
⎡ − an−1 1 0 … 0 ⎤
⎢ −a ⎥
⎢ n− 2 0 1 … 0 ⎥ not
⎢ … … … … …⎥ = [ F ] (2.144)
⎢ ⎥
⎢ − a1 0 0 … 1⎥
⎢⎣ −a0 0 0 … 0 ⎥⎦

⎡ bn −1 ⎤
⎢b ⎥ not
⎢ n −2 ⎥ = [G ]
⎢…⎥ (2.145)
⎢ ⎥
⎣ b0 ⎦
relaţia (2.143) se poate scrie compact, sub forma:
d [ x(t )]
= [ F ][ x(t )] + [G ]u (t )
dt (2.146)
Relaţia (2.146) se numeşte ecuaţia de stare a sistemului,
specificând constrângerile introduse de semnalele de la intrarea
sistemului. În general, pentru a caracteriza legătura dintre dinamica
internă a sistemului, specificată de vectorul de stare [ x(t ) ] şi ieşirea
sistemului y (t ) , se introduce matricea de selecţie [C ] , definită prin
relaţia:
[C ] = [c1c2 … cn ], (2.147)
unde componentele ci au valorile 1 sau 0 după cum se selectează sau
nu variabila de stare xi (t ) .
Relaţia de forma:
y (t ) = [C ][ x(t )] (2.148)
poartă denumirea de ecuaţie de ieşire.
Ecuaţia de stare (2.146) şi ecuaţia de ieşire (2.148) caracterizează
complet sistemul liniar invariant.
Dacă se selectează o singură stare, aşa cum a fost cazul
150
reprezentat în figura 2.14, rezultă că matricea de selecţie este de
forma:
[C ] = [1 0 … 0] , (2.149)
caz în care:
y (t ) = x1 (t ) (2.150)
În cazul particular când la intrare se aplică semnalul:
u (t ) = e st (2.151)
se poate determina o soluţie particulară a ecuaţiei (2.135), de forma:
y (t ) = H ( s )e st , (2.152)
unde H ( s ) este o constantă în raport cu timpul.
Înlocuind (2.151) şi (2.152) în ecuaţia (2.135), se obţine:
( s n + an−1s n −1 + … + a1s + a0 ) H ( s )e st =
(2.153)
= (bn−1s n−1 + bn −2 s n−2 + … + b0 )e st
de unde rezultă:
bn−1s n−1 + bn− 2 s n −2 + … + b0
H (s) = ,
s n + an−1s n−1 + … + a1s + a0 (2.154)
care reprezintă funcţia de transfer a sistemului liniar invariant.
Dacă la intrarea unui astfel de sistem se aplică zgomot alb cu
densitate spectrală de putere S 0 , conform relaţiei (1.202), la ieşirea
sistemului va rezulta un răspuns cu densitatea spectrală de putere:
2
S ( jω ) = H ( jω ) S (2.155)
yy 0

Din (2.154) şi (2.155) rezultă atunci că un sistem liniar invariant


în timp care formează sistemul dinamic din filtrul Kalman – Bucy
(fig. 2.15), poate furniza la ieşire un semnal aleator, când la intrare i se
aplică zgomot alb, caracterizat de densitatea spectrală de putere:
e2 n− 2ω 2 n−2 + e2 n− 4ω 2 n−4 + … + e2ω 2 + e0
S yy ( jω ) = (2.156)
d 2 nω 2 n + d 2 n −2ω 2 n −2 + … + d 2ω 2 + d 0

151
Dacă densitatea spectrală de putere a mesajului este cunoscută,
atunci S yy ( jω ) = Smm ( jω ) , iar coeficienţii ecuaţiei diferenţiale (2.135)
se obţin prin identificarea relaţiei (2.156) cu (2.155), ţinând cont de
(2.154).
O modalitate echivalentă rezultă prin descompunerea funcţiei de
transfer H ( s ) în fracţii simple, care, pentru simplitate, se va considera
că are numai poli simpli, reali, adică:
n
λk
H (s) = ∑
k =1 s − pk (2.157)
unde λk sunt reziduurile corespunzatoare polilor pk .
Sistemul fiind presupus liniar, raspunsul y (t ) va fi suma
răspunsurilor unor sisteme liniare caracterizate de funcţiile de transfer:
λk
H k (s) =
s − pk (2.158)
Notând cu xk (t ) răspunsul corespunzător sistemului liniar cu
funcţia de transfer (2.158) la semnalul u (t ) , se poate scrie:
dxk (t )
− pk xk (t ) = λk u (t )
dt (2.159)
Structura unui sistem liniar descris de ecuaţia (2.159) este dată
in figura 2.15.

Fig. 2.15. Structura unui bloc de calcul pentru o variabilă de stare

Răspunsul total, y (t ) se obţine însumând răspunsurile parţiale,


aşa cum este arătat în figura 2.16.

152
Fig. 2.16. Structura unui sistem dinamic

În cazul schemei din figura 2.16 se poate scrie sistemul de


ecuaţii:
x1′ (t ) = p1 x1 (t ) + λ1u (t ) ⎫


x2 (t ) = p2 x2 (t ) + λ2u (t ) ⎪
⎬ (2.160)
……………………… ⎪

xn′ (t ) = pn xn (t ) + λnu (t ) ⎭
Ţinând cont de (2.140) şi (2.146), rezultă din (2.160) că, în acest
caz:
⎡ λ1 ⎤
⎢λ ⎥
⎡ p1 0 … 0⎤ ⎢ 2⎥
[ F ] = ⎢⎢ 0 p2 … 0 ⎥⎥ ; [G ] = ⎢ . ⎥
⎢ ⎥ (2.161)
⎢⎣ 0 0 … pn ⎥⎦ ⎢.⎥
⎢⎣λn ⎥⎦
Răspunsul este dat de relaţia:
153
y (t ) = x1 (t ) + x2 (t ) + … + xn (t ) (2.162)
Conform relaţiei generale (2.148), se poate scrie:
y (t ) = [C ][ x(t ) ] , (2.163)
unde matricea [ x(t ) ] este dată de relaţia (2.140), iar matricea de
selecţie este în acest caz de forma:
[C ] = [1 1 … 1](1xn ) (2.164)

2.10. Probleme rezolvate

1. Pe un canal de transmisiuni se transmite mesajul m(t ) a cărui


densitate spectrală de putere este:
β
Smm ( jω ) = ,a > 0
a + ω2 2

Semnalul recepţionat este de forma:


r (t ) = m(t ) + n(t )
unde n(t ) se poate aproxima cu zgomot alb cu densitate spectrală de
putere S0 , de valoare medie nulă şi necorelat cu mesajul.
Se cere:
a) Să se determine constanta β astfel încât funcţia de
autocorelaţie a mesajului să fie:
−aτ
Bmm (τ ) = e
b) Să se calculeze funcţia de transfer, H 0 n ( s ) a filtrului optimal
Wiener-Hopf necauzal, in cazul filtrării, d (t ) = m(t ) ;
c) Să se calculeze eroarea pătratică medie în acest caz si să se
analizeze situaţiile când raportul
S (0) ⎧λ << 1
semnal/perturbaţie = mm =⎨
S0 ⎩λ =3
154
d) Să se deducă funcţia de transfer H 0 ( s ) a filtrului optimal
Wiener –Hopf cauzal, în cazul filtrării.
Soluţie
∞ c + j∞
1 1
∫S ∫
jωτ
a) Bmm (τ ) = ( jω )e dω = S mm ( s )e sτ ds =
2π 2π j c − j∞
mm
−∞
c + j∞ c + j∞
β e sτ ds β e sτ ds
2π j c −∫j∞ a 2 − s 2 2π j c −∫j∞ (a − s )(a + s )
= =

⎧ β e sτ
⎪ , pentru τ < 0
⎪ ( a + s ) s=a
=⎨

⎪ βe , pentru τ > 0
⎪ (a − s)
⎩ s =− a

β −aτ
Rezultă, deci, că Bmm (τ ) = e , care identificată cu aceea
2a
β
impusă în text, necesită condiţia: = 1 ⇒ β = 2a
2a
2a
S mm ( s ) 2a 1
= a −s
2 2
b) H 0 n ( s ) = =
S mm ( s ) + S nn ( s ) 2a 2a
+ S0 S0 + a2 − s2
a −s
2 2
S0
2aS0
∞ ∞
1 S mm ( jω ) S nn ( jω ) 1 a 2 + ω 2 dω =
c) ε 2 0 n (t ) =
2π ∫S mm ( jω ) + S nn ( jω )
dω = ∫
2π −∞ 2a
−∞ + S0
a + ω2
2


a dω a 1 ω 1
π ∫⎛ ⎞
2
=
π 2a
arctg
2a
=
2a
−∞ 2a + a2 + a2 + a2
⎜⎜ + a 2 ⎟⎟ + ω 2 S0 S0 S0
⎝ S0 ⎠ −∞

155
În cazul:
2a
S (0) a 2 2
λ = mm = = << 1 ⇒ ε 2 0 n (t ) ≈ 1
S0 S0 aS0

În cazul:
2 1
λ= = 3 ⇒ ε 2 0 n (t ) =
aS0 2
+
1 ⎡ S rd ( s ) ⎤ + S ad ( s )
d) H 0 ( s ) = + ⎢ ⎥=
S rr ( s ) ⎣ S rr− ( s ) ⎦ S rr− ( s )
Dar:
{
S rr ( jω ) = F { B rr (τ )} = F r (t )r (t + τ ) = }
{
= F [ m(t ) + nt )][ m(t + τ ) + n(t + τ )] = }
= S mm ( jω ) + S nn ( jω )
Rezultă atunci:
2a
S rr ( s ) = S mm ( s ) + S nn ( s ) = + S0 =
a − s2
2

2a 2a
+ a2 + s + a2 − s
S0 S0
S0 S0 = S rr+ ( s )S rr− ( s )
a+s a−s
{ } {
S rd ( jω ) = F { Brd (τ )} = F r (t )m(t + τ ) = F [ m(t ) + n(t ) ] m(t + τ ) = }
{ }
= F m(t )m(t + τ ) = F { Bmm (τ )} = S mm ( jω )
S mm ( s ) 2a 1 a−s
S ad ( s ) = −
= 2 2 =
S rr ( s ) a − s S0 2a
+ a2 − s
S0

156
⎛ ⎞
⎜ ⎟
2a 1 2a ⎜ A B ⎟,
= = +
S0 ⎛ 2a ⎞ S0 ⎜ a + s 2a ⎟
(a + s ) ⎜⎜ + a − s ⎟⎟
2
⎜⎜ + a 2 − s ⎟⎟
⎝ S0 ⎠ ⎝ S0 ⎠

unde:
1
A=
2a
+ a2 + a
S0
+ 2a A 2a 1
S ad ( s ) = =
S0 a + s ⎛ 2a ⎞ a+s
S0 ⎜⎜ + a2 + a ⎟⎟
⎝ S0 ⎠
+
S ad ( s ) 2a 1
H 0 ( s) = =
S rr+ ( s ) ⎛ 2a ⎞ 2a
S0 ⎜⎜ + a 2 + a ⎟⎟ + a2 + s
⎝ S0 ⎠ S0

2. Pe un canal de transmisiuni se transmite mesajul m(t),


caracterizat de densitatea spectrală de putere:
2a
S mm ( jω ) = 2 ,a > 0
4a + ω 2
Dacă semnalul recepţionat este r (t ) = m(t ) + n(t ) , unde n(t ) se
poate considera zgomot alt cu densitate spectrală de putere S0 si
necorelat cu mesajul m(t ) , se cere:
a) Funcţia de transfer H a ( s ) a filtrului de albire a semnalului
recepţionat în cazul în care zgomotul alb de la ieşirea filtrului de albire
are densitatea spectrală de putere S, iar raportul semnal / perturbatie
este S mm (0) / S0 = λ = 3 ;

157
b) Funcţia de transfer H 0 ( s ) a filtrului optimal Wiener-Hopf în
cazul filtrării şi pentru λ = 3 .
Soluţie
a)
2a ⎫
S rr ( s ) = S mm ( s ) + S nn ( s ) =
+ S0 ⎪
4a − s 2

2

S mm (0) 2a 1 ⎬⇒
λ= = 2 = =3 ⎪
S0 4a S0 2aS0 ⎪⎭
16a 2 − s 2 4a + s 4a − s
S rr ( s ) = S0 = S0 S0 = S rr+ ( s ) S rr− ( s )
4a − s
2 2
2a + s 2a − s

2
⇒ S = H a ( s ) S rr ( s )

Deci:
2 S S ⎛ 2a + s ⎞ S ⎛ 2a − s ⎞
H a ( s) = H a ( s ) H a (− s) = = ⎜ ⎟ ⎜ ⎟
S rr ( s ) S0 ⎝ 4a + s ⎠ S 0 ⎝ 4a − s ⎠
De unde rezultă:
S 2a + s
H a (s) =
S0 4a + s
+
+
S (s) 1 ⎡ S rd ( s ) ⎤
b) H 0 ( s ) = +ad = + ⎢ ⎥
S rr ( s ) S rr ( s ) ⎣ S rr− ( s ) ⎦
2a 2a
S rd ( s ) = S rm ( s ) = S mm ( s ) = 2 2 =
4a − s (2a + s )(2a − s )
S rd ( s ) 2a 1 2a − s
S ad ( s ) = −
= =
S rr ( s ) (2a + s )(2a − s ) S0 4a − s

158
2a 1 2a ⎛ A B ⎞
= = ⎜ + ⎟
S0 (2a + s )(4a − s ) S 0 ⎝ 2 a + s 4a − s ⎠
1 1
unde: A = =
4a − s s =−2 a 6a
Deci:
+ 2a A 1 1
S ad ( s ) = =
S0 2a + s 3 S0 2a + s
+
S ad ( s ) 1 1 1 2a + s 1 1
H 0 (s) = +
= =
S rr ( s ) 3 S0 2a + s S0 4a + s 3S0 4a + s

3. Pe un canal de transmisiuni pe care zgomotul n(t ) poate fi


considerat alb, cu densitatea spectrală de putere S0 se transmite
mesajul m(t ) , reprezentat printr-un proces aleator, staţionar în sens
larg, cu densitatea spectrală de putere S mm ( jω ) . Semnalul
recepţionat r (t ) = m(t ) + n(t ) se aplică la intrarea unui filtru liniar
cu funcţia de transfer H (s ) . Dacă semnalul dorit la ieşirea filtrului
este d (t ) = m(t ) , să se arate că densitatea spectrală de putere,
exprimată în variabila complexă s, a erorii filtrului:
ε (t ) = d (t ) − dˆ (t ) = m(t ) − dˆ (t ) , se poate determina cu relaţia:
2
Sεε ( s ) = 1 − H ( s ) S mm ( s )+ | H ( s ) |2 S 0

Soluţie

Conform figurii, se poate scrie:


Dˆ ( s ) = L{dˆ (t )} = H ( s ) R ( s ) = H ( s )[ M ( s ) + N ( s )]
159
Pe de altă parte:
L{ε (t )} = ε ( s ) = L{d (t ) − dˆ (t )} = L{m(t ) − dˆ (t )} = M ( s ) − Dˆ ( s ) =
= M ( s ) − H ( s )[ M ( s ) + N ( s )] = [1 − H ( s )]M ( s ) − H ( s ) N ( s )

Conform ultimei relaţii, rezultă schema bloc:

Înseamnă că:
Sεε ( s ) =|1 − H ( s ) |2 S mm ( s ) + | H ( s ) |2 S0

4. Să se calculeze eroarea pătratică medie a unui filtru


Wiener-Hopf cu funcţia pondere:
⎧1 , pentru 0 ≤ t ≤ T
h0 (t ) = ⎨ ,
⎩0 , în rest
în cazul în care semnalul dorit a fi estimat este d (t ) = m(t ) , funcţia
de autocorelaţie a mesajului m(t ) este Bmm (τ ) = e −|τ | , iar zgomotul
aditiv n(t ) este necorelat cu mesajul m(t ) .
Soluţie

ε 02 (t ) = Bdd (0) − ∫ h(u ) Brd (u )du ; Bdd (0) = 1 ;
0

Brd (u ) = r (t )d (t + u ) = [m(t ) + n(t )]m(t + u ) = m(t )m(t + u ) = Bmm (u )


∞ T
ε (t ) = 1 − ∫ h0 (u ) B mm (u )du = 1 − ∫ e −u du = 2 − e −T
2
0
0 0

160
5. Funcţia pondere a unui filtru optimal Wiener-Hopf este:
⎧e − (2τ ) , pentru τ ≥ 0
h0 (τ ) = ⎨
⎩0 , pentru τ < 0
Ştiind că funcţia de autocorelaţie a semnalului recepţionat
este Brr (u ) = e −|u| , să se deducă funcţia de corelaţie între semnalul
recepţionat r (t ) şi semnalul dorit a fi estimat, pentru u ≥ 0 .
Soluţie
Din ecuaţia integrală Wiener-Hopf avem:

∫ h (τ ) B
0
0 rr (u − τ )dτ = Brd (u ) , u ≥ 0

⎧e − ( u −τ ) , 0 ≤ τ < u
Dar, Brr (u − τ ) = e −|u −τ |
= ⎨ ( u −τ )
⎩e , u ≤τ < ∞
Înseamnă că:
u ∞
2
Brd (u ) = ∫ e e −2τ − ( u −τ )
dτ + ∫ e −2τ eu −τ dτ = e − u − e −2u , u ≥ 0
0 u
3

6. Pe un canal de transmisiuni pe care zgomotul aditiv poate


fi considerat alb, cu densitatea spectrală de putere S0 = 1 , se
transmite mesajul m(t ) , staţionar în sens larg, caracterizat prin
funcţia de autocorelaţie: Bmm (τ ) = 4e −2|τ | . Semnalul recepţionat
r (t ) = m(t ) + n(t ) se aplică unui filtru liniar cu funcţia de transfer:
1
H ( s) = , T > 0.
1 + Ts
Dacă semnalul dorit a fi estimat la ieşirea filtrului este
d (t ) = m(t ) , se cere:
a) Eroarea pătratică medie a filtrului;
161
b) Constanta de timp T, a filtrului, pentru ca eroarea
pătratică medie cauzată de filtru să devină minimă.
Soluţie

1
ε (t ) = ε (t )ε (t ) = Bεε (0) = ∫ Sεε ( jω )dω
2
a)
2π −∞

s ds
Efectuând schimbarea de variabilă: jω = s ⇒ ω = ; d ω = , se
j j
poate scrie:
j∞
1
2π j −∫j∞
ε (t ) =
2
Sεε ( s )ds

În problema 3 s-a dedus că:


Sεε ( s ) =| 1 − H ( s ) |2 S mm ( s )+ | H ( s ) |2 S 0 .
∞ ∞
16
Dar: S mm ( jω ) = ∫
−∞
Bmm (τ )e − jωτ dτ = 4 ∫ e −2|τ |e− jωτ dτ =
−∞
4 + ω2

16
⇒ S mm ( s ) =
4 − s2
1
Dacă H ( s ) = , atunci:
1 + Ts
1
| 1 − H ( s ) |2 = [1 − H ( s )][1 − H (− s )] = 1 −
1 − T 2s2
1
şi | H ( s ) |2 = H ( s ) H ( − s ) =
1 − T 2s2
1 j∞ ⎛ 1 ⎞ 16 1 j∞ ds
ε (t ) = ∫ ⎜1 − ds + ∫
2
2 2 ⎟
2πj − j∞ ⎝ 1 − T s ⎠ 4 − s 2
2πj − j∞ 1 − T 2 s 2
Utilizând teorema reziduurilor şi ţinând cont că ε 2 (t ) are
sens numai pentru t > 0 , rezultă că se vor lua în considerare numai
polii din semiplanul stâng, deci se poate scrie:

162
⎡ ⎤
⎢ ⎥
⎢ 1 1 1 1 1 ⎥
ε (t ) = 16⎢
2
− − +
2 + s s=2 4 − s 2 2 ⎛ 1 ⎞ 2 + s 1 − T 2s2 ⎥
⎢ T ⎜ + s⎟ ⎥
⎢ ⎝T ⎠ s= 1 ⎥
⎣ T ⎦

1 8T 1
+ = +
⎛1 ⎞ 2T + 1 2T
T 2⎜ + s⎟
⎝T ⎠ s= 1
T

d ε 2 (t ) 8( 2T + 1) − 16T 2 1 12T 2 − 4T − 1
b) = − = =0
dT (2T + 1)2 2T 2 2T 2 (2T + 1) 2
2 + 4 + 12 1
12T 2 − 4T − 1 = 0 → T = =
12 2

7. Pe canalul unui sistem de transmisiune a informaţiei se


transmite mesajul m(t ) , care reprezintă un semnal telegrafic aleator
ce poate lua cu aceeaşi probabilitate valorile 1 şi –1, iar trecerile
prin zero sunt independente, aleatoare, caracterizate de distribuţia
τk
Poisson P (k , τ ) = e −τ .
k!
Semnalul recepţionat este r (t ) = m(t ) + n(t ) , unde zgomotul
n(t ) poate fi considerat alb, cu densitatea spectrală de putere
S 0 = 1 3 W Hz , necorelat cu mesajul.
Se cere:
a) Funcţia de transfer a filtrului de albire;
b) Funcţia de transfer a filtrului optimal Wiener-Hopf în
cazul filtrării cu întârziere;
163
c) Eroarea pătratică medie a filtrului Wiener-Hopf în
cazul filtrării.
Soluţie
a) Conform relaţiei (2.72) funcţia de transfer a filtrului
de albire se determină cu relaţia:
1
H a ( jω ) = + ,
S rr ( jω )
unde
S rr ( jω ) = S mm ( jω ) + S nn ( jω )
Dar

S mm ( jω ) = ∫B
−∞
mm (τ )e − jωτ dτ

Funcţia de autocorelaţie a semnalului telegrafic aleator se determină


cu relaţia (1.169), adică:
(τ ) (τ )
k k

Bmm (τ ) = P{k par,τ} − P{k impar,τ} = ∑


k par k!
−τ
e − ∑
k impar k!
e−τ = e−2τ

Deoarece funcţia de autocorelaţie este o funcţie pară în τ, se poate


scrie:
Bmm (τ ) = e −2|τ |
În aceste condiţii:

4
S mm ( jω ) = ∫ e −2|τ |e − jωτ dτ =
−∞ 4 +ω2
4 1 16 − s 2
S rr ( jω ) = S mm ( jω ) + S 0 = + =
4 + ω 2 3 3(4 − s 2 )
16 − s 2 1 4+s 1 4−s
S rr ( s ) = = = S rr+ ( s ) S rr− ( s )
3(4 − s )
2
3 2+s 3 2−s
1 4+s 1 4 + jω
S rr+ ( s ) = ; S rr+ ( jω ) =
3 2+s 3 2 + jω
164
1 2 + jω
S a ( jω ) = = 3
S ( jω )
+
rr 4 + jω
b) Conform relaţiilor (2.83) şi (2.84), funcţia de transfer a
filtrului optimal Wiener-Hopf se determină cu relaţia:
+
S ( jω )
+
1 ⎡ S rd ( jω ) ⎤
H 0 ( jω ) = +ad = +
S rr ( jω ) S rr ( jω ) ⎢⎣ S rr− ( jω ) ⎥⎦
În cazul filtrării cu întârziere:
S rd ( jω ) = F {Brd (τ )} = F{[m(t ) + n(t )]m(t + τ + α )} =
= F {m(t )m(t + τ + α )} = S mm ( jω )e jωα , α < 0
În variabila complexă s, rezultă atunci:
S rd ( s ) S mm ( s )eαs eαs
S ad ( s ) = = = 4 3
S rr− ( s ) S rr− ( s ) (2 + s )(4 − s )
1 j∞ 1 j∞ e (α +τ ) s ds
2πj −∫j∞ 2πj −∫j∞ (2 + s )(4 − s )
Bad (τ ) = sτ
S ad ( s )e ds = 4 3 =

⎧ e(α +τ ) s 2e −2α −2τ


⎪4 3 = e , pentru τ > −α , α < 0
⎪ 4−s s =−2
3
=⎨
(α +τ ) s
⎪4 3 e 2e 4α 4τ
⎪ = e , pentru τ < −α , α < 0
⎩ 2+s s=4
3
Rezultă atunci
−α ∞
2 4α 2 −2α
∫0 e e dτ + 3 e −∫α e e dτ =
+ 4τ − sτ −2τ − sτ
S ad ( s ) = e
3
2 ⎛ eα s − e 4α eα s ⎞
= ⎜ + ⎟, α <0
3⎝ 4−s 2+ s⎠
+
S ad ( s ) ⎡ (2 + s )(eαs − e 4α ) eαs ⎤
H 0 ( s) =
S rr+ ( s )
= 2 ⎢ (4 + s )(4 − s ) + 4 + s ⎥ , α < 0
⎣ ⎦
Reprezentarea funcţiei de corelaţie Bad (τ ) este dată în figura de jos.
165
c) Conform relaţiei (2.118), eroarea pătratică medie în
cazul filtrării, d (t ) = m(t ) , se determină cu relaţia:

ε 02 (t ) = Bmm (0) − ∫ h0 (u ) Bmm (u )du
0

Dar Bmm (0) = 1 , iar pentru α = 0 rezultă:


2
H 0 ( s) = → h0 (u ) = 2e −4 u
4+s

1 2
ε (t ) = 1 − 2∫ e −4u e −2u du = 1 − =
2
0
0 3 3

8. Pe un canal de transmisiuni se transmite mesajul m(t ) ,


descris matematic de un proces aleator, staţionar în sens larg şi
caracterizat de densitatea spectrală de putere:
2
S mm ( jω ) =
1 + 4ω 2
Dacă semnalul recepţionat este r (t ) = m(t ) + n(t ) , unde
zgomotul n(t ) poate fi considerat alb cu densitatea spectrală de
putere S 0 = 2 3 W Hz şi necorelat cu mesajul m(t ) , se cere:
a) Funcţia de transfer a filtrului de albire a semnalului
recepţionat astfel încât la ieşirea acestuia să rezulte zgomot alb cu o
densitate spectrală de putere dublă faţă de a zgomotului alb de pe
canal;

166
b) Funcţia de transfer a filtrului Wiener-Hopf la
recepţionarea semnalului r (t ) , în cazul filtrării.
Soluţie
a)

2 2 2(1 − s 2 )
S rr ( s ) = S mm ( s ) + S nn ( s ) = + = =
1 − 4s 2 3 ⎛1 2⎞
3⎜ − s ⎟
⎝4 ⎠
2 1+ s 2 1− s
= = S rr+ ( s ) ⋅ S rr− ( s )
1
3 +s 3 −s 1
2 2
2 4 4
H a ( s ) S rr ( s ) = → H a ( s ) H a (− s ) = =
3 3S rr ( s )
1 1 1
+s −s +s
= 2 2 2 2 → H a (s) = 2 2
1+ s 1− s 1+ s

+
+
S ( s) 1 ⎡ S rd ( s ) ⎤
b) H 0 ( s ) = +ad = + ⎢ ⎥
S rr ( s ) S rr ( s ) ⎣ S rr− ( s ) ⎦
2 2 1 1
Srd (s) = Srm (s) = Smm (s) = = =
1 − 4s 2
(1 − 2s)(1 + 2s) 2 ⎛ 1 ⎞⎛ 1 ⎞
⎜ − s ⎟⎜ + s ⎟
⎝ 2 ⎠⎝ 2 ⎠
⎛ ⎞
S rd ( s ) 3 1 3 ⎜ A B ⎟
S ad ( s ) = − = = ⎜ + ⎟→
S rr ( s ) 2 2 ⎛ 1 ⎞ 2 2 ⎜ 1 + s 1− s ⎟
⎜ + s ⎟(1 − s ) ⎜ ⎟
⎝2 ⎠ ⎝2 ⎠

167
1 2
A= =
1 − s s =− 1 3
2

3 A 1 1
+
S ad ( s ) = =
2 2 1+s 6 1+s
2 2
+
S (s) 1 1
H 0 ( s ) = +ad =
S rr ( s ) 2 1+ s

9. Funcţia pondere a unui filtru optimal cauzal Wiener-Hopf


este:
⎧e −2τ , τ ≥ 0
h0 (τ ) = ⎨
⎩0 , τ < 0
Să se determine Bdd (0) astfel încât eroarea pătratică medie a
filtrului optimal Wiener-Hopf să fie 0,5 Bdd (0) , dacă funcţia de
autocorelaţie a semnalului recepţionat este Brr (u ) = e −|u| .
Soluţie
∞ ∞

ε o2 (t ) = Bdd (0) − ∫ h0 (u ) Brd (u )du → Bdd (0) = 2∫ h0 (u ) Brd (u )du


0 0

Pe de altă parte, din ecuaţia integrală Wiener-Hopf rezultă:


∞ ∞
Brd (u ) = ∫ h0 (τ ) Brr (u − τ )dτ = ∫ e −2τ e −|u −τ | dτ =
0 0
u ∞
2
= ∫ e −2τ e −( u −τ ) dτ + ∫ e −2τ e u −τ dτ = e −u − e −2 u , u ≥ 0
0 u 3
Rezultă atunci:

⎛ 2 ⎞ 1
Bdd (0) = 2∫ e −2u ⎜ e − u − e −2u ⎟ du =
0 ⎝ 3 ⎠ 3

168
10. Pe un canal de transmisiuni se transmite mesajul m(t )
descris de un proces aleator, staţionar în sens larg, caracterizat de
densitatea spectrală de putere:
4
S mm ( jω ) =
4 +ω2
Dacă semnalul recepţionat este r (t ) = m(t ) + n(t ) , unde n(t )
este zgomotul de pe canal ce poate fi considerat alb cu densitatea
spectrală de putere S 0 , să se proiecteze un filtru Kalman-Bucy, care
estimează mesajul din semnalul recepţionat.
Soluţie
Funcţia de transfer a sistemului dinamic din cadrul filtrului
Kalman-Bucy se determină cu relaţia (1.202), adică:
2 S ( jω ) 4
H ( jω ) = mm = ,
S (4 + ω 2 ) S
unde prin S s-a notat densitatea spectrală a zgomotului alb aplicat la
intrarea sistemului dinamic.
Trecând la variabila complexă s = σ + jω , se poate scrie:
4 4⎛ A B ⎞
H ( s) H (− s) = = ⎜ + ⎟
S (2 − s )(2 + s ) S ⎝ 2 + s 2 − s ⎠
Pentru stabilirea unei funcţii de transfer a unui sistem dinamic
realizabil, este necesară determinarea numai a coeficientului A, adică
1 1
A= =
2 − s s = −2 4
Funcţia de transfer a sistemului fizic realizabil rezultă atunci de forma:
4 A 1 1
H (s) = =
S 2+s S 2+s
Schema filtrului optimal Kalman-Bucy este dată în figura de mai jos

169
170
CAPITOLUL 3

PREDICŢIE LINIARĂ ŞI FILTRARE LINIARĂ


OPTIMALĂ

Proiectarea filtrelor pentru estimarea semnalelor este o


problemă ce apare frecvent in proiectarea sistemelor de comunicaţii,
de control şi alte aplicaţii.
În acest capitol problema proiectării filtrelor optimale va fi
abordată din punct de vedere statistic. Pentru simplitatea tratării,
filtrele se impun a fi liniare iar criteriul de optimizare se bazează pe
minimizarea erorii pătratice medii. Drept consecinţă, în
determinarea filtrelor optimale este necesară numai statistica de
ordinul doi (funcţiile de autocorelaţie şi corelaţie) ale procesului
presupus staţionar. De asemenea, se va urmări proiectarea filtrelor
optimale pentru predicţia liniară care este un domeniu important în
procesarea de semnal cu aplicaţii în domenii diverse ca:
-procesarea semnalului vocal;
-procesarea de imagini;
-suprimarea zgomotului in sistemele de comunicaţii etc.

3.1. Predicţie înainte (forward)

Fie x[n] un proces aleator staţionar. Se doreşte estimarea


valorii procesului la un moment dat, pe baza unui număr finit p de

171
observaţii (eşantioane) consecutive anterioare.
În cazul general, valoarea estimată se notează xˆ[n] M x [ n−r ] ,
p

unde M px [n − r ] = {x[n − r − p + 1],..., x[ n − r ]} , r > 1 , reprezintă


vectorul format din p eşantioane consecutive anterioare momentului
n-r, inclusiv. În acest caz, se spune că s-a realizat predicţia înainte
cu r paşi de ordinul p a eşantionului x[n] .
Un interes special prezintă predictorul liniar înainte cu un
pas (r=1), care determină valoarea estimată x̂ [ n ] ca o combinaţie
liniară ponderată a ultimelor p valori: x [ n − 1] , x [ n − 2] ,.., x [ n − p ] .
Valoarea estimată se determină cu relaţia
p
xˆ [ n ] = −∑ a p [ k ] x [ n − k ] (3.1)
k =1

unde {−a [ k ]}
p reprezintă ponderile combinaţiei liniare, numite
coeficienţi de predicţie ai predictorului înainte cu un pas, de ordin
p.
Conform relaţiei (3.1), schema predictorului liniar cu un pas,
de ordinul p este dată în figura 3.1.

Fig. 3.1. Predictor liniar cu un pas, de ordin p

Diferenţa dintre valoarea x [ n ] şi cea predictată x̂ [ n ] se


numeşte eroare de predicţie înainte şi se notează f p [ n ] .
p
f p [ n ] = x [ n ] − xˆ [ n ] = x [ n ] + ∑ a p [ k ] x [ n − k ] (3.2)
k =1

172
Pe baza relaţiei (3.2), eroarea de predicţie rezultă conform
schemei din figura 3.2.

Fig. 3.2. Legătura dintre predictorul liniar înainte şi filtrul erorii de predicţie

Structura din figura 3.2 se mai numeşte filtrul erorii de


predicţie, cu intrarea x [ n ] şi ieşirea f p [ n ] . O realizare echivalentă
pentru filtrul erorii de predicţie este prezentată în figura 3.3, care
reprezintă o realizare în formă directă a unui filtru FIR cu funcţia
de sistem:
p
Ap ( z ) = ∑ a p [ k ] z − k (3.3)
k =0

unde a p [ 0] = 1 .

Figura 3.3. Filtrul erorii de predicţie

Eoarea pătratică medie de predicţie liniară înainte este


⎡ p p

ξ pf = E ⎡⎣ f p2 [ ni ]⎤⎦ = E ⎢ ∑ a p [ k ] x [ ni − k ] ∑ a p [l ] x [ ni − l ]⎥ =
⎣ k =0 l =0 ⎦
= E ⎡⎣ x [ ni ] + ... + a p [ p ] x [ ni − p ]⎤⎦ ⎡⎣ x [ ni ] + ... + a p [ p ] x [ ni − p ]⎤⎦ =
173
⎡ 2 p
= E ⎢ x [ ni ] + 2∑ a p [ k ] x [ ni ] x [ ni − k ] +
⎣ k =1
p p

+ ∑∑ a p [ k ] a p [l ] x [ ni − k ] x [ ni − l ]⎥ = (3.4)
k =1 l =1 ⎦
p p p
= γ xx [ 0] + 2∑ a p [ k ] γ xx [ k ] + ∑∑ a p [ k ] a p [l ]γ xx [l − k ]
k =1 k =1 l =1

Eroarea pătratică medie este o funcţie pătratică de


coeficienţii filtrului predictor şi prezintă un extrem pentru valorile
coeficienţilor pentru care
∂ξ pf ( a p [ k ])
=0 (3.5)
∂a p [k ]
Înlocuind (3.4) în (3.5), rezultă
∂ξ p
f
( a [ k ]) =
p

∂a p [k ]
∂ ⎛ p p p

= ⎜ γ xx [ 0] + 2∑ a p [ k ] γ xx [ k ] + ∑∑ a p [ k ] a p [l ]γ xx [l − k ] ⎟ =
∂a p [k ] ⎝ k =1 k =1 l =1 ⎠
∂ p
= (γ xx [ 0] + 2∑ a p [ k ] γ xx [ k ] +
∂a p [k ] k =1

a p [1]a p [1]γ xx [0] + ... + a p [1]a p [k ]γ xx [k − 1] + ... + a p [1]a p [ p ]γ xx [ p − 1] +

a p [k ]a p [1]γ xx [1 − k ] + ... + a p [k ]a p [k ]γ xx [0] + ... + a p [ k ]a p [ p ]γ xx [ p − k ] +

a p [ p]a p [1]γ xx [1 − p] + ... + a p [ p ]a p [k ]γ xx [k − p ] + ... + a p [ p]a p [ p]γ xx [0])


p
= 2γ xx [k ] + 2∑ a p [l ]γ xx [k − l ] = 0
l =1
(3.6)
sau, echivalent,
174
p
γ xx [ k ] = −∑ a p [l ] γ xx [ k − l ] , k = 1,..., p (3.7)
l =1

Extremul erorii pătratice medii care se atinge pentru valorile


coeficienţilor care rezultă din relaţia (3.7), este un minim, deoarece
∂ 2ξ pf ( a p [k ])
= γ xx [0] > 0 .
∂ ( a p [ k ])
2

Relaţiile (3.7) se numesc ecuaţiile normale şi stabilesc


legătura între coeficienţii predictorului liniar şi valorile funcţiei de
autocorelaţie. Înlocuind (3.7) în (3.4) se obţine eroarea pătratică
medie minimă de predicţie, de forma
not . p
min ⎡⎣ξ pf ⎤⎦ = E pf = γ xx [ 0] + ∑ a p [ k ] γ xx [ k ] (3.8)
k =1

3.2. Predicţie liniară înapoi (backward)

Estimarea eşantionului x[n − p − r + 1] pe baza observaţiilor


M px [n] se numeşte predicţie înapoi cu r paşi, de ordin p. În
continuare se tratează predicţia înapoi de ordinul p, cu un pas (r=1),
când se presupune că se cunoaşte secvenţa de date
x [ n ] , x [ n − 1] ,..., x [ n − p + 1] şi se doreşte a se estima valoarea
x [ n − p ] , adică
p −1
xˆ [ n − p ] = −∑ bp [ k ] x [ n − k ] (3.9)
k =0

Predictorul descris de relaţia (3.9) este reprezentat în figura


3.4.
Diferenţa dintre valoarea x [ n − p ] şi estimatul x̂ [ n − p ] se
numeşte eroare de predicţie înapoi, şi este notată cu g p [ n ] .
175
Fig. 3.4. Predictor înapoi cu un pas, de ordinul p

p −1
g p [ n ] = x [ n − p ] + ∑ bp [ k ] x [ n − k ] =
k =0
p
(3.10)
= ∑ bp [ k ] x [ n − k ] , bp [ p ] = 1
k =0

Implementarea filtrului erorii de predicţie înapoi de ordinul p


este prezentată în figura 3.5, care reprezintă o realizare în forma
directă a unui filtru FIR cu funcţia de sistem:
p
B p ( z ) = ∑ bp [ k ] z − k (3.11)
k =0

unde bp [ p ] = 1 .

Fig. 3.5. Filtrul erorii de predicţie înapoi


Eroarea de predicţie înapoi este
p −1
g p [ n ] = x [ n − p ] + ∑ bp [ k ] x [ n − k ] =
k =0
p
(3.12)
= x [ n − p ] + ∑ bp [ p − m ] x [ n − p + m]
m =1

Valoarea sa pătratică medie este


176
E { g 2p [ ni ]} = ξ pb
not
(3.13)

⎧ 2 p
ξ = E ⎨ x [ni − p] + 2 x[ni − p]∑ bp [ p − m ] x [ ni − p + m] +
b
p
⎩ m =1
p p

+ ∑∑ bp [ p − m ] bp [ p − l ]x [ ni − p + m ] x[ni − p + l ]⎬ =
k =1 l =1 ⎭ (3.14)
p
= γ xx [ 0] + 2∑ bp [ p − m ] γ xx [ m ] +
m =1
p p
+ ∑∑ bp [ p − m ] bp [ p − l ]γ xx [l − m]
m =1 l =1

La fel ca în cazul predicţiei înainte, eroarea pătratică medie


de predicţie înapoi este o funcţie pătratică de coeficienţii filtrului
predictor. Valorile coeficienţilor pentru care aceasta prezintă un
extrem, se obţin prin egalarea cu zero a derivatei sale în raport cu
coeficienţii filtrului, adică
∂ξ pb ( bp [ p − m])
=0 (3.15)
∂bp [ p − m]
Înlocuind (3.14) în (3.15), după prelucrări similare celor din
cazul predicţiei înainte, rezultă sistemul de ecuaţii
p
γ xx [ m ] = −∑ bp [ p − l ] γ xx [l − m] , m = 1,..., p (3.16)
l =1

Extremul obţinut este un minim, deoarece


∂ 2ξ pb ( bp [ p − m])
= γ xx [0] > 0
∂ ( b p [ p − m] )
2

Înlocuind (3.16) în (3.14) se obţine acelaşi minim ca în cazul


predicţiei înainte, adică
min ⎡⎣ξ pb ⎤⎦ = E bp = E pf .

177
3.3. Structuri lattice pentru implementarea filtrelor
FIR de eroare a predicţiei

Din cele prezentate până aici, s-a observat că erorile de


predicţie înainte şi înapoi se obţin ca ieşiri ale unor filtre FIR cu
funcţiile de sistem Ap ( z ) , respectiv B p ( z ) , date de (3.3), respectiv
(3.11). Cum un filtru FIR implementat în forma directă este
echivalent cu un filtru FIR lattice, filtrele erorii de predicţie în
forma directă, reprezentate în figurile 3.3 şi 3.5, pot fi implementate
în formă lattice. Pentru a stabili legătura dintre coeficienţii filtrului
de predicţie şi coeficienţii structurii lattice, se consideră o familie de
filtre FIR cu funcţiile de transfer
H m ( z ) = Am ( z ) m = 0, 1, 2, ..., p (3.17)
unde Am ( z ) este un polinom de forma
m
Am ( z ) = 1 + ∑ am [ k ]z − k m ≥ 1, (3.18)
k =1

şi A0 ( z ) = 1. Răspunsul la impuls al filtrului de ordin m este


hm [0] = 1 şi hm [k ] = am [k ] , k = 1, 2, ….,m. Se defineşte am [0] = 1 .
Dacă x[n] este secvenţa de intrare în filtrul cu funcţia de
sistem Am ( z ) şi y[n] , secvenţa de ieşire, se poate scrie
m
y[n] = x[n] + ∑ am [ k ]x[n − k ] (3.19)
k =1

Ţinând cont că
m
xˆ[n] = −∑ am [k ]x[n − k ] (3.20)
k =1

este valoarea estimată a lui x[n] pe baza a m intrări anterioare,


x[n-1], x[n-2], …, x[n-m], din (3.19) şi (3.20) rezultă că y[n]
reprezintă eroarea de predicţie. Astfel, ieşirea filtrului FIR dată de
178
relaţia (3.19) poate fi văzută ca eroarea între valoarea adevărată a
semnalului x[n] şi valoarea estimată xˆ[n].
Pentru a stabili legătura între un filtru FIR în forma directă şi
un filtru lattice, se consideră un filtru de ordinul m = 1. Ieşirea unui
astfel de filtru este
y[n] = x[n] + a1[1]x[n − 1] (3.21)
În figura 3.6 se prezintă un filtru lattice de ordinul întâi sau
un filtru lattice cu o singură treaptă.

Figura 3.6. Filtru lattice cu o treapta

Dacă în această structură se aplică la ambele intrări x[n] şi se


selectează ieşirea de pe ramura de sus, se obţine exact semnalul dat
de relaţia (3.21), dacă se alege K1=a1[1]. Parametrul K1 din structura
lattice este denumit coeficient de reflexie.
Pentru această structură se pot scrie relaţiile:
f 0 [n] = g 0 [n] = x[n]
f1[n] = f 0 [n] + K1 g 0 [n − 1] = x[n] + K1 x[n − 1] (3.22)
g1[n] = K1 f 0 [n] + g 0 [n − 1] = K1 x[n] + x[n − 1]
În continuare, se consideră filtrul FIR care se obţine pentru
m = 2. În acest caz ieşirea structurii în formă directă este
y[n] = x[n] + a2 [1]x[n − 1] + a2 [2]x[n − 2] (3.23)
Conectând în cascadă două trepte de structuri lattice ca în
figura 3.7, este posibil a se obţine ieşirea ca în relaţia (3.23).

179
Figura 3.7. Filtru lattice cu două trepte

Într-adevăr, ieşirea din prima treaptă este dată de relaţiile


(3.22), iar ieşirea din treapta a doua este
f 2 [ n] = f1[n] + K 2 g1[n − 1]
(3.24)
g 2 [n] = K 2 f1[n] + g1[n − 1]
Înlocuind f1[n] şi g1[n] din (3.22) în relaţia (3.24), se obţine
f 2 [n] = x[n] + K1 x[n − 1] + K 2 [ K1 x[n − 1] + x[n − 2]]
(3.25)
= x[n] + K1 (1 + K 2 ) x[n − 1] + K 2 x[n − 2]
Relaţia (3.25) este identică cu ieşirea filtrului FIR în forma
directă dată de (3.23), dacă între coeficienţi există relaţiile:
a2 [2] = K 2 a2 [1] = K1 (1 + K 2 ) (3.26)
sau, echivalent
a2 [1]
K 2 = a2 [2] K1 = (3.27)
1 + a2 [2]
Astfel, coeficienţii de reflexie ai structurii lattice, K1 şi K2,
pot fi obţinuţi din coeficienţii {am [k ]} ai formei directe de
implementare.
Continuând procedeul de cascadare a structurilor lattice, se
poate demonstra prin inducţie echivalenţa dintre filtrul FIR de ordin
m implementat în forma directă şi filtrul lattice de ordin m sau cu m
trepte. Filtrul lattice este descris, în general, de următorul sistem de
ecuaţii recursive:
f 0 [ n] = g 0 [ n] = x[n] (3.28)
180
f m [n] = f m−1[n] + K m g m−1[n − 1] m = 1, 2,..., p (3.29)
g m [n] = K m f m−1[n] + g m−1[n − 1] m = 1, 2,..., p (3.30)
Ieşirea filtrului cu p trepte corespunde ieşirii filtrului FIR de
ordin p. Prin urmare
y[n] = f p [n] (3.31)
Ţinând cont de relaţiile (3.28) ÷ (3.30), în figura 3.8 s-a
reprezentat un filtru lattice cu p trepte într-o diagramă bloc,
împreună cu structura unei trepte.

Figura 3.8. (a) Filtru lattice cu p trepte, (b) Structura treptei “m”

Ca urmare a echivalenţei între un filtru FIR în formă directă


şi un filtru lattice, ieşirea fm[n] a unui filtru lattice de ordin m poate
fi exprimată sub forma
m
f m [n] = ∑ am [k ]x[n − k ] am [0] = 1 (3.32)
k =0

Deoarece relaţia (3.32) este o sumă de convoluţie,


transformata sa Z este
Fm ( z ) = Am ( z ) X ( z ) (3.33)
sau, echivalent
181
Fm ( z ) Fm ( z )
Am ( z ) = = (3.33’)
X ( z ) F0 ( z )
unde Am ( z ) reprezintă funcţia de sistem a filtrului FIR cu
coeficienţii {am [k ]} .
Cealaltă ieşire a structurii lattice, g m [ n] , ar putea fi, de
asemenea, exprimată sub forma unei sume de convoluţie, utilizând
un alt set de coeficienţi, notaţi {bm [k ]} . Din relaţia (3.22) se observă
cum coeficienţii filtrului care produce ieşirea f1[ n] sunt
{1, K1} = {1, a1[1]} , în timp ce coeficienţii filtrului cu ieşirea g1[n] ,
sunt { K1 , 1} = {a1[1], 1} . Se observă că aceste două seturi de
coeficienţi sunt în ordine inversă. Dacă se consideră filtrul cu două
trepte, cu ieşirea dată de relaţia (3.25), atunci g 2 [n] se determină cu
relaţia
g 2 [n] = K 2 f1[n] + g1[n − 1]
= K 2 [ x[n] + K1 x[n − 1]] + K1 x[n − 1] + x[n − 2]
(3.34)
= K 2 x[n] + K1 (1 + K 2 ) x[n − 1] + x[n − 2]
= a2 [2]x[ n] + a2 [1]x[n − 1] + x[n − 2]
În consecinţă, coeficienţii filtrului sunt {a2 [2], a2 [1], 1} , în
timp ce pentru filtrul ce produce ieşirea f 2 [n] sunt {1, a2 [1], a2 [2]} .
Raţionând în mod analog, se poate conchide că ieşirea g m [ n]
a filtrului lattice de ordin m poate fi exprimată cu ajutorul sumei de
convoluţie
m
g m [ n] = ∑ bm [k ]x[n − k ] (3.35)
k =0

unde coeficienţii filtrului, {bm [k ]} , sunt asociaţi cu cei ai filtrului


care produce ieşirea f m [n] = y[n] , dar care operează în ordine
182
inversă.
Dacă valorile x[n], x[n-1], . . . ,x[n-m+1], sunt utilizate pentru
predicţia liniară a eşantionului de semnal x[n-m], valoarea estimată
xˆ[n − m] se determină cu relaţia
m −1
xˆ[n − m] = −∑ bm [ k ]x[n − k ] (3.36)
k =0

unde coeficienţii bm [k ] ai filtrului predictor sunt chiar coeficienţii


{am [k ]} luaţi în ordine inversă, prin urmare
bm [k ] = am [ m − k ] k = 0, 1, . . . ,m (3.37)
În domeniul Z, relaţia (3.35) devine
Gm ( z ) = Bm ( z ) X ( z ) (3.38)
Rezultă atunci
Gm ( z )
Bm ( z ) = (3.39)
X ( z)
unde Bm ( z ) reprezintă funcţia de sistem a filtrului FIR cu
coeficienţii {bm [k ]} , care se poate scrie sub forma
m
Bm ( z ) = ∑ bm [k ]z − k (3.40)
k =0

Înlocuind (3.37) în (3.40) se obţine


m
Bm ( z ) = ∑ am [m − k ]z − k =
k =0
m m
(3.41)
= ∑ am [l ]z l −m
=z −m
∑a m
−m
[l ]z = z Am ( z )
l −1

l =0 l =0

Din relaţia (3.41) rezultă că zerourile filtrului FIR cu funcţia


de transfer Bm ( z ) sunt reciprocele zerourilor lui Am ( z ) . Din acest
motiv Bm ( z ) este numit polinom reciproc sau invers al lui Am ( z ) .

183
Aplicând transformata Z relaţiilor recursive (3.28) ÷ (3.30), se
obţine
F0 ( z ) = G0 ( z ) = X ( z ) (3.42)
Fm ( z ) = Fm−1 ( z ) + K m z −1Gm−1 ( z ) m = 1, 2, . . . , p (3.43)
Gm ( z ) = K m Fm −1 ( z ) + z −1Gm−1 ( z ) m = 1, 2, . . . , p (3.44)
Împărţind fiecare ecuaţie prin X ( z ) , se obţin următoarele
relaţii:
A0 ( z ) = B0 ( z ) = 1 (3.45)
Am ( z ) = Am−1 ( z ) + K m z −1Bm−1 ( z ) m = 1, 2, . . ., p (3.46)
Bm ( z ) = K m Am −1 ( z ) + z −1Bm −1 ( z ) m = 1, 2, . . . , p (3.47)
Astfel, o treaptă lattice, este descrisă în domeniul Z de o
ecuaţie matriceală de forma
⎡ Am ( z ) ⎤ ⎡ 1 K m ⎤ ⎡ Am−1 ( z ) ⎤
⎢ ⎥=⎢ ⎥ ⎢ −1 ⎥ (3.48)
⎣ Bm ( z ) ⎦ ⎣ K m 1 ⎦ ⎣ z Bm−1 ( z ) ⎦

3.3.1. Conversia coeficienţilor structurii lattice în


coeficienţi ai filtrului FIR în formă directă

Coeficienţii filtrului FIR realizat în formă directă {am [k ]} pot


fi obţinuţi din coeficienţii {K m } ai structurii lattice, folosind
următoarele relaţii:
A0 ( z ) = B0 ( z ) = 1 (3.49)
Am ( z ) = Am−1 ( z ) + K m z −1Bm−1 ( z ) , m = 1, 2, . . . , p (3.50)
Bm ( z ) = z − m Am ( z −1 ) , m = 1, 2, . . . , p (3.51)
Soluţia se obţine recursiv, începând cu rangul m = 1. Astfel se
obţine o familie de (p) filtre FIR, fiecare din ele pentru o valoare a
lui m.
184
Pentru fixarea ideilor, se consideră următorul exemplu.
Se dă un filtru lattice cu trei trepte având coeficienţii
K1 = ¼, K2 = ½, K 3 = 1 3 .
Să se determine coeficienţii filtrului FIR în formă directă.
Soluţie. Problema se rezolvă recursiv, utilizând relaţia (3.50)
începând cu m = 1.
1
Astfel, A1 ( z ) = A0 ( z ) + K1 z −1B0 ( z ) = 1 + K1 z −1 = 1 + z −1 .
4
Prin urmare, coeficienţii filtrului FIR corespunzători structurii
lattice cu o singură treaptă, sunt a1[0] = 1, a1[1] = K1 = 1/ 4.
Deoarece Bm ( z ) este reciprocul lui Am ( z ) , rezultă
1
B1 ( z ) = + z −1 .
4
Pentru m=2, din (3.50) rezultă
3 1
A2 ( z ) = A1 ( z ) + K 2 z −1B1 ( z ) = 1 + z −1 + z −2
8 2
Parametrii filtrului FIR corespunzători structurii lattice cu
două trepte sunt a2 [0] = 1, a2 [1] = 3/ 8, a2 [2] = 1/ 2. Din (3.51) rezultă
atunci
1 3 −1 −2
B2 ( z ) = + z +z
2 8
În final, prin adăugarea celei de-a treia trepte în structura
lattice, rezultă polinomul
13 −1 5 −2 1 −3
A3 ( z ) = A2 ( z ) + K 3 z −1B2 ( z ) = 1 + z + z + z
24 8 3
şi, ca urmare, filtrul FIR în formă directă este caracterizat de
coeficienţii
13 5 1
a3[0] = 1, a3[1] = , a3[2] = , a3[3] =
24 8 3
185
În general, structura lattice cu parametrii K1 , K 2 , ..., K p ,
corespunde unei clase de p filtre FIR în forma directă cu funcţiile de
sistem A1 ( z ), A2 ( z ),..., Ap ( z ). Este interesant de observat că o
caracterizare a acestei clase de filtre FIR în formă directă necesită
p(p+1)/2 coeficienţi, în timp ce o caracterizare lattice necesită doar p
coeficienţi de reflexie {K m } . Motivul pentru care structura lattice
produce o reprezentare mult mai compactă pentru clasa de filtre FIR
de ordin p se datoreză faptului că adăugarea treptelor la structura
lattice nu modifică parametrii treptelor anterioare, în timp ce
coeficienţii funcţiei de sistem Am ( z ) sunt total diferiţi de coeficienţii
filtrului FIR de ordin inferior, cu funcţia de sistem Am−1 ( z ).
O relaţie pentru determinarea recursivă a coeficienţilor
{am [k ]} ai filtrului poate fi obţinută din polinoamele date în relaţiile
(4.49)÷(4.51). Din relaţia (4.50) se obţine
Am ( z ) = Am−1 ( z ) + K m z −1Bm−1 ( z ) ⇔
m m −1 m −1 (3.52)
∑ am [k ]z − k = ∑ am−1[k ]z − k + K m ∑ am−1[m − 1 − k ]z −( k +1)
k =0 k =0 k =0

Prin egalarea coeficienţilor puterilor egale ale lui z −1 şi ţinând


cont că am [0] = 1 , rezultă ecuaţiile recursive pentru coeficienţii
filtrului FIR, sub forma:
am [0] = 1 (3.53)
am [ m ] = K m (3.54)
am [k ] = am −1[k ] + K m am−1[m − k ] = am−1[k ] + am [ m]am−1[m − k ]
(3.55)
1 ≤ k ≤ m − 1, m = 1, 2,..., p.

186
3.3.2. Conversia coeficienţilor filtrului FIR din forma
directă în coeficienţi ai structurii lattice

Dacă se cunosc coeficienţii filtrului FIR pentru


implementarea în formă directă sau, echivalent, polinomul Am ( z ) şi
se doreşte determinarea coeficienţilor corespunzători structurii
lattice, de ordin m, atunci K m = am [m]. Pentru a obţine coeficientul
K m −1 sunt necesare polinoamele Am−1 ( z ) deoarece, în general, K m
este obţinut din polinomul Am ( z ) pentru m=p, p-1,..,1. Prin urmare,
trebuie calculate succesiv polinoamele Am ( z ) , începând de la
m = p până la m = 1.
Relaţia recursivă dorită pentru polinoame se determină uşor
din (3.46) şi (3.47).
Am ( z ) = Am −1 ( z ) + K m z −1Bm −1 ( z )
= Am −1 ( z ) + K m [ Bm ( z ) − K m Am −1 ( z ) ]
de unde rezultă
Am ( z ) − K m Bm ( z )
Am −1 ( z ) = , m = p, p − 1,...,1. (3.56)
1 − K m2
Astfel se calculează toate polinoamele de grad inferior Am ( z )
începând cu Ap ( z ) şi se obţin coeficienţii doriţi ai structurii lattice
din relaţia K m = am [m]. Se observă că procedura prezentată este
operaţională atât timp cît | K m |≠ 1 pentru m = 1, 2, ...,p.
Din ecuaţia recursivă (3.56), se poate obţine o relaţie pentru
calculul recursiv al coeficienţilor K m , începând cu m = p până la
m=1. Pentru m = p, p-1,...,1 se obţine
K m = am [ m ] am −1[0] = 1 (3.57)

187
am [k ] − K mbm [k ] am [k ] − am [m]am [m − k ]
am−1[k ] = = , 1 ≤ k ≤ m −1
1 − K m2 1 − am2 [m]
(3.58)
Ecuaţia recursivă (3.58) nu poate fi folosită dacă K m = 1.
Pentru fixarea ideilor, se consideră următorul exemplu.
Să se determine coeficienţii structurii lattice corespunzătoare
filtrului FIR cu funcţia de sistem
13 −1 5 −2 1 −3
H ( z ) = A3 ( z ) = 1 + z + z + z
24 8 3
1
Soluţie. Mai întâi se observă că K 3 = a3[3] = . Apoi se
3
construieşte polinomul
1 5 13 −2
B3 ( z ) = + z −1 + z + z −3
3 8 24
Relaţia de decrementare din (3.56), cu m =3, conduce la
A ( z ) − K 3 B3 ( z ) 3 1
A2 ( z ) = 3 = 1 + z −1 + z −2
1 − K32
8 2
Prin urmare, K 2 = a2 [2] = 1/ 2 şi B2 ( z ) = 1/ 2 + (3/ 8) z −1 + z −1 .
Repetând decrementarea recursivă, se obţine
A ( z ) − K 2 B2 ( z ) 1
A1 ( z ) = 2 = 1 + z −1
1 − K2 2
4
1
Astfel, K1 = a1[1] = .
4

3.4. Coeficienţii de reflexie optimi ai predictorului


lattice înainte şi înapoi

În paragrafele anterioare s-a obţinut un set de ecuaţii din care


se pot obţine coeficienţii predictorului care minimizează valoarea
188
pătratică medie a erorii de predicţie. În continuare se va considera
problema optimizării coeficienţilor de reflexie ai predictorului
lattice şi exprimarea lor în funcţie de erorile de predicţie înainte şi
înapoi.
Conform figurii 3.8, eroarea de predicţie înainte în treapta m
a predictorului este
f m [ n ] = f m−1 [ n ] + K m g m −1 [ n − 1] (3.59)
Minimizarea erorii pătratice medii {E ⎡⎣ f m
2
[ ni ]⎤⎦} în raport cu
coeficienţii de reflexie impune calculul derivatei
{ }
∂ E ⎡⎣ f m2 [ ni ]⎤⎦
=
∂K m
{
∂ E ⎡⎣ f m2−1 [ ni ] + 2 K m f m−1 [ ni ] g m−1 [ ni − 1] + K m2 g m2 −1 [ ni − 1]⎤⎦ }
= (3.60)
∂K m
E {2 f m−1 [ ni ] g m−1 [ ni − 1] + 2 K m g m2 −1 [ ni − 1]}
Prin egalarea cu zero a acesteia, rezultă
− E ⎡⎣ f m−1 [ ni ] g m−1 [ ni − 1]⎤⎦ − E ⎡⎣ f m−1 [ ni ] g m−1 [ ni − 1]⎤⎦
Km = = (3.61)
E ⎡⎣ g m2 −1 [ ni − 1]⎤⎦ Emf −1Emb −1
unde
Emf −1 = Emb −1 = E ⎡⎣ g m2 −1 [ ni − 1]⎤⎦ = E ⎡⎣ f m2−1 [ ni ]⎤⎦ (3.62)
Se observă că valorile optime ale coeficienţilor de reflexie ai
predictorului lattice sunt egale cu coeficienţii de corelaţie
normalizaţi dintre erorile înainte şi înapoi din lattice, cu semnul
minus. Din acest motiv, coeficienţii − K m se mai numesc coeficienţi
de corelaţie parţială (PARCOR).
Valoarea pătratică medie a erorii de predicţie poate fi
exprimată în forma
189
E ⎡⎣ f m2 [ ni ]⎤⎦ = E ⎡⎣ f m2−1 [ ni ] + 2 K m f m−1 [ ni ] g m−1 [ ni − 1] + K m2 g m2 −1 [ ni − 1]⎤⎦ =
E ⎡⎣ f m2−1 [ ni ]⎤⎦ + 2 K m E ⎡⎣ f m−1 [ ni ] g m−1 [ ni − 1]⎤⎦ + K m2 E ⎡⎣ g m2 −1 [ ni − 1]⎤⎦
(3.63)
Înlocuind (3.61) şi (3.62) în (3.63), se obţine eroarea pătratică medie
minimă în formă recursivă
Emf = (1 − K m2 ) Emf −1 (3.64)
Deoarece din relaţia (3.61) rezultă că K m ≤ 1 , eroarea
pătratică medie minimă dată de relaţia (3.64) este o secvenţă
monoton descrescătoare.

3.5. Relaţia dintre un proces AR şi predicţia liniară

Parametrii unui proces AR de ordin p sunt strâns legaţi de


parametrii unui predictor de ordin p pentru acelaşi proces. Se
reaminteşte că pentru un proces AR ( p ) secvenţa de autocorelaţie
γ xx [ m] este legată de parametrii {ak } ai procesului prin ecuaţiile
Yule-Walker.
⎧ p
⎪−∑ ak γ xx [ m − k ] , m > 0
⎪ k =1
⎪ p
γ xx [ m ] = ⎨−∑ ak γ xx [ m − k ] + σ w2 , m = 0 (3.65)
⎪ k =1
⎪γ * [− m], m < 0
⎪ xx

Ecuaţiile corespunzătoare predictorului de ordin p sunt date
în relaţiile (3.7).
p
γ xx [l ] = −∑ a p [ k ] γ xx [l − k ] , l = 1... p
k =0

190
Comparând aceste relaţii se observă o relaţie de egalitate
între parametrii {ak } ai procesului AR ( p ) şi coeficienţii
predictorului {a p [ k ]} de ordin p . Mai mult, comparând (3.65) cu
(3.8), se observă că eroarea pătratică medie minimă a predictorului
de ordinul p , E pf , este egală cu σ w2 , dispersia zgomotului alb, caz
în care filtrul erorii de predicţie este un filtru de albire, care produce
secvenţa de zgomot alb w [ n ] .

3.6. Soluţia ecuaţiilor normale

Anterior s-a arătat că minimizarea valorii pătratice medii a


erorii de predicţie înainte conduce la un sistem de ecuaţii numite
ecuaţiile normale (3.7). Acestea pot fi scrise compact în forma
p

∑ a [ k ]γ [l − k ] = 0, l = 1... p, a [0] = 1
k =0
p xx p (3.66)

Eroarea pătratică medie minimă (EPMM) este dată de relaţia


(3.8). Adăugând (3.8) la (3.66) se obţin ecuaţiile normale extinse
p ⎛ E pf , l = 0
∑ a p [ k ] γ xx [l − k ] = ⎜ (3.67)
⎜ 0, l = 1,..., p
k =0 ⎝
Pentru un proces aleator AR ( p ) , EPMM, E pf = σ w2 . Există
doi algoritmi eficienţi de calcul pentru ecuaţiile normale. Unul se
datorează lui Levison [29] modificat ulterior de Durbin [62], numit
algoritmul Levison-Durbin, care este potrivit prelucrării seriale. Al
doilea algoritm, datorat lui Schur [61] calculează, de asemenea,
coeficienţii de reflexie şi se pretează prelucrării paralele. Cei doi
algoritmi folosesc proprietăţile de simetrie Toeplitz ale matricei de
autocorelaţie.

191
3.6.1. Algoritmul Levison-Durbin

Algoritmul Levison Durbin este un algoritm eficient pentru


rezolvarea ecuaţiilor normale (3.66) în raport cu coeficienţii
predictorului. Acestea pot fi scrise matriceal, sub forma
[Γ p ][ Ap ] = −[γ p ] (3.66’)

unde
⎡ γ xx [ 0] γ xx* [1] ... γ xx* [ p − 1] ⎤
⎢ ⎥
not . γ [1] γ xx [ 0] ... γ xx* [ p − 2]⎥
[Γ p ] = Γ p = ⎢ xx (3.68)
⎢ .. .. ... .. ⎥
⎢ ⎥
⎣⎢γ xx [ p − 1] γ xx [ p − 2] ... γ xx [ 0] ⎦⎥
T
este numită matricea de autocorelaţie, iar [ Ap ] = ⎡⎣ a p [1] ... a p [ p ]⎤⎦
este un vector coloană ale cărui elemente sunt coeficienţii
predictorului, a p [k ], 1 ≤ k ≤ p , iar [γ p ] = [γ xx [1] ... γ xx [ p ]]
T
este un
vector coloană ale cărui elemente sunt valorile funcţiei de
autocorelaţie γ p [l ], 1 ≤ l ≤ p .
Sistemul (3.67) poate fi scrise matriceal, sub forma

⎡ E pf ⎤
⎢ ⎥
0
[Γ p +1 ][ Ap +1 ] = ⎢ ⎥ (3.67’)
⎢ ⎥
⎢ ⎥
⎣⎢0 ⎦⎥
T
unde [ Ap +1 ] = ⎡⎣1 a p [1] ... a p [ p ]⎤⎦ , iar [Γ p +1 ] este matricea de
autocorelaţie de ordinul p+1.

192
Dacă semnalul de intrare este real, operaţia de cojugare (*)
dispare din γ xx . Se observă că elementele Γ p ( i, j ) ale matricei [Γ p ]
au proprietatea că Γ p ( i, j ) = γ xx [i − j ] . Dacă Γ p ( i, j ) = Γ*p ( j , i )
matricea este şi hermitică. Metoda de obţinere a soluţiei prin
algoritmul Levison-Durbin utilizează proprietăţile matricei Toeplitz
şi se aplică recursiv începând cu un predictor de ordinul m = 1 .
Soluţia predictorului de ordinul întâi se obţine din (3.66),
pentru p = 1 , adică
γ xx [1]
a1 [1] = − , a [0] = 1 (3.69)
γ xx [ 0] 1
EPMM este

(
E1f = γ xx [ 0] + a1 [1] γ xx [ −1] = γ xx [ 0] 1 − a1 [1]
2
) (3.70)

Se reaminteşte că a1 [1] = K1 este primul coeficient de reflexie


al filtrului lattice.
Al doilea pas constă în obţinerea coeficienţilor {a2 [1] , a2 [ 2]}
ai predictorului de ordinul al doilea şi exprimarea soluţiei în funcţie
de a1 [1] . Cele două ecuaţii obţinute din relaţia (3.66) sunt
a2 [1] γ xx [ 0] + a2 [ 2] γ xx* [1] = −γ xx [1]
(3.71)
a2 [1] γ xx [1] + a2 [ 2] γ xx [ 0] = −γ xx [ 2]
unde γ xx* [1] = γ xx [ −1] .
Ţinând cont de (3.69) soluţia sistemului de ecuaţii (3.71) devine
γ xx [ 2] + a1 [1]γ xx [1] γ xx [ 2] + a1 [1]γ xx [1]
a2 [ 2 ] = − =−
(
γ xx [ 0] 1 − a1 [1]
2
) E1f

a2 [1] = a1 [1] + a2 [ 2] a1* [1] (3.72)

193
expresii care reprezintă coeficienţii predictorului de ordinul al
doilea. Se reaminteşte că a2 [ 2] = K 2 este cel de-al doilea coeficient
de reflexie al filtrului lattice.
Procedând în acelaşi mod se pot exprima coeficienţii
predictorului de ordin m în funcţie de coeficienţii predictorului de
ordin ( m − 1) .
Vectorul coeficienţilor, notat cu [ am ] , poate fi scris ca sumă
a doi vectori
⎡ am [1] ⎤
⎢ ⎥
⎢ am [ 2] ⎥ ⎡[am−1 ]⎤ ⎡[ d m−1 ]⎤
[ am ] = ⎢ .. ⎥ = ⎢ 0 ⎥ + ⎢ ⎥ (3.73)
⎣ ⎦ ⎣ Km ⎦
⎢ ⎥
⎢⎣ am [ m]⎥⎦
unde [ am−1 ] reprezintă vectorul coeficienţilor predictorului de ordin
( m − 1) , iar vectorul [ d m−1 ] şi scalarul K m urmează a fi determinaţi.
Matricea de autocorelaţie Γ de ordin m × m se partiţionează în
forma
⎡ Γ m−1 [γ mb −1 ] ⎤
*

[ m ] ⎢ bt
Γ = ⎥ (3.74)
⎣⎢[γ m−1 ] γ xx [ 0]⎦⎥
unde [γ mbt−1 ] = ⎡⎣γ xx [ m − 1] γ xx [ m − 2] ... γ xx [1]⎤⎦ = ⎡⎣γ mb −1 ⎤⎦ ,
t

În relaţia (3.74), (i)* - înseamnă conjugarea complexă, (i)t -


înseamnă transpunere, iar indicele b al vectorului [γ m−1 ] semnifică
faptul că elementele vectorului se consideră în ordine inversă.
Cu ajutorul relaţiilor (3.73) şi (3.74), soluţia ecuaţiei
[Γ m ][ am ] = − [γ m ] poate fi exprimată astfel:

194
⎡[Γ m−1 ] [γ mb −1 ] ⎤ ⎪⎧ ⎡[am−1 ]⎤ ⎡[ d m−1 ]⎤ ⎪⎫ ⎡[γ m−1 ] ⎤
*

⎢ bt ⎥ ⎨⎢ +
⎥ ⎢ ⎥⎬ = − ⎢ ⎥ (3.75)
⎣⎢ [γ m−1 ] γ xx [ 0]⎦⎥ ⎪⎩ ⎣ 0 ⎦ ⎣ K m ⎦ ⎪⎭ ⎣γ xx [ m ]⎦
Din (3.75) rezultă două ecuaţii
[Γ m−1 ][am−1 ] + [Γ m−1 ][ d m−1 ] + K m ⎡⎣γ mb −1 ⎤⎦ = − [γ m−1 ]
*
(3.76)

⎡⎣γ mbt−1 ⎤⎦ [ am−1 ] + ⎡⎣γ mbt−1 ⎤⎦ [ d m−1 ] + K mγ xx [ 0] = −γ xx [ m ] (3.77)


Deoarece [ Γ m−1 ][am−1 ] = −[γ m−1 ] , din relaţia (3.76) rezultă

[ d m−1 ] = − K m [Γ m−1 ]
−1
⎡γ mb −1 ⎤
*
(3.78)
⎣ ⎦
⎡γ mb −1 ⎤
*
dar este chiar ⎡⎣γ m−1 ⎤⎦ cu elementele scrise în ordine
⎣ ⎦
inversă şi conjugate, ceea ce permite obţinerea soluţiei ecuaţiei
(3.78) sub forma
⎡ am* −1 [ m − 1] ⎤
⎢ * ⎥
⎢ am−1 [ m − 2]⎥
[ d m−1 ] = K m ⎡⎣ am−1 ⎤⎦ = K m ⎢ .. ⎥
*
b
(3.79)
⎢ * ⎥
⎢⎣ am−1 [1] ⎥⎦
Înlocuind relaţia (3.79) în (3.77), se poate obţine coeficientul
de reflexie K m .

⎡⎣γ mbt−1 ⎤⎦ [ am−1 ] + K m ⎡γ xx [ 0] + ⎡⎣γ mbt−1 ⎤⎦ ⎡ amb −1 ⎤ ⎤ = −γ xx [ m ]


*
(3.80)
⎣ ⎣ ⎦⎦
de unde
γ xx [ m ] + ⎡⎣γ mbt−1 ⎤⎦ [ am−1 ]
Km = − (3.80')
γ xx [ 0] + ⎡⎣γ mbt−1 ⎤⎦ ⎡ amb −1 ⎤
*

⎣ ⎦
Înlocuind soluţiile pentru [ d m−1 ] şi K m în relaţia (3.73) se obţin
relaţiile recursive pentru coeficienţii predictorului

195
γ xx [ m ] + ⎡⎣γ mbt−1 ⎤⎦ [ am−1 ] γ xx [ m] + ⎡⎣γ mbt−1 ⎤⎦ [ am−1 ]
am [ m ] = K m = − =−
γ xx [ 0] + ⎡⎣γ mbt−1 ⎤⎦ ⎡ amb −1 ⎤ Emf
*

⎣ ⎦
(3.81)
am [ k ] = am−1 [ k ] + K m am* −1 [ m − k ] = am−1 [ k ] + am [ m ] am* −1 [ m − k ]
(3.82)
k = 1,..., m − 1, m = 1,..., p
Se observă că relaţiile recursive (3.82) sunt identice cu cele
care dau coeficienţii predictorului pe baza polinoamelor Am ( z ) şi
Bm ( z ) ca în relaţiile (3.53) ÷ (3.55). Mai mult, K m este coeficientul
de reflexie pentru a m − a treaptă a predictorului lattice, deci
algoritmul Levison-Durbin calculează coeficienţii de reflexie pentru
predicţia lattice optimală, precum şi coeficienţii predictorului
optimal FIR în forma directă.
Pentru predictorul de ordinul m , EPMM este
m
Emf = γ xx [ 0] + ∑ am [ k ]γ xx [ − k ] =
k =1
m
= γ xx [ 0] + ∑ ( am −1 [ k ] + am [ m ] am* −1 [ m − k ])γ xx [ − k ] = (3.83)
k =1


2


2
(
= Emf −1 ⎡1 − am [ m ] ⎤ = Emf −1 1 − K m , m = 1,..., p )
unde E0f = γ xx [ 0] . Deoarece coeficienţii de reflexie satisfac
proprietatea că K m ≤ 1 , EPMM satisface condiţia
E0f ≥ E1f ≥ E2f ≥ ..... ≥ E pf (3.84)
În scopul aprecierii eficienţei sau complexităţii unui
algoritm, se foloseşte simbolismul din teoria complexităţii
calculelor. Notaţia O(•) se foloseşte în analiza eficienţei algoritmilor
şi defineşte limita superioară a unei funcţii, reflectând efortul de
calcul necesar obţinerii rezultatului, în funcţie de mărimea intrării,
196
de obicei, numărul de biţi. Complexitatea (temporală) a unei
probleme (sau a unui algoritm) reprezintă numărul de paşi (sau
echivalentul lor temporal) ce trebuie parcurşi pentru a o rezolva,
exprimat, în general, în funcţie de mărimea intrării. De exemplu, se
presupune că timpul (sau numărul de paşi) necesari rezolvării unei
probleme a cărei intrare are dimensiunea n este de forma
N
T (n) = ∑ ai ni , unde coeficienţii ai sunt constante independente de
i =0

intrare. Cu creşterea lui n, termenul dominant este n N , ceilalţi


putându-se neglija. Coeficienţii ai depind de detaliile
implementării. Notaţia O(nN) reflectă factorul dominant, evidenţiind
o complexitate de nN.
Ecuaţia recursivă (3.82) a algoritmului Levison Durbin
necesită O(m) operaţii de multiplicare şi sumare pentru a trece de la
treapta m la treapta m+1. Prin urmare, pentru p trepte sunt necesare
1+2+3+...+p=p(p+1)/2 operaţii pentru a determina coeficienţii
filtrului predictor sau coeficienţii de reflexie, adică o complexitate
O(p2). Dacă nu s-ar fi folosit proprietăţile matricei de corelaţie şi
sistemul (3.66) s-ar fi rezolvat prin metoda eliminărilor a lui Gauss,
gradul de complexitate ar fi O(p3). Prin folosirea procesării
paralele, complexitatea algoritmului poate fi scăzută suplimentar.

3.6.2. Algoritmul Schur

Algoritmul Schur este strâns legat de un test recursiv pentru a


determina faptul că matricea de corelaţie este pozitiv definită. În
particular, fie matricea de autocorelaţie Γ p+1 asociată cu ecuaţiile
normale extinse date de relaţia (3.67’). Din elementele acestei
matrice se formează funcţia

197
γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
R0 ( z ) = (3.85)
γ xx [ 0] + γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
şi familia de funcţii Rm ( z ) definită recursiv prin
Rm−1 ( z ) − Rm−1 ( ∞ )
Rm ( z ) = , m = 1,..., p (3.86)
z ⎡⎣1 − Rm* −1 ( ∞ ) Rm−1 ( z ) ⎤⎦
−1

Conform teoremei lui Schur [56], o condiţie necesară şi


suficientă pentru ca matricea de corelaţie să fie pozitiv definită este
ca Rm ( ∞ ) < 1 pentru m = 1,..., p . Se demonstrează mai întâi că
matricea de autocorelaţie este pozitiv definită dacă coeficienţii de
reflexie ai filtrului lattice corespunzător sunt subunitari, adică
K m < 1, m = 1,..., p .
Din (3.85) rezultă că R0 ( ∞ ) = 0 . Înseamnă atunci, conform
relaţiei (3.86), că
γ xx [1] + γ xx [ 2] z −1 + ... + γ xx [ p ] z − p +1
R1 ( z ) = (3.87)
γ xx [ 0] + γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
γ xx [1]
şi, deci R1 ( ∞ ) = . Comparând cu (3.69), se observă că
γ xx [0]
R1 ( ∞ ) = − K1 , adică γ xx [1] = − K1γ xx [ 0] .
În mod analog, rezultă
R ( z ) − R (∞)
R2 ( z ) = −1 1 * 1 =
z (1 − R1 ( ∞ ) R1 ( z ) )
γ xx [1] + γ xx [ 2] z −1 + ... + γ xx [ p ] z − p +1 γ [1]
− xx
γ xx [ 0] + γ xx [1] z + γ xx [ 2] z + ... + γ xx [ p ] z
−1 −2 −p
γ xx [ 0]
= =
⎡ γ
z −1 ⎢1 − xx .
[1 ] γ xx [1 ] + γ xx [ 2 ] z −1
+ ... + γ xx [ p ] z − p +1

−p ⎥
⎣ γ xx [ 0] γ xx [ 0] + γ xx [1] z + γ xx [ 2] z + ... + γ xx [ p ] z ⎦
−1 −2

198
γ xx [ 0] (γ xx [ 2] + ... + γ xx [ p ] z − p + 2 ) − γ xx [1] (γ xx [1] + ... + γ xx [ p ] z − p +1 )
=
γ xx [ 0] ( γ xx [ 0] + γ xx [1] z −1 + ... + γ xx [ p ] z − p ) − γ xx [1] (γ xx [1] + ... + γ xx [ p ] z − p +1 )
şi, deci
γ xx [ 0] γ xx [ 2] − γ xx2 [1] γ xx [ 2] + K1γ xx [1]
R2 ( ∞ ) = = (3.88)
γ xx2 [ 0] − γ xx2 [1] γ xx [ 0] (1 − K1 )
2

adică R2 ( ∞ ) = − K 2 . În general, rezultă Rm ( ∞ ) = − K m , m = 1,..., p .


Înseamnă, deci, că dacă Rm ( ∞ ) < 1, m = 1,..., p , atunci
K m < 1, m = 1,..., p , ceea ce asigură că matricea Γ p +1 este pozitiv
definită. Deoarece coeficienţii de reflexie pot fi obţinuţi din familia
de funcţii Rm ( z ) , m = 1,..., p , rezultă o metodă alternativă pentru
rezolvarea ecuaţiilor normale, cunoscută sub denumirea de
algoritmul lui Schur.
Fie Rm ( z ) exprimat sub forma
Pm ( z )
Rm ( z ) = , m = 0,..., p (3.89)
Qm ( z )
unde
P0 ( z ) = γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
Q0 ( z ) = γ xx [ 0] + γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p (3.90)
Deoarece K0 = 0 şi K m = − Rm ( ∞ ) , m = 1,..., p ecuaţia
recursivă (3.86) implică următoarele ecuaţii recursive pentru
polinoamele Pm ( z ) şi Qm ( z ) .
⎡ Pm ( z ) ⎤ ⎡ 1 K m−1 ⎤ ⎡ Pm−1 ( z ) ⎤
⎢ ⎥ = ⎢ * −1 ⎢ ⎥ , m = 1,..., p (3.91)
⎢⎣Qm ( z ) ⎥⎦ ⎣ K m−1 z z −1 ⎦⎥ ⎢⎣Qm−1 ( z ) ⎥⎦
Astfel, se poate scrie
P1 ( z ) = P0 ( z ) = γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p

199
Q1 ( z ) = z −1Q0 ( z ) = γ xx [ 0] z −1 + γ xx [1] z −2 + ... + γ xx [ p − 1] z − p +
(3.92)
+γ xx [ p ] z − p −1
şi
⎛ P (z) ⎞ γ xx [1]
K1 = − ⎜⎜ 1 ⎟⎟ = − (3.93)
⎝ Q1 ( z ) ⎠ z =∞ γ xx [ 0]
Analog, rezultă
P2 ( z ) = P1 ( z ) + K1Q1 ( z ) = γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p −
γ xx2 [1] z −2 γ xx [1]γ xx [ 2] z −3 γ xx [1]γ xx [ p ] z − p −1
−γ xx [1] z −−1
− − ... − =
γ xx [ 0] γ xx [ 0] γ xx [ 0]
= ( γ xx [ 2] + K1γ xx [1]) z −2 + ... + ( γ xx [ p ] + K1γ xx [ p − 1]) z − p +
+ K1γ xx [ p ] z − p −1
(3.94)
Q2 ( z ) = z −1K1* P1 ( z ) + z −1Q1 ( z ) = z −1 ( Q1 ( z ) + K1* P1 ( z ) ) =
= z −1[( γ xx [ 0] z −1 + γ xx [1] z −2 + ... + γ xx [ p − 1] z − p + γ xx [ p ] z − p −1 ) +
+ ( K1*γ xx [1] z −1 + K1*γ xx [ 2] z −2 + ... + K1*γ xx [ p ] z − p )] =

(γ [0] + K γ [1]) z + (γ [1] + K γ [ 2]) z


xx
*
1 xx
−2
xx
*
1 xx
−3
+ ....
+ ( γ [ p − 1] + K γ [ p ]) z
xx
*
1 xx+ γ [ p] z
− p −1
xx
− p−2

(3.95)
P2 ( z ) γ [2] + K1γ xx [1]
K2 = − = − xx (3.96)
Q2 ( z ) z =∞ γ xx [0] + K 1∗γ xx [1]
Pe baza acestor relaţii, algoritmul Schur este descris de
următoarea procedură recursivă:
1. Se formează matricea generatoare cu două linii şi p+1
coloane, de forma:

200
⎡ 0 γ xx [1] γ xx [ 2] ... γ xx [ p ]⎤
[G0 ] = ⎢γ ⎥ (3.97)
⎣ xx [ 0] γ xx [1] γ xx [ 2] ... γ xx [ p ]⎦
unde elementele primei linii sunt coeficienţii lui P0 ( z ) , iar cele de
pe a doua linie, coeficienţii lui Q0 ( z ) .
2. Se deplasează a doua linie a matricei generatoare spre
dreapta cu o poziţie şi se renunţă la ultimul element al liniei. În
locul rămas liber se plasează un zero. Astfel se obţine o nouă
matrice generatoare
⎡0 γ xx [1] γ xx [ 2] ... γ xx [ p ] ⎤
[G1 ] = ⎢0 ⎥ (3.98)
⎣ γ xx [ 0] γ xx [1] ... γ xx [ p − 1]⎦
Raportul, cu semnul minus, al elementelor din a doua coloană
γ xx [1]
reprezintă coeficientul de reflexie K1 = − .
γ xx [ 0]
3. Se înmulţeşte la stânga matricea generatoare [G1 ] cu
matricea
⎡1 K1 ⎤
[V1 ] = ⎢ K * 1 ⎥⎦
(3.99)
⎣ 1

obţinându-se
[V1 ][G1 ] =
⎡0 0 γ xx [ 2] + K1γ xx [1] ... γ xx [ p ] + K1γ xx [ p − 1] ⎤
=⎢ ⎥
⎣0 γ xx [ 2] + K1 γ xx [1] ... γ xx [ p − 1] + K1*γ xx [ p ]⎦
*
...
(3.100)
4. Se deplasează a doua linie a matricei [V1 ][G1 ] cu o poziţie
spre dreapta, obţinându-se o nouă matrice generatoare
⎡0 0 γ xx [ 2] + K1γ xx [1] ... γ xx [ p ] + K1γ xx [ p − 1] ⎤
[G2 ] = ⎢0 0 γ xx [ 0] + K γ
⎥ (3.101)

*
1 xx [1] ... γ xx [ p − 2] + K1*γ xx [ p − 1]⎦

201
Raportul, cu semnul “-“, al elementelor din coloana a treia
reprezintă coeficientul de reflexie K 2 . Paşii 3 şi 4 se repetă până se
obţin toţi cei p coeficienţi de reflexie. În general, matricea [Vm ]
este de forma
⎡ 1 Km ⎤
[Vm ] = ⎢ K * 1 ⎥⎦
(3.102)
⎣ m

Multiplicarea lui [Vm ] cu [Gm ] are ca rezultat o matrice din care,


prin deplasarea celei de-a doua linii cu o poziţie rezultă noua
matrice generatoare [Gm+1 ] . Se observă că operaţia de deplasare a
celei de-a doua linii la fiecare iteraţie echivalează cu înmulţirea cu
z −1 din a doua ecuaţie recursivă (3.91). De asemenea, se observă că
împărţirea polinomului Pm ( z ) la Qm ( z ) şi evaluarea câtului la
z = ∞ echivalează cu împărţirea elementelor din coloana ( m + 1 ) a
matricei [Gm ] .
Pentru a demonstra legătura dintre algoritmul Schur,
algoritmul Levison Durbin şi predictorul lattice corespunzător, se
determină ieşirea filtrului lattice când secvenţa de intrare este
secvenţa de autocorelaţie γ xx [m], m = 0,1,... , adică prima intrare în
lattice este γ xx [0] , a doua, γ xx [1] şi aşa mai departe. Corespunzător
figurii 3.8, f 0 [ n] = γ xx [n] . După întârzierea din prima treaptă,
g 0 [n − 1] = γ xx [n − 1] , adică, pentru n = 1, raportul
f 0 [1]/ g 0 [0] = γ xx [1]/ γ xx [0] , care este coeficientul de reflexie K1 , cu
semnul “-”. Această expresie se poate exprima şi în forma
f 0 [1] + K1 g 0 [0] = γ xx [1] + K1γ xx [0] = 0 (3.103)
Mai mult, g 0 [0] = γ xx [0] = E0f .
La momentul n = 2 , conform relaţiei (3.43), intrarea în a
doua treaptă este
202
f1[2] = f 0 [2] + K1 g 0 [1] = γ xx [2] + K1γ xx [1] (3.104)
şi, după întârzierea din a doua treaptă,
g1[1] = K1 f 0 [1] + g 0 [0] = K1γ xx [1] + γ xx [0] (3.105)
Raportul f1[2]/ g1[1] este
f1[2] γ xx [2] + K1γ xx [1] γ xx [2] + K1γ xx [1]
= = = −K2 (3.106)
g1[1] γ xx [0] + K1γ xx [1] E1f
deci,
f1[2] + K 2 g1[1] = 0, g1[1] = E1f (3.107)
Continuând în acelaşi mod, rezultă
f m−1[m]/ g m−1[m − 1] = − K m şi g m−1[m − 1] = Emf −1 (3.108)
În consecinţă, coeficienţii filtrului lattice obţinuţi cu
algoritmul Levison Durbin sunt identici cu coeficienţii obţinuţi cu
algoritmul Schur.

3.7. Proprietăţi ale filtrelor erorii de predicţie

3.7.1. Proprietatea de fază minimă a filtrului erorii de


predicţie înainte

Se reaminteşte că un filtru are fază minimă, dacă zerourile


funcţiei sale de sistem sunt în interiorul cercului unitate sau pe
acesta. S-a arătat anterior că în cazul implementării lattice a filtrului
erorii de predicţie, K m < 1 pentru toţi m . Această condiţie

(
împreună cu relaţia: Emf = 1 − K m
2
)E f
m −1 poate fi folosită pentru a
arăta că zerourile funcţiei de sistem a filtrului erorii de predicţie sunt
fie toate în interiorul cercului unitate, fie pe cerc.

203
Se va arăta că, dacă E pf > 0 , zerourile zi < 1 pentru orice i ,
unde zi sunt zerourile funcţiei de sistem.
Într-adevăr, pentru p = 1 funcţia de sistem filtrului erorii de
predicţie este
A1 ( z ) = 1 + K1 z −1 (3.109)

ceea ce înseamnă z1 = − K1 şi E1f = 1 − K1 ( 2


)E 0
f
>0.

Se presupune ipoteza adevărată pentru p − 1 , adică E pf −1 > 0 .


Dacă zi este o rădăcină a lui Ap ( z ) , din relaţiile (3.41) şi (3.46) se
obţine
Ap ( zi ) = Ap −1 ( zi ) + K p zi−1B p −1 ( zi ) =
⎛1⎞ (3.110)
= Ap −1 ( zi ) + K p zi− p A*p −1 ⎜ ⎟ = 0
⎝ zi ⎠
Din relaţia precedentă se poate scrie expresia
⎛1⎞
zi− p A*p −1 ⎜ ⎟
1 ⎝ zi ⎠ = Q z
=− ( i) (3.111)
Kp Ap −1 ( zi )
care este de tip trece tot.
Pe de altă parte, se ştie că o funcţie trece tot, de forma
N
zzk* + 1
P(z) = ∏ , zk < 1 (3.112)
k =1 z + zk
se bucură de proprietăţile:
P ( z ) > 1 pentru z < 1 ,
P ( z ) = 1 pentru z = 1 şi
P ( z ) < 1 pentru z > 1 .
Prelucrând relaţia (3.112), rezultă
204
z −1 + zk* z AN ( z )
N −N * −1

P(z) = z ∏ N
= (3.113)
k =1 1 + z k z −1
AN ( z )
P(z)
Din relaţiile (3.111) şi (3.113) rezultă că Q ( z ) = −
z
pentru N=p-1. Cum E pf > 0 şi E pf −1 > 0 din E pf = 1 − K p ( 2
)E f
p −1 >0

1
rezultă K p < 1 şi, deci, Q ( zi ) = > 1 . Conform proprietăţilor
Kp
funcţiei de tip trece tot, rezultă zi < 1 .
Dacă se presupune că E pf −1 > 0 şi E pf = 0 , atunci K p = 1 şi

Q ( zi ) = 1 . Procesul aleator x [ n ] pentru care EPMM este zero


( E pf = 0 ) se numeşte predictibil sau determinist.
Fie, de exemplu, procesul aleator sinusoidal de forma
M
x [ n] = ∑α k e
j ( nα k +θ k )
(3.114)
k =1

unde fazele {θ k } sunt statistic independente şi distribuite uniform în


intervalul ( 0, 2π ) . Funcţia de autocorelaţie este atunci
M
γ xx [ m ] = ∑ α k2e jmω k
(3.115)
k =1

iar densitatea spectrală de putere


M
ωk
Γ xx ( f ) = ∑ α k2δ ( f − f k ) , f k = (3.116)
k =1 2π
Se poate arăta că acest proces este predictibil cu un predictor
de ordin p ≥ M . Într-adevăr, fie x [ n ] de forma (3.114) care se
aplică la intrarea unui filtru al erorii de predicţie de ordin p ≥ M .
Eroarea pătratică medie la ieşirea acestui filtru este
205
1 1
2 2
⎡M 2 ⎤
∫ Γ xx ( f ) Ap ( f ) df = ∫1 ⎢⎣∑ α k δ ( f − f k ) ⎥ Ap ( f ) df
2 2
ξ pf =

1

k =1 ⎦ (3.117)
2 2
M
= ∑ α k2 Ap ( f k )
2

k =1

Alegând M din cele p zerouri ale filtrului erorii de predicţie


să coincidă cu frecvenţele { fk } , eroarea pătratică medie poate fi
forţată să fie zero. Celelalte p − M zerouri pot fi plasate arbitrar,
oriunde în interiorul cercului unitate.

3.7.2. Proprietatea de fază maximă a filtrului erorii de


predicție înapoi
Un filtru se spune că este de fază maximă, dacă zerourile
funcţiei sale de sistem sunt în exteriorul cercului unitate sau pe
acesta. Funcţia de sistem pentru filtrul erorii de predicţie înapoi de
ordin p este
B p ( z ) = z − p Ap ( z −1 ) (3.118)
În consecinţă, rădăcinile lui B p ( z ) sunt inversele rădăcinilor
filtrului erorii de predicţie înainte cu funcţia de sistem Ap ( z ) .
Aceasta înseamnă că, dacă Ap ( z ) este de fază minimă atunci
B p ( z ) este de fază maximă. Dacă procesul x [ n ] este predictibil
atunci toate rădăcinile lui B p ( z ) sunt pe cercul unitate.

3.7.3. Proprietatea de albire


Se presupune că procesul aleator x [ n ] este de tip AR(p),
adică este generat prin trecerea zgomotului alb, staţionar, de
206
dispersie σ w2 printr-un filtru numai cu poli, care are funcţia de
sistem
1
H ( z) = p
(3.119)
1 + ∑ ak z −1

k =1

Pe de altă parte, filtrul erorii de predicţie înainte de ordin p


are funcţia de sistem:
p
1
Ap ( z ) = 1 + ∑ a p [ k ]z − k = (3.120)
k =1 H ( z)
dacă coeficienţii predictorului sunt a p [k ] = ak . Răspunsul acestui
filtru la semnalul x[n] este, evident, zgomot alb de dispersie σ w2 .
Din acest motiv, acest filtru al erorii de predicţie se numeşte filtru
de albire.

3.7.4. Proprietatea de ortogonalitate

Erorile de predicţie înapoi { g [ k ]}


m în diferite trepte ale
filtrului FIR lattice sunt ortogonale, adică
⎧0, pentru 1 ≤ m ≤ p;1 ≤ l ≤ p; m ≠ l
E ⎡⎣ g m [ ni ] gl* [ ni ]⎤⎦ = ⎨ b (3.121)
⎩ Em , l = m
Într-adevăr,
m l
E ⎣⎡ g m [ ni ] g l* [ ni ]⎦⎤ = ∑ bm [ k ]∑ bl* E ⎣⎡ x [ ni − k ] x* [ ni − j ]⎦⎤ =
k =0 j =0
l m
= ∑ bl*[ j ]∑ bm [ k ] γ xx [ j − k ] (3.122)
j =0 k =0

Ecuaţiile normale ale predictorului liniar înapoi sunt


207
m ⎧0, j = 1, 2,..., m − 1
∑ bm [ k ] γ xx [ j − k ] = ⎨ (3.123)
⎩ Em , j = m
b
k =0

care, înlocuite în (3.122) conduc la (3.121).

3.8. Filtre lattice pentru procese AR şi ARMA

În paragraful 3.3 s-a arătat relaţia dintre un filtru lattice FIR


şi predicţia liniară. Predictorul liniar cu funcţia de sistem
p
Ap ( z ) = 1 + ∑ a p [ k ] z − k , (3.124)
k =1

când este excitat cu procesul aleator x [ n ] , produce o ieşire care


aproximează zgomotul alb când p → ∞ . Pe de altă parte, dacă
procesul de intrare este autoregresiv de ordin p , ieşirea
predictorului cu funcţia de sistem Ap ( z ) este un zgomot alb.
Deoarece predictorul cu funcţia de sistem Ap ( z ) generează un
proces MA ( p ) când este excitat cu o secvenţă de zgomot alb,
structurile lattice numai cu zerouri se mai numesc lattice cu medie
alunecătoare sau mobilă. În continuare se prezintă structurile lattice
pentru filtrul invers, numai cu poli, 1/ Ap ( z ) , numite structuri
lattice AR şi structurile lattice cu poli şi zerouri pentru un proces
ARMA.

3.8.1. Structura lattice AR

Fie un sistem numai cu poli, cu funcţia de sistem


1
H ( z) = p
(3.125)
1 + ∑ a p [k ] z −k
k =1

208
Ecuaţia cu diferenţe corespunzătoare este:
p
y [ n ] = −∑ a p [ k ] y [ n − k ] + x [ n ] (3.126)
k =1

Schimbând rolul intrării cu ieşirea, adică înlocuind în relaţia


(3.126) x[n] cu y[n] , şi invers, se obţine ecuaţia cu diferenţe:
p
x [ n ] = −∑ a p [ k ] x [ n − k ] + y [ n ] (3.127)
k =1

sau, echivalent
p
y [ n] = x [ n] + ∑ a p [ k ] x [ n − k ] (3.128)
k =1

care reprezintă ecuaţia cu diferenţe pentru un sistem FIR cu funcţia


de sistem Ap ( z ) . Aşadar, un sistem IIR numai cu poli poate fi
transformat în unul FIR prin interschimbarea rolului intrării cu
ieşirea. Pe baza acestei observaţii se poate obţine structura unei
lattice AR ( p ) dintr-o lattice MA(p) prin interschimbarea semnalată
anterior. Dacă structura lattice MA ( p ) are ieşirea y [ n ] = f p [ n ] , şi
intrarea x [ n ] = f 0 [ n ] , se va impune
⎧⎪ x [ n ] = f p [ n ]
⎨ (3.129)
⎪⎩ y [ n ] = f 0 [ n ]
Aceste definiţii impun calculul mărimilor { f m [ n ]} în ordine inversă,
lucru care poate fi efectuat prin rearanjarea ecuaţiei recursive (3.29)
pentru f m [ n ] şi aflarea lui f m−1 [ n ] în funcţie de f m [ n ] . Astfel
f m−1 [ n ] = f m [ n ] − K m g m [ n − 1] , m = p, p − 1,...,1. (3.130)
Ecuaţia pentru g m [ n ] rămâne neschimbată. Se obţin în final
relaţiile:

209
x [ n] = f p [ n]
f m−1 [ n ] = f m [ n ] − K m g m−1 [ n − 1]
(3.131)
g m [ n ] = K m f m −1 [ n ] + g m−1 [ n − 1]
y [ n] = f0 [ n] = g0 [ n]
Împlementarea corespunzătoare pentru structura lattice
AR(p) este prezentată în figura 3.9.

Figura 3.9. Structura corespunzătoare pentru lattice AR ( p )

Se observă că structura lattice numai cu poli are o cale


numai cu zerouri cu intrarea g 0 [ n ] şi ieşirea g p [ n ] , care este
identică cu calea numai cu zerouri din structura lattice MA ( p ) . Se
observă, de asemenea, că cele două structuri lattice AR ( p ) şi
MA ( p ) sunt caracterizate de aceiaşi parametri, şi anume,
coeficienţii de reflexie {Ki } , fapt ce permite aplicarea aceloraşi
relaţii de conversie (3.53) ÷ (3.55) şi (3.57), (3.58) a parametrilor
{a [ k ]}
p ai realizării în formă directă a sistemului numai cu
zerouri Ap ( z ) în parametrii lattice {Ki } ai structurii MA ( p ) şi
pentru structurile numai cu poli.

210
3.8.2. Procese ARMA şi filtre lattice cu poli şi zerouri

O structură lattice numai cu poli furnizează blocul


constructiv de bază pentru structurile de tip lattice care
implementează sisteme IIR ce conţin atât poli cât şi zerouri. Fie un
sistem IIR cu funcţia de sistem
q

∑ c [k ] z
q
−k
Cq ( z )
H ( z) = k =0
= (3.132)
p
Ap ( z )
1 + ∑ a p [k ] z −k

k =1

Fără a se pierde din generalitate, se presupune p ≥ q . Acest


sistem este caracterizat de ecuaţiile cu diferenţe
p
v [ n ] = −∑ a p [ k ] v [ n − k ] + x [ n ]
k =1
q
(3.133)
y [ n ] = ∑ cq [ k ]v [ n − k ]
k =0

obţinute prin considerarea sistemului IIR ca o cascadă formată dintr-


un sistem numai cu poli care precede un sistem numai cu zerouri.
Ieşirea y [ n ] este o combinaţie liniară a ieşirilor întârziate din
sistemul numai cu poli.
Funcţia de sistem
Gm ( z )
Hb ( z ) = = Bm ( z ) (3.134)
Y (z)
unde Gm ( z ) este transformata Z a ieşirii g m [ n ] din treapta a m-a,
iar Y ( z ) , intrarea în calea numai cu zerouri, caracterizează un
sistem numai cu zerouri. Prin urmare, orice combinaţie de { g m [ n ]}
este, de asemenea, un filtru numai cu zerouri.

211
Fie un filtru lattice numai cu poli, cu coeficienţii K m , căruia i
se adaugă o structură, numită scară, prin considerarea ieşirii ca o
combinaţie liniară de { g m [ n ]} . Se obţine un filtru lattice cu poli şi
zerouri ca în figura 3.10, a cărui ieşire este
q
y [ n] = ∑ β k g k [ n] (3.135)
k =0

unde {β k } sunt parametrii care caracterizează sistemul numai cu


zerouri.

Figura 3.10. a) Structură lattice pentru un sistem cu poli şi zerouri, b) treapta


m a latticei

Cu ajutorul relaţiei (3.135), funcţia de sistem


corespunzătoare sistemului cu poli şi zerouri este
Y ( z) q
G ( z)
H ( z) = = ∑ βk k (3.136)
X ( z ) k =0 X ( z)
Deoarece X ( z ) = FP ( z ) şi F0 ( z ) = G0 ( z ) , relaţia (3.136) se poate
scrie
212
q
Gk ( z ) F0 ( z ) 1 q
H ( z ) = ∑ βk = ∑ β k Bk ( z ) (3.137)
k =0 G0 ( z ) Fp ( z ) Ap ( z ) k =0
Prin identificarea cu relaţia (3.132), rezultă
q
Cq ( z ) = ∑ β k Bk ( z ) (3.138)
k =0

Această relaţie poate fi folosită pentru determinarea


coeficienţilor {β k } . Fiind date polinoamele Cq ( z ) şi Ap ( z ) cu
p ≥ q , se determină întâi coeficienţii de reflexie {K m } din
coeficienţii a p [ k ] . Cu ajutorul relaţiilor recursive date de (3.56) se
obţin polinoamele Bk ( z ) , k = 1,..., p . Parametrii scării se pot obtine
din relaţia (3.138), care se mai scrie sub forma
m −1
Cm ( z ) = ∑ β k Bk ( z ) + β m Bm ( z ) = Cm−1 ( z ) + β m Bm ( z ) (3.139)
k =0

sau, echivalent
Cm−1 ( z ) = Cm ( z ) − β m Bm ( z ) , m = p, p − 1,...,1 (3.140)
ceea ce permite determinarea polinoamelor de ordin inferior.
Deoarece bm [ m ] = 1 , parametrul β m se determină din relaţia (3.140)
impunând β m = cm [ m ] , m = p,...,1 .
Dacă o structură lattice cu poli şi zerouri este excitată cu o
secvenţă de zgomot alb, se generează un proces ARMA ( p, q ) , a
cărui densitate spectrală de putere este
Cq ( f )
2

Γ xx ( f ) = σ w2 , (11.141)
Ap ( f )
2

unde σ w2 este dispersia secvenţei de zgomot alb de la intrare.

213
3.9. Filtre Wiener pentru filtrare şi predicţie

În multe situaţii practice semnalele utile sunt afectate de


perturbaţii cu caracter aditiv, motiv pentru care se pune problema
proiectării unui filtru care să suprime componenta nedorită de
zgomot, păstrând, în acelaşi timp, caracteristicile semnalului dorit.
Se impune ca filtrul, caracterizat de răspunsul la impuls h [ n ] , să fie
liniar, iar ieşirea sa să aproximeze un semnal dorit. Situaţia este
ilustrată în figura 3.11.

Figura 3.11. Model pentru estimarea liniară a unui semnal

unde s [ n ] -semnalul util


w [ n ] -zgomot aditiv
d [ n ] -semnal dorit
x [ n ] = s [ n ] + w [ n ] -semnalul de intrare în filtru
y [ n ] -ieşirea filtrului
e [ n ] = d [ n ] − y [ n ] -secvenţa de eroare
Se disting trei cazuri
1) d [ n ] = s [ n ] , situaţie cunoscută sub numele de filtrare;
2) d [ n ] = s [ n + D ] , D > 0 , situaţie cunoscută sub numele de
predicţie, filtrare cu anticipare sau extrapolare;
214
3) d [ n ] = s [ n − D ] , D > 0, situaţie cunoscută sub numele de
netezire, filtrare cu întârziere sau interpolare.
Criteriul ales pentru optimizarea răspunsului la impuls al
filtrului este cel de minimizare a erorii pătratice medii. Secvenţele
{s [ n]} ,{w[ n]} ,{d [ n]} se presupun de medie zero şi staţionare în
sens larg. Filtrul liniar optimal care minimizează eroarea pătratică
medie se numeşte filtru Wiener şi poate fi cu răspuns finit sau
infinit la impuls.

3.9.1. Filtru Wiener cu răspuns finit la impuls

Se presupune că filtrul cu răspuns finit la impuls are


lungimea M şi coeficienţii {h [ k ] ,0 ≤ k ≤ M − 1} , caz în care ieşirea
sa este
M −1
y [ n] = ∑ h [ k ] x [ n − k ] (3.142)
k =0

Valoarea pătratică medie a erorii dintre ieşirea dorită d [ n ] şi


ieşirea filtrului, y[n] , este
⎧⎪⎛ M −1
⎞ ⎫⎪
2

ξ M = E {(e [ ni ]) } = E ⎨⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ (3.143)
2

⎪⎩⎝ k =0 ⎠ ⎭⎪
Condiţia necesară din care se obţine valoarea de extrem a
erorii este:
∂E {(e [ ni ]) 2 }
= 0, 0 ≤ k ≤ M − 1 (3.144)
∂h [ k ]
Înlocuind (3.143) în (3.144), rezultă

215
∂E {(e [ ni ]) 2 } ∂ ⎧⎪⎛ M −1
⎞ ⎫⎪
2

= E ⎨ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ =
∂h [ k ] ∂h [ k ] ⎪⎩⎜⎝ k =0 ⎠ ⎭⎪
⎧⎪ ∂ ⎛ M −1
⎞ ⎫⎪
2

= E⎨ ⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ =
⎪⎩ ∂h [ k ] ⎝ k =0 ⎠ ⎪⎭
⎧⎛ M −1
⎞ ⎫
= −2 E ⎨⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ( x [ ni − m ]) ⎬ = (3.145)
⎩⎝ k =0 ⎠ ⎭
⎛ M −1

= −2 ⎜ γ xd [m] − ∑ h [ k ] γ xx [ k − m ] ⎟ = 0, 0 ≤ m ≤ M − 1
⎝ k =0 ⎠
sau, echivalent
M −1

∑ h [ k ]γ [ k − m] = γ
k =0
o xx xd [ m], 0 ≤ m ≤ M − 1 (3.146)

Relaţiile (3.146) pentru 0 ≤ m ≤ M − 1 sunt cunoscute ca


ecuaţiile Wiener Hopf din care se deduc coeficienţii filtrului optimal
FIR care asigură o eroare pătratică minimă.

Extremul erorii pătratice medii este un minim, deoarece


∂ 2 E {(e [ ni ]) 2 }
= 0, pentru m ≠ k şi
∂h [ m ] ∂h [ k ]
∂ 2 E {(e [ ni ]) 2 }
= γ xx [0] > 0, 0 ≤ m ≤ M − 1 (3.147)
∂h 2 [ m ]
Ecuaţiile (3.146) poate fi exprimate în formă matriceală
astfel:
[Γ M ][ ho ] = [γ d ] (3.148)
unde

216
⎡ γ xx [ 0] γ xx [1] ... γ xx [ M − 1] ⎤
⎢ ⎥
γ xx [1] γ xx [ 0] ... γ xx [ M − 2]⎥
[Γ M ]MxM =⎢
⎢ .. .. ... .. ⎥
⎢ ⎥
⎣⎢γ xx [ M − 1] γ xx [ M − 2] ... γ xx [ 0] ⎦⎥
este matricea de autocorelaţie, cu elementele Γlk = γ xx [l − k ] ,

[γ d ]M ×1 = [γ xd [0] γ xd [1] ... γ xd [ M − 1]] este un vector coloană cu


T

elementele γ xd [l ] , l = 0,1,..., M − 1 , iar

[ ho ]M ×1 = [ h[0] h[1] ... h[ M − 1]] este un vector coloană ale


T

cărui componente sunt valorile răspunsului la impuls al filtrului


optimal.
Soluţia pentru coeficienţii filtrului optimal este
[ h0 ] = [Γ M ] [γ d ] .
−1
(3.149)
Deoarece matricea de corelaţie [ Γ M ] este de tip Toplitz, se poate
folosi algoritmul Levison Durbin pentru aflarea coeficienţilor
filtrului optimal (vezi paragraful 3.6.1).
Eroarea pătratică medie minimă a filtrului Wiener se obţine
înlocuind relaţiile (3.146) în (3.143), adică
⎧⎪⎛ M −1
⎞ ⎫⎪
2

min ξ M = E ⎨⎜ d [ ni ] − ∑ ho [ k ] x [ ni − k ] ⎟ ⎬ =
⎩⎪⎝ k =0 ⎠ ⎭⎪
⎧⎛ M −1
⎞⎛ M −1
⎞⎫
E ⎨⎜ d [ ni ] − ∑ ho [ k ] x [ ni − k ] ⎟⎜ d [ ni ] − ∑ ho [ m ] x [ ni − m ] ⎟ ⎬ =
⎩⎝ k =0 ⎠⎝ m=0 ⎠⎭
M −1 M −1 M −1
γ dd [0] − 2 ∑ ho [ m ] γ xd [ m ] + ∑ ho [ m]∑ ho [ k ] γ xx [ m − k ] =
m =0 m =0 k =0
M −1
γ dd [0] − ∑ ho [ m ] γ xd [ m ]
m =0

(3.150)
217
Ţinând cont de (3.149), relaţia (3.150) se scrie, echivalent,
sub forma
min ξ M = γ dd [0] − [γ d ]T [Γ M ]−1[γ d ] (3.151)
Se consideră în continuare cazul când semnalul dorit a fi
estimat este de forma
d [ n ] = s [ n + D ] ,cu D întreg, fixat (3.152)
Filtrul liniar optimal operează asupra semnalului observat
afectat de zgomot aditiv
x [ n] = s [ n] + w[ n] (3.153)
pentru a elimina zgomotul, producând un răspuns y [ n ] care să
aproximeze s [ n + D ] . Filtrul optimal va fi de întârziere, dacă D < 0
şi de anticipare, dacă D > 0 .
Dacă semnalul s [ n ] şi zgomotul w [ n ] sunt necorelate, cum
este de obicei cazul în practică, atunci
γ xx [k ] = γ ss [ k ] + γ ww [ k ]
(3.154)
γ xd [ m ] = γ ss [ m + D ]
iar ecuaţiile Wiener Hopf sunt de forma
M −1

∑ h [ k ] ⎡⎣γ [ m − k ] + γ [ m − k ]⎤⎦ =
k =0
o ss ww
(3.155)
= γ ss [ m + D ] , m = 0,..., M − 1

3.9.2. Proprietatea de ortogonalitate a filtrului optimal

Filtrul liniar optimal ce satisface ecuaţia Wiener-Hopf


(3.146) are o proprietate statistică importantă, şi anume, aceea că
eroarea pătratică medie este minimă, dacă coeficienţii filtrului

218
{h[n]} au fost aleşi astfel încât eroarea de estimare şi datele x [ n ]
sunt ortogonale, adică:
E { x [ ni − m ] e [ ni ]} = 0,0 ≤ m ≤ M − 1 (3.156)
unde
M −1
e [ n ] = d [ n ] − y [ n ] = d [ n ] − ∑ h [ m ]x [ n − m ] (3.157)
m =0

Într-adevăr, egalând cu zero derivata erorii pătratice medii în


raport cu h [ m ] , rezultă
∂E ⎡⎣e 2 [ ni ]⎤⎦
⎪⎧ ∂e [ ni ] ⎪⎫
= 2E ⎨ e [ ni ]⎬ = 0 (3.158)
∂h [ m ] ⎪⎩ ∂h [ m ] ⎪⎭
În (3.158) ordinea operaţiilor de mediere şi derivare a fost
interschimbată.
Din (3.157) se observă că
∂e [ n ] ∂ M −1
∂h [ m ]
=− ∑ h [ m]x [ n − m] = − x [ n − m]
∂h [ m ] m=0
(3.159)

Înlocuind (3.159) în (3.158) rezultă E { x [ ni − m ] e [ ni ]} = 0 ,


m = 0,..., M − 1 , adică (3.156).

3.9.3. Determinarea funcţiei pondere a filtrelor Wiener cu


răspuns infinit la impuls (IIR) la recepţionarea secvenţei de
zgomot alb

În paragraful precedent s-a impus constrângerea ca filtrul să


fie de lungime finită, obţinându-se un sistem de M ecuaţii liniare din
care să rezulte coeficienţii optimi ai filtrului. In paragraful de faţă,
filtrele, ca şi datele se consideră infinite ca durată. Ieşirea filtrului
IIR se calculează cu relaţia
219

y [ n] = ∑ h [ k ] x [ n − k ] (3.160)
k =0

Coeficienţii filtrului rezultă din minimizarea erorii pătratice medii


dintre semnalul de ieşire dorit d [ n ] şi y [ n ] , adică
⎧ ∞

ξ ∞ = E {(e [ ni ]) } = E ⎨(d [ ni ] − ∑ h [ k ] x [ ni − k ]) 2 ⎬
2
(3.161)
⎩ k =0 ⎭
Aplicând principiul ortogonalităţii, se obţin ecuaţiile Wiener-Hopf

∑ h [ k ]γ [ m − k ] = γ [ m] , m ≥ 0
k =0
o xx xd (3.162)

Eroarea pătratică medie minimă se obţine din relaţia (3.150)


pentru M → ∞ , adică

EPMM ∞ = min ξ ∞ = γ dd [0] − ∑ ho [ m]γ xd [ m ] (3.163)
h
m =0

Ecuaţiile Wiener-Hopf (3.162) nu pot fi rezolvate direct cu


ajutorul tehnicilor oferite de transformata Z, deoarece ecuaţiile sunt
valabile numai pentru m ≥ 0 . Filtrul optimal Wiener-Hopf IIR va fi
determinat cu ajutorul unui filtru de albire căruia i se aplică procesul
stationar { x [ n ]} .
În cazul filtrelor discrete optimale IIR cauzale, ecuaţia Wiener-
Hopf este dată de relaţia (3.162). În cazul recepţionării unei secvenţe
de zgomot alb, notată cu w [ n ] , fie γ ww [ m ] funcţia de autocorelaţie a
acesteia, γ wd [ m ] funcţia de corelaţie dintre secvenţa recepţionată
w [ n ] şi secvenţa dorită a fi estimată d [ n ] şi how [ k ] funcţia pondere a
unui filtru optimal IIR ce satisface ecuaţia Wiener-Hopf la
recepţionarea secvenţei w [ n ] . În cazul secvenţei recepţionate de tip
zgomot alb, ecuaţia (3.162) devine:

220

∑h
k=0
oa [k ] γ ww [ m - k ] = γ wd [m] , m ≥ 0 (3.164)

Dar
γ ww [m - k ] = σ w2 δ [m - k ] (3.165)
Ţinând cont de (3.165), ecuaţia (3.164) devine:
σ w2 how [m] = γ wd [m] , m ≥ 0 (3.166)
Fie +γ wd [ m ] partea lui γ wd [ m ] pentru m≥0 şi −γ wd [ m ] pentru m <0.
Rezultă atunci:
⎧ +γ wd [m]
⎪ , pentru m ≥ 0
how [m] = ⎨ σ w2 (3.167)
⎪ 0, pentru m < 0

Aplicând transformata Z relaţiei (3.167), rezultă:

Z {how [ m] } = ∑ h [ m] z
m=- ∞
ow
−m
= H ow ( z ) =

(3.168)
1 1
= ∑
σ w2 m=0
+
γ wd [m] z -m =
σ w2
⋅ Γ wd ( z )
+

3.9.4. Filtru Wiener cauzal cu răspuns infinit la impuls


(IIR)

Se reaminteşte că un proces aleator stationar x [ n ] , cu funcţia


de autocorelaţie γ xx [ k ] şi densitatea spectrală de putere Γ xx ( f )
poate fi obţinut la ieşirea unui filtru cu funcţia de sistem G ( z ) şi
răspunsul la impuls g[n] , la intrarea căruia se aplică zgomot alb
1
w[n] . Procesul x [ n ] este albit de filtrul cu funcţia de sistem .
G(z)

221
Funcţia G ( z ) este partea de fază minimă obţinută din factorizarea
spectrală a lui Γ xx ( z )
Γ xx ( z ) = σ i2G ( z ) G ( z −1 ) , (3.169)
regiunea de convergenţă pentru G ( z ) fiind z > r1 cu r1 < 1 .
Pentru a putea folosi rezultatul din paragraful precedent,
filtrul optimal Wiener H o ( z ) se consideră a fi o cascadă formată
1
dintr-un filtru de albire caracterizat de funcţia de sistem şi un
G(z)
alt filtru caracterizat de funcţia de sistem H ow ( z ) , a cărui ieşire
y [ n ] este identică cu ieşirea filtrului Wiener optimal.

Figura 3.12. Filtru optimal Wiener

Deoarece

y [ n ] = ∑ how [ k ] w [ n − k ] (3.170)
k =0

şi e [ n] = d [ n] − y [ n] , aplicarea principiului ortogonalităţii


determină următoarele ecuaţii Wiener-Hopf pentru filtrul H ow ( z )

∑ h [ k ]γ [ m − k ] = γ [ m] , m ≥ 0
k =0
ow ww wd (3.171)

Optimalitatea filtrului H ow ( z ) asigură şi optimalitatea


filtrului H o ( z ) , deoarece

222
E { x[ni ]e[ni + m]} =
⎧∞ ⎛ ∞
⎞⎫
= E ⎨∑ g[ p ]w[ni − p ] ⎜ d [ni + m] − ∑ how [k ]w[ni + m − k ] ⎟ ⎬ =
⎩ p =0 ⎝ k =0 ⎠⎭

⎡ ⎧ ∞
⎫⎤
∑ g [ p ] E
⎢ ⎨ ( w[ ni − p ]d [ ni + m ]) − ∑ how [k ]w[ni − p ][ w[ni + m − k ]⎬⎥ =
p =0 ⎣ ⎩ k =0 ⎭⎦

⎡ ∞


p =0
g [ p ] γ
⎢ wd

[ m + p ] − ∑
k =0
how [k ]γ ww [m + p − k ]⎥ = 0

(3.172)
Deoarece w[n] este zgomot alb, rezultă că γ ww [ m − k ] = 0 ,
cu excepţia cazului în care m = k . Din (3.171) se obţine
γ wd [ m ] γ wd [ m]
how [ m ] = = ,m ≥ 0 (3.173)
γ ww [ 0] σ w2
Transformata Z, a secvenţei how [ m ] se determină cu relaţia
∞ ∞
1
H ow ( z ) = ∑ how [ k ] z − k = ∑ γ [k ] z −k
(3.174)
k =0 σ 2
w k =0
wd

Transformata Z bilaterală a secvenţei γ wd [ k ] se notează cu Γ wd ( z )


şi se calculează cu relaţia

Γ wd ( z ) = ∑ γ [ k ]z
k =−∞
wd
−k
(3.175)

iar partea sa cauzală se notează cu


⎣ wd ( z ) ⎤⎦ = ∑ γ wd [ k ] z
+ −k
⎡Γ (3.176)
k =0

Cu relaţia (3.176), relaţia (3.174) devine


1 +
H ow ( z ) = 2 ⎡Γ ( z )⎤ (3.177)
σ ⎣ wd ⎦ w
+
⎣ wd ( z ) ⎤⎦ se exprimă ieşirea filtrului de albire
Pentru a determina ⎡Γ

223
în forma


w [ n ] = ∑ v [ k ]x [ n − k ] (3.174)
k =0

unde {v [ k ] , k ≥ 0} este răspunsul la impuls al filtrului de albire



1
= V ( z ) = ∑ v [ k ]z − k (3.179)
G(z) k =0

Atunci
γ wd [ k ] = E {w [ ni ] d [ ni + k ]} =
∞ ∞ (3.180)
= ∑ v [ m ]E { x [ ni − m ] d [ ni + k ]} = ∑ v [ m ]γ xd [ k + m ]
m=0 m =0

Transformata Z a funcţiei de corelaţie γ wd [ k ] este



⎡∞ ⎤ −k
Γ wd ( z ) = ∑ ⎢ ∑ v [ m ]γ xd [ k + m ]⎥z =
k =−∞ ⎣ m = 0 ⎦
∞ ∞ ∞ ∞
= ∑ v [ m ] ∑ γ xd [ k + m ]z − k = ∑ v [ m ]z m ∑ γ [ k ]z
xd
−k
= (3.181)
m =0 k =−∞ m=0 k =−∞

Γ xd ( z )
= V ( z −1 ) Γ xd ( z ) =
G ( z −1 )
Rezultă astfel
+
⎡ Γ (z) ⎤
1
H ow ( z ) = 2 ⎢ xd −1 ⎥ (3.182)
σw ⎢G( z )⎥
⎣ ⎦
Filtrul optimal Wiener are funcţia de sistem
+
H 0w ( z ) 1 ⎡ Γ (z) ⎤
Ho ( z ) = = 2 ⎢ xd −1 ⎥ (3.183)
G(z) σ wG ( z ) ⎢ G ( z ) ⎥
⎣ ⎦

224
În continuare se exprimă EPMM dată de (3.163) în funcţie de
caracteristicile în frecvenţă ale filtrului. Valoarea γ dd [ 0] a funcţiei
de autocorelaţie γ dd [ k ] în origine se determină astfel:
Deoarece
1
γ dd [ k ] =
2π j ∫
Γ dd ( z ) z k −1dz (3.184)
C

rezultă că
1 Γ dd ( z )
γ dd [ 0] =
2π j ∫
dz = σ d2 (3.185)
C z
unde C este un contur din regiunea de convergenţă al lui Γ dd ( z )
care conţine originea, parcurs în sens antiorar.
Al doilea termen al relaţiei (3.163) se transformă uşor în
domeniul frecvenţă, aplicând teorema lui Parseval [72]. Deoarece
ho [ k ] = 0, k < 0 rezultă

1
∑ h [ k ]γ [ k ] = 2π j ∫
k =−∞
o xd C
H o ( z )Γ xd ( z −1 ) z −1dz (3.186)

unde C este un contur care înconjoară originea, plasat în regiunea de


convergenţă a lui H o ( z ) şi Γ xd ( z −1 ) . Înlocuind relaţiile (3.185) şi
(3.186) în )3.163), rezultă
1 ⎡Γ dd ( z ) − H o ( z ) Γ xd ( z −1 ) ⎤z −1dz
EPMM ∞ = ∫
2π j ⎣ C ⎦ (3.187)

3.9.5. Filtru Wiener IIR necauzal

Dacă se renunţă la constrângerea impusă filtrului Wiener IIR


de a fi cauzal, ieşirea acestuia devine

y [ n] = ∑ h [ n]x [ n − k ]
k =−∞
(3.188)

225
Acest filtru este nerealizabil. El poate fi văzut ca un filtru de
netezire în care sunt folosite valorile semnalului din viitorul infinit

pentru a furniza estimatul d̂ [ n ] = y [ n ] al semnalului dorit d [ n ] .


Aplicând principiul ortogonalităţii, rezultă ecuaţiile Wiener-Hopf
pentru filtrul necauzal

∑ h [ k ]γ [l − k ] = γ [l ] , −∞ < l < ∞
k =−∞
xx xd (3.189)

Aplicând transformata Z relaţiei (3.189) se obţine


Γ xd ( z )
H nc ( z ) = (3.190)
Γ xx ( z )
EPMM rezultată este

EPMM nc = γ dd [ 0] − ∑ h [ k ]γ [ k ] xd (3.191)
k =−∞

iar în domeniul Z
1 ⎡Γ dd ( z ) − H nc ( z ) Γ xd ( z −1 ) ⎤ z −1dz
2π j ∫
EPMM nc = ⎣ ⎦ (3.192)
C

3.10. Probleme rezolvate

1. Funcţia de autocorelaţie a unui proces aleator este


⎧1, m = 0
⎪−1/ 2, m = ±1
⎪⎪
γ xx [m] = ⎨5 / 8, m = ±2
⎪−11/16, m = ±3

⎪⎩0, în rest
Să se determine funcţia de sistem Am ( z ) a filtrului de
predicţie, coeficienţii de reflexie K m şi eroarea pătratică medie de

226
predicţie Emf , pentru m = 1, 2,3.
Soluţie
Coeficienţii filtrului predictor se determină cu ajutorul
algoritmului Levison Durbin.
γ [1]
Se iniţializează pentru m = 1, a1[1] = − xx , E1f = (1− | a1[1] |2 )γ xx [0]
γ xx [0]
La pasul m se calculează
m −1
γ xx [m] + ∑ am−1[k ]γ xx [m − k ]
am [ m ] = − k =1
f
, Emf = (1− | am [m] |2 ) Emf −1
E m −1

am [k ] = am−1[k ] + am [m]am−1[m − k ], 1 ≤ k ≤ m − 1

γ xx [1] 1 f
m = 1, a1[1] = − = , E1 = (1 − (1/ 2) 2 )1 = 3/ 4
γ xx [0] 2
1 −1 1
A ( z ) = 1 + a1[1] z −1 = 1 + z ; K1 = a1[1] =
2 2

1
γ xx [2] + ∑ a1[ k ]γ xx [2 − k ]
γ xx [2] + a1[1]γ xx [1] 1
m = 2, a2 [2] = − k =1
=− =− ,
E1f E1f 2
2
9 ⎛3⎞
K 2 = a2 [2], E = (1 − (−1/ 2) ) E =
2
f
=⎜ ⎟ 2
1
f

16 ⎝ 4 ⎠

a2 [k ] = a1[k ] + a2 [2]a1[2 − k ], k = 1
1
a2 [1] = a1[1] + a2 [2]a1[1] =
4
1 −1 1 −2
A2 ( z ) = 1 + a2 [1]z −1 + a2 [2]z −2 = 1 + z − z
4 2

227
2
γ xx [3] + ∑ a2 [k ]γ xx [3 − k ]
m = 3, a3[3] = − k =1
=
E2f
γ xx [3] + a2 [1]γ xx [2] + a2 [2]γ xx [1] 1
=− f
=− ,
E 2 2
3
27 ⎛ 3 ⎞
K 3 = a3[3], E = (1 − (−1/ 2) ) E =
3
f 2
=⎜ ⎟
2
f

64 ⎝ 4 ⎠
a3[k ] = a2 [k ] + a3[3]a2 [3 − k ], 1 ≤ k ≤ 2
1
k = 1, a3[1] = a2 [1] + a3[3]a2 [2] =
2
5
k = 2, a3[2] = a2 [2] + a3[3]a2 [1] = −
8
1 −1 5 −2 1 −3
A3 ( z ) = 1 + a2 [1] z −1 + a2 [2] z −2 + a3[3] z −3 = 1 + z − z − z
2 8 2

2. Un proces AR(2) este caracterizat de coeficienţii filtrului


3 1
de predicţie a2 [1] = , a2 [2] = .
8 2
Dacă procesul AR(2) s-a obţinut prin filtrarea unui zgomot
alb cu dispersia σ w2 , să se determine:
a) γ xx [ m], 0 ≤ m ≤ 2
b) coeficienţii de reflexie K m , 1 ≤ m ≤ 2
c) eroarea de predicţie E2f .
Soluţie
a) Ecuaţiile Yule – Walker sunt
p
⎧σ w2 , m = 0
γ xx [m] + ∑ ak γ xx [m − k ] = ⎨
k =1 ⎩0, 1 ≤ m ≤ p
unde p=2 este ordinul predicţiei.
228
m = 0 γ xx [0] + a2 [1]γ xx [−1] + a2 [2]γ xx [−2] = σ w2
m = 1 γ xx [1] + a2 [1]γ xx [0] + a2 [2]γ xx [−1] = 0
m = 2 γ xx [2] + a2 [1]γ xx [1] + a2 [2]γ xx [0] = 0
Cum funcţia de autocorelaţie este pară, rezultă
3 1
γ xx [0] + γ xx [1] + γ xx [2] = σ w2
8 2
3 1
γ xx [1] + γ xx [0] + γ xx [1] = 0
8 2
3 1
γ xx [2] + γ xx [1] + γ xx [0] = 0
8 2
64 16 26
de unde rezultă γ xx [0] = σ w2 , γ xx [1] = − σ w2 , γ xx [2] = − σ w2
45 45 45
b) Folosind relaţia (3.56), cu K 2 = a2 [2] , se poate scrie
A2 ( z ) − K 2 B2 ( z )
A1 ( z ) = , unde
1 − K 22
A2 ( z ) = 1 + a2 [1]z −1 + a2 [2]z −2
B2 ( z ) = z −2 + a2 [1]z −1 + a2 [2]
Înlocuind datele problemei în relaţiile precente şi pe acestea în
1 1
relaţia pentru A1 ( z ) , rezultă A1 ( z ) = 1 + z −1 , K1 = a1[1] = .
4 4
m
c) E = (1 − a [ m]) E
f
m
2
m
f
m −1 = γ xx [0]∏ (1 − ak2 [k ])
k =1

1 1
m = 2, a1[1] = , a2 [2] =
4 2
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞
E = γ xx [0] ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ = σ w2
f
2 ⎜ ⎝ 4 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟
⎝ ⎠⎝ ⎠

229
3. Fie semnalul x[n] = s[n] + v[ n] , unde s[ n] este un proces
AR(1) caracterizat de ecuaţia cu diferenţe
s[n] = as[n − 1] + v[n], ,
unde a = 0,6 , v[n] este zgomot alb cu dispersia σ v2 = 0,64 , iar
w[n] este zgomot alb cu dispersia σ w2 = 1 . Procesele v[n] şi w[n]
sunt necorelate.
a) Să se determine funcţiile de autocorelaţie γ ss [m] şi γ xx [m] ;
b) Să se determine răspunsul la impuls al filtrului Wiener
FIR, de lungime M=2, pentru estimarea semnalului s[ n] din x[n] .
c) Să se determine eroarea pătratică medie minimă de
estimare, pentru M=2.
Soluţie

1
a) Γ ss ( z ) = V ( z )V ( z −1 ) H ( z ) H ( z −1 ) = σ v2 −1
=
(1 − az )(1 − az )
1 ⎛ ⎞
− z ⎜ ⎟
a 1 z z
= σ v2 = σ v2 2 ⎜
− ⎟
⎛ 1⎞ 1− a ⎜ z − a z − 1 ⎟
( z − a) ⎜ z − ⎟
⎝ a⎠ ⎝ a⎠
σ v2 ⎛ ⎞
m
⎛1⎞ σ v2 |m|
γ ss [m] = Z {Γ ss ( z )} =
−1
⎜ a u[ mm
] + ⎜ ⎟ u[ − m − 1] ⎟⎟ = a
1 − a 2 ⎜⎝ ⎝a⎠ ⎠ 1 − a 2

Înlocuind a = 0,6 şi σ v2 = 0,64 , rezultă γ ss [m] = 0,6|m|


Ţinând cont de (3.154), rezultă
γ xx [m] = γ ss [m] + γ ww [m] = 0,6|m| + σ w2δ [m] = 0,6|m| + δ [m]
230
1
b) M = 2, ∑ h [k ]γ
k =0
o xx [l − k ] = γ dx [l ], l = 0,1

Folosind (3.154), relaţia precedentă devine


1

∑ h [k ][γ
k =0
o ss [l − k ] + γ ww [l − k ]] = γ ss [l ], l = 0,1

Matriceal, aceasta se scrie


⎡γ xx [0] γ xx [−1]⎤ ⎡ ho [0]⎤ ⎡γ ss [0]⎤
⎢ γ [1] γ [0] ⎥ ⎢ h [1] ⎥ = ⎢ γ [1] ⎥
⎣ xx xx ⎦ ⎣ o ⎦ ⎣ ss ⎦
γ xx [0] = 2, γ xx [−1] = γ xx [1] = 0,6 ⎧ho [0] = 0, 4505
⇒⎨
γ ss [0] = 1, γ ss [1] = 0,6 ⎩ ho [1] = 0,1648

c) Cu relaţia (3.150) rezultă


EPMM 2 = γ ss [ 0] − γ ss [ 0] h [ 0] − γ ss [1] h [1] =
= 1 − 0, 4505 − (0,1648)(0,6) = 0, 45
Eroarea poate fi redusă prin mărirea ordinului filtrului, M.

4. În condiţiile problemei precedente să se determine funcţia


de sistem, funcţia pondere şi eroarea pătratică medie minimă a
filtrului optimal IIR cauzal.
Soluţie
Conform relaţiei (3.183), funcţia de sistem a filtrului IIR
optimal cauzal se determină cu relaţia
+
1 ⎡ Γ ( z) ⎤
Ho ( z ) = 2 ⎢ xd −1 ⎥
σ wG ( z ) ⎢ G ( z ) ⎥
⎣ ⎦
Conform figurilor (3.11) şi (3.12),
Γ xx ( z ) = σ w2 G ( z )G ( z −1 ), Γ xd ( z ) = Γ ss ( z ), X ( z) = S ( z) + W ( z)

231
Γ xx ( z ) = X ( z ) X ( z −1 ) = ( S ( z ) + W ( z ))( S ( z −1 ) + W ( z −1 )) =
S ( z ) S ( z −1 ) + W ( z )W ( z −1 ) = Γ ss ( z ) + σ w2 ,
deoarece γ sw [ m] = γ ws [m] = 0
⎛ 1 −1 ⎞⎛ 1 ⎞
0,64 ⎜1 − z ⎟⎜1 − z ⎟
3 ⎠⎝ 3 ⎠
Γ xx ( z ) = −1
+ 1 = 1,8 ⎝
(1 − 0,6 z )(1 − 0,6 z ) (1 − 0,6 z −1 )(1 − 0,6 z )
1
1 − z −1
de unde rezultă σ w2 = 1,8 şi G ( z ) = 3
1 − 0,6 z −1
Γ xd ( z ) = Γ ss ( z )
Γ xd ( z ) 0,64 1 − 0,6 z
= ⋅ =
G ( z ) (1 − 0,6 z )(1 − 0,6 z ) 1 − 1 z
−1 −1

3
0,8
z
0,64 0,8 z
= = + 3
⎛ 1 ⎞ z − 0,6 1 − 1 z
(1 − 0,6 z −1 ) ⎜1 − z ⎟
⎝ 3 ⎠ 3
+
⎡ Γ ( z) ⎤ 0,8 z
⎢ xd −1 ⎥ =
⎢⎣ G ( z ) ⎥⎦ z − 0,6
4
1 0,8 z 9
H o ( z) = =
1 1
z − 0,6 1 − z −1
1 − z −1
1,8 3 3
1 − 0,6 z −1

n
4⎛1⎞
ho [n] = ⎜ ⎟ u[n]
9⎝ 3⎠

232
1 ⎡Γ dd ( z ) − H o ( z ) Γ xd ( z −1 ) ⎤z −1dz =
2π j ∫
EPMM ∞ = ⎣ ⎦
C

= ∑
toţi polii din C
{ }
Rez ⎡⎣ Γ dd ( z ) − H o ( z ) Γ xd ( z −1 ) ⎤⎦ z −1 =

⎛ 4 ⎞
1 ⎜ 0,64 9 0,64 ⎟ −1
2π j ∫ C ⎜ (1 − 0,6 z −1 )(1 − 0,6 z ) 1 − 1 z −1 (1 − 0,6 z −1 )(1 − 0,6 z ) ⎟
⎜ − ⎟ z dz =

⎝ 3 ⎠
0,356
−1 −
1 0,356 z 1 0,6

2π j ⎛ 1 −1 ⎞
C
dz =
2π j ⎛∫ C 1 ⎞⎛ 1 ⎞
dz =
⎜1 − z ⎟ (1 − 0,6 z ) ⎜ z − ⎟⎜ z −
⎝ 3 ⎠ ⎝ 3 ⎠⎝ 0,6 ⎟⎠
0,356

0,6
Re z = 0, 445
⎛ 1 ⎞⎛ 1 ⎞
⎜ z − ⎟⎜ z −
⎝ 3 ⎠⎝ 0,6 ⎟⎠ z = 1
3

5. În condiţiile problemei 3, să se determine funcţia de


sistem, funcţia pondere şi eroarea pătratică medie minimă a filtrului
optimal IIR necauzal.
Soluţie
Conform relaţiei (3.190), funcţia de sistem a filtrului Wiener
IIR necauzal este
0,64
Γ xd ( z ) Γ ss ( z ) (1 − 0,6 z −1 )(1 − 0,6 z )
H nc ( z ) = = = =
Γ xx ( z ) Γ ss ( z ) + 1 ⎛ 1 −1 ⎞⎛ 1 ⎞
⎜1 − z ⎟⎜1 − z ⎟
3 ⎠⎝ 3 ⎠
1,8 ⎝
(1 − 0,6 z −1 )(1 − 0,6 z )

233
0,64 0,3555
= −1
=
2(1 − 0,3 z − 0,3 z ) ⎛ 1 −1 ⎞⎛ 1 ⎞
⎜1 − z ⎟⎜1 − z ⎟
⎝ 3 ⎠⎝ 3 ⎠
care, evident este necauzal.
Eroarea pătratică medie minimă se determină cu relaţia (3.192)
1 ⎡Γ dd ( z ) − H nc ( z ) Γ xd ( z −1 ) ⎤ z −1dz =
EPMM nc =
2π j ⎣ ∫ C ⎦
1 ⎡ Γ ss ( z ) − H nc ( z ) Γ ss ( z −1 ) ⎤ z −1dz =

2π j ⎣ C ⎦
1
∫ ⎡Γ
⎣ ( z ) (1 − H nc ( z )) ⎤⎦ z −1dz =
2π j C
ss

Integrandul expresiei de mai sus este


⎣ ss ( z ) (1 − H nc ( z )) ⎤⎦ z =
−1
⎡Γ
0,64 ⎛ 0,32 ⎞ −1
= −1 ⎜ 1− −1 ⎟ z =
(1 − 0,6 z )(1 − 0,6 z ) ⎝ 1 − 0,3z − 0,3z ⎠
0,64 0,68 − 0,3 z −1 − 0,3 z −1
⋅ z =
(1 − 0,6 z −1 )(1 − 0,6 z ) 1 − 0,3 z −1 − 0,3z
⎛ 1 ⎞
⎜ z− ( z − 0,6 )
0,64 ⎝ 0,6 ⎟⎠ 0,64
−1
z −1 =
(1 − 0,6 z )(1 − 0,6 z ) ⎛ 1⎞ ⎛ 1⎞
⎜ z − ⎟ ( z − 3) (−0,6) ⎜ z − ⎟ ( z − 3)
⎝ 3⎠ ⎝ 3⎠
1
Cum singurul pol din interiorul cercului unitate este z = ,
3
reziduul corespunzător este
0,64
= 0, 4 , adică EPMM nc = 0, 4 .
(−0,6) ( z − 3) z = 1
3

Se observă, aşa cum era de aşteptat, că


EPMM nc < EPMM ∞ < EPMM 2
234
CAPITOLUL 4

ESTIMAREA PARAMETRILOR

Teoria estimării stă la baza a numeroase sisteme de procesare


de semnal proiectate în scopul extragerii de informaţii. Aceste sisteme
au aplicaţii în domenii cum ar fi: radar, sonar, vorbire, analiza
imaginilor, biomedicină, comunicaţii, seismologie, control etc., în
toate cazurile apărând necesitatea estimării valorilor unui grup de
parametri. În problematica generală a estimării parametrilor se
foloseşte teoria deciziilor statistice. Parametrii pot fi amplitudinea,
frecvenţa sau faza unui semnal, deviaţia de frecvenţă în cazul ţintelor
mobile datorită efectului Doppler etc.

4.1. Schema bloc a unui sistem de transmisiuni care


realizează estimarea unui parametru

Fig. 4.1. Schema bloc a unui sistem de transmisiune pentru estimarea unui
parametru aleator θ sau determinist a

Sursa de informaţie S este caracterizată fie printr-o variabilă aleatoare


continuă θ , fie printr-un parametru determinist a , necunoscut
235
receptorului R .
Variabila aleatoare continuă θ sau parametrul determinist a
modulează un semnal purtător, respectiv un parametru al acestuia
(amplitudine, frecvenţă, fază etc.), astfel încât la ieşirea emiţătorului
E se generează semnalul s (t ,θ ) sau s (t , a ) .
Pe canalul de transmisiuni C apar perturbaţiile P ,
materializate de zgomotul aditiv n(t ) , care degradează informaţia
transmisă de sursa S .
Semnalul recepţionat, de forma:
r (t ) = s (t ,θ ) + n(t ) (4.1)
sau:
r (t ) = s (t , a ) + n(t ) (4.2)
este observat în intervalul de timp [0, T ] fie la momentele discrete de
timp t1 , t2 ,..., t N , dacă întrerupătorul I se închide la aceste momente de
timp, fie în mod continuu, dacă întrerupătorul I stă închis pe tot
timpul de observare.
Pe baza acestor observaţii, receptorul trebuie astfel proiectat,
încât să furnizeze la ieşire estimatul θˆ sau â . Eroarea de estimare se
defineşte astfel:
ε θ = θˆ - θ (4.3)
respectiv:
ε a = aˆ − a (4.4)
Pentru a ţine seama de importanţa pe care o are această eroare
pentru destinatar, se definesc diverse funcţii de cost, care sunt funcţii
de eroarea de estimare, notate în continuare cu C (ε ) .
Se va considera, pentru început, cazul când informaţia sursei S
este caracterizată de variabila aleatoare continuă θ , urmând ca apoi să
se analizeze cazul unui parametru determinist, a .

236
Cele mai frecvente funcţii de cost folosite în aplicaţii sunt:
- funcţia de cost pătratul erorii;
- funcţia de cost uniformă.
În primul caz, funcţia de cost este definită prin relaţia:

( )
2
C (ε ) = θˆ − θ (4.5)
având reprezentarea din figura 4.2.

Fig. 4.2. Reprezentarea grafică a funcţiei de cost pătratul erorii

Atât din relaţia (4.5), cât şi din figura 4.2 rezultă că în acest caz
funcţia de cost ţine seama de faptul că importanţa erorii pentru
destinatar creşte odată cu creşterea erorii.
În al doilea caz, funcţia de cost este definită prin relaţia:
⎧ E
⎪⎪ 0, ε ≤
C (ε ) = ⎨ 2 (4.6)
⎪1, ε > E
⎪⎩ 2
având reprezentarea din figura 4.3.
Atât din relaţia (4.6), cât şi din figura 4.3 rezultă că, în cazul
funcţiei de cost uniforme, erorile mai mici decât E / 2 nu au nici o
importanţă, în timp ce erorile mai mari decât E / 2 au aceeaşi
importanţă pentru destinatar, indiferent de mărimea lor.
Pragul E este impus de aplicaţia în care se realizează estimarea
parametrului, fiind în general de valori suficient de mici.
237
Fig. 4.3. Reprezentarea grafică a funcţiei de cost uniforme

La momente de timp discrete, t1 , t2 ,..., t N , din semnalul


recepţionat se selectează eşantioanele r (t j ), j = 1, N . Pentru
simplificarea scrierii se face notaţia:
not
r (t j ) = rj , j = 1, N (4.7)
Cele N eşantioane se pot considera componentele vectorului:
r = (r1 r2 ... rN ) (4.8)
iar spaţiul semnalului recepţionat, un spaţiu vectorial N dimensional.
Notând volumul diferenţial din acest spaţiu cu:
not .
d r1 ⋅ d r2 ⋅ ... ⋅ d rN = dV (4.9)
rezultă că produsul w (r ∩ θ ) dVd θ reprezintă probabilitatea ca
punctul reprezentativ al semnalului recepţionat (vârful vectorului r )
să aparţină volumului diferenţial dV şi parametrul θ intervalului
elementar dθ .
Deoarece pentru fiecare din punctele reprezentative ale
semnalului recepţionat se alocă un cost, rezultă că w (r ∩ θ ) dVd θ
reprezintă probabilităţile costurilor C (ε ) .
Dacă se notează cu Δ domeniul ocupat de punctele
reprezentative ale semnalului recepţionat şi se consideră cazul cel mai

238
defavorabil când −∞ < θ < ∞ , atunci valoarea medie a costurilor,
numită risc şi notat cu R , se poate determina cu relaţia:

R = ∫ ∫ C (ε ) w(r ∩ θ )dVdθ (4.10)
Δ −∞

4.2. Determinarea estimatului în cazul funcţiilor de cost


pătratul erorii şi uniforme

Strategia în luarea deciziei constă în minimizarea riscului în


cazul celor două funcţii de cost definite în paragraful 4.1, determinarea
estimaţilor care minimizează riscul şi apoi implementarea
receptoarelor care pot furniza la ieşire astfel de estimaţi.
Deoarece totdeauna se poate scrie:
w(r ∩ θ ) = w(r ) w(θ | r ) (4.11)
relaţia (4.10) poate fi scrisă echivalent, sub forma:
⎡∞ ⎤
R = ∫ w(r ) ⎢ ∫ C (ε ) w(θ | r )dθ ⎥dV (4.12)
Δ ⎣ −∞ ⎦
În cazul utilizării funcţiei de cost pătratul erorii, substituind
relaţia (4.5) în (4.12), rezultă:
⎡∞ ˆ ⎤
( )
2
R = ∫ w(r ) ⎢ ∫ θ − θ w(θ | r ) dθ ⎥dV (4.13)
Δ ⎣ −∞ ⎦
Deoarece densităţile de repartiţie w(r ) şi w(θ | r ) sunt
totdeauna nenegative, valoarea minimă a riscului R , dat de relaţia
(4.13), se obţine odată cu valoarea minimă a integralei:

( ) ∫( )
2
I θˆ, r = θˆ − θ w(θ | r )dθ (4.14)
−∞

Condiţia necesară de extrem a integralei (4.14) se determină cu relaţia:

239
∂I (θˆ, r )
=0 (4.15)
∂θˆ
Înlocuind (4.14) în relaţia (4.15), rezultă:
∞ ∞
θˆ ∫ w(θ | r )dθ = ∫ θ w(θ | r )dθ (4.16)
−∞ −∞

Deoarece totdeauna se poate scrie:


∫ w(θ | r )dθ = 1
−∞
(4.17)

rezultă că, în cazul utilizării funcţiei de cost pătratul erorii, estimatul se


determină cu relaţia:

θˆ = ∫ θ w(θ | r )dθ (4.18)
−∞

Extremul integralei (4.14) este într-adevăr un minim, deoarece:


∂ 2 I (θˆ, r )

= 2 ∫ w(θ | r )dθ = 2 > 0 (4.19)
∂θ 2 −∞

Datorită formei funcţiei de cost (4.5) şi faptului că estimatul se


obţine prin minimizarea integralei din relaţia (4.14), în acest caz, se
spune că acesta a fost obţinut pe baza erorii pătratice medii minime.
Dacă funcţia de cost este uniformă, estimatul se obţine
înlocuind relaţia (4.6) în (4.12):
⎡θˆ− E2 ∞

⎢ ⎥
R = ∫ w(r ) ⎢ ∫ w(θ | r )dθ + ∫ w(θ | r )dθ ⎥dV (4.20)
Δ
⎢⎣ −∞ θˆ +
E
2
⎥⎦
sau, ţinând cont de (4.17), rezultă:
⎡ θˆ + E2 ⎤
⎢ ⎥
R = ∫ w(r ) ⎢1 − ∫ w(θ | r )dθ ⎥dV (4.21)
Δ
⎢⎣ θˆ − E2 ⎥⎦

240
Riscul dat de relaţia (4.21) devine minim odată cu maximul integralei:
E
θˆ +
2


E
w(θ | r )dθ (4.22)
θˆ −
2

În cele ce urmează, se va considera că pragul E este suficient


de mic, ceea ce corespunde situaţiilor reale, motiv pentru care se poate
considera, cu bună aproximaţie, că densitatea de repartiţie condiţionată
w(θ | r ) are o variaţie neglijabilă pe domeniul de integrare, astfel
încât se poate scrie:
E E
θˆ + θˆ +
2 2 not

∫ E
w(θ | r )dθ ≅ w(θ | r ) ∫
E
dθ = E ⋅ w(θ | r ) = I (θ , r ) (4.23)
θˆ − θˆ −
2 2

Din (4.23) rezultă că maximul lui I ( θ, r ) este dat de maximul


densităţii de repartiţie w(θ | r ) , numită densitate de repartiţie
aposteriori.
Valoarea lui θ care determină ca w(θ | r ) să aibă valoarea
maximă, se notează θˆ map şi se numeşte estimatul maximum
aposteriori.
Condiţia necesară de extrem este dată de relaţia:
∂w(θ | r )
=0 (4.24)
∂θ ˆ
θ =θ map

Dacă din relaţia (4.24) rezultă un estimat θˆ map care determină


un maxim absolut al densităţii condiţionate w(θ | r ) , atunci acesta
este estimatul în cazul utilizării funcţiei de cost uniforme.
Deoarece, în general, w(θ | r ) are o formă exponenţială, este
mai convenabil să se determine maximul funcţiei ln [ w(θ | r ) ] ,
având în vedere proprietatea de monotonie a funcţiei logaritmice şi
241
faptul că w(θ | r ) ≥ 0 .
Cu alte cuvinte, estimatul maximum aposteriori se poate
calcula echivalent şi din relaţia:
∂ ln w(θ | r )
=0 (4.25)
∂θ ˆ
θ =θ map

În fine, deoarece totdeauna se poate scrie relaţia:


w(r ∩ θ ) = w(r ) w(θ | r ) = w(θ ) w(r | θ ) (4.26)
unde:

w(r ) = ∫ w(r ∩ θ )dθ
−∞
(4.27)

rezultă:
w(θ ) w(r | θ )
w(θ | r ) = (4.28)
w(r )
Înlocuind (4.28) în relaţia (4.25), rezultă o nouă relaţie de
calcul pentru estimatul maximum aposteriori, adică:
∂ ln w( r | θ ) ∂ ln w(θ )
+ =0 (4.29)
∂θ θ =θˆmap ∂θ θ =θˆmap

Din relaţia (4.27) rezultă că w(r ) nu depinde de θ .


Dacă parametrul care trebuie estimat, este o mărime
deterministă, a , necunoscută la recepţie, metodele precedente nu mai
pot fi aplicate.
Într-adevăr, dacă parametrul a este determinist, el poate fi
considerat o variabilă aleatoare, α , cu o densitate de repartiţie dată de
distribuţia Dirac, adică:
w(α | r ) = δ (α − a ) (4.30)
Înlocuind relaţia (4.30) în (4.18), se obţine:

∫ α ⋅ δ (α − a)dα = a
−∞
(4.31)

242
rezultat evident corect, dar inutil.
Pentru a determina un estimat şi în cazul unui parametru
determinist, se defineşte o funcţie de plauzibilitate de forma:
L(a ) = w(r | a ) (4.32)

sau logaritmul ei:


ln L( a ) = ln w( r | a ) (4.33)
Prin definiţie, se numeşte estimat maximum plauzibil sau de
maximă plauzibilitate şi va fi notat cu aˆ mp , valoarea parametrului a
pentru care funcţia de plauzibilitate L( a ) , respectiv ln[ L(a )] , îşi
atinge valoarea maximă.
Dacă aˆ mp aparţine domeniului de existenţă a parametrului a,
atunci estimatul parametrului determinist, adică estimatul maximum
plauzibil se determină cu relaţia:
∂ ln w(r | a )
=0 (4.34)
∂a a = aˆ mp

Comparând relaţia (4.29) cu relaţia (4.34), se constată că


estimatul maximum plauzibil aˆ mp poate fi considerat un caz
particular al estimatului maximum aposteriori θˆ map , când variabila
aleatoare θ are o lege de repartiţie uniformă, adică w(θ ) = const .

4.3. Criterii de evaluare a estimatului

Criteriile de evaluare a "calităţii" estimatului, pentru orice tip


de estimare sunt, în general, valoarea medie şi dispersia erorii de
estimare.
Dacă se notează cu Δ domeniul semnalului recepţionat, şi se
consideră cazul cel mai defavorabil, când domeniul posibil de valori al
243
parametrului ce urmează a fi estimat ocupă toată axa reală (−∞, ∞ ) ,
valoarea medie a estimatului unui parametru, reprezentat de o variabilă
aleatoare continuă, se determină cu relaţia:

θˆ = ∫ ∫ θˆ w(r | θ )dθ dV (4.35)
Δ −∞

unde [ • ] reprezintă o dublă mediere, atât în raport cu r , cât şi în


raport cu θ .
În cazul estimării unui parametru determinist, necunoscut la
recepţie, valoarea medie a estimatului se determină cu relaţia:
aˆ = ∫ aw
ˆ (r | a )dV (4.36)
Δ

adică medierea numai în raport cu r .


Dacă:
θˆ = θ (4.37)
atunci media erorii de estimare devine:
ε θ = θˆ − θ = θˆ − θ = 0 (4.38)
În mod analog, dacă:
â = a (4.39)
atunci media erorii de estimare este:
ε a = aˆ - a = aˆ - a = 0 (4.40)
Dacă au loc relaţiile (4.37), respectiv (4.39), estimatul se
numeşte nedeplasat.
Dacă:
θ̂ = θ + c (4.41)
sau:
â = a + c (4.42)
unde c este o constantă care nu depinde de valoarea parametrului ce
244
urmează a fi estimat, se spune că estimatul are o deplasare cunoscută.
Dacă:
θˆ = θ + b ( θ ) (4.43)
sau:
aˆ = a + b ( a ) (4.44)
se spune că estimatul are o deplasare necunoscută care depinde de
valoarea parametrului ce urmează a fi estimat.
În cazul cel mai defavorabil al estimării cu deplasare
necunoscută, dispersia erorii de estimare se calculează cu relaţiile:
2
σ ε2θ = ε θ2 − ⎡ε θ ⎤ (4.45)
⎣ ⎦
respectiv:
2
σ ε2 = ε a2 - ⎡⎣ ε a ⎤⎦
a
(4.46)
Dar:
ε θ = θˆ - θ = θˆ - θ = θ + b ( θ ) - θ = b ( θ ) (4.47)
Analog:
ε a = aˆ - a = aˆ - a = a + b ( a ) - a = b ( a ) (4.48)
Înlocuind (4.47) şi (4.48) în (4.45), respectiv (4.46), rezultă:

σ ε2 θ = (θˆ - θ ) - b 2(θ )
2
(4.49)
respectiv:
2
σ ε2 = ( aˆ - a) - b 2(a )
a
(4.50)
Deşi estimatul cel mai bun este cel nedeplasat şi cu o dispersie
a erorii de estimare minimă, în cazurile practice se preferă un estimat
cu deplasare şi dispersie a erorii de estimare rezonabil de mici, în locul
unui estimat cu o deplasare nulă şi cu o dispersie a erorii de estimare
mare.
245
4.4. Determinarea estimatului unui parametru
invariant în timp în cazul observării la momente
discrete de timp

Se va presupune, pentru început, că sursa de informaţie este


caracterizată de parametrul θ , care este o variabilă aleatoare continuă,
invariantă în timp.
Dacă zgomotul de pe canalul de transmisiuni se notează cu
n(t ) , iar semnalul recepţionat cu r (t ) , rezultă:
r (t ) = θ + n(t ) (4.51)
Se va presupune, de asemenea, că zgomotul de pe canalul de
transmisiuni poate fi considerat alb, repartizat după o lege normală, cu
valoare medie nulă şi dispersie σ n2 .
Eşantionând semnalul recepţionat la momentele discrete de
timp, t1 , t2 ,..., t N , în intervalul de observare, rezultă:
r ( ti ) = θ + n ( ti ) , i = 1, N (4.52)
Notând:
not .

r ( ti ) = ri ⎪

not . ⎬ (4.53)
n ( ti ) = ni ⎪
⎪⎭
rezultă:
ri = θ + ni , i = 1, N (4.54)
Legea de repartiţie a unui eşantion din zgomot este:
1 2
- ni
w1 ( ni ) = e 2 σ n2 , i = 1, N (4.55)
2π σn
Zgomotul fiind presupus alb, eşantioanele sale sunt statistic
246
independente şi deci:
N
N 1
N ⎛ 1 ⎞ − 2σ n2 ∑ ni 2
w ( n ) = ∏ w1 (ni ) = ⎜⎜ ⎟⎟ e i =1
(4.56)
i =1 ⎝ 2 πσ n ⎠

Datorită relaţiei (4.54) şi faptului că zgomotul este statistic


independent de parametrul θ , rezultă că şi mărimile (ri | θ ) vor fi
repartizate tot normal. Pentru aflarea expresiei legii de repartiţie a
mărimilor (ri | θ ) , vor trebui determinate valorile medii şi dispersiile
acestora, adică:
not
m1{(ri | θ )} = (ri | θ ) = m1{θ + ni } = θ + ni = θ (4.57)
D{(ri | θ )} = m1{[(ri | θ ) − (ri | θ )]2 } =
(4.58)
= m1{(θ + ni − θ ) 2 } = ni2 = σ n2
Cu relaţiile (4.57) şi (4.58), rezultă că legea de repartiţie a mărimilor
(ri | θ ) este de forma:
( ri −θ ) 2

1 2σ n2
w1 (ri | θ ) = e (4.59)
2π σn
Deoarece zgomotul s-a presupus alb şi independent de
parametrul θ , rezultă:
N
w ( r | θ ) = ∏ w1 (ri | θ ) =
i =1
N 1
N (4.60)
⎛ 1 ⎞ − 2σ n2 ∑ ( ri −θ ) 2
= ⎜⎜ ⎟⎟ e i =1

⎝ 2 π σ n ⎠

Dacă parametrul θ se consideră, de asemenea, repartizat după


o lege normală, cu valoarea medie nulă şi dispersia σ θ2 , se poate scrie:
θ2

1 2σ θ2
w1 ( θ ) = e (4.61)
2 π σθ

247
Înlocuind (4.60) şi (4.61) în relaţia (4.28), se obţine:
N
N 1 θ2
⎛ 1 ⎞ − 2σ n2 ∑ ( ri −θ ) 2
1 − 2
2σ θ 1
w ( θ | r ) = ⎜⎜ ⎟⎟ e i =1
⋅ e ⋅ (4.62)
⎝ 2π σn ⎠ 2 πσ θ w (r )
sau:
w ( θ | r ) = K ( r ) e- p θ qθ
2+
(4.63)
unde:
N N
1
⎛ ⎞ − 2 ∑ ri 2
1 1 1
K ( r ) = ⎜⎜ ⎟ e 2σ n i =1 (4.64)
⎝ 2 πσ n ⎟⎠ 2 π σ θ w (r )
1⎛ 1 N ⎞
p= ⎜ + 2 ⎟ (4.65)
2 ⎝ σθ σ n ⎠
2

N
1
q=
σ n2
∑r
i =1
i (4.66)

Pentru a calcula estimatul în cazul funcţiei de cost pătratul


erorii sau, echivalent, pe baza erorii pătratice medii minime, se
înlocuieşte (4.63) în relaţia (4.18), rezultând:

θˆ = K ( r ) ∫ θ e- p θ qθ

2+
(4.67)
-∞

Pentru determinarea constantei K (r ) , care nu depinde de θ


se integrează relaţia (4.63) pe domeniul (−∞, ∞ ) şi se ţine cont de
(4.17), adică:
1
K (r )= ∞
(4.68)
∫e dθ
- pθ 2 + qθ

-∞

Înlocuind (4.68) în (4.67), rezultă:

248

∫θe
-p θ 2 + q θ

θˆ = - ∞∞ (4.69)
∫e
-p θ 2 + q θ

-∞

Deoarece se poate scrie:


2
⎛ ⎞ 2
- pθ 2 + qθ = - ⎡ ( ) - qθ ⎤ = -⎜
q q
2
pθ pθ - ⎟ + (4.70)
⎢⎣ ⎥⎦ ⎜ 2 p ⎟⎠ 4 p

relaţia (4.69) devine:
∞ ⎛ ⎞
2
q
∫θe
-⎜ pθ- ⎟

⎝ 2 p ⎟⎠ dθ
ˆ -∞
θ= ∞ (4.71)
2
⎛ ⎞q
∫e
-⎜ pθ- ⎟

⎝ 2 p ⎟⎠ dθ
-∞

Efectuând schimbarea de variabilă:


q t q dt
pθ - = t ⇒θ = + , dθ = (4.72)
2 p p 2p p
se poate scrie:
∞ ∞
1 q
∫-∞ t e dt + 2 p -∫∞ e t dt
-t 2 - 2

p
θˆ = ∞
(4.73)
∫e
-t 2
dt
-∞

Dar:

∫te dt = 0
-t 2
(4.74)
-∞

şi deci:
q
θˆ = (4.75)
2p
Înlocuind (4.65) şi (4.66) în relaţia (4.75), rezultă:

249
σ θ2 1 N
θˆ =
σn N
2 ∑r i (4.76)
σθ +
2 i =1

N
Dacă numărul eşantioanelor prelevate din semnalul recepţionat
este suficient de mare, atunci se realizează condiţia:
σ n2
< < σ θ2 (4.77)
N
În cazul satisfacerii relaţiei (4.77), relaţia (4.76) devine:
N
1
θˆ ≈
N
∑r
i =1
i (4.78)

adică estimatul se poate deduce uşor prin media aritmetică a


eşantioanelor prelevate din semnalul recepţionat.
În cazul utilizării funcţiei de cost uniforme, estimatul maximum
aposteriori se poate calcula, de exemplu, cu relaţia (4.25). Ţinând cont
de (4.63), rezultă:
ln w ( θ | r ) = ln K ( r ) - p θ 2 + q θ (4.79)
Înlocuind (4.79) în (4.63) şi ţinând cont că ln[ K (r )] nu
depinde de parametrul θ , se obţine:
q
θˆ map = (4.80)
2p
adică acelaşi estimat ca în cazul utilizării funcţiei de cost pătratul
erorii.
Deşi au fost utilizate două funcţii de cost diferite, s-a obţinut
acelaşi estimat, lucru care nu este adevărat în general. Se poate
demonstra că, atunci când densitatea de repartiţie w(θ | r ) este
simetrică în raport cu dreapta θ = θˆ map , atunci estimatul obţinut cu
funcţia de cost pătratul erorii este egal cu cel obţinut când se
utilizează funcţia de cost uniformă.
Dacă, în continuare, se presupune că sursa de informaţie este
250
caracterizată de parametrul determinist a , necunoscut destinatarului,
semnalul recepţionat va fi de forma:
r (t )=a + n(t ) (4.81)
Presupunând şi în acest caz aceleaşi ipoteze asupra zgomotului,
se poate scrie o relaţie similară cu (4.60), înlocuind θ cu a , adică:
N

2 σ 2n ∑ i
2
N (r - a )

1
⎛ 1 ⎞
w ( r | a ) = ⎜⎜ ⎟⎟ e i =1
(4.82)
⎝ 2 π σ n ⎠

Estimatul maximum plauzibil se poate atunci calcula cu relaţia (4.34).


Dar

( )
N
1
2 πσ n - ∑(r -a)
2
ln w ( r | a ) = - N ln i (4.83)
2σ 2
n i =1

Înlocuind (4.83) în relaţia (4.34), rezultă:


N
1
aˆ mp =
N
∑r
i =1
i (4.84)

Din relaţia finală (4.84) rezultă că estimatul maximum plauzibil


este riguros egal cu media aritmetică a eşantioanelor prelevate din
semnalul recepţionat.

4.5. Estimarea liniară a unui parametru în cazul


observării continue

Estimarea se spune că este liniară atunci când semnalul generat


de emiţător depinde liniar de parametrul care trebuie estimat.
Astfel, în cazul în care parametrul de estimat este o variabilă
aleatoare continuă, θ , se poate scrie:
s ( t, θ ) = θ f ( t ) (4.85)
unde f (t ) este un semnal cunoscut la recepţie.
Când parametrul de estimat este o mărime deterministă, a :
251
s ( t, a ) = a f ( t ) (4.86)
Se va considera la început că parametrul de estimat este o
variabilă aleatoare continuă. În acest caz, semnalul recepţionat este de
forma:
r ( t ) =θ f ( t ) + n ( t ) (4.87)
unde n(t ) este zgomotul de pe canalul de transmisiuni.
În cazul observării continue a semnalului recepţionat pe
intervalul [0, T ] , se consideră un sistem complet, ortonormat de funcţii
deterministe, vi (t ) , pe acest interval, adică:
T
⎧0, dacă i ≠ j
∫ v (t )v (t )dt = ⎨⎩1,
0
i j
dacă i = j
(4.88)

În cazul observării continue, se descompune semnalul recepţionat într-


o serie, de forma:
N
r (t ) = l.i.m.∑ rv
i i (t ) (4.89)
N →∞
i =1

unde:
T
ri = ∫r (t ) vi (t ) dt , i = 1, N (4.90)
0

Dacă se alege:
f (t )
ν 1 (t ) = (4.91)
E
unde
T
E = ∫ f 2 (t ) dt (4.92)
0

reprezintă energia semnalului determinist f (t ) , atunci se poate


demonstra că numai pe baza componentei r1 se poate determina
estimatul maximum aposteriori, utilizând, deci, funcţia de cost

252
uniformă. Mai mult, celelalte funcţii ortonormate vi (t ), i ≥ 2 , nu
trebuie cunoscute.
Într-adevăr, înlocuind (4.87) în (4.90) şi ţinând cont de (4.91),
rezultă:
T T
1
r1 = ∫r (t )ν 1 (t ) dt =
0 E ∫[θ
0
f (t ) + n (t ) ] f (t ) dt =

θ T
1
T

E ∫ E ∫0
2
= f (t ) dt + n(t ) f (t ) dt = (4.93)
0
T
1
=θ E+
E ∫ n (t ) f (t ) dt
0

Pentru i ≥ 2 , rezultă:
T T
ri = ∫ [ θ f (t ) + n (t ) ] vi (t ) dt = ∫ ⎡⎣ θ v1 (t ) E + n (t ) ⎤⎦ vi (t ) dt =
0 0
T T T
=θ E ∫ v1 (t )vi (t ) dt + ∫ n (t ) vi (t ) dt = ∫ n (t ) vi (t ) dt
0 0 0

(4.94)
deoarece:
T

∫v (t ) v (t ) dt = 0 ,
0
1 i pentru i ≥ 2 (4.95)

Din relaţia (4.94) se constată că celelalte componente ri , i ≥ 2


nu depind de θ , deci se poate scrie relaţia:
w1 (r1 | θ ) = w1 (ri ), i ≥ 2 (4.96)
Pe de altă parte, dacă zgomotul de pe canal se consideră alb,
sau eşantioanele r1 , r2 ,..., rN sunt prelevate cu perioada T1 = 1/(2 f 0 ) ,
unde f 0 este frecvenţa cea mai mare din spectrul zgomotului, este
adevărată relaţia:

253
N
w ( r | θ ) = ∏w1 (ri | θ ) (4.97)
i =1

sau, ţinând cont de (4.96), rezultă:


w( r | θ ) = w1 (r1 | θ ) w1 (r2 )...w1 (rN ), N → ∞ (4.98)
Folosind funcţia de cost uniformă şi considerând că parametrul
θ este repartizat normal, conform relaţiei (4.61), rezultă:
∂ θˆ
ln w1 ( r1 | θ ) - map =0 (4.99)
∂θ θ = θˆ map σ θ2
Din relaţia (4.93) rezultă că şi variabila aleatoare (r1 | θ ) este
repartizată normal, dacă zgomotul n(t ) este repartizat după o lege
normală.
Valoarea medie şi dispersia variabilei aleatoare (r1 | θ ) se
determină după cum urmează:
not .
m1 { ( r1 | θ ) } = (r1 | θ ) =

⎧ 1
T

= m1 ⎨θ

E+
E ∫0 n ( t ) f ( t ) dt ⎬=

(4.100)
T
1
=θ E+
E ∫0
n ( t ) f ( t ) dt = θ E

S-a presupus că valoarea medie a zgomotului este nulă (n(t ) = 0) .


D { ( r1 | θ ) } = m1 { [ ( r | θ ) - ( r | θ )] } =
1 1
2

1 ⎧⎪ ⎡ T ⎤ ⎫⎪
2 (4.101)
= m1 ⎨ ⎢ ∫ n ( t ) f ( t ) dt ⎥ ⎬
E ⎪⎩ ⎣ 0 ⎦ ⎪⎭
Dacă zgomotul se poate considera alb pe canalul respectiv,
înlocuind pătratul unei integrale cu produsul a două integrale identice,
dar cu variabile de integrare distincte, şi ţinând cont că funcţia de
254
autocorelaţie a zgomotului alb este proporţională cu distribuţia Dirac,
rezultă:
1 ⎧ ⎫
not . T T
D { ( r1 | θ ) } = σ = m1 ⎨ ∫ n(t ) f (t )dt ∫ n(u ) f (u )du ⎬ =
2
n
E ⎩0 0 ⎭
T T
1
= ∫ ∫ f (t ) f (u )n(t )n(u )dtdu =
E00
T T T
1 S
= ∫ ∫ f (t ) f (u )S0δ (u − t )dtdu = 0 ∫f
2
(t ) dt = S0 (4.102)
E00 E 0

unde S0 este densitatea spectrală de putere a zgomotului alb.


În cazul când zgomotul de pe canalul de transmisiuni este
cvasialb, având densitatea spectrală de putere constantă, S0 , în banda
−ω0 < ω < ω0 , atunci se poate scrie [48]:
ω
not . S 0

D{(r1 | θ )} = σ = 0 ∫ F ( jω ) d ω
2 2
(4.103)
2π E −ω0
n

unde F ( jω ) este transformata Fourier a semnalului f (t ) .


Cu (4.100), (4.102) sau (4.103), densitatea de repartiţie de
ordinul unu a variabilei aleatoare (r1 | θ ) se poate scrie sub forma:
1 1
( )
2

w1 ( r1 | θ ) = e
-
2 σ n2
r1 - θ E
(4.104)
2 πσ n
unde dispersia σ n2 se înlocuieşte cu S0 , în cazul zgomotului alb, sau
se calculează cu relaţia (4.103), în cazul zgomotului cvasialb.
Înlocuind (4.104) în (4.99), rezultă:
⎛ E
1 ⎞ r1 E
θˆ map ⎜ 2 ⎟
= + (4.105)
⎝ σ σ θ ⎠
2
n σ 2
n

Pe de altă parte, conform relaţiilor (4.90) şi (4.91), se poate


scrie:

255
T
1
r1 =
E ∫ r ( t ) f ( t ) dt
0
(4.106)

Înlocuind (4.106) în (4.105), rezultă:


T
1
θˆ map = σ2 ∫ r ( t ) f ( t ) dt (4.107)
E + n2 0
σθ
Se observă că în luarea deciziei intervine numai componenta r1
a semnalului recepţionat, celelalte neafectând decizia. Din acest motiv
r1 reprezintă o statistică suficientă.
Conform relaţiei (4.107) schema bloc a receptorului care
calculează estimatul maximum aposteriori este cea dată în figura 4.4.

Fig. 4.4. Schema bloc a receptorului care calculează estimatul maximum


aposteriori în cazul observării continue

Semnalul f (t ) este cunoscut la recepţie, aşa încât acesta este


generat local. După blocul M , de multiplicare a semnalului
recepţionat, r (t ) , cu semnalul generat local, f (t ) , urmează un
integrator, I , şi apoi un amplificator, sau atenuator, A , după cum
factorul:
1
F= (4.108)
σ n2
E+ 2
σθ
este supraunitar sau subunitar.
Dacă parametrul care urmează a fi estimat este determinist şi
necunoscut la recepţie, estimatul maximum plauzibil, sau de maximă
256
plauzibilitate, se determină cu relaţia (4.34). În acest caz, semnalul
recepţionat este de forma:
r ( t )= a f ( t )+ n ( t ) (4.109)
Urmând aceleaşi etape de calcul ca în cazul parametrului θ , rezultă o
densitate de repartiţie de ordinul unu, w1 (r1 | a ) , de aceeaşi formă cu
aceea calculată în relaţia (4.104), înlocuind θ cu a , adică:
1 1
( r - a E )2
w1 ( r1 | a ) = -
e 2 σ n2 1 (4.110)
2 πσ n
Ca şi în cazul precedent, w1 (ri | a ) , pentru i ≥ 2 , nu depind de
parametrul determinist, necunoscut, a , astfel încât relaţia (4.34)
devine:

ln w1 ( r1 | a ) =0 (4.111)
∂a a = aˆ mp

Înlocuind (4.110) în relaţia (4.111), estimatul de maximă


plauzibilitate se determină cu relaţia:
T
1
E ∫0
aˆ mp = r ( t ) f ( t ) dt (4.112)

Schema bloc a receptorului care calculează un astfel de estimat


este identică cu aceea din figura 4.4, cu deosebirea că amplificatorul,
sau atenuatorul, A , are factorul de amplificare, respectiv atenuare, egal
cu 1/ E .
În cazul particular când:
s ( t ,θ ) = θ (4.113)
sau:
s ( t ,a )= a (4.114)
se ajunge din nou la cazul estimării unui parametru invariant în timp,
dar în cazul observării continue. Deoarece, în acest caz particular:
f ( t ) =1 (4.115)
257
şi
T
E = ∫ f 2 ( t ) dt = T (4.116)
0

relaţiile (4.107) şi (4.112) devin:


σ θ2 1
T

θˆ map = σ n2 T ∫0
r ( t ) dt , (4.117)
σθ +
2

T
respectiv:
T
1
aˆ mp = ∫ r ( t ) dt (4.118)
T 0
Comparând relaţia (4.76) cu (4.117) şi relaţia (4.84) cu (4.118),
rezultă că, în cazul estimării unui parametru invariant în timp, pentru
observarea continuă se pot folosi relaţiile de la observarea la momente
de timp discrete, înlocuind suma cu o integrală definită, la care limitele
de integrare sunt egale cu 0 , respectiv T .

4.6. Estimarea neliniară a unui parametru în cazul


observării continue

Dacă semnalul generat de emiţător nu este o funcţie liniară de


parametrul care urmează a fi estimat, atunci estimarea este denumită
neliniară.
În acest caz, semnalul recepţionat r (t ) este de forma:
r ( t )= s ( t ,θ ) + n ( t ) , (4.119)
dacă parametrul care urmează a fi estimat este o variabilă aleatoare
continuă θ şi de forma:
r ( t )= s ( t ,a )+ n ( t ) (4.120)
dacă parametrul ce urmează a fi estimat este determinist.
Se va considera, pentru început, cazul parametrului θ , care
258
urmează a fi estimat prin observarea continuă a semnalului recepţionat
pe intervalul [0, T ] .
În general, în acest caz, nu există o statistică suficientă, aşa că
problema trebuie abordată în mod diferit faţă de cazul estimării liniare.
Fie semnalul recepţionat r (t ) , reprezentat prin seria:
N
r ( t ) = ∑ ri vi ( t ) , N → ∞ (4.121)
i =1

unde:
T
ri = ∫ r ( t ) vi ( t ) dt , (4.122)
0

iar funcţiile vi (t ) formează un sistem ortonormat, complet pe


intervalul [0, T ] , satisfăcând relaţia (4.88).
Pentru o valoare θ dată, rezultă că, dacă zgomotul de pe
canalul de transmisiuni poate fi considerat alb, cu densitatea spectrală
de putere S0 , repartizat normal, cu valoarea medie nulă, atunci, ţinând
cont de relaţiile (4.119) şi (4.122), rezultă că şi componentele ri vor fi
repartizate normal. Pentru determinarea legii de repartiţie, va trebui să
se determine valoarea medie şi dispersia acestora.
Valoare medie a componentelor ri se determină cu relaţia:
not. ⎧T ⎫
m1 { ri } = ri = m1 ⎨ ∫ [ s (t , θ ) + n (t ) ] vi (t ) dt ⎬ =
⎩0 ⎭ (4.123)
T T
= ∫ s (t , θ ) vi (t ) dt + ∫ n (t ) vi (t ) dt
0 0

Deoarece n(t ) = 0 , rezultă:


T
ri = ∫ s (t , θ ) vi (t ) dt (4.124)
0

Ţinând cont de relaţiile (4.121) şi (4.122), din (4.124) rezultă:


259
N
s (t , θ ) = ∑ ri vi (t ) , N → ∞ (4.125)
i =1

Dispersia componentelor ri se poate calcula cu relaţia:

{( }
⎧⎪ ⎡ T ⎤ ⎫⎪
2

)
2
D { ri } = m1 ri - ri = m1 ⎨ ⎢ ∫ n (t ) vi (t ) dt ⎥ ⎬ (4.126)
⎩⎪ ⎣ 0 ⎦ ⎭⎪
Înlocuind pătratul unei integrale cu produsul a două integrale
identice, dar cu variabile de integrare diferite şi ţinând cont că funcţia
de autocorelaţie a zgomotului alb este proporţională cu distribuţia
Dirac, din (4.126) rezultă:
⎧T T

D { ri } = m1 ⎨ ∫ n (t ) vi (t ) dt ∫ n (u ) vi (u ) du ⎬ =
⎩0 0 ⎭ (4.127)
T T
= ∫ ∫ vi (t ) vi (u ) n (t ) n (u ) dt du =
0 0
T T
= S0 ∫ ∫ v (t ) v (u ) δ (u - t ) dt du
0 0
i i

Datorită proprietăţii de filtrare a distribuţiei Dirac, din (4.127)


rezultă:
T
D { ri } = S0 ∫ vi2 (t ) dt = S0 (4.128)
0

Cu alte cuvinte, legea de repartiţie a variabilei aleatoare (ri | θ ) se


poate scrie sub forma:
1 ( - )2
- ri ri
w1 (ri | θ ) = e 2 S0 (4.129)
2π S0
Zgomotul fiind presupus alb şi independent de semnalul util
transmis pe canal, rezultă că eşantioanele prelevate din zgomot sunt
statistic independente, după cum statistic independente vor fi şi

260
variabilele (ri | θ ) .
Rezultă atunci că:
N
w (r1 , r2 ,..., rN | θ ) = w (r | θ ) = ∏ w1 (ri | θ ) , N → ∞ (4.130)
i =1

Înlocuind (4.129) în relaţia (4.130), se obţine:


N

∑(r -r )
2
N - 1
⎛ 1 ⎞ 2 S0 i i
w (r | θ ) = ⎜ , N → ∞ (4.131)
⎜ 2 π S ⎟⎟
i =1
e
⎝ 0 ⎠
Deoarece:
1 N
( )
N N
2 1 1

2 S0 i = 1
ri - ri =
2 S0
∑ ri2 -
i =1 S0
∑r r +
i =1
i i

N
(4.132)
1
∑( r )
2
+ i , N →∞
2 S0 i =1

conform relaţiilor (4.121) şi (4.124), se poate scrie:


N N T

∑ r r = ∑ r ∫ s (t , θ ) v (t ) dt =
i =1
i i
i =1
i i
0
T T
(4.133)
N
= ∫ s (t , θ ) ∑ ri vi (t ) dt = ∫ s (t , θ ) r (t ) dt , N → ∞
0 i =1 0

Analog, conform relaţiilor (4.124) şi (4.125) rezultă:


N N T

∑ (ri )2 = ∑ ri ∫ s(t ,θ )vi (t )dt =


i =1 i =1 0
T N T
= ∫ s (t ,θ )∑ rv
i i (t ) dt = ∫ s (t ,θ ) dt , N → ∞
2
(4.134)
0 i =1 0

Înlocuind (4.132) în (4.131) şi ţinând cont de relaţiile (4.133) şi


(4.134), rezultă, după logaritmare, expresia:

261
N
1
ln w (r | θ ) = - N ln 2 π S0 -
2 S0
∑r
i =1
i
2
+
T T
(4.135)
1 1
+ ∫0 s (t , θ ) r (t ) dt - 2 S0 ∫s (t , θ )dt , N → ∞
2

S0 0

Utilizând funcţia de cost uniformă, estimatul maximum


aposteriori, θˆ map se poate determina înlocuind (4.135) în (4.29).
ţinând cont că primii doi termeni din membrul drept al relaţiei
(4.135) nu depind de θ , se poate scrie:
∂ s (t , θ )
T
1
S0 ∫ [ r (t ) - s (t , θ ) ]
0
∂θ
dt +
θ=ˆ θ map
(4.136)

+ ln w (θ ) =0
∂θ θ = θˆ map

Dacă parametrul θ are o lege de repartiţie normală, cu valoare


medie nulă şi dispersie σ θ2 , dată de (4.61), relaţia (4.136) devine:
θˆ map
T
1 ∂ s (t, θ )
S0 ∫ [ r (t ) - s (t, θ ) ]
0
∂θ
dt -
σ θ2
=0 (4.137)
θ= ˆ θ map

În cazul în care parametrul este determinist, estimatul de


maximă plauzibilitate aˆmp se poate determina cu relaţia (4.34), unde
ln[ w(r | a )] se obţine din (4.135), înlocuind θ cu a .
Efectuând această înlocuire, estimatul de maximă plauzibilitate
rezultă din relaţia:
T
∂ s (t, a )
∫ [ r (t ) - s (t, a) ]
0
∂a
dt =0 (4.138)
a= ˆ a mp

Particularizând relaţia (4.137) pentru cazul estimării liniare,


adică atunci când s (t,θ ) este dat de relaţia (4.85), rezultă:

262
T
1
θˆ map = S0 ∫ r (t ) f (t ) dt , (4.139)
E+ 0
σ θ2
adică aceeaşi relaţie (4.107) pentru cazul zgomotului alb, când
σ n2 = S0 .
Particularizând relaţia (4.138) pentru cazul estimării liniare,
adică atunci când este satisfăcută relaţia (4.86) rezultă estimatul de
maximă plauzibilitate dat de relaţia (4.112).

4.7. Erori de estimare

Prin eroare de estimare se înţelege diferenţa dintre estimatul θˆ


sau â , obţinut după un criteriu oarecare, şi valoarea reală a
parametrului ce trebuie estimat, adică
εθ = θˆ - θ (4.140)
sau:
εa = â - a (4.141)
Se va calcula o margine inferioară a dispersiei erorii de
estimare care, pentru simplificarea calculelor, se va efectua în cazul
unui estimat nedeplasat, deşi margini similare pot fi calculate în cazul
general.
Se consideră, pentru început, cazul când parametrul ce urmează
a fi estimat este o variabilă aleatoare, continuă, θ . În acest caz, eroarea
de estimare depinde de două variabile aleatoare şi anume, de semnalul
observat r şi de parametrul aleator θ .
Valoarea medie a erorii de estimare se va calcula atunci cu
relaţia:

263

(4.142)
εθ = ∫ ∫ (θˆ - θ ) w ( r ∩ θ ) dθ dV = 0
-∞ Δ

deoarece s-a considerat cazul unui estimat nedeplasat, pentru care are
loc relaţia (4.38).
Valoarea pătratică medie a erorii de estimare, calculată, de
asemenea, în raport cu ambele variabile aleatoare r si θ se
calculează cu relaţia:

(4.143)
( )
2
ε θ = ∫ ∫ θˆ − θ w ( r ∩ θ ) dθ dV
2

-∞ Δ

Ţinând cont de (4.142) si (4.143), dispersia erorii de estimare este:


2
σ ε2θ = εθ2 - ε = εθ2 [] (4.144)

Derivând relaţia (4.142) în raport cu θ , rezultă:



∂w ( r ∩ θ ) ∞
(4.145)
∫ ∫(
-∞ Δ
θˆ - θ ) ∂θ
dθ dV - ∫ ∫w ( r ∩ θ ) dθ dV = 0
-∞ Δ

Deoarece:

(4.146)
∫ ∫w ( r ∩ θ ) dθ dV = 1
-∞ Δ

rezultă:
ˆ − θ ) ∂w ( r ∩ θ ) dθ d V = 1

(4.147)
∫∫ (θ
∂θ
-∞ Δ

Pe de altă parte, pentru două funcţii f (r ,θ ) şi g (r ,θ ) de pătrat


sumabil, se poate scrie inegalitatea lui Schwartz - Buniakovski:
2
⎡∞ ⎤ ∞ 2 ∞

⎢ ∫ ∫ f (r , θ ) g (r ,θ )dθ dV ⎥ ≤ ∫ ∫ f (r ,θ )dθ dV ∫ ∫g (r ,θ )dθ dV


2
(4.148)
⎣ -∞ Δ ⎦ -∞ Δ -∞ Δ

sau, echivalent:

264
2
⎡ ∞ ⎤
∞ ⎢

∫∫ f ( r , θ ) g ( r , θ ) dθ dV ⎥

∫-∞ ∫Δ f (r ,θ )dθ dV ≥
2 -∞ Δ
∞ (4.149)
∫ ∫g (r ,θ )dθ dV
2

-∞ Δ

Dacă se face notaţia:

( θˆ - θ ) w (r ∩ θ ) = f (4.150)
not .
2
(r ,θ )
2

relaţia (4.143) se poate scrie sub formă echivalentă:


∞ ∞

∫ ∫( )
2
ε θ2 = θˆ − θ w ( r ∩ θ ) dθ dV = ∫ ∫ f ( r ,θ ) dθ dV
2
(4.151)
-∞ Δ -∞ Δ

Deoarece totdeauna se poate scrie:


w(r ∩ θ ) = eln w ( r ∩θ ) (4.152)
rezultă:
∂w(r ∩ θ ) ∂ ln w( r ∩ θ ) (4.153)
= w( r ∩ θ )
∂θ ∂θ
Înlocuind (4.153) în (4.147), se obţine:

∂ ln w( r ∩ θ )
∫ ∫(θˆ − θ )w(r ∩ θ )
-∞Δ
∂θ
dθ dV = 1
(4.154)
Se face în continuare următoarea notaţie:
2
⎡ ∂ ln w( r ∩ θ ) ⎤ not .

⎢⎣ ⎥ w ( r ∩ θ ) = g ( r ,θ )
2
(4.155)
∂θ ⎦
Cu (4.150) şi (4.155), relaţia (4.154) devine:

∫ ∫ f ( r ,θ ) g (r ,θ )dθ dV = 1
-∞Δ
(4.156)
Înlocuind relaţiile (4.155) şi (4.156) în (4.149) şi ţinând cont de
(4.144) şi (4.151), rezultă:

265
1
σ ε2θ ≥ ∞ 2
⎡ ∂ ln w(r ∩ θ ) ⎤ (4.157)
∫- ∞ ∫Δ ⎢⎣ ∂θ ⎥⎦ w(r ∩ θ )dθ dV
respectiv:
1
σ ε2 ≥
θ
2 (4.158)
⎡ ∂ ln w( r ∩ θ ) ⎤
⎢⎣ ∂θ ⎥⎦
unde medierea se calculează în raport cu ambele variabile aleatoare r
şi θ .
Inegalitatea (4.158) este cunoscută sub numele de inegalitatea
Cramér - Rao şi dă limita inferioară a dispersiei erorii de estimare.
Este binecunoscut faptul că în inegalitatea lui Schwartz-
Buniakovski se obţine egalitatea atunci când:
g (r ,θ ) = kf (r ,θ ) (4.159)
unde k este o constantă.
Ţinând cont de notaţiile (4.150) şi (4.155), conform relaţiei
(4.159), respectiv dacă:
∂ ln w( r ∩ θ ) (4.160)
= k (θˆ - θ )
∂θ
inegalitatea(4.158) devine egalitate.
Prin definiţie, un estimat care satisface relaţia (4.160) se
numeşte estimat eficient şi va fi notat cu θˆ . Estimatul eficient
ef

determină cea mai mică dispersie a erorii de estimare, adică:


2 1
σε = ,
θ ef 2 (4.161)
⎢ ∂ ln w ( r ∩ θ ) ⎥
⎡ ⎤
⎢ ⎥
⎢⎣ ∂θ ⎥⎦

Relaţia (4.158) se poate scrie într-o formă echivalentă, dacă se


pleacă de la relaţia evidentă:
266

(4.162)

-∞ Δ
∫ w ( r ∩ θ ) dθ dV = 1
Derivând relaţia (4.162) în raport cu θ şi ţinând cont de
(4.153), se obţine:

∂ ln w ( r ∩ θ ) (4.163)
∫∫ w ( r ∩ θ ) dθ dV = 0
-∞ Δ
∂θ
Derivând relaţia (4.163) în raport cu θ şi ţinând cont de (4.153),
rezultă:
⎡ ∂ ln w ( r ∩ θ ) ⎤
∞ 2

∫-∞ ∫Δw ( r ∩ θ ) ⎢⎣ ∂θ ⎥ dθ dV +

(4.164)
∂ ln w ( r ∩ θ )
∞ 2
+ ∫ ∫ w(r ∩θ ) dθ dV = 0,
-∞ Δ
∂θ 2
∂ 2 ln w(r ∩ θ )
cu condiţia ca să fie absolut integrabilă în raport cu
∂θ 2
θ si r .
Din (4.164) rezultă atunci:
(4.165)
⎡ ∂ ln w( r ∩ θ ) ⎤2 = − ⎡ ∂ 2 ln w(r ∩ θ ) ⎤
⎢⎣ ∂θ ⎢ ⎥⎦ ∂θ 2 ⎥
⎣ ⎦
Înlocuind (4.165) în (4.158) se obţine o formă echivalentă a
marginii Cramér- Rao, de forma:
2 1
σ ε2θ = ⎡⎣ θˆ - θ ⎤⎦ ≥ − (4.166)
⎡ ∂ 2 ln w ( r ∩ θ ) ⎤
⎢ ⎥
⎣ ∂θ 2 ⎦
Eroarea de estimare a unui parametru determinist, a ,
necunoscut receptorului se poate obţine uşor dacă se consideră
parametru determinist a o variabilă aleatoare α cu o densitate de
repartiţie egală cu distribuţia Dirac, adică:
267
w(α ) = δ (α - a ) (4.167)
Deoarece totdeauna se poate scrie:
w ( r ∩ α ) = w (α ) w ( r | α ) , (4.168)
cu relaţia (4.167), rezultă:
w ( r ∩ α ) = w ( r | α ) δ (α - a)
Considerând şi în acest caz un estimat nedeplasat, valoarea
medie a erorii se determina cu relaţia:

εα = ∫ ∫ (αˆ - α ) w ( r ∩ α ) dα dV =
-∞ Δ
∞ (4.169)
∫ ∫ (αˆ - α ) w ( r | α ) δ (α - a) dα dV =
-∞ Δ

= ∫ ( aˆ - a ) w ( r | a ) dV = ε a = 0
Δ

deoarece s-a considerat cazul unui estimat nedeplasat, pentru care este
adevărată relaţia (4.40).
Trebuie remarcat că, în cazul estimării unui parametru
determinist, medierea se efectuează numai în raport cu r .
Urmând aceleaşi etape de calcul şi ţinând cont de proprietatea
de filtrare a distribuţiei Dirac, se ajunge, în cele din urmă, la expresia
dispersiei erorii de estimare a unui parametru determinist, de forma:
1 (4.170)
σ ε2a = [ aˆ - a ] ≥
2
2
⎡ ∂ ln w(r | a ) ⎤
∫Δ ⎢⎣ ∂a ⎥⎦ w(r | a )dv
respectiv:
1 (4.171)
σ ε2 = [ aˆ - a ] ≥
2
a 2
⎡ ∂ ln w(r | a ) ⎤
⎢⎣ ∂a ⎥⎦
În mod analog, dacă este îndeplinită condiţia:

268
∂ ln w (r | a ) (4.172)
= k ( aˆ − a )
∂a
unde k este o constantă, se obţine un estimat eficient, notat âef , care
determină o dispersie minimă a erorii de estimare, adică:
2 1
σ ε2aef = ⎡⎣ aˆef - a ⎤⎦ =
⎡ ∂ ln w ( r | a ) ⎤
2 (4.173)
⎢⎣ ∂a ⎥⎦
Relaţia (4.171) se poate scrie într-o formă echivalentă, dacă se
pleacă de la relaţia evidentă:

Δ
w ( r | a ) dV = 1 (4.174)

Urmând aceleaşi etape de calcul ca în cazul estimării


parametrului aleator θ , se obţine şi în acest caz, următoarea expresie
echivalentă:
1
σ ε2a = [ aˆ - a ] ≥ −
2

⎡ ∂ 2 ln w(r | a ) ⎤ (4.175)
⎢ ∂a 2 ⎥
⎣ ⎦

4.8. Eroarea de estimare în cazul estimării liniare

În cazul estimării liniare tratate în paragraful 4.5, atât în cazul


unui parametru aleator, cât si în cazul unui parametru determinist, s-
a stabilit o statistică suficientă, adică posibilitatea efectuării
estimării dintr-o singură componentă, r1 , a semnalului recepţionat,
reprezentat prin vectorul:
r = ( r1 , r2 , . . . , rN ) (4.176)
În cazul unui parametru aleator s-a stabilit relaţia (4.104).
Dacă legea de repartiţie a parametrului θ este data de relaţia

269
(4.61), atunci cu (4.104) si (4.61) se poate scrie:
w1 (r1 ∩ θ ) = w1 (r1 | θ ) ⋅ w(θ ) =
1 -
1
( r1 - θ E ) 2 1 2
- θ 2
(4.177)
e 2 σ n2 e 2 σθ
2π σ n 2 πσ θ
de unde:
1 θ 2 (4.178)
ln w1 (r1 ∩ θ ) = − ( r1 - θ E ) - +C 2

2 σ n2 2 σ θ2
unde C este o constantă, care nu depinde de θ .
Derivând relaţia (4.178) în raport cu θ , rezultă:
∂ ln w1 (r1 ∩ θ ) E θ (4.179)
= 2 (r1 − θ E ) − 2
∂θ σn σθ
Înlocuind relaţia (4.105) în (4.179), rezultă:
∂ ln w1 ( r1 ∩ θ ) ⎛ E 1 ⎞
= ⎜⎜ 2 + 2 ⎟⎟ ( θˆmap - θ ) (4.180)
∂θ ⎝ σn σn ⎠
Ţinând cont de relaţia (4.160), rezultă din (4.180) că, în cazul
estimării liniare, s-a obţinut un estimat eficient, în care constanta k are
valoarea:
E 1 (4.181)
k= 2 + 2
σn σn
Ţinând cont de (4.181), relaţia (4.179) devine:
∂ ln w1 (r1 ∩ θ ) E (4.182)
= 2 r1 - kθ
∂θ σn
2
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E 2 2k E
iar ⎢⎣ ⎥ = r − r1θ + k 2 θ 2 (4.183)
∂θ ⎦ σn
4 1
σn2

Efectuând mai întâi medierea în raport cu r1 , rezultă:


2
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E 2kθ E
⎢⎣ ⎥ = 4 r12 − r1 + k 2 θ 2 (4.184)
∂θ ⎦ σn σn
2

270
Ţinând cont de relaţiile (4.100), (4.102) sau (4.103), se poate
scrie:
[ ] 2
r12 = σ n2 + r1 = σ n2 + Eθ 2 (4.185)
Cu (4.185) şi (4.100), relaţia (4.184) devine
2
E ⎛ E
2
⎞ 2 (4.186)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ ⎜ ⎟⎟ θ
⎢⎣ =
⎥⎦ σ + ⎜σ - k
∂θ 2
n ⎝ n
2

Înlocuind relaţia (4.181) în (4.186), rezultă:
2 (4.187)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E θ2
⎢⎣ = +
⎥⎦ σ 2 σ 4
∂θ n θ

Mediind relaţia (4.187) în raport cu θ si ţinând cont ca această


variabilă aleatoare are valoarea medie nulă si dispersia σ θ2 , rezultă
θ = σ θ şi atunci:
2 2

2 (4.188)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E θ2 E 1
⎢⎣ ⎥⎦ = + = +
∂θ σ n σ θ σ n σ θ2
2 2 2

Introducând această valoare în expresia dispersiei erorii


(4.161), rezultă:
2 σ θ2 (4.189)
σ εθef = ⎡⎣ θˆ ef − θ ⎤⎦ =
2
E
1 + σ θ2 2
σn
Ţinând cont de relaţiile (4.102) sau (4.103), rezultă că singurul
mijloc de a micşora dispersia erorii de estimare în acest caz este
mărirea raportului E / σ n2 , adică a mări raportul semnal/perturbaţie.
În cazul unui parametru determinist, conform relaţiei (4.110),
rezultă că:
1
ln w1 ( r1 | a ) = − ( r1 - a E ) 2 + C1 (4.190)
2σn2

271
unde C1 este o constantă ce nu depinde de parametrul a .
Derivând relaţia (4.190) în raport cu a , rezultă:
∂ ln w1 ( r1 | a ) E (4.191)
= 2 ( r1 - a E )
∂a σn
Pe de altă parte, din relaţiile (4.90), (4.91), (4.92) si 4.112) se
obţine:
1 T 1 T r (4.192)
aˆ mp = ∫ r (t ) f ( t ) dt = ∫ r (t )v1 ( t ) dt = 1
E0 E 0 E
Cu (4.192), relaţia (4.191) devine:
∂ ln w1 (r1 | a ) E (4.193)
= 2 ( aˆ mp − a )
∂a σn
Comparând relaţia (4.172) cu (4.193) rezultă că, şi în cazul
parametrului determinist, s-a obţinut un estimat eficient, în care
constanta k are valoarea:
E (4.194)
k= 2
σn
În cazul estimatului eficient, dispersia erorii de estimare se
calculează cu relaţia (4.173).
Ţinând cont de (4.194), relaţia (4.191) devine:
∂ ln w(r1 | a ) E (4.195)
= 2 r1 - ka
∂a σn
iar
⎡ ∂ ln w1 (r1 | a ) ⎤
2
E 2 2 ak E 2 2
(4.196)
⎢⎣ =
⎥⎦ σ 4 r - r + k a
∂a n
1
σ n2 1

Efectuând medierea relaţiei (4.196) în raport cu r1 , rezultă:


2 (4.197)
⎡ ∂ ln w1 (r1 /a ) ⎤ E 2ak E
⎢⎣ ⎥ = 4 r12 − r1 + k 2 a 2
∂a ⎦ σn σn
2

272
Dar
(4.198)
r12 = σ n2 + ⎣⎡ r1 ⎦⎤ = σ n2 + Ea 2 ⎫⎪
2


r1 = Ea ⎪⎭
Cu (4.194) şi (4.198), relaţia (4.197) devine:
2 2 (4.199)
⎡ ∂ ln w1 (r1 | a ) ⎤ E ⎛ E ⎞ 2
⎢⎣ =
⎥⎦ σ 2 + ⎜ - k ⎟a
∂a n σ
⎝ n
2

Înlocuind (4.194) în (4.199), rezultă:
2 (4.200)
⎡ ∂ ln w1 (r1 | a ) ⎤ E
⎢⎣ ∂a ⎥⎦ = σ 2
n

Introducând această valoare în expresia dispersiei erorii de


estimare, se poate scrie:
σ n2 (4.201)
σ eaef = (aˆef − a) =
2 2

4.9. Eroarea de estimare în cazul estimării neliniare

Se va considera mai întâi cazul unui parametru aleator θ .


Marginea inferioară a dispersiei erorii de estimare se va calcula
şi în acest caz cu inegalitatea Cramér - Rao, dată de relaţia (4.166).
Logaritmând relaţia (4.26), rezultă:
ln w(r ∩ θ ) = ln w(r / θ ) + ln w(θ ) (4.202)
Derivând relaţia (4.202) în raport cu θ si ţinând cont de
(4.135), rezultă:
∂ ln w ( r ∩ θ ) 1 ∂ s ( t ,θ )
T

∂θ
=
S0 ∫ [ r (t ) - s ( t ,θ ) ]
0
∂θ
dt +

∂ ln w ( θ ) (4.203)
+
∂θ
273
Pentru a obţine expresia ce intervine în inegalitatea Cramér-
Rao, se derivează din nou în raport cu θ relaţia (4.203), rezultând:
∂ 2 ln w( r ∩ θ ) 1 ∂ 2 s (t ,θ )
T

∂θ 2
=
S0 ∫0 [ r ( t ) - s(t , θ )] ∂θ 2 dt −
2
1 ⎡ ∂s ( t , θ ) ⎤ ∂ 2 ln w ( θ )
T
- ∫⎢ ⎥⎦ dt + (4.204)
S0 0 ⎣ ∂θ ∂θ 2
sau, ţinând cont de (4.119), se poate scrie echivalent că:
∂ ln w( r ∩ θ ) 1 ∂ s ( t ,θ )
2 T
2

∂θ 2
= ∫
S0 0
n (t )
∂θ 2
dt −
(4.205)
2
⎡ ∂ s ( t ,θ ) ⎤ ∂ ln w ( θ )
T 2
1
- ∫⎢ ⎥⎦ dt +
S0 0 ⎣ ∂θ ∂θ 2
Mediind relaţia (4.205) în raport cu r şi ţinând cont că zgomotul
n(t ) are valoare medie nulă, n(t ) = 0 , rezultă:
2 T 2 2
∂ ln w(r ∩ θ ) = − 1 ⎡ ∂s (t ,θ ) ⎤ dt + ∂ ln w( θ ) (4.206)
∂θ 2 ∫
S 0 0 ⎢⎣ ∂θ ⎥⎦ ∂θ 2
Efectuând o nouă mediere în raport cu θ , se obţine:

2 (4.207)
∂ ln w( r ∩ θ ) ⎡ ∂ s (t ,θ ) ⎤ ∂ ln w( θ )
2 T 2
1
∂θ 2
=-
S0 ∫0 ⎢⎣ ∂θ ⎥⎦ dt +
∂θ 2
Înlocuind (4.207) în relaţia (4.166), rezultă:

(
σ ε2 = θˆ - θ
θ
)≥
2 1
2
(4.208)
⎡ ∂s (t ,θ ) ⎤ ln w( θ )
T
1 ∂
2

∫ ⎢
S 0 0 ⎣ ∂θ ⎦ ⎥ dt -
∂θ 2
unde medierile din membrul drept al inegalităţii se efectuează în raport
cu parametrul θ .
Pe de altă parte, conform relaţiei (4.160), în (4.208) se obţine
274
semnul egalităţii, atunci când:
∂ ln w(r ∩ θ ) = - k (4.209)
2

∂θ 2
respectiv, atunci când este îndeplinită condiţia:
1
T
∂ s (t ,θ )
2
1
T 2
⎡ ∂s (t,θ ) ⎤ ∂ ln w(θ ) (4.210)

S0 0
n (t )
∂θ 2
dt -
S0 ∫0 ⎢⎣ ∂θ ⎥⎦ dt + ∂θ 2 = - k
În cazul unui parametru determinist, marginea inferioară a
dispersiei erorii de estimare se calculează cu inegalitatea Cramér -
Rao, dată de relaţia (4.175).
Pe de altă parte, înlocuind în (4.135) parametrul aleator θ cu
parametrul determinist a şi derivând apoi în raport cu a , se obţine:
∂ ln w (r | a ) 1
T
∂s (t , a ) (4.211)
[ ]
S0 ∫0
= r ( t ) − s(t , a ) dt
∂a ∂a
Printr-o nouă derivare în raport cu a, rezultă:
2 T 2
∂ ln w( r | a ) 1 ∂ s (t , a )
∂a 2
=
S0 ∫0 [ r (t ) - s(t , a ) ] ∂a 2 dt − (4.212)
T 2
1 ⎡ ∂s (t , a ) ⎤
-
S0 ∫0 ⎢⎣ ∂a ⎥⎦ dt
Efectuând medierea în raport cu r şi ţinând seama de relaţia
(4.120) şi de faptul că valoarea medie a zgomotului este nulă,
rezultă:
2
∂ ln w( r | a )
T
1 ⎡ ∂s (t , a ) ⎤
2
(4.213)
S ∫ ⎢⎣ ∂a ⎥⎦
= − dt
∂a 2 0 0

Înlocuind (4.231) în relaţia (4.175), se obţine:


S0 (4.214)
σ ε2a = ( aˆ − a ) ≥ T
2
2
⎡ ∂s (t , a ) ⎤
∫0 ⎢⎣ ∂a ⎥⎦ dt
275
Pe de altă parte, conform relaţiei (4.172), în (4.214) se obţine
semnul egalităţii, atunci când:
2
∂ ln w(r | a ) (4.215)
= − k
∂a 2
respectiv, atunci când:
1
T 2
∂ s (t , a )
T
1 ⎡ ∂s (t , a ) ⎤
2
(4.216)
S ∫ S ∫ ⎢⎣ ∂a ⎥⎦
[ r (t ) - s (t , a )] dt - dt = − k
0 0 ∂a 2 0 0

4.10. Estimarea neliniară a mai multor parametri

Se va considera la început cazul estimării parametrilor aleatori


θ 1 ,θ 2 ,θ 3 ...,θ M .
Notând cu θ vectorul ale cărui componente sunt tocmai parametrii
aleatori care trebuie estimaţi, adică:
θ = ( θ 1 , θ 2 , ... ,θ M ) (4.217)
semnalul recepţionat este de forma:
r (t ) = s (t , θ ) + n(t ) (4.218)
unde n(t ) este zgomotul alb, repartizat după o lege normală, cu
valoare medie nulă.
Dacă parametrii θ 1 ,θ 2 ,θ 3 ...,θ M sunt independenţi, se poate
scrie relaţia:
M
(4.219)
w (θ ) = ∏ w1 (θ i )
i =1

Ţinând seama de cele demonstrate în paragraful 4.7, relaţia


(4.136) se poate scrie sub forma:
∂ s (t , θ ) ∂ ln w(θ )
T
1
S0
∫ ⎡⎣ r (t ) - s ( t , θ ) ⎤⎦
0
∂θi
dt
θ =θˆmap
+
∂θi θ =θˆmap
(4.220)

pentru i = 1,2...., M .
276
Relaţia (4.220) reprezintă, de fapt, un sistem de M ecuaţii, din
care se deduc estimaţii maximum aposteriori θˆimap , i = 1, M .
Dacă parametrii aleatori θ i , i = 1, M sunt, în plus, repartizaţi
după o lege normală, cu valoare medie nulă şi dispersie σ θ2 , atunci
i

se poate scrie:
1 2
- θ i2
(4.221)
w1 (θi ) = e 2 σ θi
2π σ i
pentru i = 1, M .
Dacă parametrii sunt mărimi deterministe a1 , a2 ,......, aM ,
necunoscute la recepţie, vectorul corespunzător acestor parametri este:
a = ( a1 , a2 , ... , aM ) (4.222)
Ţinând seama de relaţia (4.138), rezultă estimaţii de maximă
plauzibilitate, determinaţi din relaţia:
T
∂s (t , a ) (4.223)
∫0 [r (t ) − s (t , a ) ] dt a = aˆ
= 0, i = 1, M
∂ai mp

Ecuaţia (4.224) este echivalentă cu un sistem de M ecuaţii, din


care se vor deduce estimaţii de maximă plauzibilitate âi mp , i = 1, M .

4.11. Probleme rezolvate

1. Semnalul recepţionat, de forma:


r (t ) = s (θ ) + n (t )
este observat la momentele de timp discrete t1 , t 2 ......, t N .Dacă
eşantioanele zgomotului, n(ti ) = ni ,au o lege de repartiţie normală
monodimensională, cu valoare medie nulă şi dispersie σ n2 , fiind
variabile aleatoare independente între ele si independente de

277
parametrul aleator θ , care are lege de repartiţie normală,
monodimensională, cu valoare medie nulă şi dispersie σ θ2 , să se
determine ecuaţia care dă estimatul maximum aposteriori. Caz
particular s (θ ) = θ 2 .
Soluţie
Eşantioanele prelevate din semnalul recepţionat sunt de forma:
ri = s (θ ) + ni , i = 1, N
unde ri = r (ti ) Dacă ni este repartizat după o lege normală
monodimensională şi între θ şi ni nu există nici o dependenţă
statistică, înseamnă că şi eşantioanele ri vor fi repartizate după o lege
normală monodimensională, pentru care va trebui, însă, să se
determine valoarea medie şi dispersia.
ri = m1{s (θ ) + ni } = s (θ ) + ni = s (θ )

D { ri } = m1 { ( r - r ) } = m { [s (θ ) + n - s (θ ) ] } = n = σ
i i
2
1 i
2 2
i
2
n

Rezultă atunci:
1
1 − [ ri − s (θ )]2
2σ n2
w1 (ri | θ ) = e
2πσ n
Eşantioanele ri fiind statistic independente, se poate scrie:
N 2
N ⎛ 1 ⎞ 2 σ n2 ∑ ⎡ r - s (θ ) ⎤
N

1
i =1 ⎣ i ⎦
w ( r | θ ) = ∏ w1 (ri | θ ) = ⎜⎜ ⎟⎟ e
i =1 ⎝ 2π σn ⎠
Pe de altă parte:
1 θ2
w1 ( θ ) = e
-
2 σ θ2
2 π σθ
Înlocuind w(r | θ ) şi w1 (θ ) în relaţia (4.29), rezultă:

278
σ θ2 ⎡ N ⎤ ds (θˆmap )
θˆmap = ∑ r
σ n2 ⎢⎣ i = 1 i
- Ns ( θˆ )
map ⎥
⎦ dθˆmap
În cazul particular considerat, rezultă:
σ θ2 ⎡ N ⎤ ˆ
2 ⎢∑ i
θˆmap = 2 r - Nθˆmap
2
⎥ θ map
σ n ⎣ i =1 ⎦
O primă soluţie este θˆmap = 0 , care, fiind independentă de ri ,
semnifică faptul că acest lucru ar avea loc dacă σ n2 ar fi suficient de
mare şi, deci, informaţia apriori asupra lui θ este mai consistentă
decât cea obţinută din măsurători.
Celelalte două valori posibile sunt date de relaţia:
1 N
σ n2
θˆ map =±
N

i =1
ri −
2 Nσ θ2
Dacă ultimele două valori sunt reale, se va considera estimatul
maximum aposteriori cel care maximizează densitatea de repartiţie
w ( r | θ ) ⋅ w1 ( θ )
w ( θ |r ) = .
w(r )

2. Semnalul recepţionat, r, sub forma unor impulsuri


rectangulare, determină o variabilă aleatoare cu lege de repartiţie
Poisson de medie θ ,θ fiind la rândul său o variabilă aleatoare cu lege
de repartiţie exponenţială, adică:
ak −a
P{r = k | θ = a} = e , k = 0,1, 2......
k!

⎧λ e − λθ , θ > 0, λ cunoscut
w(θ ) = ⎨
⎩ 0, θ ≤ 0
Să se determine estimatul în cazul funcţiei de cost uniforme şi
279
în cazul funcţiei de cost pătratul erorii.
Soluţie
Conform relaţiei (4.28) rezultă:
w ( r | θ ) w (θ ) θ r - θ λ e - λ θ λ
w (θ | r ) = = e = θ r e - (1 + λ ) θ
w (r ) r! w (r ) w (r ) r !
Pe de altă parte, din condiţia de normare rezultă:
∞ ∞
λ
∫ w(θ | r )dθ = 1 ⇒ w(r )r !∫ θ
r − (1+ λ )θ
e dθ = 1
0 0

Efectuând integrala prin parţi, cu:


θ r = u ⇒ rθ r −1dθ = du
− (1+ λ )θ e − (1+ λ )θ
e dθ = dv ⇒ − =v
(1 + λ )
se poate scrie:
∞ ∞ θ =∞
∞ w(r )r ! θ r e − (1+ λ )θ
∫θ e dθ = uv 0 − ∫ vdu =
r − (1+ λ )θ
⇔− +
0 0
λ 1+ λ θ =0
∞ ∞
r w( r )r ! r w(r )r !

1+ λ 0
θ r −1e− (1+λ )θ dθ =
λ
⇔ ∫
1+ λ 0
θ r −1e− (1+ λ )θ dθ =
λ
Integrând succesiv prin părţi, se poate scrie:
∞ ∞
r! w(r )r ! r ! e − (1+ λ )θ
(1 + λ ) r ∫0
− (1+ λ )θ
e dθ = ⇔ − =
λ (1 + λ ) r 1 + λ 0

w(r )r ! w(r )r ! r!
⇒ =
λ λ (1 + λ ) r +1
rezultă că:
⎧ (1 + λ ) r +1 r -(1 + λ )θ
⎪ θ e , θ >0
w (θ | r ) = ⎨ r!
⎪ 0 , θ ≤0

Estimatul maximum aposteriori se determină din relaţia (4.25).

280
ln w(θ | r ) = (r + 1) ln(1 + λ ) − ln(r !) + r ln θ − (1 + λ )θ
∂ ln w(θ | r ) r r
θ =θˆmap
= − (1 + λ ) = 0 ⇒ θ map =
∂θ θ map 1+ λ
În cazul utilizării funcţiei de cost pătratul erorii, conform
relaţiei (4.18), rezultă:
∞ r +1 ∞
(1+ λ )
θˆ = ∫θ w( θ | r ) dθ = ∫θ
r +1 − (1+ λ )θ
e dθ
-∞
r! 0

Efectuând integrarea prin părţi ca mai sus, rezultă:


(1+ λ )
r +1
( r + 1 )! r +1
θˆ = =
r! (1+ λ )
r +2
1+ λ
Se remarcă faptul că θ map ≠ θˆ .
3. Semnalul recepţionat este de forma:
r (t ) = θ + n(t ) ,
unde parametrul aleator θ, invariant în timp, este repartizat după o lege
normală cu valoare medie mθ şi dispersie σ θ2 . Dacă zgomotul de pe
canalul de transmisiuni se poate considera alb, fiind repartizat normal
cu valoare medie nulă si dispersie σ n2 , să se determine estimatul
utilizâd funcţia de cost uniformă, în cazul observării discrete.
Soluţie
ni2 N
1
; w(n ) = ∏w1 (ni ) =

2σ n2
w1 ( ni ) = e
2π σ n i =1
N
N 1
⎛ 1 ⎞ − 2σ 2n ∑ ni2
= ⎜⎜ ⎟⎟ e i =1

⎝ 2π σ n ⎠

unde ni = n(t1 ), i = 1,2,3,.....N


Conform relaţiei (4.60), se poate scrie:

281
N
N
⎛ 1
1
⎞ − 2σ 2n ∑ ( ri - θ ) 2
w(r | θ ) = ⎜⎜ ⎟⎟ e i =1

⎝ 2π σ n ⎠

unde ri = r (t i ), i = 1,2,3,......N
Deoarece:
1 1
w( θ ) = -
e 2σ θ2
( θ - mθ ) 2

2π σ θ
relaţia (4.62) devine:
w(r | θ ) w(θ )
w(θ |r ) = = K (r ) e - pθ + qθ
2

w(r )
unde
N
N 1 2
⎛ ⎞ - 2 ∑ ri2 - mθ
1 1 1
e σ n i =1 e 2σ θ
2 2
K ( r ) = ⎜⎜ ⎟⎟
⎝ 2π σ n ⎠ 2π σ θ w( r )

1⎛ N 1 ⎞ 1 N m
p = ⎜ 2 + 2 ⎟ ; q = 2 ∑ri + θ2
2 ⎝ σ n σθ ⎠ σ n i =1 σ θ
Estimatul maximum aposteriori se obţine atunci cu relaţia
(4.80), adică:
1 N
σ θ2 N

q σ n2 i =1
∑ ri +
σ θ2
∑r
σ n2 i=1 i
mθ +
θˆmap = = =
2p N
+
1 σ θ2
1 + N
σ n2 σ θ2 σ n2

4. Semnalul recepţionat pe un canal de transmisiuni pe care


apare zgomotul n(t ) , care poate fi considerat alb, repartizat normal cu
valoare medie nulă şi dispersie σ n2 , este de forma:
r (t ) = sin(ω 0 + θ )t + n(t )
unde θ este deviaţia de frecvenţă care se supune unei legi de repartiţie
282
uniformă, de forma:
⎧ 1
⎪ , pentru | θ | ≤ Ω
w(θ ) = ⎨ 2Ω
⎪⎩ 0 , pentru | θ | > Ω
Să se determine ecuaţia din care se poate deduce estimatul
maximum aposteriori.
Soluţie
Deoarece θ are o lege de repartiţie uniformă, rezultă că:
∂ ln w( θ )
=0
∂θ
aşa încât ecuaţia (4.136) din care se deduce estimatul maximum
aposteriori este de forma:
T
∂s (t ,θ )
∫ [r (t ) − s(t ,θ )]
0 ∂θ θ =θ
ˆ
map
=0

unde s (t ,θ ) = sin(ω 0 + θ ) .
Deoarece:
∂ s(t ,θ )
= t cos(ω 0 + θ )t
∂θ
ecuaţia integrală din care rezultă estimatul maximum aposteriori este:
T

∫ t [ r (t ) − sin(ω
0
0 + θ )t ] cos(ω0 + θ )tdt θ =θˆmap
=0

5. Semnalul recepţionat pe un canal de transmisiuni, pe care


zgomotul n(t ) poate fi considerat alb, repartizat normal, cu valoare
medie nulă şi dispersie σ n2 = S 0 , este de forma:
r (t ) = θ ⋅ f (t ) + n(t )
unde parametrul aleator θ este invariant în timp, fiind repartizat
normal cu valoare medie mθ şi dispersie σ θ2 . Să se determine

283
estimatul maximum aposteriori.
Soluţie
În acest caz:
1 1
w1 (θ ) = -
e 2σ θ 2
( θ - mθ ) 2

2π σ θ2
iar

ln w1 (θ ) = − θ 2 + θ 2 + C
2

2σ θ σθ
unde C este o constantă ce nu depinde de θ .
Conform relaţiei (4.104), rezultă:
E 2 E
ln w1 (r1 | θ ) = − 2θ
+ 2 r1 + C1
2σ n σn
unde C1 este o constantă independentă de θ , iar conform relaţiei
(4.106):
1 T
r1 = ∫ r (t ) f (t )dt
E 0
Utilizând relaţia (4.99) rezultă:
E ˆ 1 T θˆmap mθ
− 2 θ map + 2 ∫ r (t ) f (t ) dt - 2 + 2 = 0 ⇒
σn σn 0 σθ σθ

T
1
∫ r (t ) f ( t ) dt + m θ2
σ 2
σθ
θˆmap = n 0

E 1
+
σ n2 σθ
2

284
T
σ n2
∫ r (t ) f (t )dt + m
σ θ2 θ
θˆmap = 0

E + σ 2n
2

σθ

285
CAPITOLUL 5

ESTIMAREA SPECTRULUI DE PUTERE

Analiza spectrală a semnalelor deterministe a fost introdusă


ca un mijloc de caracterizare a semnalelor în domeniul frecvenţă.
Semnalele periodice sunt analizate în domeniul frecvenţă cu ajutorul
seriei Fourier, iar cele aperiodice de energie finită, cu ajutorul
transformatei Fourier.
În capitolul de faţă se urmăreşte estimarea caracteristicilor
spectrale ale semnalelor considerate a fi procese aleatoare, pentru
care, datorită fluctuaţiilor aleatoare, nu este posibilă aplicarea
directă a analizei Fourier, ci se adoptă o tratare statistică a lor. În
particular, funcţia de autocorelaţie a proceselor aleatoare staţionare
în sens larg este potrivită pentru caracterizarea lor statistică, iar
transformata Fourier a acesteia, care reprezintă densitatea spectrală
de putere, face legătura între domeniile timp şi frecvenţă. În
capitolul de faţă, problema estimării spectrale constă în
determinarea componentelor spectrale ale procesului aleator
staţionar în sens larg, pe baza unei mulţimi finite de observaţii
asupra procesului.

5.1. Estimarea spectrului semnalelor din observarea


pe intervale de lungime finită

Lungimea finită a datelor de analizat reprezintă o limitare


285
esenţială asupra calităţii estimatului spectrului de putere. Pentru
semnale staţionare, cu cât lungimea datelor este mai mare, cu atât va
fi mai bun estimatul construit pe baza datelor. Pentru semnale
nestaţionare nu se poate selecta o înregistrare de lungime finită
pentru estimarea spectrului, lungimea acesteia fiind determinată de
parametrii statisticii semnalului. Se urmăreşte selectarea datelor de
lungimea cea mai mică posibilă, care să permită obţinerea
caracteristicilor spectrale ale semnalului de date.
Una din problemele care poate apărea în metodele clasice de
estimare a spectrului de putere, pe baza unor date de lungime finită,
este distorsionarea spectrului datorită trunchierii datelor. Această
problemă apare atât în calculul spectrului semnalelor deterministe,
cât şi în estimarea spectrului de putere al semnalelor aleatoare.
Deoarece este mai uşor de observat efectul lungimii finite a datelor
pentru un semnal determinist, se va analiza întâi acest caz,
considerând ulterior semnalele aleatoare şi estimarea spectrului lor
de putere.

5.1.1. Calculul densităţii spectrale de energie

Se urmăreşte calculul spectrului unui semnal determinist


dintr-o secvenţă finită de date. Secvenţa x[n] este, de obicei,
rezultatul eşantionării unui semnal continuu xa(t) cu o frecvenţă
constantă Fs.
Se urmăreşte obţinerea unui estimat al spectrului real dintr-o
secvenţă de durată finită x[n]. Dacă xa(t) este un semnal de energie
finită, adică
∞ 2
E = ∫−∞ xa (t ) dt < ∞ , (5.1)
atunci transformata sa Fourier există şi este dată de relaţia

286

X a ( F ) = ∫−∞ xa (t )e − j 2π Ft dt (5.2)
Conform teoremei lui Parseval, energia semnalului este
∞ 2 ∞ 2
E = ∫−∞ xa (t ) dt = ∫−∞ X a ( F ) dF (5.3)
2
Cantitatea X a (F ) reprezintă distribuţia de energie a
semnalului funcţie de frecvenţă şi se numeşte densitate spectrală de
energie S xx ( F ) , adică se poate scrie:
2
S xx ( F ) = X a ( F ) (5.4)
Pe de altă parte, Sxx(F) este transformata Fourier a funcţiei de
autocorelaţie Rxx(τ) a semnalului de energie finită

Rxx (τ ) = ∫−∞ xa (t ) xa (t + τ )dt (5.5)
Într-adevăr,
S xx ( F ) = F { Rxx (τ )} = ∫−∞ Rxx (τ )e − j 2π Fτ dτ =

∞ ∞
= ∫−∞ ∫−∞ xa ( t )xa ( t + τ ) e − j 2π Fτ dt dτ
Cu schimbarea de variabilă t + τ = p , dτ = dp , se obţine
∞ ∞
S xx ( F ) = ∫−∞ ∫−∞ xa ( t ) xa ( p ) e − j 2π Fp e j 2π Ft dt dp =
(5.6)
= X a ( F ) X a∗ ( F ) = X a ( F )
2

În continuare, se calculează densitatea spectrală de energie a


semnalului xa(t) din eşantioanele sale, prelevate cu frecvenţa Fs.
Pentru a evita eroarea alias, banda semnalului, B, se limitează prin
prefiltrare, astfel încât Fs> 2B.
Spectrul semnalului eşantionat x[n] este
∞ ∞
X (ω ) = ∑ x [ n ] e − jωn sau X ( f ) = ∑ x [ n] e − j 2π fn
(5.7)
n =−∞ n =−∞

care se exprimă în funcţie de spectrul semnalului analogic, în forma


[70]
287
⎛F ⎞ ∞
X(f)= X⎜ ⎟ = Fs ∑ X a ( F − kFs ) (5.8)
⎝ Fs ⎠ k =−∞

Fs
În absenţa erorii alias, în domeniul fundamental F ≤ există
2
relaţia
⎛F⎞ F
X ⎜ ⎟ = Fs X a ( F ) F ≤ s (5.9)
⎝ Fs ⎠ 2
Densitatea spectrală de energie a semnalului eşantionat este
2
⎛F⎞ ⎛F⎞
S xx ( f ) = S xx ⎜ ⎟ = X ⎜ ⎟ = Fs2 X a ( F )
2
(5.10)
⎝ Fs ⎠ ⎝ Fs ⎠
Se poate arăta uşor că, dacă funcţia de autocorelaţie a
semnalului eşantionat este

rxx [ k ] = ∑ x [ n] x [ n + k ] (5.11)
n =−∞

atunci, transformată sa Fourier este egală cu densitatea spectrală de


energie, S xx ( f ) , adică

S xx ( f ) = F {rxx [k ]} = ∑ r [k ]e
k =−∞
xx
− j 2 kπ f
. (5.12)

Din cele prezentate anterior rezultă două metode de calcul


pentru densitatea spectrală de energie:
1) metoda directă, care implică calculul transformatei
Fourier pentru {x[n]} şi apoi
∞ 2

∑ x[n]e
2 − j 2π fn
S xx ( f ) = X ( f ) = (5.13)
n =−∞

2) metoda indirectă sau corelativă, care necesită doi paşi de


calcul:
a) calculul funcţiei de autocorelaţie rxx[k] din x[n],
b) transformata Fourier a funcţiei rxx[k], cu relaţia (5.12).
288
În practică, se poate calcula densitatea spectrală de energie
numai pentru secvenţe finite x[n], 0 ≤ n ≤ N − 1 . Limitarea duratei
unei secvenţe x[n] la N puncte, echivalează cu multiplicarea lui
x[n] cu o fereastră rectangulară, astfel încât
⎧⎪ x [ n ] , 0 ≤ n ≤ N − 1
x [ n ] = x [ n ] wR [ n ] = ⎨ (5.14)
⎪⎩0, în rest
Această multiplicare echivalează cu convoluţia spectrelor [26],
adică
1
X ( f ) = X ( f ) *WR ( f ) = ∫− 12 X (α )WR ( f − α )dα (5.15)
2

Spectrul funcţiei X ( f ) aproximează mai fidel spectrul X(f),


dacă spectrul WR(f) este “îngust “ în comparaţie cu X(f), fapt ce
implică wR[n] de lungime suficient de mare [71]. Chiar dacă WR(f)
este ”îngust” faţă de X(f), convoluţia dintre X(f) şi lobii laterali ai
lui WR(f) are ca rezultat lobi laterali în X ( f ) în benzi de frecvenţă
în care spectrul semnalului x[n] este nul. Această energie din lobii
laterali se numeşte reziduală sau scurgere spectrală (leakage).
Pentru a ilustra problema scurgerii spectrale, se consideră următorul
exemplu.

Exemplul 5.1.
⎧1, | f |≤ 0,1
Se consideră un semnal cu spectrul X ( f ) = ⎨ .
⎩ 0, în rest
Să se efectueze convoluţia dintre semnalul X ( f ) şi spectrul
ferestrei rectangulare, cu lungimea N=61.
Soluţie
Spectrul WR ( f ) al ferectrei rectangulare cu lungimea N=61
este prezentat în figura 5.1. Se observă că lăţimea lobului principal
al funcţiei fereastră este Δω = 4π / 61 sau Δf = 2 / 61 , care este
289
îngust comparativ cu X ( f ) . Convoluţia dintre X ( f ) şi WR ( f ) este
ilustrată în figura 5.2. Se observă că energia s-a “scurs” în
domeniul de frecvenţă 0,1 <| f |≤ 0,5 , unde X ( f ) = 0 . Acest lucru
este determinat de lăţimea lobului principal al lui WR ( f ) , care
cauzează o lăţire a lui X ( f ) în afara domeniului | f |≤ 0,1 . Energia
din lobii laterali ai lui X ( f ) se datorează prezenţei lobilor laterali
în WR ( f ) cu care se efectuează convoluţia lui X ( f ) .

Fig. 5.1. Spectrul ferestrei rectangulare de lungime M=61

Fig.5.2. Spectrul obţinut din convoluţia ferestrei rectangulare de lungime M=61


cu spectrul filtrului ideal din exemplul 5.1.

Ca şi în cazul proiectării filtrelor FIR prin metoda ferestrelor,


scurgerea spectrală din cauza lobilor laterali poate fi redusă prin
290
selectarea ferestrelor cu lobi laterali reduşi, fapt care determină o
creştere a netezirii sau lăţirii caracteristicilor spectrale ale lui X(f)
[71].

Fig. 5.3. Spectrul ferestrei Blackman de lungime M=61

Fig.5.4. Spectrul obţinut din convoluţia ferestrei Blackman de lungime M=61 cu


spectrul filtrului ideal din exemplul 5.1.

De exemplu, folosirea unei ferestre Blackman de aceeaşi


lungime N=61, al cărui spectru este reprezentat în figura 5.3, pentru
acelaşi semnal din exemplul 5.1, are ca rezultat caracteristica
spectrală X 1 ( f ) din figura 5.4. Se observă că scurgerea spectrală
s-a redus, dar lăţimea lobulu principal a crescut cu aproximativ
50%.
291
Lăţirea spectrului ce urmează a fi estimat, ca urmare a
trunchierii, reprezintă o problemă în cazul în care separaţia de
frecvenţă între componentele unui semnal este mică, cum este cazul
semnalului X ( f ) = X 1 ( f ) + X 2 ( f ) reprezentat în figura 5.5.

Fig.5.5. Spectrul unui semnal cu două componente de


bandă îngustă, apropiate

În cazul acestui semnal, pot apărea două probleme:


1- dacă lungimea datelor şi, implicit, a ferestrei, scade, cei
doi lobi spectrali principali rezultaţi în urma convoluţiei spectrului
ferestrei cu X(f) cresc în lăţime,
2- dacă separaţia de frecvenţă Δf devine foarte mică, este
posibil ca cei doi lobi principali ai spectrului să se unească.
În aceste cazuri există o limită la care cei doi lobi sunt încă
distincţi. Această limită se numeşte rezoluţie. De obicei, rezoluţia se
defineşte ca fiind lăţimea de bandă a lobului principal măsurată la
jumătate din nivelul puterii maxime, adică banda corespunzătoare la
-6dB a spectrului de putere sau, echivalent, lăţimea lobului principal
al spectrului de amplitudine la -3dB. În concluzie, componentele
semnalului X ( f ) nu pot fi identificate din semnalul
X ( f ) = X ( f ) ∗ W ( f ) , dacă lăţimea lobului principal al ferestrei nu
este semnificativ mai mică decât separaţia de frecvenţă Δf dintre
X 1 ( f ) şi X 2 ( f ) .
292
Din cele prezentate anterior se observă ca densitatea
spectrală de energie a secvenţei multiplicate cu o fereastră este o
aproximare a spectrului real al secvenţei, adică
N −1 2
2
S xx ( f ) = X ( f ) = ∑ x[n]e
n =0
− j 2π fn
(5.16)

Spectrul S xx ( f ) poate fi calculat cu ajutorul DFT în N puncte [70]:


N −1
X [ k ] = ∑ x[n]e − j 2π kn / N (5.17)
n =0

2 ⎛k ⎞
X [k ] = S xx ( f ) f = k = S xx ⎜ ⎟ (5.18)
N ⎝N⎠
2
⎛ k ⎞ N −1
S xx ⎜ ⎟ = ∑ x[n]e − j 2π nk / N (5.19)
⎝ N ⎠ n =0
care este o versiune distorsionată a spectrului real Sxx(k/N).

5.1.2. Estimarea funcţiei de autocorelaţie şi a densităţii


spectrale de putere a semnalelor aleatoare. Periodograma

Semnalelor de energie finită considerate în paragraful


precedent, li se poate aplica transformata Fourier, fiind caracterizate
în domeniul frecvenţă de densitate spectrală de energie. Spre
deosebire de acestea, semnalele caracterizate de procese aleatoare
staţionare nu au energie finită şi, deci, nu li se poate aplica
transformata Fourier. Astfel de semnale au, în general, putere medie
finită, motiv pentru care acestea vor fi caracterizate de densitatea
spectrală de putere.
Dacă x(t) este un proces aleator, staţionar în sens larg, funcţia
sa de autocorelaţie este
Bxx (τ ) = E[ x(ti ) x(ti + τ )] (5.20)
unde E[ • ] reprezintă media statistică.
293
Pentru simplificarea scrierii, uneori se renunţă la indicele i,
adică se va scrie E { x(ti )} = E { x(t )} . Din acest motiv, prin abuz de
limbaj, se spune valoarea medie statistică a procesului aleator x(t )
şi nu valoarea medie statistică a variabilei aleatoare x(ti ) obţinută
din procesul aleator x(t ) .
Conform teoremei Wiener-Khintcine, densitatea spectrală de
putere a unui proces aleator staţionar este transformata Fourier a
funcţiei de autocorelaţie, adică [48]:

S xx ( F ) = ∫−∞ Bxx (τ )e − j 2π Fτ dτ (5.21)
În practică nu se dispune de toate realizările particulare ale
procesului aleator din care să poate fi determinată funcţia de
autocorelaţie Bxx (τ ) , motiv pentru care se urmăreşte estimarea
funcţiei de autocorelaţie a procesului pe baza unei singure realizări a
acestuia. Pentru ca acest lucru să fie posibil, este necesar ca procesul
aleator să fie ergodic. Pe baza unei singure realizări particulare se
poate calcula funcţia de autocorelaţie temporală
1 T0
2T0 ∫−T0
Rxx (τ ) = x(t ) x(t + τ )dt , (5.22)

unde 2To este intervalul de observare a realizării particulare a


procesului aleator. Dacă procesul staţionar este ergodic în medie şi
corelaţie, atunci
1 T0
T0 →∞ 2T ∫− T0
Bxx (τ ) = lim Rxx (τ ) = lim x(t ) x(t + τ )dt (5.23)
T0 →∞
0

Aceasta relaţie justifică folosirea funcţiei de autocorelaţie


temporale Rxx(τ) ca un estimat al funcţiei de autocorelaţie statistice
Bxx(τ).
Mai mult, transformata Fourier a lui Rxx(τ) furnizează un
estimat Pxx(F) al spectrului densităţii de putere, adică
294
T0
Pxx ( F ) = ∫−T Rxx (τ )e − j 2π Fτ dτ =
0

1 (5.24)
∫−T0 ⎡⎣ ∫−T0 x(t ) x(t + τ )dt ⎤⎦ e dτ
T0 T0 − j 2π Fτ
=
2T0
Dacă se consideră toate realizările particulare ale procesului,
densitatea spectrală de putere se poate determina cu relaţia
⎧ 1 T0 2⎫
S xx ( F ) = lim E [ Pxx ( F )] = lim E ⎨ ∫−T0 x (t ) e − j 2π Ft
dt ⎬ (5.25)
T0 →∞ T0 →∞ 2
⎩ 0T ⎭
Pxx(F) se poate calcula în două moduri: prin metoda directă,
ca în relaţia (5.25) şi prin metoda indirectă, în care se calculează
întâi Rxx(τ) şi apoi transformata sa Fourier.
Se va analiza în continuare estimarea densităţii spectrale de
putere din eşantioanele unei singure realizări a procesului aleator.
Se presupune că realizarea particulară xa(t) este eşantionată cu o
frecvenţă Fs>2B, unde B este cea mai mare frecvenţă din spectrul
densităţii de putere, rezultând o secvenţă de durată finită x[n];
0 ≤ n ≤ N −1.
Din aceste eşantioane se poate calcula estimatul funcţiei de
autocorelaţie, rxx' [m] , cu relaţia
⎧ ' 1 N − m −1
⎪⎪ xx r [ m ] =
N − m n =0
∑ x[n]x[n + m], m = 0,1,..., N − 1
⎨ (5.26)
⎪rxx' [m] = 1 N −1

⎪⎩
∑ x[n]x[n + m], m = −1, −2,..., − N + 1
N − | m | n =|m|
şi apoi transformata sa Fourier
N −1
Pxx' ( f ) = ∑
m =− N +1
rxx' [m]e − j 2π fm (5.27)

Factorul de normalizare N − m din (5.26) se impune pentru


ca valoarea medie statistică a estimatului să fie egală cu funcţia de

295
autocorelaţie statistică. Într-adevăr, considerând mulţimea
realizărilor particulare trunchiate ale procesului, se poate scrie
⎧ 1 N − m −1
⎪ N − m ∑ E[ x[n]x[n + m]] = γ xx [m], m = 0,1,..., N − 1
⎪ n =0
E[rxx' [m]] = ⎨ N −1
⎪ 1 ∑ E[ x[n]x[n + m]] = γ [m], m = −1, −2,..., − N + 1
⎪⎩ N − m n =|m| xx

(5.28)
unde γxx[m] este funcţia de autocorelaţie statistică a lui x[n].
Deoarece valoarea medie a estimatului funcţiei de
autocorelaţie este egală cu funcţia de autocorelaţie statistică,
estimatul r’xx[m] se spune că este nedeplasat.
Dispersia acestuia se calculează după cum urmează:
( )
2
var[rxx' [m]] = E ⎡⎣ r '2 xx [m]⎤⎦ − E ⎡⎣ r ' xx [ m]⎤⎦ (5.29)
Pentru calculul acestei mărimi se foloseşte relaţia [61]
E ( x1 x2 x3 x4 ) = E ( x1 x2 ) E ( x3 x4 ) + E ( x1 x3 ) E ( x2 x4 ) +
(5.30)
+ E ( x1 x4 ) E ( x2 x3 )
unde x1 , x2 , x3 , x4 , sunt variabile aleatoare gaussiene, de medie zero,
dependente.
Cu (5.30) şi (5.26), relaţia (5.29) devine pentru m ≥ 0 :
1 ⎛ N −m −1 N −m −1 ⎞
var(rxx' [m]) = E ⎜ ∑ ∑ x[n] x[ n + m]x[ k ]x[k + m] ⎟ −
( N − m) ⎝ n = 0 k = 0
2

1 ⎛ N − m −1 N − m −1

2 ⎜ ∑ ∑ E ( x[n]x[n + m]) E ( x[k ]x[k + m]) +


−γ xx2 [m] =
( N − m) ⎝ n = 0 k = 0
E ( x[n]x[ k ]) E ( x[n + m] x[k + m]) + E ( x[n]x[k + m]) E ( x[n + m]x[k ]) ) −
1 ⎛ N − m −1 N − m −1 2
2 ⎜ ∑ ∑
−γ [m] =
2
γ xx [m] + γ xx2 [n − k ] +
( N − m) ⎝ n = 0 k = 0
xx

γ xx [n − k − m]γ xx [n − k + m]) − γ xx2 [m] =

296
⎛ N − m −1 N − m−1 2
γ xx [n − k ] + γ xx [n − k − m]γ xx [ n − k + m] ⎞⎟
1
2 ⎜ ∑ ∑
=
( N − m) ⎝ n = 0 k = 0 ⎠
Cu schimbarea de variabilă n-k=p, relaţia devine
1 ⎛ N − m −1 N − m −1− k 2 ⎞
2 ⎜ ∑ ∑
var(rxx' [m]) = γ xx [ p] + γ xx [ p − m]γ xx [ p + m] ⎟ =
( N − m) ⎝ k =0 p =− k ⎠
N − m −1 N −m−2


p =0
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m] + ∑
p =−1
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m]
0
+... + ∑
p =− N + m +1
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m] =

1
2 ( xx
= γ 2 [0] + γ xx2 [1] + ... + γ xx2 [ N − m − 1] + γ xx [− m]γ xx [m] +
( N − m)
+γ xx [1 − m]γ xx [1 + m] + ... + γ xx [ N − m − 1 − m]γ xx [ N − m − 1 + m] +

+ ( γ xx2 [ − N + m + 1] + γ xx2 [− N + m] + ... + γ xx2 [−1] + γ xx2 [0] +


γ xx [− N + m + 1 − m]γ xx [− N + m + 1 + m] + ... + γ xx [− m]γ xx [m]) =
1
2 (
= ( N − m)(γ xx2 [0] + γ xx [− m]γ xx [m]) + ( N − m − 1) ⋅
( N − m)
(γ xx2 [1] + γ xx [1 − m]γ xx [1 + m]) + ( N − m − 2)(γ xx2 [2] + γ xx [2 − m]γ xx [2 + m])

+... + ( N − m − ( N − m − 1))(γ xx2 [ N − m − 1] + γ xx [ N − m − 1 − m] ⋅


γ xx [ N − m − 1 + m]) + ... + ( N − m − 1)(γ xx2 [−1] + γ xx [−1 − m]γ xx [−1 + m]) +
+... + ( N − m − ( N − m − 1))(γ xx2 [− N + m + 1] + γ xx [− N + m + 1 − m] ⋅
γ xx [− N + m + 1 + m]) =
1 N − m −1

∑ ( N − m − n) ( γ xx2 [n] + γ xx [n − m]γ xx [n + m]) =


( N − m) 2 n =− N + m +1

N N − m −1
⎛ m+n⎞ 2
∑ ⎜1 − ⎟ ( γ xx [n] + γ xx [n − m]γ xx [n + m])
( N − m) 2 n =− N + m +1 ⎝ N ⎠
(5.31)
297
Efectuând un calcul similar, pentru m < 0 , se obţine:
var(r [m]) =
'
xx

N N + m −1
⎛ −m + n ⎞ 2 (5.31’)
= ∑ ⎜
( N − | m |) 2 n =− N − m +1 ⎝
1 −
N ⎠
( γ
⎟ xx [ n ] + γ xx [ n − m ]γ xx [ n + m ] )
Relaţiile (5.31) şi (5.31’) pot fi combinate în una singură, şi anume
var(rxx' [m]) =
N N −|m|−1
⎛ | m | +n ⎞ 2 (5.31”)
=
( N − | m |) 2
∑ ⎜
n =− N +|m|+1 ⎝
1 −
N ⎠
( γ
⎟ xx [ n ] + γ xx [ n − m ]γ xx [ n + m ] )
⎛ | m | +n ⎞ ∞
Deoarece lim ⎜1 − ⎟ = 1 şi dacă ∑γ 2
xx [n] < ∞ , atunci
N →∞
⎝ N ⎠ n =−∞

lim var{rxx ' [m]} =


N →∞

⎡ N N −|m|−1
⎛ | m | +n ⎞ 2 ⎤
lim ⎢ ∑ ⎜1 − (
⎟ γ xx [n] + γ xx [n − m]γ xx [n + m] )⎥ = 0
⎢⎣ ( N − | m |)
2
N →∞
n =− N +|m|+1 ⎝ N ⎠ ⎥⎦
(5.32)
Deoarece E[rxx' [m]] = γ xx [m] şi dispersia estimatului converge
la 0 pentru N → ∞ , estimatul r’xx[m] se numeşte consistent.
În general, dacă N este finit, pentru valori mari ale
parametrului m, estimatul r’xx[m] dat de (5.26) are o dispersie mare.

Dacă estimatul se calculează cu relaţia


⎧ 1 N − m −1
⎪⎪ N ∑ n =0
x[n]x[ n + m], 0 ≤ m ≤ N − 1
rxx [m] = ⎨ N −1 (5.33)
⎪ 1 ∑ x[n]x[n + m], − N + 1 ≤ m < 0
⎪⎩ N n = m
atunci, valoarea medie statistică a acestuia calculată pe mulţimea
realizărilor particulare rezultă

298
⎧ 1 N −m −1 N −m

⎪⎪ N n =0 E [ x[ n ] x[ n + m ]] =
N
γ xx [m], 0 ≤ m ≤ N − 1
E[rxx [m]] = ⎨ N −1
⎪ 1 ∑ E[ x[n]x[n + m]] = N − | m | γ xx [m], − N + 1 ≤ m < 0
⎪⎩ N n =|m| N
(5.34)
sau, într-o singură relaţie
N− | m |
E[rxx [m]] = γ xx [m] (5.34’)
N
Valoarea medie statistică a estimatului prezintă o deplasare
m
de γ xx [m] .
N
Estimatul rxx[m] se spune că este asimptotic nedeplasat, deoarece
lim E[rxx [m]] = γ xx [m] (5.35)
N →∞

Dispersia acestui estimat este dată de relaţia


var(rxx [m]) =
1 N −|m|−1
⎛ | m | +n ⎞ 2 (5.36)
= ∑ ⎜1 − ⎟ ( γ xx [n] + γ xx [n − m]γ xx [n + m])
N n =− N +|m|+1 ⎝ N ⎠
⎛ | m | +n ⎞ ∞
Deoarece lim ⎜1 − ⎟ = 1 şi dacă ∑γ 2
xx [n] < ∞ , atunci
N →∞
⎝ N ⎠ n =−∞

lim var{rxx [m]} = 0 .


N →∞

Deoarece estimatul rxx [m] este asimptotic nedeplasat şi


dispersia sa converge la 0 pentru N → ∞ , se spune că acesta este un
estimat consistent pentru γxx[m].
În estimarea spectrului de putere se va folosi estimatul rxx[m]
dat de (5.33).
Estimatul corespunzător al densităţii spectrale de putere este
N −1
Pxx ( f ) = ∑
m =− ( N −1)
rxx [m]e − j 2π fm (5.37)

299
Înlocuind (5.33) în (5.37), se obţine
N −1 −1 N −1
Pxx ( f ) = ∑
m =− ( N −1)
rxx [m]e − j 2π fm
= ∑
m =− ( N −1)
rxx [m]e − j 2π fm
+ ∑ rxx [m]e − j 2π fm =
m=0
N −1 N −1

∑r
m =1
xx [ m]e
j 2π fm
+ ∑ rxx [m]e − j 2π fm =
m =0

1⎡ N −1 N − m −1 N −1 N − m −1
− j 2π fm ⎤
∑ ∑
N ⎢⎣ m =1 n =0
x [ n ] x[ n + m ]e j 2π fm
+ ∑ ∑
m=0 n =0
x[ n ] x[ n + m ]e ⎥⎦ =
1 ⎡ N −1 N − m −1 N −1

⎢ ∑ ∑
N ⎣ m =0 n =0
( x[n]x[n + m]e j 2π fm
+ x[n]x[n + m]e − j 2π fm
) − ∑ x[n]x[n]⎥ =
n =0 ⎦
1⎡ N −1 N −2

⎢ ∑ ( x[n]x[n] + x[n]x[n]) + ∑ ( x[n]x[n + 1]e j 2π f 1 + x[n]x[n + 1]e− j 2π f 1 ) +


N ⎣ n =0 n =0
0
+... + ∑ ( x[n]x[n + N − 1]e j 2π f ( N −1) + x[n]x[ n + N − 1]e − j 2π f ( N −1) ) −
n =0
N −1
⎤ 1
−∑ x[n]x[n]⎥ = [ x[0]x[0] + x[1] x[1] + ... + x[ N − 1] x[ N − 1] + x[0] x[1]e j 2π f 1
n =0 ⎦ N
− j 2π f 1
+ x[1]e x[2]e j 2π f 2 + ... + x[ N − 2]e − j 2π f ( N − 2) x[ N − 1]e j 2π f ( N −1) +
x[1]e − j 2π f 1 x[0] + x[2]e − j 2π f 2 x[1]e j 2π f 1... + x[ N − 1]e − j 2π f ( N −1) x[ N − 2]e j 2π f ( N −2)
+... + x[0]x[2]e j 2π f 2 + ... + x[ N − 3]e − j 2π f ( N −3) x[ N − 1]e j 2π f ( N −1) +
x[2]e − j 2π f 2 x[0] + ... + x[ N − 1]e− j 2π f ( N −1) x[ N − 3]e j 2π f ( N −3) + ...
x[0]x[ N − 1]e j 2π f ( N −1) + x[ N − 1]e − j 2π f ( N −1) x[0]⎤⎦ =
1
⎡ x[0] ( x[0] + x[1]e j 2π f 1 + ... + x[ N − 1]e j 2π f ( N −1) ) +
N⎣
+ x[1]e − j 2π f 1 ( x[0] + x[1]e j 2π f 1 + ... + x[ N − 1]e j 2π f ( N −1) ) + ... +

x[ N − 1]e − j 2π f ( N −1) ( x[0] + x[1]e j 2π f 1 + ... + x[ N − 1]e j 2π f ( N −1) ) ⎤⎦ =


2
1 ⎡ N −1 N −1
j 2π fk ⎤ 1 N −1


N ⎢⎣ n =0
x[ n ]e − j 2π fn

k =0
x[ k ]e =
⎥⎦ N ∑ x[n]e
n =0
− j 2π fn

adică

300
1 2
Pxx ( f ) =
X(f ) , (5.38)
N
Această formă a estimatului se numeşte periodogramă.
Din (5.37) se calculează valoarea medie a estimatului Pxx(f)
⎡ N −1 ⎤ N −1
E[ Pxx ( f )] = E ⎢ ∑ rxx [ m]e − j 2π fm ⎥ = ∑ E[rxx [m]]e − j 2π fm =
⎣ m =− ( N −1) ⎦ m=− ( N −1)

N −1 m⎞
= ∑ ⎜1 − ⎟ γ xx [m]e
m =− ( N −1) ⎝ N⎠
− j 2π fm
(5.39)

Interpretarea acestei relaţii este că media spectrului estimat


este transformata Fourier a funcţiei de autocorelaţie înmulţită cu o
fereastră, adică
⎞ ⎛ m
γ xx [m] = ⎜1 −
⎟ γ xx [m] (5.40)
⎝ ⎠ N
unde funcţia fereastră este fereastra triunghiulară Bartlett [71].
Media spectrului estimat este
∞ 1
E[ Pxx ( f )] = ∑ γ [m]e− j 2π fm = ∫− 12 Γ xx (α )WB ( f − α )dα
m =−∞ 2
(5.41)

unde WB(f) este transformata Fourier a ferestrei Bartlett, iar Γ xx ( f )


este densitatea spectrală de putere ce se doreşte a fi estimată.
Relaţia (5.41) arată că media spectrului estimat este
convoluţia dintre densitatea spectrală de putere Γxx(f) şi transformata
Fourier a ferestrei Bartlett. Această medie este o versiune netezită a
spectrului real şi suferă de aceleaşi inconveniente de scurgere
spectrală, cauzate de lungimea finită a secvenţei de date.
Spectrul estimat este asimptotic nedeplasat, deoarece
⎡ N −1 ⎤
lim E[ Pxx ( f )] = lim E ⎢ ∑ rxx [m]e − j 2π fm ⎥ = (5.42)
N →∞ N →∞
⎣ m =− ( N −1) ⎦

301

= ∑γ
m =−∞
xx [m]e − j 2π fm = Γ xx ( f )

Calculul dispersiei periodogramei este, în general, relativ


complicat şi, tot în general, aceasta nu tinde la zero pentru N → ∞ .
Când datele reprezintă un proces aleator gausian, dispersia se
calulează după cum urmează:
Fie x[n] zgomot alb, gausian, cu media nulă şi dispersia σ x2 .
Folosind expresia momentului reunit de ordinul patru pentru
variabile aleatoare gausiene dată de relaţia (5.30), se poate scrie
1
E[ Pxx ( f1 ) Pxx ( f 2 )] = 2 E[ X ( f1 ) X ( − f1 ) X ( f 2 ) X (− f 2 )] =
N
1
{E[ X ( f1 ) X (− f1 )]E[ X ( f 2 ) X (− f 2 )] + (5.43)
N2
E[ X ( f1 ) X ( f 2 )]E[ X (− f1 ) X (− f 2 )] +
E[ X ( f1 ) X (− f 2 )]E[ X (− f1 ) X ( f 2 )]}
⎛ N −1 N −1

E[ X ( f1 ) X ( f 2 )] = E ⎜ ∑ x[n]e − j 2π f1n ∑ x[k ]e − j 2π f2k ⎟ =
⎝ n =0 k =0 ⎠
N −1 N −1 n + k = v N −1 n − N +1

∑∑ x[n]x[k ]e
n =0 k =0
− j 2π f1n − j 2π f 2 k
e = ∑∑γ
n =0 v = n
xx [v]e − j 2π f1n e − j 2π f2 ( n −v ) =

N −1 N −1
1 − e − j 2π ( f1 + f2 ) N

v =− ( N −1)
γ xx [v]e j 2π f 2 v
∑e
n =0
− j 2π ( f1 + f 2 ) n
= Γ xx ( f 2 )
1 − e− j 2π ( f1 + f2 )
=

sin π ( f1 + f 2 ) N
= Γ xx ( f 2 )e − jπ ( f1 + f2 )( N −1) =
sin π ( f1 + f 2 )
(5.44a)
sin π ( f1 + f 2 ) N
=σ e 2 − jπ ( f1 + f 2 )( N −1)

sin π ( f1 + f 2 )
x

Similar, se calculează expresiile


E[ X ( f1 ) X (− f1 )] = σ x2 N (5.44b)
E[ X ( f 2 ) X (− f 2 )] = σ x2 N (5.44c)

302
sin π ( f1 + f 2 ) N
E[ X (− f1 ) X (− f 2 )] = σ x2 e jπ ( f1 + f2 )( N −1) (5.44d)
sin π ( f1 + f 2 )
sin π ( f1 − f 2 ) N
E[ X ( f1 ) X (− f 2 )] = σ x2e − jπ ( f1 − f2 )( N −1) (5.44e)
sin π ( f1 − f 2 )
sin π ( f1 − f 2 ) N
E[ X (− f1 ) X ( f 2 )] = σ x2e jπ ( f1 − f2 )( N −1) (5.44f)
sin π ( f1 − f 2 )
Înlocuind relaţiile (5.44a,b,c,d,e,f) în (5.43), se obţine relaţia
⎧⎪ ⎡ sin π ( f + f ) N ⎤ 2 ⎡ sin π ( f − f ) N ⎤ 2 ⎫⎪
E[ Pxx ( f1 ) Pxx ( f 2 )] = σ ⎨1 + ⎢
4 1 2
⎥ +⎢
1 2
⎥ ⎬ (5.45)
x
⎩⎪ ⎣
N sin π ( f1 + f )
2 ⎦ ⎣ N sin π ( f1 − f )
2 ⎦ ⎭⎪
Particularizând (5.45) pentru f1 = f 2 = f , în cazul unui
proces alb, gausian, de medie nulă, rezultă
var[ Pxx ( f )] = E ( Pxx2 ( f ) ) − ( E ( Pxx ( f ) ) =
2

⎧⎪ ⎡ sin 2π fN ⎤ 2 ⎫⎪ (5.46)
= Γ ( f ) ⎨1 + ⎢
2
⎥ ⎬
⎩⎪ ⎣ N sin 2π f ⎦ ⎭⎪
xx

care, pentru N → ∞ devine


lim var[ Pxx ( f )] = Γ 2xx ( f ) (5.47)
N →∞

În concluzie, spre deosebire de funcţia de autocorelaţie


estimată, periodograma nu este un estimat consistent al densităţii
spectrale de putere. Pxx(f) este un estimat asimptotic nedeplasat
pentru Γxx(f), dar, pentru o secvenţă de durată finită, valoarea sa
medie este deplasată. Spectrul estimat suferă de efecte de netezire şi
scurgere spectrală, cauzate de înmulţirea cu ferestra Bartlett.

5.1.2.1. Periodograma modificată

În cazul periodogramei, un proces aleator x[n] de lungime


finită este echivalent cu porţiunea din proces căreia i s-a aplicat
303
fereastra rectangulară. Pe lângă fereastra rectangulară, se pot folosi
şi alte ferestre, ca Bartlett, Hamming, Hanning, Blackman, Kaiser.
Periodograma modificată este periodograma aplicată
procesului aleator trunchiat cu o fereastră oarecare w[n] şi este dată
de
2
1 ∞
P mod
xx (f)=
NU
∑ x[n]w[n]e
n =−∞
− j 2π fn
(5.48)

unde N este lungimea ferestrei şi


1 N −1
U = ∑ | w[n] |2 (5.49)
N n =0
este o constantă aleasă astfel încât Pxxmod ( f ) să fie asimptotic
nedeplasată. Cele mai folosite ferestre şi caracterizările lor sunt
prezentate în Tabelul 5.1.
Acest tabel arată performanţele ferestrelor uzuale, cum ar fi
nivelul lobilor secundari şi rezoluţia. Se observă că fereastra
rectangulară are cea mai bună rezoluţie (cel mai îngust lob
principal), astfel încât creează cea mai redusă netezire spectrală, dar
prezintă cei mai mari lobi secundari, care pot masca spectre ale
semnalelor mai slabe. Fereastra Hamming are cel mai întins lob
principal, dar lobul lateral este mai redus.

Tabelul 5.1
Atenuarea Rezolu-ţia
Tipul
Definiţia ferestrei
Lăţimea
primului (Δf )3dB
cauzale w[n] lob
ferestrei lobului
0 ≤ n ≤N-1; secundar
principal
[dB]
4π 0,89
Rectangulară 1 -13
N N
8π 1, 28
Triunghiulară 1 − N2−1 n − N2−1 -25
N −1 N
304
8π 1, 44
Hanning 0,5 − 0,5cos 2Nπ−n1 -31
N −1 N
0,54 − 0, 46cos 2Nπ−n1 8π 1,30
Hamming -41
N −1 N
0, 42 − 0,5cos 2Nπ−n1 + 1,68
12π
Blackman +0,08cos 4Nπ−n1 -58 N
N −1

Caracterizarea estimatului
Urmând o procedură similară celei folosite la analiza
performanţelor periodogramei, se pot obţine performanţele
periodogramei modificate, adică valoarea medie, dispersia şi
rezoluţia.
Valoarea medie este dată de relaţia
1
E { Pxxmod ( f )} = Γ xx ( f ) ∗ W ( f )
2
(5.50)
N
Unde W ( f ) este transformata Fourier a ferestrei folosite.
Urmând un mers de calcul similar celui folosit la
periodograma simplă, în cazul variabilei aleatoare gaussiene,
varianţa estimatului este [62]
var[ Pxxmod ( f )] ≈ Γ 2xx ( f ) (5.51)
Rezoluţia periodogramei modificate este egală cu lăţimea de
bandă la -3dB a lobului principal al ferestrei. Se observă că
periodograma modificată este un estimat asimptotic nedeplasat, dar
neconsistent al spectrului de putere Γ xx ( f ) .
Problemele care apar din cauza scurgerii spectrale şi a
rezoluţiei de frecvenţă, ca şi faptul că periodograma nu este un
estimat consistent, au reprezentat un motiv pentru dezvoltarea altor
metode de estimare a densităţii spectrale de putere, ce vor fi
prezentate în paragraful 5.3.
305
5.1.3. Folosirea Transformatei Fourier Discrete în
estimarea spectrului de putere

După cum se observă din (5.16) şi (5.38), densitatea spectrală


de energie estimată, S xx ( f ) , şi periodograma Pxx(f) pot fi calculate
cu ajutorul Transformatei Fourier Discrete (DFT) care, la rândul
său, se poate calcula cu algoritmii FFT [53]. Dacă lungimea datelor
este N, DFT se poate calcula în cel puţin N puncte. În acest caz,
rezultă următoarele eşantioanele ale periodogramei
2
⎛ k ⎞ 1 N −1 − j 2π n k
Pxx ⎜ ⎟ = ∑ x[n]e N
k = 0, 1, …., N – 1 (5.53)
⎝ ⎠
N N n = 0

la frecvenţele f k =k/N.
În practică, este posibil ca o astfel de eşantionare a spectrului
să fie “rară “ şi să nu ofere o bună reprezentare grafică a estimatului
spectrului continuu, lucru ce poate fi remediat prin evaluarea lui
Pxx(f) la unele frecvenţe adiţionale, prin creşterea lungimii secvenţei
prin adăugarea de zerouri până la o lungime a secvenţei de L>N
puncte.
2
⎛ k ⎞ 1 N −1 − j 2π n k
Pxx ⎜ ⎟ = ∑ x[n]e L
, k = 0, 1, . . ., L – 1. (5.54)
⎝ L ⎠ N n =0
Adăugarea de zerouri şi evaluarea DFT în L>N puncte nu
îmbunătăţeşte rezoluţia de frecvenţă a estimatului, ci oferă numai o
metodă de interpolare a valorilor spectrului calculat la mai multe
frecvenţe. Rezoluţia de frecvenţă este determinată de lungimea N a
datelor înregistrate.

Exemplul 5.2.
Secvenţa discretă de lungime N=16 eşantioane
x[n] = sin 2π (0,135) n + cos 2π (0,135 + Δf )n, n = 0,1,...,15

306
se obţine prin eşantionarea unui semnal analogic compus din două
componente. Δf reprezintă separaţia de frecvenţă între aceste
1 2
componente. Să se evalueze spectrul de putere P ( f ) = X ( f ) , la
N
k
frecvenţele f k = , k = 0,1,..., L − 1 , pentru L = 8,16,32 şi 128 ,
N
pentru valorile Δf = 0,06 şi Δf = 0,01 .
Soluţie
Prin completarea cu zerouri s-a mărit lungimea datelor pentru
⎛k⎞
care se calculează spectrul de putere Pxx ⎜ ⎟ .
⎝L⎠
Rezultatele pentru Δf = 0,06 sunt prezentate în figurile 5.6a,
b, c, d pentru L=8, 16, 32 şi, respectiv, 128 de puncte.

Fig. 5.6. Spectrul unui semnal cu două componente sinusoidale cu separaţia de


frecvenţă Δf = 0, 06

307
Se observă că adăugarea de zerouri nu a modificat rezoluţia,
⎛k⎞
dar are efect de interpolare a spectrului Pxx ⎜ ⎟ . În acest caz,
⎝L⎠
separaţia de frecvenţă este suficient de mare, încât cele două
componente spectrale pot fi identificate în semnal.

Estimaţii spectrali pentru Δf = 0,01 sunt prezentaţi în figura


5.7a, b, c, d pentru L=8, 16, 32 şi, respectiv, 128 de puncte.
În acest caz cele două componente spectrale nu mai pot fi
identificate. Efectul adăugării de zerouri constă în interpolarea
valorilor spectrului, astfel încât se obţine o imagine grafică mai
bună a estimatului spectrului, fără, însă, a se îmbunătăţi rezoluţia de
frecvenţă.

Fig. 5.7. Spectrul unui semnal cu două componente sinusoidale cu separaţia de


frecvenţă Δf = 0, 01

308
5.2. Metode neparametrice pentru estimarea
densităţii spectrale de putere

Metodele neparametrice de estimare a spectrului sunt relativ


simple şi uşor de implementat cu ajutorul algoritmilor FFT. Ele
necesită secvenţe lungi de date pentru a produce rezoluţia de
frecvenţă necesară în unele aplicaţii. Aceste metode suferă de
“scurgere spectrală“ datorită folosirii ferestrelor şi, implicit, a
datelor de lungime finită, N. De multe ori scurgerea spectrală
maschează semnalele slabe prezente în date.
Limitarea principală a metodelor neparametrice este
presupunerea că estimatul funcţiei de autocorelaţie rxx[m] este zero
pentru m ≥ N , ceea ce limitează rezoluţia în frecvenţă şi calitatea
estimatului spectrului de putere.
Metodele neparametrice descrise în acest paragraf nu ţin
seama de modul în care au fost generate datele. Deoarece obţinerea
estimaţilor se bazează complet pe date de lungime finită, rezoluţia
de frecvenţă obţinută prin aceste metode este, în cel mai bun caz,
egală cu lăţimea spectrală a ferestrei rectangulare de lungime N,
care este de aproximativ 1/N la -3dB [33]. Metodele neparametrice
urmăresc obţinerea unui estimat consistent al densităţii spectrale de
putere prin operaţii de mediere şi netezire efectuate direct asupra
periodogramei şi a funcţiei de autocorelaţie. După cum se va vedea,
efectul acestora este de reducere a rezoluţiei de frecvenţă, odată cu
scăderea dispersiei estimatului.

5.2.1. Metoda Bartlett. Periodograma mediată

Metoda Bartlett de reducere a dispersiei periodogramei,


implică trei paşi:
309
1. Secvenţa de date de lungime N se împarte în K segmente
care nu se suprapun, fiecare de lungime M
xi [n] = x[n + iM], i = 0, 1, …, K-1
n = 0, 1, …, M-1 (5.55)
2. Pentru fiecare segment se calculează periodograma
2
1 M −1
P (f)=
(i )
xx
M
∑ x [n]e
n =0
i
− j 2π fn
, i = 0, 1, …, K-1 (5.56)

3. Pentru a se obţine estimatul Bartlett al densităţii spectrale


de putere, se consideră media aritmetică a celor K periodograme,
adică
1 K −1 ( i )
Pxx ( f ) = ∑ Pxx ( f )
B
(5.57)
K i =0
Caracterizarea estimatului
Presupunând datele staţionare şi M suficient de mare,
1 K −1
E[ PxxB ( f )] = ∑ E[ Pxx( i ) ( f )] = E[ Pxx( i ) ( f )] (5.58)
K i =0
Din (5.39) şi (5.41) rezultă valoarea medie a fiecărei periodograme
ca fiind
M −1 ⎛ m ⎞ 1/ 2

E[ Pxx( i ) ( f )] = ∑ ⎜1 −
m =− M +1 ⎝ M
γ
⎟ xx [ m ]e −2 jπ fm
= ∫ Γ xx (α )WB ( f − α )dα
⎠ −1/ 2
2
1 1/ 2
⎛ sin π ( f − α ) M ⎞
=
M ∫
−1/ 2
Γ xx (α ) ⎜
⎝ sin π ( f − α ) ⎠
⎟ dα

(5.59)
unde
2
1 ⎛ sin π fM ⎞
WB ( f ) = ⎜ ⎟ (5.60)
M ⎝ sin π f ⎠
este transformata Fourier a ferestrei Bartlett, definită de relaţia

310
⎧ m
⎪1 − , m ≤ M − 1
wB [n] = ⎨ M (5.61)
⎪ 0, în rest

Reducerea lungimii datelor de la N la M=N/K are ca rezultat
o fereastră care are o caracteristică de frecvenţă cu lăţimea lobului
principal crescută de K ori, aşa încât rezoluţia de frecvenţă s-a redus
K
de K ori, (Δf )3 dB = 0,89 . Admiţând ipoteza anterioară asupra
N
datelor şi faptul că seturile de date sunt independente, dispersia
estimatului Bartlett este
1 K −1 1
var[ PxxB ( f )] = 2 ∑ var[ Pxx( i ) ( f )] = var[ Pxx( i ) ( f )] (5.62)
K i =0 K
Înlocuind (5.51) în (5.62), pentru un proces aleator gaussian,
se obţine
1 2 ⎡ ⎛ sin 2π fM ⎞ 2 ⎤ 1 2
var[ P ( f )] = Γ xx ( f ) ⎢1 + ⎜
B
⎟ ⎥ ≈ Γ xx ( f ) (5.63)
⎢⎣ ⎝ M sin 2π f ⎠ ⎥⎦ K
xx
K
adică dispersia s-a redus de K ori.
În realitate seturile de date nu sunt independente decât în
unele cazuri particulare, cum este cel al zgomotului alb şi, în
consecinţă, reducerea dispersiei este mai mică decât K ori.

5.2.2. Metoda Welch. Periodograma mediată modificată

Welch a operat două modificări esenţiale asupra metodei


Bartlett:
1. Segmentele de date se pot suprapune
xi[n] = x[n + iD] n = 0, 1, …, M – 1
i = 0, 1, …, L – 1 (5.64)

311
unde iD este punctul de începere pentru secvenţa i. Dacă D = M,
segmentele nu se suprapun şi numărul L de segmente este egal cu K
din metoda Bartlett. Dacă D = M/2, există 50% suprapunere peste
segmente succesive şi L = 2K segmente. Se pot obţine K segmente
de lungime 2M fiecare. Ca urmare a suprapunerii blocurilor, se
obţine, aşa cum se va vedea, o anumită reducere a dispersiei.
2. Înainte de a calcula periodograma, segmentele de date sunt
ponderate cu o fereastră, ceea ce conduce la o periodogramă
modificată
2
1 M −1
P (f)=
(i )
xx
MU
∑ x [n]w[n]e
n =0
i
− j 2π fn
, i = 0, 1, …, L – 1 (5.65)

unde U este un factor de normalizare a puterii funcţiei fereastră şi


este ales ca
1 M −1 2
U= ∑ w [ n]
M n=0
(5.66)

Utilizarea funcţiei fereastră are drept efect reducerea lobilor


laterali şi, deci, a fenomenului de scurgere spectrală.
Estimatul Welch al densităţii spectrale de putere este media
aritmetică a acestor periodograme modificate, adică
1 L −1
Pxxw ( f ) = ∑ Pxx( i ) ( f ) (5.67)
L i =0
Caracterizarea estimatului
Valoarea medie a estimatului Welch este
1 L −1
E[ Pxxw ( f )] = ∑ E[ Pxx( i ) ( f )] = E[ Pxx( i ) ( f )] (5.68)
L i =0
Valoarea medie a periodogramei modificate se determină astfel:
1 M −1 M −1
E[ Pxx( i ) ( f )] = ∑
MU n =0 m =0
∑ w[ n]w[m]E[ xi [n]xi [m]]e −2 jπ f ( n − m ) =

312
1 M −1 M −1
=
MU
∑ ∑ w[n]w[m]γ
n =0 m=0
xx (n − m)e −2 jπ f ( n − m ) (5.69)

Dar
1/ 2

γ xx [n] = ∫
−1/ 2
Γ xx (α )e j 2πα n dα (5.70)

Înlocuind relaţia (5.70) în (5.69), se obţine


1 1/ 2 ⎡ M −1 M −1 ⎤
E[ Pxx ( f )] =
(i )

MU −1/ 2
Γ xx (α ) ⎢ ∑ ∑
⎣ n =0 m =0
w[ n]w[ m]e − j 2π ( n − m )( f −α ) ⎥dα =

1/ 2

= ∫
−1/ 2
Γ xx (α )W ( f − α )dα

(5.71)
unde, prin definiţie
2
1 M −1
W( f ) =
MU
∑ w[n]e
n =0
− j 2π fn
(5.72)

Factorul de normalizare asigură că


1/ 2

∫ W ( f )df
−1/ 2
=1 (5.73)

Dispersia estimatului Welch este


1 L −1 L −1
var[ Pxxw ( f )] = 2 ∑∑ E[ Pxx( i ) ( f ) Pxx( j ) ( f )] − {E[ Pxxw ( f )]}2 (5.74)
L i =0 j =0
Estimatul acesta este, evident, echivalent cu periodograma, în
cazul când w[m] este o fereastră dreptunghiulară şi M=N-1.
În cazul nesuprapunerii segmentelor succesive (L=K) şi a
folosirii ferestre triunghiulare, s-a arătat [62] că
1 1
var[ Pxxw ( f )] = var[ Pxx( i ) ( f )] ≈ Γ 2xx ( f ) (5.75)
L L
În cazul suprapunerii cu 50% a segmentelor succesive şi
folosind fereastră triunghiulară, dispersia estimatului Welch a
densităţii spectrale de putere, este [62]
313
9 2
var[ Pxxw ( f )] ≈
Γ xx ( f ) (5.76)
8L
Estimatul Welch este asimptotic nedeplasat şi consistent.
Rezoluţia acestuia depinde de fereastra folosită.
Deşi s-a considerat numai fereastra triunghilară, în calculul
dispersiei pot fi folosite şi alte ferestre. În general, acestea vor
determina dispersii diferite pentru estimaţi. În plus, segmentele de
date pot fi suprapuse cu mai mult sau mai puţin de 50%, cât s-a
considerat în acest paragraf, în scopul îmbunătăţirii caracteristicilor
relevante ale estimatului.

5.5.3.Metoda Blackman Tukey. Netezirea periodogramei

Autorii metodei au propus şi analizat metoda în care secvenţa


de autocorelaţie este întâi multiplicată cu o fereastră şi apoi se
calculează transformata Fourier pentru a estima densitatea spectrală
de putere. Motivul pentru care funcţia de autocorelaţie estimată se
înmulţeşte cu o fereastră este că, pentru deplasări mari, estimaţii
sunt de încredere mai mică deoarece sunt calculaţi dintr-un număr
mai mic, (N-m), de date. Pentru m apropiat de N, dispersia acestor
estimaţi este foarte mare şi, deci, aceştia ar putea interveni cu o
pondere mai mică în densitatea spectrală de putere estimată.
Estimatul Blackman-Tukey este
M −1
PxxBT ( f ) = ∑
m =− M +1
rxx [m]w[m]e − j 2π fm (5.77)

unde w[n] este o fereastră aplicată estimatorului funcţiei de


autocorelaţie, cu proprietatea că are lungimea 2M-1, 0 ≤ w[m] ≤ 1 ,
w[0] = 1 , w[− m] = w[ m] şi este zero pentru m ≥ M .

314
Cu această definiţie pentru w[n], limitele sumei din (5.77) pot
fi extinse la (−∞, ∞ ) . Expresia echivalentă în domeniul frecvenţă a
relaţiei (5.77) este
1/ 2

PxxBT ( f ) = ∫
−1/ 2
Pxx (α )W ( f − α )dα (5.78)

unde Pxx(α) este periodograma. Efectul înmulţirii cu o fereastră a


secvenţei de autocorelaţie este de netezire a estimatului
periodogramei, deci descreşterea dispersiei estimatului se face cu
preţul reducerii rezoluţiei. Ca urmare, rezoluţia sau capacitatea de a
identifica două componente spectrale apropiate este dependentă de
lăţimea lobului principal al caracteristicii de frecvenţă a ferestrei. În
principiu, ar putea fi folosite toate ferestrele utilizate la sinteza
filtrelor FIR [72]. Trebuie avut însă în vedere ca estimatul să fie real
şi nenegativ ( PxxBT ( f ) ≥ 0, f ≤ 1/ 2 ), deziderate asigurate de
proprietatea ca ferestra considerată să fie o funcţie pară, iar spectrul
său să fie nenegativ:
W ( f ) ≥ 0 , f ≤ 1/ 2 (5.79)
Unele ferestre nu satisfac această condiţie, de exemplu, în
ciuda nivelului scăzut al lobilor laterali, ferestrele Hamming şi
Hanning pot avea ca rezultat estimaţi negativi ai spectrului în unele
domenii de frecvenţă.
Caracterizarea estimatului
Valoarea medie a estimatului densităţii spectrale de putere
Blackman-Tukey este
1/ 2
E[ PxxBT ( f )] = ∫
−1/ 2
E[ Pxx (α )]W ( f − α )dα (5.80)

unde, din (5.41), rezultă


1/ 2
E[ Pxx (α )] = ∫
−1/ 2
Γ xx (θ )WB (α − θ )dθ (5.81)

315
unde WB(f) este transformata Fourier a ferestrei Bartlett. Înlocuind
(5.81) în (5.80), se obţine
1/ 2 1/ 2

E[ PxxBT ( f )] = ∫ ∫
−1/ 2 −1/ 2
Γ xx (θ )WB (α − θ )W ( f − α )dα dθ (5.82)

Echivalent, în domeniul timp, valoarea medie a estimatului


Blackman-Tukey este
M −1
E[ PxxBT ( f )] = ∑
m =− M +1
E[rxx [m]]w[m]e − j 2π fm =
M −1
(5.83)
= ∑
m =− M +1
γ xx [m]wB [m]w[m]e − j 2π fm

unde
⎧ m
⎪1 − , m < N
wB [m] = ⎨ N (5.84)
⎪ 0, în rest

Lungimea ferestrei pentru w[n] trebuie aleasă astfel încât M << N,
adică fereastra w[n] să fie de lungime mai mică decât fereastra
wB [m] pentru a produce o netezire suplimentară a periodogramei. În
aceste condiţii (5.82) devine
1/ 2
E[ P ( f )] ≈ ∫ Γ xx (θ )W ( f − θ )dθ
BT
xx (5.85)
−1/ 2

deoarece
1/ 2 1/ 2


−1/ 2
WB (α − θ )W ( f − α ) dα = ∫W
−1/ 2
B (α )W ( f − θ − α )dα
(5.86)
≈ W ( f −θ )
Dispersia estimatului Blackman-Tukey al spectrului este
var[ PxxBT ( f )] = E{[ PxxBT ( f )]2 } − {E[ PxxBT ( f )]}2 (5.87)
unde valoarea medie poate fi aproximată de relaţia (5.85), iar
valoarea pătratică medie este

316
E{[ PxxBT ( f )]2 } =
1/ 2 1/ 2 (5.88)
= ∫ ∫
−1/ 2 −1/ 2
E[ Pxx (α ) Pxx (θ )]W ( f − α )W ( f − θ )dα dθ

În ipoteza că procesul aleator este gaussian, folosind


rezultatul din exemplul 5.2, se obţine
E[ Pxx (α ) Pxx (θ )] =
⎧⎪ ⎡ sin π (θ + α ) N ⎤ 2 ⎡ sin π (θ − α ) N ⎤ 2 ⎫⎪ (5.89)
= Γ xx (α )Γ xx (θ ) ⎨1 + ⎢ ⎥ +⎢ ⎥ ⎬
⎪⎩ ⎣ N sin π (θ + α ) ⎦ ⎣ N sin π (θ − α ) ⎦ ⎪⎭
Înlocuind (5.89) în (5.88), se obţine
2
⎡ 1/ 2 ⎤
E{[ P ( f )] } = ⎢ ∫ Γ xx (θ )W ( f − θ ) dθ ⎥ +
BT
xx
2

⎣ −1/ 2 ⎦
1/ 2 1/ 2
+ ∫ ∫
−1/ 2 −1/ 2
Γ xx (α )Γ xx (θ )W ( f − α )W ( f − θ ) × (5.90)

⎧⎪ ⎡ sin π (θ + α ) N ⎤ 2 ⎡ sin π (θ − α ) N ⎤ 2 ⎫⎪
× ⎨⎢ ⎥ +⎢ ⎥ ⎬ dα dθ
⎪⎩ ⎣ N sin π (θ + α ) ⎦ ⎣ N sin π (θ − α ) ⎦ ⎪⎭
Primul termen din (5.90) este pătratul valorii medii a lui
PxxBT ( f ) , astfel încât al doilea termen din (5.90) reprezintă dispersia.
În cazul în care N >> M , funcţiile sinπ(θ + α)N/Nsinπ(θ +
α) şi sinπ(θ - α)N/Nsinπ(θ - α) sunt relativ “înguste” în comparaţie
cu W(f) în apropiere de θ = -α şi, respectiv θ = α. Prin
urmare
1/ 2 ⎧⎪ ⎡ sin π (θ + α ) N ⎤ 2 ⎡ sin π (θ − α ) N ⎤ 2 ⎫⎪
∫ Γ xx (θ )W ( f − θ ) ⎨ ⎢
N sin π (θ + α ) ⎥ + ⎢ N sin(θ − α ) ⎥ ⎬ dθ ≈
−1/ 2
⎩⎪ ⎣ ⎦ ⎣ ⎦ ⎭⎪
Γ xx (−α )W ( f + α ) + Γ xx (α )W ( f − α )

N
(5.91)

317
Cu această aproximare, dispersia lui PxxBT ( f ) devine
var[ PxxBT ( f )] ≈
1/ 2
1
N ∫
−1/ 2
Γ xx (α )W ( f − α )[Γ xx (−α )W ( f + α ) + Γ xx (α )W ( f − α )]dα

1/ 2
1

N ∫
−1/ 2
Γ 2xx (α )W 2 ( f − α )dα (5.92)

în care, s-a efectuat aproximarea


1/ 2


−1/ 2
Γ xx (α )Γ xx (−α )W ( f − α )W ( f + α )dα ≈ 0 (5.93)

În relaţia (5.92) mai poate fi făcută o aproximare. Dacă W(f) este


“îngust”, comparativ cu spectrul real Γxx(f), (5.92) se poate
aproxima ca
⎡ 1 1/ 2 2 ⎤
var[ P ( f )] ≈ Γ ( f ) ⎢ ∫ W (θ ) dθ ⎥ ≈
BT
xx
2
xx
⎣ N −1/ 2 ⎦ (5.94)
⎡ 1 M −1 2 ⎤
Γ xx ( f ) ⎢
2
∑ w [ m ]⎥
⎣ N m =− M +1 ⎦
Şi în acest caz se evidenţiază cerinţe contradictorii în
obţinerea unor estimatori de bună calitate:
- pentru o deplasare mică este necesar M mare,
- pentru o dispersie mică, M trebuie să fie cât mai mic.
De obicei se recomandă o valoare de cel mult M=N/5.

5.2.4. Caracteristici de performanţă ai estimatorilor


densităţii spectrale de putere neparametrici

Pentru a compara calitatea estimaţilor periodogramă, Bartlett,


Welch, Blackman-Tukey, s-a introdus ca masură a calităţii, raportul
dintre pătratul valorii medii şi dispersia estimatului, numit factor de
calitate, adică
318
{E[ PxxA ( f )]}2
QA = (5.95)
var[ PxxA ( f )]
unde A = P, B, W sau BT pentru cei patru estimaţi.
Inversul acestei mărimi se numeşte variabilitate şi poate fi,
de asemenea, folosit ca o măsură a performanţei.

a) Periodograma
Valoarea medie a periodogramei este
1/ 2
E[ P ( f )] = ∫ Γ xx (θ )WB ( f − θ )dθ
P
xx (5.96)
−1/ 2

unde
2
1 ⎛ sin π fN ⎞
WB ( f ) = ⎜ ⎟ (5.97)
N ⎝ sin π f ⎠
şi dispersia

⎡ ⎛ sin 2π fN ⎞ 2 ⎤
var[ Pxx ( f )] = Γ ( f ) ⎢1 + ⎜
P 2
⎟ ⎥ (5.98)
⎢⎣ ⎝ N sin 2π f ⎠ ⎥⎦
xx

Pentru N → ∞
1/ 2

E[ Pxx ( f )] → Γ xx ( f ) ∫W
−1/ 2
B (θ )dθ = wB [0]Γ xx ( f ) = Γ xx ( f )
(5.99)
var[ Pxx ( f )] → Γ 2xx ( f )
adică, aşa cum s-a precizat anterior, periodograma este un estimat
asimptotic nedeplasat al spectrului de putere, dar nu este consistent.
Asimptotic, periodograma este caracterizată de factorul de
calitate
Γ 2xx ( f )
QP = 2 =1 (5.100)
Γ xx ( f )

319
Faptul că QP este fix şi independent de lungimea datelor arată
calitatea scăzută a acestui estimat.

b) Estimatul Bartlett
Media şi dispersia estimatului Bartlett al spectrului de putere
sunt
1/ 2

E[ PxxB ( f )] = ∫
−1/ 2
Γ xx (θ )WB ( f − θ )dθ (5.101)

1 2 ⎡ ⎛ sin 2π fM ⎞ 2 ⎤
var[ P ( f )] = Γ xx ( f ) ⎢1 + ⎜
B
⎟ ⎥ (5.102)
xx
K ⎣⎢ ⎝ M sin 2π f ⎠ ⎦⎥
unde
2
1 ⎛ sin π fM ⎞
WB ( f ) = ⎜ ⎟ (5.103)
M ⎝ sin π f ⎠
N
Pentru N → ∞ şi M → ∞ , astfel încât K = rămâne fix
M
1/ 2
E[ PxxB ( f )] → Γ xx ( f ) ∫W
−1/ 2
B ( f )df = Γ xx ( f ) wB (0) = Γ xx ( f )
(5.104)
1 2
var[ P ( f )] → Γ xx ( f )
B
xx
K
Se observă că estimatul Bartlett este asimptotic nedeplasat şi
dacă K creşte odată cu N, estimatul este consistent. Asimptotic,
factorul de calitate al estimatului devine
N
QB = K = (5.105)
M
Rezoluţia în frecvenţă a estimatului Bartlett, măsurată prin
considerarea lăţimii de bandă la 3dB a lobului principal al ferestrei
rectangulare, este [62]

320
0,9
Δf = (5.106)
M
Înlocuind (5.106) în (5.105) rezultă
N
QB = = 1,1N Δf (5.107)
0,9 / Δf

c) Estimatul Welch
Media şi dispersia estimatului Welch al spectrului de putere
sunt
1/ 2
E[ P ( f )] = ∫ Γ xx (θ )W ( f − θ )dθ
W
xx (5.108)
−1/ 2

unde
2
1 M −1
W( f ) =
MU
∑ w[n]e
n =0
− j 2π fn
, (5.109)

respectiv
⎧1 2
⎪⎪ L Γ xx ( f ) f ă ră suprapunere
var[ Pxx ( f )] = ⎨
W
(5.110)
pentru suprapunere 50%
⎪ 9 Γ 2xx ( f )
⎪⎩ 8 L şi fereastră triunghiulară
Pentru N → ∞ şi M → ∞
E[ PxxW ( f )] → Γ xx ( f ) (5.111)
Dacă L creşte odată cu N, dispersia → 0, deci estimatul este
consistent.
În condiţiile (5.110), factorul de calitate devine
⎧ N
⎪⎪ L = M fără suprapunere
QW = ⎨ (5.112)
50% suprapunere şi
⎪ 8 L = 16 N
⎩⎪ 9 9 M fereastră tringhiulară

321
Lăţimea de bandă a ferestrei triunghiulare la 3 dB este [71]
1, 28
Δf = (5.113)
M
În consecinţă, factorul de calitate, exprimat în funcţie de Δf şi N
este
⎧0,78 N Δf fără suprapunere

QW = ⎨ 50% suprapunere şi (5.114)
⎪1,39 N Δf fereastră triunghiulară

d) Estimatul Blackman -Tukey


Media şi dispersia acestui estimat sunt date aproximativ de
1/ 2
E[ P ( f )] ≈ ∫ Γ xx (θ )W ( f − θ )dθ
BT
xx
−1/ 2
(5.115)
⎡ 1 M −1 2 ⎤
var[ P ( f )] ≈ Γ ( f ) ⎢
BT
xx
2
xx ∑ w [m]⎥
⎣ N m =− M +1 ⎦
unde w[m] este secvenţa fereastră cu care se înmulţeşte funcţia de
autocorelaţie estimată.
Pentru ferestrele triunghiulară şi rectangulară, avem
1 M −1 2 ⎧ 2 M / N fereastra dreptungiulară
∑ w [ n] = ⎨ (5.116)
N n =− M +1 ⎩2 M / 3 N fereastra triunghiulară
Valoarea medie a estimatului este asimptotic nedeplasată. Factorul
de calitate al estimatului, pentru fereastra triunghiulară este
N
QBT = 1,5 (5.117)
M
Deoarece lungimea ferestrei este 2M – 1, rezoluţia în
frecvenţă măsurată la 3dB este
1, 28 0,64
Δf = = (5.118)
2M M
şi, deci
322
1,5
QBT = N Δf = 2,34 N Δf (5.119)
0,64
Din analiza factorului de calitate se observă că estimaţii
Welch şi Blackman-Tukey sunt relativ mai buni decât cel Bartlett.
Oricum, însă, diferenţele de performanţe între estimatori sunt mici.
Factorul de calitate creşte odată cu creşterea lungimii datelor, ceea
ce nu se întâmplă pentru periodogramă. Mai mult, factorul de
calitate depinde de produsul dintre lungimea datelor şi rezoluţia în
frecvenţă. Pentru un nivel de calitate dorit, rezoluţia în frecvenţă
poate fi îmbunătăţită prin creşterea lungimii datelor.

5.3. Metode parametrice pentru estimarea spectrului


de putere

Metodele parametrice nu necesită presupunerile semnalate în


paragraful 5.2, ele extrapolând valorile funcţiei de autocorelaţie
pentru deplasări m ≥ N . Acest lucru este posibil dacă există
informaţii despre modul cum au fost generate datele. În acest caz se
poate construi un model de generare a semnalului cu un număr de
parametri ce poate fi estimat din datele observate. Drept urmare,
aproximarea prin modelare elimină necesitatea funcţiilor fereastră şi
presupunerea că secvenţa de autocorelaţie este zero pentru
m ≥ N , ceea ce conduce la situaţia că metodele parametrice de
estimare spectrală oferă rezoluţie în frecvenţă mai bună decât cele
neparametrice.
Metodele parametrice se bazează pe modelarea secvenţei de
date x[n] ca fiind ieşirea unui sistem liniar caracterizat de o funcţie
de sistem raţională, de forma

323
q

B( z ) ∑ bk z − k
H ( z) = = k = 0p (5.120)
A( z ) 1 + a z − k
∑ k k =1

căreia îi corespunde ecuaţia cu diferenţe


p q
x[n] = −∑ ak x[n − k ] + ∑ bk w[n − k ] , (5.121)
k =1 k =0

unde w[n] este secvenţa de intrare în sistem.


În estimarea spectrului de putere, secvenţa de intrare nu este
observabilă, dar dacă ieşirea x[n] este un proces aleator staţionar,
atunci şi secvenţa de intrare este, de asemenea, un proces aleator
staţionar.
Într-un astfel de caz, densitatea spectrală de putere a datelor
(ieşirii x[n] ) este
2
Γ xx ( f ) = H ( f ) Γ ww ( f ) (5.122)
unde Γ ww ( f ) este densitatea spectrală de putere a secvenţei de
intrare şi H(f) este răspunsul în frecvenţă al modelului.
Deoarece obiectivul este estimarea spectrului Γ xx ( f ) , este
convenabil a presupune că secvenţa de intrare w[n] este o secvenţă
de zgomot alb, de medie zero, cu funcţia de autocorelaţie
γ ww [m] = σ w2δ [m] (5.123)
2
unde σ w2 este dispersia (σ w2 = E[ w[ n] ]) . Rezultă atunci
2
2 B( f )
Γ xx ( f ) = σ H ( f ) = σ
2
w
2
w 2
(5.124)
A( f )
În secţiunea 1.22 a fost descrisă reprezentarea unui proces
aleator staţionar în forma (5.124). În abordarea pe bază de model,
estimarea spectrului se efectuează în doi paşi. Dată fiind secvenţa
finită x[n], 0 ≤ n ≤ N − 1 , se estimează întâi funcţia de autocorelaţie
324
dintr-o sumă finită, apoi, pe baza acestor estimaţi, se estimează
parametrii { aˆk } şi { bˆk } ai modelului. Pe baza acestora, se
estimează spectrul de putere conform relaţiei
2
Bˆ ( f )
Pxx ( f ) = σ w2 2
(5.124’).
Aˆ ( f )
Relaţia (5.124’) reprezintă cazul general al metodelor
parametrice de estimare spectrală, care arată că în acest demers
trebuie determinaţi estimaţii parametrilor sistemului, { aˆ } şi { bˆ }.
k k

Se reaminteşte că procesul aleator x[n] generat de modelul


poli-zerouri dat de (5.120) sau (5.121) se numeşte proces
autoregresiv cu medie alunecătoare (ARMA) de ordin (p,q).
Dacă q=0 şi b0 =1, modelul rezultat are o funcţie de sistem
1
H(z)= şi ieşirea sa, x[n], se numeşte proces autoregresiv de
A( z )
ordin p şi se notează AR(p).
Al treilea model posibil se obţine impunând A(z)=1, astfel
încât H(z)=B(z). Ieşirea x[n] se numeşte proces cu medie
alunecătoare (MA) de ordin q , notat MA(q).
Dintre acestea, modelul AR este de departe cel mai folosit,
din două motive:
1- este potrivit pentru reprezentarea spectrelor de bandă
îngustă;
2- are ca rezultat ecuaţii liniare foarte simple pentru
determinarea parametrilor AR.
Faţă de acesta, modelul MA necesită mult mai mulţi coeficienţi
pentru reprezentarea spectrelor de bandă îngustă şi este rareori
folosit singur ca model pentru estimarea spectrului.

325
Combinând polii şi zerourile, modelul ARMA produce o
reprezentare mai eficientă din punct de vedere al numărului
parametrilor modelului pentru reprezentarea spectrului procesului
aleator, cu dezavantajul complicării calculelor pentru parametrii
MA, care rezultă din rezolvarea unor ecuaţii neliniare.
Estimatorii parametrici au deplasări şi dispersii mai mici
decât cei neparametrici. Folosind metodele parametrice de estimare,
se poate îmbunătăţi semnificativ rezoluţia în frecvenţă, cu condiţia
ca modelul să fie adecvat procesului. În caz contrar, pot rezulta
estimatori neconformi cu realitatea, care conduc la decizii eronate.

5.3.1. Relaţii între funcţia de autocorelaţie şi parametrii


modelului

În paragraful 1.24 s-au stabilit relaţiile dintre funcţia de


autocorelaţie γxx[m] şi parametrii {ak} şi {bk} ai modelului ARMA
adoptat pentru proces. Pentru un proces ARMA(p,q), aceste relaţii
sunt
⎧ p
⎪−∑ k =1
ak γ xx [m − k ] m>q
⎪ p
⎪ q−m
γ xx [m] = ⎨−∑ ak γ xx [m − k ] + σ w2 ∑ h[k ]bk + m 0 ≤ m ≤ q (5.125)
⎪ k =1 k =0

⎪γ xx [ −m]
*
m<0


Prin restricţionarea lui m>q, relaţiile (5.125) conduc la un
sistem de ecuaţii liniare din care se pot determina parametrii {ak}.
Acestea sunt

326
⎡γ xx [q ] γ xx [q − 1] ... γ xx [q − p + 1] ⎤ ⎡ a1 ⎤
⎢γ [q + 1] ⎢a ⎥
γ xx [q] ... γ xx [q − p + 2]⎥⎥
⎢ xx .⎢ ⎥ =
2

⎢.............. ............. ... ..................... ⎥ ⎢ ... ⎥


⎢ ⎥ ⎢ ⎥
⎣γ xx [q + p − 1] γ xx [q + p − 2] ... γ xx [q] ⎦ ⎣a p ⎦
⎡ γ xx [q + 1] ⎤
⎢ γ [q + 2] ⎥
= − ⎢ xx ⎥ (5.126)
⎢ ........ ⎥
⎢ ⎥
⎣γ xx [q + p ]⎦
În practică se cunoaşte numai un interval finit dintr-o
realizare particulară a procesului, din care se estimează valorile
funcţiei de autocorelaţie. Folosind aceste valori estimate în loc de
γxx[m], din sistemul de ecuaţii (5.126) se determină parametrii aˆk .
Din relaţia (5.126) se observă că dacă se cunosc parametrii
{ak} şi funcţia de autocorelaţie pentru valori ale argumentului din
intervalul 0 ≤ m ≤ p , atunci valoarea funcţiei de autocorelaţiei se
poate determina în mod unic şi pentru m > q. În consecinţă, modelul
sistemului liniar extinde valorile funcţiei de autocorelaţie pentru
m>p.
Parametrii {ak} sunt obţinuţi din (5.126), dar aceştia nu pot fi
folosiţi în determinarea facilă a parametrilor MA, deoarece în
ecuaţia
q−m p
σ w2 ∑ h[k ]bk + m = γ xx [m] + ∑ ak γ xx [m − k ] , 0 ≤ m ≤ q (5.127)
k =0 k =1

intervine răspunsul la impuls h[k] al sistemului. Acesta poate fi


exprimat în funcţie de parametrii {bk} şi {ak} prin împărţirea lui
B(z) la A(z), dar aceasta conduce la un set de ecuaţii neliniare pentru
parametrii MA.

327
5.3.2. Estimarea spectrului de putere pe baza modelului
autoregresiv (AR)

Dacă se adoptă un model AR(p) pentru datele observate,


relaţia dintre parametrii modelului şi secvenţa de autocorelaţie se
obţine din (5.125), pentru q=0, adică
⎧ p
⎪−∑ k =1
ak γ xx [m − k ] m>0
⎪ p

γ xx [m] = ⎨−∑ ak γ xx [m − k ] + σ w2 m = 0 (5.128)
⎪ k =1

⎪γ xx* [− m] m<0


În acest caz parametrii {ak} se obţin din soluţia sistemului de
ecuaţii
⎡γ xx [0] γ xx [−1] ... γ xx [− p + 1] ⎤
⎡ a1 ⎤ ⎡ γ xx [1] ⎤
⎢γ [1] ⎢a ⎥
⎢ xx γ xx [0] ... γ xx [− p + 2]⎥⎥
⎢ 2⎥
⎢ γ [2] ⎥
. = − ⎢ xx ⎥ (5.129)
⎢... ... ...... ⎥ ⎢ ... ⎥ ⎢ ... ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣γ xx [ p − 1] γ xx [ p − 2] ...
γ xx [0] ⎦ ⎣a p ⎦ ⎣γ xx [ p ]⎦
care reprezintă ecuaţiile Yule-Walker sau normale.
Dispersia σ w2 poate fi obţinută din ecuaţia
p
σ w2 = γ xx [0] + ∑ ak γ xx [− k ] (5.130)
k =1

Ecuaţiile (5.129) şi (5.130) sunt de obicei combinate în una


singură, de forma
⎡γ xx [0] γ xx [−1] ... γ xx [− p ] ⎤ ⎡ 1 ⎤ ⎡ σ w2 ⎤
⎢ ⎥
⎢γ [1]
⎢ xx γ xx [0] ... γ xx [− p + 1] ⎥⎥ ⎢ a1 ⎥ ⎢⎢ 0 ⎥⎥
. = (5.131)
⎢.............. ............. ... .....................⎥ ⎢ ... ⎥ ⎢........⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣γ xx [ p ] γ xx [ p − 1] ... γ xx [0] ⎦ ⎣a p ⎦ ⎣ 0 ⎦

328
Matricea de corelaţie din (5.129) sau (5.131) este Toeplitz,
motiv pentru care ecuaţiile Yule Walker pot fi rezolvate eficient cu
algoritmul Levison-Durbin. Toţi parametrii modelului AR(p) pot fi
determinaţi din secvenţa de autocorelaţie γxx[m], pentru 0 ≤ m ≤ p .
Mai mult, din (5.128), după ce s-au determinat coeficienţii {ak}, se
poate calcula funcţia de autocorelaţie pentru m > p. Dacă procesul
aleator este cunoscut numai pentru un interval finit , 0 ≤ n ≤ N − 1 ,
în determinarea parametrilor modelului vor interveni estimaţi ai
funcţiei de autocorelaţie. Există mai multe posibilităţi de a estima
funcţia de autocorelaţie a procesului, lucru care conduce la diferite
metode de estimare a spectrului de putere pentru semnale modelate
AR.

5.3.3. Estimarea spectrului de putere a semnalelor


modelate AR folosind metoda autocorelaţiei sau Yule-
Walker

În această metodă se estimează secvenţa de autocorelaţie din


date şi apoi estimaţii se folosesc în relaţiile Yule-Walker (5.129)
pentru a determina parametrii modelului AR.
Funcţia de autocorelaţie se determină cu relaţia
1 N −m −1
rxx [m] = ∑ x [n]x[n + m], m ≥ 0
N n =0
(5.132)

Din paragraful 3.5 se reaminteşte că parametrii ak ai


procesului AR ( p ) sunt egali cu coeficienţii predictorului {a p [ k ]}
de ordin p şi eroarea pătratică medie minimă a predictorului de
ordinul p este egală cu dispersia zgomotului alb care se aplică
modelului pentru a forma datele.

329
Datorită egalităţii semnalate anterior, parametrii AR se
determină cu ajutorul algoritmul Levison-Durbin în care γ xx [m] se
înlocuieşte cu rxx [m] .
Estimatul corespunzător al spectrul de putere este
σˆ wp2

Pxx ( f ) =
YW
2
(5.133)
p
1 + ∑ aˆ p [ k ]e − j 2π kf

k =1

unde aˆ p [k ] sunt estimaţii parametrilor AR rezultaţi din ecuaţiile


recursive Levison-Durbin, iar
p
= Eˆ pf = rxx [0]∏ ⎡1 − ( aˆk [k ]) ⎤
2
σˆ wp
2
⎣ ⎦
(5.134)
k =1

este valoarea pătratică medie minimă a erorii de predicţie estimate


pentru predictorul de ordin p.
Un exemplu care ilustrează performanţele acestui estimator
din punct de vedere al rezoluţiei în frecvenţă, comparativ cu alte
metode, este prezentat în paragraful 5.3.9.

5.3.4. Estimarea spectrului de putere a semnalelor


modelate AR folosind metoda Burg

Metoda propusă de Burg pentru estimarea parametrilor


modelului AR poate fi asimilată cu o metodă lattice recursivă în
care coeficienţii de reflexie se estimează pe baza minimizării
erorilor din predicţia liniară înainte şi înapoi, exprimate în formă
compusă, cu costrângerea că parametrii AR să satisfacă ecuaţiile
recursive Levison-Durbin.
Pentru a obţine estimatul, fie datele x[n], n = 1,2,..,N-1 şi fie
estimaţii predicţiei liniare înainte şi înapoi, de ordin m, daţi de
relaţiile
330
m
xˆ[n] = −∑ am [k ] x[n − k ]
k =1
m
(5.135)
xˆ[n − m] = −∑ am [ k ]x[n + k − m]
k =1

şi erorile de predicţie corespunzătoare fm[n] şi respectiv, gm[n], date


de
m
f m [n] = x[n] − xˆ[n] = x[n] + ∑ am [k ] x[n − k ]
k =1

g m [n] = x[n − m] − xˆ[n − m] = (5.136)


m
= x[n − m] + ∑ am [ k ]x[n − m + k ]
k =1

unde am[k], 0 ≤ k ≤ m − 1 , m = 1, 2,…, p, sunt coeficienţii de


predicţie.
Eroarea pătratică globală se determină cu relaţia
N −1

∑[ f
2 2
m [ n] + g m [ n] ] = ξ m (5.137)
n=m

Această eroare urmează a fi minimizată prin alegerea


coeficienţilor de predicţie, supuşi costrângerii de a satisface
ecuaţiile recursive Levison-Durbin, date de
am [ k ] = am −1[ k ] + K m am −1[m − k ], 1 ≤ k ≤ m − 1, 1 ≤ m ≤ p (5.138)
unde Km = am[m] este al m-lea coeficient de reflexie din realizarea
lattice a predictorului.
Se reaminteşte că prin înlocuirea relaţiei (5.138) în (5.136)
rezultă perechea de ecuaţii recursive pentru erorile de predicţie
înainte şi înapoi, de forma
f m [n] = f m −1[n] + K m g m −1[n − 1]
(5.139)
g m [n] = g m −1[n − 1] + K m f m −1[ n]
Înlocuind (5.139) în (5.137) şi minimizând în raport cu Km ,
rezultă
331
N −1
ξ m = ∑ ⎡⎣( f m−1[n] + K m g m−1[n − 1]) + ( g m−1[ n − 1] + K m f m−1[n]) ⎤⎦ =
2 2

n=m
N −1
= ∑ f m2−1[n] + 2 K m f m −1[n]g m −1[n − 1] + K m2 g m2 −1[n − 1] +
n=m

+ g m2 −1[n − 1] + 2 K m f m −1[n]g m −1[n − 1] + K m f m−1[n] (5.140)


Condiţia necesară de extrem este
∂ξ m N −1
= 4 ∑ f m −1[n]g m −1[n − 1] + 2 Kˆ m ( g m2 −1[n − 1] + f m2−1[n]) = 0 (5.141)
∂K m n=m

de unde rezultă
N −1
− ∑ f m −1[n]g m −1[ n − 1]
Kˆ m = n=m
m = 1, 2,..., p (5.142)
1 N −1 ⎡
∑ ( f m−1[n]) + ( g m−1[n − 1]) ⎤⎦
2 2

2 n=m ⎣
Numărătorul relaţiei (5.142) este un estimat al funcţiei de
corelaţie dintre erorile de predicţie înainte şi înapoi. Se observă că
Kˆ < 1 , astfel încât modelul numai cu poli obţinut din date este
m

stabil. De asemenea, se observă similitudinea dintre (5.142) cu


corespondentul Km statistic dat de (3.61). Numitorul relaţiei (5.142)
este estimatul pe baza celor mai mici pătrate a erorilor înainte şi
înapoi Emf −1 şi Emb −1 , aşa că se poate scrie
N −1
− ∑ f m −1[n]g m −1[ n − 1]
Kˆ m = n=m
m = 1, 2,..., p (5.143)
1⎡ ˆf
⎣ Em −1 + Eˆ mb −1 ⎤⎦
2
unde Eˆ mf −1 + Eˆ mb −1 este un estimat al erorii pătratice globale ξ m .
În concluzie, algoritmul Burg calculează coeficienţii de
reflexie ai structurii lattice echivalente cu relaţia (5.143), iar
parametrii modelului AR sunt obţinuţi apoi cu ajutorul algoritmului
Levison -Durbin.
332
Din estimaţii astfel obţinuţi rezultă estimatul spectrului de
putere
Eˆ p
PxxBU ( f ) = 2
(5.144)
p
1 + ∑ aˆ p [k ]e − j 2π fk
k =1

unde Eˆ p este valoarea pătratică medie a erorii globale de predicţie


estimate pentru predictorul de ordin p.
Avantajele majore ale metodei Burg sunt:
1- are rezoluţie bună în frecvenţă;
2- determină un model AR stabil;
3- este eficient din punct de vedere al calculelor.
Dezavantaje:
Algoritmul prezintă o scindare a liniilor sau componentelor
(vârfurilor) spectrale pentru raporturi semnal zgomot ridicate [39].
Aceasta înseamnă că, dacă spectrul semnalului x[n] are o singură
componentă spectrală la o anumită frecvenţă, în spectrul estimat cu
ajutorul metodei Burg pot apărea două sau mai multe componente
apropiate în imediata vecinătate a frecvenţei respective. Această
situaţie este ilustrată în figura 5.15. Pentru ordine mari, metoda
poate introduce vârfuri (componente) false, de nivel scăzut, în
spectrul estimat la frecvenţe la care spectrul semnalulul este nul.
Mai mult, pentru semnale sinusoidale de durată mică, afectate de
zgomot, rezultă o deplasare de frecvenţă faţă de frecvenţa adevărată,
funcţie de faza semnalului sinusoidal [15] [72].
În literatura de specialitate se tratează modificări ale metodei
Burg pentru surmontarea acestor dezavantaje, modificări care, în
esenţă, constau în introducerea unei ferestre de ponderare a erorilor
pătratice înainte şi înapoi. În felul acesta se optimizează eroarea
pătratică ponderată

333
N −1
ξ mWB = ∑ wm [n] ⎡⎣ f m [m] + g m [n] ⎤⎦
2 2
(5.145)
n=m

Înlocuind (5.139) în (5.145) şi minimizând în raport cu


coeficienţii de reflexie, rezultă, prin parcurgerea unei proceduri
similare celei folosite la optimizarea erorii neponderate
N −1
− ∑ wm −1[n] f m −1[n]g m −1[n − 1]
Kˆ m = n=m
(5.146)
1 N −1

∑ wm−1[n] ⎣ f m−1[n] + g m−1[n − 1] ⎦


⎡ ⎤
2 2

2 n=m
Rezultate bune au fost obţinute prin folosirea ferestrelor
Hamming şi parabolică [61].
Un exemplu care ilustrează performanţele metodei Burg este
prezentat în paragraful 5.3.9.

5.3.5. Estimarea spectrului de putere a semnalelor


modelate AR folosind metoda covarianţei modificate sau
a celor mai mici pătrate fără constrângeri

După cum s-a prezentat anterior, metoda Burg constă în


folosirea unui algoritm lattice utilizând metoda celor mai mici
pătrate cu constângerea pentru coeficienţii predictorului de a
satisface ecuaţiile Levison-Durbin.
Ca urmare a acestei constrângeri, creşterea ordinului
modelului AR necesită numai o singură optimizare a parametrilor la
fiecare etapă. Spre deosebire de această abordare, se poate folosi
algoritmul celor mai mici pătrate fără această costrângere.
Pentru a detalia, se construieşte estimatul predicţiei liniare
înainte şi înapoi şi erorile corespunzătoare ca în relaţiile (5.135) si
(5.136).
Se minimizează suma pătratelor ambelor erori, adică
334
N −1
ξ p = ∑ ⎡ f p [ n] + g p [ n] ⎤ =
2 2

n= p ⎣ ⎦
(5.148)
N −1 ⎡ p 2 p 2

∑ ⎢ x[n] + ∑ a p [k ]x[ n − k ] + x[n − p ] + ∑ a p [k ]x[n + k − p ] ⎥
n= p ⎢
⎣ k =1 k =1 ⎥⎦
ca în metoda Burg.
În (5.148) nu se mai impune ca parametrii AR să satisfacă
relaţiile Levison-Durbin. Minimizarea fără constrângeri a lui ξ p în
raport cu coeficienţii de predicţie determină setul de ecuaţii liniare
p

∑ a [k ]r
k =1
p xx [l , k ] = − rxx [l ,0] l = 1, 2,..., p (5.149)

unde, prin definiţie, secvenţa rxx [l , k ] este


N −1
rxx [l , k ] = ∑ [ x[n − k ]x[n − l ] + x[n − p + l ]x[n − p + k ]] (5.150)
n= p

Eroarea rezultată utilizând metoda celor mai mici pătrate (LS) este
p
ξ pLS = rxx [0,0] + ∑ aˆ p [k ]rxx [0, k ] (5.151)
k =1

Estimatul spectrului de putere rezultat în urma folosirii


algoritmului LS fără costrângeri este
ξ pLS
PLS
xx = 2
(5.152)
p
1 + ∑ aˆ p [k ]e − j 2π fk
k =1

Matricea de corelaţie din (5.150) nu este Toeplitz, aşa că


algoritmul Levison-Durbin nu poate fi aplicat, dar pot fi dezvoltaţi
alţi algoritmi pentru eficientizarea calculelor, de complexitate O(p2).
Caracteristicile acestei metode sunt superioare metodei Burg,
în sensul că nu prezintă aceeaşi senzitivitate la apariţia scindării
liniilor spectrale, a vârfurilor false şi a deplasării de frecvenţă.
Această metodă, în schimb, nu garantează că parametrii AR astfel
estimaţi determină un model AR stabil.
335
Un exemplu care ilustrează această metodă este prezentat în
paragraful 5.3.9.

5.3.6. Alegerea ordinului modelului AR

Ca regulă generală, dacă se adoptă un ordin prea mic pentru


modelul AR, se obţine un spectru puternic netezit. Dacă ordinul p
este prea mare, există riscul introducerii de vârfuri false de nivel
scăzut în spectru.
Un indicator de performanţă al modelului AR este valoarea
pătratică medie a erorii care, în general, este diferită pentru fiecare
din estimatorii prezentaţi. Valoarea pătratică medie a erorii
descreşte cu creşterea ordinului modelului. Se poate observa viteza
de descreştere şi apoi să se decidă încetarea creşterii ordinului, când
eroarea devine mică. Aceasta abordare este, de obicei, imprecisă şi
necontrolabilă.
Două din cele mai bune criterii pentru selectarea ordinului
modelului au fost propuse de Akaike [34]:
1-Criteriul erorii de predicţie finale FPE (Final Prediction
Error) în care ordinul este selectat astfel încât să se minimizeze
indicele de performanţă
2 ⎛ N + p +1⎞
FPE ( p) = σˆ wp ⎜ ⎟ (5.153)
⎝ N − p −1 ⎠
unde σˆ wp
2
este dispersia estimată a erorii de predicţie liniară.
2-Criteriul informaţiei Akaike AIC(p),(Akaike Information
Criterion) se bazează pe alegerea ordinului care minimizează
cantitatea
AIC ( p ) = ln σˆ wp
2
+ 2p/ N (5.154)

336
Cu creşterea ordinului, descreşte ln σˆ wp
2
, în timp ce termenul
2p/N creşte.
3- O formă alternativă pentru criteriul AIC este criteriul care
minimizează lungimea de descriere (MDL) (Minimize Description
Length)
MDL( p ) = N ln σˆ wp
2
+ p ln N (5.155)
4- Criteriul de transfer autoregresiv (CAT) (Criterion
Aotoregresive Transfer)
1 p N −k N − p
CAT ( p ) = ∑ − (5.156)
N k =1 Nσˆ wk
2
Nσˆ wp
2

Ordinul p se alege să minimizeze cantitatea CAT(p).


Exemple privind alegerea ordinului şi influenţa ordinului
asupra estimatului spectrului de putere sunt prezentate în paragraful
5.3.9.
Trebuie precizat faptul că pentru aplicarea criteriilor
prezentate, din date trebuie înlăturată valoarea medie. În general,
ordinul modelului depinde de criteriul folosit. Criteriul de selecţie al
ordinului nu conduce totdeauna la rezultate definitive. În absenţa
oricărei informaţii asupra procesului care are ca rezultat datele
observate, trebuie încercate diferite ordine pentru model şi diferite
criterii, care, însă, pot conduce la rezultate diferite.

5.3.7. Estimarea spectrului de putere pe baza modelului


cu medie alunecătoare (MA)

În modelul MA(q), pentru datele observate, legătura dintre


secvenţa de autocorelaţie γxx[m] şi parametrii MA ai modelului este
dată de sistemul de ecuaţii

337
⎧ 2 q
⎪σ w ∑
k =0
bk bk + m 0 ≤ m ≤ q

γ xx (m) = ⎨0 m>q (5.157)
⎪γ * [−m] m<0
⎪ xx

obţinut din (5.125), prin impunerea ak = 0, pentru k = 1,2,…,p şi
înlocuirea h[k] cu {bk}.
Pentru modelul considerat, din (5.124) rezultă
Γ xx ( z ) = σ w 2 H ( z ) H ( z −1 ) = σ w 2 B ( z ) B ( z −1 ) (5.158)
Ţinând cont că
q
B ( z ) B ( z −1 ) = D ( z ) = ∑d
m =− q
m z−m (5.159)

unde coeficienţii {dm} sunt legaţi de parametrii MA prin relaţia


q− m
dm = ∑bb
k =0
k k +m ,m ≤q (5.160)

rezultă atunci
⎪⎧σ w d m m ≤ q
2

γ xx [m] = ⎨ (5.161)
⎪⎩ 0 m >q
Spectrul de putere pentru procesul MA(q) este
q q
Γ MA
xx ( f ) = ∑ γ xx [m]e− j 2π fm = σ w2
m =− q
∑d
m =− q
m e − j 2π fm (5.162)

Se observă că nu este necesar a determina parametrii MA


pentru a estima spectrul de putere, ci sunt suficienţi estimaţii
secvenţei de autocorelaţie γxx[m] pentru m ≤ q , adică
q
P (f)=
MA
xx ∑r
m =− q
xx [m]e − j 2π fm , (5.163)

exact ca estimatul spectrului de putere neparametric.

338
Deoarece γ xx [m] = 0 pentru m > q , spectrul are aceeaşi
formă ca şi periodograma estimată. Ordinul procesului MA se
determină, de obicei, empiric. De exemplu, criteriul AIC pentru
modelul MA are aceeaşi formă ca pentru modelul AR
AIC (q ) = ln σˆ wq
2
+ 2q / N (5.164)
unde σˆ wq
2
este un estimat al dispersiei zgomotului alb.
Un alt mod de a verifica modelul este de a filtra datele prin
inversul modelului MA(q) şi de a testa dacă ieşirea se apropie de
zgomotul alb. De asemenea, se poate urmări dacă valoarea
estimaţilor nedeplasaţi ai secvenţei de autocorelaţie sunt apropiaţi
de zero pentru deplasări mari. Dacă nu se întâmplă astfel, modelul
MA va avea rezultate slabe referitor la rezoluţia în frecvenţă şi va fi
abandonat în favoarea modelului AR sau ARMA.

12.3.8. Estimarea spectrului de putere pentru semnale


modelate ARMA

Algoritmul Burg şi variantele sale, precum şi metoda celor


mai mici pătrate descrise anterior, furnizează estimaţi ai spectrului
de putere robuşti, de rezoluţie ridicată, pe baza modelului AR.
Modelul ARMA oferă posibilitatea îmbunătăţirii estimatului
spectrului AR, prin folosirea a mai puţini parametri pentru sistem.
Modelul ARMA este potrivit în special când datele sunt afectate de
zgomot, deoarece în acest caz semnalul rezultant conduce la un
proces ARMA. Într-adevăr, se presupune că datele x[n] sunt
generate de un sistem AR, a cărui ieşire este afectată de zgomot alb,
aditiv.
Transformata Z a funcţiei de autocorelaţie a semnalului
rezultat poate fi exprimată ca
339
σ w2 σ w2 + σ n2 A( z ) A( z −1 )
Γ xx ( z ) = + σ n2 = (5.165)
A( z ) A( z −1 ) A( z ) A( z −1 )
unde σ n2 este dispersia zgomotului aditiv. Procesul x[n] este
ARMA(p,p), unde p este ordinul procesului.
După cum s-a arătat, parametrii modelului ARMA sunt legaţi
de secvenţa de autocorelaţie prin relaţia
⎧ p
⎪ −∑k =1
ak γ xx [m − k ] m>q (a)
⎪ p
⎪ q−m
γ xx [m] = ⎨−∑ ak γ xx [m − k ] + σ w ∑ h[k ]bk + m 0 ≤ m ≤ q (b) (5.166)
2

⎪ k =1 k =0

⎪γ xx [− m]
*
m<0 (c )


Pentru deplasări m > q , ecuaţia implică numai parametrii
{ak}. Cu estimaţii funcţiei de autocorelaţie înlocuiţi în locul lui
γxx[m], se pot rezolva cele p ecuaţii din (5.166a) pentru a afla {aˆk } .
Pentru modele de ordin superior, este posibil ca această
abordare să conducă la estimaţi modeşti pentru parametrii AR,
motiv pentru care aceasta nu este recomandată.
O metodă mult mai demnă de încredere este de a construi un
sistem de ecuaţii liniare cu mai multe ecuaţii decât necunoscute
pentru m > q şi a folosi metoda celor mai mici pătrate în
optimizarea coeficienţilor modelului.
Pentru a detalia, se presupune că secvenţa de autocorelaţie
poate fi estimată fidel până la deplasarea M, unde M>p+q. În acest
caz, se poate scrie
p
rˆxx [m] = −∑ ak rxx [m − k ] ,
k =1

m = q + 1, q + 2,..., M < N , M>p+q (5.167)

340
Parametrii {ak} se selectează astfel încât să minimizeze
eroarea pătratică
p 2
M M

∑ ∑ rxx [m] + ∑ ak rxx [m − k ]


2
ξ= e[ n] = (5.168)
m = q +1 m = q +1 k =1

Minimizarea lui ξ conduce la setul de ecuaţii liniare pentru


parametrii {ak}
⎡ rxx [q ] rxx [q − 1] ... rxx [q − p + 1] ⎤ ⎡ a1 ⎤ ⎡ rxx [q + 1] ⎤
⎢ r [q + 1] ⎢ ⎥
⎢ xx rxx [q ] ... rxx [q − p + 2] ⎥⎥ ⎢ a2 ⎥ ⎢ r [q + 2]⎥
. = − ⎢ xx ⎥
⎢.............. ............. ... .....................⎥ ⎢ ... ⎥ ⎢ ........ ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣ rxx [ M − 1] rxx [ M − 2] ... rxx [ M − p ] ⎦ ⎣ a p ⎦ ⎣ rxx [ M ] ⎦
(5.169)
Această relaţie poate fi scrisă matriceal în forma
[ Rxx ][a ] = −[rxx ] (5.169’)
unde
⎡ rxx [q ] rxx [q − 1] ... rxx [q − p + 1] ⎤
⎢ r [q + 1] rxx [q ] ... rxx [q − p + 2] ⎥⎥
[ Rxx ] = ⎢ xx
⎢.............. ............. ... .....................⎥
⎢ ⎥
⎣ rxx [ M − 1] rxx [ M − 2] ... rxx [ M − p ] ⎦
⎡ a1 ⎤ ⎡ rxx [q + 1] ⎤
⎢a ⎥ ⎢ r [ q + 2]⎥
[a] = ⎢ 2⎥
, [rxx ] = − ⎢ xx ⎥
⎢ ... ⎥ ⎢ ........ ⎥
⎢ ⎥ ⎢ ⎥
⎣a p ⎦ ⎣ rxx [ M ] ⎦
Deoarece [ Rxx ] este o matrice de dimensiune (M-q) x p şi (M-q) >p,
vectorul coeficienţilor estimaţi se obţine cu relaţia
[aˆ ] = −([ Rxxt ][ Rxx ]) −1[ Rxxt ][rxx ] (5.170)
Procedura se numeşte metoda Yule-Walker modificată a
celor mai mici pătrate.
341
Secvenţei de autocorelaţie i se poate aplica o fereastră de
ponderare, pentru a scădea ponderea estimaţilor mai puţin demni de
încredere pentru deplasări mari. Odată estimaţi parametrii părţii AR
ai modelului, se poate construi sistemul a cărui funcţie de sistem
este
p
Aˆ ( z ) = 1 + ∑ aˆk z − k (5.171)
k =1

Secvenţa x[n] poate fi apoi filtrată prin filtrul de tip FIR, cu funcţia
de sistem Aˆ ( z ) , obţinându-se secvenţa
p
v[n] = x[n] + ∑ aˆ k x[n − k ] , n = 0,1, 2,..., N − 1 (5.172)
k =1

Cascada dintre modelul ARMA(p,q) şi modelul Aˆ ( z ) este


aproximativ procesul MA(q) generat de modelul B(z). Astfel se
poate folosi estimatul MA pentru a obţine spectrul MA. În
particular, secvenţa filtrată v[n] pentru p ≤ n ≤ N − 1 este folosită
pentru a forma secvenţa de corelaţie estimată rvv[m], din care se
obţine spectrul MA
q
P (f)=
MA
vv ∑r
m =− q
vv [ m]e − j 2π fm (5.173)

Se observă că parametrii {bk} nu sunt necesari în


determinarea spectrului de putere şi că rvv[m] este un estimat al
autocorelaţiei pentru modelul MA din (5.157).
În formarea estimatului rvv[m] se poate folosi ponderarea cu o
fereastră Bartlett, pentru dezaccentuarea estimaţilor corelaţiei pentru
deplasări mari.
În final rezultă
PvvMA ( f )
PˆxxARMA ( f ) = 2
(5.174)
p
1 + ∑ aˆk e − j 2π fk

k =1

342
Problema selecţiei ordinului modelului ARMA(p,q) se
rezolvă prin minimizarea indicelui AIC [62].
2( p + q )
AIC ( p, q ) = ln σˆ wpq
2
+ (5.175)
N
unde σˆ wpq
2
este un estimat al dispersiei erorii zgomotului alb aplicat
la intrarea modelului. Un test suplimentar asupra adecvării unui
model particular ARMA(p,q) este de a filtra datele prin model şi de
a testa dacă la ieşire se furnizează o secvenţă de zgomot alb.
Aceasta ar putea necesita ca parametrii modelului MA, să fie
calculaţi din secvenţa de autocorelaţie estimată, folosind
factorizarea spectrală pentru a determina B(z) din
D( z ) = B ( z ) B ( z −1 ) .

5.3.9. Rezultate experimentale

În acest paragraf sunt prezentate câteva rezultate


experimentale privind performanţele estimaţilor AR şi ARMA ai
spectrelor de putere, folosind date generale artificial. Scopul acestor
simulări constă în compararea metodelor de estimare spectrală, din
punct de vedere al rezoluţiei de frecvenţă, deplasării şi robusteţii în
prezenţa zgomotului aditiv. În aceste experimente, datele sunt
compuse din una sau două sinosoide şi zgomot aditiv. Cele două
sinusoide sunt distanţate în frecvenţă cu Δf . În acest caz, procesul
real este de tip ARMA(4,4). În experimente se foloseşte un model
AR(p). Pentru raporturi semnal/zgomot mari, este de aşteptat ca
modelul AR(4) să fie adecvat. Pentru raporturi semnal/zgomot
scăzute este necesar un model AR de ordin mai mare pentru a
aproxima procesul ARMA (4,4). Rezultatele experimentale sunt în
concordanţă cu aceste aspecte. Raportul semnal/zgomot se defineşte

343
ca SNR = 10log10 A2 / 2σ 2 , unde σ 2 este dispersia zgomotului
aditiv, considerat alb, iar A, amplitudinea sinusoidei.
Frecvenţa sinusoidelor componente ale semnalului, nivelul
zgomotului, faza iniţială şi lungimea datelor sunt trecute pe fiecare
grafic.
În figura 5.8 sunt prezentaţi estimaţii spectrului de putere
obţinuţi prin metodele Yule-Walker, Burg şi a celor mai mici pătrate
(LS), pentru o lungime a datelor de N=20, SNR=20dB şi Δf = 0,13 .
Se observă că metoda Yule-Walker furnizează un estimat
puternic netezit, cu vârfuri mici. Dacă distanţarea în frecvenţă
descreşte la Δf = 0,07 , metoda Yule-Walker nu mai poate decela
între cele două vârfuri, situaţie ilustrată în figura 5.9.
De asemenea, se observă o deplasare în cazul metodei Burg.
Prin creşterea lungimii datelor, metoda Yule-Walker poate decide
prezenţa celor două componente spectrale. Din compararea acestor
trei metode se remarcă faptul că metodele Burg şi a celor mai mici
pătrate sunt superioare pentru înregistrări de lungime mică.

Fig. 5.8. Comparaţie între metodele AR de estimare spectrală


344
Fig. 5.9. Comparaţie între metodele AR de estimare spectrală

Efectul zgomotului aditiv asupra estimaţilor este ilustrat în


figura 5.10 pentru metoda celor mai mici pătrate.

Fig. 5.10. Efectul zgomotului aditiv asupra estimatului prin metoda LS

345
Efectul ordinului filtrului asupra metodelor Burg şi LS este
prezentat în figurile 5.11, respectiv 5.12. Ambele metode arată
vârfuri false când ordinul filtrului este crescut la p=12.

Fig. 5.11. Efectul ordinului filtrului asupra metodei Burg

Fig. 5.12. Efectul ordinului filtrului asupra metodei LS

346
Efectul fazei iniţiale este ilustrat în figurile 5.13 şi 5.14
pentru metoda Burg şi, respectiv, metoda LS. Se observă că metoda
LS este mai puţin senzitivă la faza iniţială decât metoda Burg.

Fig. 5.13. Efectul fazei iniţiale asupra metodei Burg

Fig. 5.14. Efectul fazei iniţiale asupra metodei LS

347
În figura 5.15 este arătată scindarea liniilor spectrale în cazul
metodei Burg, pentru p=12. Se observă că pentru un model de
ordinul 8, acest lucru nu se produce. Metoda LS nu prezintă
scindarea liniilor spectrale pentru aceleaşi condiţii folosite în
simularea precedentă. Această scindare din cazul metodei Burg
dispare cu creşterea lungimii datelor.

Fig. 5.15. Scindarea liniilor spectrale în metoda Burg

În figurile 5. 16 şi 5. 17 sunt prezentate proprietăţile de


rezoluţie ale metodelor Burg şi LS pentru Δf = 0,07 şi N = 20 ,
pentru un SNR scăzut (3dB). Deoarece procesul care conţine
zgomot aditiv este ARMA, este necesat un model AR de ordin înalt
pentru o aproximare adecvată la SNR scăzut. Se observă că
rezoluţia de frecvenţă se îmbunătăţeşte cu creşterea ordinului.

348
Fig. 5.16. Rezoluţia de frecvenţă în metoda Burg cu N=20

Fig. 5.17. Rezoluţia de frecvenţă în metoda LS cu N=20

În figura 5.18 se prezintă eroarea de predicţie finală pentru


metoda Burg şi un SNR =3dB. Pentru această valoare a raportului

349
semnal /zgomot, valoarea optimă a ordinului modelului este p=12,
conform criteriului erorii de predicţie finale (FPE).

Fig. 5.18. Eroarea de predicţie finală pentru estimatul Burg

În figura 5.19 este prezentat estimatul spectrului de putere


pentru două sinusoide neafectate de zgomot, folosind un model
ARMA(10,10).

Fig. 5.19. Estimatul spectrului de putere pentru două sinusoide neafectate de


zgomot, folosind modelul ARMA (10,10)
350
În figura 5.20 este prezentat estimatul spectrului de putere
pentru două sinusoide afectate de zgomot, folosind un model
ARMA(10,10). Se observă calitatea bună a estimaţilor obţinuţi prin
această metodă. Condiţiile în care au fost obţinuţi aceşti estimaţi
sunt prezentate în figură.

Fig. 5.20. Estimatul spectrului de putere pentru două sinusoide în zgomot,


folosind modelul ARMA (10,10)

5.4. Probleme rezolvate

1. Fie procesul AR(3) generat de ecuaţia cu diferenţe


14 9 1
x[n] = x[n − 1] + x[n − 2] − x[ n − 3] + w[n]
24 24 24
unde w[n] este zgomot alb de dispersie σ w2
a) Să se determine coeficienţii predictorului liniar optim
pentru p = 3 .
b) Să se determine funcţia de autocorelaţie γ xx [m], 0 ≤ m ≤ 5.
c) Să se determine coeficienţii de reflexie corespunzători
predictorului liniar anterior.
351
Soluţie
1
a) H ( z ) =
14 9 1 −3
1 − z −1 − z −2 + z
24 24 24
14 −1 9 −2 1 −3
A3 ( z ) = 1 − z − z + z
24 24 24
Coeficienţii predictorului optim sunt:
14 9 1
a3[0] = 1; a3[1] = − ; a3[2] = − ; a3[3] =
24 24 24
b) Particularizând relaţia (5.131) pentru datele problemei,
rezultă sistemul
⎧ 14 9 1
⎪γ xx [0] − 24 γ xx [1] − 24 γ xx [2] + 24 γ xx [3] = σ w
2


⎪ − 14 γ [0] + 15 γ [1] + 1 γ [2] = 0
⎪ 24 xx 24
xx
24
xx


⎪ − 9 γ [0] − 13 γ [1] + γ [2] = 0
⎪ 24 xx 24
xx xx

⎪ 1 9 14
⎪ γ xx [0] − γ xx [1] − γ xx [2] + γ xx [3] = 0
⎩ 24 24 24
cu soluţia:
γ xx [0] = 1, 47σ w2 ; γ xx [1] = 1, 29σ w2 ; γ xx [2] = 1, 25σ w2 ; γ xx [3] = 1,15σ w2 .
Pentru a determina valorile funcţiei de autocorelaţie pentru
m > 3 , se foloseşte relaţia
3
γ xx [m] = −∑ ak γ xx [m − k ]
k =1

de unde rezultă
γ xx [4] = 1,091; γ xx [5] = 0,964.
c) Coeficienţii de reflexie se determină cu relaţia
K m = am [m], 1 ≤ m ≤ p , unde am [m] se determină din polinoamele

352
corespunzătoare structurii lattice cu m trepte.
A ( z ) − K m Bm ( z )
Am−1 ( z ) = m , m = 3, 2,1.
1 − K m2
K 3 = a3[3] = 0,042
14 −1 9 −2 1 −3
A3 ( z ) = 1 − z − z + z
24 24 24
1 9 14
B3 ( z ) = − z −1 − z −2 + z −3
24 24 24
327 −1 202 −2 202
A2 ( z ) = 1 + z − z → K 2 = a2 [2] = − = 0,351
575 575 575
202 327 −1 −2
B2 ( z ) = − + z +z
575 575
A1 ( z ) = 1 + 0, 452 z −1 → K1 = a1[1] = 0, 452 .

2. Secvenţa de autocorelaţie a unui proces aleator este


⎧ 1, m = 0
⎪ −0,5, m = ±1

γ xx [m] = ⎨
⎪ 0,625, m = ±2
⎩⎪−0,6875, m = ±3
Să se determine funcţiile de sistem Am ( z ) pentru filtrele
erorii de predicţie pentru m = 1, 2,3 , coeficienţii de reflexie K m şi
erorile pătratice medii de predicţie corespunzătoare.
Soluţie
Particularizând relaţiile (5.129) pentru datele problemei,
rezultă
⎡ γ xx [0] γ xx [1] γ xx [2]⎤ ⎡ a1 ⎤ ⎡ γ xx [1] ⎤
⎢ γ [−1] γ [0] γ [1] ⎥ ⎢ a ⎥ = − ⎢γ [2]⎥ ⇔
⎢ xx xx xx ⎥⎢ 2⎥ ⎢ xx ⎥
⎢⎣γ xx [−2] γ xx [−1] γ xx [0]⎥⎦ ⎢⎣ a3 ⎥⎦ ⎢⎣ γ xx [3]⎥⎦

353
⎡ 1 −0,5 0,625⎤ ⎡ a1 ⎤ ⎡ −0,5 ⎤
⎢ −0,5 ⎥⎥ ⎢⎢ a2 ⎥⎥ = − ⎢⎢ 0,625 ⎥⎥
⎢ −0,5 1
⎢⎣0,625 −0,5 1 ⎥⎦ ⎢⎣ a3 ⎥⎦ ⎢⎣ −0,6875⎥⎦
cu soluţia
3 1
a3[1] = 0; a3[2] = − ; a3[3] = .
8 2
3 1 1
A3 ( z ) = 1 − z −2 + z −3 , K 3 = a3[3] =
8 2 2
Funcţiile de sistem ale predictorului de ordin inferior se
determină recursiv din relaţia
A ( z ) − K m Bm ( z )
Am−1 ( z ) = m , m = 3, 2,1 ,
1 − K m2
care conduce la soluţiile
1 −1 1 −2 1
A2 ( z ) = 1 + z − z , K 2 = a2 [2] = −
4 2 2
1 1
A1 ( z ) = 1 + z −1 , K1 = a1[1] =
2 2
Eroarea de predicţie a predictorului cu m trepte se determină
cu relaţia
Emf = Emf −1 (1 − K m2 ) , cu E0f = γ xx [0] .
Rezultă atunci:
⎛ ⎛ 1 ⎞2 ⎞ 3
E = E (1 − K ) = γ xx [0] ⎜ 1 − ⎜ ⎟ ⎟ =
f f 2
1 0 1 ⎜ ⎝2⎠ ⎟ 4
⎝ ⎠
E2f = E1f (1 − K 22 ) = γ xx [0](1 − K12 )(1 − K 22 ) =
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞ 9
= ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ =
⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟ 16
⎝ ⎠⎝ ⎠

354
E3f = E2f (1 − K 32 ) = γ xx [0](1 − K12 )(1 − K 22 )(1 − K 32 ) =
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞ 27
= ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ =
⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟ 64
⎝ ⎠⎝ ⎠⎝ ⎠

3. a) Să se determine spectrele de putere pentru procesele


aleatoare generate de următoarele ecuaţii cu diferenţe:
1) x[n] = −0,81x[ n − 2] + w[n] + w[n − 1]
2) x[n] = w[n] − w[n − 2]
3) x[n] = −0,81x[ n − 2] + w[n]
b) pentru procesele (2) şi (3), să se determine funcţiile de
autocorelaţie.
Soluţie
1 − z −1
a1. H ( z ) =
1 + 0,81z −2

Γ xx ( z ) = σ H ( z ) H ( z ) = σ
2 −1 2 (1 − z ) (1 − z ) =
−1

w w
(1 + 0,81z )(1 + 0,81z )
−2 2

2 − ( z + z −1 )
=σ 2
w
1,6561 + 0,81( z 2 + z −2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
2(1 − cos 2π f )
Γ xx ( f ) = σ w2
1,6561 + 1,62 ⋅ cos 4π f
a2. H ( z ) = 1 − z −2
Γ xx ( z ) = σ w2 H ( z ) H ( z −1 ) = σ w2 (1 − z −2 )(1 − z 2 ) = σ w2 (2 − z −2 − z 2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
Γ xx ( f ) = σ w2 (2 − 2cos 4π f )

355
1
a3. H ( z ) =
1 + 0,81z −2
1
Γ xx ( z ) = σ w2 H ( z ) H ( z −1 ) = σ w2 =
(1 + 0,81z )(1 + 0,81z )
−2 2

1
= σ w2
1,6561 + 0,81( z 2 + z −2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
1
Γ xx ( f ) = σ w2
1,6561 + 1,62 ⋅ cos 4π f
b2.
γ xx [m] = Z −1{Γ xx ( z )} = Z −1{σ w2 (2 − z −2 − z 2 )} =
= σ w2 ( −δ [n + 2] + 2δ [n] − δ [n − 2])

b3.
⎧⎪ 1 ⎫⎪
γ xx [m] = Z {Γ xx ( z )} = Z ⎨σ w
−1 −1 2
2 ⎬
=
⎪⎩ (1 + 0,81z )(1 + 0,81z ) ⎭⎪
−2

⎧⎪ 1 ⎫⎪
σ w2 Z −1 ⎨ ⎬=
⎩⎪ (1 + j 0,9 z −1
)(1 − j 0,9 z −1
) (1 + j 0,9 z )(1 − j 0,9 z ) ⎭⎪
πn
= 2,9 ⋅ σ w2 ⋅ (0,9)|n| cos
2

4. Să se arate că un filtru trece tot, cu funcţia de sistem


N
zzi* − 1
H ( z) = ∏ , | zi |< 1 , are proprietatea că
i =1 z − zi

| H ( z ) |> 1, pentru | z |< 1


| H ( z ) |< 1, pentru | z |> 1 (p4.1)
| H ( z ) |= 1, pentru | z |= 1
356
Soluţie
Exprimând z şi zi* în forma polară z = r ⋅ e jω , zi = ri ⋅ e jω ,
pentru fiecare factor al produsului din enunţ se poate scrie
j (ω −ωi ) 1/ 2
zz * − 1 rre − 1 ⎛ r 2 ri 2 + 1 − 2rri cos(ω − ωi ) ⎞
| H i ( z ) |= i = i jω =⎜ 2 ⎟
z − zi re − re jωi ⎝ r + ri − 2rri cos(ω − ωi ) ⎠
2

Ţinând cont că ri < 1 , rezultă


| H i ( z ) |> 1, pentru | z |< 1
| H i ( z ) |< 1, pentru | z |> 1
| H i ( z ) |= 1, pentru | z |= 1
Prin înmulţirea factorilor H i ( z ) , rezultă relaţia (p4.1).

5. Să se arate că dacă coeficienţii de reflexie | K m |< 1 pentru


toţi m ≤ p , atunci | z p ,i |< 1 pentru toţi i ≤ p , unde z p ,i sunt
p
rădăcinile polinomului Ap ( z ) = 1 + ∑ a p [ k ]z − k .
k =1

Soluţie
Se foloseşte metoda inducţiei. Pentru p = 1 , dacă | K1 |< 1 ,
polinomul A1 ( z ) = 1 + a1[1]z −1 = 1 + K1 z −1 are rădăcina z1,1 = − K1 ,
deci, într-adevăr, | z1,1 |< 1 .
În continuare, se presupune că dacă | K m |< 1 pentru toţi
m ≤ p −1 , | z p −1, j |< 1 pentru toţi j ≤ p − 1 , unde z p −1, j sunt
p −1
rădăcinile polinomului Ap −1 ( z ) = 1 + ∑ a p [k ]z − k şi se arată că
k =1

| z p ,i |< 1.
Între polinoamele Ap −1 ( z ) şi Ap ( z ) există relaţia recursivă
Ap ( z ) = Ap −1 ( z ) + K p z − p Ap −1 ( z −1 ) (p5.1)
357
z p ,i este o rădăcină a polinomului Ap ( z ) , astfel încât înlocuind
această rădăcină în (p5.1), rezultă
Ap ( z p ,i ) = Ap −1 ( z p ,i ) + K p z −p ,pi Ap −1 ( z −p1,i ) = 0 (p5.2)
Expresia
z − p Ap −1 ( z −1 )
Q p −1 ( z ) = (p5.3)
Ap −1 ( z )
este de tip trece tot. Din (p5.2) rezultă că expresia
1 z −p ,pi Ap −1 ( z −p1,i )
− = = Q p −1 ( z p ,i ) (p5.4)
Kp Ap −1 ( z p ,i )
care caracterizează un sistem de tip trece tot. Deoarece | K p |< 1 ,
1
rezultă Q p −1 ( z p ,i ) = > 1 . Ţinând cont de rezultatul din problema
Kp
4, rezultă | z p ,i |< 1.

6.Dacă | z p ,i |< 1 pentru toţi i ≤ p , atunci


| K m |< 1 (p6.1)
pentru toţi m ≤ p , unde z p ,i sunt rădăcinile polinomului
p
Ap ( z ) = 1 + ∑ a p [k ]z − k , iar K m sunt coeficienţii de reflexie
k =1

corespunzători polinomului Ap ( z ) .
Soluţie
Produsul rădăcinilor polinomului Ap ( z ) este egal cu a p [ p ] ,
adică K p = a p [ p ] = z p ,1 ⋅ z p ,2 ⋅ ... ⋅ z p , p . Cum modulul tuturor polilor
este subunitar, rezultă | K p |< 1 , adică relaţia (p6.1) este adevărată
pentru m = p .

358
Pentru a arăta că relaţia (p6.1) este adevărată pentru
m = p − 1 , este suficient a arăta că | z p −1, j |< 1 pentru j ≤ p − 1 .
Pentru aceasta se formează funcţiile trece tot
z − p Ap ( z −1 )
Qp ( z) =
Ap ( z )
De asemenea, se foloseşte relaţia de recurenţă
Ap ( z ) − K p z − p Ap ( z −1 )
Ap −1 ( z ) = (p6.2)
1 − K p2
Deoarece Ap −1 ( z p −1, j ) = 0 , din (p6.2) rezultă
Ap ( z p −1, j ) − K p z − p Ap ( z 2p −1, j ) = 0 , adică
z −p −p1, j Ap ( z −p1−1, j ) 1
Q p ( z p −1, j ) = = > 1 , deci | z p −1, j |< 1 şi
Ap ( z p −1, j ) | Kp |
| K p −1 |=| a p −1[ p − 1] |=| z p −1,1 ⋅ z p −1,1 ⋅ ... ⋅ z p −1, p −1 |< 1 .
Continuând în acelaşi mod, se decide că | K m |< 1 pentru toţi
m≤ p.

7. Dacă | K m |< 1 pentru toţi m ≤ p − 1 şi | K p |= 1 , atunci


polinomul Ap ( z ) are toate rădăcinile pe cercul unitate, adică
| z p ,i |= 1 pentru toţi i ≤ p .
Soluţie
Din problema 6 rezultă că | z p −1, j |< 1 , deoarece | K k |< 1
pentru toţi m ≤ p − 1 .
Expresia
z − p Ap −1 ( z −1 )
Q p −1 ( z ) =
Ap −1 ( z )
este de tip trece tot. Din (p5.2) rezultă că expresia
359
z −p ,pi Ap −1 ( z −p1,i ) 1
Q p −1 ( z p ,i ) = = = 1 , ceea ce, conform relaţiei
Ap −1 ( z p ,i ) Kp
(p4.1), conduce la concluzia că | z p ,i |= 1 .

8. Dacă | K m |< 1 pentru toţi m ≤ p − 1 şi | K p |> 1 , atunci


polinomul Ap ( z ) are toate rădăcinile în exteriorul cercului unitate,
adică | z p ,i |> 1 pentru toţi i ≤ p .
Soluţie
În acest caz
z −p ,pi Ap −1 ( z −p1,i ) 1
Q p −1 ( z p ,i ) = = < 1 , ceea ce, conform relaţiei
Ap −1 ( z p ,i ) Kp
(p4.1), conduce la concluzia că | z p ,i |> 1 .

9. Un proces aleator staţionar AR(p) satisface ecuaţiile


p
⎧ σ w2 , m = 0
γ xx [m] + ∑ a p [k ]γ xx [m − k ] = ⎨
k =1 ⎩0, 1 ≤ m ≤ p
unde a p [k ] sunt coeficienţii predictorului liniar de ordin p şi σ w2
este eroarea pătratică medie minimă de predicţie. Dacă matricea de
autocorelaţie
⎡ γ xx [0] γ xx [1] … γ xx [ p ] ⎤
⎢ γ [1] γ xx [0] … γ xx [ p − 1]⎥⎥
Γ p +1 = ⎢ xx

⎢ … … … ⎥
⎢ ⎥
⎣γ xx [ p ] γ xx [ p − 1] … γ xx [0] ⎦
este pozitiv definită, să se arată că pentru 1 ≤ m ≤ p , coeficienţii de
reflexie satisfac relaţia | K m |< 1 .

360
Soluţie
Relaţia din enunţ poate fi scrisă matriceal sub forma
⎡ γ xx [0] γ xx [1] … γ xx [ p ] ⎤ ⎡ a p [0] ⎤ ⎡σ w2 ⎤
⎢ γ [1]
⎢ xx γ xx [0] … γ xx [ p − 1]⎥⎥ ⎢⎢ a p [1] ⎥⎥ ⎢⎢ 0 ⎥⎥
⋅ =
⎢ … … … ⎥ ⎢ … ⎥ ⎢… ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣γ xx [ p ] γ xx [ p − 1] … γ xx [0] ⎦ ⎣ a p [ p]⎦ ⎣ 0 ⎦
Din acest sistem de ecuaţii, rezultă
σ w2 Δ Γ p
a p [0] = , unde Δ Γ p este deternminantul matricei Γ p , iar
Δ Γ p +1
Δ Γ p+1 , determinantul matricei Γ p+1 .
Δ Γ p +1
Dar a p [0] = 1 , fapt ce conduce la σ w2 = . Cum matricea
ΔΓ p
de autocorelaţie este pozitiv definită, ambii determinanţi din relaţia
precedentă sunt pozitivi, de unde rezultă că σ w2 > 0 . Folosind
p
recursiv relaţia (3.83), rezultă σ w2 = ∏ (1 − K m2 )γ xx [0] > 0 , unde K m
m =1

reprezintă coeficienţii lattice corespunzători predictorului liniar.


Relaţia precedentă implică | K m |< 1 .

361
6. BIBLIOGRAFIE

1. Ambromowitz M., Stegun I. A., Handbook of Mathematical Functions,


Dover Publications, Inc. New York, 1965.
2. Antoniou, A., Digital Filters: Analysis and Design, McGraw-Hill,
New York, 1979.
3. Bartlett, M. S., “Smoothing periodograms from time series with
continuous spectra”, Nature, London, vol 161, pp.686-687, 1948.
4. Blackman, R. B., Tukey J. W., The measurement of power spectra,
Dover, New York, 1958.
5. Bracewell, R. N., The Fourier Transform and Its Applications,
McGraw-Hill, New York, 1978.
6. Bucur, C. M., Metode numerice, Timisoara, Ed. Facla, 1973.
7. Burg, J. P. “The relationship between maximum entropy and
maximum likelihood spectra”, Geophisics, vol 37, pp. 375-376, 1972.
8. Burg, J. P., Maximum entropy spectral analysis, Modern spectrum
analysis, Ed. IEEE Press, New York.
9. Cadzow, J. A., “ARMA spectral estimation: An efficient closed form
procedure” Proc. RADC Spectrum Estimation Workshop, pp. 81-97,
Rome, New York.
10. Cadzow, J. A. “Autoregresive Moving Average Spectral Estimation: A
Model Equation Error Procedure”, IEEE Trans. Geoscience Remote
Sensing, vol. GE 19, 1991.
11. Capon, J. “Maximum Likelihood Spectral Estimation”, Nonlinear
Methods of Spectral Analysis, 2-nd Ed. Ed. Springer Verlag, New
York.
12. Cartianu Gh., Săvescu M., Constantin I., Stanomir D, Semnale, circuite
şi sisteme, Editura Didactică şi Pedagogică, Bucureşti, 1980.
13. Cunningham, E. P.,Digital Filtering. An Introduction, Houghton
Mifflin Company, New Jersey, 1992.
14. Chen, C. T., Introduction to Linear System Theory, Holt, Rinehart and
Winston, New York, 1970.
15. Chen, W. Y., Stegan, G. R., Experiments with maximum entropy
power spectra of sinusoids”, J. Geophys. Res. Vol.79, pp. 3019 – 3022,
1974.
16. Ciochină, S., Prelucrarea numerică a semnalelor- partea I, U. P. B.,
1995.
17. Ciochină S., Prelucrarea numerică a semnalelor-
www.comm.pub.ro/test/curs/pns. 2003.
18. Childers, D. G., Modern Spectrum Estimation, IEEE Press, New York,
1978.
362
19. Chow, J. C., “On estimating the orders of an autoregressive moving
average process with uncertain observations”, IEEE Trans. Automatic
Control, vol. AC 17 pp. 707-709, 1972.
20. Crochiere, R. E., Rabiner, L. R., Multirate Digital Signal Processing,
Prentice Hall, Englewood Cliffs, NJ, 1983.
21. Fougere, P. F., Zawalick, E. J., Radosky, H. R., “Spontaneous line
splitting in maximum entropy power spectrum analysis”, Phys. Earth
Planet. Inter., vol.12, 201-207, 1976.
22. Gardner, W. A., Statistical spectral analysis: A nonprobabilistic
Theory, Prentice Hall Englewood Cliffs, N.J. 1987.
23. Gold B. and Rader C., Digital Processing of Signals, McGraw-Hill,
New York 1969.
24. Goraş L., Semnale, circuite şi sisteme, Iaşi Ed. Gh. Asachi, 1994.
25. Grenander, O., Szego, G., Toeplitz Form and Their Applications,
University of California Press, Berkley, Calif, 1958.
26. Grigoraş, V., Tărniceriu, D., Prelucrarea numerică a semnalelor, Ed.
Gh. Asachi Iaşi, 1995.
27. Guillemin E., A., Network Analysis and Synthesis, McGraw Hill Book
Co., New York, 1957.
28. Hamming R. W., Digital Filters, Prentice-Hall, 1983.
29. Haykin, S., Adaptive Filter Theory, Prentice Hall, Englewood Cliffs,
NJ, 1993.
30. Isar, A., Naforniţă, I., Reprezentari timp – frecvenţă a semnalelor, Ed.
Politehnica Timişoara, 1998.
31. Jackson, L. B., Digital Filters and Signal Processing, Kluwer
Academic Publisher, Hingham, 1989.
32. Jackson L. B., “Roundoff-noise analysis for fixed point digital filters
realized in cascade or parallel form”, IEEE Trans. Audio
Electroacustics, vol AU-16, pp. 107-122, Iune 1970.
33. Jackson L. B., Digital Filters and Signal Processing, Kluwer
Academic Publishers, Hingham, MA, 1986.
34. Jenkins M. G., Watts G. D., Spectral Analysis and its applications,
Holden Day, San Francisco.
35. Johnson, D. H., “The application of spectral estimation methods to
bearing estimation problems”, Proc. IEEE, vol.70, pp. 1018-1028,
1982.
36. Kalmam, R. E., “A new approach to linear filtering and prediction
problems”, Trans. ASME, J. Basic Eng. Vol 82D, 1960.
37. Kalman R. E., Bucy, R. S., “New results in linear filtering theory”,
Trans. ASME J. Basic Eng. Vol 83, 1961.
38. Kay, S. M., Modern spectral estimation, Prentice Hall, Englewood
Cliffs, N.J. 1988.

363
39. Lacos, R. T., “Data adaptive spectral analysis methods”, Geophysics,
vol. 36, pp. 661 – 675, 1971.
40. Marple S. L., Digital spectral analysis with applications, Prentice Hall,
Englewood Cliffs, N.J. 1987.
41. Mateescu, A., Semnale, circuite şi sisteme, Editura Didactică şi
Pedagogică, Bucureşti, 1984.
42. Mateescu, A., Semnale, circuite şi sisteme, Ed. Didactică şi
Pedagogică, 1985.
43. Mateescu, A., Ciochină, S., Dumitriu, N., Şerbănescu, A., Stanciu, N.,
Prelucrarea numerică a semnalelor, Ed. Didactică şi Pedagogică,
1997.
44. Mersereau R. M. and. Smith M. J. T, Digital Filtering-A computer
Laboratory Textbook, John Wiley, 1994.
45. Mitra S. K., Handbook for Digital Signal Processing, John Wiley &
Sons, New-York, 1973, pp. 155-270.
46. Mitra S. K., Kaiser J. F., Handbook for Digital Signal Processing,
John Wiley, New-York, 1993.
47. Munteanu, V., Detecţie şi estimare, Ed. Gh. Asachi Iaşi, 1997.
48. Munteanu, V., Teoria Transmisiunii Informaţiei, Ed. Gh. Asachi Iaşi,
2002.
49. Naforniţă, I., Câmpeanu, A., Isar, A., Semnale, circuite şi sisteme,
Universitatea Politehnica Timişoara, 1995.
50. Oppenbeim A.V. and Schafer R.W., Digital Signal Processing,
Prentice-Hall, 1975.
51. Oppenheim A. V., Shafer R. W., Applications of Digital Signal
Processing, Englewood Cliffs, NJ. Prentice Hall, 1978.
52. Oppenheim A. V., Shafer R. W, Discrete - Time Signal Processing,
Englewood Cliffs, NJ. Prentice Hall, 1989.
53. Oppenheim A. V., Shafer R. W, Discrete - Time Signal Processing,
Englewood Cliffs, NJ. Prentice Hall, ed. 2, 2001.
54. Papoulis, A., The Fourier Integral and Its Application, McGraw-Hill,
New York, 1962.
55. Papoulis, A., Signal Analysis, McGraw - Hill, New York, 1977.
56. Papoulis, A., Probability, Random Variables and Stochastic Processes,
McGraw-Hill, New York, 1984.
57. Parks T. W. and Burrus C. S., Digital Filters and Design, John Wiley,
New York 1987.
58. Proakis, J. G., Digital Communications, McGraw-Hill, New York,
1983.
59. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillan, 1988, 1st Ed..
60. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillian, 1992, 2nd Ed.
364
61. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillian, 1996, 3rd Ed.
62. Proakis, J. G., Rader, C. M., Ling, F., Nikias, C. L., Advanced Digital
Signal Processing, Macmillan Publishing Company, 1992.
63. Rabiner L. R., Gold B., Theory and Application of Digital Signal
Processing, Prentice-Hall, 1975.
64. Rabiner, L., R., Schafer, R. W., Digital Processing of Speech Signals,
Prentice Hall, Englewood Cliffs, N. J. 1978.
65. Roberts A. R., Mullis T. C., Digital Signal Processing, Addison-
Wesley Publishing Company, 1987.
66. Rusu, C., Prelucrarea numerică a semnalelor, Ed. Risoprint, Cluj
Napoca, 2000.
67. Rusu, C., Prelucrări digitale de semnale, Ed. Mediamira, Cluj Napoca,
2000.
68. Shanks, J. L., “Recursion Filters for Digital Processing”, Geophisics,
vo. 32, pp. 33 – 51, febr. 1967.
69. Tărniceriu, D., Grigoraş, V., Prelucrarea numerică a semnalelor, Ed.
Gh. Asachi Iaşi, 1995.
70. Tărniceriu, D., Bazele prelucrării numerice a semnalelor, Ed.
Vasiliana 98, Iaşi, 2001.
71. Tărniceriu, D., Filtrare digitală, Ed. Tehnopres, Iaşi, 2004.
72. Ulrich T. J., Clayton, R. W., “Time series modeling and maximum
entropy” Phys. Earth Planet. Inter., vol. 12, pp. 188 – 200, 1976.
73. Vaidyanathan, P.P., Filter Banks and Multirate Signal Processing,
Englewood Cliffs, N. J. Prentice Hall, 1993.
74. P. P. Valdyanathan, “On error spectrum shaping in state space digital
filters”, IEEE Trans. Circuits Systems, CAS-32, pp. 88-92, 1985.
75. L. Weinberg, Network Analysis and Synthesis, McGraw-Hill Book Co.,
New York 1973.
76. Vich, R., Z - Transform Theory and Applications, D. Reidel Publishing
Company, Dordrecht, Holland, 1987.
77. Wiener, N., Paley, R. E. A. C., Fourier Transforms in the Complex
Domain, American Mathematical Society, Providence, R. I., 1934.

365
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

Laborator TEFO
Lucrarea nr. 1

NOŢIUNI DE BAZĂ, CRITERII DE EVALUARE A ESTIMATULUI,


INEGALITATEA CRAMER-RAO

Estimarea parametrilor unui semnal se poate considera o generalizare a problemei de


detecţie pentru o infinitate de ipoteze, bazându-se pe teoria deciziilor statistice. Există
numeroase aplicaţii ale acestei teorii, dintre care menţionăm câteva în continuare.
La sistemele radar trebuie determinată poziţia unui obiect. Pentru aceasta se transmite
un puls electromagnetic, care este reflectat de obiectul respectiv. Ecoul recepţionat are
amplitudine mult mai mică decât unda transmisă şi, în plus, este înecat în zgomot. Prin analiza
eşantioanelor acestui ecou se poate stabili poziţia aproximativă a obiectului. Sonarul are un
principiu asemănător. Tinta radiază zgomot datorită maşinilor de la bord, elicii etc. Zgomotul
este recepţionat de o matrice de senzori. Ieşirile senzorilor sunt transmise la un calculator care
poate estima direcţia ţintei. O altă aplicaţie constă în recunoaşterea vorbirii. Identificarea
fonemelor se face pe baza unui model denumit codare predictivă liniară şi se pune problema
estimării parametrilor acestui model. De asemenea, pot fi estimaţi parametrii filtrelor digitale
care trebuie să asigure o anumită caracteristică de frecvenţă. Analiza imaginilor presupune
identificarea poziţiei şi orientării unui obiect, folosind numai imagini obţinute cu o cameră. In
comunicaţii trebuie estimată frecvenţa purtătoare a semnalelor pentru a le demodula în banda
de bază. Alte aplicaţii există în biomedicină, seismologie (estimarea poziţiei zăcămintelor),
echipamente de control, experimente fizice, ş.a.m.d.

1. Problema estimării

Pentru a găsi estimatori buni, primul pas este modelarea datelor. Deoarece acestea sunt
inerent aleatoare, ele sunt descrise de o funcţie densitate de probabilitate (PDF) notată
p ( x [ 0] , x [1] , , x [ N − 1] ; θ ) . Funcţia p depinde de parametrul necunoscut θ , deci vor exista o
mulţime de PDF, diferite pentru valori ale lui θ diferite.
În probleme reale PDF nu este dată; ea trebuie aleasă astfel încât să respecte
constrângerile impuse şi cunoştinţele prealabile. Pe de altă parte, PDF trebuie aleasă astfel încât
să poată fi tratată matematic. Odată stabilită funcţia densitate de probabilitate, urmează să se
determine, pornind de la date, estimatorul optim sau, dacă acesta nu poate fi găsit sau nu poate
fi implementat, un estimator suboptim.
Mai întotdeauna trebuie să se facă un compromis între performanţă şi complexitatea
calculului. După cum se va vedea, uneori estimatorii optimi sunt relativ dificil de obţinut,
necesitând integrare sau optimizare multidimensională. Practic, pentru fiecare aplicaţie în parte,
utilizatorul trebuie să stabilească ce fel de estimator va folosi.
Trebuie remarcat că un estimator este o variabilă aleatoare, ca şi datele pe baza cărora
este calculat. În consecinţă, performanţa sa poate fi complet descrisă numai statistic, indicând
PDF pentru estimator, care se poate calcula matematic (în cazurile simple) sau aproxima prin
metoda Monte Carlo.

1
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

Ne vom restrânge atenţia la estimatori care dau în medie valoarea adevărată. În această
clasă de estimatori, vom încerca să-l găsim pe cel cu dispersia cea mai mică, în speranţa că el
va produce valori apropiate de valoarea adevărată în cele mai multe cazuri.

2. Noţiuni de bază

2.1. Estimatorul nedeplasat

Un estimator este nedeplasat dacă el va produce, în medie, valoarea adevărată a


parametrului necunoscut, oricare ar fi această valoare. Matematic, această condiţie se exprimă
astfel:
E ( est (θ ) ) = θ , ∀θ , (1)
unde θ este parametrul necunoscut (poate fi şi un vector de parametri, notat θ ), iar est (θ ) (sau
θ ) este estimatorul acestuia. est (θ ) este o funcţie de date, est (θ ) = g ( x ) .
Dacă x =  x [0] x [1]  x [ N − 1] , unde x [ n ] , cu n = 0,1,, N − 1 ,
T
sunt
eşantioanele pe baza cărora se face estimarea, putem formula condiţia (1) astfel:
E ( est (θ ) ) =  g (x ) ⋅ p (x;θ )dx = θ , ∀θ .
2.2. Deplasarea unui estimat

Dacă valoarea medie a estimatului este de forma


E ( est (θ ) ) = θ + b(θ ), ∀θ ,
se spune că estimatul are o deplasare necunoscută, b(θ ) , care depinde de valoarea parametrului
necunoscut. Într-o observare particulară (un anumit x) chiar şi estimatul nedeplasat poate da
erori mari dacă dispersia erorii de estimare este mare. În unele cazuri se preferă un estimat cu
deplasare şi dispersie mică în locul unuia cu deplasare nulă şi dispersie mare.
Exerciţiul 1 - Estimarea nivelului de curent continuu
Se consideră observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , în care A este parametrul
necunoscut, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Se consideră doi
estimatori:
1 N -1
est1( A) = x[n]
N n =0
1 N -1
est 2( A) = x[n]
2 N n =0
Să se calculeze deplasările celor doi estimatori.

2.3. Criteriul de optimalitate a unui estimat: eroarea pătratică medie

Faptul că un estimator este nedeplasat nu înseamnă neapărat că este un bun estimator, ci


numai că valoarea sa medie este chiar valoarea sa reală.
Se pune problema găsirii unor estimatori optimi. Un criteriu natural pentru a aprecia

2
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

optimalitatea este eroarea pătratică medie:


ε θ2ˆ = mse ( est (θ ) ) = E  ( est (θ ) − θ ) 
2
(2)
(mse provine din “mean square error”). Din păcate, adoptarea acestui criteriu duce la estimatori
nerealizabili (care nu se pot scrie numai în funcţie de date). Astfel, pentru un estimator deplasat
(cazul scalar ) există relaţia:
E ( est (θ ) ) = θ + b(θ ) (3)
şi
mse ( est (θ ) ) = var ( est (θ ) ) + b 2(θ ) (4)
(verificaţi această relaţie).
Dacă se impune condiţia de minim în relaţia (4), se obţine un estimator care, de cele mai
multe ori, depinde de θ .
Un program care generează observaţiile x [ n ] , calculează cei doi estimatori din
Exercițiul 1, mediile şi deplasările lor, valorile mse şi verifică relaţia (4) este tefo1_ex1:
%program tefo1_ex1
clear;
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);
%calculul primului estimat est1=1/N*sum(x[n])
est1=mean(X,2);
%calculul celui de al doilea estimator est2=1/(2*N)*sum(x[n])
est2=1/2*mean(X,2);
fprintf('Estimatorul 1:\n');
b1=mean(est1)-A; % deplasarea primului estimator
disp('b1=');disp(b1);
% eroarea patratica medie pentru primul estimator
eps1med=mean((est1-A).^2);
disp('mse1=');disp(eps1med);
% varianta primului estimator
VarEst1=std(est1)^2;
disp('var(est1)=');disp(VarEst1);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est1)+b1^2=');disp(VarEst1+b1^2);
fprintf('Estimatorul 2:\n');
b2=mean(est2)-A; % deplasarea celui de-al doilea estimator
disp('b2=');disp(b2);
% eroarea patratica medie pentru al doilea estimator
eps2med=mean((est2-A).^2);
disp('mse2=');disp(eps2med);
% varianta celui de-al doilea estimator
VarEst2=std(est2)^2;

3
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

disp('var(est2)=');disp(VarEst2);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est2)+b2^2=');disp(VarEst2+b2^2);

Exercițiul 2 - În condiţiile Exerciţiului 1 se consideră estimatorul


N -1
1
est ( A) = a
N
x[n] ,
n =0

Varianța zgomotului w [ n ] este var ( w [ n ]) = σ .


2

Verificați că media şi dispersia acestui estimator sunt:


E (est ( A)) = a A

var( est ( A)) = a 2


σ2
N
Din relaţia (4) se obţine:
2 2

mse(est ( A)) = + (a − 1)2 A2
N
Verificați prin derivarea în raport cu a a erorii pătratice medii și apoi egalarea expresiei
obținute cu 0 că valoarea optimă a parametrului a este:
2
A
a opt = 2
2 σ
A +
N
Se observă că estimatorul optim depinde de A, deci nu este realizabil.

Un program similar celui din exemplul 1, dar pentru estimatorul din exemplul 2 este
tefo1_ex2:

%program tefo1_ex2
clear;

%generarea mai multor realizari ale semnalului x[n]


M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);

a=0.9; %se schimba ulterior cu linia urmatoare


% a=A^2/(A^2+1/N);
%calculul estimatorului est=a*1/N*sum(x[n])
est=a*mean(X,2);

% media estimatorului
m=mean(est);
disp('m=');disp(m);
b=m-A; % deplasarea estimatorului
disp('b=');disp(b);

4
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

% varianta estimatorului
VarEst=std(est)^2;
disp('VarEst=');disp(VarEst);
% eroarea patratica medie pentru estimator
mse=mean((est-A).^2);
disp('mse=');disp(mse);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est)+b^2=');disp(VarEst+b^2);

2.4. Estimatorul nedeplasat, de dispersie minimă (MVU)

Dificultăţile în găsirea unui estimator cu eroare pătratică medie minimă provin din
existenţa termenului b2(θ ) în expresia mse. Pentru a putea trata matematic problema, este
necesar a se renunţa la estimatorul bazat pe mse minimă şi considerarea cazului estimatorilor
nedeplasaţi a căror dispersie se minimizează. În acest caz se obţine:
mse(est (θ )) = var( est (θ )) (5)
Minimizând expresia (5), se poate deduce, în anumite situaţii, un estimator realizabil pe
care îl vom numi estimator MVU (estimator nedeplasat, de dispersie minimă - Minimum
Variance Unbiased).
Nu totdeauna există un estimator MVU şi, chiar dacă există, uneori este imposibil să se
obţină o formulă matematică pentru el.

2.4.1. Existenţa estimatorului MVU. Estimatorul MVU uniform


În practică apare problema existenţei unui estimator MVU pentru toate valorile lui θ .
Pot apărea două situaţii, ca în Figura 1.
var(est(θ)) var(est(θ))

est1(θ) est1(θ)
est2(θ) est2(θ)
est3(θ)=
estimator
est3(θ)
MVU

0 a) θ 0 b) θ0 θ
Figura 1

Dacă există 3 estimatori nedeplasaţi, ale căror dispersii sunt reprezentate în Fig. 1a) şi
b), se vede clar că pentru Fig. 1a), est3 (θ ) este de dispersie minimă. În situaţia din Fig. 1b) nu
există estimator de dispersie minimă, deoarece pentru θ < θ0 , est2 (θ ) este mai bun, în timp ce
pentru θ > θ0 , est3 (θ ) este mai bun. În primul caz, est3 (θ ) se numeşte estimator uniform, de

5
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

dispersie minimă, nedeplasat, pentru a evidenţia că dispersia sa este cea mai mică pentru toţi
θ.
Exerciţiul 3
Se presupun două observaţii independente x[0] şi x[1] distribuite cu PDF Gaussiană
astfel:
x[0]  N (θ ,1)
 N (θ ,1), pt. θ ≥ 0
x[1]  
 N (θ , 2), pt. θ < 0
unde N (θ , σ 2 ) reprezintă o variabilă aleatoare cu distribuție Gaussiană de medie θ și dispersie
σ 2 . Se consideră estimatorii est1 (θ ) = ( x [0] + x [1]) 2 şi est2 (θ ) = ( 2 ⋅ x [0] + x [1]) 3 . Pentru
aceştia să se calculeze deplasările, să se reprezinte dispersiile şi să se decidă dacă sunt MVU.

Programul pentru estimatorii din exerciţiul 3 este tefo1_ex3:

%program tefo1_ex3
clear;
clc;
close all;

%generarea mai multor realizari ale semnalelor x0[n], x1[n]


N=100000; %nr. de esantioane ale lui x[n]
A=[-5:0.1:5];
M=length(A);
for i=1:length(A)
X0(i,:)=A(i)+randn(1,N);
if(A(i)>=0)
X1(i,:)=A(i)+randn(1,N);
else
X1(i,:)=A(i)+sqrt(2)*randn(1,N);
end
end
%calculul primului estimator est1=(x0[n]+x1[n])/2
est1=(X0+X1)/2;
%calculul celui de al doilea estimator est2=(2*x0[n]+x1[n])/3
est2=(2*X0+X1)/3;

b1=mean(est1,2)-A'; % deplasarea primului estimator


b2=mean(est2,2)-A'; % deplasarea celui de-al doilea estimator
figure(1);
plot(A,b1',A,b2'); axis([-5 5 -0.1 0.1]); grid on
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Deplasare');
% varianta primului estimator
VarEst1=std(est1').^2;
% varianta celui de-al doilea estimator
VarEst2=std(est2').^2;

6
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

figure(2);
plot(A,VarEst1,A,VarEst2);
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Dispersie');

Exemplul 4
Fie datele din figura următoare:
3.5

2.5

1.5

0.5

-0.5

-1

-1.5
0 10 20 30 40 50 60 70 80 90 100

Figura 2
Dintr-o inspecţie vizuală a imaginii datelor pare că x [ n ] este format dintr-un nivel de
c.c. A sumat cu zgomot. Datele pot fi modelate cu funcţia x [ n ] = A + w [ n ] , unde w [ n ] este un
zgomot de medie nulă. Pe baza datelor x [0] , x [1] , , x [ N − 1] se doreşte a se estima nivelul A .
Intuitiv, dacă A este nivelul mediu a lui x [ n ] ( w [ n ] are medie nulă) pare potrivit a folosi în
estimarea lui A estimatorul
N -1
1
Aˆ =
N
x[n] ,
n =0

adică media eşantioanelor de date. Apar următoarele întrebări:


1 - Cât de apropiat este  de A ?
2 - Există estimatori mai buni decât media eşantioanelor?
Pentru exemplul din figură rezultă Aˆ = 0.92 , care este apropiat de valoarea reală A = 1 . Un alt
estimator ar putea fi Aˆ 1 = x[0] . Intuitiv, nu ne aşteptăm ca acest estimator să fie la fel de bun ca
cel precedent deoarece nu foloseşte toate datele. În acest caz nu există o mediere care să reducă
efectul zgomotului. Din figură se obţine Aˆ 1 = 0.95 care este mai apropiat de A decât media
eşantioanelor, dar din acest lucru nu se poate trage concluzia că Â1 este un estimator mai bun
decât  .
Deoarece un estimator este o funcţie de date care sunt aleatoare, rezultă că şi acesta este
o variabilă aleatoare rezultată din mai multe realizări posibile. Faptul că Â1 este mai apropiat de
A (valoarea reală) înseamnă că pentru o anumită realizare a datelor estimatul este mai apropiat
de A decât  . Evaluarea performanţelor estimatului se realizează statistic. O posibilitate este de
a repeta experimentul care a generat datele şi de a aplica fiecare estimator la fiecare set de date

7
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

decizând ulterior care estimator este mai bun în majoritatea cazurilor.


Prespunem că se repetă experimentul pentru A = 1 fixat şi adunând diferite zgomote
w [ n ] . Apoi, se determină valorile celor doi estimatori pentru fiecare set de date şi în final se
reprezintă histograma. Aceasta arată de câte ori un estimator produce o valoare dintr-un
domeniu dat şi este o aproximare a PDF. Din acestea este evident că Â este un estimator mai
bun ca Â1 , deoarece valorile obţinute sunt cu mult mai centrate în jurul valorii reale A = 1 .
Pentru a arăta că Â este un estimator mai bun, calculați media şi dispersia celor doi estimatori.
Se presupune că zgomotul w [ n ] are valoare medie nulă, eşantioanele sale sunt necorelate şi au
dispersia σ 2 . Sunt estimatorii nedeplasați? Care are dispersia mai mică?
Pentru compararea celor doi estimatori se foloseşte programul Matlab tefo1_ex4, în care
datele x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , se obţin prin sumarea unui nivel de c.c. A = 4 cu
w [ n ] , un zgomot distribuit Gaussian cu medie nulă și dispersie σ 2 = 1 . Se reprezintă x [ n ] şi se
calculează estimatorii. Pentru aceştia se calculează media şi dispersia şi apoi se reprezintă
histogramele. Discuţie.

%program tefo1_ex4
clear;

%generarea mai multor realizari ale semnalului x[n]


M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);

%calculul primului estimat est1=1/N*sum(x[n])


est1=mean(X,2);
%calculul celui de al doilea estimator est2=x[0]
est2=X(:,1);
%Reprezentarea distributiei lui est1 si calculul var(est1)
figure(1)
hist(est1,20); axis([0 8 0 30]); grid on
title('Histograma pentru est1')
VarEst1=std(est1)^2;
disp('var(est1)'); disp(VarEst1);

%Reprezentarea distributiei lui est2 si calculul var(est2)


figure(2)
hist(est2,20); axis([0 8 0 30]) ; grid on
title('Histograma pentru est2')
VarEst2=std(est2)^2;
disp('var(est2)'); disp(VarEst2);

%Punerea in evidenta a ergodicitatii pentru primul estimat


%Media temporala
fprintf('Media temporala 1 = %f \n',est1(1));
%Media statistica
fprintf('Media statistica 1 = %f\n',mean(est1));

8
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

%Punerea in evidenta a ergodicitatii pentru al doilea estimat


%Media temporala
fprintf('Media temporala 2 = %f \n',est2(1));
%Media statistica
fprintf('Media statistica 2 = %f',mean(est2));

3. Evaluarea performanţei estimatorilor nedeplasaţi pe baza limitei Cramer-


Rao

În practică este foarte util să se poată găsi o limită inferioară pentru dispersia
estimatorilor nedeplasaţi. În cazul cel mai defavorabil - când nu se poate găsi nici un estimator
care să o atingă - limita poate fi totuşi folosită pentru compararea performanţelor estimatorilor
existenţi. Au fost identificate mai multe limite inferioare, dintre care limita Cramer-Rao (CR)
este cea mai uşor de aplicat.
Înainte de prezentarea teoremei CR, este util să analizăm factorii care determină cât de
bine putem estima un parametru. Deoarece toate informaţiile sunt conţinute în datele observate
şi în PDF a datelor, nu este surprinzător că acurateţea estimării depinde direct de PDF. De
exemplu, nu ne vom aştepta să putem estima un parametru cu orice precizie dacă PDF nu
depinde decât foarte slab de acest parametru, sau, în situaţia extremă, dacă nu depinde deloc de
acesta. În general, cu cât PDF este mai puternic influenţată de parametrul necunoscut, cu atât
mai bine îl vom putea estima pe acesta. Atunci când PDF este văzută ca o funcţie de parametrul
necunoscut, ea poartă numele de funcţie de plauzibilitate.

3.1. Limita inferioară Cramer-Rao pentru parametru scalar. Estimatul eficient

Dispersia oricărui estimator nedeplasat satisface inegalitatea


1 1
var(est (θ )) ≥ = (6)
 ln p (x;θ ) 
2
  ∂ ln p( x;θ )  2 
-E  ∂  E  
 ∂θ 2    ∂θ  
cunoscută sub numele de inegalitatea Cramer-Rao, unde medierea se efectuează în raport cu x
şi θ. Derivata este evaluată în valoarea adevărată a lui θ. Numitorul din relaţia de mai sus poartă
numele de informaţia Fisher și se notează cu I (θ ) . Marginea inferioară (6) presupune existența
două condiții de regularitate asupra PDF p(x;θ ) și a estimatorului est (θ ) :
∂ ln p (x;θ )
1) Pentru toți x , astfel încât p(x;θ ) > 0 , derivata există și este finită.
∂θ
2) Operațiile de integrare în raport cu x și diferențiere în raport cu θ pot fi interschimbate
în medierea lui est (θ ) , adică:
∂   = est (θ ) ⋅  ∂ p ( x;θ )  dx
 est (θ ) ⋅ p ( x; θ ) dx    ∂θ  (7)
∂θ 
oricând membrul drept este finit.
Observaţie: Facem observaţia că, dacă în condiţia de regularitate (7) considerăm est (θ ) = 1 ,
atunci este adevărată egalitatea

9
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

 ∂ ln p (x;θ )  ∂ ln p (x;θ ) 1 ∂p (x;θ )


E  = ⋅ p (x;θ )dx =  ⋅ ⋅ p (x;θ )dx =
 ∂θ  ∂θ p (x;θ ) ∂θ
∂p (x;θ ) ∂ ∂1
= dx =  p (x;θ )dx = =0 (8)
∂θ ∂θ ∂θ
Se poate găsi un estimator nedeplasat care să atingă limita, dacă şi numai dacă
∂ ln p (x;θ )
= I (θ ) ⋅ ( g ( x ) - θ ) , (9)
∂θ
pentru nişte funcţii g şi I. Estimatorul este dat în acest caz de relaţia
est (θ ) = g (x ) (10)
şi este MVU, iar dispersia minimă este 1 I (θ ) . Estimatul a cărui dispersie atinge limita
inferioară Cramer Rao se numeşte eficient.

Exemplul 5 – Estimarea nivelului de curent continuu perturbat de zgomot aditiv


alb Gaussian (AWGN)
Considerăm observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , unde w [ n ] este WGN cu
media nulă şi dispersia σ 2 . Se cere să se estimeze A .
N -1
1  1 2 1  1 N -1 2
p( x; A) = ∏ exp  − 2 ⋅ ( x[n ] − A)  = ⋅ exp  − 2 ⋅  ( x[n ] − A) 
n =0 2πσ 2  σ2  ( 2πσ ) 2 N 2
 2σ n =0 
∂ ln p( x; A) 1 N -1 N
= 2 ⋅  ( x[n ] − A) = 2 ⋅ ( x − A)
∂A σ n =0 σ
2
∂ ln p( x; A) = − N
∂ A2 σ2
Aplicând teorema, deducem că limita inferioară Cramer-Rao este
var(est ( A)) ≥
σ2 (11)
N
Această limită este atinsă de estimatorul
estef (A)= x (12)

Exemplul 6 – Estimarea fazei unei sinusoide perturbate de zgomot AWGN


Se cere să se estimeze faza unei sinusoide afectate de WGN de medie nulă:
x[n ] = A ⋅ cos(2π fn + φ ) + w[n ], n = 0,1,..., N -1
Amplitudinea şi frecvenţa se presupun cunoscute. PDF este:
1  1 N -1 2
p ( x; φ ) = ⋅ exp  − 2   x[n ] − A ⋅ cos ( 2π fn + φ )  
( 2πσ )
2 N 2
 2σ n =0 
Diferenţiind logaritmul funcţiei de plauzibilitate rezultă:
∂ ln p( x; φ ) 1 N -1
= − 2 ⋅   x[n ] − A cos ( 2π fn + φ )  ⋅ A ⋅ sin ( 2π fn + φ ) =
∂φ σ n =0
N -1
A  A 
2 
=− ⋅ x[n ] ⋅ sin ( 2π fn + φ ) − ⋅ sin ( 4π fn + 2φ ) 
σ n =0  2 

10
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

∂ ln p( x; φ ) A N -1
2

∂φ 2
= −   x[n] ⋅ cos ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
σ 2 n =0
În final se calculează valoarea medie, cu semn schimbat, a ultimei expresii:
 ∂ 2 ln p( x;φ )  A N -1
2 
−E  2  = ⋅  A ⋅ cos2 ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ ) 
 ∂φ  σ n =0
2 N -1
1 1  NA2 A2  N -1 j (4π fn + 2φ ) 
= A2 ⋅   + cos ( 4π fn + 2φ ) − cos ( 4π fn + 2φ )  = 2
− ⋅ Re  e =
σ n =0  2 2  2σ 2σ 2  n =0 
2 2
 j 4π Nf
− 1  NA 2 2
sin ( 2π Nf ) ⋅ cos ( 2π ( N − 1) f + 2φ )
= NA2 − A 2 ⋅ Re  e j 2φ ⋅ e j 4π f  = − A2⋅
2σ 2σ  e − 1  2σ 2
2σ sin ( 2π f )
Presupunând că f este depărtat de 0 şi 0.5, se poate face aproximarea:
 2 ln p ( x;φ )  NA2
−E  ∂ ≅ 2 2
 ∂φ 2  σ
şi deci
2σ 2
var(est (φ )) ≥ 2
(13)
NA
Condiţia (9) nefiind îndeplinită, nu există nici un estimator nedeplasat care să atingă
această limită.

3.2. Semnale afectate aditiv de zgomot alb Gaussian. Cazul scalar

Întrucât de cele mai multe ori se presupune că zgomotul este alb şi Gaussian, este util să
se determine limita inferioară Cramer-Rao pentru acest caz. În continuare se presupune un
semnal determinist afectat de zgomot WGN de medie nulă și dispersie σ 2 , θ fiind parametrul
necunoscut.
x[n ] = s[n;θ ] + w[n ] , n = 0,1,..., N -1
Dependenţa semnalului de θ a fost indicată explicit. Funcţia de plauzibilitate este:
1  1 N -1 2
p ( x; θ ) = ⋅ exp  − 2 ⋅  ( x[n ] - s[n;θ ]) 
( 2πσ )
2 N 2
 2σ n =0 
Prin diferenţiere se obţine:
∂ ln p (x;θ ) 1 N -1 ∂s[n;θ ]
= 2 ⋅  ( x[n ] − s[n;θ ]) ⋅
∂θ σ n =0 ∂θ
∂ ln p ( x;θ ) = 1 ⋅  x[n ] − s[n;θ ] ⋅ ∂ s[n;θ ] −  ∂s[n;θ ]  
2 N -1 2 2

∂θ 2
 (
σ 2 n =0 
)
∂θ 2

 ∂θ  
 

Aplicând teorema Cramer-Rao se obţine:


2
 2 ln p( x;θ )  1 N -1  ∂s[n;θ ] 
−E  ∂  = 2 
⋅ 
 ∂θ 2  σ n =0  ∂θ 
adică:

11
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

var(est (θ )) ≥
σ2 (14)
2
N -1
 ∂s[n;θ ] 
 
n=0  ∂θ 

Cu această formulă s-ar fi putut rezolva mult mai simplu exemplele 5 şi 6 înlocuind
s[n;θ ] = θ , respectiv s[n;θ ] = A cos ( 2π fn + θ ) .

Exemplul 7 - Estimarea frecvenţei


Considerăm un semnal sinusoidal, reprezentat astfel:
s[n; f ] = A cos(2π fn + φ ), 0 < f < 0.5
Aplicând direct formula (12), rezultă:
σ2 σ2
var(est ( f )) ≥ N −1
= N −1
=
  A ⋅ 2π n ⋅ sin ( 2π fn + φ ) ( 2π ⋅ A) ⋅   n 2 ⋅ sin 2 ( 2π fn + φ )
2 2

n =0 n=0
2
=
σ =
σ2
N −1
( 2π ⋅ A) ⋅   n2 ⋅ ⋅ (1 − cos ( 4π fn + 2φ ) ) 2  
1 1 N −1 N −1
⋅ ( 2π ⋅ A ) ⋅  n 2 −   n 2 ⋅ cos ( 4π fn + 2φ )  
2


n=0 2  2  n =0 n=0 
Utilizând aproximarea
1 N −1 2
⋅   n ⋅ cos ( 4π fn + 2φ )  ≈ 0
N 3 n=0 
se obţine expresia mai simplă
2 2
2 ⋅σ 2 ⋅σ
var(est ( f )) ≥ = (15)
2 ( N − 1) ⋅ N ⋅ ( 2 N − 1)
N −1
( 2π ⋅ A) ⋅  n
2 2
( 2π ⋅ A) ⋅
n=0 6

Un program care permite vizualizarea PDF pentru cazurile din exemplele 5, 6 şi 7,


pentru diferite valori ale lui N este tefo1_ex_PDF. Programul calculează şi integrala din
funcţia densitate de probabilitate rezultată când N = 3 .
%program tefo1_ex_PDF
clear;
clc;

global N A sigma
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=2; %nr. de esantioane ale lui x[n] (se mareste apoi valoarea lui
N)
A=4;
sigma=2; %deviatia standard a zgomotului
w=sigma*randn(M,N); %esantioanele de zgomot
%nivelul de curent continuu
X=A+w;

%faza sau frecventa

12
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

f=0.3;
phi=1.5*pi;
% X=A*cos(2*pi*f*ones(M,1)*[0:N-1]+phi)+w;

%valoarea medie a lui x[n] pe fiecare realizare


Xmed=mean(X,2)';
%zgomotul mediu pe fiecare esantion al lui x[n]
wmed=mean(w,2);

figure(1);
hist(wmed,20);
figure(2);
for i=1:M
p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A).^2));
% p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A*cos(2*pi*f*[0:N-1]+phi)).^2));
end
stem(Xmed,p);

%calculul integralei din functia densitate de probabilitate pentru 3


variabile
Q=triplequad(@myfun,-10,10,-10,10,-10,10)

function y= myfun(x1,x2,x3)
global A sigma
N=3;
y=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*((x1-A).^2+(x2-
A).^2+(x3-A).^2));

4. Aplicaţii propuse

1. Se presupun trei observaţii independente x[0] , x[1] şi x[2] distribuite cu PDF


Gaussian astfel:
x[0]  N (θ , 4 3)
 N (θ ,1 2), pt. θ ≥ 0
x[1]  
 N (θ ,3 2), pt. θ < 0
 N (θ , 2), pt. θ ≥ 0
x[2]  
 N (θ ,3), pt. θ < 0
şi se consideră estimatorii est1 (θ ) = ( x [0] + x [1] + x [ 2]) 3 , est2 (θ ) = ( 2 ⋅ x [ 0] + 2 ⋅ x [1] + x [ 2]) 5
şi est3 (θ ) = ( 2 ⋅ x [ 0] + x [1] + 2 ⋅ x [ 2]) 5 . Pentru aceştia să se calculeze numeric deplasările şi
dispersiile şi să se decidă dacă sunt MVU. Există un estimator MVU uniform între cei trei
estimatori? Să se realizeze un program Matlab, similar programului tefo1_ex3, care să genereze
cele trei observaţii independente pentru diferite valori ale lui θ , atât pozitive, cât şi negative, să
calculeze cei trei estimatori, şi apoi să calculeze şi să afişeze deplasările şi dispersiile acestora,
pe întreg domeniul de valori ale lui θ .

13
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

2. Se consideră observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , cu N ≥ 100 , în care A este


parametrul necunoscut, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Se consideră
1 Ni -1
estimatorii esti ( A) = ⋅ x[n] , cu i = 1, 2,3 și N1 = 10 , N 2 = 30 , N 3 = 50 și estimatorul final
Ni n=0
1 N -1
est f ( A) =⋅ x[n] . Să se calculeze numeric dispersiile celor 4 estimatori. Ce observați? Să se
N n=0
realizeze un program Matlab care să genereze M = 200 de realizări a celor N observații, să
calculeze cei 4 estimatori și dispersiile acestora și să le reprezinte pe același grafic în funcție de
valorile lui N . Eventual mai adăugați și alte valori ale lui N i (mai mari decât 50) și calculați și
reprezentați și pentru aceștia dispersiile estimatorilor corespunzători. Ce observați?
Reprezentați histogramele corespunzătoare celor 4 estimatori.
3. Găsiţi estimatorul eficient pentru estimarea unei valori constante A , când datele
recepţionate sunt de forma x [ n ] = C ⋅ A + w [ n ] , n = 0,1,, N − 1 , unde C este o constantă reală
arbitrară, diferită de 0, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Care este
expresia pentru marginea inferioară Cramer-Rao în această situaţie? Să se realizeze un program
Matlab care, pentru A = 4 şi C = − 13 , să genereze câte M = 1000 realizări ale celor N
observații ( N = 1000 ), pentru fiecare valoare a dispersiei zgomotului Gaussian ( σ 2 ), cuprinsă
în intervalul [ 0.005;3.0] , cu pasul liniar de 0.1 . Să se calculeze şi să se reprezinte apoi, în
funcţie de valorile lui σ 2 , pe un grafic media estimatului şi valoarea adevărată, iar pe alt grafic
dispersia estimatului şi valoarea dispersiei dată de marginea inferioară Cramer-Rao. (Utilizaţi
markeri diferiţi pentru fiecare reprezentare.) Ce observaţi la media estimatului odată cu
creşterea dispersiei zgomotului? Încercaţi să rulaţi apoi programul pentru M = 10000 . Cum este
media estimatului faţă de cazul anterior?
4. Considerăm N observații independente x [ n] , n = 0,1,, N − 1 , unde fiecare eșantion
x [ n ] este distribuit uniform în intervalul [ 0, θ ] , cu 0 < θ < ∞ . Găsiți un estimator nedeplasat
pentru θ . Verificați estimatorul printr-un program Matlab. Se poate determina marginea
inferioară Cramer-Rao pentru acest estimator? Justificați!
5. Considerăm N observații independente x [ n ] , n = 0,1,, N − 1 , dintr-un experiment
Bernoulli ( x [ n ] poate lua numai valorile 0 şi 1) cu probabilităţile
Pr { x [ n ] = 1} = pb
Pr { x [ n ] = 0} = 1 − pb
Găsiţi estimatorul eficient pentru parametrul pb , precum şi marginea inferioară
Cramer-Rao pentru acesta. Verificați rezultatele printr-un program Matlab. Utilizaţi funcţia
Matlab binornd(1,pb) pentru generarea numerelor 0 şi 1 cu distribuţie Bernoulli (vezi help
binornd). Valori numerice: pb = 0.001 , N ∈ {10 pb , 20 pb ,30 pb , ,100 pb } , M = 200
(numărul de realizări).
Indicaţie: Scrieţi p { x [ n ] ; pb } = pb x[n] ⋅ (1 − pb )
1− x[ n ]
.

14
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

Laborator TEFO
Lucrarea nr. 1

NOŢIUNI DE BAZĂ, CRITERII DE EVALUARE A ESTIMATULUI,


INEGALITATEA CRAMER-RAO

Estimarea parametrilor unui semnal se poate considera o generalizare a problemei de


detecţie pentru o infinitate de ipoteze, bazându-se pe teoria deciziilor statistice. Există
numeroase aplicaţii ale acestei teorii, dintre care menţionăm câteva în continuare.
La sistemele radar trebuie determinată poziţia unui obiect. Pentru aceasta se transmite
un puls electromagnetic, care este reflectat de obiectul respectiv. Ecoul recepţionat are
amplitudine mult mai mică decât unda transmisă şi, în plus, este înecat în zgomot. Prin analiza
eşantioanelor acestui ecou se poate stabili poziţia aproximativă a obiectului. Sonarul are un
principiu asemănător. Tinta radiază zgomot datorită maşinilor de la bord, elicii etc. Zgomotul
este recepţionat de o matrice de senzori. Ieşirile senzorilor sunt transmise la un calculator care
poate estima direcţia ţintei. O altă aplicaţie constă în recunoaşterea vorbirii. Identificarea
fonemelor se face pe baza unui model denumit codare predictivă liniară şi se pune problema
estimării parametrilor acestui model. De asemenea, pot fi estimaţi parametrii filtrelor digitale
care trebuie să asigure o anumită caracteristică de frecvenţă. Analiza imaginilor presupune
identificarea poziţiei şi orientării unui obiect, folosind numai imagini obţinute cu o cameră. In
comunicaţii trebuie estimată frecvenţa purtătoare a semnalelor pentru a le demodula în banda
de bază. Alte aplicaţii există în biomedicină, seismologie (estimarea poziţiei zăcămintelor),
echipamente de control, experimente fizice, ş.a.m.d.

1. Problema estimării

Pentru a găsi estimatori buni, primul pas este modelarea datelor. Deoarece acestea sunt
inerent aleatoare, ele sunt descrise de o funcţie densitate de probabilitate (PDF) notată
p ( x [ 0] , x [1] , , x [ N − 1] ; θ ) . Funcţia p depinde de parametrul necunoscut θ , deci vor exista o
mulţime de PDF, diferite pentru valori ale lui θ diferite.
În probleme reale PDF nu este dată; ea trebuie aleasă astfel încât să respecte
constrângerile impuse şi cunoştinţele prealabile. Pe de altă parte, PDF trebuie aleasă astfel încât
să poată fi tratată matematic. Odată stabilită funcţia densitate de probabilitate, urmează să se
determine, pornind de la date, estimatorul optim sau, dacă acesta nu poate fi găsit sau nu poate
fi implementat, un estimator suboptim.
Mai întotdeauna trebuie să se facă un compromis între performanţă şi complexitatea
calculului. După cum se va vedea, uneori estimatorii optimi sunt relativ dificil de obţinut,
necesitând integrare sau optimizare multidimensională. Practic, pentru fiecare aplicaţie în parte,
utilizatorul trebuie să stabilească ce fel de estimator va folosi.
Trebuie remarcat că un estimator este o variabilă aleatoare, ca şi datele pe baza cărora
este calculat. În consecinţă, performanţa sa poate fi complet descrisă numai statistic, indicând
PDF pentru estimator, care se poate calcula matematic (în cazurile simple) sau aproxima prin
metoda Monte Carlo.

1
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

Ne vom restrânge atenţia la estimatori care dau în medie valoarea adevărată. În această
clasă de estimatori, vom încerca să-l găsim pe cel cu dispersia cea mai mică, în speranţa că el
va produce valori apropiate de valoarea adevărată în cele mai multe cazuri.

2. Noţiuni de bază

2.1. Estimatorul nedeplasat

Un estimator este nedeplasat dacă el va produce, în medie, valoarea adevărată a


parametrului necunoscut, oricare ar fi această valoare. Matematic, această condiţie se exprimă
astfel:
E ( est (θ ) ) = θ , ∀θ , (1)
unde θ este parametrul necunoscut (poate fi şi un vector de parametri, notat θ ), iar est (θ ) (sau
θ ) este estimatorul acestuia. est (θ ) este o funcţie de date, est (θ ) = g ( x ) .
Dacă x =  x [0] x [1]  x [ N − 1] , unde x [ n ] , cu n = 0,1,, N − 1 ,
T
sunt
eşantioanele pe baza cărora se face estimarea, putem formula condiţia (1) astfel:
E ( est (θ ) ) =  g (x ) ⋅ p (x;θ )dx = θ , ∀θ .
2.2. Deplasarea unui estimat

Dacă valoarea medie a estimatului este de forma


E ( est (θ ) ) = θ + b(θ ), ∀θ ,
se spune că estimatul are o deplasare necunoscută, b(θ ) , care depinde de valoarea parametrului
necunoscut. Într-o observare particulară (un anumit x) chiar şi estimatul nedeplasat poate da
erori mari dacă dispersia erorii de estimare este mare. În unele cazuri se preferă un estimat cu
deplasare şi dispersie mică în locul unuia cu deplasare nulă şi dispersie mare.
Exerciţiul 1 - Estimarea nivelului de curent continuu
Se consideră observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , în care A este parametrul
necunoscut, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Se consideră doi
estimatori:
1 N -1
est1( A) = x[n]
N n =0
1 N -1
est 2( A) = x[n]
2 N n =0
Să se calculeze deplasările celor doi estimatori.

2.3. Criteriul de optimalitate a unui estimat: eroarea pătratică medie

Faptul că un estimator este nedeplasat nu înseamnă neapărat că este un bun estimator, ci


numai că valoarea sa medie este chiar valoarea sa reală.
Se pune problema găsirii unor estimatori optimi. Un criteriu natural pentru a aprecia

2
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

optimalitatea este eroarea pătratică medie:


ε θ2ˆ = mse ( est (θ ) ) = E  ( est (θ ) − θ ) 
2
(2)
(mse provine din “mean square error”). Din păcate, adoptarea acestui criteriu duce la estimatori
nerealizabili (care nu se pot scrie numai în funcţie de date). Astfel, pentru un estimator deplasat
(cazul scalar ) există relaţia:
E ( est (θ ) ) = θ + b(θ ) (3)
şi
mse ( est (θ ) ) = var ( est (θ ) ) + b 2(θ ) (4)
(verificaţi această relaţie).
Dacă se impune condiţia de minim în relaţia (4), se obţine un estimator care, de cele mai
multe ori, depinde de θ .
Un program care generează observaţiile x [ n ] , calculează cei doi estimatori din
Exercițiul 1, mediile şi deplasările lor, valorile mse şi verifică relaţia (4) este tefo1_ex1:
%program tefo1_ex1
clear;
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);
%calculul primului estimat est1=1/N*sum(x[n])
est1=mean(X,2);
%calculul celui de al doilea estimator est2=1/(2*N)*sum(x[n])
est2=1/2*mean(X,2);
fprintf('Estimatorul 1:\n');
b1=mean(est1)-A; % deplasarea primului estimator
disp('b1=');disp(b1);
% eroarea patratica medie pentru primul estimator
eps1med=mean((est1-A).^2);
disp('mse1=');disp(eps1med);
% varianta primului estimator
VarEst1=std(est1)^2;
disp('var(est1)=');disp(VarEst1);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est1)+b1^2=');disp(VarEst1+b1^2);
fprintf('Estimatorul 2:\n');
b2=mean(est2)-A; % deplasarea celui de-al doilea estimator
disp('b2=');disp(b2);
% eroarea patratica medie pentru al doilea estimator
eps2med=mean((est2-A).^2);
disp('mse2=');disp(eps2med);
% varianta celui de-al doilea estimator
VarEst2=std(est2)^2;

3
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

disp('var(est2)=');disp(VarEst2);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est2)+b2^2=');disp(VarEst2+b2^2);

Exercițiul 2 - În condiţiile Exerciţiului 1 se consideră estimatorul


N -1
1
est ( A) = a
N
x[n] ,
n =0

Varianța zgomotului w [ n ] este var ( w [ n ]) = σ .


2

Verificați că media şi dispersia acestui estimator sunt:


E (est ( A)) = a A

var( est ( A)) = a 2


σ2
N
Din relaţia (4) se obţine:
2 2

mse(est ( A)) = + (a − 1)2 A2
N
Verificați prin derivarea în raport cu a a erorii pătratice medii și apoi egalarea expresiei
obținute cu 0 că valoarea optimă a parametrului a este:
2
A
a opt = 2
2 σ
A +
N
Se observă că estimatorul optim depinde de A, deci nu este realizabil.

Un program similar celui din exemplul 1, dar pentru estimatorul din exemplul 2 este
tefo1_ex2:

%program tefo1_ex2
clear;

%generarea mai multor realizari ale semnalului x[n]


M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);

a=0.9; %se schimba ulterior cu linia urmatoare


% a=A^2/(A^2+1/N);
%calculul estimatorului est=a*1/N*sum(x[n])
est=a*mean(X,2);

% media estimatorului
m=mean(est);
disp('m=');disp(m);
b=m-A; % deplasarea estimatorului
disp('b=');disp(b);

4
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

% varianta estimatorului
VarEst=std(est)^2;
disp('VarEst=');disp(VarEst);
% eroarea patratica medie pentru estimator
mse=mean((est-A).^2);
disp('mse=');disp(mse);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est)+b^2=');disp(VarEst+b^2);

2.4. Estimatorul nedeplasat, de dispersie minimă (MVU)

Dificultăţile în găsirea unui estimator cu eroare pătratică medie minimă provin din
existenţa termenului b2(θ ) în expresia mse. Pentru a putea trata matematic problema, este
necesar a se renunţa la estimatorul bazat pe mse minimă şi considerarea cazului estimatorilor
nedeplasaţi a căror dispersie se minimizează. În acest caz se obţine:
mse(est (θ )) = var( est (θ )) (5)
Minimizând expresia (5), se poate deduce, în anumite situaţii, un estimator realizabil pe
care îl vom numi estimator MVU (estimator nedeplasat, de dispersie minimă - Minimum
Variance Unbiased).
Nu totdeauna există un estimator MVU şi, chiar dacă există, uneori este imposibil să se
obţină o formulă matematică pentru el.

2.4.1. Existenţa estimatorului MVU. Estimatorul MVU uniform


În practică apare problema existenţei unui estimator MVU pentru toate valorile lui θ .
Pot apărea două situaţii, ca în Figura 1.
var(est(θ)) var(est(θ))

est1(θ) est1(θ)
est2(θ) est2(θ)
est3(θ)=
estimator
est3(θ)
MVU

0 a) θ 0 b) θ0 θ
Figura 1

Dacă există 3 estimatori nedeplasaţi, ale căror dispersii sunt reprezentate în Fig. 1a) şi
b), se vede clar că pentru Fig. 1a), est3 (θ ) este de dispersie minimă. În situaţia din Fig. 1b) nu
există estimator de dispersie minimă, deoarece pentru θ < θ0 , est2 (θ ) este mai bun, în timp ce
pentru θ > θ0 , est3 (θ ) este mai bun. În primul caz, est3 (θ ) se numeşte estimator uniform, de

5
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

dispersie minimă, nedeplasat, pentru a evidenţia că dispersia sa este cea mai mică pentru toţi
θ.
Exerciţiul 3
Se presupun două observaţii independente x[0] şi x[1] distribuite cu PDF Gaussiană
astfel:
x[0]  N (θ ,1)
 N (θ ,1), pt. θ ≥ 0
x[1]  
 N (θ , 2), pt. θ < 0
unde N (θ , σ 2 ) reprezintă o variabilă aleatoare cu distribuție Gaussiană de medie θ și dispersie
σ 2 . Se consideră estimatorii est1 (θ ) = ( x [0] + x [1]) 2 şi est2 (θ ) = ( 2 ⋅ x [0] + x [1]) 3 . Pentru
aceştia să se calculeze deplasările, să se reprezinte dispersiile şi să se decidă dacă sunt MVU.

Programul pentru estimatorii din exerciţiul 3 este tefo1_ex3:

%program tefo1_ex3
clear;
clc;
close all;

%generarea mai multor realizari ale semnalelor x0[n], x1[n]


N=100000; %nr. de esantioane ale lui x[n]
A=[-5:0.1:5];
M=length(A);
for i=1:length(A)
X0(i,:)=A(i)+randn(1,N);
if(A(i)>=0)
X1(i,:)=A(i)+randn(1,N);
else
X1(i,:)=A(i)+sqrt(2)*randn(1,N);
end
end
%calculul primului estimator est1=(x0[n]+x1[n])/2
est1=(X0+X1)/2;
%calculul celui de al doilea estimator est2=(2*x0[n]+x1[n])/3
est2=(2*X0+X1)/3;

b1=mean(est1,2)-A'; % deplasarea primului estimator


b2=mean(est2,2)-A'; % deplasarea celui de-al doilea estimator
figure(1);
plot(A,b1',A,b2'); axis([-5 5 -0.1 0.1]); grid on
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Deplasare');
% varianta primului estimator
VarEst1=std(est1').^2;
% varianta celui de-al doilea estimator
VarEst2=std(est2').^2;

6
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

figure(2);
plot(A,VarEst1,A,VarEst2);
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Dispersie');

Exemplul 4
Fie datele din figura următoare:
3.5

2.5

1.5

0.5

-0.5

-1

-1.5
0 10 20 30 40 50 60 70 80 90 100

Figura 2
Dintr-o inspecţie vizuală a imaginii datelor pare că x [ n ] este format dintr-un nivel de
c.c. A sumat cu zgomot. Datele pot fi modelate cu funcţia x [ n ] = A + w [ n ] , unde w [ n ] este un
zgomot de medie nulă. Pe baza datelor x [0] , x [1] , , x [ N − 1] se doreşte a se estima nivelul A .
Intuitiv, dacă A este nivelul mediu a lui x [ n ] ( w [ n ] are medie nulă) pare potrivit a folosi în
estimarea lui A estimatorul
N -1
1
Aˆ =
N
x[n] ,
n =0

adică media eşantioanelor de date. Apar următoarele întrebări:


1 - Cât de apropiat este  de A ?
2 - Există estimatori mai buni decât media eşantioanelor?
Pentru exemplul din figură rezultă Aˆ = 0.92 , care este apropiat de valoarea reală A = 1 . Un alt
estimator ar putea fi Aˆ 1 = x[0] . Intuitiv, nu ne aşteptăm ca acest estimator să fie la fel de bun ca
cel precedent deoarece nu foloseşte toate datele. În acest caz nu există o mediere care să reducă
efectul zgomotului. Din figură se obţine Aˆ 1 = 0.95 care este mai apropiat de A decât media
eşantioanelor, dar din acest lucru nu se poate trage concluzia că Â1 este un estimator mai bun
decât  .
Deoarece un estimator este o funcţie de date care sunt aleatoare, rezultă că şi acesta este
o variabilă aleatoare rezultată din mai multe realizări posibile. Faptul că Â1 este mai apropiat de
A (valoarea reală) înseamnă că pentru o anumită realizare a datelor estimatul este mai apropiat
de A decât  . Evaluarea performanţelor estimatului se realizează statistic. O posibilitate este de
a repeta experimentul care a generat datele şi de a aplica fiecare estimator la fiecare set de date

7
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

decizând ulterior care estimator este mai bun în majoritatea cazurilor.


Prespunem că se repetă experimentul pentru A = 1 fixat şi adunând diferite zgomote
w [ n ] . Apoi, se determină valorile celor doi estimatori pentru fiecare set de date şi în final se
reprezintă histograma. Aceasta arată de câte ori un estimator produce o valoare dintr-un
domeniu dat şi este o aproximare a PDF. Din acestea este evident că Â este un estimator mai
bun ca Â1 , deoarece valorile obţinute sunt cu mult mai centrate în jurul valorii reale A = 1 .
Pentru a arăta că Â este un estimator mai bun, calculați media şi dispersia celor doi estimatori.
Se presupune că zgomotul w [ n ] are valoare medie nulă, eşantioanele sale sunt necorelate şi au
dispersia σ 2 . Sunt estimatorii nedeplasați? Care are dispersia mai mică?
Pentru compararea celor doi estimatori se foloseşte programul Matlab tefo1_ex4, în care
datele x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , se obţin prin sumarea unui nivel de c.c. A = 4 cu
w [ n ] , un zgomot distribuit Gaussian cu medie nulă și dispersie σ 2 = 1 . Se reprezintă x [ n ] şi se
calculează estimatorii. Pentru aceştia se calculează media şi dispersia şi apoi se reprezintă
histogramele. Discuţie.

%program tefo1_ex4
clear;

%generarea mai multor realizari ale semnalului x[n]


M=200; %nr. de realizari
N=40; %nr. de esantioane ale lui x[n]
A=4;
X=A+randn(M,N);

%calculul primului estimat est1=1/N*sum(x[n])


est1=mean(X,2);
%calculul celui de al doilea estimator est2=x[0]
est2=X(:,1);
%Reprezentarea distributiei lui est1 si calculul var(est1)
figure(1)
hist(est1,20); axis([0 8 0 30]); grid on
title('Histograma pentru est1')
VarEst1=std(est1)^2;
disp('var(est1)'); disp(VarEst1);

%Reprezentarea distributiei lui est2 si calculul var(est2)


figure(2)
hist(est2,20); axis([0 8 0 30]) ; grid on
title('Histograma pentru est2')
VarEst2=std(est2)^2;
disp('var(est2)'); disp(VarEst2);

%Punerea in evidenta a ergodicitatii pentru primul estimat


%Media temporala
fprintf('Media temporala 1 = %f \n',est1(1));
%Media statistica
fprintf('Media statistica 1 = %f\n',mean(est1));

8
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

%Punerea in evidenta a ergodicitatii pentru al doilea estimat


%Media temporala
fprintf('Media temporala 2 = %f \n',est2(1));
%Media statistica
fprintf('Media statistica 2 = %f',mean(est2));

3. Evaluarea performanţei estimatorilor nedeplasaţi pe baza limitei Cramer-


Rao

În practică este foarte util să se poată găsi o limită inferioară pentru dispersia
estimatorilor nedeplasaţi. În cazul cel mai defavorabil - când nu se poate găsi nici un estimator
care să o atingă - limita poate fi totuşi folosită pentru compararea performanţelor estimatorilor
existenţi. Au fost identificate mai multe limite inferioare, dintre care limita Cramer-Rao (CR)
este cea mai uşor de aplicat.
Înainte de prezentarea teoremei CR, este util să analizăm factorii care determină cât de
bine putem estima un parametru. Deoarece toate informaţiile sunt conţinute în datele observate
şi în PDF a datelor, nu este surprinzător că acurateţea estimării depinde direct de PDF. De
exemplu, nu ne vom aştepta să putem estima un parametru cu orice precizie dacă PDF nu
depinde decât foarte slab de acest parametru, sau, în situaţia extremă, dacă nu depinde deloc de
acesta. În general, cu cât PDF este mai puternic influenţată de parametrul necunoscut, cu atât
mai bine îl vom putea estima pe acesta. Atunci când PDF este văzută ca o funcţie de parametrul
necunoscut, ea poartă numele de funcţie de plauzibilitate.

3.1. Limita inferioară Cramer-Rao pentru parametru scalar. Estimatul eficient

Dispersia oricărui estimator nedeplasat satisface inegalitatea


1 1
var(est (θ )) ≥ = (6)
 ln p (x;θ ) 
2
  ∂ ln p( x;θ )  2 
-E  ∂  E  
 ∂θ 2    ∂θ  
cunoscută sub numele de inegalitatea Cramer-Rao, unde medierea se efectuează în raport cu x
şi θ. Derivata este evaluată în valoarea adevărată a lui θ. Numitorul din relaţia de mai sus poartă
numele de informaţia Fisher și se notează cu I (θ ) . Marginea inferioară (6) presupune existența
două condiții de regularitate asupra PDF p(x;θ ) și a estimatorului est (θ ) :
∂ ln p (x;θ )
1) Pentru toți x , astfel încât p(x;θ ) > 0 , derivata există și este finită.
∂θ
2) Operațiile de integrare în raport cu x și diferențiere în raport cu θ pot fi interschimbate
în medierea lui est (θ ) , adică:
∂   = est (θ ) ⋅  ∂ p ( x;θ )  dx
 est (θ ) ⋅ p ( x; θ ) dx    ∂θ  (7)
∂θ 
oricând membrul drept este finit.
Observaţie: Facem observaţia că, dacă în condiţia de regularitate (7) considerăm est (θ ) = 1 ,
atunci este adevărată egalitatea

9
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

 ∂ ln p (x;θ )  ∂ ln p (x;θ ) 1 ∂p (x;θ )


E  = ⋅ p (x;θ )dx =  ⋅ ⋅ p (x;θ )dx =
 ∂θ  ∂θ p (x;θ ) ∂θ
∂p (x;θ ) ∂ ∂1
= dx =  p (x;θ )dx = =0 (8)
∂θ ∂θ ∂θ
Se poate găsi un estimator nedeplasat care să atingă limita, dacă şi numai dacă
∂ ln p (x;θ )
= I (θ ) ⋅ ( g ( x ) - θ ) , (9)
∂θ
pentru nişte funcţii g şi I. Estimatorul este dat în acest caz de relaţia
est (θ ) = g (x ) (10)
şi este MVU, iar dispersia minimă este 1 I (θ ) . Estimatul a cărui dispersie atinge limita
inferioară Cramer Rao se numeşte eficient.

Exemplul 5 – Estimarea nivelului de curent continuu perturbat de zgomot aditiv


alb Gaussian (AWGN)
Considerăm observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , unde w [ n ] este WGN cu
media nulă şi dispersia σ 2 . Se cere să se estimeze A .
N -1
1  1 2 1  1 N -1 2
p( x; A) = ∏ exp  − 2 ⋅ ( x[n ] − A)  = ⋅ exp  − 2 ⋅  ( x[n ] − A) 
n =0 2πσ 2  σ2  ( 2πσ ) 2 N 2
 2σ n =0 
∂ ln p( x; A) 1 N -1 N
= 2 ⋅  ( x[n ] − A) = 2 ⋅ ( x − A)
∂A σ n =0 σ
2
∂ ln p( x; A) = − N
∂ A2 σ2
Aplicând teorema, deducem că limita inferioară Cramer-Rao este
var(est ( A)) ≥
σ2 (11)
N
Această limită este atinsă de estimatorul
estef (A)= x (12)

Exemplul 6 – Estimarea fazei unei sinusoide perturbate de zgomot AWGN


Se cere să se estimeze faza unei sinusoide afectate de WGN de medie nulă:
x[n ] = A ⋅ cos(2π fn + φ ) + w[n ], n = 0,1,..., N -1
Amplitudinea şi frecvenţa se presupun cunoscute. PDF este:
1  1 N -1 2
p ( x; φ ) = ⋅ exp  − 2   x[n ] − A ⋅ cos ( 2π fn + φ )  
( 2πσ )
2 N 2
 2σ n =0 
Diferenţiind logaritmul funcţiei de plauzibilitate rezultă:
∂ ln p( x; φ ) 1 N -1
= − 2 ⋅   x[n ] − A cos ( 2π fn + φ )  ⋅ A ⋅ sin ( 2π fn + φ ) =
∂φ σ n =0
N -1
A  A 
2 
=− ⋅ x[n ] ⋅ sin ( 2π fn + φ ) − ⋅ sin ( 4π fn + 2φ ) 
σ n =0  2 

10
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

∂ ln p( x; φ ) A N -1
2

∂φ 2
= −   x[n] ⋅ cos ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
σ 2 n =0
În final se calculează valoarea medie, cu semn schimbat, a ultimei expresii:
 ∂ 2 ln p( x;φ )  A N -1
2 
−E  2  = ⋅  A ⋅ cos2 ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ ) 
 ∂φ  σ n =0
2 N -1
1 1  NA2 A2  N -1 j (4π fn + 2φ ) 
= A2 ⋅   + cos ( 4π fn + 2φ ) − cos ( 4π fn + 2φ )  = 2
− ⋅ Re  e =
σ n =0  2 2  2σ 2σ 2  n =0 
2 2
 j 4π Nf
− 1  NA 2 2
sin ( 2π Nf ) ⋅ cos ( 2π ( N − 1) f + 2φ )
= NA2 − A 2 ⋅ Re  e j 2φ ⋅ e j 4π f  = − A2⋅
2σ 2σ  e − 1  2σ 2
2σ sin ( 2π f )
Presupunând că f este depărtat de 0 şi 0.5, se poate face aproximarea:
 2 ln p ( x;φ )  NA2
−E  ∂ ≅ 2 2
 ∂φ 2  σ
şi deci
2σ 2
var(est (φ )) ≥ 2
(13)
NA
Condiţia (9) nefiind îndeplinită, nu există nici un estimator nedeplasat care să atingă
această limită.

3.2. Semnale afectate aditiv de zgomot alb Gaussian. Cazul scalar

Întrucât de cele mai multe ori se presupune că zgomotul este alb şi Gaussian, este util să
se determine limita inferioară Cramer-Rao pentru acest caz. În continuare se presupune un
semnal determinist afectat de zgomot WGN de medie nulă și dispersie σ 2 , θ fiind parametrul
necunoscut.
x[n ] = s[n;θ ] + w[n ] , n = 0,1,..., N -1
Dependenţa semnalului de θ a fost indicată explicit. Funcţia de plauzibilitate este:
1  1 N -1 2
p ( x; θ ) = ⋅ exp  − 2 ⋅  ( x[n ] - s[n;θ ]) 
( 2πσ )
2 N 2
 2σ n =0 
Prin diferenţiere se obţine:
∂ ln p (x;θ ) 1 N -1 ∂s[n;θ ]
= 2 ⋅  ( x[n ] − s[n;θ ]) ⋅
∂θ σ n =0 ∂θ
∂ ln p ( x;θ ) = 1 ⋅  x[n ] − s[n;θ ] ⋅ ∂ s[n;θ ] −  ∂s[n;θ ]  
2 N -1 2 2

∂θ 2
 (
σ 2 n =0 
)
∂θ 2

 ∂θ  
 

Aplicând teorema Cramer-Rao se obţine:


2
 2 ln p( x;θ )  1 N -1  ∂s[n;θ ] 
−E  ∂  = 2 
⋅ 
 ∂θ 2  σ n =0  ∂θ 
adică:

11
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

var(est (θ )) ≥
σ2 (14)
2
N -1
 ∂s[n;θ ] 
 
n=0  ∂θ 

Cu această formulă s-ar fi putut rezolva mult mai simplu exemplele 5 şi 6 înlocuind
s[n;θ ] = θ , respectiv s[n;θ ] = A cos ( 2π fn + θ ) .

Exemplul 7 - Estimarea frecvenţei


Considerăm un semnal sinusoidal, reprezentat astfel:
s[n; f ] = A cos(2π fn + φ ), 0 < f < 0.5
Aplicând direct formula (12), rezultă:
σ2 σ2
var(est ( f )) ≥ N −1
= N −1
=
  A ⋅ 2π n ⋅ sin ( 2π fn + φ ) ( 2π ⋅ A) ⋅   n 2 ⋅ sin 2 ( 2π fn + φ )
2 2

n =0 n=0
2
=
σ =
σ2
N −1
( 2π ⋅ A) ⋅   n2 ⋅ ⋅ (1 − cos ( 4π fn + 2φ ) ) 2  
1 1 N −1 N −1
⋅ ( 2π ⋅ A ) ⋅  n 2 −   n 2 ⋅ cos ( 4π fn + 2φ )  
2


n=0 2  2  n =0 n=0 
Utilizând aproximarea
1 N −1 2
⋅   n ⋅ cos ( 4π fn + 2φ )  ≈ 0
N 3 n=0 
se obţine expresia mai simplă
2 2
2 ⋅σ 2 ⋅σ
var(est ( f )) ≥ = (15)
2 ( N − 1) ⋅ N ⋅ ( 2 N − 1)
N −1
( 2π ⋅ A) ⋅  n
2 2
( 2π ⋅ A) ⋅
n=0 6

Un program care permite vizualizarea PDF pentru cazurile din exemplele 5, 6 şi 7,


pentru diferite valori ale lui N este tefo1_ex_PDF. Programul calculează şi integrala din
funcţia densitate de probabilitate rezultată când N = 3 .
%program tefo1_ex_PDF
clear;
clc;

global N A sigma
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=2; %nr. de esantioane ale lui x[n] (se mareste apoi valoarea lui
N)
A=4;
sigma=2; %deviatia standard a zgomotului
w=sigma*randn(M,N); %esantioanele de zgomot
%nivelul de curent continuu
X=A+w;

%faza sau frecventa

12
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

f=0.3;
phi=1.5*pi;
% X=A*cos(2*pi*f*ones(M,1)*[0:N-1]+phi)+w;

%valoarea medie a lui x[n] pe fiecare realizare


Xmed=mean(X,2)';
%zgomotul mediu pe fiecare esantion al lui x[n]
wmed=mean(w,2);

figure(1);
hist(wmed,20);
figure(2);
for i=1:M
p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A).^2));
% p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A*cos(2*pi*f*[0:N-1]+phi)).^2));
end
stem(Xmed,p);

%calculul integralei din functia densitate de probabilitate pentru 3


variabile
Q=triplequad(@myfun,-10,10,-10,10,-10,10)

function y= myfun(x1,x2,x3)
global A sigma
N=3;
y=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*((x1-A).^2+(x2-
A).^2+(x3-A).^2));

4. Aplicaţii propuse

1. Se presupun trei observaţii independente x[0] , x[1] şi x[2] distribuite cu PDF


Gaussian astfel:
x[0]  N (θ , 4 3)
 N (θ ,1 2), pt. θ ≥ 0
x[1]  
 N (θ ,3 2), pt. θ < 0
 N (θ , 2), pt. θ ≥ 0
x[2]  
 N (θ ,3), pt. θ < 0
şi se consideră estimatorii est1 (θ ) = ( x [0] + x [1] + x [ 2]) 3 , est2 (θ ) = ( 2 ⋅ x [ 0] + 2 ⋅ x [1] + x [ 2]) 5
şi est3 (θ ) = ( 2 ⋅ x [ 0] + x [1] + 2 ⋅ x [ 2]) 5 . Pentru aceştia să se calculeze numeric deplasările şi
dispersiile şi să se decidă dacă sunt MVU. Există un estimator MVU uniform între cei trei
estimatori? Să se realizeze un program Matlab, similar programului tefo1_ex3, care să genereze
cele trei observaţii independente pentru diferite valori ale lui θ , atât pozitive, cât şi negative, să
calculeze cei trei estimatori, şi apoi să calculeze şi să afişeze deplasările şi dispersiile acestora,
pe întreg domeniul de valori ale lui θ .

13
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao

2. Se consideră observaţiile x [ n ] = A + w [ n ] , n = 0,1,, N − 1 , cu N ≥ 100 , în care A este


parametrul necunoscut, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Se consideră
1 Ni -1
estimatorii esti ( A) = ⋅ x[n] , cu i = 1, 2,3 și N1 = 10 , N 2 = 30 , N 3 = 50 și estimatorul final
Ni n=0
1 N -1
est f ( A) =⋅ x[n] . Să se calculeze numeric dispersiile celor 4 estimatori. Ce observați? Să se
N n=0
realizeze un program Matlab care să genereze M = 200 de realizări a celor N observații, să
calculeze cei 4 estimatori și dispersiile acestora și să le reprezinte pe același grafic în funcție de
valorile lui N . Eventual mai adăugați și alte valori ale lui N i (mai mari decât 50) și calculați și
reprezentați și pentru aceștia dispersiile estimatorilor corespunzători. Ce observați?
Reprezentați histogramele corespunzătoare celor 4 estimatori.
3. Găsiţi estimatorul eficient pentru estimarea unei valori constante A , când datele
recepţionate sunt de forma x [ n ] = C ⋅ A + w [ n ] , n = 0,1,, N − 1 , unde C este o constantă reală
arbitrară, diferită de 0, iar w [ n ] este zgomot alb Gaussian (WGN) de medie nulă. Care este
expresia pentru marginea inferioară Cramer-Rao în această situaţie? Să se realizeze un program
Matlab care, pentru A = 4 şi C = − 13 , să genereze câte M = 1000 realizări ale celor N
observații ( N = 1000 ), pentru fiecare valoare a dispersiei zgomotului Gaussian ( σ 2 ), cuprinsă
în intervalul [ 0.005;3.0] , cu pasul liniar de 0.1 . Să se calculeze şi să se reprezinte apoi, în
funcţie de valorile lui σ 2 , pe un grafic media estimatului şi valoarea adevărată, iar pe alt grafic
dispersia estimatului şi valoarea dispersiei dată de marginea inferioară Cramer-Rao. (Utilizaţi
markeri diferiţi pentru fiecare reprezentare.) Ce observaţi la media estimatului odată cu
creşterea dispersiei zgomotului? Încercaţi să rulaţi apoi programul pentru M = 10000 . Cum este
media estimatului faţă de cazul anterior?
4. Considerăm N observații independente x [ n] , n = 0,1,, N − 1 , unde fiecare eșantion
x [ n ] este distribuit uniform în intervalul [ 0, θ ] , cu 0 < θ < ∞ . Găsiți un estimator nedeplasat
pentru θ . Verificați estimatorul printr-un program Matlab. Se poate determina marginea
inferioară Cramer-Rao pentru acest estimator? Justificați!
5. Considerăm N observații independente x [ n ] , n = 0,1,, N − 1 , dintr-un experiment
Bernoulli ( x [ n ] poate lua numai valorile 0 şi 1) cu probabilităţile
Pr { x [ n ] = 1} = pb
Pr { x [ n ] = 0} = 1 − pb
Găsiţi estimatorul eficient pentru parametrul pb , precum şi marginea inferioară
Cramer-Rao pentru acesta. Verificați rezultatele printr-un program Matlab. Utilizaţi funcţia
Matlab binornd(1,pb) pentru generarea numerelor 0 şi 1 cu distribuţie Bernoulli (vezi help
binornd). Valori numerice: pb = 0.001 , N ∈ {10 pb , 20 pb ,30 pb , ,100 pb } , M = 200
(numărul de realizări).
Indicaţie: Scrieţi p { x [ n ] ; pb } = pb x[n] ⋅ (1 − pb )
1− x[ n ]
.

14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

Laborator TEFO
Lucrarea nr. 2

ESTIMAREA DE PLAUZIBILITATE MAXIMĂ

1. Identificarea estimatorului de plauzibilitate maximă

Estimatorul de plauzibilitate maximă (Maximum Likelihood Estimator - MLE) este o


alternativă pentru cel MVU (estimator nedeplasat de dispersie minimă), dezirabil în situaţiile în
care acesta din urmă nu există sau este dificil de calculat. MLE este cel mai folosit estimator, în
special datorită faptului că performanţa sa este optimă pentru înregistrări de date suficient de
mari, caz în care aproximează foarte bine MVU.
Estimatorul MLE se defineşte foarte simplu ca fiind valoarea lui θ care maximizează
PDF p(x;θ ) . Maximizarea se face pe domeniul permisibil pentru θ. Deoarece p(x;θ ) este o
funcţie şi de x, maximizarea va produce o funcţie de x pe care o notăm cu est(θ). Pentru cazul
scalar, relaţia cel mai des folosită este:
∂ ln p( x;θ )
=0 (1)
∂θ

Exemplul 1 - Determinarea nivelului de curent continuu


Considerăm datele recepţionate de forma
x[n ] = A + w[n ], n = 0,1,..., N -1
unde A este nivelul necunoscut care se cere estimat, iar w[n ] este WGN, cu media 0 și
dispersia σ 2 cunoscută. PDF al setului de date este:
1  1 N -1 
p (x; A) = ⋅ exp  − 2 ⋅ ( x[n] − A) 2 
( 2πσ )
2 N 2
 2σ n =0 
MLE este valoarea care maximizează expresia precedentă. Pentru a o determina,
logaritmăm, diferenţiem şi egalăm cu zero:
∂ ln p (x; A) 1 N -1
= 2 ⋅ ( x[n] − A) = 0
∂A σ n =0
Se obţine
N -1
1
est ( A) =
N
x[n] ,
n =0

care este chiar MVU. Acest rezultat este, în general, adevărat. Dacă există un estimator eficient,
atunci el poate fi identificat prin estimare de plauzibilitate maximă.

1.1. Proprietăţile asimptotice al MLE - Cazul scalar

Teorema 1. Dacă funcţia densitate de probabilitate p( x;θ ) a datelor (x) satisface


condiţiile de regularitate, atunci estimatorul MLE al parametrului necunoscut θ este distribuit
asimptotic (pentru înregistrări mari de date) astfel:

1
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

est (θ )  N (θ , I −1 (θ )) (2)
unde I (θ ) este informaţia Fisher evaluată în valoarea adevărată a parametrului necunoscut.
Condiţiile de regularitate cer existenţa derivatelor logaritmului PDF (de ordin I, II),
precum şi valori nenule pentru informaţia Fisher.

Exemplul 2 - Estimarea fazei


Considerăm datele de forma
x[n ] = A cos(2π fn + φ ) + w[n ], n = 0,1,..., N -1
unde w[n ] este WGN cu media 0 și dispersia σ 2 , iar amplitudinea A şi frecvenţa f se presupun
cunoscute. Se cere faza φ . Trebuie să maximizăm
1  1 N -1 
p ( x; φ ) = 2 N /2
⋅ exp  − 2 ⋅ ( x[n ] − A cos(2π fn + φ )) 2 
(2π σ )  2σ n =0 
sau, echivalent, minimizăm:
N -1
J (φ ) = ( x[n ] − A cos(2π fn + φ ))2
n =0

Punem condiţia:
∂J (φ ) N -1
= 2 ⋅ ( x[n ] − cos(2π fn + φ )) ⋅ A ⋅ sin(2π fn + φ ) = 0
∂φ n =0

de unde rezultă imediat:


1 N -1 A N -1
⋅ x[n ]sin(2π fn + est (φ )) = ⋅  sin(2π fn + est (φ )) cos(2π fn + est (φ ))
N n =0 N n =0
Termenul din dreapta se poate aproxima cu zero, dacă frecvenţa f nu este apropiată de 0
sau 0.5.
1 N -1 1 N -1
⋅  sin(2π fn + est (φ )) cos(2π fn + est (φ )) = ⋅  sin(4π fn + 2est (φ )) = 0
N n =0 2 N n =0
Am obţinut:
N -1

x[n]sin(2π fn + est (φ )) = 0
n=0

ceea ce se poate rescrie:


N -1 N -1

x[n]sin(2π fn) cos(est (φ )) = − x[n]cos(2π fn) sin(est (φ ))


n =0 n =0

În concluzie,
N -1

x[n]sin(2π fn)
est (φ ) = − atan n =0
N -1
(3)
x[n]cos(2π fn)
n =0

Conform teoremei 1, PDF asimptotică a estimatorului fazei este:


est (φ ) = N (φ , I −1 (φ ))

2
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

NA2 1 1 2
/2
unde I (φ ) = , astfel încât dispersia asimptotică este var ( est (φ ) ) = = , η= A 2
2σ 2 2
Nη σ
N⋅ A2

fiind raportul semnal-zgomot (sau în engleză: signal to noise ratio (SNR)).
PDF asimptotică este valabilă pentru înregistrări de date suficient de mari sau pentru
SNR mare. Astfel, pentru exemplul anterior:
N -1

[ A cos(2π fn + φ ) + w[n]] sin(2π fn)


est (φ ) = − atan n =0
N -1
=
[ A cos(2π fn + φ ) + w[n]] cos(2π fn)
n =0
N -1
NA 2 N -1
− sin(φ ) + w[n ]sin(2π fn ) sin(φ ) − ⋅ w[n ]sin(2π fn )
2 NA n =0
= −atan n =0
N -1
= atan
NA 2 N -1
cos(φ ) + w[n ]cos(2π fn ) cos(φ ) + ⋅ w[n ]cos(2π fn )
2 n =0 NA n =0
Se observă că pentru N mare sau A mare, termenii perturbatori sunt într-adevăr reduşi.
În unele cazuri, distribuţia asimptotică nu este valabilă, oricât de mari ar fi N sau SNR.
Aceasta se întâmplă când eroarea de estimare nu poate fi redusă, datorită faptului că estimatorul
nu realizează nici o mediere (de exemplu, dacă x[n ] = A + w[n ] , iar eşantioanele zgomotului
sunt egale, w[0] = w[1] =  = w[ N − 1] ).
Un program Matlab care verifică estimarea fazei ca în exemplul 2, prin calculul mediei
şi dispersiei pentru diferite valori ale lui N este tefo_L2_ex2_MLE_phi_N.m:
%program tefo_L2_ex2_MLE_phi_N.m
% estimarea ML a fazei unei sinusoide
clear;
clc;
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[10:10:200]; %nr. de esantioane ale lui x[n]
A=4; % se schimba ulterior cu 3, 2 , 1, 0.5 si apoi cu 10,
50, 100
f=0.3;
p=0.5;
sigma=1;
Iinv=1./(N*A^2/(2*sigma^2)); %inversul informatiei Fisher
L=length(N);
for i=1:L
n=[0:N(i)-1];
% matricea care contine valorile semnalului util pe fiecare
linie
s_mat=ones(M,1)*A*cos(2*pi*f*n+p);
x=s_mat+sigma*randn(M,N(i));
% estimatul ML al fazei
estp=-
atan(sum(x.*(ones(M,1)*sin(2*pi*f*n)),2)./sum(x.*(ones(M,1)*cos(2*
pi*f*n)),2));

3
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

mp(i)=mean(estp);
vp(i)=std(estp)^2;
end

figure(1);
clf;
subplot(211);
plot(N,mp,'-o','MarkerFaceColor','b');
hold on;
plot(N,p*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.97*min(mp) 1.03*max(mp)]);
title('Estimarea fazei');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vp,'-o','MarkerFaceColor','b');
hold on;
plot(N,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(N)-1 max(N)+1 -min(vp) 1.1*max(max(vp),Iinv(1))]);
xlabel('N');
ylabel('Varianta');
grid on;

Un program Matlab similar celui anterior, dar care verifică estimarea fazei prin calculul
mediei şi dispersiei pentru valorile SNR ∈ {−15, −10, −5,0−,5,10,15} dB este
tefo_L2_ex2_MLE_phi_SNR.m:
%program tefo_L2_ex2_MLE_phi_SNR.m
% estimarea ML a fazei unei sinusoide
clear;
clc;

M=5000; %nr de realizari pentru fiecare valoare a lui N


N=100; %nr. de esantioane ale lui x[n]
A=4; % se schimba ulterior cu 3, 2 , 1, 0.5 si apoi cu 10,
50, 100
f=0.3;
p=0.5;

n=[0:N-1];
num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
SNR(i)=5*i-20

4
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

% matricea care contine valorile semnalului util pe fiecare


linie
s_mat=ones(M,1)*A*cos(2*pi*f*n+p);
x=s_mat+sigma(i)*randn(M,N);
% estimatul ML al fazei
estp=-
atan(sum(x.*(ones(M,1)*sin(2*pi*f*n)),2)./sum(x.*(ones(M,1)*cos(2*
pi*f*n)),2));

mp(i)=mean(estp);
vp(i)=std(estp)^2;
Iinv(i)=1./(N*A^2/(2*sigma(i)^2)); %inversul informatiei
Fisher
end

figure(1);
clf;
subplot(211);
plot(SNR,mp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,p*ones(1,num_SNR),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
axis([min(SNR) max(SNR) 0.95*min(mp) 1.05*max(mp)]);
title('Estimarea fazei');
xlabel('SNR [dB]');
ylabel('Media');
grid on;
subplot(212);
plot(SNR,vp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(SNR) max(SNR) -min(vp)-0.1 1.1*max(max(vp),Iinv(1))]);
xlabel('SNR [dB]');
ylabel('Varianta');
grid on;

Care este expresia estimatului fazei când datele sunt de forma următoare:
x[n ] = A sin(2π fn + φ ) + w[n ], n = 0,1,..., N -1 ?
Modificaţi programele anterioare pentru acest caz şi verificaţi rezultatul obținut analitic.

2. MLE pentru transformări de parametri

În multe cazuri avem nevoie de un parametru care se poate scrie ca o funcţie de un alt
parametru. De exemplu, s-ar putea să nu ne intereseze valoarea A a nivelului de curent continuu
în WGN, ci puterea A2. În acest caz, MLE pentru A2 se găseşte uşor dacă se cunoaşte MLE

5
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

pentru A.

Exemplul 3 – Estimarea puterii zgomotului


Observăm N eşantioane de WGN cu media 0 și dispersia σ 2 , adică
x [ n ] = w [ n ]  N ( 0, σ 2 ) , n = 0,1, , N − 1 . Dorim să estimăm puterea zgomotului în dB. Vrem
să calculăm MLE pentru parametrul P = 10 ⋅ log10 (σ 2 ) . PDF corespunzător este
1  1 N -1 2
p(x;σ 2 ) = ⋅ exp  − 2 ⋅  ( x [ n ]) 
 2σ n =0
2 N /2
(2πσ ) 
Deoarece P este o transformare injectivă a lui σ , putem parametriza PDF astfel:
1  1 N -1
2
P /10  (
p T ( x; P ) = P /10 N /2
⋅ exp  − ⋅ x [ n ]) 
(2π 10 )  2 ⋅ 10 n =0 
unde indicele T indică faptul că PDF este exprimată în funcţie de parametrul transformat P.
MLE se găseşte maximizând această expresie în raport cu P. Logaritmăm PDF:
N -1
N N P 1
 ( x [ n ])
2
ln pT ( x; P ) = − ⋅ ln(2π ) − ⋅ ⋅ ln(10) − ⋅
2 2 10 2 ⋅ 10 P /10
n =0

Diferenţiind şi egalând cu zero se obţine:


N -1
N 1
 ( x [ n ]) = 0
2
− ⋅ ln(10) + ⋅ ln(10) ⋅
20 2 ⋅ 10 10
P /10
n =0

Deci
N -1

 ( x [ n ])
2

est ( P ) /10
10 = n =0
N
sau
N -1

 ( x [ n ])
2

est ( P ) = 10 ⋅ log10 n =0 (4)


N
Obţinând expresia pentru estimatul dispersiei zgomotului (realizaţi acest lucru) se
observă că aplicând transformarea estimatorului MLE al parametrului iniţial se obţine
estimatorul parametrului transformat (ceea ce înseamnă că nu contează în ce ordine se aplică
estimarea şi transformarea injectivă). Această proprietate a MLE se numeşte invarianţă.
Un program Matlab care verifică estimarea puterii zgomotului ca în exemplul 3, prin
calculul mediei şi dispersiei pentru diferite valori ale lui N este
tefo_L2_ex3_MLE_P_zg_dB.m:
%program tefo_L2_ex3_MLE_P_zg_dB.m
% estimarea ML a puterii zgomotului in dB
clear;
clc;

sigma=sqrt(2);
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[50:50:1000]; %nr. de esantioane ale lui x[n]
L=length(N);

6
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

for i=1:L
n=[0:N(i)-1];
x=[];
x=sigma*randn(M,N(i));
% estimatul ML al dispersiei zgomotului
estPzg=10*log10(sum(x.^2,2)/N(i));
mPzg(i)=mean(estPzg);
vPzg(i)=std(estPzg)^2;
varPzg_CR(i)=2*(10/log(10))^2/N(i);
end
figure(1);
clf;
subplot(211);
plot(N,mPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,10*log10(sigma^2)*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.9*(10*log10(sigma^2))
1.1*(10*log10(sigma^2))]);
title('Estimarea puterii zgomotului [dB]');
xlabel('N');
ylabel('Media');
grid on;

subplot(212);
plot(N,vPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,varPzg_CR,'--v','MarkerFaceColor','g');
hold off;
legend('varianta estimatului','limita inferioara Cramer-Rao');
axis([min(N)-1 max(N)+1 -min(vPzg)
1.1*max(max(vPzg),varPzg_CR(1))]);
xlabel('N');
ylabel('Varianta');
grid on;

Calculaţi marginea inferioară Cramer-Rao pentru estimatul puterii zgomotului în dB şi


pentru estimatul dispersiei zgomotului. Verificaţi expresia obţinută a marginii inferioare
Cramer-Rao pentru estimatul puterii zgomotului în dB în programul anterior. Verificați apoi că
este valabilă relația următoare pentru marginea inferioară Cramer-Rao în cazul estimării
parametrului transformat α = g (θ ) :
2 2
 ∂g (θ )   ∂g (θ ) 
   
var(est (α )) ≥  ∂θ  =  ∂θ  (5)
 2 ln p( x;θ )   ∂ ln p (x;θ )  2 
-E  ∂  E  
 ∂θ 2   ∂θ  
Modificaţi apoi programul astfel încât să verificaţi expresia pentru estimatul dispersiei
zgomotului şi marginea inferioară Cramer-Rao a acestuia.

7
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

Exemplul 4
Considerăm transformarea α = A2 . Dacă încercăm să repetăm paşii de la exemplul
anterior, întâlnim o problemă. Încercând să parametrizăm p(x; A) în raport cu α , observăm că
A= ± α
deoarece transformarea nu este injectivă. De fapt avem nevoie de două seturi de PDF:
1  1 N -1 
p T 1(x; α ) = 2 N /2
⋅ exp  − 2 ( x[n ] − α ) 2  , α ≥ 0
(2π σ )  2σ n =0 
1  1 N -1 
p T 2 ( x; α ) = 2 N /2
⋅ exp  − 2 ( x[n ] + α ) 2  , α ≥ 0
(2π σ )  2σ n =0 
Este posibil să găsim MLE a lui α luând valoarea α care dă maximul dintre p T 1( x;α ) şi
p T 2 ( x; α ) :
est (α ) = arg max{ p T 1(x; α ), p T 2(x; α )}
Putem face această operaţie în doi paşi:
1. Pentru o valoare dată a lui α , notată α 0 , determinăm care dintre pT 1(x;α ) şi pT 2( x;α ) este
mai mare. Dacă, de exemplu, pT 1( x;α 0 ) > pT 2( x;α 0 ) , atunci atribuim lui pT ( x;α 0 ) valoarea
p T 1( x;α ) . Repetăm procedura pentru orice valoare pozitivă a lui α pentru a forma p T ( x; α ) .
2. MLE se determină ca fiind α care maximizează pT ( x;α ) , pentru α ≥ 0 .
În exemplul considerat, pentru orice α sunt posibile valorile
A= ± α
Estimatorul de plauzibilitate maximă este dat de:
2
 
{ } (x)
2
est (α ) = arg max p (x; α ), p( x; − α ) = arg max p( x; A)  = est 2 ( A) =
{α ≥0}  {−∞< A<∞} 
În concluzie, proprietatea de invarianţă este valabilă şi în acest caz.

2.1. Proprietatea de invarianţă a MLE – Cazul scalar

Teorema 2. MLE al parametrului transformat α = g (θ ) (cu g o funcţie injectivă), unde


PDF p(x;θ ) depinde de θ , este dat de
est (α ) = g ( est (θ ) ) (6)
unde est (θ ) este MLE al lui θ . MLE al lui θ se obţine prin maximizarea PDF p(x;θ ) . Dacă
g nu este o funcţie injectivă, atunci est (α ) maximizează funcţia de plauzibilitate modificată
pT (x; α ) , definită ca
pT (x; α ) = max p (x;θ ) . (7)
{θ :α = g (θ )}

8
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

3. Estimarea parametrilor unei sinusoide prin metoda plauzibilităţii


maxime

Considerăm modelul de semnal


x[n ] = A cos(2π fn + φ ) + w[n ], n = 0,1,..., N − 1
unde zgomotul este WGN cu medie 0 și dispersie σ 2 . Se consideră A pozitiv şi frecvenţa
limitată la intervalul (0;0.5). PDF este în acest caz:
1  1 N -1 
p ( x; θ ) = 2 N /2
⋅ exp  − 2 ( x[n ] − A cos(2π fn + φ )) 2  , (8)
(2π σ )  2σ n =0 
unde θ = [ A φ f ] este vectorul de parametri ce trebuie estimaţi.
T

Estimatorul MLE pentru amplitudinea A, frecvenţa f şi faza φ se găseşte minimizând:


N -1
J ( A, f , φ ) = ( x[n] − A cos(2π fn + φ )) =
2

n=0
N −1
=   x[n] − ( A cos(2π fn) cos (φ ) − A sin(2π fn) sin (φ ) ) 
2
(9)
n=0

Deşi J nu este pătratică decât faţă de A, putem face următoarea transformare:


 α 1 = A cos φ
 (10)
α 2 = − A sin φ
astfel încât să obţinem o funcţie pătratică faţă de două variabile. Transformarea este injectivă,
inversa fiind:
 A = α 12 + α 22

  α2 (11)
φ = atan  − 
  α1 
Fie
c = [1 cos(2π f ) ... cos(2π f ( N -1))]T
(12)
s = [0 sin(2π f ) ... sin(2π f ( N -1))]T
În acest moment, funcţia J poate fi rescrisă:
N -1
J ( A, f , φ ) = ( x[n] - α 1 cos(2π fn) − α 2 sin(2π fn)) 2 (13)
n=0

sau echivalent:
T
J (α 1, α 2, f ) = (x − α1c − α 2s) (x − α1c − α 2s) =
= ( x −Hα)T (x-Hα ) = xT x − 2xT Hα +αT HT Hα (14)
unde
H = [c s] (15)
şi
α = [α1 α 2 ] .
T
(16)
Soluţia (considerată numai în raport cu α1 , α 2 ) se găseşte egalând gradientul lui J în
raport cu α cu zero, adică:

9
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

∂J (α)
= −2HT x +2HT Hα = 0 (17)
∂α
Pentru obținerea gradientului lui J s-au folosit identităţile:
∂ T
( a θ) = a (18)
∂θ
∂ T T
∂θ
( θ A Aθ ) = 2AT Aθ , (19)
unde a și θ sunt vectori de dimensiune p × 1 , iar A este o matrice de dimensiuni N × p .
Din (17) rezultă:
est (α) = ( HT H)-1HT x (20)
astfel încât
J (est (α 1), est (α 2), f ) = (x - Hest (α ))T (x - Hest (α )) = (x - H (HT H ) -1HT x)T (x - H (HT H ) -1HT x) =

( ) ( I − H (H H) H ) x = x ( I − H(H H) H ) x= x x − x H(H H) H x
T
=  I − H ( HT H ) HT x 
-1 T -1 T T T -1 T T T T -1 T
 
(21)
T -1 T
întrucât matricea I − H( H H) H este idempotentă (o matrice M este idempotentă dacă
M 2 = M ; în cazul nostru dacă M = I − H( HT H)-1HT avem MT = M ). În concluzie, trebuie
minimizată funcţia J în raport cu o singură variabilă (frecvenţa f) sau, echivalent, estimatul
frecvenței va fi:

f
{
est ( f ) = arg min −x T H ( f )  H ( f ) H ( f )  H ( f ) x

T

T −1

} (22)
Cu est ( f ) astfel calculat, se poate determina est (α ) din formula (19) şi mai departe
 est ( A)   est (α 1) 2 + est (α 2) 2 
 
est (θ) =  est (φ )  =
  atan(−est (α 2) / est (α 1))  (23)
est ( f )   
 est ( f ) 

Pentru acest exemplu s-a efectuat o analiză Monte Carlo pentru a se evalua
performanţele estimatorului în funcţie de SNR. Pentru SNR ∈ {−15, −10, −5,0−,5,10,15} dB s-au
generat câte M = 100 de realizări ale zgomotului alb Gaussian (fiecare având N = 100 de
eşantioane). Acest zgomot a fost adunat la semnalul util:
2 ⋅ cos(2 π ⋅ 0.11 ⋅ n + 0.5) (24)
pentru n = 0,1,..., N − 1 . Pentru fiecare realizare s-au calculat estimatori pentru A, f, φ prin
minimizare Brent (disponibilă în MATLAB). Pentru a se evita obţinerea de minime locale,
domeniul lui f a fost împărţit în Nsubint = 0.2 ⋅ N intervale şi s-a realizat minimizarea pe fiecare
interval; în final s-a ales minimul cel mai mic. Pentru cei M estimatori ai fiecărui parametru s-a
calculat media, dispersia şi eroarea pătratică medie. S-a reprezentat grafic dependenţa acestora
de SNR. Dispersia estimaţilor s-a comparat cu valorile date de limita Cramer-Rao pentru
vectori de parametri, anume

10
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă


 var est A = 2σ
2

 CR ( ( ) ) N

 12 ⋅ 2σ 2
 varCR ( est ( f ) ) = (25)
( 2π A) ⋅ N ⋅ ( N 2 − 1)
2


 var est φ = 2 ⋅ 2σ ⋅ ( 2 N − 1)
2

 CR ( ( ) ) A2 ⋅ N ⋅ ( N + 1)

Punctele din graficele mediilor reprezintă valorile adevărate ale parametrilor ( 2 , 0.11, 0.5).
Măriţi apoi valoarea lui N şi observaţi efectul asupra dispersiei estimaţilor.

% program tefo_L2_MLE_A_f_phi.m
% estimarea parametrilor unei sinusoide prin metoda
plauzibilitãtii maxime
clear;
global N;
M=100; % numarul de realizari generate pentru fiecare
valoare a SNR
N=100; % numarul de esantioane pe realizare (se
schimba apoi cu valorile 300, 500)
N_subint=0.2*N; % numarul de subintervale pe care se face
minimizarea

% Valorile parametrilor pentru care se face analiza:


global A;
global f;
global p;
A=sqrt(2); % amplitudinea
f=0.11; % frecventa
p=0.5; % faza

% Analiza Monte Carlo si reprezentarea grafica a rezultatelor


num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=10^power
[ef,ea,ep]=carlo(M,N_subint,sigma(i));
mf(i)=mean(ef);
ma(i)=mean(ea);
mp(i)=mean(ep);
df(i)=std(ef)^2;
da(i)=std(ea)^2;
dp(i)=std(ep)^2;
mse_a(i)=mean((ea-A).^2);
mse_f(i)=mean((ef-f).^2);
mse_p(i)=mean((ep-p).^2);

11
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

var_a_CR(i)=(2*sigma(i)^2)/N;
var_f_CR(i)=(2*sigma(i)^2*12)/((2*pi*A)^2*N*(N^2-1));
var_p_CR(i)=(2*sigma(i)^2*2*(2*N-1))/(A^2*N*(N+1));

SNR(i)=5*i-20
end
unu_vect=ones(1,num_SNR);
figure(1);
clf;
subplot(321);
plot(SNR,ma,SNR,A*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
grid on;
subplot(322);
plot(SNR,da,'-ob',SNR,var_a_CR,'gv',SNR,mse_a,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
grid on;
subplot(323);
plot(SNR,mf,SNR,f*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*f,min(mf))
max(1.1*f,max(mf))]);
grid on;

subplot(324);
plot(SNR,df,'-ob',SNR,var_f_CR,'gv',SNR,mse_f,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)]);
grid on;
subplot(325);
plot(SNR,mp,SNR,p*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
xlabel('SNR [dB]');

12
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

ylabel('Media');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*p,min(mp))
max(1.1*p,max(mp))]);
grid on;
subplot(326);
plot(SNR,dp,'-ob',SNR,var_p_CR,'gv',SNR,mse_p,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(dp) max(dp)]);
grid on;

function[ef,ea,ep]=carlo(M,N_subint,sigma)
% Procedura genereaza M realizari ale semnalului perturbat. Pentru
% fiecare dintre acestea se determina estimatorii pentru
% amplitudine, frecventa si faza.

global x;
global N;
global A;
global f;
global p;
Q=(0:N-1)';
for i=1:M
% Se genereaza o realizare a semnalului perturbat:
semnal=A*cos(2*pi*f*Q+p);
zgomot=sigma*randn(N,1);
x=semnal+zgomot;
est_f=fun_min_min_f_pe_subint(N_subint); % calculeaza
frecventa care minimizeaza functia obiectiv pe N_subint
subintervale si apoi gaseste minimul dintre aceste minime
c=cos(2*pi*est_f*Q);
s=sin(2*pi*est_f*Q);
H=[c s];
ef(i)=est_f; % estimatul frecventei
alpha=(inv(H'*H)*H'*x); % estimatul lui alpha
ea(i)=sqrt(alpha(1)^2+alpha(2)^2); % estimatul amplitudinii
ep(i)=atan(-alpha(2)/alpha(1)); % estimatul fazei
end

function[solu]=fun_min_min_f_pe_subint(N_subint)
% Procedura identifica minimul dintre valorile obtinute prin
minimizare pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);
function[w,v]=fun_min_f_pe_subint(N_subint)

13
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

% Procedura divizeaza domeniul admisibil pentru solutii in


N_subint
% subintervale si efectueaza minizarea pe fiecare dintre acestea:

pas_f=0.45/(N_subint+1);
for i=1:N_subint
% options = optimset('TolX',1e-3);
%
[w(i),v(i),exitflag]=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1),optio
ns);
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end
function[out]=fun_min_f(ff)
% Aceasta este functia obiectiv care trebuie minimizata:
global x;
global N;
Q=(0:N-1)';
c=cos(2*pi*ff*Q);
s=sin(2*pi*ff*Q);
H=[c s];
out=-x'*H*inv(H'*H)*H'*x;

Modificaţi programul anterior pentru modelul de semnal


x[n ] = A ⋅ sin(2π fn + φ ) + w[n ], n = 0,1,..., N − 1 . (26)

4. Aplicaţii propuse

1. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu


PDF Gaussiană, de medie 0 şi dispersie 1 θ ( N ( 0,1 θ ) ), unde θ > 0 . Găsiţi estimatorul de
maximă plauzibilitate al parametrului θ şi apoi marginea inferioară Cramer-Rao a dispersiei
estimatorului nedeplasat al acestuia. Verificaţi rezultatele cu un program Matlab similar
celui din Exemplul 3.
2. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu
PDF exponenţial, cu parametrul λ > 0 :
λ ⋅ exp ( −λ x ) , x ≥ 0
p ( x; λ ) = 
0, x<0
Să se determine estimatorul de maximă plauzibilitate al parametrului λ şi apoi
marginea inferioară Cramer-Rao a dispersiei estimatorului nedeplasat al acestuia. Verificaţi
rezultatele cu un program Matlab, pentru diferite valori ale lui N . Verificaţi în Matlab dacă
valoarea estimată a lui λ maximizează logaritmul funcţiei de plauzibilitate ln p(x;θ ) .
Utilizaţi funcţia Matlab exprnd pentru generarea numerelor cu distribuţie exponenţială
(vezi help exprnd). Valori numerice: N ∈ {100, 200,300, ,1000} , M = 200 (numărul de
realizări).

14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

3. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu


PDF din familia de PDF
p ( x;θ ) = exp  A (θ ) ⋅ B ( x ) + C ( x ) + D (θ )  ,
unde A, B, C , D sunt funcţii de argumentele lor. Găsiţi o ecuaţie care trebuie rezolvată pentru
găsirea estimatului de maximă plauzibilitate al parametrului θ . Aplicaţi apoi rezultatul găsit
pentru aplicaţia propusă 1 şi pentru estimarea nivelului de curent continuu perturbat de
WGN (vezi Exemplul 1).
4. Considerăm N observații independente x [ n ] , n = 0,1,, N − 1 , dintr-un experiment
Bernoulli ( x [ n ] poate lua numai valorile 0 şi 1) cu probabilităţile
Pr { x [ n ] = 1} = pb
Pr { x [ n ] = 0} = 1 − pb
Găsiţi estimatorul de maximă plauzibilitate al parametrului pb . Este estimatorul
nedeplasat? Care este dispersia acestuia? Comparaţi cu estimatorul eficient găsit la aplicaţia
propusă 5, de la Lucrarea 1. Verificați rezultatele printr-un program Matlab. Utilizaţi funcţia
Matlab binornd(1,pb)pentru generarea numerelor 0 şi 1 cu distribuţie Bernoulli (vezi
help binornd). Valori numerice: pb = 0.001 , N ∈ {10 pb , 20 pb ,30 pb , ,100 pb } ,
M = 200 (numărul de realizări).
Indicaţie: Scrieţi PDF pentru x [ n ] astfel: p { x [ n ] ; pb } = pb x[n] ⋅ (1 − pb )
1− x[ n ]
.

15
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

Laborator TEFO
Lucrarea nr. 2

ESTIMAREA DE PLAUZIBILITATE MAXIMĂ

1. Identificarea estimatorului de plauzibilitate maximă

Estimatorul de plauzibilitate maximă (Maximum Likelihood Estimator - MLE) este o


alternativă pentru cel MVU (estimator nedeplasat de dispersie minimă), dezirabil în situaţiile în
care acesta din urmă nu există sau este dificil de calculat. MLE este cel mai folosit estimator, în
special datorită faptului că performanţa sa este optimă pentru înregistrări de date suficient de
mari, caz în care aproximează foarte bine MVU.
Estimatorul MLE se defineşte foarte simplu ca fiind valoarea lui θ care maximizează
PDF p(x;θ ) . Maximizarea se face pe domeniul permisibil pentru θ. Deoarece p(x;θ ) este o
funcţie şi de x, maximizarea va produce o funcţie de x pe care o notăm cu est(θ). Pentru cazul
scalar, relaţia cel mai des folosită este:
∂ ln p( x;θ )
=0 (1)
∂θ

Exemplul 1 - Determinarea nivelului de curent continuu


Considerăm datele recepţionate de forma
x[n ] = A + w[n ], n = 0,1,..., N -1
unde A este nivelul necunoscut care se cere estimat, iar w[n ] este WGN, cu media 0 și
dispersia σ 2 cunoscută. PDF al setului de date este:
1  1 N -1 
p (x; A) = ⋅ exp  − 2 ⋅ ( x[n] − A) 2 
( 2πσ )
2 N 2
 2σ n =0 
MLE este valoarea care maximizează expresia precedentă. Pentru a o determina,
logaritmăm, diferenţiem şi egalăm cu zero:
∂ ln p (x; A) 1 N -1
= 2 ⋅ ( x[n] − A) = 0
∂A σ n =0
Se obţine
N -1
1
est ( A) =
N
x[n] ,
n =0

care este chiar MVU. Acest rezultat este, în general, adevărat. Dacă există un estimator eficient,
atunci el poate fi identificat prin estimare de plauzibilitate maximă.

1.1. Proprietăţile asimptotice al MLE - Cazul scalar

Teorema 1. Dacă funcţia densitate de probabilitate p( x;θ ) a datelor (x) satisface


condiţiile de regularitate, atunci estimatorul MLE al parametrului necunoscut θ este distribuit
asimptotic (pentru înregistrări mari de date) astfel:

1
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

est (θ )  N (θ , I −1 (θ )) (2)
unde I (θ ) este informaţia Fisher evaluată în valoarea adevărată a parametrului necunoscut.
Condiţiile de regularitate cer existenţa derivatelor logaritmului PDF (de ordin I, II),
precum şi valori nenule pentru informaţia Fisher.

Exemplul 2 - Estimarea fazei


Considerăm datele de forma
x[n ] = A cos(2π fn + φ ) + w[n ], n = 0,1,..., N -1
unde w[n ] este WGN cu media 0 și dispersia σ 2 , iar amplitudinea A şi frecvenţa f se presupun
cunoscute. Se cere faza φ . Trebuie să maximizăm
1  1 N -1 
p ( x; φ ) = 2 N /2
⋅ exp  − 2 ⋅ ( x[n ] − A cos(2π fn + φ )) 2 
(2π σ )  2σ n =0 
sau, echivalent, minimizăm:
N -1
J (φ ) = ( x[n ] − A cos(2π fn + φ ))2
n =0

Punem condiţia:
∂J (φ ) N -1
= 2 ⋅ ( x[n ] − cos(2π fn + φ )) ⋅ A ⋅ sin(2π fn + φ ) = 0
∂φ n =0

de unde rezultă imediat:


1 N -1 A N -1
⋅ x[n ]sin(2π fn + est (φ )) = ⋅  sin(2π fn + est (φ )) cos(2π fn + est (φ ))
N n =0 N n =0
Termenul din dreapta se poate aproxima cu zero, dacă frecvenţa f nu este apropiată de 0
sau 0.5.
1 N -1 1 N -1
⋅  sin(2π fn + est (φ )) cos(2π fn + est (φ )) = ⋅  sin(4π fn + 2est (φ )) = 0
N n =0 2 N n =0
Am obţinut:
N -1

x[n]sin(2π fn + est (φ )) = 0
n=0

ceea ce se poate rescrie:


N -1 N -1

x[n]sin(2π fn) cos(est (φ )) = − x[n]cos(2π fn) sin(est (φ ))


n =0 n =0

În concluzie,
N -1

x[n]sin(2π fn)
est (φ ) = − atan n =0
N -1
(3)
x[n]cos(2π fn)
n =0

Conform teoremei 1, PDF asimptotică a estimatorului fazei este:


est (φ ) = N (φ , I −1 (φ ))

2
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

NA2 1 1 2
/2
unde I (φ ) = , astfel încât dispersia asimptotică este var ( est (φ ) ) = = , η= A 2
2σ 2 2
Nη σ
N⋅ A2

fiind raportul semnal-zgomot (sau în engleză: signal to noise ratio (SNR)).
PDF asimptotică este valabilă pentru înregistrări de date suficient de mari sau pentru
SNR mare. Astfel, pentru exemplul anterior:
N -1

[ A cos(2π fn + φ ) + w[n]] sin(2π fn)


est (φ ) = − atan n =0
N -1
=
[ A cos(2π fn + φ ) + w[n]] cos(2π fn)
n =0
N -1
NA 2 N -1
− sin(φ ) + w[n ]sin(2π fn ) sin(φ ) − ⋅ w[n ]sin(2π fn )
2 NA n =0
= −atan n =0
N -1
= atan
NA 2 N -1
cos(φ ) + w[n ]cos(2π fn ) cos(φ ) + ⋅ w[n ]cos(2π fn )
2 n =0 NA n =0
Se observă că pentru N mare sau A mare, termenii perturbatori sunt într-adevăr reduşi.
În unele cazuri, distribuţia asimptotică nu este valabilă, oricât de mari ar fi N sau SNR.
Aceasta se întâmplă când eroarea de estimare nu poate fi redusă, datorită faptului că estimatorul
nu realizează nici o mediere (de exemplu, dacă x[n ] = A + w[n ] , iar eşantioanele zgomotului
sunt egale, w[0] = w[1] =  = w[ N − 1] ).
Un program Matlab care verifică estimarea fazei ca în exemplul 2, prin calculul mediei
şi dispersiei pentru diferite valori ale lui N este tefo_L2_ex2_MLE_phi_N.m:
%program tefo_L2_ex2_MLE_phi_N.m
% estimarea ML a fazei unei sinusoide
clear;
clc;
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[10:10:200]; %nr. de esantioane ale lui x[n]
A=4; % se schimba ulterior cu 3, 2 , 1, 0.5 si apoi cu 10,
50, 100
f=0.3;
p=0.5;
sigma=1;
Iinv=1./(N*A^2/(2*sigma^2)); %inversul informatiei Fisher
L=length(N);
for i=1:L
n=[0:N(i)-1];
% matricea care contine valorile semnalului util pe fiecare
linie
s_mat=ones(M,1)*A*cos(2*pi*f*n+p);
x=s_mat+sigma*randn(M,N(i));
% estimatul ML al fazei
estp=-
atan(sum(x.*(ones(M,1)*sin(2*pi*f*n)),2)./sum(x.*(ones(M,1)*cos(2*
pi*f*n)),2));

3
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

mp(i)=mean(estp);
vp(i)=std(estp)^2;
end

figure(1);
clf;
subplot(211);
plot(N,mp,'-o','MarkerFaceColor','b');
hold on;
plot(N,p*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.97*min(mp) 1.03*max(mp)]);
title('Estimarea fazei');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vp,'-o','MarkerFaceColor','b');
hold on;
plot(N,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(N)-1 max(N)+1 -min(vp) 1.1*max(max(vp),Iinv(1))]);
xlabel('N');
ylabel('Varianta');
grid on;

Un program Matlab similar celui anterior, dar care verifică estimarea fazei prin calculul
mediei şi dispersiei pentru valorile SNR ∈ {−15, −10, −5,0−,5,10,15} dB este
tefo_L2_ex2_MLE_phi_SNR.m:
%program tefo_L2_ex2_MLE_phi_SNR.m
% estimarea ML a fazei unei sinusoide
clear;
clc;

M=5000; %nr de realizari pentru fiecare valoare a lui N


N=100; %nr. de esantioane ale lui x[n]
A=4; % se schimba ulterior cu 3, 2 , 1, 0.5 si apoi cu 10,
50, 100
f=0.3;
p=0.5;

n=[0:N-1];
num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
SNR(i)=5*i-20

4
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

% matricea care contine valorile semnalului util pe fiecare


linie
s_mat=ones(M,1)*A*cos(2*pi*f*n+p);
x=s_mat+sigma(i)*randn(M,N);
% estimatul ML al fazei
estp=-
atan(sum(x.*(ones(M,1)*sin(2*pi*f*n)),2)./sum(x.*(ones(M,1)*cos(2*
pi*f*n)),2));

mp(i)=mean(estp);
vp(i)=std(estp)^2;
Iinv(i)=1./(N*A^2/(2*sigma(i)^2)); %inversul informatiei
Fisher
end

figure(1);
clf;
subplot(211);
plot(SNR,mp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,p*ones(1,num_SNR),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
axis([min(SNR) max(SNR) 0.95*min(mp) 1.05*max(mp)]);
title('Estimarea fazei');
xlabel('SNR [dB]');
ylabel('Media');
grid on;
subplot(212);
plot(SNR,vp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(SNR) max(SNR) -min(vp)-0.1 1.1*max(max(vp),Iinv(1))]);
xlabel('SNR [dB]');
ylabel('Varianta');
grid on;

Care este expresia estimatului fazei când datele sunt de forma următoare:
x[n ] = A sin(2π fn + φ ) + w[n ], n = 0,1,..., N -1 ?
Modificaţi programele anterioare pentru acest caz şi verificaţi rezultatul obținut analitic.

2. MLE pentru transformări de parametri

În multe cazuri avem nevoie de un parametru care se poate scrie ca o funcţie de un alt
parametru. De exemplu, s-ar putea să nu ne intereseze valoarea A a nivelului de curent continuu
în WGN, ci puterea A2. În acest caz, MLE pentru A2 se găseşte uşor dacă se cunoaşte MLE

5
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

pentru A.

Exemplul 3 – Estimarea puterii zgomotului


Observăm N eşantioane de WGN cu media 0 și dispersia σ 2 , adică
x [ n ] = w [ n ]  N ( 0, σ 2 ) , n = 0,1, , N − 1 . Dorim să estimăm puterea zgomotului în dB. Vrem
să calculăm MLE pentru parametrul P = 10 ⋅ log10 (σ 2 ) . PDF corespunzător este
1  1 N -1 2
p(x;σ 2 ) = ⋅ exp  − 2 ⋅  ( x [ n ]) 
 2σ n =0
2 N /2
(2πσ ) 
Deoarece P este o transformare injectivă a lui σ , putem parametriza PDF astfel:
1  1 N -1
2
P /10  (
p T ( x; P ) = P /10 N /2
⋅ exp  − ⋅ x [ n ]) 
(2π 10 )  2 ⋅ 10 n =0 
unde indicele T indică faptul că PDF este exprimată în funcţie de parametrul transformat P.
MLE se găseşte maximizând această expresie în raport cu P. Logaritmăm PDF:
N -1
N N P 1
 ( x [ n ])
2
ln pT ( x; P ) = − ⋅ ln(2π ) − ⋅ ⋅ ln(10) − ⋅
2 2 10 2 ⋅ 10 P /10
n =0

Diferenţiind şi egalând cu zero se obţine:


N -1
N 1
 ( x [ n ]) = 0
2
− ⋅ ln(10) + ⋅ ln(10) ⋅
20 2 ⋅ 10 10
P /10
n =0

Deci
N -1

 ( x [ n ])
2

est ( P ) /10
10 = n =0
N
sau
N -1

 ( x [ n ])
2

est ( P ) = 10 ⋅ log10 n =0 (4)


N
Obţinând expresia pentru estimatul dispersiei zgomotului (realizaţi acest lucru) se
observă că aplicând transformarea estimatorului MLE al parametrului iniţial se obţine
estimatorul parametrului transformat (ceea ce înseamnă că nu contează în ce ordine se aplică
estimarea şi transformarea injectivă). Această proprietate a MLE se numeşte invarianţă.
Un program Matlab care verifică estimarea puterii zgomotului ca în exemplul 3, prin
calculul mediei şi dispersiei pentru diferite valori ale lui N este
tefo_L2_ex3_MLE_P_zg_dB.m:
%program tefo_L2_ex3_MLE_P_zg_dB.m
% estimarea ML a puterii zgomotului in dB
clear;
clc;

sigma=sqrt(2);
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[50:50:1000]; %nr. de esantioane ale lui x[n]
L=length(N);

6
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

for i=1:L
n=[0:N(i)-1];
x=[];
x=sigma*randn(M,N(i));
% estimatul ML al dispersiei zgomotului
estPzg=10*log10(sum(x.^2,2)/N(i));
mPzg(i)=mean(estPzg);
vPzg(i)=std(estPzg)^2;
varPzg_CR(i)=2*(10/log(10))^2/N(i);
end
figure(1);
clf;
subplot(211);
plot(N,mPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,10*log10(sigma^2)*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.9*(10*log10(sigma^2))
1.1*(10*log10(sigma^2))]);
title('Estimarea puterii zgomotului [dB]');
xlabel('N');
ylabel('Media');
grid on;

subplot(212);
plot(N,vPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,varPzg_CR,'--v','MarkerFaceColor','g');
hold off;
legend('varianta estimatului','limita inferioara Cramer-Rao');
axis([min(N)-1 max(N)+1 -min(vPzg)
1.1*max(max(vPzg),varPzg_CR(1))]);
xlabel('N');
ylabel('Varianta');
grid on;

Calculaţi marginea inferioară Cramer-Rao pentru estimatul puterii zgomotului în dB şi


pentru estimatul dispersiei zgomotului. Verificaţi expresia obţinută a marginii inferioare
Cramer-Rao pentru estimatul puterii zgomotului în dB în programul anterior. Verificați apoi că
este valabilă relația următoare pentru marginea inferioară Cramer-Rao în cazul estimării
parametrului transformat α = g (θ ) :
2 2
 ∂g (θ )   ∂g (θ ) 
   
var(est (α )) ≥  ∂θ  =  ∂θ  (5)
 2 ln p( x;θ )   ∂ ln p (x;θ )  2 
-E  ∂  E  
 ∂θ 2   ∂θ  
Modificaţi apoi programul astfel încât să verificaţi expresia pentru estimatul dispersiei
zgomotului şi marginea inferioară Cramer-Rao a acestuia.

7
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

Exemplul 4
Considerăm transformarea α = A2 . Dacă încercăm să repetăm paşii de la exemplul
anterior, întâlnim o problemă. Încercând să parametrizăm p(x; A) în raport cu α , observăm că
A= ± α
deoarece transformarea nu este injectivă. De fapt avem nevoie de două seturi de PDF:
1  1 N -1 
p T 1(x; α ) = 2 N /2
⋅ exp  − 2 ( x[n ] − α ) 2  , α ≥ 0
(2π σ )  2σ n =0 
1  1 N -1 
p T 2 ( x; α ) = 2 N /2
⋅ exp  − 2 ( x[n ] + α ) 2  , α ≥ 0
(2π σ )  2σ n =0 
Este posibil să găsim MLE a lui α luând valoarea α care dă maximul dintre p T 1( x;α ) şi
p T 2 ( x; α ) :
est (α ) = arg max{ p T 1(x; α ), p T 2(x; α )}
Putem face această operaţie în doi paşi:
1. Pentru o valoare dată a lui α , notată α 0 , determinăm care dintre pT 1(x;α ) şi pT 2( x;α ) este
mai mare. Dacă, de exemplu, pT 1( x;α 0 ) > pT 2( x;α 0 ) , atunci atribuim lui pT ( x;α 0 ) valoarea
p T 1( x;α ) . Repetăm procedura pentru orice valoare pozitivă a lui α pentru a forma p T ( x; α ) .
2. MLE se determină ca fiind α care maximizează pT ( x;α ) , pentru α ≥ 0 .
În exemplul considerat, pentru orice α sunt posibile valorile
A= ± α
Estimatorul de plauzibilitate maximă este dat de:
2
 
{ } (x)
2
est (α ) = arg max p (x; α ), p( x; − α ) = arg max p( x; A)  = est 2 ( A) =
{α ≥0}  {−∞< A<∞} 
În concluzie, proprietatea de invarianţă este valabilă şi în acest caz.

2.1. Proprietatea de invarianţă a MLE – Cazul scalar

Teorema 2. MLE al parametrului transformat α = g (θ ) (cu g o funcţie injectivă), unde


PDF p(x;θ ) depinde de θ , este dat de
est (α ) = g ( est (θ ) ) (6)
unde est (θ ) este MLE al lui θ . MLE al lui θ se obţine prin maximizarea PDF p(x;θ ) . Dacă
g nu este o funcţie injectivă, atunci est (α ) maximizează funcţia de plauzibilitate modificată
pT (x; α ) , definită ca
pT (x; α ) = max p (x;θ ) . (7)
{θ :α = g (θ )}

8
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

3. Estimarea parametrilor unei sinusoide prin metoda plauzibilităţii


maxime

Considerăm modelul de semnal


x[n ] = A cos(2π fn + φ ) + w[n ], n = 0,1,..., N − 1
unde zgomotul este WGN cu medie 0 și dispersie σ 2 . Se consideră A pozitiv şi frecvenţa
limitată la intervalul (0;0.5). PDF este în acest caz:
1  1 N -1 
p ( x; θ ) = 2 N /2
⋅ exp  − 2 ( x[n ] − A cos(2π fn + φ )) 2  , (8)
(2π σ )  2σ n =0 
unde θ = [ A φ f ] este vectorul de parametri ce trebuie estimaţi.
T

Estimatorul MLE pentru amplitudinea A, frecvenţa f şi faza φ se găseşte minimizând:


N -1
J ( A, f , φ ) = ( x[n] − A cos(2π fn + φ )) =
2

n=0
N −1
=   x[n] − ( A cos(2π fn) cos (φ ) − A sin(2π fn) sin (φ ) ) 
2
(9)
n=0

Deşi J nu este pătratică decât faţă de A, putem face următoarea transformare:


 α 1 = A cos φ
 (10)
α 2 = − A sin φ
astfel încât să obţinem o funcţie pătratică faţă de două variabile. Transformarea este injectivă,
inversa fiind:
 A = α 12 + α 22

  α2 (11)
φ = atan  − 
  α1 
Fie
c = [1 cos(2π f ) ... cos(2π f ( N -1))]T
(12)
s = [0 sin(2π f ) ... sin(2π f ( N -1))]T
În acest moment, funcţia J poate fi rescrisă:
N -1
J ( A, f , φ ) = ( x[n] - α 1 cos(2π fn) − α 2 sin(2π fn)) 2 (13)
n=0

sau echivalent:
T
J (α 1, α 2, f ) = (x − α1c − α 2s) (x − α1c − α 2s) =
= ( x −Hα)T (x-Hα ) = xT x − 2xT Hα +αT HT Hα (14)
unde
H = [c s] (15)
şi
α = [α1 α 2 ] .
T
(16)
Soluţia (considerată numai în raport cu α1 , α 2 ) se găseşte egalând gradientul lui J în
raport cu α cu zero, adică:

9
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

∂J (α)
= −2HT x +2HT Hα = 0 (17)
∂α
Pentru obținerea gradientului lui J s-au folosit identităţile:
∂ T
( a θ) = a (18)
∂θ
∂ T T
∂θ
( θ A Aθ ) = 2AT Aθ , (19)
unde a și θ sunt vectori de dimensiune p × 1 , iar A este o matrice de dimensiuni N × p .
Din (17) rezultă:
est (α) = ( HT H)-1HT x (20)
astfel încât
J (est (α 1), est (α 2), f ) = (x - Hest (α ))T (x - Hest (α )) = (x - H (HT H ) -1HT x)T (x - H (HT H ) -1HT x) =

( ) ( I − H (H H) H ) x = x ( I − H(H H) H ) x= x x − x H(H H) H x
T
=  I − H ( HT H ) HT x 
-1 T -1 T T T -1 T T T T -1 T
 
(21)
T -1 T
întrucât matricea I − H( H H) H este idempotentă (o matrice M este idempotentă dacă
M 2 = M ; în cazul nostru dacă M = I − H( HT H)-1HT avem MT = M ). În concluzie, trebuie
minimizată funcţia J în raport cu o singură variabilă (frecvenţa f) sau, echivalent, estimatul
frecvenței va fi:

f
{
est ( f ) = arg min −x T H ( f )  H ( f ) H ( f )  H ( f ) x

T

T −1

} (22)
Cu est ( f ) astfel calculat, se poate determina est (α ) din formula (19) şi mai departe
 est ( A)   est (α 1) 2 + est (α 2) 2 
 
est (θ) =  est (φ )  =
  atan(−est (α 2) / est (α 1))  (23)
est ( f )   
 est ( f ) 

Pentru acest exemplu s-a efectuat o analiză Monte Carlo pentru a se evalua
performanţele estimatorului în funcţie de SNR. Pentru SNR ∈ {−15, −10, −5,0−,5,10,15} dB s-au
generat câte M = 100 de realizări ale zgomotului alb Gaussian (fiecare având N = 100 de
eşantioane). Acest zgomot a fost adunat la semnalul util:
2 ⋅ cos(2 π ⋅ 0.11 ⋅ n + 0.5) (24)
pentru n = 0,1,..., N − 1 . Pentru fiecare realizare s-au calculat estimatori pentru A, f, φ prin
minimizare Brent (disponibilă în MATLAB). Pentru a se evita obţinerea de minime locale,
domeniul lui f a fost împărţit în Nsubint = 0.2 ⋅ N intervale şi s-a realizat minimizarea pe fiecare
interval; în final s-a ales minimul cel mai mic. Pentru cei M estimatori ai fiecărui parametru s-a
calculat media, dispersia şi eroarea pătratică medie. S-a reprezentat grafic dependenţa acestora
de SNR. Dispersia estimaţilor s-a comparat cu valorile date de limita Cramer-Rao pentru
vectori de parametri, anume

10
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă


 var est A = 2σ
2

 CR ( ( ) ) N

 12 ⋅ 2σ 2
 varCR ( est ( f ) ) = (25)
( 2π A) ⋅ N ⋅ ( N 2 − 1)
2


 var est φ = 2 ⋅ 2σ ⋅ ( 2 N − 1)
2

 CR ( ( ) ) A2 ⋅ N ⋅ ( N + 1)

Punctele din graficele mediilor reprezintă valorile adevărate ale parametrilor ( 2 , 0.11, 0.5).
Măriţi apoi valoarea lui N şi observaţi efectul asupra dispersiei estimaţilor.

% program tefo_L2_MLE_A_f_phi.m
% estimarea parametrilor unei sinusoide prin metoda
plauzibilitãtii maxime
clear;
global N;
M=100; % numarul de realizari generate pentru fiecare
valoare a SNR
N=100; % numarul de esantioane pe realizare (se
schimba apoi cu valorile 300, 500)
N_subint=0.2*N; % numarul de subintervale pe care se face
minimizarea

% Valorile parametrilor pentru care se face analiza:


global A;
global f;
global p;
A=sqrt(2); % amplitudinea
f=0.11; % frecventa
p=0.5; % faza

% Analiza Monte Carlo si reprezentarea grafica a rezultatelor


num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=10^power
[ef,ea,ep]=carlo(M,N_subint,sigma(i));
mf(i)=mean(ef);
ma(i)=mean(ea);
mp(i)=mean(ep);
df(i)=std(ef)^2;
da(i)=std(ea)^2;
dp(i)=std(ep)^2;
mse_a(i)=mean((ea-A).^2);
mse_f(i)=mean((ef-f).^2);
mse_p(i)=mean((ep-p).^2);

11
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

var_a_CR(i)=(2*sigma(i)^2)/N;
var_f_CR(i)=(2*sigma(i)^2*12)/((2*pi*A)^2*N*(N^2-1));
var_p_CR(i)=(2*sigma(i)^2*2*(2*N-1))/(A^2*N*(N+1));

SNR(i)=5*i-20
end
unu_vect=ones(1,num_SNR);
figure(1);
clf;
subplot(321);
plot(SNR,ma,SNR,A*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
grid on;
subplot(322);
plot(SNR,da,'-ob',SNR,var_a_CR,'gv',SNR,mse_a,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
grid on;
subplot(323);
plot(SNR,mf,SNR,f*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*f,min(mf))
max(1.1*f,max(mf))]);
grid on;

subplot(324);
plot(SNR,df,'-ob',SNR,var_f_CR,'gv',SNR,mse_f,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)]);
grid on;
subplot(325);
plot(SNR,mp,SNR,p*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
xlabel('SNR [dB]');

12
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

ylabel('Media');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*p,min(mp))
max(1.1*p,max(mp))]);
grid on;
subplot(326);
plot(SNR,dp,'-ob',SNR,var_p_CR,'gv',SNR,mse_p,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(dp) max(dp)]);
grid on;

function[ef,ea,ep]=carlo(M,N_subint,sigma)
% Procedura genereaza M realizari ale semnalului perturbat. Pentru
% fiecare dintre acestea se determina estimatorii pentru
% amplitudine, frecventa si faza.

global x;
global N;
global A;
global f;
global p;
Q=(0:N-1)';
for i=1:M
% Se genereaza o realizare a semnalului perturbat:
semnal=A*cos(2*pi*f*Q+p);
zgomot=sigma*randn(N,1);
x=semnal+zgomot;
est_f=fun_min_min_f_pe_subint(N_subint); % calculeaza
frecventa care minimizeaza functia obiectiv pe N_subint
subintervale si apoi gaseste minimul dintre aceste minime
c=cos(2*pi*est_f*Q);
s=sin(2*pi*est_f*Q);
H=[c s];
ef(i)=est_f; % estimatul frecventei
alpha=(inv(H'*H)*H'*x); % estimatul lui alpha
ea(i)=sqrt(alpha(1)^2+alpha(2)^2); % estimatul amplitudinii
ep(i)=atan(-alpha(2)/alpha(1)); % estimatul fazei
end

function[solu]=fun_min_min_f_pe_subint(N_subint)
% Procedura identifica minimul dintre valorile obtinute prin
minimizare pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);
function[w,v]=fun_min_f_pe_subint(N_subint)

13
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

% Procedura divizeaza domeniul admisibil pentru solutii in


N_subint
% subintervale si efectueaza minizarea pe fiecare dintre acestea:

pas_f=0.45/(N_subint+1);
for i=1:N_subint
% options = optimset('TolX',1e-3);
%
[w(i),v(i),exitflag]=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1),optio
ns);
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end
function[out]=fun_min_f(ff)
% Aceasta este functia obiectiv care trebuie minimizata:
global x;
global N;
Q=(0:N-1)';
c=cos(2*pi*ff*Q);
s=sin(2*pi*ff*Q);
H=[c s];
out=-x'*H*inv(H'*H)*H'*x;

Modificaţi programul anterior pentru modelul de semnal


x[n ] = A ⋅ sin(2π fn + φ ) + w[n ], n = 0,1,..., N − 1 . (26)

4. Aplicaţii propuse

1. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu


PDF Gaussiană, de medie 0 şi dispersie 1 θ ( N ( 0,1 θ ) ), unde θ > 0 . Găsiţi estimatorul de
maximă plauzibilitate al parametrului θ şi apoi marginea inferioară Cramer-Rao a dispersiei
estimatorului nedeplasat al acestuia. Verificaţi rezultatele cu un program Matlab similar
celui din Exemplul 3.
2. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu
PDF exponenţial, cu parametrul λ > 0 :
λ ⋅ exp ( −λ x ) , x ≥ 0
p ( x; λ ) = 
0, x<0
Să se determine estimatorul de maximă plauzibilitate al parametrului λ şi apoi
marginea inferioară Cramer-Rao a dispersiei estimatorului nedeplasat al acestuia. Verificaţi
rezultatele cu un program Matlab, pentru diferite valori ale lui N . Verificaţi în Matlab dacă
valoarea estimată a lui λ maximizează logaritmul funcţiei de plauzibilitate ln p(x;θ ) .
Utilizaţi funcţia Matlab exprnd pentru generarea numerelor cu distribuţie exponenţială
(vezi help exprnd). Valori numerice: N ∈ {100, 200,300, ,1000} , M = 200 (numărul de
realizări).

14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă

3. Se presupun N observaţii independente x[n], n = 0,1,..., N − 1 , distribuite identic cu


PDF din familia de PDF
p ( x;θ ) = exp  A (θ ) ⋅ B ( x ) + C ( x ) + D (θ )  ,
unde A, B, C , D sunt funcţii de argumentele lor. Găsiţi o ecuaţie care trebuie rezolvată pentru
găsirea estimatului de maximă plauzibilitate al parametrului θ . Aplicaţi apoi rezultatul găsit
pentru aplicaţia propusă 1 şi pentru estimarea nivelului de curent continuu perturbat de
WGN (vezi Exemplul 1).
4. Considerăm N observații independente x [ n ] , n = 0,1,, N − 1 , dintr-un experiment
Bernoulli ( x [ n ] poate lua numai valorile 0 şi 1) cu probabilităţile
Pr { x [ n ] = 1} = pb
Pr { x [ n ] = 0} = 1 − pb
Găsiţi estimatorul de maximă plauzibilitate al parametrului pb . Este estimatorul
nedeplasat? Care este dispersia acestuia? Comparaţi cu estimatorul eficient găsit la aplicaţia
propusă 5, de la Lucrarea 1. Verificați rezultatele printr-un program Matlab. Utilizaţi funcţia
Matlab binornd(1,pb)pentru generarea numerelor 0 şi 1 cu distribuţie Bernoulli (vezi
help binornd). Valori numerice: pb = 0.001 , N ∈ {10 pb , 20 pb ,30 pb , ,100 pb } ,
M = 200 (numărul de realizări).
Indicaţie: Scrieţi PDF pentru x [ n ] astfel: p { x [ n ] ; pb } = pb x[n] ⋅ (1 − pb )
1− x[ n ]
.

15
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

Laborator TEFO
Lucrarea nr. 3

ESTIMAREA PARAMETRILOR PRIN METODA CELOR MAI MICI


PĂTRATE

1. Definirea estimatorului dat de metoda celor mai mici pătrate

Metoda celor mai mici pătrate (descoperită de Gauss în 1795) permite obţinerea unor
estimatori care, în general, nu au proprietatea de optimalitate, dar, pentru multe probleme, duc
la soluţii satisfăcătoare. O caracteristică deosebită a acestei metode este absenţa oricăror
condiţii asupra densităţii de probabilitate (aceasta nu trebuie nici măcar cunoscută). Avantajul
este gama mai largă de aplicaţii posibile. Partea dezavantajoasă este faptul că nu putem face
nici o afirmaţie asupra optimalităţii; mai mult, performanţa statistică nu poate fi apreciată fără
a face anumite presupuneri referitoare la structura probabilistică a datelor. Totuşi, estimatorul
furnizat de metoda celor mai mici pătrate este foarte des folosit în practică, datorită simplităţii
de implementare.
Metoda celor mai mici pătrate încearcă să minimizeze pătratul diferenţei dintre datele
x[n ] şi semnalul presupus a fi transmis. Semnalul este generat de un anumit model, dependent
de parametrul necunoscut θ, şi este considerat determinist. Datorită zgomotului şi limitărilor
modelului, noi observăm o versiune perturbată a lui s[n ] , pe care o notăm x[n ] . Estimatorul
LS (Least Squares) a lui θ alege valoarea est (θ ) care produce s[n ] cel mai apropiat de x[n ] .
"Apropierea" este apreciată prin criteriul erorii LS:
N −1
J (θ ) =  ( x[n ] - s[n ]) ,
2
(1)
n =0

unde intervalul de observare este presupus n=0,1,...,N-1 şi J depinde de θ prin intermediul lui
s[n ] . Valoarea θ care minimizează J (θ ) este estimatorul LS. Cu alte cuvinte, din mai multe
variante de erori posibile, o alegem pe cea mai mică, pe care o presupunem cea mai plauzibilă.
Trebuie observat că asupra lui x[n ] nu s-au făcut nici un fel de presupuneri probabilistice.
Metoda se poate aplica atât pentru zgomot Gaussian, cât şi pentru zgomot non-Gaussian.
Totuşi, performanţele estimatorilor LS vor depinde de proprietăţile zgomotului perturbator şi
de erorile de modelare. Aceşti estimatori se aplică de regulă în situaţii în care o caracterizare
statistică precisă a datelor este imposibilă sau atunci când estimatorii optimi nu pot fi găsiţi sau
sunt prea complicaţi.

Exemplul 1 - Nivel de curent continuu


Să presupunem modelul de semnal s [ n ] = A . Facem observaţiile x [ n ] , pentru
n = 0,1, , N − 1 . După metoda celor mai mici pătrate, putem să estimăm pe A minimizând
N −1
J ( A) =  ( x[n ] - A)
2
(2)
n =0

Pentru a găsi minimul lui J(A), derivăm şi egalăm cu zero, obţinând:

1
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
N -1
1
est ( A) =
N
x[n] = x
n=0
(3)

Estimatorul LS este chiar media eşantioanelor. Nu putem însă afirma că est ( A) este
optim (adică nedeplasat şi cu dispersie minimă), ci doar că el minimizează eroarea LS. Totuşi,
se cunoaşte din lucrările anterioare că pentru modelul x[n ] = A + w [ n ] , unde w [ n ] are media
zero şi este WGN, estimatorul LS este şi MVU (nedeplasat, cu dispersie minimă). Pentru a
înţelege posibilele dificultăţi, să considerăm cazul în care zgomotul nu ar avea medie nulă.
Atunci media eşantioanelor va fi un estimator bun pentru A + E ( w [ n ]) şi nu pentru A .
Atunci când folosim metoda celor mai mici pătrate presupunem că datele (observaţiile)
sunt compuse dintr-un semnal determinist şi zgomot cu medie nulă. În această situaţie, eroarea
ε [n ] = x[n ] − s [ n ] va tinde către zero dacă am ales corect parametrii modelului.
De asemenea, dacă modelul de semnal este incorect (de exemplu dacă datele ar fi de
fapt descrise de relația x[n ] = A + B ⋅ n + w [ n ] ) atunci estimatorul LS va rezulta deplasat.

Exemplul 2 – Estimarea frecvenţei unei sinusoide


Considerăm modelul de semnal s [ n ] = cos(2π f 0n ) .
Se cere să se estimeze frecvenţa f 0 . Estimatorul LS se obţine minimizând
N −1
J ( f 0) =  ( x[n ] - cos(2π f 0n ) )
2
(4)
n =0

Spre deosebire de semnalul continuu de amplitudine A , unde minimul era uşor de găsit,
aici eroarea LS este neliniară în f 0 . Minimizarea nu se poate face în formă închisă. Deoarece
eroarea LS este o funcţie pătratică de semnal, un semnal linear în raport cu parametrul
necunoscut va duce la o funcţie J pătratică, ca în exemplul anterior. În acest caz minimizarea
este simplă. Spunem că un model de semnal liniar în parametrul necunoscut generează o
problemă LS liniară. În caz contrar – cum ar fi exemplul de faţă – avem de-a face cu o
problemă LS neliniară care se rezolvă prin căutări de tip „grilă” sau prin metode iterative.
Important este că semnalul în sine nu trebuie să fie complet linear; este suficient ca acesta să
fie linear în θ. Această situaţie apare în exemplul următor.
Un program Matlab care găseşte estimatul LS al frecvenţei, prin minimizarea funcţiei
J de mai sus pentru diferite valori ale raportului semnal-zgomot (SNR), este
tefo_L3_ex2_est_f_LS. Sunt afişate media și dispersia estimatului, limita inferioară Cramer-
Rao (vezi Lucrarea 1, relația(15)) și eroarea pătratică medie pentru fiecare valoare SNR.

%program tefo_L3_ex2_est_f_LS
%estimarea frecventei unei sinusoide
clear
clc

global N
global x

N=100; %nr. de esantioane pe realizare

2
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

M=100; %nr. de realizari ale lui x[n]


N_subint=10; % numarul de subintervale pe care se face
minimizarea

f0=0.11; % frecventa cosinusoidei


n=0:N-1;

% semnalul util
s=cos(2*pi*f0*n);
A=1;
% Analiza Monte Carlo si reprezentarea grafica a rezultatelor
for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
f0_est(j)=fun_min_min_f_pe_subint(N_subint);
end
mf(i)=mean(f0_est);
df(i)=std(f0_est)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((f0_est-f0).^2);

SNR(i)=5*i-20
end

figure(1)
clf
subplot(211)
plot(SNR,mf,'-o','MarkerFaceColor','b')
hold on
plot(SNR,f0*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*f0,min(mf))
max(1.1*f0,max(mf))])
grid on

subplot(212)
plot(SNR,df,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_f_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_f,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))

3
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

xlabel('SNR [dB]')
ylabel('Dispersia')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)])
grid on

Funcţiile fun_min_min_f_pe_subint, fun_min_f_pe_subint şi


fun_min_f sunt aceleaşi ca în Lucrarea 2 (Estimarea de plauzibilitate maximă), cu
deosebirea că în funcţia Matlab fun_min_f este schimbată funcţia de minimizat.

function[solu]=fun_min_min_f_pe_subint(N_subint)

% Procedura identifica minimul dintre valorile obtinute prin


minimizare
% pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);

function[w,v]=fun_min_f_pe_subint(N_subint)

% Procedura divizeaza domeniul admisibil pentru solutii in


N_subint subintervale
% si efectueaza minizarea pe fiecare dintre acestea:
pas_f=0.45/(N_subint+1);
for i=1:N_subint
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end

function[out]=fun_min_f(ff)

% Aceasta este functia obiectiv care trebuie minimizata:


global N
global x

out=sum((x-cos(2*pi*ff*(0:N-1))).^2);

Exemplul 3 – Estimarea amplitudinii unei sinusoide


Dacă semnalul este s [ n ] = A cos(2π f 0n ) , unde f 0 este cunoscut şi A trebuie estimat,
LSE minimizează
N −1
J ( A) =  ( x[n ] - A cos(2π f 0n ) )
2
(5)
n =0

în raport cu A . Dacă totuşi f 0 nu este cunoscut, trebuie să minimizăm


N −1
J ( A, f 0) =  ( x[n ] - A cos(2π f 0n ) )
2
(6)
n =0

4
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

în raport cu A şi f 0 . J este pătratică în raport cu A , dar nu este pătratică în raport cu f 0 . În


concluzie, J poate fi minimizată în formă închisă în raport cu A pentru un f 0 dat, reducând
minimizarea lui J la o minimizare în raport cu un singur parametru. Acest tip de problemă în
care semnalul este liniar faţă de anumiţi parametri, dar nelinear faţă de ceilalţi poartă numele
de problemă LS separabilă.

2. Metoda celor mai mici pătrate. Cazul liniar

În cazul liniar, pentru un parametru scalar, semnalul este de forma


s[n] = θ h[n] (7)
unde h[n ] este o secvenţă cunoscută. Eroarea LS are forma
N −1 N −1 N −1 N −1
J (θ ) =  ( x [ n ] − θ h [ n ]) =  x 2 [ n ] − 2θ  x [ n ] h [ n ] + θ 2  h 2 [ n ]
2
(8)
n=0 n=0 n=0 n=0

Minimizarea este banală şi duce la obţinerea estimatorului LS


N -1

x[n] h[n]
est (θ ) = n=0
N -1
(9)
h [ n]
n =0
2

Eroarea LS minimă este


N −1 N −1 N −1
J min = J ( est (θ ) ) =  x 2 [ n ] − 2est (θ )  x [ n ] h [ n ] + ( est (θ ) )  h [n] =
2 2

n =0 n =0 n =0
N −1 N −1
=  x 2 [ n ] − est (θ )  x [ n ] h [ n ]
n=0 n =0
2
 N -1

N -1  x[n ] h[n ] 
J min =  x 2
[ n ] −  n =0N −1
 (10)
2
n =0  h [n ]
n =0

Un program Matlab care găseşte estimatul amplitudinii unei sinusoide ca în cazul liniar
pentru diferite valori SNR este tefo_L3_ex3_est_ampl_sin_LS. Sunt afişate media și
dispersia estimatului, limita inferioară Cramer-Rao (vezi Lucrarea 1, relația (14)), precum şi
media erorii minime pentru cele 100 de realizări ale observaţiilor.

%program tefo_L3_ex3_est_ampl_sin_LS
%estimarea amplitudinii unei sinusoide
clear
clc

N=100; %nr. de esantioane pe realizare


M=100; %nr. de realizari ale lui x[n]
A=1; % amplitudinea
f0=0.11; % frecventa
n=0:N-1;

5
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

% semnalul util
h=cos(2*pi*f0*n);
s=A*h;

% Analiza Monte Carlo si reprezentarea grafica a rezultatelor


for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
A_est(j)=(sum(x.*h))/sum(h.^2); % amplitudinea estimata
Jmin(j)=sum(x.^2)-((sum(x.*h))^2)/sum(h.^2); %eroarea
minima
end
ma(i)=mean(A_est);
da(i)=std(A_est)^2;
var_A_CR(i)=(sigma(i)^2)/sum(h.^2);
mse_A(i)=mean((A_est-A).^2);
mJmin(i)=mean(Jmin);
SNR(i)=5*i-20
end

figure(1)
clf
subplot(311)
plot(SNR,ma,'-o','MarkerFaceColor','b')
hold on
plot(SNR,A*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))])
grid on

subplot(312)
plot(SNR,da,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_A,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
xlabel('SNR [dB]')
ylabel('Dispersia amplitudinii')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max([da,var_A_CR])])

6
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

grid on

subplot(313)
plot(SNR,mJmin,'-ob','MarkerFaceColor','b')
xlabel('SNR [dB]')
ylabel('Media erorii minime')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(mJmin) max(mJmin)])
grid on

Extinderea formulelor (7)-(10) pentru un parametru vectorial θ de dimensiune p × 1


este simplă şi foarte utilă în practică. Pentru semnalul s =  s [ 0] s [1]  s [ N − 1] admitem
T

modelul linear matriceal


s=Hθ (11)
unde H este o matrice cunoscută de dimensiuni N × p , de rang p ( N ≥ p deoarece, în caz
contrar, numărul de parametri necunoscuţi este mai mare decât numărul de observaţii). H se
numeşte de obicei matrice de observaţie. Estimatorul LS se găseşte minimizând
N −1
J (θ) =  ( x[n ] - s[n ]) = ( x − Hθ)T ⋅ (x-Hθ)=xT x − 2xT Hθ+θT HT Hθ
2
(12)
n =0

Ținând cont de identitățile (17) și (18) din Lucrarea 2, gradientul lui J (θ) este:
∂J (θ)
= −2HT x +2HT Hθ (13)
∂θ
Egalând gradientul cu zero obţinem estimatorul LS:
est (θ) = ( HT H)-1HT x (14)
est(θ) minimizează J(θ). Aceasta se poate verifica uşor calculând:
∂ 2 J ( θ)  N 
∂θ 2
= 2 H T
H = 2  
 i =1
hij hik 
 jk
(15)

care este pozitiv definită (adică valorile proprii ale matricei HT H sunt toate pozitive). În
practică, estimatorul LS nu se determină cu formula (14), deoarece calculul inversei matricii
HT H poate prezenta dificultăţi. De obicei se rezolvă ecuaţiile normale
HT H ⋅ est ( θ ) = HT x (16)
folosind algoritmi stabili din algebra lineară numerică, care presupun transformări ortogonale.
Faptul că H are rang p ne garantează inversabilitatea lui HT H .
Eroarea LS minimă pentru cazul vectorial se poate calcula astfel:
T T -1 T T T -1 T
J min = J (est (θ)) = (x - Hest (θ)) (x - Hest (θ)) = (x - H(H H ) H x) (x - H ( H H ) H x) =
( ) ( ) ( )
T
=  I − H (HT H ) -1HT x  I − H (HT H ) -1HT x = xT I − H (HT H ) -1HT x =
 
= xT x − xT H (HT H ) -1HT x (17)
T -1 T
deoarece matricea I − H( H H) H este idempotentă.

7
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

3. Metoda celor mai mici pătrate. Cazul nelinear

Metoda celor mai mici pătrate estimează parametrii θ ai modelului prin minimizarea
expresiei:
J = ( x-s(θ) ) ⋅ ( x -s(θ) )
T
(18)
unde s(θ) este modelul de semnal pentru x, cu dependenţa de θ notată explicit (de observat că
dacă x-s(θ) este distribuit normal, cu media 0 şi matricea de covarianță σ 2I , atunci LSE este şi
MLE – estimatorul de plauzibilitate maximă). În cazul linear semnalul are forma s(θ)=Hθ, care
permite o rezolvare simplă. În general, s(θ) nu poate fi exprimat în acest fel, acesta fiind o
funcţie N-dimensională nelineară , depinzând de θ, şi minimizarea lui J este relativ dificilă.
Cazul LS nelinear este o problemă de regresie nelineară. Practic, determinarea LSE se
bazează pe abordări iterative (Gauss-Newton, Newton-Raphson, etc.). Pentru cazurile în care
dimensiunea lui θ este mică se preferă o căutare de tip „grilă”.
Există două modalităţi de reducere a complexităţii problemei, şi anume transformarea
parametrilor şi separarea parametrilor.

3.1. Transformarea parametrilor

În prima variantă căutăm o transformare injectivă a lui θ care să producă un model de


semnal linear.
α =g (θ) (19)
g este funcţie p-dimensională de θ, a cărei inversă este cunoscută. Dacă se poate găsi
g astfel încât:
s(θ(α )) = s(g −1 (α )) = H α (20)
atunci modelul de semnal va fi linear în α. Putem uşor determina estimatorul linear al lui α şi
deci estimatorul nelinear al lui θ din relaţiile
est(α )=(HT H ) -1HT x (21)
−1
est (θ)=g (est(α )) (22)
Această abordare se bazează pe faptul că minimizarea se poate efectua în spaţiul
transformat rezultat prin aplicaţia injectivă.

3.2. Separarea parametrilor

Un al doilea tip de problemă LS nelineară, mai puţin complex decât cazul general, este
cel care prezintă proprietatea de separabilitate. Deşi modelul de semnal este nelinear, el poate
fi linear în raport cu o parte din parametri. În general, un model de semnal separabil are forma:
s = H (β )α (23)
unde:
 α q×1 
θ=  (24)
β( p −q )×1 
 
H(β) este o matrice de dimensiuni N × q dependentă de β. Acest model este nelinear în

8
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

β şi linear în α. Ca urmare, eroarea LS poate fi minimizată în raport cu α şi astfel redusă la o


funcţie numai de β. Deoarece
J (α,β) = ( x-H(β) ⋅ α ) ⋅ ( x-H(β) ⋅ α )
T
(25)
α care minimizează J (α,β) pentru un β dat este:
est (α ) = (HT (β)H(β))-1 HT (β)x (26)
şi eroarea LS este
J (β,est(α)) = xT  I-H(β)(HT (β)H(β))-1 HT (β)  x (27)
Ținând cont de (17), problema se reduce la minimizarea expresiei:
−xT H(β)(HT (β)H(β))-1 HT (β)x (28)
în raport cu β .
Aceste abordări pot fi combinate pentru a simplifica o problemă. Când acestea nu pot fi
aplicate, trebuie să minimizăm cantitatea:
J (θ) = ( x-s(θ) ) ⋅ ( x-s(θ) )
T
(29)

4. Eliminarea perturbaţiilor prin metoda celor mai mici pătrate

Să considerăm un semnal dreptunghiular de amplitudine necunoscută, perturbat de


zgomot alb Gaussian şi de o sinusoidă a cărei frecvenţă este cunoscută, dar nu i se cunosc
amplitudinea şi faza. Modelul este:
x[n] = A a[ n / T ] + B sin(2π fn) + C cos(2π fn) + w[n] (30)
(unde cu ⋅ s-a notat partea întreagă). T este perioada de bit a semnalului dreptunghiular, iar f
este frecvenţa sinusoidei perturbatoare. Pentru a estima A , B şi C trebuie minimizată
expresia (29), în care θ = [ A B C ] , iar
T

s ( A, B, C ) = B sin(2π fn) + C cos(2π fn) + A est (a[ n / T ]) (31)


unde
 n / T T +T -1

est (a[ n / T ]) = sign 
 
[ x[i ] - B sin(2π fi ) - C cos(2π fi )] 

(32)

i= n /T T 
Pentru exemplul din programul următor A = 1, B = C = 0.5 , σ 2 = 0.25 , iar T = 7 . Se
observă că metoda celor mai mici pătrate permite refacerea corectă (cu probabilitate de eroare
foarte mică) a semnalului util.

% program tefo_L3_LS_elim_pert_semnal_drept
% Programul genereaza o realizare de semnal perturbat din care
% incearca sa extraga semnalul util.

% Valorile parametrilor:
B=0.5; % coeficientul cosinusului
C=0.5; % coeficientul sinusului
A=1; % amplitudinea semnalului util
sig=0.5; % deviatia standard a zgomotului

9
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

global x
global es
[x,s]=gen([B C A sig]);
u=fminsearch('funmin',[0.8 0.8 0.8])
Q=(1:210)';

figure(1)
clf
subplot(211)
plot(x)
title('Semnalul afectat de perturbatii')
axis([0 211 -4 4.1])
hold on
plot(B*sin(0.02*pi*Q)+C*cos(0.02*pi*Q))
hold off
grid on
subplot(413)
plot(transfo(s))
grid on
title('Semnalul util')
axis([0 210 -2 2])
subplot(414)
plot(transfo(es))
grid on
title('Semnalul refacut')
axis([0 210 -2 2])

function [x,semnal]=gen(set1)
% Aceasta procedura genereaza efectiv semnalul perturbat.
Q=(1:210)';
B=set1(1);C=set1(2);A=set1(3);sig=set1(4);
f=0.01;
pert=B*cos(2*pi*f*Q)+C*sin(2*pi*f*Q);
zgomot=sig*randn(210,1);
x=pert+zgomot;
semnal=sign(rand(30,1)-0.5); % un semnal cu 30 de valori aleatoare
+1 sau -1
for i=1:30
for j=1:7
index=7*(i-1)+j;
x(index)=x(index)+A*semnal(i);
end
end

function[u]=funmin(sett)

% Procedura calculeaza functia obiectiv ce urmeaza a fi


minimizata:

10
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

global x
global es
B=sett(1);C=sett(2);A=sett(3);
jx=0;
es=zeros(1,30);
f=0.01;
for i=1:30
for j=1:7
index=7*(i-1)+j;
es(i)=es(i)+x(index)-B*cos(2*pi*f*index)-
C*sin(2*pi*f*index);
end
es(i)=sign(es(i));
for j=1:7
index=7*(i-1)+j;
jx=jx+(x(index)-B*cos(2*pi*f*index)-C*sin(2*pi*f*index)-
es(i)*A)^2;
end
end
u=jx;

function[a]=transfo(b)

% Procedura auxiliara care transforma un vector de 30 de elemente


% intr-unul de 210 prin repetarea de 7 ori a fiecarui element:
for i=1:30
for j=1:7
index=7*(i-1)+j;
a(index)=b(i);
end
end

5. Aplicaţii propuse

1. Să se realizeze un program Matlab care să determine estimatul pentru coeficienţii


A şi B ce determină punctele s [ n ] = A + B ⋅ n , n = 0,1, , N − 1 , de pe o dreaptă, ştiind că
avem la dispoziţiile variantele perturbate de zgomot aditiv gaussian (cu σ = 1.25 ) sau
uniform (cu a = −2.25 , b = 2.25 ), de medie zero, ale acestor puncte. Afişaţi pe aceeaşi figură
dreapta iniţială, dreapta estimată şi punctele perturbate. Valori numerice:
A = 5, B = 3, N = 21 .
2. Să se realizeze un program Matlab care să determine estimatul pentru coeficienţii
A, B şi C ce determină punctele s [n] = A + B ⋅ n + C ⋅ n2 ,
n = − ( N − 1) , − ( N − 2 ) , , −1,0,1, , N − 1 , de pe o curbă cuadratică, ştiind că avem la
dispoziţiile variantele perturbate de zgomot aditiv gaussian (cu σ = 1.25 ) sau uniform (cu
σ = 3.25 ), de medie zero, ale acestor puncte. Afişaţi pe aceeaşi figură curba iniţială, curba
estimată şi punctele perturbate. Valori numerice: A = 5, B = −1, C = 2, N = 16 .

11
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

3. Aceleaşi cerinţe ca la aplicaţia 1, pentru A şi B coeficienţii exponenţialei


s [ n ] = A ⋅ exp ( B ⋅ n ) , n = 0,1, , N − 1 . Se cunosc punctele perturbate de acelaşi tipuri de
zgomot ale exponențialei s [ n ] . Valori numerice: A = 5, B = 0.1, N = 31 .
4. Se consideră modelul de semnal:
 A, n = 0, P − 1,
s [n] = 
 − A, n = P, N − 1.
Eșantioanele recepționate sunt de forma
x[n ] = s [ n ] + w[n ] , n = 0, N − 1 ,
unde w[n ] este zgomot alb distribuit: a) Gaussian cu medie 0 și varianță σ 2 ; b) uniform cu
parametrii ( −a, a ) .
Să se găsească estimatul LS al parametrului A și varianța acestuia. Să se verifice apoi
rezultatele cu un program Matlab pentru următoarele valori numerice: A = 3 ,
N ∈ {10, 20,30,, 200} , P = 0.4 ⋅ N  , σ = 1.75 , a = 3.5 . Afișați în funcție de valorile lui N ,
pentru M = 10000 realizări, valorile medii ale estimaților obținuți, valorea adevărată a lui A ,
precum și dispersiile estimaților calculate în Matlab și valorile teoretice ae acestora. Găsiți
valoarea lui a pentru care puterea zgomotului uniform devine egală cu puterea zgomotului
Gaussian cu σ = 1.75 . Verificați în Matlab dispersiile estimaților obținuți în această situație
pentru cele două tipuri de zgomot. Ce observați?
5. Să se realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 , în cazul când semnalul recepţionat este:
x[n ] = A1 ⋅ cos(2π fn ) + A2 ⋅ sin(2π fn ) + w[n ] , n = 0, N − 1 , A1 > 0, A2 > 0 ,
cu frecvenţa f cunoscută şi w[n] zgomot WGN cu medie nulă. Se va considera că raportul
semnal-zgomot (SNR) ia valorile: 0, 5, 10, 15, 20, 25 şi 30 dB şi se vor genera câte M
realizări pentru fiecare valoare a SNR. Se va afişa media şi dispersia fiecăruia din cei doi
estimaţi.
Valori numerice: A1 = 3, A2 = 2 , f = 0.11 , N = 100 , M = 1000 .
Indicație: Folosiți programul tefo_L2_MLE_A_f_phi.m de la Lucrarea 2, modificați
modelul de semnal și folosiți transformarea parametrilor A1 şi A2 în vectorul α = [α1 α 2 ] .
T

6. Aceleaşi cerinţe ca la aplicaţia 5, pentru semnalul recepţionat de forma:


x[n ] = A1 + A2 ⋅ cos(2π fn ) + A1 − A2 ⋅ sin(2π fn ) + w[n ] , n = 0, N − 1 , A1 > A2 .
Valori numerice: A1 = 3, A2 = −2 , f = 0.11 , N = 100 , M = 1000 . Este valabilă aceeași
indicație ca la aplicația propusă 5.
7. Pentru modelul de semnal de la aplicația propusă 5, considerând frecvența
necunoscută, să realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 și a frecvenței f .
Indicație: Folosiți programul tefo_L2_MLE_A_f_phi.m de la Lucrarea 2, modificați
modelul de semnal și folosiți metoda transformării parametrilor A1 şi A2 în vectorul
α = [α1 α 2 ] și apoi separarea parametrilor α și f .
T

12
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

8. Pentru modelul de semnal de la aplicația propusă 6, considerând frecvența


necunoscută, să realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 și a frecvenței f . Este valabilă aceeași indicație ca la aplicația propusă 7.

13
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

Laborator TEFO
Lucrarea nr. 3

ESTIMAREA PARAMETRILOR PRIN METODA CELOR MAI MICI


PĂTRATE

1. Definirea estimatorului dat de metoda celor mai mici pătrate

Metoda celor mai mici pătrate (descoperită de Gauss în 1795) permite obţinerea unor
estimatori care, în general, nu au proprietatea de optimalitate, dar, pentru multe probleme, duc
la soluţii satisfăcătoare. O caracteristică deosebită a acestei metode este absenţa oricăror
condiţii asupra densităţii de probabilitate (aceasta nu trebuie nici măcar cunoscută). Avantajul
este gama mai largă de aplicaţii posibile. Partea dezavantajoasă este faptul că nu putem face
nici o afirmaţie asupra optimalităţii; mai mult, performanţa statistică nu poate fi apreciată fără
a face anumite presupuneri referitoare la structura probabilistică a datelor. Totuşi, estimatorul
furnizat de metoda celor mai mici pătrate este foarte des folosit în practică, datorită simplităţii
de implementare.
Metoda celor mai mici pătrate încearcă să minimizeze pătratul diferenţei dintre datele
x[n ] şi semnalul presupus a fi transmis. Semnalul este generat de un anumit model, dependent
de parametrul necunoscut θ, şi este considerat determinist. Datorită zgomotului şi limitărilor
modelului, noi observăm o versiune perturbată a lui s[n ] , pe care o notăm x[n ] . Estimatorul
LS (Least Squares) a lui θ alege valoarea est (θ ) care produce s[n ] cel mai apropiat de x[n ] .
"Apropierea" este apreciată prin criteriul erorii LS:
N −1
J (θ ) =  ( x[n ] - s[n ]) ,
2
(1)
n =0

unde intervalul de observare este presupus n=0,1,...,N-1 şi J depinde de θ prin intermediul lui
s[n ] . Valoarea θ care minimizează J (θ ) este estimatorul LS. Cu alte cuvinte, din mai multe
variante de erori posibile, o alegem pe cea mai mică, pe care o presupunem cea mai plauzibilă.
Trebuie observat că asupra lui x[n ] nu s-au făcut nici un fel de presupuneri probabilistice.
Metoda se poate aplica atât pentru zgomot Gaussian, cât şi pentru zgomot non-Gaussian.
Totuşi, performanţele estimatorilor LS vor depinde de proprietăţile zgomotului perturbator şi
de erorile de modelare. Aceşti estimatori se aplică de regulă în situaţii în care o caracterizare
statistică precisă a datelor este imposibilă sau atunci când estimatorii optimi nu pot fi găsiţi sau
sunt prea complicaţi.

Exemplul 1 - Nivel de curent continuu


Să presupunem modelul de semnal s [ n ] = A . Facem observaţiile x [ n ] , pentru
n = 0,1, , N − 1 . După metoda celor mai mici pătrate, putem să estimăm pe A minimizând
N −1
J ( A) =  ( x[n ] - A)
2
(2)
n =0

Pentru a găsi minimul lui J(A), derivăm şi egalăm cu zero, obţinând:

1
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
N -1
1
est ( A) =
N
x[n] = x
n=0
(3)

Estimatorul LS este chiar media eşantioanelor. Nu putem însă afirma că est ( A) este
optim (adică nedeplasat şi cu dispersie minimă), ci doar că el minimizează eroarea LS. Totuşi,
se cunoaşte din lucrările anterioare că pentru modelul x[n ] = A + w [ n ] , unde w [ n ] are media
zero şi este WGN, estimatorul LS este şi MVU (nedeplasat, cu dispersie minimă). Pentru a
înţelege posibilele dificultăţi, să considerăm cazul în care zgomotul nu ar avea medie nulă.
Atunci media eşantioanelor va fi un estimator bun pentru A + E ( w [ n ]) şi nu pentru A .
Atunci când folosim metoda celor mai mici pătrate presupunem că datele (observaţiile)
sunt compuse dintr-un semnal determinist şi zgomot cu medie nulă. În această situaţie, eroarea
ε [n ] = x[n ] − s [ n ] va tinde către zero dacă am ales corect parametrii modelului.
De asemenea, dacă modelul de semnal este incorect (de exemplu dacă datele ar fi de
fapt descrise de relația x[n ] = A + B ⋅ n + w [ n ] ) atunci estimatorul LS va rezulta deplasat.

Exemplul 2 – Estimarea frecvenţei unei sinusoide


Considerăm modelul de semnal s [ n ] = cos(2π f 0n ) .
Se cere să se estimeze frecvenţa f 0 . Estimatorul LS se obţine minimizând
N −1
J ( f 0) =  ( x[n ] - cos(2π f 0n ) )
2
(4)
n =0

Spre deosebire de semnalul continuu de amplitudine A , unde minimul era uşor de găsit,
aici eroarea LS este neliniară în f 0 . Minimizarea nu se poate face în formă închisă. Deoarece
eroarea LS este o funcţie pătratică de semnal, un semnal linear în raport cu parametrul
necunoscut va duce la o funcţie J pătratică, ca în exemplul anterior. În acest caz minimizarea
este simplă. Spunem că un model de semnal liniar în parametrul necunoscut generează o
problemă LS liniară. În caz contrar – cum ar fi exemplul de faţă – avem de-a face cu o
problemă LS neliniară care se rezolvă prin căutări de tip „grilă” sau prin metode iterative.
Important este că semnalul în sine nu trebuie să fie complet linear; este suficient ca acesta să
fie linear în θ. Această situaţie apare în exemplul următor.
Un program Matlab care găseşte estimatul LS al frecvenţei, prin minimizarea funcţiei
J de mai sus pentru diferite valori ale raportului semnal-zgomot (SNR), este
tefo_L3_ex2_est_f_LS. Sunt afişate media și dispersia estimatului, limita inferioară Cramer-
Rao (vezi Lucrarea 1, relația(15)) și eroarea pătratică medie pentru fiecare valoare SNR.

%program tefo_L3_ex2_est_f_LS
%estimarea frecventei unei sinusoide
clear
clc

global N
global x

N=100; %nr. de esantioane pe realizare

2
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

M=100; %nr. de realizari ale lui x[n]


N_subint=10; % numarul de subintervale pe care se face
minimizarea

f0=0.11; % frecventa cosinusoidei


n=0:N-1;

% semnalul util
s=cos(2*pi*f0*n);
A=1;
% Analiza Monte Carlo si reprezentarea grafica a rezultatelor
for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
f0_est(j)=fun_min_min_f_pe_subint(N_subint);
end
mf(i)=mean(f0_est);
df(i)=std(f0_est)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((f0_est-f0).^2);

SNR(i)=5*i-20
end

figure(1)
clf
subplot(211)
plot(SNR,mf,'-o','MarkerFaceColor','b')
hold on
plot(SNR,f0*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*f0,min(mf))
max(1.1*f0,max(mf))])
grid on

subplot(212)
plot(SNR,df,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_f_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_f,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))

3
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

xlabel('SNR [dB]')
ylabel('Dispersia')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)])
grid on

Funcţiile fun_min_min_f_pe_subint, fun_min_f_pe_subint şi


fun_min_f sunt aceleaşi ca în Lucrarea 2 (Estimarea de plauzibilitate maximă), cu
deosebirea că în funcţia Matlab fun_min_f este schimbată funcţia de minimizat.

function[solu]=fun_min_min_f_pe_subint(N_subint)

% Procedura identifica minimul dintre valorile obtinute prin


minimizare
% pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);

function[w,v]=fun_min_f_pe_subint(N_subint)

% Procedura divizeaza domeniul admisibil pentru solutii in


N_subint subintervale
% si efectueaza minizarea pe fiecare dintre acestea:
pas_f=0.45/(N_subint+1);
for i=1:N_subint
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end

function[out]=fun_min_f(ff)

% Aceasta este functia obiectiv care trebuie minimizata:


global N
global x

out=sum((x-cos(2*pi*ff*(0:N-1))).^2);

Exemplul 3 – Estimarea amplitudinii unei sinusoide


Dacă semnalul este s [ n ] = A cos(2π f 0n ) , unde f 0 este cunoscut şi A trebuie estimat,
LSE minimizează
N −1
J ( A) =  ( x[n ] - A cos(2π f 0n ) )
2
(5)
n =0

în raport cu A . Dacă totuşi f 0 nu este cunoscut, trebuie să minimizăm


N −1
J ( A, f 0) =  ( x[n ] - A cos(2π f 0n ) )
2
(6)
n =0

4
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

în raport cu A şi f 0 . J este pătratică în raport cu A , dar nu este pătratică în raport cu f 0 . În


concluzie, J poate fi minimizată în formă închisă în raport cu A pentru un f 0 dat, reducând
minimizarea lui J la o minimizare în raport cu un singur parametru. Acest tip de problemă în
care semnalul este liniar faţă de anumiţi parametri, dar nelinear faţă de ceilalţi poartă numele
de problemă LS separabilă.

2. Metoda celor mai mici pătrate. Cazul liniar

În cazul liniar, pentru un parametru scalar, semnalul este de forma


s[n] = θ h[n] (7)
unde h[n ] este o secvenţă cunoscută. Eroarea LS are forma
N −1 N −1 N −1 N −1
J (θ ) =  ( x [ n ] − θ h [ n ]) =  x 2 [ n ] − 2θ  x [ n ] h [ n ] + θ 2  h 2 [ n ]
2
(8)
n=0 n=0 n=0 n=0

Minimizarea este banală şi duce la obţinerea estimatorului LS


N -1

x[n] h[n]
est (θ ) = n=0
N -1
(9)
h [ n]
n =0
2

Eroarea LS minimă este


N −1 N −1 N −1
J min = J ( est (θ ) ) =  x 2 [ n ] − 2est (θ )  x [ n ] h [ n ] + ( est (θ ) )  h [n] =
2 2

n =0 n =0 n =0
N −1 N −1
=  x 2 [ n ] − est (θ )  x [ n ] h [ n ]
n=0 n =0
2
 N -1

N -1  x[n ] h[n ] 
J min =  x 2
[ n ] −  n =0N −1
 (10)
2
n =0  h [n ]
n =0

Un program Matlab care găseşte estimatul amplitudinii unei sinusoide ca în cazul liniar
pentru diferite valori SNR este tefo_L3_ex3_est_ampl_sin_LS. Sunt afişate media și
dispersia estimatului, limita inferioară Cramer-Rao (vezi Lucrarea 1, relația (14)), precum şi
media erorii minime pentru cele 100 de realizări ale observaţiilor.

%program tefo_L3_ex3_est_ampl_sin_LS
%estimarea amplitudinii unei sinusoide
clear
clc

N=100; %nr. de esantioane pe realizare


M=100; %nr. de realizari ale lui x[n]
A=1; % amplitudinea
f0=0.11; % frecventa
n=0:N-1;

5
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

% semnalul util
h=cos(2*pi*f0*n);
s=A*h;

% Analiza Monte Carlo si reprezentarea grafica a rezultatelor


for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
A_est(j)=(sum(x.*h))/sum(h.^2); % amplitudinea estimata
Jmin(j)=sum(x.^2)-((sum(x.*h))^2)/sum(h.^2); %eroarea
minima
end
ma(i)=mean(A_est);
da(i)=std(A_est)^2;
var_A_CR(i)=(sigma(i)^2)/sum(h.^2);
mse_A(i)=mean((A_est-A).^2);
mJmin(i)=mean(Jmin);
SNR(i)=5*i-20
end

figure(1)
clf
subplot(311)
plot(SNR,ma,'-o','MarkerFaceColor','b')
hold on
plot(SNR,A*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))])
grid on

subplot(312)
plot(SNR,da,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_A,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
xlabel('SNR [dB]')
ylabel('Dispersia amplitudinii')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max([da,var_A_CR])])

6
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

grid on

subplot(313)
plot(SNR,mJmin,'-ob','MarkerFaceColor','b')
xlabel('SNR [dB]')
ylabel('Media erorii minime')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(mJmin) max(mJmin)])
grid on

Extinderea formulelor (7)-(10) pentru un parametru vectorial θ de dimensiune p × 1


este simplă şi foarte utilă în practică. Pentru semnalul s =  s [ 0] s [1]  s [ N − 1] admitem
T

modelul linear matriceal


s=Hθ (11)
unde H este o matrice cunoscută de dimensiuni N × p , de rang p ( N ≥ p deoarece, în caz
contrar, numărul de parametri necunoscuţi este mai mare decât numărul de observaţii). H se
numeşte de obicei matrice de observaţie. Estimatorul LS se găseşte minimizând
N −1
J (θ) =  ( x[n ] - s[n ]) = ( x − Hθ)T ⋅ (x-Hθ)=xT x − 2xT Hθ+θT HT Hθ
2
(12)
n =0

Ținând cont de identitățile (17) și (18) din Lucrarea 2, gradientul lui J (θ) este:
∂J (θ)
= −2HT x +2HT Hθ (13)
∂θ
Egalând gradientul cu zero obţinem estimatorul LS:
est (θ) = ( HT H)-1HT x (14)
est(θ) minimizează J(θ). Aceasta se poate verifica uşor calculând:
∂ 2 J ( θ)  N 
∂θ 2
= 2 H T
H = 2  
 i =1
hij hik 
 jk
(15)

care este pozitiv definită (adică valorile proprii ale matricei HT H sunt toate pozitive). În
practică, estimatorul LS nu se determină cu formula (14), deoarece calculul inversei matricii
HT H poate prezenta dificultăţi. De obicei se rezolvă ecuaţiile normale
HT H ⋅ est ( θ ) = HT x (16)
folosind algoritmi stabili din algebra lineară numerică, care presupun transformări ortogonale.
Faptul că H are rang p ne garantează inversabilitatea lui HT H .
Eroarea LS minimă pentru cazul vectorial se poate calcula astfel:
T T -1 T T T -1 T
J min = J (est (θ)) = (x - Hest (θ)) (x - Hest (θ)) = (x - H(H H ) H x) (x - H ( H H ) H x) =
( ) ( ) ( )
T
=  I − H (HT H ) -1HT x  I − H (HT H ) -1HT x = xT I − H (HT H ) -1HT x =
 
= xT x − xT H (HT H ) -1HT x (17)
T -1 T
deoarece matricea I − H( H H) H este idempotentă.

7
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

3. Metoda celor mai mici pătrate. Cazul nelinear

Metoda celor mai mici pătrate estimează parametrii θ ai modelului prin minimizarea
expresiei:
J = ( x-s(θ) ) ⋅ ( x -s(θ) )
T
(18)
unde s(θ) este modelul de semnal pentru x, cu dependenţa de θ notată explicit (de observat că
dacă x-s(θ) este distribuit normal, cu media 0 şi matricea de covarianță σ 2I , atunci LSE este şi
MLE – estimatorul de plauzibilitate maximă). În cazul linear semnalul are forma s(θ)=Hθ, care
permite o rezolvare simplă. În general, s(θ) nu poate fi exprimat în acest fel, acesta fiind o
funcţie N-dimensională nelineară , depinzând de θ, şi minimizarea lui J este relativ dificilă.
Cazul LS nelinear este o problemă de regresie nelineară. Practic, determinarea LSE se
bazează pe abordări iterative (Gauss-Newton, Newton-Raphson, etc.). Pentru cazurile în care
dimensiunea lui θ este mică se preferă o căutare de tip „grilă”.
Există două modalităţi de reducere a complexităţii problemei, şi anume transformarea
parametrilor şi separarea parametrilor.

3.1. Transformarea parametrilor

În prima variantă căutăm o transformare injectivă a lui θ care să producă un model de


semnal linear.
α =g (θ) (19)
g este funcţie p-dimensională de θ, a cărei inversă este cunoscută. Dacă se poate găsi
g astfel încât:
s(θ(α )) = s(g −1 (α )) = H α (20)
atunci modelul de semnal va fi linear în α. Putem uşor determina estimatorul linear al lui α şi
deci estimatorul nelinear al lui θ din relaţiile
est(α )=(HT H ) -1HT x (21)
−1
est (θ)=g (est(α )) (22)
Această abordare se bazează pe faptul că minimizarea se poate efectua în spaţiul
transformat rezultat prin aplicaţia injectivă.

3.2. Separarea parametrilor

Un al doilea tip de problemă LS nelineară, mai puţin complex decât cazul general, este
cel care prezintă proprietatea de separabilitate. Deşi modelul de semnal este nelinear, el poate
fi linear în raport cu o parte din parametri. În general, un model de semnal separabil are forma:
s = H (β )α (23)
unde:
 α q×1 
θ=  (24)
β( p −q )×1 
 
H(β) este o matrice de dimensiuni N × q dependentă de β. Acest model este nelinear în

8
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

β şi linear în α. Ca urmare, eroarea LS poate fi minimizată în raport cu α şi astfel redusă la o


funcţie numai de β. Deoarece
J (α,β) = ( x-H(β) ⋅ α ) ⋅ ( x-H(β) ⋅ α )
T
(25)
α care minimizează J (α,β) pentru un β dat este:
est (α ) = (HT (β)H(β))-1 HT (β)x (26)
şi eroarea LS este
J (β,est(α)) = xT  I-H(β)(HT (β)H(β))-1 HT (β)  x (27)
Ținând cont de (17), problema se reduce la minimizarea expresiei:
−xT H(β)(HT (β)H(β))-1 HT (β)x (28)
în raport cu β .
Aceste abordări pot fi combinate pentru a simplifica o problemă. Când acestea nu pot fi
aplicate, trebuie să minimizăm cantitatea:
J (θ) = ( x-s(θ) ) ⋅ ( x-s(θ) )
T
(29)

4. Eliminarea perturbaţiilor prin metoda celor mai mici pătrate

Să considerăm un semnal dreptunghiular de amplitudine necunoscută, perturbat de


zgomot alb Gaussian şi de o sinusoidă a cărei frecvenţă este cunoscută, dar nu i se cunosc
amplitudinea şi faza. Modelul este:
x[n] = A a[ n / T ] + B sin(2π fn) + C cos(2π fn) + w[n] (30)
(unde cu ⋅ s-a notat partea întreagă). T este perioada de bit a semnalului dreptunghiular, iar f
este frecvenţa sinusoidei perturbatoare. Pentru a estima A , B şi C trebuie minimizată
expresia (29), în care θ = [ A B C ] , iar
T

s ( A, B, C ) = B sin(2π fn) + C cos(2π fn) + A est (a[ n / T ]) (31)


unde
 n / T T +T -1

est (a[ n / T ]) = sign 
 
[ x[i ] - B sin(2π fi ) - C cos(2π fi )] 

(32)

i= n /T T 
Pentru exemplul din programul următor A = 1, B = C = 0.5 , σ 2 = 0.25 , iar T = 7 . Se
observă că metoda celor mai mici pătrate permite refacerea corectă (cu probabilitate de eroare
foarte mică) a semnalului util.

% program tefo_L3_LS_elim_pert_semnal_drept
% Programul genereaza o realizare de semnal perturbat din care
% incearca sa extraga semnalul util.

% Valorile parametrilor:
B=0.5; % coeficientul cosinusului
C=0.5; % coeficientul sinusului
A=1; % amplitudinea semnalului util
sig=0.5; % deviatia standard a zgomotului

9
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

global x
global es
[x,s]=gen([B C A sig]);
u=fminsearch('funmin',[0.8 0.8 0.8])
Q=(1:210)';

figure(1)
clf
subplot(211)
plot(x)
title('Semnalul afectat de perturbatii')
axis([0 211 -4 4.1])
hold on
plot(B*sin(0.02*pi*Q)+C*cos(0.02*pi*Q))
hold off
grid on
subplot(413)
plot(transfo(s))
grid on
title('Semnalul util')
axis([0 210 -2 2])
subplot(414)
plot(transfo(es))
grid on
title('Semnalul refacut')
axis([0 210 -2 2])

function [x,semnal]=gen(set1)
% Aceasta procedura genereaza efectiv semnalul perturbat.
Q=(1:210)';
B=set1(1);C=set1(2);A=set1(3);sig=set1(4);
f=0.01;
pert=B*cos(2*pi*f*Q)+C*sin(2*pi*f*Q);
zgomot=sig*randn(210,1);
x=pert+zgomot;
semnal=sign(rand(30,1)-0.5); % un semnal cu 30 de valori aleatoare
+1 sau -1
for i=1:30
for j=1:7
index=7*(i-1)+j;
x(index)=x(index)+A*semnal(i);
end
end

function[u]=funmin(sett)

% Procedura calculeaza functia obiectiv ce urmeaza a fi


minimizata:

10
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

global x
global es
B=sett(1);C=sett(2);A=sett(3);
jx=0;
es=zeros(1,30);
f=0.01;
for i=1:30
for j=1:7
index=7*(i-1)+j;
es(i)=es(i)+x(index)-B*cos(2*pi*f*index)-
C*sin(2*pi*f*index);
end
es(i)=sign(es(i));
for j=1:7
index=7*(i-1)+j;
jx=jx+(x(index)-B*cos(2*pi*f*index)-C*sin(2*pi*f*index)-
es(i)*A)^2;
end
end
u=jx;

function[a]=transfo(b)

% Procedura auxiliara care transforma un vector de 30 de elemente


% intr-unul de 210 prin repetarea de 7 ori a fiecarui element:
for i=1:30
for j=1:7
index=7*(i-1)+j;
a(index)=b(i);
end
end

5. Aplicaţii propuse

1. Să se realizeze un program Matlab care să determine estimatul pentru coeficienţii


A şi B ce determină punctele s [ n ] = A + B ⋅ n , n = 0,1, , N − 1 , de pe o dreaptă, ştiind că
avem la dispoziţiile variantele perturbate de zgomot aditiv gaussian (cu σ = 1.25 ) sau
uniform (cu a = −2.25 , b = 2.25 ), de medie zero, ale acestor puncte. Afişaţi pe aceeaşi figură
dreapta iniţială, dreapta estimată şi punctele perturbate. Valori numerice:
A = 5, B = 3, N = 21 .
2. Să se realizeze un program Matlab care să determine estimatul pentru coeficienţii
A, B şi C ce determină punctele s [n] = A + B ⋅ n + C ⋅ n2 ,
n = − ( N − 1) , − ( N − 2 ) , , −1,0,1, , N − 1 , de pe o curbă cuadratică, ştiind că avem la
dispoziţiile variantele perturbate de zgomot aditiv gaussian (cu σ = 1.25 ) sau uniform (cu
σ = 3.25 ), de medie zero, ale acestor puncte. Afişaţi pe aceeaşi figură curba iniţială, curba
estimată şi punctele perturbate. Valori numerice: A = 5, B = −1, C = 2, N = 16 .

11
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

3. Aceleaşi cerinţe ca la aplicaţia 1, pentru A şi B coeficienţii exponenţialei


s [ n ] = A ⋅ exp ( B ⋅ n ) , n = 0,1, , N − 1 . Se cunosc punctele perturbate de acelaşi tipuri de
zgomot ale exponențialei s [ n ] . Valori numerice: A = 5, B = 0.1, N = 31 .
4. Se consideră modelul de semnal:
 A, n = 0, P − 1,
s [n] = 
 − A, n = P, N − 1.
Eșantioanele recepționate sunt de forma
x[n ] = s [ n ] + w[n ] , n = 0, N − 1 ,
unde w[n ] este zgomot alb distribuit: a) Gaussian cu medie 0 și varianță σ 2 ; b) uniform cu
parametrii ( −a, a ) .
Să se găsească estimatul LS al parametrului A și varianța acestuia. Să se verifice apoi
rezultatele cu un program Matlab pentru următoarele valori numerice: A = 3 ,
N ∈ {10, 20,30,, 200} , P = 0.4 ⋅ N  , σ = 1.75 , a = 3.5 . Afișați în funcție de valorile lui N ,
pentru M = 10000 realizări, valorile medii ale estimaților obținuți, valorea adevărată a lui A ,
precum și dispersiile estimaților calculate în Matlab și valorile teoretice ae acestora. Găsiți
valoarea lui a pentru care puterea zgomotului uniform devine egală cu puterea zgomotului
Gaussian cu σ = 1.75 . Verificați în Matlab dispersiile estimaților obținuți în această situație
pentru cele două tipuri de zgomot. Ce observați?
5. Să se realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 , în cazul când semnalul recepţionat este:
x[n ] = A1 ⋅ cos(2π fn ) + A2 ⋅ sin(2π fn ) + w[n ] , n = 0, N − 1 , A1 > 0, A2 > 0 ,
cu frecvenţa f cunoscută şi w[n] zgomot WGN cu medie nulă. Se va considera că raportul
semnal-zgomot (SNR) ia valorile: 0, 5, 10, 15, 20, 25 şi 30 dB şi se vor genera câte M
realizări pentru fiecare valoare a SNR. Se va afişa media şi dispersia fiecăruia din cei doi
estimaţi.
Valori numerice: A1 = 3, A2 = 2 , f = 0.11 , N = 100 , M = 1000 .
Indicație: Folosiți programul tefo_L2_MLE_A_f_phi.m de la Lucrarea 2, modificați
modelul de semnal și folosiți transformarea parametrilor A1 şi A2 în vectorul α = [α1 α 2 ] .
T

6. Aceleaşi cerinţe ca la aplicaţia 5, pentru semnalul recepţionat de forma:


x[n ] = A1 + A2 ⋅ cos(2π fn ) + A1 − A2 ⋅ sin(2π fn ) + w[n ] , n = 0, N − 1 , A1 > A2 .
Valori numerice: A1 = 3, A2 = −2 , f = 0.11 , N = 100 , M = 1000 . Este valabilă aceeași
indicație ca la aplicația propusă 5.
7. Pentru modelul de semnal de la aplicația propusă 5, considerând frecvența
necunoscută, să realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 și a frecvenței f .
Indicație: Folosiți programul tefo_L2_MLE_A_f_phi.m de la Lucrarea 2, modificați
modelul de semnal și folosiți metoda transformării parametrilor A1 şi A2 în vectorul
α = [α1 α 2 ] și apoi separarea parametrilor α și f .
T

12
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate

8. Pentru modelul de semnal de la aplicația propusă 6, considerând frecvența


necunoscută, să realizeze un program Matlab care să determine estimatul pentru valorile A1
şi A2 și a frecvenței f . Este valabilă aceeași indicație ca la aplicația propusă 7.

13
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

Laborator TEFO
Lucrarea nr. 4

ESTIMAREA PARAMETRILOR PRIN METODA MOMENTELOR

1. Cazul scalar

În această lucrare este descrisă o metodă care produce un estimator uşor de calculat şi de
implementat. Deşi acesta nu are nici o proprietate de optimalitate, el este totuşi util în cazurile
în care sunt disponibile suficient de multe date, întrucât metoda este de obicei consistentă. Dacă
performanţele nu sunt satisfăcătoare, estimatorul furnizat poate fi folosit ca o valoare de start
pentru o implementare iterativă (Newton-Raphson, Gauss-Newton etc.) a estimării de maximă
plauzibilitate.
Metoda momentelor se bazează pe rezolvarea unei ecuaţii teoretice ce conţine
momentele unei funcţii densitate de probabilitate. De exemplu, să considerăm observaţiile
x[n ] , n = 0,1, , N − 1 , care sunt eşantioane independente şi identic distribuite din "amestecul
Gaussian" cu următoarea PDF:
1− ε  1 2[n ]  ε  1 2[n ] 
p( x[n ]; ε ) = exp  − x 2  + exp  − x 2  (1)
2π σ 12  2 σ1  2π σ 22  2 σ2 
sau mai succint:
p( x[n ]; ε ) = (1 − ε )φ 1( x[n ]) + ε φ 2( x[n ]) (2)
unde:
1  1 x 2[n ] 
φ i ( x[n ]) = exp  − 2 
, i ∈ {1, 2} (3)
2π σ i2  2 σi 
Parametrul ε este denumit parametrul de amestec ( 0< ε <1 ), iar σ 12 , σ 22 sunt dispersiile
PDF Gaussiene individuale. "Amestecul Gaussian" poate fi considerat ca fiind o variabilă
aleatoare obţinută din PDF N(0, σ 12 ) cu probabilitatea 1- ε şi din PDF N(0, σ 22 ) cu
probabilitatea ε . Dacă σ 12 şi σ 22 sunt cunoscute şi trebuie estimat ε , toate metodele uzuale de
estimare nedeplasată, de dispersie minimă, vor eşua. De exemplu, estimarea de plauzibilitate
maximă necesită maximizarea unei funcţii puternic neliniare de ε :
∂ ln  N -1  (1 − ε )  1 x 2[n ]  ε  1 x 2[n ]   
∏  exp  −  + exp  − 2 2    = 0 (4)
∂ε  n =0  2π σ 12  2 σ1 
2
2π σ 22  σ 2   

Ecuaţia ar putea fi rezolvată printr-o metodă iterativă, dar metoda momentelor permite
obţinerea unui estimator mult mai simplu.
Valoarea medie a lui x[n ] este:
E ( x[n ]) = 0 , (5)
deoarece p( x[n ]; ε ) este pară.
Valoarea pătratică medie este:

1
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

 x [n ] (1 − ε ) φ ( x [n ]) + ε φ ( x [n ])dx [ n ] =
2
E ( x [n ]) =
2
1 2
−∞
∞ ∞
x [n ] exp  − 1 x [n ]  dx[n ] + ε x [n ] exp  − 1 x [n ]  dx[n ]
2 2 2 2
= (1 − ε )   2   2π σ 22  2 σ 22 
 (6)
-∞ 2π σ 12  2 σ1  -∞

Calculăm integrala
∞ ∞
x
2
 1 x2  x
2
 1 x2 
I1 = 
-∞ 2π σ 2
exp −
 2 2
 σ 
dx = 2 0 2π σ 2  − 2 σ 2  dx
exp (7)

făcând schimbarea de variabilă


x2 2 −1 2
= t  x = σ 2 ⋅ t1 2  dx = σ ⋅ t dt (8)
2σ 2
2
şi rezultă:
∞ ∞
2σ 2t 2 −1 2 2 2
I1 = 2  exp( −t )σ t dt = σ t1 2 exp( −t )dt (9)
0 2π σ 2 2 π 0
Dar ştim că integrala gamma

Γ ( p ) = t p −1 exp( −t )dt (10)
0

are proprietăţile
Γ ( p + 1) = p ⋅ Γ ( p ) (11)
π
Γ ( p ) ⋅ Γ (1 − p ) = (12)
sin pπ
Astfel avem că
2 2  3 2 2 1 1 2
π
I1 = σ ⋅ Γ   = σ ⋅ Γ   = σ ⋅ =σ2 (13)
π 2 π 2 2 π sin π
2
Deci
E ( x 2[n ]) = (1 − ε )σ 12 + ε σ 22
(14)
Această ecuaţie teoretică raportează parametrul necunoscut ε la momentul de ordinul
doi. Dacă acum înlocuim E ( x 2[n ]) cu estimatorul său obişnuit, obţinem:
N -1
1
N
 x [n] = (1 − est (ε ))σ
n =0
2 2
1 + est (ε )σ 22 (15)
N −1
1
N
 x [n] − σ
2 2
1
est (ε ) = n =0
(16)
σ 22 − σ 12
Din modul cum a fost dedus estimatorul rezultă că acesta este nedeplasat (ceea ce nu
este întotdeauna valabil la această metodă ). Calculăm dispersia estimatului:
1  1 N -1  1
var( est (ε )) = 2 2
var   x 2[n ]  = 2 2
var( x 2[n ]) =
(σ − σ 1 )
2
2  N n = 0  N ( 2

σ 2 σ 1)

2
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

1
=  E ( x 4[n ]) − E 2 ( x 2[n ])  (17)
N (σ − σ 12 ) 2 
2
2

1  1 2[n ] 
E ( x [n ]) =  x 4[n ](1 − ε )
4
exp  − x 2  dx[n ] +
-∞ 2π σ 12  2 σ1 

1  1 2[n ] 
+  x 4[n ] ε exp  − x 2  dx[n ] (18)
-∞ 2π σ 22  2 σ2 
Calculăm separat integrala:

1  1 x2   1 x2 

1
I2 =  x4 exp  − 2
dx = 2  x 4
exp  − dx (19)
 2σ   2 σ 2 
-∞
2π σ 2 2πσ 2 0

Făcând aceeaşi schimbare de variabilă ca în integrala I1 rezultă:


∞ ∞
4σ 4t 2 2 −1 2 4 4
I 2 = 2 exp( −t )σ t dt = σ t 3 2 exp( −t )dt (20)
0 2π σ 2 2 π 0
sau folosind integrala gamma şi proprietăţile ei
4 4 5 4 4 3 1 1 3 4
I 2 = σ Γ   = σ ⋅ ⋅ ⋅ Γ   = σ ⋅ π = 3σ 4 (21)
π 2 π 2 2 2 π
În concluzie
E ( x 4[n ]) = 3(1 − ε )σ 14 + 3ε σ 42
şi deci dispersia estimatorului este:
1
var( est (ε )) = 2 2
[3(1 − ε )σ 14 + 3ε σ 42 − ((1 − ε )σ 12 + ε σ 22) 2] (22)
(σ − σ ) N
2
2 1

Pentru a determina cât din performanţă s-a pierdut, ar trebui calculată numeric limita
inferioară Cramer-Rao. Dacă dispersia este inacceptabil de mare, trebuie să folosim o estimare
de plauzibilitate maximă (MLE) care pentru înregistrări de date de dimensiuni mari ar atinge
limita respectivă. Trebuie observat că estimatorul obţinut în acest exemplu prin metoda
momentelor este consistent ( est (ε ) tinde la ε atunci când N tinde la infinit). Întrucât
estimatorii momentelor, care sunt introduşi în ecuaţia teoretică, se apropie de valorile adevărate
pentru un număr mare de observaţii, ecuaţia care se rezolvă (15) se apropie de ecuaţia teoretică
(14). Ca urmare, estimatorul dat de această metodă este, în general, consistent.
În programul tefo_L4_amestec_gaussian se genereazǎ M=300 realizǎri de câte N
eşantioane fiecare cu distribuţia dată de amestecul Gaussian şi se estimeazǎ parametrul de
amestec ε al distribuţiei prin metoda momentelor (relaţia (16)). Se consideră toate valorile lui
N cuprinse între 300 şi 10000, cu pasul 300. Apoi sunt calculate şi reprezentate grafic, media şi
dispersia estimatului, precum şi dispersia teoretică a estimatului (relaţia (22)) în funcţie de
valorile lui N.

%Program tefo_L4_amestec_gaussian
%estimarea parametrului de amestec al distributiei data de
%amestecul Gaussian
clear;

3
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

clc;
sigma1=2;
sigma2=3;
M=300; %numarul de realizari
N_vect=300:300:10000; %numarul de esantioane pe realizare
eps=0.3; %parametrul de amestec

num_N=length(N_vect);
for i=1:num_N
disp('N=')
disp(N_vect(i))
x1=sigma1*randn(M,floor((1-eps)*N_vect(i)));
x2=sigma2*randn(M,floor(eps*N_vect(i)));
x=[x1 x2];
est_eps=(sum(x.^2,2)/N_vect(i)-sigma1^2)/(sigma2^2-sigma1^2);
var_est_eps_teor(i)=1/((sigma2^2-sigma1^2)^2*N_vect(i))*(3*(1-
eps)*sigma1^4+3*eps*sigma2^4-((1-eps)*sigma1^2+eps*sigma2^2)^2);

mean_est_eps(i)=mean(est_eps);
var_est_eps(i)=std(est_eps)^2;
end
figure(1);
clf;
subplot(2,1,1);
plot(N_vect,mean_est_eps,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,eps*ones(1,num_N),'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
title('Estimarea parametrului de amestec (\epsilon) a doua PDF
Gaussiene');
xlabel('N')
ylabel('Media estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 0.9*eps 1.1*eps])
subplot(2,1,2);
plot(N_vect,var_est_eps,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,var_est_eps_teor,'-go','MarkerFaceColor','g');
legend('Dispersia reala a estimatului','Dispersia teoretica a
estimatului');
grid on;
title('Estimarea parametrului de amestec (\epsilon) a doua PDF
Gaussiene');
xlabel('N')
ylabel('Dispersia estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 -min(var_est_eps)
1.1*max(var_est_eps)])

4
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

În continuare rezumăm metoda momentelor pentru un parametru scalar.


Admitem că momentele de ordin k, μk = E ( x k [ n ]) (unde k poate fi în mulţimea de
întregi pozitivi {k1 , k2 ,, kQ } , cu k1 < k2 <  < kQ ) depind de parametrul necunoscut θ, astfel
încât acesta se poate exprima în funcţie de ele prin transformarea inversă:
θ = h −1( μ k , μ k ,..., μ k )
1 2 Q
(23)
Înlocuim momentele teoretice cu estimatorii naturali:
N -1
1
est ( μ k i ) =
N
x
n =0
ki [n ], i = 1, Q (24)

pentru a obţine estimatorul prin metoda momentelor:

( )
N -1 N -1
1 1
est (θ ) = h −1
N
 x k1[n],...,
n =0 N
x
n =0
kQ [n ] (25)

Exemplul 1 - Nivel de curent continuu în zgomot alb Gaussian


Avem observaţiile x [ n ] = A + w [ n ] , n=0,1,...,N-1, unde w [ n ] este WGN cu dispersia σ2
şi media nulă şi trebuie estimat A. Ştim că:
μ 1 = E ( x[n]) = A (26)
Aceasta este ecuaţia teoretică. Înlocuim μ 1 cu estimatorul său natural:
1 N -1
x[n]
est ( A) =
N n=0
(27)

În acest caz transformarea este identică, h −1 ( x ) = x .

Exemplul 2 – Parametrul funcţiei densitate de probabilitate exponenţială


Fie N obsevaţii, independente, identic distribuite, cu PDF exponenţială:
λ exp( −λ x[n ]), x[n ] > 0
p ( x[n ]; λ ) =  (28)
 0 , x[n ] ≤ 0
Vrem să estimăm λ (λ>0). Calculăm momentul de ordin 1:
∞ ∞
1
μ 1 = E ( x[n ]) =  x[n ]λ exp( −λ x[n ])dx[n ] =  exp( −λ x[n ])dx[n ] = (29)
0 0
λ
Deci λ = 1 μ1 şi
1
est (λ ) = N −1
(30)
1
N
x[n]
n =0

Comparați expresia estimatului obținut cu cea de la metoda estimării de maximă


plauzibilitate și dispersia acestuia cu limita inferioară Cramer-Rao (vezi aplicația propusă 2 din
Lucrarea 2).
În programul tefo_L4_ex2_param_distrib_exp se genereazǎ M=300 realizǎri de câte N
eşantioane fiecare cu distribuţie exponenţialǎ şi se estimeazǎ parametrul λ al distribuţiei prin
metoda momentelor. Se consideră toate valorile lui N cuprinse între 300 şi 10000, cu pasul 300.

5
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

Apoi sunt calculate şi reprezentate grafic, media şi dispersia estimatului în funcţie de valorile
lui N.

%Program tefo_L4_ex2_param_distrib_exp
%estimarea parametrului lambda al distributiei exponentiale
clear;
clc;
lambda=2; %parametrului lambda al distributiei
exponentiale
miu=1/lambda;
M=300; %numarul de realizari
N_vect=300:300:10000; %numarul de esantioane pe realizare
num_N=length(N_vect);
for i=1:num_N
disp('N=')
disp(N_vect(i))
x=exprnd(miu,M,N_vect(i)); %generarea numerelor cu
distributie exponentiala

est_lambda=1./(1/N_vect(i)*sum(x,2));
mean_est_lambda(i)=mean(est_lambda);
var_est_lambda(i)=std(est_lambda)^2;

var_CR_est_lambda(i)=lambda^2/N_vect(i);
end
figure(1);
clf;
subplot(2,1,1);
plot(N_vect,mean_est_lambda,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,lambda*ones(1,num_N),'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
title('Estimarea parametrului \lambda al distributiei exponentiale
prin metoda momentelor');
xlabel('N')
ylabel('Media estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 0.9*lambda 1.1*lambda])
subplot(2,1,2);
plot(N_vect,var_est_lambda,'-bo','MarkerFaceColor','b');
hold on
plot(N_vect,var_CR_est_lambda,'-gv','MarkerFaceColor','g');
grid on;
legend('Dispersia estimatului','Limita inferioara Cramer-Rao');
title('Estimarea parametrului \lambda al distributiei exponentiale
prin metoda momentelor');
xlabel('N')
ylabel('Dispersia estimatului');

6
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

axis([N_vect(1)-100 N_vect(num_N)+100 -min(var_est_lambda)


1.1*max(var_est_lambda)])

2. Cazul vectorial
T
Să considerăm acum un parametru vectorial θ = θ1 ,θ 2 , ,θ p  de dimensiune p ×1 .
Admitem că momentele μ k , μ k ,..., μ k , care formează vectorul μ , depind de elementele
1 2 Q

θ1 ,θ 2 , ,θ p astfel încât θ se poate exprima în funcţie de μ prin transformarea inversă:


θ = h −1 ( μ ) (31)
Ca urmare
est ( θ ) = h −1 ( est ( μ ) ) (32)
În practică este de dorit să se folosească momente de ordin cât mai mic, întrucât
dispersia estimatorilor momentelor creşte, de regulă, cu ordinul acestora. De asemenea, se
preferă ecuaţii pe cât posibil lineare. În caz contrar trebuie efectuată o optimizare nelineară şi
dispare avantajul implementării simple a metodei momentelor. În cazul vectorial este posibil să
avem nevoie şi de momente încrucişate, de forma E ( x q [ n ] ⋅ x r [ n ]) . Această situaţie apare chiar
în exemplul următor.

3. Estimarea frecvenţei şi amplitudinii unei sinusoide prin metoda momentelor

Aplicăm metoda momentelor la problema estimării frecvenţei şi amplitudinii unei


sinusoide. Fie observaţiile:
x[n ] = A cos(2π fn + φ ) + w[n ], n = 0,1,..., N − 1 , (33)
unde w [ n ] este zgomot alb, de medie nulă şi dispersie σ . Se cer f şi A. Problema a mai fost
2

rezolvată şi prin metoda estimării de plauzibilitate maximă.


Calculăm funcţia de autocorelaţie:
r xx[k ] = E ( x[n ]x[n + k ]) = E ( A cos(2π fn + φ ) cos(2π fn + 2π fk + φ ) ) + σ δ [k ]=
2 2

2 2
= A cos(2π fk ) + A E ( cos(4π fn + 2π fk + 2φ ) ) + σ 2 δ [k ] (34)
2 2
Termenul din mijloc se poate neglija atunci când se calculează
N −1− k
1
est ( r xx[k ]) =
N −k
 x[n]x[n + k ]
n =0
(35)
deoarece:
1 N −1− k
1  N −1− k

N −k
 cos(4π fn + 2π fk + 2φ ) = N − k Re e ( π
k =0
j 2 fk + 2φ )

k =0
e =

j 4π fn

1  e j 4π f ( N − k )
− 1 1  j ( 4π f + 2π fk + 2φ ) e ( ) sin ( 2π f ( N − k ) ) 
j 2 π f N − k
= Re e j ( 4π f + 2π fk + 2φ ) ⋅  = Re e ⋅ ⋅ =
N −k  e j 4π f − 1  N − k  e j 2π f sin ( 2π f ) 
1 sin ( 2π f ( N − k ) )
= ⋅ ⋅ cos ( 2π f + 2π fk + 2φ ) (36)
N −k sin ( 2π f )

7
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

Ultima expresie se poate aproxima cu zero dacă k este mic faţă de N şi frecvența f nu
este apropiată de 0 sau 0.5.
Pentru k=1 şi k=2 obţinem:
est ( A) 2
est (r xx[1]) = cos(2π est ( f )) (37)
2
( est ( A) ) ( est ( A) )
2 2

[2]) =
est (r xx
2
cos(4π est ( f )) =
2
( 2 cos ( 2π est ( f ) ) − 1)
2
(38)
Nu folosim rxx [ 0] deoarece conţine necunoscuta σ 2 .
Din ultimele două ecuaţii se obţine:
2
 2est ( [1]) 
2 r xx  − 1 = 2est (r xx[2]) (39)
 ( est ( A ) )2  ( est ( A) )
2
 
Aceasta este o ecuaţie banală de ordinul doi, cu soluţia:
( est ( A) ) ( est ( r [2]) ) + 8 ( est ( r xx[1]) )
2 2 2
= − est (r xx[2]) + xx (40)
Mai departe se poate găsi şi expresia estimatorului frecvenţei din (37):
 
1 2est (r xx[1])
est ( f ) = arccos   (41)
2π  
( est ( r xx[2]) ) + 8 ( est ( r xx[1]) )
2 2
 − est (r xx[2]) 

Argumentul funcţiei arccos poate depăşi 1 în modul, de obicei când SNR este mic. În
această situaţie estimatorul nu are sens şi ne arată că, pentru valoarea respectivă a SNR, metoda
momentelor nu prezintă încredere.
Pentru a evalua performanţa acestor estimatori s-a făcut o analiză Monte Carlo pentru
SNR având valorile în dB în mulțimea {-15,-10,-5,0,5,10,15}. Pentru fiecare valoare a
raportului semnal/zgomot s-au generat M=1000 de realizări ale zgomotului, fiecare având câte
N=1000 de eşantioane. Realizările au fost adunate pe rând la semnalul util:
s[n ] = 2 cos(2π ⋅ 0.11 ⋅ n + 0.5), n = 0,1,...,999 (42)
Sunt calculate şi reprezentate grafic apoi în funcţie de SNR, media şi dispersia
estimaţilor amplitudinii şi frecvenţei semnalului util. Dispersia estimaţilor s-a comparat cu
valorile date de limita Cramer-Rao pentru vectori de parametri și cu eroarea pătratică medie
corespunzătoare.
%Program tefo_L4_amplit_frecv_sin_MM
clear;
clc;
global N;
% Valorile parametrilor pentru care se efectueaza analiza:
A=sqrt(2); % amplitudinea
f=0.11; % frecventa
ph=0.5; % faza
N=1000; % numar de esantioane pe realizare
M=1000; % numar de realizari

8
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

% Apelarea procedurii de analiza Monte Carlo pentru 7 valori


% diferite ale raportului semnal/zgomot si reprezentarea
% rezultatelor sub forma grafica:
for i=1:7
power=(4-i)/4;
sigma(i)=10^(power);
[ea,ef]=mmcarlo(A,f,ph,sigma(i),M);
SNR(i)=5*i-20

ma(i)=mean(ea);
da(i)=std(ea)^2;
var_A_CR(i)=(2*sigma(i)^2)/N;
mse_A(i)=mean((ea-A).^2);

mf(i)=mean(ef);
df(i)=std(ef)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((ef-f).^2);
end;
unu=ones(1,7);

figure(1);
clf;
subplot(221);
plot(SNR,ma,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,A*unu,'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
subplot(222);
plot(SNR,da,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g');
hold on;
plot(SNR,mse_A,'*m');
grid on;
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}),1);
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
subplot(223);
plot(SNR,mf,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,f*unu,'ko','MarkerFaceColor','k');
grid on;

9
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

legend('valoare estimata medie','valoare adevarata',1);


xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea frecventei prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 min(0.9*f,min(mf))
max(1.1*f,max(mf))]);
subplot(224);
plot(SNR,df,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,var_f_CR,'gv','MarkerFaceColor','g');
hold on;
plot(SNR,mse_f,'*m');
grid on;
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}),1);
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea frecventei prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)]);

function[ea,ef]=mmcarlo(A,f,ph,sigma,M)
% Procedura genereaza N realizari ale semnalului perturbat pentru
% care estimeaza amplitudinea si frecventa:
global N;
index_vect=(0:N-1)';
for k=1:M
semnal=A*cos(2*pi*f*index_vect+ph);
zgomot=randn(N,1)*sigma;
x=semnal+zgomot;
r1=x(1:N-1)'*x(2:N)/(N-1);
r2=x(1:N-2)'*x(3:N)/(N-2);
g=2*r1/(sqrt(r2^2+8*r1^2)-r2);
if abs(g)>1,
g=sign(g);
end;
ef(k)=1/(2*pi)*acos(g);
ea(k)=sqrt(-r2+sqrt(r2^2+8*r1^2));
end

4. Aplicaţii propuse

1. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi


10000 cu pasul 300) dintr-o distribuţie uniformă pe intervalul [a, b]. Să se realizeze un
program Matlab care să determine estimaţii pentru parametrii a şi b ai distribuţiei uniforme
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimaţilor în funcţie de N.
Valori numerice: a = 1 , b = 3 .
Funcţia densitate de probabilitate a distribuţiei uniforme este:

10
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor

 1
 ,a ≤ x ≤ b
p ( x) = b − a
0, altfel.
2. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie uniformă pe intervalul (θ − 1, θ + 1) . Să se realizeze
un program Matlab care să determine estimatul pentru parametrul θ prin metoda
momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de N. Valoare
numerică: θ = 5 .
3. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie exponenţială trunchiată cu funcţia densitate de
probabilitate:
−( x −θ )
 e ,x ≥θ
p ( x) = 
0, altfel.
Să se realizeze un program Matlab care să determine estimatul pentru parametrul θ
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Valoare numerică: θ = 3 .
Indicaţie:
Se va folosi următoarea metodă pentru generarea numerelor cu distribuţia dată:
Dacă F ( x ) este funcţia de repartiţie a unei variabile aleatoare X şi G ( x ) = F −1 ( x )
este inversa ei, atunci numerele vor fi generate cu X = G (U ) , unde U are distribuţie
uniformă cu parametrii a = 0 și b = 1 .
4. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie Weibull cu un parametru, care are funcţia densitate
de probabilitate:
2 ⋅ α ⋅ x ⋅ e −α x , x > 0
2

p ( x) = 
0, altfel.
Să se realizeze un program Matlab care să determine estimatul pentru parametrul α
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Utilizați funcția wblrnd pentru generarea numerelor cu distribuție Weibull (vezi help
wblrnd). Valoare numerică: α = 4 .
5. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie Rayleigh cu parametrul σ , care are funcţia densitate
de probabilitate:
 x −x2
2

 ⋅ e 2σ , x ≥ 0
p ( x ) = σ 2
0, altfel.

Să se realizeze un program Matlab care să determine estimatul pentru parametrul σ
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Utilizați funcția raylrnd pentru generarea numerelor cu distribuție Rayleigh (vezi
help raylrnd). Valoare numerică: σ = 2 .

11
TEFO Lucrarea 5 Estimarea unui parametru aleator

Laborator TEFO
Lucrarea nr. 5

ESTIMAREA UNUI PARAMETRU ALEATOR

În lucrările anterioare s-a tratat problema estimării parametrilor care aveau o valoare
necunoscută, dar fixată. Acest tip de estimare se numește estimare a unui parametru
determinist. În această lucrare vom considera că parametrul ce trebuie estimat este aleator,
valorile pe care le ia acesta având o distribuţie cunoscută. Prin distribuția parametrului
înțelegem funcția densitate de probabilitate atunci când parametrul este o variabilă aleatoare
continuă, sau funcția masă de probabilitate atunci când parametrul este o variabilă aleatoare
discretă. Acest tip de estimare se numește estimare a unui parametru aleator. Deoarece pentru
determinarea estimatorului unui parametru aleator se folosește regula lui Bayes din teoria
probabilităților, se spune că acest tip de estimare folosește abordarea bayesiană.

1. Criterii pentru estimarea unui parametru aleator

În continuare vom nota cu p ( x, θ ) funcția densitate de probabilitate reunită a setului de


date și a parametrului θ . Densitatea de probabilitate (PDF) a parametrului aleator θ este notată
p (θ ) . Deoarece această PDF ne dă o informaţie iniţială asupra parametrului θ , p (θ ) se
numeşte PDF a priori. Reamintim că în cazul estimării unui parametru determinist θ , PDF era
notată cu p ( x;θ ) (a se observa caracterul “ punct și virgulă” în loc de “ virgulă”) însemnând că
PDF este al setului de date și depinde doar de parametrul θ .
Definiție. Un estimator θˆ al unui parametru aleator θ se numește nedeplasat dacă
valoarea sa medie este egală cu valoarea medie a parametrului θ , adică
()
E θˆ = E (θ ) ⇔  θˆ ⋅ p ( x ) dx =  θ ⋅ p (θ ) dθ (1)
Dacă θˆ este estimatul parametrului aleator θ și ε = θ − θˆ este eroarea de estimare,
atunci vom nota prin  (ε ) funcția cost care măsoară prețul plătit pentru eroarea de estimare ε .
Valoarea medie a costului este numită risc Bayes și este notată astfel:
 ( )
= E  ( ε )  =   θ − θˆ ⋅ p ( x, θ ) dxdθ =

 ( )
=     θ − θˆ ⋅ p (θ x ) dθ  ⋅ p ( x ) dx

(2)
Criteriul general de estimare a unui parametru aleator este minimizarea costului mediu
sau minimizarea riscului Bayes. În Figura 1 sunt date trei tipuri de funcții cost care sunt des
utilizate.

1.1. Estimatul MMSE

În Figura 1, a) este arătată funcția cost pătratul erorii definită prin


 (ε ) = ε 2 (3)

1
TEFO Lucrarea 5 Estimarea unui parametru aleator

Figura 1. Funcții cost des utilizate: a) funcția cost pătratul erorii; b) funcția cost uniformă;
c) funcția cost eroare absolută.

Prin minimizarea riscului Bayes cu această funcție cost se minimizează eroarea pătratică
( ) 
medie E  θ − θˆ  , iar estimatul se numește estimat MMSE (de la “minimum mean squared
2


error” în limba engleză). Facem precizarea că medierea în cantitatea E  θ − θˆ  se face după ( ) 
2


PDF reunită p ( x, θ ) = p (θ x ) ⋅ p ( x ) . De aceea această mărime se numește eroarea pătratică
medie bayesiană (Bmse de la “Bayesian mean squared error” în limba engleză).
Estimatorul MMSE este dat de relația
θˆMMSE = E (θ x ) =  θ ⋅ p (θ x ) dθ , (4)
adică valoarea medie a parametrului în raport cu PDF a posteriori. Utilizând regula lui Bayes
se obține relația echivalentă
θ ⋅ p ( x θ ) ⋅ p (θ ) dθ
θˆMMSE =  (5)
 p ( x θ ) ⋅ p (θ ) dθ
Eroarea pătratică medie bayesiană a estimatului MMSE, adică Bmse minimă (Bmmse de
la “minimum Bmse”), este egală cu
( ) ( )
Bmse θˆMMSE = Bmmse = E  θ − θˆMMSE  =  θ − θˆMMSE( )
2 2
⋅ p ( x, θ ) dxdθ =
 
( )
=  θ − E (θ x ) ⋅ p (θ x ) dθ ⋅ p ( x ) dx =  var (θ x ) ⋅ p ( x ) dx ,
2
(6)
adică dispersia variabilei aleatoare cu PDF a posteriori p (θ x ) , mediată peste PDF a setului de
date p ( x ) .

1.2. Estimatul MAP

În Figura 1, b) este reprezentată funcția cost uniformă definită prin


0, dacă ε < δ
 (ε ) =  (7)
1, dacă ε ≥ δ
Această funcție nu penalizează deloc erorile foarte mici (mai mici, în valoare absolută,

2
TEFO Lucrarea 5 Estimarea unui parametru aleator

decât un prag δ ), în timp ce erorile mai mari decât pragul δ sunt penalizate uniform cu
valoarea costului egală cu 1.
Estimatul obținut cu funcția de cost uniformă este dat de valoarea lui θ care
maximizează PDF a posteriori p (θ x ) , adică moda (sau locația maximului) pentru funcția
PDF a posteriori p (θ x ) . Acest estimat se numește estimat maximum a posteriori (MAP). Prin
urmare
θˆMAP = arg max p (θ x ) = arg max  p ( x θ ) ⋅ p (θ )  , (8)
θ θ
O relație des folosită în cazul estimatului MAP, utilă atunci când PDF este de tip
exponenţial, este următoarea
θˆMAP = arg max ln p (θ x ) = arg max ln p ( x θ ) + ln p (θ )  , (9)
θ θ
sau, alternativ, estimatul MAP este soluţia ecuaţiei
∂ ln p ( x θ ) ∂ ln p (θ )
+ θ =θˆ
=0. (10)
∂θ ∂θ MAP

În Figura 1, c) este reprezentată funcția cost eroare absolută definită prin


 (ε ) = ε (11)
Această funcție cost penalizează eroarea proporțional cu valoarea ei absolută.

Observaţie. În cazul când PDF a posteriori p (θ x ) este Gaussiană estimatorii obţinuţi


cu cele trei funcţii cost sunt identici.

2. Estimarea unui parametru aleator cu PDF a priori Gaussiană, perturbat de


zgomot AWGN

Se consideră datele de forma


x [ n ] = A + w [ n ] , n = 0, N − 1 , (12)
unde A este un parametru aleator cu distribuţie gaussiană cu medie μ A şi dispersie σ A2 (adică
A   ( μ A , σ A2 ) ), iar w [ n ]   ( 0,σ 2 ) . Dorim să estimăm parametrul A .
Pentru găsirea estimatorului MMSE avem nevoie de PDF a posteriori p ( A x ) . Cu
regula lui Bayes avem
p ( x A) ⋅ p ( A)
N −1
1 1
− 2 ⋅  ( x[ n ] − A )
N 2 2
− 2 ⋅( A − μ A )
 1  1 1
p ( A x) = =  ⋅ e 2σ n=0
⋅ ⋅ e 2σ A
⋅ (13)
p (x)  σ 2π  σ A 2π p (x)
Exercițiu. Arătaţi că PDF a posteriori p ( A x ) din relaţia (13) se poate scrie în forma
p ( A x ) = K ( x ) ⋅ e − p⋅ A
2
+ q⋅ A
, (14)
unde
1  N 1 
p= ⋅ 2 + 2 , (15)
2 σ σA 

3
TEFO Lucrarea 5 Estimarea unui parametru aleator

N −1

 x [ n] μA
q= n =0
+ , (16)
σ 2
σ A2
1
K (x) = +∞
. (17)
e
− p ⋅ A2 + q ⋅ A
dA
−∞

Atunci
+∞

 A⋅e
− p ⋅ A2 + q ⋅ A
dA
Aˆ MMSE =
 A ⋅ p ( A x ) dA = −∞
(18)
p (x) +∞

e
− p ⋅ A2 + q ⋅ A
dA
−∞

Exercițiu. Scriind exponentul − p ⋅ A2 + q ⋅ A în forma


2
 q  q2
− p ⋅ A2 + q ⋅ A = −  p ⋅ A −  + (19)
 2 p  4 p

q
şi făcând schimbarea de variabilă p ⋅ A − = t în integralele din (18), arătaţi că
2 p
N −1

 x [ n] μA 1 N −1 σ2
n=0
+ σ A2 ⋅ ⋅  x [ n] + ⋅ μA
q σ2 σ A2 N n =0 N
Aˆ MMSE = = = (20)
2p N 1 σ2
+ σ + 2
σ2 σ A2 A
N
Exercițiu. Arătați că PDF a posteriori p ( A x ) este PDF gaussiană cu media
q 1
E ( A x) = și dispersia var ( A x ) = .
2p 2p
Deoarece p din (15) nu depinde de datele x , din (6) rezultă că eroarea pătratică medie
bayesiană a estimatului Aˆ ( Bmmse ) este
MMSE

1 σ2 σ A2
( )
Bmmse = Bmse Aˆ MMSE = var ( A x ) ⋅  p ( x ) dx = var ( A x ) =
N 1
=
N

σ2
(21)
+ σA +
2
σ 2 σ A2 N
Estimatorul MAP rezultă prin maximizarea PDF din relația (14) în raport cu parametrul
A sau, echivalent, ca soluție a ecuației
∂ ln p ( A x ) ∂  ln K ( x ) − p ⋅ A2 + q ⋅ A q
=  = 0 ⇔ −2 p ⋅ Aˆ MAP + q = 0 ⇔ Aˆ MAP = (22)
∂A ∂A 2p
Prin urmare, estimatul MAP este același ca și estimatul MMSE.
Observații. Din relaţiile (20) și (21) se observă că atunci când σ A2  σ 2 N , estimatorul
1 N −1
MMSE tinde spre media eşantioanelor ( Aˆ MMSE ≅ ⋅  x [ n ] = x , adică estimatorul MVU, Aˆ MVU ,
N n=0

4
TEFO Lucrarea 5 Estimarea unui parametru aleator

pentru nivelul de curent continuu A ), iar eroarea pătratică medie bayesiană tinde spre valoarea
σ 2 N (adică eroarea pătratică medie sau dispersia estimatorului MVU).
Când σ A2  σ 2 N , estimatorul MMSE tinde spre valoarea medie a parametrului A
( Aˆ MMSE ≅ μ A ), iar eroarea pătratică medie bayesiană tinde spre dispersia parametrului, σ A2 .
În cazul când valoarea σ A2 este apropiată de valoarea σ 2 N , valoarea estimată Aˆ MMSE
este mai apropiată de valoarea medie μ A a parametrului A , decât media eşantioanelor x . De
(
altfel, din (21) se observă că Bmmse Aˆ MMSE < σ 2 N , adică eroarea pătratică medie bayesiană )
este mai mică decât dispersia (sau echivalent eroarea pătratică medie) a estimatorului MVU.
Acest lucru se observă rulând programul Matlab P01_Param_A_distrib_norm_WGN.m pentru
valorile N = 1000 , σ 2 = 1 , μ A = 2 , şi pentru trei valori ale lui σ A2 , anume σ A2 = σ 2 N = 0.001 ,
σ A2 = 0.01⋅ σ 2 N = 10−5 şi σ A2 = 100 ⋅ σ 2 N = 0.1 . Rezultatele simulărilor sunt date în Figura 2.
Valoarea adevărată a parametrului A s-a afişat pentru 50 de eşantioane din cele 1000 totale ale
unei realizări. Din Figura 2, a) (când σ A2 = σ 2 N ) se observă că estimatul MMSE Aˆ MMSE este
mai apropiat de valoarea adevărată A de mai multe ori decât estimatul MVU x ( Aˆ MVU ) (fapt
arătat prin trasarea liniei orizontale de culoare neagră care marchează media dintre valoarea
estimatului MMSE Aˆ MMSE şi a estimatului MVU x ). Din Figura 2, b) (când σ A2  σ 2 N ) se
Valoare adevarata/estimata
Valoare adevarata/estimata
Valoare adevarata/estimata

Figura 2. Rezultatele simulărilor pentru N = 1000 , σ 2 = 1 , şi trei valori ale lui σ A2 , anume
a) σ A2 = 0.001 , b) σ A2 = 10−5 şi c) σ A2 = 0.1

5
TEFO Lucrarea 5 Estimarea unui parametru aleator

observă că estimatul MMSE Aˆ MMSE este totdeauna mai apropiat de valoarea adevărată A , spre
deosebire de estimatul MVU x (valoarea adevărată A este totdeauna deasupra linie orizontale
de culoare neagră).
Pentru a vedea cum evoluează eroarea pătratică medie bayesiană în funcţie de dispersia
σ A a parametrului aleator A , în Figura 3 s-a reprezentat, cu ajutorul programului Matlab
2

P_02_Param_A_distrib_norm_WGN_sigma_A_vect.m, eroarea pătratică medie bayesiană şi a


estimatului MVU (teoretică şi mediată pe M = 1000 realizări) pentru 9 valori ale dispersiei σ A2 .
Pentru prima realizare, eroarea pătratică medie bayesiană şi a estimatului MVU este
reprezentată în figura de jos. Se observă că atât valorile teoretice, cât şi cele mediate rezultate
din simulări sunt mai mici pentru estimatul MMSE decât pentru cel MVU. Eroarea pătratică
medie bayesiană este cu atât mai mică cu cât valoarea lui σ A2 este mai mică. Când σ A2  σ 2 N
(adică pentru σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate rezultate din simulări devin

10-3

10
Eroare patratica medie

10-6 10-5 10-4 10-3 10-2


2
A

10-3

10
Eroare patratica medie estimata

10-6 10-5 10-4 10-3 10-2


2
A

Figura 3. Eroarea pătratică medie bayesiană şi a estimatorului MVU (teoretică şi mediată pe


M = 1000 realizări) (figura de sus); eroarea pătratică medie bayesiană şi a estimatorului MVU
pentru prima realizare (figura de jos) pentru N = 1000 , σ 2 = 1 , şi
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 ,5 ⋅10−5 ,10−4 ,5 ⋅10−4 ,10−3 ,5 ⋅10−3 ,10−2 }

6
TEFO Lucrarea 5 Estimarea unui parametru aleator

foarte apropiate de valorile teoretice pentru ambii estimatori. Când σ A2 devine mai mare,
valorile lui A sunt mai dispersate faţă de valoarea medie şi, prin urmare, estimaţii nu mai sunt
foarte precişi. Totuşi estimatul MMSE este mai bun decât cel MVU (în sensul erorii pătratice
medii mai mici). La limită, când σ A2  σ 2 N (adică A este distribuit aproape uniform), erorile
pătratice medii ale celor doi estimaţi devin aceleaşi.
În Figura 4 sunt reprezentate valoarea medie μ A a parametrului aleator A , valoarea
mediată pe M = 1000 realizări pentru estimatul MMSE şi cel MVU (în figura de sus); estimatul
MMSE şi cel MVU pentru prima realizare (în figura de jos), pentru aceleaşi valori ale lui N ,
σ 2 şi σ A2 ca în Figura 3. Se observă că atunci când σ A2  σ 2 N (pentru
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate ale estimatului MMSE sunt mult mai
apropiate de valoarea medie μ A decât valorile medii ale estimatului MVU. De remarcat că în
acest caz (când valorile lui σ A2 sunt foarte mici) valorile parametrului aleator A sunt foarte
apropiate de valoarea medie μ A şi prin urmare estimatul MMSE este foarte precis. Când σ A2
devine mai mare, parametrul aleator A fiind mai dispersat faţă de μ A , estimatul MMSE nu mai
este aşa de precis, dar totuşi este mai bun decât cel MVU, fiind mai apropiat în medie de
Valoare estimata
Valoare estimata

Figura 4. Valoarea medie μ A a parametrului aleator A , valoarea mediată pe M = 1000 realizări


pentru estimatul MMSE şi cel MVU (figura de sus); estimatul MMSE şi cel MVU pentru prima
realizare (figura de jos), pentru N = 1000 , σ 2 = 1 , şi
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 ,5 ⋅10−5 ,10−4 ,5 ⋅10−4 ,10−3 ,5 ⋅10−3 ,10−2 }

7
TEFO Lucrarea 5 Estimarea unui parametru aleator

valoarea adevărată (aşa cum s-a văzut în Figura 2,a)). La limită, când σ A2  σ 2 N , cei doi
estimaţi devin identici.

3. Aplicaţii propuse

1. Se consideră datele de forma


x [ n ] = A ⋅ r n + w [ n ] , n = 0, N − 1 ,
unde A este un parametru aleator distribuit Gaussian cu medie 0 și dispersie σ A2
( A   ( 0, σ A2 ) ), r este un parametru cunoscut, iar zgomotul alb w [ n ]   ( 0,σ 2 ) . Să se
găsească estimatorii MMSE și MAP ai parametrului A , precum și eroarea pătratică medie
minimă bayesiană ( Bmmse ). Pentru cazul când A ar fi un parametru constant (determinist)
găsiți estimatorul MVU eficient și limita inferioară Cramer-Rao. Comparați rezultatele obținute
cu cele din cazul estimării prin abordare bayesiană.
Să se realizeze un program Matlab care să verifice estimatorii obținuți, precum și erorile
pătratice medii rezultate. Valori numerice: r = 0.1 , σ 2 = 1 , N = 1000 , M = 100 (numărul de
realizări pentru care se face medierea estimaților și a erorilor pătratice medii). Considerați
 N −1   N −1   N −1 
următoarele valori ale lui σ A2 : σ 2   r 2 n  , 0.01⋅ σ 2   r 2 n  și 100 ⋅ σ 2   r 2 n  . Comentați
 n =0   n =0   n=0 
rezultatele obținute în fiecare caz.
2. Se consideră datele de forma
x [ n ] = A + w [ n ] , n = 0, N − 1 ,
unde A este un parametru aleator distribuit exponențial cu parametrul λ > 0 , adică
λ ⋅ e − λ ⋅ A , A ≥ 0
p ( A) = 
0, A<0
iar zgomotul alb w [ n ]   ( 0,σ 2 ) . Să se găsească estimatorul MAP al parametrului A .
Să se realizeze un program Matlab care să verifice estimatorul obținut. Comparaţi
estimatorul MAP cu estimatorul MMSE dat mai jos:
 q 1
2 p + ,dacă q ≥ 0
Aˆ MMSE

=
p ⋅e q2 ( 4 p )
⋅ ( π + I ( q2 ( 4 p ) ) )
 q + 1
,dacă q < 0
2 p

p ⋅e q2 ( 4 p )
⋅ ( π − I ( q2 ( 4 p ) ) )
α
unde I (α ) =  y −1 2 ⋅ e− y dy ( α ≥ 0 ). Verificaţi acest estimator scriind PDF a posteriori ca în
0

relaţia (14) şi urmând apoi paşii menţionaţi în lucrare.


Afişaţi pe acelaşi grafic estimatorii MAP şi MMSE pentru 50 de eşantioane ale unei
realizări, precum şi valoarea adevărată a parametrului A şi valoarea sa medie. Afişaţi pe un alt
grafic Bmse pentru cei doi estimatori pentru aceleaşi 50 de eşantioane. Calculaţi valorile Bmse
pentru cei doi estimatori mediate pe toate realizările. Valori numerice: N = 1000 , λ = 3 ,

8
TEFO Lucrarea 5 Estimarea unui parametru aleator

M = 100 (numărul de realizări). Consideraţi valorile dispersiei zgomotului σ 2 din mulţimea


{1,52 ,102 ,152 } . Când estimatul MMSE devine semnificativ mai bun (în raport cu Bmse ) decât
estimatul MAP?
3. Se consideră datele x [ n ] , n = 0, N − 1 , distribuite cu PDF condiţională de tip
exponenţial
θ ⋅ e −θ ⋅ x[ n] , x [ n ] ≥ 0
p ( x [ n] θ ) = 
0, x [ n] < 0
unde θ este un parametru aleator distribuit exponențial cu parametrul λ > 0 , adică
λ ⋅ e − λ ⋅θ , θ ≥ 0
p (θ ) = 
0, θ <0
Să se determine estimatorii MMSE şi MAP ai parametrului θ . Să se realizeze un
program Matlab care să verifice estimatorii obținuți, precum și erorile pătratice medii rezultate
aceştia. Valori numerice: λ = 0.01 , M = 100 . Consideraţi valorile lui N din mulţimea
{3,5,10,100} .
4. Găsiți estimatorii MMSE și MAP ai parametrului θ și valorile Bmse pentru cei doi
estimatori, dacă PDF a posteriori este
−(θ − x )
 e ,θ > x
p (θ x ) = 
0, θ<x
Estimatorii vor depinde de valoarea x . Pentru a verifica în Matlab estimatorii obținuți
considerați N = 1000 valori ale lui x distribuite uniform în intervalul [ −2, 2] . Valorile θ
condiționate de x le generați conform PDF de mai sus folosind metoda descrisă Lucrarea 4,
aplicația propusă 3. Afișați pe un grafic valorile lui θ și ale estimaților MMSE și MAP,
precum și a mediei dintre aceștia, iar pe alt grafic valorile Bmse pentru cei doi estimați, pentru
primele 50 de eșantioane. Calculați și afișați în fereastra de comenzi valorile Bmse rezultate din
simulare pentru cei doi estimați. Comparați cu valorile Bmse teoretice calculate.

9
TEFO Lucrarea 5 Estimarea unui parametru aleator

Laborator TEFO
Lucrarea nr. 5

ESTIMAREA UNUI PARAMETRU ALEATOR

În lucrările anterioare s-a tratat problema estimării parametrilor care aveau o valoare
necunoscută, dar fixată. Acest tip de estimare se numește estimare a unui parametru
determinist. În această lucrare vom considera că parametrul ce trebuie estimat este aleator,
valorile pe care le ia acesta având o distribuţie cunoscută. Prin distribuția parametrului
înțelegem funcția densitate de probabilitate atunci când parametrul este o variabilă aleatoare
continuă, sau funcția masă de probabilitate atunci când parametrul este o variabilă aleatoare
discretă. Acest tip de estimare se numește estimare a unui parametru aleator. Deoarece pentru
determinarea estimatorului unui parametru aleator se folosește regula lui Bayes din teoria
probabilităților, se spune că acest tip de estimare folosește abordarea bayesiană.

1. Criterii pentru estimarea unui parametru aleator

În continuare vom nota cu p ( x, θ ) funcția densitate de probabilitate reunită a setului de


date și a parametrului θ . Densitatea de probabilitate (PDF) a parametrului aleator θ este notată
p (θ ) . Deoarece această PDF ne dă o informaţie iniţială asupra parametrului θ , p (θ ) se
numeşte PDF a priori. Reamintim că în cazul estimării unui parametru determinist θ , PDF era
notată cu p ( x;θ ) (a se observa caracterul “ punct și virgulă” în loc de “ virgulă”) însemnând că
PDF este al setului de date și depinde doar de parametrul θ .
Definiție. Un estimator θˆ al unui parametru aleator θ se numește nedeplasat dacă
valoarea sa medie este egală cu valoarea medie a parametrului θ , adică
()
E θˆ = E (θ ) ⇔  θˆ ⋅ p ( x ) dx =  θ ⋅ p (θ ) dθ (1)
Dacă θˆ este estimatul parametrului aleator θ și ε = θ − θˆ este eroarea de estimare,
atunci vom nota prin  (ε ) funcția cost care măsoară prețul plătit pentru eroarea de estimare ε .
Valoarea medie a costului este numită risc Bayes și este notată astfel:
 ( )
= E  ( ε )  =   θ − θˆ ⋅ p ( x, θ ) dxdθ =

 ( )
=     θ − θˆ ⋅ p (θ x ) dθ  ⋅ p ( x ) dx

(2)
Criteriul general de estimare a unui parametru aleator este minimizarea costului mediu
sau minimizarea riscului Bayes. În Figura 1 sunt date trei tipuri de funcții cost care sunt des
utilizate.

1.1. Estimatul MMSE

În Figura 1, a) este arătată funcția cost pătratul erorii definită prin


 (ε ) = ε 2 (3)

1
TEFO Lucrarea 5 Estimarea unui parametru aleator

Figura 1. Funcții cost des utilizate: a) funcția cost pătratul erorii; b) funcția cost uniformă;
c) funcția cost eroare absolută.

Prin minimizarea riscului Bayes cu această funcție cost se minimizează eroarea pătratică
( ) 
medie E  θ − θˆ  , iar estimatul se numește estimat MMSE (de la “minimum mean squared
2


error” în limba engleză). Facem precizarea că medierea în cantitatea E  θ − θˆ  se face după ( ) 
2


PDF reunită p ( x, θ ) = p (θ x ) ⋅ p ( x ) . De aceea această mărime se numește eroarea pătratică
medie bayesiană (Bmse de la “Bayesian mean squared error” în limba engleză).
Estimatorul MMSE este dat de relația
θˆMMSE = E (θ x ) =  θ ⋅ p (θ x ) dθ , (4)
adică valoarea medie a parametrului în raport cu PDF a posteriori. Utilizând regula lui Bayes
se obține relația echivalentă
θ ⋅ p ( x θ ) ⋅ p (θ ) dθ
θˆMMSE =  (5)
 p ( x θ ) ⋅ p (θ ) dθ
Eroarea pătratică medie bayesiană a estimatului MMSE, adică Bmse minimă (Bmmse de
la “minimum Bmse”), este egală cu
( ) ( )
Bmse θˆMMSE = Bmmse = E  θ − θˆMMSE  =  θ − θˆMMSE( )
2 2
⋅ p ( x, θ ) dxdθ =
 
( )
=  θ − E (θ x ) ⋅ p (θ x ) dθ ⋅ p ( x ) dx =  var (θ x ) ⋅ p ( x ) dx ,
2
(6)
adică dispersia variabilei aleatoare cu PDF a posteriori p (θ x ) , mediată peste PDF a setului de
date p ( x ) .

1.2. Estimatul MAP

În Figura 1, b) este reprezentată funcția cost uniformă definită prin


0, dacă ε < δ
 (ε ) =  (7)
1, dacă ε ≥ δ
Această funcție nu penalizează deloc erorile foarte mici (mai mici, în valoare absolută,

2
TEFO Lucrarea 5 Estimarea unui parametru aleator

decât un prag δ ), în timp ce erorile mai mari decât pragul δ sunt penalizate uniform cu
valoarea costului egală cu 1.
Estimatul obținut cu funcția de cost uniformă este dat de valoarea lui θ care
maximizează PDF a posteriori p (θ x ) , adică moda (sau locația maximului) pentru funcția
PDF a posteriori p (θ x ) . Acest estimat se numește estimat maximum a posteriori (MAP). Prin
urmare
θˆMAP = arg max p (θ x ) = arg max  p ( x θ ) ⋅ p (θ )  , (8)
θ θ
O relație des folosită în cazul estimatului MAP, utilă atunci când PDF este de tip
exponenţial, este următoarea
θˆMAP = arg max ln p (θ x ) = arg max ln p ( x θ ) + ln p (θ )  , (9)
θ θ
sau, alternativ, estimatul MAP este soluţia ecuaţiei
∂ ln p ( x θ ) ∂ ln p (θ )
+ θ =θˆ
=0. (10)
∂θ ∂θ MAP

În Figura 1, c) este reprezentată funcția cost eroare absolută definită prin


 (ε ) = ε (11)
Această funcție cost penalizează eroarea proporțional cu valoarea ei absolută.

Observaţie. În cazul când PDF a posteriori p (θ x ) este Gaussiană estimatorii obţinuţi


cu cele trei funcţii cost sunt identici.

2. Estimarea unui parametru aleator cu PDF a priori Gaussiană, perturbat de


zgomot AWGN

Se consideră datele de forma


x [ n ] = A + w [ n ] , n = 0, N − 1 , (12)
unde A este un parametru aleator cu distribuţie gaussiană cu medie μ A şi dispersie σ A2 (adică
A   ( μ A , σ A2 ) ), iar w [ n ]   ( 0,σ 2 ) . Dorim să estimăm parametrul A .
Pentru găsirea estimatorului MMSE avem nevoie de PDF a posteriori p ( A x ) . Cu
regula lui Bayes avem
p ( x A) ⋅ p ( A)
N −1
1 1
− 2 ⋅  ( x[ n ] − A )
N 2 2
− 2 ⋅( A − μ A )
 1  1 1
p ( A x) = =  ⋅ e 2σ n=0
⋅ ⋅ e 2σ A
⋅ (13)
p (x)  σ 2π  σ A 2π p (x)
Exercițiu. Arătaţi că PDF a posteriori p ( A x ) din relaţia (13) se poate scrie în forma
p ( A x ) = K ( x ) ⋅ e − p⋅ A
2
+ q⋅ A
, (14)
unde
1  N 1 
p= ⋅ 2 + 2 , (15)
2 σ σA 

3
TEFO Lucrarea 5 Estimarea unui parametru aleator

N −1

 x [ n] μA
q= n =0
+ , (16)
σ 2
σ A2
1
K (x) = +∞
. (17)
e
− p ⋅ A2 + q ⋅ A
dA
−∞

Atunci
+∞

 A⋅e
− p ⋅ A2 + q ⋅ A
dA
Aˆ MMSE =
 A ⋅ p ( A x ) dA = −∞
(18)
p (x) +∞

e
− p ⋅ A2 + q ⋅ A
dA
−∞

Exercițiu. Scriind exponentul − p ⋅ A2 + q ⋅ A în forma


2
 q  q2
− p ⋅ A2 + q ⋅ A = −  p ⋅ A −  + (19)
 2 p  4 p

q
şi făcând schimbarea de variabilă p ⋅ A − = t în integralele din (18), arătaţi că
2 p
N −1

 x [ n] μA 1 N −1 σ2
n=0
+ σ A2 ⋅ ⋅  x [ n] + ⋅ μA
q σ2 σ A2 N n =0 N
Aˆ MMSE = = = (20)
2p N 1 σ2
+ σ + 2
σ2 σ A2 A
N
Exercițiu. Arătați că PDF a posteriori p ( A x ) este PDF gaussiană cu media
q 1
E ( A x) = și dispersia var ( A x ) = .
2p 2p
Deoarece p din (15) nu depinde de datele x , din (6) rezultă că eroarea pătratică medie
bayesiană a estimatului Aˆ ( Bmmse ) este
MMSE

1 σ2 σ A2
( )
Bmmse = Bmse Aˆ MMSE = var ( A x ) ⋅  p ( x ) dx = var ( A x ) =
N 1
=
N

σ2
(21)
+ σA +
2
σ 2 σ A2 N
Estimatorul MAP rezultă prin maximizarea PDF din relația (14) în raport cu parametrul
A sau, echivalent, ca soluție a ecuației
∂ ln p ( A x ) ∂  ln K ( x ) − p ⋅ A2 + q ⋅ A q
=  = 0 ⇔ −2 p ⋅ Aˆ MAP + q = 0 ⇔ Aˆ MAP = (22)
∂A ∂A 2p
Prin urmare, estimatul MAP este același ca și estimatul MMSE.
Observații. Din relaţiile (20) și (21) se observă că atunci când σ A2  σ 2 N , estimatorul
1 N −1
MMSE tinde spre media eşantioanelor ( Aˆ MMSE ≅ ⋅  x [ n ] = x , adică estimatorul MVU, Aˆ MVU ,
N n=0

4
TEFO Lucrarea 5 Estimarea unui parametru aleator

pentru nivelul de curent continuu A ), iar eroarea pătratică medie bayesiană tinde spre valoarea
σ 2 N (adică eroarea pătratică medie sau dispersia estimatorului MVU).
Când σ A2  σ 2 N , estimatorul MMSE tinde spre valoarea medie a parametrului A
( Aˆ MMSE ≅ μ A ), iar eroarea pătratică medie bayesiană tinde spre dispersia parametrului, σ A2 .
În cazul când valoarea σ A2 este apropiată de valoarea σ 2 N , valoarea estimată Aˆ MMSE
este mai apropiată de valoarea medie μ A a parametrului A , decât media eşantioanelor x . De
(
altfel, din (21) se observă că Bmmse Aˆ MMSE < σ 2 N , adică eroarea pătratică medie bayesiană )
este mai mică decât dispersia (sau echivalent eroarea pătratică medie) a estimatorului MVU.
Acest lucru se observă rulând programul Matlab P01_Param_A_distrib_norm_WGN.m pentru
valorile N = 1000 , σ 2 = 1 , μ A = 2 , şi pentru trei valori ale lui σ A2 , anume σ A2 = σ 2 N = 0.001 ,
σ A2 = 0.01⋅ σ 2 N = 10−5 şi σ A2 = 100 ⋅ σ 2 N = 0.1 . Rezultatele simulărilor sunt date în Figura 2.
Valoarea adevărată a parametrului A s-a afişat pentru 50 de eşantioane din cele 1000 totale ale
unei realizări. Din Figura 2, a) (când σ A2 = σ 2 N ) se observă că estimatul MMSE Aˆ MMSE este
mai apropiat de valoarea adevărată A de mai multe ori decât estimatul MVU x ( Aˆ MVU ) (fapt
arătat prin trasarea liniei orizontale de culoare neagră care marchează media dintre valoarea
estimatului MMSE Aˆ MMSE şi a estimatului MVU x ). Din Figura 2, b) (când σ A2  σ 2 N ) se
Valoare adevarata/estimata
Valoare adevarata/estimata
Valoare adevarata/estimata

Figura 2. Rezultatele simulărilor pentru N = 1000 , σ 2 = 1 , şi trei valori ale lui σ A2 , anume
a) σ A2 = 0.001 , b) σ A2 = 10−5 şi c) σ A2 = 0.1

5
TEFO Lucrarea 5 Estimarea unui parametru aleator

observă că estimatul MMSE Aˆ MMSE este totdeauna mai apropiat de valoarea adevărată A , spre
deosebire de estimatul MVU x (valoarea adevărată A este totdeauna deasupra linie orizontale
de culoare neagră).
Pentru a vedea cum evoluează eroarea pătratică medie bayesiană în funcţie de dispersia
σ A a parametrului aleator A , în Figura 3 s-a reprezentat, cu ajutorul programului Matlab
2

P_02_Param_A_distrib_norm_WGN_sigma_A_vect.m, eroarea pătratică medie bayesiană şi a


estimatului MVU (teoretică şi mediată pe M = 1000 realizări) pentru 9 valori ale dispersiei σ A2 .
Pentru prima realizare, eroarea pătratică medie bayesiană şi a estimatului MVU este
reprezentată în figura de jos. Se observă că atât valorile teoretice, cât şi cele mediate rezultate
din simulări sunt mai mici pentru estimatul MMSE decât pentru cel MVU. Eroarea pătratică
medie bayesiană este cu atât mai mică cu cât valoarea lui σ A2 este mai mică. Când σ A2  σ 2 N
(adică pentru σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate rezultate din simulări devin

10-3

10
Eroare patratica medie

10-6 10-5 10-4 10-3 10-2


2
A

10-3

10
Eroare patratica medie estimata

10-6 10-5 10-4 10-3 10-2


2
A

Figura 3. Eroarea pătratică medie bayesiană şi a estimatorului MVU (teoretică şi mediată pe


M = 1000 realizări) (figura de sus); eroarea pătratică medie bayesiană şi a estimatorului MVU
pentru prima realizare (figura de jos) pentru N = 1000 , σ 2 = 1 , şi
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 ,5 ⋅10−5 ,10−4 ,5 ⋅10−4 ,10−3 ,5 ⋅10−3 ,10−2 }

6
TEFO Lucrarea 5 Estimarea unui parametru aleator

foarte apropiate de valorile teoretice pentru ambii estimatori. Când σ A2 devine mai mare,
valorile lui A sunt mai dispersate faţă de valoarea medie şi, prin urmare, estimaţii nu mai sunt
foarte precişi. Totuşi estimatul MMSE este mai bun decât cel MVU (în sensul erorii pătratice
medii mai mici). La limită, când σ A2  σ 2 N (adică A este distribuit aproape uniform), erorile
pătratice medii ale celor doi estimaţi devin aceleaşi.
În Figura 4 sunt reprezentate valoarea medie μ A a parametrului aleator A , valoarea
mediată pe M = 1000 realizări pentru estimatul MMSE şi cel MVU (în figura de sus); estimatul
MMSE şi cel MVU pentru prima realizare (în figura de jos), pentru aceleaşi valori ale lui N ,
σ 2 şi σ A2 ca în Figura 3. Se observă că atunci când σ A2  σ 2 N (pentru
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate ale estimatului MMSE sunt mult mai
apropiate de valoarea medie μ A decât valorile medii ale estimatului MVU. De remarcat că în
acest caz (când valorile lui σ A2 sunt foarte mici) valorile parametrului aleator A sunt foarte
apropiate de valoarea medie μ A şi prin urmare estimatul MMSE este foarte precis. Când σ A2
devine mai mare, parametrul aleator A fiind mai dispersat faţă de μ A , estimatul MMSE nu mai
este aşa de precis, dar totuşi este mai bun decât cel MVU, fiind mai apropiat în medie de
Valoare estimata
Valoare estimata

Figura 4. Valoarea medie μ A a parametrului aleator A , valoarea mediată pe M = 1000 realizări


pentru estimatul MMSE şi cel MVU (figura de sus); estimatul MMSE şi cel MVU pentru prima
realizare (figura de jos), pentru N = 1000 , σ 2 = 1 , şi
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 ,5 ⋅10−5 ,10−4 ,5 ⋅10−4 ,10−3 ,5 ⋅10−3 ,10−2 }

7
TEFO Lucrarea 5 Estimarea unui parametru aleator

valoarea adevărată (aşa cum s-a văzut în Figura 2,a)). La limită, când σ A2  σ 2 N , cei doi
estimaţi devin identici.

3. Aplicaţii propuse

1. Se consideră datele de forma


x [ n ] = A ⋅ r n + w [ n ] , n = 0, N − 1 ,
unde A este un parametru aleator distribuit Gaussian cu medie 0 și dispersie σ A2
( A   ( 0, σ A2 ) ), r este un parametru cunoscut, iar zgomotul alb w [ n ]   ( 0,σ 2 ) . Să se
găsească estimatorii MMSE și MAP ai parametrului A , precum și eroarea pătratică medie
minimă bayesiană ( Bmmse ). Pentru cazul când A ar fi un parametru constant (determinist)
găsiți estimatorul MVU eficient și limita inferioară Cramer-Rao. Comparați rezultatele obținute
cu cele din cazul estimării prin abordare bayesiană.
Să se realizeze un program Matlab care să verifice estimatorii obținuți, precum și erorile
pătratice medii rezultate. Valori numerice: r = 0.1 , σ 2 = 1 , N = 1000 , M = 100 (numărul de
realizări pentru care se face medierea estimaților și a erorilor pătratice medii). Considerați
 N −1   N −1   N −1 
următoarele valori ale lui σ A2 : σ 2   r 2 n  , 0.01⋅ σ 2   r 2 n  și 100 ⋅ σ 2   r 2 n  . Comentați
 n =0   n =0   n=0 
rezultatele obținute în fiecare caz.
2. Se consideră datele de forma
x [ n ] = A + w [ n ] , n = 0, N − 1 ,
unde A este un parametru aleator distribuit exponențial cu parametrul λ > 0 , adică
λ ⋅ e − λ ⋅ A , A ≥ 0
p ( A) = 
0, A<0
iar zgomotul alb w [ n ]   ( 0,σ 2 ) . Să se găsească estimatorul MAP al parametrului A .
Să se realizeze un program Matlab care să verifice estimatorul obținut. Comparaţi
estimatorul MAP cu estimatorul MMSE dat mai jos:
 q 1
2 p + ,dacă q ≥ 0
Aˆ MMSE

=
p ⋅e q2 ( 4 p )
⋅ ( π + I ( q2 ( 4 p ) ) )
 q + 1
,dacă q < 0
2 p

p ⋅e q2 ( 4 p )
⋅ ( π − I ( q2 ( 4 p ) ) )
α
unde I (α ) =  y −1 2 ⋅ e− y dy ( α ≥ 0 ). Verificaţi acest estimator scriind PDF a posteriori ca în
0

relaţia (14) şi urmând apoi paşii menţionaţi în lucrare.


Afişaţi pe acelaşi grafic estimatorii MAP şi MMSE pentru 50 de eşantioane ale unei
realizări, precum şi valoarea adevărată a parametrului A şi valoarea sa medie. Afişaţi pe un alt
grafic Bmse pentru cei doi estimatori pentru aceleaşi 50 de eşantioane. Calculaţi valorile Bmse
pentru cei doi estimatori mediate pe toate realizările. Valori numerice: N = 1000 , λ = 3 ,

8
TEFO Lucrarea 5 Estimarea unui parametru aleator

M = 100 (numărul de realizări). Consideraţi valorile dispersiei zgomotului σ 2 din mulţimea


{1,52 ,102 ,152 } . Când estimatul MMSE devine semnificativ mai bun (în raport cu Bmse ) decât
estimatul MAP?
3. Se consideră datele x [ n ] , n = 0, N − 1 , distribuite cu PDF condiţională de tip
exponenţial
θ ⋅ e −θ ⋅ x[ n] , x [ n ] ≥ 0
p ( x [ n] θ ) = 
0, x [ n] < 0
unde θ este un parametru aleator distribuit exponențial cu parametrul λ > 0 , adică
λ ⋅ e − λ ⋅θ , θ ≥ 0
p (θ ) = 
0, θ <0
Să se determine estimatorii MMSE şi MAP ai parametrului θ . Să se realizeze un
program Matlab care să verifice estimatorii obținuți, precum și erorile pătratice medii rezultate
aceştia. Valori numerice: λ = 0.01 , M = 100 . Consideraţi valorile lui N din mulţimea
{3,5,10,100} .
4. Găsiți estimatorii MMSE și MAP ai parametrului θ și valorile Bmse pentru cei doi
estimatori, dacă PDF a posteriori este
−(θ − x )
 e ,θ > x
p (θ x ) = 
0, θ<x
Estimatorii vor depinde de valoarea x . Pentru a verifica în Matlab estimatorii obținuți
considerați N = 1000 valori ale lui x distribuite uniform în intervalul [ −2, 2] . Valorile θ
condiționate de x le generați conform PDF de mai sus folosind metoda descrisă Lucrarea 4,
aplicația propusă 3. Afișați pe un grafic valorile lui θ și ale estimaților MMSE și MAP,
precum și a mediei dintre aceștia, iar pe alt grafic valorile Bmse pentru cei doi estimați, pentru
primele 50 de eșantioane. Calculați și afișați în fereastra de comenzi valorile Bmse rezultate din
simulare pentru cei doi estimați. Comparați cu valorile Bmse teoretice calculate.

9
TEFO Lucrarea 6 Filtre Wiener

Laborator TEFO
Lucrarea nr. 6

FILTRE WIENER

1. Modelul de sistem

Proiectarea filtrelor pentru estimarea semnalelor este o problemă ce apare frecvent in


proiectarea sistemelor de comunicaţii, de control şi alte aplicaţii.
În multe situaţii practice semnalele utile sunt afectate de perturbaţii cu caracter aditiv,
motiv pentru care se pune problema proiectării unui filtru care să suprime componenta
nedorită de zgomot, păstrând, în acelaşi timp, caracteristicile semnalului dorit. Se impune ca
filtrul, caracterizat de răspunsul la impuls h [ n ] , să fie liniar, iar ieşirea sa să aproximeze un
semnal dorit. Situaţia este ilustrată în Figura 1, unde:
m [ n ] - semnalul util sau mesajul
w [ n ] - zgomotul aditiv
d [ n ] - semnalul dorit
r [ n ] = m [ n ] + w [ n ] - semnalul de intrare în filtru
y [ n ] - ieşirea filtrului
e [ n ] = d [ n ] − y [ n ] - secvenţa de eroare

d[n]

m[n] r[n] y[n] + e[n]


Filtru liniar
optimal -

w[n]

Figura 1. Modelul de sistem folosit pentru proiectarea unui filtru liniar optimal

Se disting trei cazuri:


1) d [ n ] = m [ n ] situaţie cunoscută sub numele de filtrare;
2) d [ n ] = m [ n + α ] , α > 0 situaţie cunoscută sub numele de predicţie;
3) d [ n ] = m [ n − α ] , α > 0 situaţie cunoscută sub numele de netezire.

În continuare se va prezenta cazul filtrării. Criteriul ales pentru optimizarea


răspunsului la impuls al filtrului este cel de minimizare a erorii pătratice medii.
Secvenţele {m [ n ]},{w [ n ]}, {d [ n ]} se presupun a fi de medie zero şi staţionare în sens larg.
Filtrul liniar optimal care minimizează eroarea pătratică medie se numeşte filtru Wiener şi
poate fi cu răspuns finit la impuls (FIR) sau cu răspuns infinit la impuls (IIR).

1
TEFO Lucrarea 6 Filtre Wiener

2. Filtru Wiener cu răspuns finit la impuls

Se presupune că filtrul cu răspuns finit la impuls are lungimea M şi coeficienţii


{h [k ] ,0 ≤ k ≤ M − 1} , caz în care ieşirea sa este:
M −1
y [n] =  h [k ] r [n − k ] (1)
k =0

Valoarea pătratică medie a erorii dintre ieşirea dorită d [ n ] şi ieşirea filtrului este:
 2

{ }
M −1
ξM = E e [n] = E  d [n] −  h [k ] r [n − k ] 
2
(2)
 k =0 
Notăm cu Bdd [ 0] = E {d 2 [ n ]} = σ d2 - dispersia semnalului dorit, cu
Brd [ k ] = E {r [ n − k ] d [ n ]} - funcţia de corelaţie dintre secvenţa dorită şi cea de intrare în filtru
şi cu Brr [ k ] = E {r [ n − k ] r [ n ]} - funcţia de autocorelaţie a semnalului de intrare în filtru.
Coeficienţii filtrului optimal FIR care minimizează eroarea pătratică medie şi care
reprezintă răspunsul la impuls al filtrului se calculează din ecuaţiile Wiener-Hopf:
M −1

 h [k ] B [ p − k ] = B [ p ] ,0 ≤ p ≤ M − 1 ,
k =0
o rr rd (3)

cunoscute şi sub numele de ecuaţii normale. Sistemul de ecuaţii (3) poate fi exprimat şi în
formă matricială, astfel:
[ B rr ][ HOM ] = [ B rd ] (4)
unde [ B rr ]M ×M este matricea de autocorelaţie, cu elementele B pk = Brr [ p − k ] = Brr [ k − p ] ,
[ HOM ]M ×1 este un vector coloană cu elementele ho [ k ] , k = 0,1,..., M − 1 şi [ B rd ]M ×1 este un
vector coloană cu elementele Brd [ p ] , p = 0,1,..., M − 1 . Soluţia pentru coeficienţii filtrului
optimal este:
[ HOM ] = [ B rr ]−1 [ Brd ] (5)
iar eroarea pătratică medie minimă (EPMM) rezultată cu filtrul Wiener este:
M −1
EPMM M = min ξ M = σ d2 −  ho [ k ] Brd [ k ] (6)
[HM ] k =0

sau, matriceal:
EPMM M = min ξ M = σ d2 − [ B rd ] [ B rr ] [ Brd ]
T −1
(7)
[H M ]

În continuare, se consideră câteva cazuri particulare pentru ecuaţiile Wiener-Hopf.


Semnalul dorit a fi estimat se consideră de forma:
d [ n ] = m [ n + α ] , α ( fixat ) ∈  (8)
Filtrul liniar optimal operează asupra semnalului observat afectat de zgomot aditiv:
r [n] = m [n] + w [n] (9)

2
TEFO Lucrarea 6 Filtre Wiener

pentru a elimina zgomotul, producând un răspuns y [ n ] care să aproximeze m [ n + α ] . Natura


filtrului optimal este legată de alegerea lui α .
Pentru α = 0 , se obţine cazul filtrării clasice care are rolul de a înlătura zgomotul
aditiv, lăsând nedistorsionat semnalul m [ n ] .
Pentru α > 0 , filtrul predictor optimal va produce la ieşire o versiune anticipată a
semnalului de informaţie.
Pentru α < 0 , filtrul de netezire optimal va produce o versiune întârziată cu α unităţi
a semnalului de informaţie.
Dacă semnalul m [ n ] şi zgomotul w [ n ] sunt necorelate, cum este de obicei cazul în
practică, atunci:
Brr [ k ] = Bmm [ k ] + Bww [ k ]
(10)
Brd [ k ] = Bmm [ k + α ]

iar ecuaţiile normale (Wiener-Hopf) devin:


 M −1
  ho [ k ] ⋅ ( Bmm [ p − k ] + Bww [ p − k ] ) = Bmm [ p + α ]
 k =0 (11)
 p = 0,..., M − 1

Matricele de autocorelaţie sunt de tip Toeplitz (adică elementele de pe diagonala sa
principală sunt egale şi elementele de pe orice diagonală paralelă cu diagonala principală
sunt de asemenea egale) şi se poate folosi algoritmul Levinson-Durbin generalizat pentru
aflarea coeficienţilor filtrului optimal.
Funcţia cost pătratul erorii, după care s-a făcut proiectarea filtrului Wiener, poate fi
scrisă sub forma:
M −1 M −1 M −1
ξ M = σ d2 − 2  Brd [ p ] h [ p ] +   h [ k ] h [ p ] Brr [ p − k ] =
p =0 k =0 p =0 (12)
= σ d2 − 2 [ B rd ] [ H M ] + [ H M ] [ B rr ][ H M ]
T T

Ecuaţia (12) arată că eroarea pătratică medie este o funcţie de ordinul doi de
coeficienţii filtrului FIR. În consecinţă, putem vizualiza dependenţa funcţiei cost ξ M de
coeficienţii filtrului h [0] , h [1] ,, h [ M − 1] ca o suprafaţă M + 1 dimensională în formă de
bol cu M grade de libertate reprezentate de coeficienţii filtrului. Această suprafaţă este
caracterizată de un minim unic şi se numeşte suprafaţa erorii pătratice medii a filtrului.

Exemplul 1
a) Scrieţi un program Matlab în care generaţi o secvenţă de tip zgomot alb v[n] cu
varianţa σ v2 = 0.27 (vezi randn), pe care o filtraţi printr-un filtru IIR cu un pol (de valoare
p1 = −0.8458 ). La ieşirea filtrului va rezulta semnalul dorit d [ n ] . Semnalul d [ n ] este aplicat
la un canal de comunicaţie modelat, de asemenea, printr-un filtru IIR cu un pol (de valoare
p2 = 0.9458 ), iar ieşirea canalului m [ n ] este coruptă de un zgomot alb w[n ] cu varianţa
σ w2 = 0.1 rezultând secvenţa r[n ] .
b) Filtraţi secvenţa r[n ] cu filtrul având coeficienţii b = [0.8360 −0.7853] ; a = [1] .
Calculaţi EPMM cu ajutorul relaţiei (2).

3
TEFO Lucrarea 6 Filtre Wiener

c) Determinaţi coeficienţii filtrului FIR pentru M=2 folosind un script care să


implementeze relaţia (5). Filtraţi acum secvenţa r[n ] cu filtrul rezultat. Cât este EPMM în
acest caz? Comentaţi.
d) Filtraţi secvenţa r[n ] cu un filtru FIR de ordinul 2 având coeficienţii aleşi la
întâmplare. Calculaţi EPMM cu ajutorul relaţiei (2). Ce observaţi?
e) Generaţi suprafaţa erorii pătratice medii a filtrului în acest caz.
f) Refaceţi punctul c) pentru M=3, 4, 10, 40, 100, 200. Ce observaţi? Comentaţi.

% Exemplul 1
clear;
clc;

L=10000;
% procesul v[n]
sigmav=sqrt(0.27);
v=sigmav*randn(1,L);
% raspunsul dorit d[n]
p1=-0.8458;
d=filter(1,[1 -p1],v);
% canal de comunicatie cu zgomot alb
p2=0.9458;
m=filter(1,[1 -p2],d);
sigmaw=sqrt(0.1);
w=sigmaw*randn(1,L);
r=m+w;

%filtrare cu filtrul FIR dedus teoretic (pct. b)


fprintf('\nCoeficientii filtrului Wiener FIR dedus teoretic:\n');
ho_teor=[0.8360 -0.7853]
d0=filter(ho_teor,1,r);
fprintf('\nEroarea rezultata prin filtrare cu filtrul Wiener FIR
dedus teoretic:\n');
e0=sum((d0-d).^2)/L

% coeficientii filtrului Wiener pentru M=2 (conform relatiei (5))


(pct. c)
M=2;
Brr=xcorr(r,'biased');
Brd=xcorr(d,r,'biased');
fprintf('\nMatricea de autocorelatie a semnalului afectat de
zgomot:\n');
BrrM=toeplitz(Brr(L:L+M-1)')
fprintf('\nVectorul de corelatie intre semnalul dorit si semnalul
afectat de zgomot:\n');
BrdM=Brd(L:L+M-1)'
fprintf('\nCoeficientii filtrului Wiener FIR dedus din datele
avute si eroarea patratica medie minima:\n');
ho=(BrrM^-1)*BrdM
mmse=var(d)-ho'*BrdM

%filtrare cu filtrul FIR calculat cu scriptul de mai sus


d1=filter(ho,1,r);
4
TEFO Lucrarea 6 Filtre Wiener

fprintf('\nEroarea rezultata prin filtrare cu filtrul Wiener FIR


dedus din datele avute:\n');
e1=sum((d1-d).^2)/L

%filtrare cu un filtru FIR oarecare (pct. d)


d2=filter([0.3, -0.15],1,r);
fprintf('\nEroarea rezultata prin filtrare cu filtrul Wiener FIR
cu coeficientii alesi la intamplare:\n');
e2=sum((d2-d).^2)/L

if M==2
% suprafata erorii patratice medii a filtrului pentru M=2
h0=[-4:0.2:4];
h1=[4:-0.2:-4];
L0=length(h0);
L1=length(h1);
for i=1:L0
for j=1:L1
% functia de eroare teoretica
% J(i,j)=0.9486-
1.0544*h0(i)+0.8916*h1(j)+h0(i)*h1(j)+1.1*(h0(i)^2+h1(j)^2);
% functia de eroare cu datele avute
J(i,j)=var(d)-2*BrdM'*[h0(i); h1(j)]+[h0(i)
h1(j)]*BrrM*[h0(i); h1(j)];
end
end
figure(1);
clf;
mesh(h0,h1,J);
title('Functia de eroare');
xlabel('h[0]');
ylabel('h[1]');
zlabel('J');

figure(2);
clf;
contour(h0,h1,J,[min(min(J)):0.5:max(max(J))]);
hold on;
plot(ho(1),ho(2),'x');
grid on;
xlabel('h[0]');
ylabel('h[1]');
end

3. Filtru Wiener cu răspuns infinit la impuls

În cazul filtrelor IIR, ieşirea acestora este:



y [n] =  h [k ] r [n − k ] (13)
k =0

Coeficienţii filtrului rezultă din minimizarea erorii pătratice medii dintre semnalul de
ieşire y[n ] şi cel dorit d [n ] , adică:
5
TEFO Lucrarea 6 Filtre Wiener

 
2

{ }

ξ∞ = E e [ n ] = E  d [n] −  h [k ] r [n − k ] 
2
(14)
 k =0 
Filtrul cauzal optimal Wiener are funcţia de sistem:
+
1  S ( z) 
Ho ( z ) = ⋅  rd−  (15)
S ( z )  S rr ( z ) 
+
rr

unde

S rr ( z ) =  B [k ] ⋅ z
k =−∞
rr
−k
(16)

S rr ( z ) = S rr+ ( z ) ⋅ Srr− ( z ) (17)



S rd ( z ) =  B [k ] ⋅ z
k =−∞
rd
−k
(18)

iar [ ] reprezintă doar partea cauzală a funcţiei în variabila z din interiorul parantezelor.
+

S ( z ) reprezintă partea lui Srr ( z ) care conţine zerourile şi polii în interiorul cercului
+
rr

unitate, iar Srr− ( z ) partea lui Srr ( z ) care conţine zerourile şi polii în afara cercului unitate.
Eroarea pătratică medie minimă se poate calcula cu relaţia:
1
 C  Sdd ( z ) − H o ( z ) Srd ( z )z dz
−1 −1

2π j 
EPMM ∞ = (19)

unde C este un contur care înconjoară originea, plasat în regiunea de convergență a lui
Sdd ( z ) , H o ( z ) și S rd ( z −1 ) .

Exemplul 2.
Scrieţi un program Matlab în care generaţi o secvenţă de tip zgomot alb de medie
zero v[n] cu varianţa σ v2 = 0.64 , pe care o filtraţi printr-un filtru IIR cu un pol (de valoare
0.6). Peste secvenţa obţinută, m[n], suprapuneţi o secvenţă de tip zgomot alb, w[n], cu
medie zero şi varianţa σ w2 = 1 , rezultând secvenţa r[n]. Filtraţi secvenţa secvenţa r[n ] cu
filtrul Wiener IIR.
Cu aceleaşi secvenţe generate anterior filtraţi secvenţa r[n ] cu un filtru IIR cu
coeficienţii b = [4 9] ; a = [1 − 1 3] (filtrul dedus manual). Calculaţi EPMM ∞ folosind
relaţia (14).

% Exemplul 2
clear;
clc;

sigmav=sqrt(0.64);
sigmaw=sqrt(1);
L=10000;
% procesul v[n]
v=sigmav*randn(1,L);
% raspunsul dorit d[n]

6
TEFO Lucrarea 6 Filtre Wiener

p1=0.6;
m=filter(1,[1 -p1],v);
w=sigmaw*randn(1,L);
r=m+w;

sigmam=sigmav;
p=[p1];

% numarul de poli in Smm(z)


np=length(p);
% vectorii Bm(z) si Am(z) pentru d.s.p. Smm(z) a secventei de
informatie
Amm=[1];
Bmm=[sigmam^2];
for i=1:np
Amm=conv(Amm,[1 -p(i)]);
Amm=conv(Amm,[1 -1/p(i)]);
Bmm=[0 -Bmm/p(i)];
end
Bmm
Amm

% vectorii Brr(z) si Arr(z) pentru d.s.p. Srr(z) a semnalului


receptionat
Brr=[Bmm zeros(1,2*np+1-length(Bmm))]+(sigmaw^2)*Amm
Arr=Amm
%zerourile si polii lui Srr(z)
z_Brr=roots(Brr)
p_Arr=roots(Arr)

% vectorii Brplus(z), Arplus(z) si Brminus(z), Arminus(z)


p_Arrplus=p_Arr(find(abs(p_Arr)<1));
z_Brrplus=z_Brr(find(abs(z_Brr)<1));
p_Arrminus=p_Arr(find(abs(p_Arr)>=1));
z_Brrminus=z_Brr(find(abs(z_Brr)>=1));
Brrplus=[Brr(1)];
Arrplus=[1];
Brrminus=[1];
Arrminus=[1];
for i=1:np
Brrplus=conv(Brrplus,[1 -z_Brrplus(i)]);
Arrplus=conv(Arrplus,[1 -p_Arrplus(i)]);
Brrminus=conv(Brrminus,[1 -z_Brrminus(i)]);
Arrminus=conv(Arrminus,[1 -p_Arrminus(i)]);
end
Brrplus
Arrplus
Brrminus
Arrminus

% vectorii plusB(z) si plusA(z) din expresia pentru Ho(z)


Brdperrminus=conv(Bmm,Arrminus);
Ardperrminus=conv(Amm,Brrminus);
7
TEFO Lucrarea 6 Filtre Wiener

[rv,p,k]=residuez(Brdperrminus,Ardperrminus)
rplus=[];
pplus=[];
for i=1:length(rv)
if abs(rv(i))>1e-100 & abs(p(i))<1
rplus=[rplus rv(i)];
pplus=[pplus p(i)];
end
end
[plusB,plusA]=residuez(rplus,pplus,k)

% vectorii Bo(z) si Ao(z) din expresia Ho(z)


Bo=conv(Arrplus,plusB);
Ao=conv(Brrplus,plusA);
zBo=roots(Bo)
pAo=roots(Ao)
for i=1:length(zBo)
for j=1:length(pAo)
if (round(1e10*zBo(i))==round(1e10*pAo(j)))
Bo=deconv(Bo,[1 -zBo(i)]);
Ao=deconv(Ao,[1 -pAo(j)]);
end
end
end
zBo=roots(Bo)
pAo=roots(Ao)
[rv,p,k]=residuez(Bo,Ao);
ro=[];
po=[];
for i=1:length(rv)
if abs(rv(i))>1e-100
ro=[ro rv(i)];
po=[po p(i)];
end
end
[Bo,Ao]=residuez(ro,po,k)

% raspunsul la impuls al filtrului optimal Wiener IIR


Limp=10;
n=0:Limp-1;
ho=impz(Bo,Ao,Limp)'
ho_teor=4/9*(1/3).^n

figure(1);
clf;
subplot(211);
stem(n,ho);
grid on;
title('Raspunsul la impuls obtinut din program');
xlabel('n');
ylabel('h_o[n]');
subplot(212);
stem(n,ho_teor);
8
TEFO Lucrarea 6 Filtre Wiener

grid on;
title('Raspunsul la impuls obtinut manual');
xlabel('n');
ylabel('h_o[n]');

%filtrare cu filtrul Wiener IIR calculat


d_iir=filter(Bo,Ao,r);
% d_iir=conv(ho,r);
fprintf('\nEroarea rezultata prin filtrare cu filtrul Wiener IIR
dedus din datele avute:\n');
e_iir=sum(abs(d_iir-m).^2)/L

4. Aplicaţii propuse

1. Modificaţi programul din Exemplul 1 astfel încât să proiectaţi filtrul Wiener FIR
pentru cazul din Exemplul 2. Comparaţi eroarea rezultată pentru diverse valori ale lui M cu
cea din cazul filtrului Wiener IIR de la Exemplul 2.
2. Modificaţi programul din Exemplul 2 astfel încât să proiectaţi filtrul Wiener IIR
pentru cazul în care secvenţa purtătoare de informaţie este ieşirea celui de-al doilea filtru
IIR de la Exemplul 1. Varianţele zgomotelor rămân aceleaşi. Comparaţi eroarea rezultată cu
cea din cazul filtrului Wiener FIR cu diferite valori ale ordinului.
Ce se întâmplă dacă polii celor două filtre IIR din Exemplul 1 sunt complex
conjugaţi?
3. Modificaţi programul din Exemplul 2 astfel încât să proiectaţi filtrul Wiener IIR
pentru cazul din Exemplul 1 când lipseşte al doilea filtru şi secvenţa purtătoare de
informaţie este ieşirea primului filtru IIR, cu polul p1 = −0.8458 .
Calculaţi eroarea rezultată prin filtrarea semnalului recepţionat cu un filtru FIR de
lungime M=2, 3 sau 4 având coeficienţii rezultaţi prin trunchierea răspunsului la impuls al
filtrului Wiener IIR găsit anterior. Comparaţi cu eroarea rezultată în cazul filtrului Wiener
FIR proiectat pentru aceleaşi valori ale lui M.

9
TEFO Lucrarea 7 Filtrul Kalman

Laborator TEFO
Lucrarea nr. 7

FILTRUL KALMAN

Filtrul Kalman este un instrument matematic puternic care joacă un rol important
în grafica pe computer când vrem să reprezentăm lumea reală în sistemele de calcul.
De asemenea, filtrul Kalman este un bun estimator posibil pentru o clasă largă de
probleme.

1. Modele în spaţiul stărilor

Modelele în spaţiul stărilor sunt, în esenţă, o convenţie de notaţie pentru


problemele de estimare şi control, dezvoltate pentru prelucrări matematice mai uşoare.
Se consideră un proces descris printr-o ecuaţie cu diferenţe de ordin n (similară unei
ecuaţii diferenţiale) de forma
yi +1 = a0,i yi +  + an −1,i yi − n +1 + ui , i ≥ 0 (1)
unde {ui } este un proces de tip zgomot alb, având funcţia de autocorelaţie
E ( ui , u j ) = Ru = Qiδ ij (2)
unde E reprezintă operatorul de mediere statistică, iar valorile iniţiale { y0 , y−1 , , y− n +1}
sunt variabile aleatoare de medie zero cu o matrice de covarianţă de dimensiuni n × n
cunoscută
P0 = E ( y− j , y− k ) , j, k ∈ {0, n − 1} . (3)
Presupunând zgomotul statistic independent de procesul care urmează a fi
estimat, rezultă:
E ( ui , y j ) = E ( ui ) ⋅ E ( y j ) = 0 , pentru −n + 1 ≤ j ≤ 0 şi i ≥ 0 , (4)
ceea ce asigură că
E ( ui , y j ) = 0 , pentru i ≥ j ≥ 0 . (5)
Ecuaţia cu diferenţe (1) poate fi rescrisă ca
 yi +1   a0 a1  an − 2 an −1   yi  1 
 y  1 0  0 0   yi −1  0 
 i  
[ xi +1 ] =  yi −1  =  0 1  0 0   yi −2  + 0 ui (6)
      
             
 yi − n + 2   0 0  1 0   yi − n +1  0 
    
[ A] [ xi ] [G ]
care conduce la modelul în spaţiul stărilor:
[ xi +1 ] = [ A][ xi ] + [G ] ui (7)
yi = [1 0  0][ xi ] (8)
sau în forma mai generală
[ xi +1 ] = [ A][ xi ] + [G ] ui , (9)
yi = [ H i ][ xi ] , (10)

1
TEFO Lucrarea 7 Filtrul Kalman

unde [ H i ] reprezintă matricea care descrie dependenţa liniară a ieşirii de starea


sistemului.
Ecuaţia (9) reprezintă dependenţa stării [ xi +1 ] atât de starea anterioară [ xi ] , cât
şi de un proces de zgomot ui . Ecuaţia (10) descrie depedenţa dintre observaţiile yi şi
starea internă [ xi ] . Ecuaţiile (9) şi (10) sunt adesea numite modelul de proces,
respectiv modelul de măsurare. Descrierea în spaţiul stărilor a sistemului descris de
ecuaţiile (9) şi (10) este dată în Figura 1, unde se observă intrarea ui , starea [ x ] la
momentele i şi i+1, precum şi ieşirea yi a sistemului.

ui [ xi +1 ] [ xi ] yi
[G] z-1 [Hi]

[A]

Figura 1. Descrierea în spaţiul stărilor a sistemului descris de ecuaţiile (9) şi (10)

2. Problema proiectării observatorului

Există o problemă generală legată de domeniul teoriei sistemelor liniare numită


problema proiectării observatorului. Problema de bază este de a determina (estima)
stările interne ale unui sistem liniar, având acces numai la ieşirile sistemului. Acest
lucru este înrudit cu problema „cutiei negre” unde este acces la unele semnale venind
din cutie (ieşirile), dar nu se poate observa direct ceea ce este în interior.
Multe abordări la această problemă de bază sunt tipic bazate pe modelul în
spaţiul stărilor prezentat în secţiunea anterioară. Tipic există un model de proces care
modelează transformarea stării procesului. Acesta poate fi, de obicei, reprezentat ca o
ecuaţie cu diferenţe stocastică liniară similară cu ecuaţia (9):
[ xk ] = [ A][ xk −1 ] + [ B ][uk ] + [ wk ] , (11)
unde [ A] şi [ B ] descriu dependenţa stării curente de starea anterioară, respectiv de
intrarea curentă.
În plus există o formă a modelului de măsurare care descrie relaţia între starea
procesului şi măsurările efectuate. Acesta poate fi, de obicei, reprezentat cu o ecuație
similară ecuaţiei (10):
[ zk ] = [ H ][ xk ] + [vk ] (12)
Zgomotul de proces [ wk ] şi zgomotul de măsurare [ vk ] sunt variabile aleatoare.
Din (10) şi (12) se observă înlocuirea variabilei yk cu [ zk ] pentru a specifica faptul că
măsurările nu sunt neapărat stările specificate, ci pot fi orice combinaţie liniară a
acestora.

2
TEFO Lucrarea 7 Filtrul Kalman

Zgomotul de măsurare şi de proces

Zgomotul de măsurare apare, de exemplu, în cazul măsurătorilor cu ajutorul


unui senzor şi datorită imperfecţiunilor aparatelor de măsură. În funcţie de raportul
semnal util-zgomot trebuie să se ţină cont în estimare de informaţia obţinută din
măsurare.
Deoarece nici transformarea prin care se obţine starea sistemului nu este
perfectă trebuie să se ţină cont în estimaţii stării de un zgomot de proces.

3. Filtrul Kalman

În continuare se descrie filtrul Kalman unde măsurătorile şi starea sunt


considerate la momente discrete în timp.

3.1 Procesul care urmează a fi estimat

Filtrul Kalman consideră problema generală a încercării de a estima starea


[ x ] ∈  n a unui proces controlat în timp discret care este guvernat de ecuaţia cu
diferenţe stocastică liniară
[ xk ] = [ A][ xk −1 ] + [ B ][uk ] + [ wk ] , (13)
dintr-o măsurare [ z ] ∈  m care este descrisă de ecuația
[ zk ] = [ H ][ xk ] + [vk ] . (14)
Vectorii de variabile aleatoare [ wk ] şi [ vk ] reprezintă zgomotul de proces,
respectiv, zgomotul de măsurare. Se presupune că zgomotul de proces wk şi cel de
măsurare vk sunt independente, de tip zgomot alb, şi cu distribuţii de probabilitate
normale
p ([ w])  N ( 0, [Q ]) (15)
p ([ v ])  N ( 0, [ R ]) (16)
unde [Q ] şi [ R ] sunt matricele de covarianţă a zgomotului de proces, respectiv a
zgomotului de măsurare, presupuse a fi constante.
Matricea [ A] , de dimensiuni n × n , în ecuaţia cu diferenţe (13), leagă starea la
momentul de timp anterior k − 1 de starea la momentul curent k , în absenţa intrării de
comandă [uk ] şi a zgomotului de proces [ wk ] . Se face observaţia că, în practică,
matricea [ A] s-ar putea schimba cu fiecare moment de timp, dar aici se presupune că
este constantă. Matricea [ B ] , de dimensiuni n × l , leagă intrarea de control (opţională)
[u ] ∈ l de starea [ x ] . Matricea [ H ] , de dimensiuni m × n , în ecuaţia de măsurare (14),
leagă starea [ xk ] de măsurarea [ zk ] . În practică matricea [ H ] s-ar putea schimba cu
fiecare moment de timp, dar aici se presupune că este constantă.

3
TEFO Lucrarea 7 Filtrul Kalman

3.2 Originile computaţionale ale filtrului

Se defineşte  x k  ∈  n (se observă „super minusul”) ca fiind estimatul stării a


 
priori la momentul k , dată fiind cunoştinţa procesului anterior la momentul k , şi
 x k  ∈  n estimatul stării a posteriori la momentul k dată fiind măsurarea [ zk ] . Se pot
 
defini atunci vectorii de eroare a estimaţilor a priori şi a posteriori ca fiind
 ek−  = [ xk ] −  x k  , şi

 
(17)

[ek ] = [ xk ] −  x k  (18)
Matricea de covarianță a erorii estimatului a priori este atunci
{
 Pk−  = E  ek−  ek− 
T
}, (19)
iar matricea de covarianță a erorii estimatului a posteriori este
[ Pk ] = E {[ek ][ ek ] }
T
(20)
În obţinerea ecuaţiilor pentru filtrul Kalman, scopul iniţial este găsirea unei
ecuaţii care calculează un estimat al stării a posteriori  x k  ca o combinaţie liniară

dintre un estimat a priori  x k  şi o diferenţă ponderată între măsurarea actuală [ zk ] şi


 
o predicţie a măsurării [ H ]  x k  , aşa cum este arătat în ecuaţia (21):

 
 x k  =  x k  + [ K k ]  [ zk ] − [ H ]  x k  
− −

   
(21)
 
  
Diferenţa [ zk ] − [ H ]  x k  , în ecuaţia (21), este numită inovaţia măsurării, sau

 
reziduul. Reziduul reflectă diferenţa între măsurarea actuală [ zk ] şi măsurarea prezisă
[ H ]  x k  .

Matricea [ K k ] de dimensiuni n × m în ecuaţia (21) este numită câştigul sau


factorul de amestec minimizând urma matricei de covarianță a erorii a posteriori din
(20). Această minimizare poate fi realizată astfel: mai întâi se substituie ecuaţia (21) în
definiţia de mai sus pentru [ ek ] (relaţia (18)), apoi se înlocuieşte relaţia obţinută în
ecuaţia (20), se realizează medierile indicate, se derivează urma matricei rezultate în
raport cu elementele matricei [ K k ] , se egalează rezultatul cu zero, şi apoi se rezolvă
ecuaţia în [ K k ] . O formă a lui [ K k ] rezultat care minimizează urma matricei din (20)
este dată prin

[ K k ] =  Pk−  [ H ] ([ H ]  Pk−  [ H ] + [ R ])
T T −1
(22)

4
TEFO Lucrarea 7 Filtrul Kalman

Din (22) rezultă că atunci când matricea de covarianță a erorii de măsurare [ R ]


se apropie de matricea nulă, câştigul [ K k ] , care multiplică reziduul, ia valori din ce în
ce mai mari. Anume,
lim [ K k ] = [ H ]
−1
(23)
[ R ]→[0]
Pe de altă parte, când matricea de covarianță a erorii estimatului a priori  Pk− 
se apropie de matricea nulă, câştigul [ K k ] multiplică reziduul cu valori din ce în ce
mai mici. Anume,
lim [ K k ] = 0 (24)
 Pk−  → 0
 

Se poate conchide că atunci când matricea de covarianță a erorii de măsurare


[ R ] se apropie de matricea nulă, măsurarea actuală este din ce în ce mai „credibilă”, în
timp ce măsurarea prezisă [ H ]  x k  este din ce în ce mai puţin credibilă, iar când

 
matricea de covarianță a erorii estimatului a priori  Pk−  se apropie de matricea nulă
măsurarea actuală [ zk ] este din ce în ce mai puţin credibilă, în timp ce măsurarea
prezisă [ H ]  x k  este din ce în ce mai mult credibilă.

 

3.3 Algoritmul filtrului Kalman discret

Filtrul Kalman estimează un proces prin utilizarea unei forme de control cu


reacţie: filtrul estimează starea procesului la un anumit moment de timp şi apoi obţine
reacţia în forma măsurărilor (zgomotoase). Astfel, ecuaţiile filtrului Kalman se împart
în două grupe: ecuaţii de actualizare în timp şi ecuaţii de actualizare a măsurării.
Ecuaţiile de actualizare în timp sunt responsabile de determinarea estimaţilor stării
curente şi a matricei de covarianţă a erorii pentru a obţine estimaţii a priori pentru
următorul moment de timp. Ecuaţiile de actualizare a măsurării sunt responsabile de
reacţie – adică de incorporarea unei noi măsurări în estimatul a priori pentru a obţine
un estimat a posteriori îmbunătăţit.
Ecuaţiile de actualizare în timp pot fi de asemenea gândite ca ecuaţii predictor, în
timp ce ecuaţiile de actualizare a măsurării pot fi gândite ca ecuaţii corector. În-
tr-adevăr algoritmul de estimare final seamănă cu cel al unui algoritm de tip predictor-
corector pentru rezolvarea problemelor numerice aşa cum este arătat în Figura 2.
Ecuaţiile specifice pentru actualizările în timp și ale măsurării sunt prezentate
mai jos în Tabelele 1 şi 2.

Actualizare în timp Actualizare a măsurării


(„Predicţie”) („Corecţie”)

Figura 2. Ciclul filtrului Kalman discret

5
TEFO Lucrarea 7 Filtrul Kalman

Tabelul 1: Ecuaţiile de actualizare în timp ale filtrului Kalman discret


 x −k  = [ A]  x k −1  + [ B ][u ] (25)
    k −1

 Pk−  = [ A][ Pk −1 ][ A] + [Q ]
T
(26)

Observăm cum ecuaţiile de actualizare în timp din Tabelul 1 determină


estimaţii stării a priori şi a matricei de covarianţă a erorii a priori la momentul k în
funcție de cele de la momentul de timp k − 1 .

Tabelul 2: Ecuaţiile de actualizare a măsurării ale filtrului Kalman discret


[ K k ] =  Pk−  [ H ] ([ H ]  Pk−  [ H ] + [ R ])
T T −1
(27)

 x k  =  x k  + [ K k ]  [ zk ] − [ H ]  x k  
− −

   
(28)
   
[ Pk ] = ([ I ] − [ K k ][ H ])  Pk−  (29)

Prima sarcină în timpul actualizării măsurării este de a calcula câştigul Kalman,


[ K k ] . Următorul pas este de a măsura de fapt procesul pentru a obţine [ zk ] , şi apoi de a
genera un estimat al stării a posteriori incorporând măsurarea ca în (28). Pasul final
este de a obţine estimatul matricei de covarianţă a erorii a posteriori prin (29).

După fiecare pereche de actualizare în timp şi de măsurare, procesul este repetat


cu estimaţii a posteriori anteriori pentru a face predicţia pentru noii estimaţi a priori.
Această natură recursivă este una din caracteristicele foarte atractive ale filtrului
Kalman – făcând implementările practice mult mai fezabile decât (de exemplu) o
implementare a unui filtru Wiener, care este proiectat pentru a opera pe toate datele
direct pentru fiecare estimat. Filtrul Kalman, în schimb, condiţionează recursiv
estimatul curent de toate măsurările trecute. Figura 3 ilustrează complet funcţionarea
filtrului, combinând diagrama din Figura 2 cu ecuaţiile din Tabelele 1 şi 2.
În Figura 4 este dată diagrama bloc a sistemului, în ipoteza absenţei intrării de
control, modelul de măsurare şi structura filtrului Kalman discret.

3.4 Parametrii filtrului şi reglare

În implementările reale ale filtrului, matricea de covarianță a zgomotului de


măsurare [ R ] este de obicei măsurată înainte de funcţionarea filtrului. Măsurarea
matricei de covarianţă a erorii de măsurare [ R ] este posibilă, deoarece se poate măsura
procesul în timpul funcţionării filtrului luând câteva eşantioane de măsurare.
Determinarea matricei de covarianţă a zgomotului de proces [Q ] este în general
mai dificilă când, de fapt, nu există posibilitatea de a observa direct procesul care se
estimează. Uneori un model de proces relativ simplu poate produce rezultate
acceptabile dacă se introduce destulă incertitudine în proces prin selecţia lui [Q ] . În
acest caz se speră că măsurările procesului sunt fiabile.

6
TEFO Lucrarea 7 Filtrul Kalman

Actualizare în timp („Predicţie”) Actualizare a măsurării („Corecţie”)


1) Predicția stării a priori 1) Calculul câştigului Kalman
[ K k ] =  Pk−  [ H ] ([ H ]  Pk−  [ H ] + [ R ])
−1
 x −k  = [ A]  x k −1  + [ B ][u ] T T

    k −1

2) Predicția matricei de 2) Actualizarea estimatului cu măsurarea [ zk ]


covarianță a erorii a priori
 x k  =  x k  + [ K k ]  [ zk ] − [ H ]  x k  
− −

 Pk−  = [ A][ Pk −1 ][ A] + [Q ]
T
     
  
3) Actualizarea matricei de covarianță a erorii
[ Pk ] = ([ I ] − [ K k ][ H ])  Pk− 

Figura 3. O descriere completă a funcţionării filtrului Kalman

SISTEM DISCRET MĂSURARE FILTRU KALMAN DISCRET


vk
wk
+
+ xk + zk + ek + x k
Σ H Σ Σ Kk Σ
+ - +
x k −1
xk −1
A z-1 H −
A z-1
x k

Figura 4. Diagrama bloc a sistemului, modelul de măsurare şi structura filtrului


Kalman discret

În orice caz, dacă există sau nu o bază raţională pentru alegerea parametrilor,
adesea poate fi obţinută o performanţă superioară (statistic vorbind) prin reglarea
parametrilor filtrului [Q ] şi [ R ] . Reglarea este de obicei realizată înaintea estimării, de
regulă cu ajutorul altui filtru Kalman într-un proces numit, în general, identificare de
sistem.
În condiţiile în care [Q ] şi [ R ] sunt constante, atât matricea de covarianță a
erorii [ Pk ] , cât şi câştigul Kalman [ K k ] se vor stabiliza rapid şi apoi vor rămâne
constante (vezi ecuaţiile de actualizare ale filtrului în Figura 3). Dacă acesta este cazul,
aceşti parametri pot fi pre-calculaţi, fie prin rularea filtrului premergător, fie, de
exemplu, prin determinarea valorii de stare stabilă a lui [ Pk ] .

7
TEFO Lucrarea 7 Filtrul Kalman

4. Exemple de estimare folosind o filtrare Kalman

3.1 Estimarea nivelului de curent continuu

Se presupune exemplul estimării unui nivel de tensiune continuă. Se presupune că


există posibilitatea de face măsurări ale tensiunii continue, dar măsurările sunt
perturbate de un zgomot de măsurare alb cu valoarea deviaţiei standard de 0.1 volţi. În
acest exemplu, procesul este guvernat prin ecuaţia cu diferenţe liniară
xk = xk −1 + wk , (30)
cu o măsurare z ∈ 1 care este
zk = xk + vk (31)
Astfel în acest caz matricele devin scalari. Starea neschimbându-se de la un pas la altul
rezultă A = 1 şi neexistând control asupra intrării, rezultă u = 0 . Măsurarea cu zgomot
este direct a stării, aşa că H = 1 .
Ecuaţiile de actualizare în timp sunt

x k = x k −1 ,
Pk− = Pk −1 + Q ,
iar ecuaţiile de actualizare a măsurării sunt
Pk−
(P + R)
− − −1
Kk = Pk k = −
Pk + R

( −
x k = x k + K k zk − x k )
Pk = (1 − K k ) Pk−
Se presupune o varianţă a procesului foarte mică, de exemplu Q = 10−5 . S-ar
putea seta Q = 0 , dar presupunând o valoare mică, dar diferită de zero, rezultă mai
multă flexibilitate în reglarea filtrului după cum se va demonstra în continuare. Se
presupune că din experienţă se ştie că valoarea adevărată a tensiunii continue are o
distribuţie de probabilitate normală standard, aşa că se începe cu presupunerea că
tensiunea este 0. Cu alte cuvinte, înainte de începere se setează x 0 = 0 .
Similar este nevoie de alegerea unei valori iniţiale pentru Pk −1 , anume P0 . Dacă
este absolut sigur că estimarea stării iniţiale x 0 = 0 a fost corectă, se va seta P0 = 0 .
Totuşi dată fiind incertitudinea în estimatul iniţial x 0 , alegerea P0 = 0 ar cauza faptul
ca filtrul să iniţializeze şi apoi totdeauna să creadă tot timpul că x k = 0 . Ca urmare,
alegerea alternativă nu este critică. S-ar putea alege orice P0 ≠ 0 şi filtrul eventual ar
converge. Filtrul va starta cu P0 = 1 .
Valoarea tensiunii continue s-a considerat x = 1 . S-au simulat 50 de măsurări
distincte zk care au avut erori distribuite normal în jurul lui zero cu o deviaţie standard
de 0.1.
Programul pentru generarea tensiunilor continue, cu zgomot şi estimate este dat
în continuare.

8
TEFO Lucrarea 7 Filtrul Kalman

% P_Kalman_ex1
clear;
clc;

% parametri initiali
n_iter = 50;
sz = n_iter; % dimensiunea vectorilor
x = 1; % valoarea adevarata a tensiunii continue
z = x + 0.1*randn(1,sz); % observatii (normale raportat la x,
sigma=0.1)

Q = 1e-5; % varianta procesului

xhat = zeros(1,sz); % estimatul a posteriori a lui x


P = zeros(1,sz); % estimatul variantei erorii a
posteriori
xhatminus = zeros(1,sz); % estimatul a priori a lui x
Pminus = zeros(1,sz); % estimatul variantei erorii a priori
K = zeros(1,sz); % castigul sau factorul de amestec

R = 0.01; % estimatul variantei masurarii, a se schimba pentru


a vedea efectul

% ghicirea initiala
xhat(1) = 0.0;
P(1) = 1.0;

for k=2:n_iter
% actualizare in timp
xhatminus(k) = xhat(k-1);
Pminus(k) = P(k-1)+Q;

% actualizare a masurarii
K(k) = Pminus(k)/( Pminus(k)+R );
xhat(k) = xhatminus(k)+K(k)*(z(k)-xhatminus(k));
P(k) = (1-K(k))*Pminus(k);
end

valid_iter = 1:n_iter;
figure(1)
clf;
plot(z,'-m*');
hold on;
plot(xhat,'-bv','MarkerFaceColor','b');
hold on;
plot(valid_iter,x*ones(1,sz),'-g^','MarkerFaceColor','g');
grid on;
axis([1 n_iter min(z) max(z)]);
legend('masurari','starea estimata','valoare adevarata');
xlabel('Iteratie')
ylabel('Tensiune')

9
TEFO Lucrarea 7 Filtrul Kalman

valid_iter(1)=[];
figure(2)
clf;
plot(valid_iter,Pminus(valid_iter),'-
bv','MarkerFaceColor','b')
grid on;
axis([1 n_iter 0 0.01]);
xlabel('Iteratie (k)')
ylabel('(Tensiune)^2 - P_k')

În prima simulare s-a fixat varianţa măsurării la R = ( 0.1) = 0.01 . Rezultatele


2

sunt date în Figura 5.

masurari
starea estimata
valoare adevarata
1.1

1.05

1
Tensiune

0.95

0.9

0.85

5 10 15 20 25 30 35 40 45 50
Iteratie

Figura 5. Simularea cu R = ( 0.1) = 0.01


2

Când s-a considerat alegerea lui P0 de mai sus, s-a menţionat că alegerea nu a
fost critică cât timp P0 ≠ 0 deoarece filtrul eventual ar converge. În Figura 6 s-a
reprezentat valoarea lui Pk în funcţie de iteraţie. Din alegerea iniţială de 1, la a 50-a
iteraţie valoarea s-a stabilit la aproximativ 0.0003 (Volţi2).
În Figurile 7 şi 8 de mai jos se poate vedea ceea ce se întâmplă când R este
crescut sau scăzut cu un factor de 100.
În Figura 7 s-a considerat că varianţa măsurării a fost de 100 de ori mai mare
(adică R = 1 ) aşa că răspunsul filtrului a fost mai „lent” în a crede măsurările,
estimările prezise devenind mai credibile. Rezultatul conduce la o varianță redusă a
semnalului estimat.

10
TEFO Lucrarea 7 Filtrul Kalman

0.01

0.009

0.008

0.007

0.006
(Tensiune) - Pk
2

0.005

0.004

0.003

0.002

0.001

0
5 10 15 20 25 30 35 40 45 50
Iteratie (k)

Figura 6. După 50 de iteraţii, covarianţa erorii Pk− , aleasă inițial ca fiind egală cu 1,
s-a stabilit la aproximativ 0.0003 (Volţi2)

1.15 masurari
starea estimata
valoare adevarata

1.1

1.05

1
Tensiune

0.95

0.9

0.85

5 10 15 20 25 30 35 40 45 50
Iteratie

Figura 7. Simularea cu R = 1 . Filtrul este mai lent în răspuns la măsurări, rezultând


într-o varianţă redusă a estimatului.

În Figura 8 s-a considerat că varianţa măsurării a fost de 100 de ori mai mică
(adică R = 0.0001 ) aşa că răspunsul filtrului a fost mai „rapid” în a crede măsurările

11
TEFO Lucrarea 7 Filtrul Kalman

zgomotoase, acestea devenind mai credibile. Prin urmare varianța semnalului estimat
este mai mare.
Deşi estimarea unei tensiuni continue este relativ directă, aceasta demonstrează
clar funcţionarea filtrului Kalman. În Figura 7, în particular, este evident că în filtrarea
Kalman estimatul apare considerabil mai neted decât măsurările cu zgomot.

masurari
1.2 starea estimata
valoare adevarata

1.15

1.1

1.05
Tensiune

0.95

0.9

0.85

0.8
5 10 15 20 25 30 35 40 45 50
Iteratie

Figura 8. Simularea cu R = 0.0001 . Filtrul răspunde rapid la măsurări, crescând


varianţa estimatului.

3.2 Sistem de urmărire prin radar a deplasării unui vehicul

În acest sistem radarul emite impulsuri, iar semnalele returnate sunt procesate
prin filtrul Kalman pentru a determina deplasarea unui vehicul (presupusă cu viteză
aproximativ constantă) într-un plan de coordonate xOy.
Se presupune că vehiculul are viteză aproximativ constantă astfel încât ecuațiile
de modificare a vitezelor pe cele două axe, v x [ k ] și v y [ k ] , sunt:
 v x [ k ] = v x [ k − 1] + wx [ k ]

 v y [ k ] = v y [ k − 1] + wy [ k ]
unde wx [ k ] și wy [ k ] , sunt zgomotele care modelelază schimbarea vitezelor la
momentul k , presupuse de tip Gaussian cu medie nulă.
Presupunând pasul de deplasare între două momente de timp succesive ca fiind
egal cu T , ecuațiile de modificare a deplsasărilor pe cele două axe sunt:
 rx [ k ] = rx [ k − 1] + v x [ k − 1] ⋅ T

 ry [ k ] = ry [ k − 1] + v y [ k − 1] ⋅ T
Astfel vectorul de stare este

12
TEFO Lucrarea 7 Filtrul Kalman

 rx [ k ] 
 
 ry [ k ] 
[ xk ] =  v k 
x[ ]
 
 v y [ k ]
iar ecuația de stare este
[ xk ] = [ A] ⋅ [ xk −1 ] + [ wk ] ,
unde
1 0 T 0  0 
0   0 
1 0 T
[ A] =   , [ wk ] =  
0 0 1 0  wx [ k ] 
   
0 0 0 1  w y [ k ]

Observațiile sunt valorile deplasărilor pe cele două axe perturbate de zgomot


Gaussian de medie nulă:
 z x [ k ] = rx [ k − 1] + n x [ k ]

 z y [ k ] = ry [ k − 1] + n y [ k ]
T
Definind vectorul de observație [ zk ] =  z x [ k ] z y [ k ] , ecuaţia de observaţie în
timp discret este
[ zk ] = [ H ][ xk ] + [ nk ]
unde
1 0 0 0  T
[H ] =   , [ nk ] =  nx [ k ] n y [ k ] .
0 1 0 0
Covarianța zgomotului de stare este
0 0 0 0
0 0 0 0
[Q ] =  ,
0 0 σ w2 0 
 
0 0 0 σ w2 
unde σ w2 este varianța zgomotelor wx [ k ] și w y [ k ] , iar covarianța zgomotului de
măsurare este
σ 2 0 
[ R] =  n 2  ,
 0 σn 
unde σ n2 este varianța zgomotelor nx [ k ] și n y [ k ] .
Programul Matlab care dă rezultatele pentru covarianţele erorilor deplasărilor,
câştigul Kalman şi evoluţiile deplasării în sistemul de coordonate xOy este dat în
continuare. Este arătată convergenţa elementelor de pe diagonală ale matricei de
covarianţă a erorii, valorile câştigurilor Kalman selectate şi de asemenea evoluţia
deplasării. Valorile numerice folosite sunt: T = 1 , σ w2 = 10−4 , σ n2 = 0.1 , P0 = 10 ⋅ [ I 4 ] , iar
ecuațiile deplsărilor pe cele două axe sunt:

13
TEFO Lucrarea 7 Filtrul Kalman

 rx [ k ] = 10 − 0.2 ⋅ k

 ry [ k ] = −5 + 0.2 ⋅ k
astfel încât vitezele de deplasare inișiale sunt
 v x [ 0] = −0.2

 v y [ 0] = 0.2

% P_Kalman_ex2
clear;
clc;

% parametri initiali
n_iter = 50;
sz = n_iter;
T = 1;

x(:,:,1) = [10; -5; -0.2; 0.2]; % starea initiala


A = [1 0 T 0;
0 1 0 T;
0 0 1 0;
0 0 0 1]; % matricea care leaga starea curenta de cea
anterioara

% varianta zgomotului de proces (vitezele vx si vy)


sigma_w2 = 1e-4;

wx = sqrt(sigma_w2)*randn(1,sz); %
wy = sqrt(sigma_w2)*randn(1,sz);
H = [1 0 0 0;
0 1 0 0]; % matricea care leaga secventa de observatoe
de starea curenta

% variantele zgomotelor de masurare (pentru rx si ry)


sigma_n2 = 0.1;

nx = sqrt(sigma_n2)*randn(1,sz);
ny = sqrt(sigma_n2)*randn(1,sz);
z(:,:,1) = H*x(:,:,1) + [nx(1); ny(1)]; % observatia initiala

% starile si observatiile la momentele urmatoare de timp


for k=2:sz
x(:,:,k) = A*x(:,:,k-1) + [0;0;wx(k-1);wy(k-1)];
z(:,:,k) = H*x(:,:,k) + [nx(k); nx(k)];
end

Q = [0 0 0 0;
0 0 0 0;
0 0 sigma_w2 0;

14
TEFO Lucrarea 7 Filtrul Kalman

0 0 0 sigma_w2]; % matricea de covarianta a zgomotului de


proces

xhatminus = zeros(4,1,sz); % estimatul a priori a lui x


Pminus = zeros(4,4,sz); % estimatul erorii a priori
K(:,:,1) = zeros(4,2); % castigul sau factorul de amestec
initial

R = [sigma_n2 0;
0 sigma_n2]; % matricea de covarianta a zgomotului de
masurare

% ghicirea initiala
xhat(:,:,1) = [5; 5; 0; 0]; % estimatul a posteriori a lui x
P(:,:,1) = 10*eye(4); % estimatul erorii a posteriori

for k=2:n_iter
% actualizare in timp
xhatminus(:,:,k) = A*xhat(:,:,k-1);
Pminus(:,:,k) = A*P(:,:,k-1)*A'+Q;

% actualizare a masurarii
K(:,:,k) = Pminus(:,:,k)*H'*inv( H*Pminus(:,:,k)*H'+R );
xhat(:,:,k) = xhatminus(:,:,k)+K(:,:,k)*(z(:,:,k)-
H*xhatminus(:,:,k));
P(:,:,k) = (eye(4)-K(:,:,k)*H)*Pminus(:,:,k);
end

valid_iter = [1:n_iter]-1;

figure(1);
clf;
for k=1:n_iter
P_rx(k)=P(1,1,k);
end

plot(valid_iter,P_rx,'--ko');
xlabel('Iteratie');
ylabel('Covarianta deplasarii r_x');
grid on;
axis([min(valid_iter) max(valid_iter) 0 P_rx(2)])

figure(2);
clf;
for k=1:n_iter
P_ry(k)=P(2,2,k);
end

plot(valid_iter,P_ry,'--ko');
xlabel('Iteratie');

15
TEFO Lucrarea 7 Filtrul Kalman

ylabel('Covarianta deplasarii r_y');


grid on;
axis([min(valid_iter) max(valid_iter) 0 P_ry(2)])

figure(3);
clf;

for k=1:n_iter
P_vx(k)=P(3,3,k);
end

plot(valid_iter,P_vx,'--ko');
xlabel('Iteratie');
ylabel('Covarianta vitezei de deplasare v_x');
grid on;
axis([min(valid_iter) max(valid_iter) 0 10*min(P_vx)])

figure(4);
clf;

for k=1:n_iter
P_vy(k)=P(4,4,k);
end

plot(valid_iter,P_vy,'--ko');
xlabel('Iteratie');
ylabel('Covarianta vitezei de deplasare v_y');
grid on;
axis([min(valid_iter) max(valid_iter) 0 10*min(P_vy)])

% figurile pentru castigurile Kalman


figure(5);
clf;

for k=1:n_iter
K_depl(k)=K(1,1,k);
end
plot(valid_iter,K_depl,'--ko');
xlabel('Iteratie');
ylabel('Castigul Kalman al deplasarii r_x');

grid on;

figure(6);
clf;
for k=1:n_iter
K_vit_depl(k)=K(2,2,k);
end

plot(valid_iter,K_vit_depl,'--ko');

16
TEFO Lucrarea 7 Filtrul Kalman

xlabel('Iteratie');
ylabel('Castigul Kalman al deplasarii r_y');
grid on;

valid_iter = [1:n_iter-1];
figure(7);
clf;
for k=1:n_iter
rxhat_depl(k)=xhat(1,1,k);
rx_depl(k)=x(1,1,k);
zx_depl(k)=z(1,1,k);
ryhat_depl(k)=xhat(2,1,k);
ry_depl(k)=x(2,1,k);
zy_depl(k)=z(2,1,k);
end
plot(rxhat_depl,ryhat_depl,'-ko',rx_depl,ry_depl,'-
go',zx_depl,zy_depl,'-rx');
title('Evoluatia deplasarii');
legend('deplasare adevarata','deplasare estimata','masurari');
xlabel('r_x');
ylabel('r_y');
grid on;

5. Aplicaţii propuse

1. Modificați programul din Secțiunea 3.1 astfel încât să generați câte M = 100 de
măsurări la fiecare iterație, din maxim 300 posibile, a filtrării Kalman. Pentru fiecare
iterație k calculați valoarea medie și varianța valorilor estimate x k din cele M
realizări. Afișați, în funcție de numărul iterației k , pe un grafic valoarea medie a
valorilor estimate și valoarea adevărată, iar pe alt grafic varianța valorilor estimate și
limita inferioară Cramer-Rao pentru estimatul nedeplasat al nivelului de curent
continuu. Pentru o mai bună vedere afișați graficele doar pentru următoarele valori lui
k : 10, 20, 30, ..., 300. Modificați valoarea varianței estimate a zgomotului de măsurare
R și a varianței estimate a zgomotului de proces Q și observați cum variază varianța
valorilor estimate x k comparativ cu limita inferioară Cramer-Rao.
2. O secvenţă aleatoare în timp discret este dată de
xk +1 = Axk + wk
unde A = 0.5 , x0 este o variabilă aleatoare cu medie 0 şi varianţă 1, iar wk este zgomot
alb de medie 0 şi varianţă 1. Ecuaţia de observaţie este dată de
zk = xk + vk
cu vk zgomot alb de medie 0 şi varianţă 1. Termenii x0 , wk şi vk sunt toţi de tip
gaussian.
Să se realizeze un program care să dea secvenţa estimată x k prin filtrare
Kalman. Se vor considera diferite valori pentru varianţa estimată a măsurării.

17
TEFO Lucrarea 7 Filtrul Kalman

3. Să se realizeze acelaşi program ca la aplicaţia 1 pentru cazul în care A = 1 ,


zgomotul wk are varianţa 30, iar zgomotul vk are varianţa 20. Restul parametrilor,
precum şi ecuaţiile rămân aceleaşi.
4. Un canal cu fading multicale acționează asupra semnalului transmis pe acesta
ca un filtru cu răspuns finit la impuls având coeficienți variabili în timp conform
ecuației:
p −1
y [ k ] =  hk [i ] ⋅ u [ k − i ] ,
i =0

unde u [ k ] este semnalul transmis pe canal, y [ k ] este semnalul recepționat de pe canal,


iar h [ k ] =  hk [0] , hk [1] ,, hk [ p − 1] este vectorul coeficienților canalului la momentul
T

k . Se presupune că acești coeficienți se modifică lent în timp, conform ecuației de


stare
h [ k ] = [ A] ⋅ h [ k − 1] + w [ k ] ,
[ A] fiind o matrice cunoscută și w [ k ] vectorul de zgomot de stare, presupus Gaussian
de medie nulă, cu matrice de covarianță [Q ] . Ieșirea canalului măsurată la momentul
k este descrisă de ecuația de măsurare:
z [k ] = y [k ] + v [k ] ,
unde v [ k ] este zgomotul de măsurare, presupus Gaussian de medie nulă și varianță
σ v2 . Să se estimeze prin filtrare Kalman coeficienții canalului. Pentru implementarea în
0.99 0 
[ A] =   , [Q ] = σ w ⋅ [ I 2 ] , cu σ w = 10 ,
−4
Matlab se va considera că p = 2 , 2 2

 0 0.999 
σ v2 = 0.1 , iar semnalul de intrare în canal se consideră un semnal periodic cu perioada
10 de forma (pe o perioadă):
0, 0 ≤ k < 5,
u [k ] = 
1, 5 ≤ k < 10

18

S-ar putea să vă placă și