Documente Academic
Documente Profesional
Documente Cultură
CAPITOLUL 1
SEMNALE ALEATOARE …………………………..……………1
1.1. Definirea semnalului aleator, a variabilei aleatoare, a funcţiei şi a
densităţii de repartiţie …………………………………………………….1
1.2. Valori medii statistice şi temporale ale procesului aleator, continuu în
timp ………………………………………………………………………9
1.3. Procese aleatoare continue în timp, staţionare ……………………..16
1.4. Determinarea tensiunii de prag în cazul recepţiei pe canale
perturbate ……………………………………………………………….18
1.5. Teorema Wiener-Khintcine ………………………………...….… 22
1.6. Proprietăţile principale ale funcţiei de autocorelaţie …………...….28
1.7. Determinarea funcţiei de autocorelaţie a semnalelor recepţionate,
afectate de perturbaţii …………………………………………… …32
1.8. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere a unei secvenţe binare aleatoare ………………………………...35
1.9. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere a unui semnal aleator telegrafic ……………………..………….42
1.10. Determinarea funcţiei de autocorelaţie a secvenţelor
pseudoaleatoare (SPA) periodice ………………………………………45
1.11. Determinarea funcţiei pondere a unui sistem liniar invariant în timp
prin metoda corelaţiei …………………………………………………..50
1.12. Determinarea funcţiei de autocorelaţie şi a densităţii spectrale de
putere la ieşirea unui sistem analogic, liniar, invariant în timp ……..… 52
1.13. Valori medii statistice definite pe procese aleatoare, discrete
în timp …………………………………………………………………. 54
1.14. Procese aleatoare discrete în timp, staţionare …………………….57
1.15. Valori medii temporale ale proceselor aleatoare, discrete
în timp …………………………………………………………………. 58
1.16. Procese aleatoare discrete în timp, ergodice ……………………. 61
1.17. Proprietăţile principale ale funcţiilor de corelaţie pentru procese
aleatoare staţionare în sens larg ………………………………….…… 67
366
1.18. Reprezentarea semnalelor aleatoare discrete în timp în domeniul
frecvenţă ……………………………………………………………….. 69
1.19. Răspunsul sistemelor discrete, liniare, invariante în timp la semnale
aleatoare …………………………………………………………..…… 70
1.20. Folosirea transformatei Z în calculul puterii medii …………...…. 73
1.21. Matricea de autocorelaţie a unui proces staţionar …………..…… 79
1.22. Procese aleatoare regulate. Factorizare spectrală. Reprezentarea
proceselor aleatoare staţionare ……………………………………...… 86
1.23. Modelarea proceselor aleatoare …………………………...…….. 90
1.24. Relaţii între parametrii modelului şi secvenţa de autocorelaţie a
procesului …………………………………………………………...…. 93
1.25. Probleme rezolvate ………………………………………………. 96
CAPITOLUL 2
ESTIMAREA FORMEI SEMNALULUI …………..……. 117
2.1. Schema bloc a unui sistem de transmisiuni care realizează estimarea
formei semnalului …………………………………………………..... 117
2.2. Ecuaţia integrală Wiener - Hopf ………………………………... 119
2.3. Soluţia ecuaţiei integrale Wiener - Hopf în cazul filtrelor optimale
necauzale …………………………………………………………….. 125
2.4. Soluţia ecuaţiei integrale Wiener - Hopf în cazul când semnalul
recepţionat este zgomot alb ………………………………..………… 129
2.5. Soluţia ecuaţiei integrale Wiener - Hopf în domeniul
frecvenţă .………………………………………………………...…… 131
2.6. Filtrarea optimală în cazul semnalelor cu spectru Butterworth
(n = 1) ………………………………………………………..……… 136
2.7. Determinarea erorii pătratice medii în cazul filtrelor optimale
Wiener - Hopf ………………………………………………..……… 142
2.8. Principiul filtrării optimale Kalman - Bucy pentru semnale
continue ………………………………………………………………. 146
2.9. Sisteme dinamice generatoare de semnale aleatoare …………….147
2.10. Probleme rezolvate …………………………………………..… 154
CAPITOLUL 3
PREDICŢIE LINIARĂ ŞI FILTRARE LINIARĂ
OPTIMALĂ …………………………………………………….… 171
3.1. Predicţie înainte (forward) …………………………………….... 171
367
3.2. Predicţie liniară înapoi (backward) ................................................ 175
3.3. Structuri lattice pentru implementarea filtrelor FIR de eroare a
predicţiei ............................................................................................... 178
3.2.1. Conversia coeficienţilor structurii lattice în coeficienţi ai
filtrului în formă directă ............................................................ 184
3.3.2. Conversia coeficienţilor filtrului FIR din forma directă în
coeficienţi ai structurii lattice .................................................... 187
3.4. Coeficienţii de reflexie optimi ai predictorului lattice înainte şi
înapoi ………………………………………………………….……… 188
3.5. Relaţia dintre un proces AR şi predicţia liniară ............................. 190
3.6. Soluţia ecuaţiilor normale .............................................................. 191
3.6.1. Algoritmul Levison-Durbin ............................................ 192
3.6.2. Algoritmul Schur ............................................................ 197
3.7. Proprietăţi ale filtrelor erorii de predicţie ...................................... 203
3.7.1. Proprietatea de fază minimă a filtrului erorii de predicţie
înainte ....................................................................................... 203
3.7.2. Proprietatea de fază maximă a filtrului erorii de predicție
înapoi ………………………………………….……………… 206
3.7.3. Proprietatea de albire ………………………………..… 206
3.7.4. Proprietatea de ortogonalitate ......................................... 207
3.8. Filtre lattice pentru procese AR şi ARMA …………...………… 208
3.8.1. Structura lattice AR …………………………………… 208
3.8.2. Procese ARMA şi filtre lattice cu poli şi zerouri ……… 211
3.9. Filtre Wiener pentru filtrare şi predicţie …………………...……. 214
3.9.1. Filtru Wiener cu răspuns finit la impuls ......................... 215
3.9.2. Proprietatea de ortogonalitate a filtrului optimal …...…. 218
3.9.3. Determinarea funcţiei pondere a filtrelor Wiener cu răspuns
infinit la impuls (IIR) la recepţionarea secvenţei de zgomot
alb …………………………………………………………….. 219
3.9.4. Filtru Wiener cauzal cu răspuns infinit la impuls (IIR) .. 221
3.9.5. Filtru Wiener IIR necauzal …………………….………. 225
3.10. Probleme rezolvate ....................................................................... 226
CAPITOLUL 4
ESTIMAREA PARAMETRILOR .......................................... 235
368
4.1. Schema bloc a unui sistem de transmisiuni care realizează estimarea
unui parametru …………………………………………………….…. 235
4.2. Determinarea estimatului în cazul funcţiilor de cost pătratul erorii şi
uniforme ……………………………………………………………… 239
4.3. Criterii de evaluare a estimatului ………………………………… 243
4.4. Determinarea estimatului unui parametru invariant în timp în cazul
observării la momente discrete de timp ……………………………… 246
4.5. Estimarea liniară a unui parametru în cazul observării continue ….251
4.6. Estimarea neliniară a unui parametru în cazul observării
continue …………………………………………………………….… 258
4.7. Erori de estimare ……………………………………………...…. 263
4.8. Eroarea de estimare în cazul estimării liniare ……………..…….. 269
4.9. Eroarea de estimare în cazul estimării neliniare ………………… 273
4.10. Estimarea neliniară a mai multor parametri …………...………. 275
4.11. Probleme rezolvate …………………………………………..…. 277
CAPITOLUL 5
ESTIMAREA SPECTRULUI DE PUTERE ………..……. 285
5.1. Estimarea spectrului semnalelor din observarea pe intervale de
lungime finită ……………………………………………………...…. 285
5.1.1. Calculul densităţii spectrale de energie ........................... 286
5.1.2. Estimarea funcţiei de autocorelaţie şi a densităţii spectrale
de putere a semnalelor aleatoare. Periodograma …...………… 293
5.1.2.1. Periodograma modificată ................................. 303
5.1.3. Folosirea Transformatei Fourier Discrete în estimarea
spectrului de putere ................................................................... 306
5.2. Metode neparametrice pentru estimarea densităţii spectrale de
putere …………………………………………………………………. 309
5.2.1. Metoda Bartlett. Periodograma mediată ......................... 309
5.2.2. Metoda Welch. Periodograma mediată modificată ….... 311
5.2.3. Metoda Blackman Tukey. Netezirea periodogramei.….. 314
5.2.4. Caracteristici de performanţă ai estimatorilor densităţii
spectrale de putere neparametrici ............................................. 318
5.3. Metode parametrice pentru estimarea spectrului de putere ........... 323
5.3.1. Relaţii între funcţia de autocorelaţie şi parametrii
modelului ..................................... ............................................ 326
369
5.3.2. Estimarea spectrului de putere pe baza modelului
autoregresiv (AR)....................................................................... 328
5.3.3. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda autocorelaţiei sau Yule-Walker ...................... 329
5.3.4. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda Burg................................................................. 330
5.3.5. Estimarea spectrului de putere a semnalelor modelate AR
folosind metoda covarianţei modificate sau a celor mai mici
pătrate fără constrângeri ............................................................ 334
5.3.6. Alegerea ordinului modelului AR ................................... 336
5.3.7. Estimarea spectrului de putere pe baza modelului cu medie
alunecătoare (MA) .................................................................... 337
12.3.8. Estimarea spectrului de putere pentru semnale modelate
ARMA ………………………………………………….…….. 339
5.3.9. Rezultate experimentale .................................................. 343
5.4. Probleme rezolvate ………………………….…………..……….. 351
370
CAPITOLUL 1
SEMNALE ALEATOARE
1
Fig. 1.1. Reprezentarea geometrică a unui semnal aleator
{ }
x[n] = x ( k ) [n] , n ∈ Z (1.1’)
{
f ( ti ) = f ( k ) ( ti ) } (1.2)
respectiv,
{
x[ni ] = x ( k ) [ni ] } (1.2’)
Din (1.2) sau (1.2’) se observă că un proces aleator este o
mulţime de variabile aleatoare indexate.
Fie numărul real x i ce aparţine domeniului de valori ale
variabilei aleatoare f (t i ) sau x[ni ] . Dacă se notează cu n numărul
realizărilor particulare pentru care f (k )
(t i ) ≤ x i , respectiv
x ( k ) [ ni ] ≤ xi , şi cu N numărul total al realizărilor particulare, atunci
raportul n/N, când N este suficient de mare, va reprezenta
probabilitatea ca variabila aleatoare f ( ti ) , respectiv x[ni ] , să fie
mai mică sau egală cu x i şi va fi notată cu P{ f (t i ) ≤ x i } , respectiv
P { x[ni ] ≤ xi } . Această probabilitate este în general o funcţie ce
depinde atât de numărul real x i , cât şi de momentul de timp t i sau
ni . Notând această funcţie cu F1 ( x i ; t i ) , respectiv F1 ( xi ; ni ) , se
poate scrie relaţia:
F1 ( xi ; ti ) = P { f ( ti ) ≤ xi } (1.3)
respectiv
F1 ( xi ; ni ) = P { x[ni ] ≤ xi } (1.3’)
Funcţia definită cu relaţia (1.3), respectiv (1.3’), se numeşte
funcţie de repartiţie de ordinul întâi, fapt consemnat prin indicele
unu al funcţiei F.
3
Derivata parţială în raport cu x i a funcţiei de repartiţie de
ordinul întâi defineşte densitatea de repartiţie sau de probabilitate
de ordinul întâi şi va fi notată cu w1 ( x i ; t i ) , adică:
∂F1 ( x i ; t i )
w1 ( x i ; t i ) = (1.4)
∂x i
respectiv
∂F1 ( xi ; ni )
w1 ( xi ; ni ) = (1.4’)
∂xi
Produsul w1 ( x i ; t i )dx i , respectiv w1 ( xi ; ni ) dxi , reprezintă
probabilitatea ca procesul aleator f(t), respectiv x[n], la momentul
t = t i , respectiv n = ni , să treacă prin vecinătatea valorii x i , aşa cum
este reprezentat intuitiv în figura 1.2.
∑ ∑ p(x i ∩ x j ) = 1
n m ∞ ∞
i =1 j =1
∫ ∫ w (x , x )dx dx
2 i j i j =1
−∞−∞
p (xi ∩ x j ) = p ( xi ) ⋅ p (x j / xi ) = w 2 (x i , x j ) = w1 ( x i ) ⋅ w2 (x j x i ) =
= p (x j ) ⋅ p (xi / x j ) w1 (x j )⋅ w2 x i x j ( )
6
p( x i ) = ∑ p (x i ∩ x j )
m ∞
j =1
w1 ( x i ) = ∫ w (x , x )dx
−∞
2 i j j
n ∞
p ( x j ) = ∑ p ( xi ∩ x j ) w1 (x j ) = ∫ w (x , x )dx
2 i j i
i =1
−∞
p (x i ∩ x j ) = p( x i ) ⋅ p (x j ) w2 (x i , x j ) = w1 ( x i ) ⋅ w1 (x j )
în cazul evenimentelor în cazul variabilelor aleatoare
independente independente
∑ p(x ) =1
i =1
1i (1.11)
∂F1 ( x1 ; t1 ) k
w1 ( x1 ; t1 ) = = ∑ p( x1i )δ ( x1 − x1i ) (1.16)
∂x1 i =1
8
r
x2 = ∑ x2 j , ( ∀ )r = 1, N (1.19)
j =1
i =1 j =1
i =1 j =1
f ( t1 ) = m1 { f ( t1 )} = E { f ( t1 )} = ∫ x w ( x ; t ) dx
1 1 1 1 1 (1.24)
−∞
{ }
f 2 ( t1 ) = m1 f 2 ( t1 ) = E f 2 ( t1 ) = { } ∫x −∞
1
2
w1 ( x1 ; t1 ) dx1 (1.25)
f 2
( t1 ) = m1 { f ( t1 )} = E { f ( t1 )} = ∫ x12 w1 ( x1; t1 ) dx1
2 2
(1.25’)
−∞
( ) ( f (t ) − f (t ))
2 *
σ 2 ( t1 ) = f ( t1 ) − f ( t1 ) = f ( t1 ) − f ( t1 ) 1 1 =
( f (t ) − f (t )) ( f
1 1
*
( t1 ) − f ( t1 )
*
)=
* *
f ( t1 ) f * ( t1 ) − f ( t1 ) f ( t1 ) − f ( t1 ) f * ( t1 ) + f ( t1 ) f ( t1 ) =
(
f ( t1 ) − ( f R ( t1 ) + jf I ( t1 ) ) f R ( t1 ) − j f I ( t1 ) −
2
)
( ) ( f ( t ) − jf ( t )) + f (t )
2
− f R ( t1 ) + j f I ( t1 ) R 1 I 1 1 =
11
( )
2
f ( t1 ) − 2 f R ( t1 ) f R ( t1 ) + f I ( t1 ) f I ( t1 ) + f ( t1 ) =
2
− 2 ⎡( f ( t ) ) + ( f ( t ) ) ⎤ + f ( t )
2 2 2 2
f ( t1 ) = f ( t1 ) − f ( t1 ) (1.29)
2 2
⎢⎣ R 1 I
⎥⎦ 1 1
12
Valorile medii temporale folosite frecvent în aplicaţii sunt:
1. Valoarea medie temporală
⎡ T2
`````````````````
⎤
⎢1 ⎥
f ( t ) = lim ⎢ ∫ f ( ) ( t ) dt ⎥
(k ) k
(1.32)
T →∞ T
⎢⎣ − 2
T
⎥⎦
Din (1.32), se constată că această valoare medie determină
componenta continuă a realizării particulare respective. Se poate
arăta uşor că valoarea medie temporală nu depinde de originea
timpului.
Într-adevăr:
⎡ T2
````````````````````````````
⎤
⎢1 ⎥
f ( t + t ) = lim ⎢ ∫ f ( t0 + t ) dt ⎥
(k )
0
(k )
(1.33)
T →∞ T
⎢⎣ − T2 ⎥⎦
Efectuând schimbarea de variabilă
t 0 + t = t ′ ; dt = dt ′ (1.34)
rezultă:
⎡ t + T2 ⎤ ``````````````````
0
1
`````````````````````````````
⎢
f (t + t ) = lim
(k )
f (t ′)dt ′⎥ = f ( k ) (t )
(k )
T →∞ ⎢ T ∫
(1.35)
0
T
⎥
⎢⎣ t − 2 ⎥⎦ 0
13
3. Funcţia de autocorelaţie temporală
````````````````````````````````````````````````````````
R ff ( t1 , t2 ) = f(k )
(t 1 + t) f (k )
(t
2 + t) =
⎡ T2 ⎤
⎢1 ⎥
= lim ⎢ ∫ f ( ) ( t1 + t ) f ( ) ( t2 + t ) dt ⎥
k k
(1.37)
T →∞ T
⎢⎣ − T2 ⎥⎦
Se poate demonstra că:
R ff (t1 , t 2 ) = R ff (t1 − t 2 ) = R ff (t 2 − t1 ) (1.38)
sau, dacă se notează:
t 2 − t1 = τ (1.39)
rezultă:
R ff (τ ) = R ff (− τ ) (1.40)
adică, funcţia de autocorelaţie temporală este o funcţie pară.
Într-adevăr, efectuând schimbarea de variabilă:
t1 + t = t ′; dt = dt ′ (1.41)
în (1.37), rezultă:
R ff (t1 , t 2 ) =
⎡ t + T2 ⎤
⎢ 1
1
(1.42)
f (t ′) f (t 2 + t ′ − t1 )dt ′⎥ = R ff (t 2 − t1 )
(k ) (k )
T →∞ ⎢ T ∫
= lim
T
⎥
⎢⎣ t − 2 1 ⎥⎦
Efectuând schimbarea de variabilă:
t 2 + t = t ′′; dt = dt ′′ (1.43)
în aceeaşi relaţie (1.37), rezultă:
⎡ t + T22 ⎤
1
R ff (t1 , t 2 ) = lim ⎢ ∫ f (k )
(t ′′) f (k )
(t1 + t ′′ − t 2 )dt ′′⎥⎥ =
T →∞ ⎢ T
T (1.44)
⎢⎣ t − 22 ⎥⎦
= R ff (t1 − t 2 )
14
Din (1.42) şi (1.44) rezultă (1.38).
````````````````````````` 2
[ f (t )] ⎡`````````` ⎤
```````
(k )
− ⎢ f (t ) ⎥
(k )
2
σ = 2
(1.50)
⎣ ⎦
15
1.3. Procese aleatoare continue în timp, staţionare
f ( t1 ) = ∫ x w ( x ) dx
1 1 1 1 = a = const. (1.55)
−∞
16
Cu (1.55) şi (1.56), relaţia (1.29’) devine:
σ 2 ( t1 ) = b − a 2 = const. (1.57)
Dacă în relaţia (1.26’) se ţine cont de (1.54), rezultă:
∞ ∞
B ff ( t1 , t2 ) = ∫ ∫ x x w ( x , x ;t
1 2 2 1 2 2 − t1 ) dx1dx2 = B ff ( t2 − t1 ) (1.58)
−∞ −∞
17
este necesar să fie îndeplinite relaţiile (1.53) şi (1.54), adică
procesele aleatoare trebuie să fie staţionare în sens larg.
Ipoteza ergodicităţii este foarte importantă în practică,
deoarece teoria statistică matematică operează cu valori medii
statistice, în timp ce, practic, se pot calcula numai valorile medii
temporale, dispunându-se de o singură realizare particulară a
procesului aleator ce modelează un zgomot sau o perturbaţie.
Egalitatea dintre valorile medii statistice şi valorile medii temporale
corespondente trebuie înţeleasă în sensul convergenţei în
probabilitate. Astfel, egalitatea:
`````````````````````````
f ( t1 ) = ⎡⎣ f (k )
( t )⎤⎦ (1.59)
înseamnă:
⎪⎧ ⎪⎫
```````````````````````
⎣⎢ 2 ⎦⎥
Deoarece:
⎡ T2 ⎤
1
⎢ ( u ( t ) ) dt ⎥⎥ = u 2 ( t )
2
T →∞ ⎢ T ∫
(k )
lim (1.63)
T
⎢⎣ − 2 ⎥⎦
19
⎡ T2 ⎤
⎢ 1
u ( t ) dt ⎥ = u ( t )
T →∞ ⎢ T ∫
(k )
lim (1.64)
T
⎥
⎣⎢ − 2 ⎦⎥
20
Efectuând schimbarea de variabilă:
u −u
= v, du = U ef dv (1.71)
U ef
rezultă:
u2 − u u1 −u
⎧⎪ u − u u − u ⎫⎪ 1
U ef 1
− v2 1
U ef 1
− v2
P⎨ 1 <v≤ 2 ⎬=
2π
∫ e 2
dv −
2π
∫ e 2
dv (1.72)
⎩⎪ U ef U ef ⎭⎪ −∞ −∞
∫ f ( ) (t ) dt → ∞
k
(1.79)
−∞
22
motiv pentru care transformata Fourier şi, deci, analiza armonică
clasică nu poate fi utilizată. Pentru a se putea aplica şi în acest caz
transformata Fourier, realizarea particulară a procesului aleator se
trunchiază. Notând cu f T( k ) (t ) realizarea particulară trunchiată,
aceasta este definită cu relaţia:
⎧ (k ) T
⎪ f (t ), t ≤
⎪ 2
f T( k ) = ⎨ (1.80)
⎪0, t ≥ T
⎪⎩ 2
Intervalul de trunchiere, T, se alege astfel încât realizarea
trunchiată să admită transformată Fourier. Notând cu FT(k ) ( jω )
transformata Fourier a realizării particulare trunchiate şi ţinând cont
de (1.80), se poate scrie:
T
∞ 2
(k )
FT ( jω ) = ∫ f T (t )e (k ) − jω
dt = ∫ f (t )e
( )
T
k − jω
dt (1.81)
−∞ −T
2
2π
T
T −∞ −∞
23
∞ ∞ ∞
1 1 2
∫
(k )
FT ( jω ) ∫ (k )
fT ( t ) e dtdω =
jωt
∫ FT(
k)
( jω ) dω (1.84)
2π T −∞ −∞
2π T −∞
Mărimea
FT( k ) ( jω )
2
not .
(1.85) = S (ffk ) ( jω )
T T
T ⎪T T ⎪
⎩− 2 −
2 ⎭
T T
∫ ∫ m { f ( t ) f ( t )}e
2 2
1 ( ) ( ) k k − jω ( t1 −t2 )
1 T 1 T 2 dt1dt2 (1.87)
T T T
− −
2 2
24
Pe de altă parte
m1 { f T( k ) (t1 ) f T( k ) (t 2 )} = B ff (t1 ,t 2 )
T
(1.88)
reprezintă funcţia de autocorelaţie a procesului aleator trunchiat.
Dacă se presupune că procesul aleator este staţionar în sens larg, se
poate scrie:
B ff (t1 , t 2 ) = B ff (t1 − t 2 )
T T
(1.89)
Ţinând cont de (1.88) şi(1.89), relaţia (1.87) devine:
T T
2 2
1
S ffT ( jω ) = ∫ ∫ B (t − t2 ) e
− jω ( t1 −t2 )
ffT 1 dt1dt2 (1.90)
T T T
− −
2 2
Fig. 1.6.
Această integrală dublă poate fi transformată într-o integrală
simplă, dacă se face observaţia că pentru
25
τ = t1 − t2 = const. (1.92)
funcţia φ (τ ) este constantă pe dreapta de pantă unu:
t1 = t2 + τ (1.93)
Conform figurii, se poate scrie succesiv:
ds = BC ⋅ h
dτ
h=
2
⎡T ⎛ T ⎞⎤
BC = 2 AB = 2 ⎢ − ⎜τ − ⎟⎥ = 2 (T − τ )
⎣2 ⎝ 2 ⎠⎦
Deoarece τ poate lua şi valori negative, rezultă:
BC = 2 (T − τ ) (1.94)
Rezultă atunci că ds = (T − | τ |)dτ .
Cu (1.92) şi(1.94), relaţia (1.90) devine:
T
1
S ffT ( jω ) = ∫ B ffT (τ ) e − jωτ (T − τ ) dτ =
T −T
(1.95)
T
⎛ τ ⎞
∫ B (τ ) e
− jωτ
= ffT ⎜1 − ⎟ dτ
−T ⎝ T⎠
La limită, când T → ∞ ,
⎛ τ ⎞
lim⎜⎜1 − ⎟⎟ = 1 (1.96)
T →∞
⎝ T ⎠
şi procesul aleator trunchiat devine netrunchiat. În aceste condiţii,
densitatea spectrală de putere a procesului trunchiat, S ff ( jω ) ,
T
26
netrunchiat, B ff (τ ) . Cu aceste observaţii, atunci când T → ∞ ,
relaţia (1.95) se poate scrie sub forma:
∞
S ff ( jω ) = ∫ B ff (τ )e − jωτ dτ (1.97)
−∞
28
Dacă B ff (τ ) este o funcţie complexă, iar S ff ( jω ) una reală,
se poate arăta că
B ff (τ ) = B*ff ( −τ ) (1.103’)
Într-adevăr, exprimând B ff (τ ) şi B*ff ( −τ ) în funcţie de
densitatea spectrală de putere, se obţine
∞
1
B ff (τ ) =
2π ∫S
−∞
ff (ω )e jωτ d ω (1.104)
şi
*
⎛ 1 ∞
⎞ 1
∞
∫−∞ S ff (ω )e dω ⎟⎠ = 2π ∫S
jω ( −τ )
B*ff (−τ ) = ⎜ *
(ω )e jωτ dω =
⎝ 2π
ff
−∞
(1.105)
∞
1
=
2π ∫S
−∞
ff (ω )e jωτ dω
31
B fg (τ ) = B gf (− τ ) (1.120)
Din relaţia (1.120) rezultă că funcţia de corelaţie nu mai este
o funcţie pară în τ , aşa cum este funcţia de autocorelaţie. În
general, funcţia de corelaţie nu se bucură de cele cinci proprietăţi ale
funcţiei de autocorelaţie.
32
Zgomotul de pe canalul de transmisiuni este statistic independent de
semnalul util, deoarece acesta apare fie că pe canal se transmite
semnal util, fie că nu se transmite. Considerând, de asemenea, că
procesul aleator staţionar în sens larg, ce descrie zgomotul de pe
canal are valoare medie statistică nulă, adică
n(t ) = 0 (1.125)
rezultă
Bsn (τ ) = s (t ) ⋅ n(t + τ ) = s (t )0 = 0
(1.126)
Bns (τ ) = n(t ) ⋅ s (t + τ ) = 0 s (t + τ ) = 0
Cu (1.126), relaţia (1.123) devine
Brr (τ ) = Bss (τ ) + Bnn (τ ) (1.127)
Se consideră, în continuare, că semnalul util, purtător de
informaţie este de forma
s (t ) = A cos ωt (1.128)
Rezultă atunci:
⎡ T2 ⎤
⎢ 1
s (t ) s (t + τ ) dt ⎥
T →∞ ⎢ T ∫
Bss (τ ) = Rss (τ ) = lim (1.129)
T
⎥
⎢⎣ − 2 ⎥⎦
sau, ţinând cont de (1.128):
⎡ T2 ⎤
⎢ 1
cos ωt cos ω (t + τ )dt ⎥ =
T →∞ ⎢ T ∫
Bss (τ ) = A lim
2
T
⎥
⎢⎣ − 2 ⎥⎦
(1.130)
2
⎡ T2 T
⎤
A ⎢ 1 1 2
cos ω (2t + τ )dt + ∫ cos ωτdt ⎥
2 T →∞ ⎢ T −∫T
= lim
T −T ⎥
⎣⎢ 2 2 ⎦⎥
Deoarece:
33
⎡ T2 ⎤
⎢1 ⎥
cos ω ( 2t + τ ) dt ⎥ = 0
T →∞ ⎢ T ∫
lim (1.131)
⎢⎣ − T2 ⎥⎦
şi
⎡ T2 ⎤
⎢ 1
cos ωτdt ⎥ = cos ωτ
T →∞ ⎢ T ∫
lim (1.132)
T
⎥
⎢⎣ − 2 ⎥⎦
relaţia (1.130) devine:
A2
Bss (τ ) = cos ωτ (1.133)
2
Pe de altă parte, conform relaţiei (1.104), rezultă:
Bnn (∞) = a 2 = 0 (1.134)
Din relaţia (1.133) rezultă că funcţia de autocorelaţie a
semnalului util, presupus periodic, este de asemenea periodică şi,
deci, atunci când în semnalul recepţionat există şi semnal util
periodic, funcţia de autocorelaţie a semnalului recepţionat, pentru τ
suficient de mare, va fi un semnal periodic de forma (1.133).
Dacă în semnalul recepţionat nu există şi semnal util
periodic, funcţia de autocorelaţie a semnalului recepţionat, pentru τ
suficient de mare, tinde asimptotic la zero.
Pe baza acestui rezultat se poate decide dacă în semnalul
recepţionat există sau nu semnal util, purtător de informaţie, chiar în
situaţiile severe, când nivelul semnalului util recepţionat este mai
mic decât nivelul zgomotului şi când spectrul semnalului util este
inclus în spectrul zgomotului. În astfel de condiţii, prin nici o
metodă clasică deterministă (filtrare sau detectare de amplitudine)
nu se poate decide dacă în semnalul recepţionat există sau nu
semnal util.
34
1.8. Determinarea funcţiei de autocorelaţie şi a
densităţii spectrale de putere a unei secvenţe binare
aleatoare
Fig. 1.8. Reprezentarea grafică a unei realizări particulare a unei secvenţe binare
aleatoare
35
Relaţia (1.135) se poate scrie echivalent sub forma:
B ff (t1 , t2 ) = x11 x21 p( x11 ∩ x21 ; t1 , t2 ) + x11 x22 p( x11 ∩ x22 ; t1 , t2 )
(1.136)
+ x12 x21 p ( x12 ∩ x21; t1 , t2 ) + x12 x22 p( x12 ∩ x22 ; t1 , t2 )
Dar:
x11 = x21 = 1 ⎫
⎬ (1.137)
x12 = x22 = −1⎭
Cu (1.137), relaţia (1.136) devine:
B ff (τ ) = p ( x11 ∩ x21; t1, , t2 ) − p( x11 ∩ x22 ; t1, , t2 ) −
(1.138)
− p ( x12 ∩ x21; t1, , t2 ) + p ( x12 ∩ x22 ; t1, , t2 )
Pe de altă parte, se poate scrie:
p ( x1i ∩ x2 j ; t1 , t2 ) = p( x1i , t1 ) p( x2 j ; t2 | x1i ; t1 ), ( ∀ ) i, j = 1, 2 (1.139)
Ţinând cont de (1.139), relaţia (1.138) devine:
B ff (τ ) = p ( x11; t1 ) p ( x21; t2 | x11 ; t1 ) −
− p ( x 11 ; t1 ) p ( x22 ; t2 | x11; t1 ) (1.140)
− p ( x12 ; t1 ) p ( x21 ; t2 | x12 ; t1 ) + p( x12 ; t1 ) p( x22 ; t2 | x12 ; t1 )
Dar
1
, (∀)i = 1,2
p ( x1i , t1 ) = (1.141)
2
deoarece la un moment oarecare t = t0 , semnalul binar aleator poate
fi egal probabil fie x11 = 1 , fie x12 = −1 .
Se consideră, în continuare, două cazuri (v. fig. 1.8)
a)τ < Δ
b)τ ≥ Δ
În cazul a), rezultă:
1τ
p( x2 j ; t2 | x1i ; t1 ) = ( ∀ ) i, j = 1, 2 ; i ≠ j (1.142)
i≠ j 2Δ
36
deoarece această probabilitate condiţionată este egală cu produsul
dintre probabilitatea ca în intervalul τ < Δ să apară un nod,
probabilitate care, evident, este egală cu τ Δ , şi probabilitatea ca în
acel nod să aibă loc o tranziţie de la 1 la -1 sau invers, probabilitate
care, evident, este egală cu 1/2.
Pe de altă parte, este adevărată relaţia:
p ( x 2 j ; t 2 | x1i ; t1 ) i ≠ j + p ( x 2 j ; t 2 | x1i ; t1 ) i = j = 1 (1.143)
Din (1.142) şi (1.143) rezultă:
τ
p( x 2 j ; t 2 | x1i ; t1 ) i = j = 1 − p( x 2 j ; t 2 | x1i ; t1) ) i ≠ j = 1 − (1.144)
2Δ
Înlocuind relaţiile (1.142) şi (1.144) în (1.140), rezultă:
τ
B ff (t1 , t2 ) = B ff (τ ) = 1 − , τ <Δ (1.145)
Δ
În cazul b), rezultă:
1
, (∀)i, j = 1,2 (1.146)
p( x 2 j ; t 2 | x1i ; t1 ) = p( x 2 j ; t 2 ) =
2
deoarece, când τ ≥ Δ , cu certitudine în intervalul τ apare un nod, iar
în nodul respectiv, cu probabilitatea egală cu 1/2 , poate să aibă loc
tranziţia de la 1 la-1, sau invers.
Ţinând cont de relaţiile (1.141) şi (1.146), relaţia (1.140) devine:
B ff (t1 , t2 ) = B ff (τ ) = 0 , τ ≥ Δ (1.147)
Reunind (1.145) şi (1.147), rezultă:
⎧ τ
⎪1 − Δ , pentru τ < Δ
⎪
B ff (τ ) = ⎨ (1.148)
⎪ 0 , pentru τ ≥ Δ
⎪
⎩
37
Deoarece funcţia de autocorelaţie este o funcţie pară, rezultă
că relaţia (1.148) se menţine adevărată şi pentru τ < 0 , ceea ce
înseamnă că relaţia finală care specifică funcţia de autocorelaţie a
unei secvenţe binare aleatoare este de forma:
⎧ |τ |
⎪1 − Δ , pentru | τ |< Δ
⎪
B ff (τ ) = ⎨ (1.149)
⎪ 0 , pentru | τ |≥ Δ
⎪
⎩
Deoarece funcţia de autocorelaţie nu depinde de originea
timpului, rezultă că semnalul binar aleator analizat este staţionar în
sens larg. Pe măsură ce Δ devine mai mic, funcţia de autocorelaţie
se apropie de un impuls Dirac care, aşa cum s-a precizat anterior,
caracterizează zgomotul alb.
Reprezentarea grafică a acestei funcţii de autocorelaţie este
dată în figura 1.9.
38
Δ Δ
Δ− | τ | Δ −τ
S ff ( jω ) = ∫ cos ωτ dτ = 2∫ cos ωτ ⋅ dτ (1.151)
−Δ
Δ 0
Δ
Efectuând integrarea prin părţi:
Δ −τ dτ ⎫
= u ⇒ du = − ⎪
Δ Δ
⎪
⎬ (1.152)
sin ωτ ⎪
cos ωτ dτ = dv ⇒ = v⎪
ω ⎭
rezultă:
⎛ τ =Δ Δ ⎞ 2
S ff ( jω ) = 2 ⎜ uv τ =0 − ∫ vdu ⎟ = 2 (1 − cos ωΔ ) =
⎝ 0 ⎠ ω Δ
2
⎛ ωΔ ⎞
⎜ sin
4
= 2 sin 2
ωΔ
= Δ⎜ 2 ⎟ (1.153)
ωΔ 2 ωΔ ⎟
⎜ ⎟
⎝ 2 ⎠
Reprezentarea grafică a densităţii spectrale de putere a secvenţei
binare aleatoare, dată de relaţia (1.153), este dată în figura 1.10.
39
adică, la momentele de timp t1 şi t 2 secvenţa îşi menţine aceeaşi
valoare, 1 sau -1. Acest lucru se întâmplă dacă numărul de tranziţii
în intervalul t 2 − t1 este par.
Analog, rezultă:
p ( x22 ; t2 | x11; t1 ) = p( x21; t2 | x12 ; t1 ) =
(1.155)
= P { f ( i ) (t2 ) = − f ( i ) (t1 )}
adică, la momentele de timp t1 şi t 2 secvenţa binară aleatoare are
semne contrare. Acest lucru se întâmplă dacă numărul de tranziţii în
intervalul t 2 − t1 este impar.
Ţinând cont de (1.141), (1.154) şi (1.155), relaţia (1.140)
devine:
B ff (τ ) = P { f ( i ) (t2 ) = f (i ) (t1 )} − P { f ( i ) (t2 ) = − f (i ) (t1 )} =
(1.156)
= pc − pa ,
unde prin pc şi p a s-au notat probabilităţile de coincidenţă,
respectiv de necoincidenţă a valorilor secvenţei binare aleatoare la
momentele t1 şi t 2 .
Notând:
not.
t 2 − t1 = NΔ + θ ; N = 0,1,2,… ; 0 ≤ θ < Δ (1.157)
rezultă că numărul de tranziţii în intervalul t 2 − t1 este dat de suma
dintre numărul de tranziţii, k , din intervalul NΔ , şi numărul de
tranziţii din intervalul θ , care poate fi zero sau unu.
Probabilitatea ca în N noduri posibile din intervalul NΔ să
aibă loc k tranziţii se poate calcula folosind distribuţia binomială,
adică:
⎛N⎞
PN (k ) = ⎜⎜ ⎟⎟ p k (1 − p ) N − k (1.158)
k
⎝ ⎠
40
unde s-a notat cu p probabilitatea ca într-un nod să aibă loc o
tranziţie. În cazul secvenţei binare aleatoare, p=1/2 şi, deci:
⎛N⎞
PN ( k ) = ⎜ ⎟ 2− N (0 ≤ k ≤ N ) (1.159)
⎝k⎠
În ceea ce priveşte intervalul θ , probabilitatea ca acesta să
conţină un nod este egală cu θ Δ , iar probabilitatea ca în acest nod
să aibă loc o tranziţie este egală cu 1/2.
Rezultă atunci că probabilitatea ca în intervalul θ să aibă loc
o tranziţie, probabilitate care se notează cu pθ (1) , se determină cu
relaţia:
θ
pθ (1) = (1.160)
2Δ
Probabilitatea ca în intervalul θ să nu aibă loc o tranziţie,
probabilitate care se notează cu pθ (0) , se determină cu relaţia:
θ 2Δ − θ
pθ (0) = 1 − pθ (1) = 1 − = (1.161)
2Δ 2Δ
Rezultă atunci:
pc = pθ (0) ∑ PN (k ) + pθ (1) ∑ PN (k ), (0 ≤ k ≤ N ) (1.162)
k par k impar
pa = pθ (0) ∑
k impar
PN ( k ) + pθ (1) ∑ PN (k ),
k par
(0 ≤ k ≤ N ) (1.163)
41
Δ −θ ⎡ ⎛N⎞ ⎛ N ⎞⎤
= 2− N ⎢ ∑ ⎜ ⎟ − ∑ ⎜ ⎟⎥ (1.165)
Δ ⎣ k par ⎝ k ⎠ k impar ⎝ k ⎠ ⎦
Deoarece:
⎛N⎞ ⎛N⎞
∑ ⎜⎜ k ⎟⎟ = ∑ ⎜⎜ ⎟⎟
kimpar ⎝ k ⎠
(1.166)
kpar ⎝ ⎠
rezultă că, pentru N>0:
B ff ( NΔ + θ ) = 0 (1.167)
Reunind relaţiile (1.164) şi (1.167) şi ţinând cont de (1.157),
rezultă:
⎧ θ
⎪1 − pentru N = 0
B ff ( N Δ + θ ) = ⎨ Δ (1.168)
⎪⎩ 0 pentru N > 0
Funcţia de autocorelaţie fiind pară, rezultă relaţia finală:
⎧ |θ |
⎪1 − , pentru | θ |< Δ
B ff ( N Δ + θ ) = ⎨ Δ (1.169)
⎪⎩ 0 , pentru | θ |≥ Δ
k par ⎢ k ! ⎝ T0 ⎠ ⎥⎦ k impar ⎢⎣ k ! ⎝ T0 ⎠ ⎥⎦
⎣
−
τ ⎡ 1 ⎛ −τ ⎞ k ⎤ −
τ ⎡
τ
2
1⎛τ ⎞ 1⎛τ ⎞
3
⎤
=e ∑ T0
⎢ ⎜ ⎟ =e ⎥ T0
⎢1− + ⎜ ⎟ − ⎜ ⎟ + ...⎥ (1.173)
⎢ k ! T ⎥ ⎢ 1!T 2! ⎝ T0 ⎠ 3! ⎝ T0 ⎠ ⎥⎦
k
⎣ ⎝ 0 ⎠ ⎦ ⎣ 0
τ τ τ
− − −2
=e T0
e T0
=e T0
43
Deoarece funcţia de autocorelaţie este pară în τ , rezultă că
relaţia (1.173) este adevărată şi pentru τ < 0 , deci relaţia finală de
calcul a funcţiei de autocorelaţie a semnalului aleator telegrafic este
de forma:
|τ |
−2
B ff (τ ) = e T0
(1.174)
Reprezentarea grafică a acestei funcţii de autocorelaţie este dată de
figura 1.11.
∫e ∫e dτ + ∫ e
T0 − jωτ − jωτ
S ff ( jω ) = e dτ = T0
e T0
e − jωτ dτ =
−∞ −∞ 0
0 ∞
⎛ 2 ⎞ ⎛ 2 ⎞ 4 (1.175)
⎜ − jω ⎟τ −⎜ + jω ⎟τ
T
⎝ 0 ⎠ T
⎝ 0 ⎠
e e T0
= − =
2 2 ⎛2⎞
2
− jω + jω
ω +⎜ ⎟ 2
T0 T0
−∞ 0
⎝ T0 ⎠
Reprezentarea grafică a acestei densităţi spectrale de putere
este dată în figura 1.12.
Se observă că frecvenţa unghiulară corespunzătoare unei
atenuări de 3 dB este egală cu inversul constantei în timp ce
44
intervine în exponentul funcţiei de autocorelaţie, (2 T0 ) . Cu cât
valoarea medie a intervalului dintre două tranziţii, T0 , este mai
mică, cu atât mai repede se atenuează funcţia de autocorelaţie şi cu
atât mai mare este lăţimea de bandă a semnalului aleator telegrafic.
45
d) Dacă se defineşte prin stare succesiunea de intervale
elementare Δ în care semnalul are valoarea 1 sau -1, atunci numărul
total de stări este (n+1)/2;
e) În cadrul unei perioade, jumătate din numărul de stări au o
durată egală cu Δ, un sfert din numărul de stări au durata 2Δ, o
optime au durata 3Δ ş.a.m.d., exceptând o stare cu valoarea 1, de
durată pΔ şi o stare cu valoarea -1, de durată (p-1)Δ;
f) Efectuând o permutare ciclică asupra unei secvenţe
pseudoaleatoare periodice, se obţine o nouă secvenţă
pseudoaleatoare periodică care, comparată cu secvenţa originală,
prezintă un număr de necoincidenţe mai mare cu o unitate decât
numărul de coincidenţe.
De obicei, secvenţele pseudoaleatoare periodice se obţin din
secvenţe binare pseudoaleatoare periodice. La rândul lor, secvenţele
binare pseudoaleatoare periodice se generează cu registre de
deplasare cu reacţie, întocmite după polinoame primitive. Gradul
polinomului primitiv este egal cu p, fiind egal cu numărul circuitelor
basculante bistabile din componenţa registrului de deplasare cu
reacţie [48].
Având în vedere caracterul periodic al secvenţei (perioada
T=nΔ), şi funcţia sa de autocorelaţie va fi periodică, de aceeaşi
perioadă.
Funcţia de autocorelaţie a secvenţei pseudoaleatoare
periodice SPA(t) de perioadă T=nΔ se calculează conform relaţiei
(1.37), în care perioada T este finită, adică:
nΔ
1
B ff (τ ) =
nΔ ∫ SPA(t )SPA(t − τ )dt
0
(1.176)
46
efectuează conform Tabelului 1.1.
Tabelul 1.1.
x 1 -1 Notând Ic şi Ia intervalele de timp în care
SPA ( t ) şi SPA ( t − τ ) coincid, respectiv nu
1 1 -1
coincid, funcţia de autocorelaţie se poate determina
-1 -1 1 cu relaţia echivalentă:
Ic − Ia
B ff (τ ) = (1.177)
nΔ
Pentru determinarea expresiilor lui I c şi I a , se poate considera
SPA binară efectuându-se echivalenţele 0↔1 şi 1↔-1. În cazul SPA
binare, suma modulo doi este definită în Tabelul 1.2:
Tabelul 1.2.
Se constată uşor existenţa izomorfismului
⊕ 0 1 dintre grupurile 1,-1/x şi 0,1/⊕.
Ţinând cont de proprietatea f), rezultă că,
0 0 1
dacă SPAj este o secvenţă pseudoaleatoare obţinută
1 1 0 din SPAi prin j-i deplasări ciclice, atunci:
SPAi ⊕ SPAj = SPAk (1.178)
unde sumarea se efectuează modulo doi, simbol cu simbol, iar SPAk
provine din SPAi prin k-i deplasări ciclice.
Conform proprietăţilor b) şi c), orice SPA periodică binară va
conţine (n-1)/2 =2p-1-1 simboluri zero şi (n+1)/2=2p-1 simboluri 1.
Se face notaţia:
not .
θ + jΔ =τ ;0 ≤ θ < Δ; j = 0,1, 2,,...n − 2 (1.179)
Pentru determinarea expresiilor lui Ic şi Ia, se consideră suma
modulo doi SPA(t)⊕SPA(t-τ) pe o perioadă T=nΔ:
47
SPA(t ) ⊕ SPA(t − τ ) =
⎧ SPA0 ⊕ SPAj +1 , într-un interval θ la fiecare Δ (1.180)
=⎨
⎩ SPA0 ⊕ SPAj , într-un interval Δ − θ la fiecare Δ
Notând cu N0{SPAi⊕SPAj} şi cu N1{SPAi⊕SPAj} numărul de
simboluri 0 (coincidenţe), respectiv 1 (necoincidenţe) ale SPAi⊕SPAj,
se poate scrie:
I c = θ N 0 {SPA0 ⊕ SPAj +1} + ( Δ − θ ) N 0 {SPA0 ⊕ SPAj }⎫⎪
⎬ (1.181)
I a = θ N1 {SPA0 ⊕ SPAj +1} + ( Δ − θ ) N1 {SPA0 ⊕ SPAj } ⎪⎭
Pentru j=0, rezultă din (1.179) că τ = θ . Înlocuind în (1.181)
j=0 şi τ = θ şi ţinând cont de proprietăţile SPA periodice, rezultă:
n −1
Ic = τ + (Δ − τ )n (1.182)
2
n +1
Ia = τ (1.183)
2
Înlocuind (1.182) şi (1.183) în relaţia (1.177), se obţine:
⎛ 1⎞
Δ − τ ⎜1 + ⎟
B ff (τ ) = ⎝ n⎠ (1.184)
Δ
Pentru 0<j<n-2 (τ=θ+jΔ), rezultă:
n −1 n −1
Ic = θ + (Δ − θ ) (1.185)
2 2
n +1 n +1
Ic = θ + (Δ − θ ) (1.186)
2 2
Înlocuind (1.185) şi (1.186) în relaţia (1.177), se obţine:
1
B ff (τ ) = − (1.187)
n
48
Deoarece Bff(τ) este o funcţie pară şi periodică, de perioadă
T=nΔ, se poate scrie:
⎧ ⎛ 1⎞
⎪ Δ − τ ⎜1 + n ⎟
⎪ ⎝ ⎠ , pentru τ ≤ Δ
B ff (τ ) = ⎨ Δ (1.188)
⎪ 1
⎪ − , pentru Δ < τ ≤ (n − 1)Δ
⎩ n
Conform relaţiei (1.188), reprezentarea grafică a funcţiei de
autocorelaţie a unei secvenţe pseudoaleatoare periodice de lungime n
este dată în figura 1.13.
49
mai mare decât cea mai mare constantă de timp ce caracterizează
sistemul dinamic respectiv.
50
∞
g (t ) =
−∞
∫ h(u ) f (t − u )du (1.190)
51
funcţia de corelaţie dintre f ( t ) şi răspunsul sistemului, se poate
deduce funcţia pondere a acestuia.
Avantajul principal al acestei metode faţă de metodele clasice
deterministe (aplicarea la intrare a unui impuls scurt şi înregistrarea
răspunsului sau determinarea prin puncte a funcţiei de transfer etc.),
constă în faptul că funcţia pondere astfel determinată nu este afectată
de perturbaţiile care intervin în funcţionarea sistemului.
Un alt avantaj al acestei metode constă în faptul că se poate
determina funcţia pondere a sistemului în funcţiune, deci în condiţii
reale.
52
∞ ∞
= m1{ ∫ f (t1 − u )h(u ) du ∫ f (t1 + τ − v)h(v) dv} =
−∞ −∞
∞ ∞
= ∫ ∫ h(u )h(v)m { f (t
−⋅∞ −⋅∞
1 1 − u ) f (t1 + τ − v)}dudv (1.196)
Dar
m1{ f (t1 − u ) f (t1 + τ − v)} = B ff (τ − v + u ) (1.197)
reprezintă funcţia de autocorelaţie a procesului aleator f ( t ) de la
intrarea sistemului analogic, liniar, invariant în timp. Cu (1.197),
relaţia (1.196) devine:
∞ ∞
Bgg (τ ) = ∫ ∫B
−∞ −∞
ff (τ − v + u )h(u )h(v)dudv (1.198)
Dar:
53
∞
⎫
∫
jωu
h (u ) e du = H ( − jω ) ⎪
−∞ ⎪
∞ ⎪⎪
∫
− jω v
h ( v ) e dv = H ( jω ) ⎬ (1.203)
−∞ ⎪
∞ ⎪
∫−∞ ff ⎪
− jθ
B (θ ) e dθ = S ff ( jω )
⎪⎭
unde H ( jω ) este funcţia de transfer a sistemului analogic, liniar,
invariant în timp, iar S ff ( jω ) , densitatea spectrală de putere a
procesului aleator de la intrarea sistemului respectiv.
Cu (1.203), relaţia (1.202) devine:
2
S gg ( jω ) = H ( jω ) S ff ( jω ) (1.204)
În cazul în care la intrarea sistemului se aplică zgomot alb cu
densitatea spectrală de putere S0, rezultă:
2
S gg ( jω ) = H ( jω ) S0 (1.205)
54
variabila temporală discretă n.
Valorile medii statistice frecvent folosite în aplicaţii sunt:
1. Valoarea medie (moment de ordinul întâi):
∞
E { x [ n1 ]} = x [ n1 ] = ∫ x w ( x ; n ) dx
1 1 1 1 1 (1.206)
−∞
{ }
∞
E x[n1 ] = x[n1 ] = w1 ( x1 ; n1 )dx1
2 2 2
∫x
−∞
1 (1.207)
( )( )
*
cxx [ n1 , n2 ] = x [ n1 ] − x [ n1 ] x [ n2 ] − x [ n2 ] =
(1.211)
{ }{
= γ xx [ n1 , n2 ] − x [ n1 ] x [ n2 ]
*
}
În cazul variabilei aleatoare reale:
( )(
cxx [ n1 , n2 ] = x [ n1 ] − x [ n1 ] x [ n2 ] − x [ n2 ] = ) (1.211’)
{ }{
= γ xx [ n1 , n2 ] − x [ n1 ] x [ n2 ] }
7. Funcţia de covarianţă:
În cazul variabilelor aleatoare complexe
( )( )
*
cxy [ n1 , n2 ] = x [ n1 ] − x [ n1 ] y [ n2 ] − y [ n2 ] =
(1.212)
{ }{
= γ xy [ n1 , n2 ] − x [ n1 ] y [ n2 ] }
În cazul variabilelor aleatoare reale:
( )(
cxy [ n1 , n2 ] = x [ n1 ] − x [ n1 ] y [ n2 ] − y [ n2 ] = ) (1.212’)
{ }{
= γ xy [ n1 , n2 ] − x [ n1 ] y [ n2 ] }
56
În cazul în care x [ n1 ] şi y [ n2 ] sunt două variabile aleatoare
statistic independente, atunci:
w2 ( x, y; n1 , n2 ) = w1 ( x; n1 ) w2 ( y; n2 ) (1.213)
şi din (1.209) rezultă:
γ xy [ n1 , n2 ] = E { x [ n1 ]} E { y [ n2 ]} (1.214)
În cazul independenţei statistice a variabilelor aleatoare, din
(1.212) şi (1.214) rezultă:
c xy [n1 , n2 ] = 0 (1.215)
Dacă ultima relaţie este îndeplinită, variabilele aleatoare
x [ n1 ] şi y [ n2 ] sunt necorelate.
Se observă că dacă două variabile aleatoare sunt statistic
independente, ele sunt şi necorelate, reciproca nefiind întotdeauna
adevărată.
Două variabile aleatoare x [ n1 ] şi y [ n2 ] sunt ortogonale,
dacă:
γ xy [ n1 , n2 ] = E { x [ n1 ] y [ n2 ]} = 0 (1.216)
∑
2
(1.226)
N →∞
⎝ 2N + 1 ni = − N ⎠
Similar se poate demonstra că
< ( x ( k ) [n]) >= constant
2
(1.226’)
3. Funcţia de autocorelaţie temporală:
rxx( k ) (n1 , n2 ) =< x ( k ) [n1 + n]x ( k ) [n2 + n] > =
⎛ 1 N
⎞ (1.227)
lim ⎜⎜ ∑ x ( k ) [n1 + ni ]x ( k ) [n2 + ni ] ⎟⎟
N →∞
⎝ 2N + 1 ni = − N ⎠
59
Se poate demonstra că funcţia de autocorelaţie temporală nu
depinde nici de n1 , nici de n2 , ci de diferenţa acestora.
Într-adevăr, dacă în relaţia (1.227) se face notaţia
n1 + ni = vi , (1.228)
rezultă
⎛ 1 N + n1
⎞
rxx( k ) (n1 , n2 ) = lim ⎜⎜ ∑ x ( k ) [vi ]x ( k ) [n2 − n1 + vi ] ⎟⎟ =
N →∞
⎝ 2N + 1 vi = − N + n1 ⎠ (1.229)
rxx( k ) (n2 − n1 )
Dacă în relaţia (1.227) se face notaţia
n 2 + ni = u i , (1.230)
rezultă
⎛ 1 N + n2
⎞
rxx( k ) (n1 , n2 ) = lim ⎜⎜ ∑ x ( k ) [n1 − n2 + u i ]x ( k ) [u i ] ⎟⎟ =
N →∞
⎝ 2N + 1 vi = − N + n2 ⎠ (1.231)
rxx( k ) (n1 − n2 )
Comparând (1.229) cu (1.231), rezultă
rxx( k ) (n1 , n2 ) = rxx( k ) (n2 − n1 ) = rxx( k ) ( n1 − n2 ) (1.232)
adică, funcţia de autocorelaţie temporală este o funcţie pară,
depinzând numai de diferenţa dintre momentele n1 şi n2 .
4. Funcţia de corelaţie temporală:
rxy( k ) (n1 , n2 ) =< x ( k ) [n1 + n] y ( k ) [n2 + n] > =
⎛ 1 N
⎞ (1.233)
lim ⎜⎜ ∑ x ( k ) [n1 + ni ] y ( k ) [n2 + ni ] ⎟⎟
N →∞
⎝ 2N + 1 ni = − N ⎠
Analog se poate demonstra că
rxy( k ) (n1 , n2 ) = rxy( k ) (n2 − n1 ) = ryx( k ) (n1 − n2 ) (1.234)
5. Funcţia de autovarianţă temporală
60
cxx( k ) (n1 , n2 ) =
= < ( x ( k ) [n1 + n]− < x ( k ) [n] > )( x ( k ) [n2 + n]− < x ( k ) [ n] > ) >
(1.235)
=< x ( k ) [n1 + n]x ( k ) [n2 + n] > − < x ( k ) [ n] >< x ( k ) [n] >
= rxx( k ) ( n1 , n2 )− < x ( k ) [n] >< x ( k ) [n] >
Se poate demonstra pe aceeaşi cale că
c xx( k ) (n1 , n2 ) = c xx( k ) (n2 − n1 ) = c xx( k ) (n1 − n2 ) (1.236)
6. Funcţia de covarianţă temporală
cxy( k ) (n1 , n2 ) =< ( x ( k ) [n1 + n]− < x ( k ) [ n] > )( y ( k ) [n2 + n]− < y ( k ) [n] > ) >=
= rxy( k ) ( n1 , n2 )− < x ( k ) [n] >< y ( k ) [n] > (1.237)
Se poate demonstra că
cxy( k ) (n1 , n2 ) = cxy( k ) (n2 − n1 ) = c (yxk ) ( n1 − n2 ) (1.238)
7. Dispersia temporală
σ 2 [n] = < ( x ( k ) [n]− < x ( k ) [n] > ) >=
2
2 2
(1.239)
=< ⎡⎣ x ( k ) [n]⎤⎦ > − ⎡⎣< x ( k ) [n] > ⎤⎦
Ţinând cont de (1.225) şi (1.226’), rezultă că dispersia temporală
este o constantă.
61
diferenţele dintre momentele n1 şi n2 , pentru ca aceste valori medii
temporale să fie egale cu valorile medii statistice corespunzătoare
este necesar ca
w1 ( x1 ; n1 ) = w1 ( x1 ) (1.240)
w2 ( x1 , x 2 ; n1 , n2 ) = w2 ( x1 , x 2 ; n1 − n2 ) (1.241)
adică procesele aleatoare trebuie să fie staţionare în sens larg.
Fie x[n] un proces aleator staţionar în sens larg şi x ( k ) [ n ] o
realizare particulară a acestuia. Un estimat temporal mˆ k al valorii
medii temporale se poate obţine din (1.222), prin relaţia:
N
1
mˆ k = ∑
2N + 1 ni = − N
x ( k ) [ni ] (1.242)
62
var(mˆ ) = E {({mˆ k } − mx ) 2 } (1.245)
Ţinând cont de (1.243), relaţia (1.245) se poate scrie echivalent:
var(mˆ ) = E {({mˆ k } − mx )({mˆ k } − mx )} =
⎧⎪⎛ 1 N ⎞⎛ 1 N ⎞ ⎫⎪
E ⎨⎜ ∑ i x 2 N + 1 k∑
x[ n ] − m ⎟⎜ x[ k i ] − m x ⎟⎬ =
⎪⎩⎝ 2 N + 1 ni =− N ⎠⎝ i =− N ⎠ ⎪⎭
⎛ 1 N
1 N ⎞
= E⎜ ∑ ( x [ ni ] − m x ) ∑ ( x[ki ] − mx ) ⎟ = (1.246)
⎝ 2 N + 1 ni =− N 2 N + 1 ki =− N ⎠
N N
1
∑ ∑ E ([ x[ni ] − mx ][ x[ki ] − mx ]) =
(2 N + 1) 2 ni =− N ki =− N
N N
1
=
(2 N + 1) 2
∑ ∑c
ni =− N ki =− N
xx (ni − ki )
63
1 2N
1 2N
⎛ |l | ⎞
2 ∑ ∑
[2 N + 1− | l |]cxx [l ] = ⎜1 − ⎟ cxx [l ]
(2 N + 1) l =−2 N (2 N + 1) l =−2 N ⎝ 2 N + 1 ⎠
Dacă
1 2N
⎛ |l | ⎞
lim
N →∞ (2 N + 1)
∑ ⎜
l =−2 N ⎝
1− ⎟ cxx (l ) = 0 ,
2N + 1 ⎠
(1.248)
1 ⎛ n1 + N ( m ) n1 + N
⎞
⎜ ∑
(2 N + 1) 2 ⎝ k =n1 − N
γ vv [ n1 − N − k ] + ... + ∑ γ ( m)
vv [ n1 + N − k ] ⎟−
k = n1 − N ⎠
− ( γ xx [m]) =
2
1
2 ( vv
= γ ( m ) [0] + γ vv( m ) [−1] + ... + γ vv( m ) [−2 N + 1] + γ vv( m ) [−2 N ] +
(2 N + 1)
γ vv( m ) [1] + γ vv( m ) [0] + ... + γ vv( m ) [−2 N + 2] + γ vv( m ) [−2 N + 1] +
1
2 ( vv
γ ( m ) [2 N ] + 2γ vv( m ) [2 N − 1] + ...2 N γ vv( m ) [1] + [2 N + 1]γ vv( m ) [0] +
(2 N + 1)
2 N γ vv( m ) [−1] + [2 N − 1]γ vv( m ) [−2] + ...2γ vv( m ) [−2 N + 1] + γ vv( m ) [−2 N ]) −
2N
1
2 ∑
− ( γ xx [m]) = [2 N + 1− | l |]γ vv( m ) [l ] − ( γ xx [m]) =
2 2
(2 N + 1) l =−2 N
66
1 2N
⎛ | l | ⎞ ( m)
∑ ⎟ γ vv [l ] − ( γ xx [m])
2
= ⎜1 − (1.257)
(2 N + 1) l =−2 N ⎝ 2 N + 1 ⎠
Dacă
⎡ 1 2N
⎛ | l | ⎞ (m) 2⎤
lim ⎢
N →∞ (2 N + 1)
∑ ⎜
l =−2 N ⎝
1− ⎟
2N + 1 ⎠
γ vv (l ) − ( γ xx [m]) ⎥ = 0 (1.258)
⎣ ⎦
atunci, var[rˆ] → 0 şi estimatul statistic r̂ converge cu probabilitate
1 la γ xx [m] , adică la funcţia de autocorelaţie statistică.
Dacă relaţia (1.258) este îndeplinită, procesul aleator x[n] ,
staţionar în sens larg se numeşte ergodic în corelaţie.
În cele ce urmează, procesele aleatoare vor fi considerate
ergodice atât în medie, cât şi în corelaţie.
γ xx [ k ] = E { x [ n1 − k ] x* [ n1 ]} = E { x [ n1 ] x* [ n1 + k ]} (1.260)
{ }
cxy [ k ] = E ( x [ n1 − k ] − mx ) ( y [ n1 ] − m y )
*
(1.261)
[ k ] = E {( x [ n − k ] − m ) ( x [ n ] − m ) }
*
cxx 1 x 1 x (1.262)
Proprietatea 1
cxx [ k ] = γ xx [ k ] − mx
2
(1.263)
67
cxy [ k ] = γ xy [ k ] − mx m*y (1.264)
Proprietatea 2
{ } = x [n ]
_________
γ xx [ 0] = E x [ n1 ]
2 2
1 = valoare pătratică medie (1.265)
cxy [ k ] ≤ cxx [ 0] c yy [ 0]
2
(1.272)
cu particularizarea
γ xx [k ] ≤ γ xx [0] (1.273)
cxx [ k ] ≤ cxx [ 0] (1.274)
Proprietatea 5
Dacă
y [l ] = x [l − k ] , (1.275)
atunci
γ yy [k ] = γ xx [k ] (1.276)
c yy [ k ] = cxx [ k ] (1.277)
Proprietatea 6
Există procese aleatoare pentru care variabilele aleatoare devin
68
necorelate cu creşterea separării lor în timp. În acest caz
lim cxx [ k ] = 0 (1.278)
k →∞
lim γ xx [ k ] = mx
2
(1.279)
k →∞
69
şi, în consecinţă
π
1
E {( x[n]) 2
} = γ [ 0] = σ 2
+m = 2
∫π Γ (ω )dω (1.286)
2π
xx x x xx
−
70
răspunsul în frecvenţă H ( f ) , la intrarea căruia se aplică semnalul
aleator, staţionar în sens larg, discret în timp x[n] de medie
statistică mx . În continuare, se va presupune ca h[n] este real.
Intrarea şi ieşirea sistemului sunt legate prin suma de convoluţie
∞
y [ n] = ∑ h[k ] x [n − k ] (1.289)
n =−∞
71
∞ ∞
= ∑ ∑ h [ k ]h [ j ] E ⎡⎣ x [ n − k ] x [ n + m − j ]⎤⎦ =
k =−∞ j =−∞
i i
∞ ∞
= ∑ ∑ h [ k ]h [ j ]γ [ k − j + m]
k =−∞ j =−∞
xx (1.291)
∞ ∞
⎡ ∞ − j 2π fm ⎤
= ∑ ∑ h [ k ] h [ l ] ⎢ ∑ γ xx [ k − l + m ]e ⎥
k =−∞ l =−∞ ⎣ m=−∞ ⎦
Efectuând schimbarea de variabilă k − l + m = θ , rezultă
72
⎡ ∞ j 2π kl ⎤ ⎡
∞
− j 2π fl ⎤
Γ yy ( f ) = Γ xx ( f ) ⎢ ∑ h [ k ]e ⎥ ⎢ ∑ h [l ]e ⎥=
⎣ k =−∞ ⎦ ⎣ l =−∞ ⎦ (1.296)
= H ( f ) Γ xx ( f )
2
∏ (1 − z z −1 )
M
k
H (z ) = G k =1
; z > max pk , max pk < 1 (1.307)
∏ (1 − p )
N
−1 k k
k z
k =1
∏ (1 − z z ) (1 − z z )
k
−1
k
Γ yy ( z ) = σ H ( z ) H ( z ) = σ G
2 −1 2 2 k =1
x x N
(1.308)
∏ (1 − p z ) (1 − p z )
k =1
k
−1
k
75
max pk < z < min ( pk ) .
−1
k k
( )
N
γ yy [ n ] = σ x 2 ∑ Ak ( pk ) u [ n ] − Ak' ( pk ) u [ −n − 1]
n −n
(1.311)
k =1
Soluţie
−1 ∞ ∞ ∞
Γ xx ( z ) = ∑
k =−∞
a − k z − k + ∑ a k z − k = ∑ (az ) k + ∑ (az −1 ) k
k =0 k =1 k =0
76
1
Domeniul comun de convergenţă rezultă a <| z |< . În acest caz
a
az z 1 − a2
Γ xx ( z ) = + = .
1 − az z − a (1 − az ) (1 − az −1 )
Deoarece domeniul de convergenţă include cercul unitate, are
sens evaluarea lui Γ xx ( z ) pe acesta, pentru a obţine densitatea
spectrală de putere Γ xx (ω ) . Înlocuind z = e jω , rezultă
1 − a2
Γ xx (ω ) =
1 + a 2 − 2a cos ω
În figura 1.15 s-a reprezentat funcţia de autocorelaţie, iar în
figura 1.16, densitatea spectrala de putere pentru două valori ale lui
a.
Exemplul 1.2.
Fie un sistem descris de ecuaţia cu diferenţe:
x [ n ] = w [ n ] − w [ n − 1] , a cărui intrare w [ n ] este zgomot alb cu
densitatea spectrală de putere Γ ww ( z ) = S0 . Să se determine funcţia
de autocorelaţie şi densitatea spectrală de putere a semnalului de la
ieşire.
77
Soluţie
Funcţia de sistem corespunzătoare este
H ( z ) = 1 − z −1
Aplicând (1.302) rezultă
Γ xx ( z ) = Γ ww ( z ) (1 − z −1 ) (1 − z ) = Γ ww ( z ) ( 2 − z −1 − z ) =
S0 ( 2 − z −1 − z )
γ xx [ m ] = −γ ww [ m + 1] + 2γ ww [ m] − γ ww [ m − 1]
În domeniul frecvenţă
Γ xx (ω ) = S0 ( 2 − e jω − e − jω ) = 2 S0 (1 − cos ω )
Exemplul 1.3.
Ecuaţia recursivă x [ n ] − ax [ n − 1] = w [ n ] , cu | a |< 1 ,
caracterizează un sistem discret, liniar, invariant în timp, cauzal.
Dacă Γ ww ( z ) = S0 , să se determine Γ xx ( z ) , γ xx [ m ] şi valoarea
pătratică medie a lui x [ n ] .
Soluţie
1
Funcţia de sistem este H ( z ) = .
1 − az −1
S0
Γ xx ( z ) = H ( z ) H ( z −1 )Γ ww ( z ) = ,
(1 − az ) (1 − az )
−1
S0
γ xx [ m ] = Z −1 {Γ xx ( z )} = −1
a
m
a +a
{
E x [ ni ]
2
} = γ xx [ 0] =
aS0
1 + a2
78
1.21. Matricea de autocorelaţie a unui proces
staţionar
79
Având în vedere rolul foarte important pe care această matrice
îl are în analiza statistică, în continuare se vor prezenta
câteva proprietăţi ale acesteia.
1) Matricea de autocorelaţie pentru un proces aleator,
staţionar în sens larg este hermitică, adică:
ΓH = Γ (1.315)
Acest lucru rezultă direct din definiţia dată în relaţia (1.313) şi
(1.267).
Pentru date cu valori reale, funcţia de autocorelaţie este reală
şi matricea de autocorelaţie este simetrică, adică elementele Γij ale
matricei de autocorelaţie au proprietatea că Γij = Γ ji .
2) Matricea Γ este o matrice Toeplitz (are toate elementele de
pe diagonala principală egale, iar elementele de pe orice altă
diagonală paralelă cu diagonala principală, de asemenea, egale între
ele). Această proprietate este o consecinţă directă a faptului că
procesul aleator s-a presupus staţionar în sens larg.
3) Matricea Γ este pozitiv semidefinită, adică pentru orice
vector complex nenul u de dimensiune N × 1 are loc relaţia,
u H Γu ≥ 0 (1.316)
Într-adevăr,
u H Γu = u H E {x[n]x H [n]} u = E {u H x[n]x H [n]u} =
{ }
2 (1.317)
= E u H x[n] ≥0
x B [ n ] = ⎡⎣ x [ n − N + 1] , x [ n − N + 2] ,..., x [ n ]⎤⎦
T
(1.318)
Matricea de autocorelaţie a acestui vector se obţine prin
transpunerea matricei Γ iniţiale, adică
E {x B [n]x BH [n]} = ΓT (1.319)
5) Matricea Γ aşa cum a fost definită, este de
dimensiune N × N . Pentru a evidenţia acest lucru, se poate adăuga
un indice inferior ( Γ N ). Adăugând încă un element la vectorul
x [ n ] va rezulta o matrice de autocorelaţie extinsă de dimensiune
(N + 1) × (N + 1) , notată cu Γ N +1 . Sunt posibile următoarele
partiţii:
⎡γ xx [ 0] γ H ⎤ ⎡ Γ N γ B* ⎤
Γ N +1 = ⎢ ⎥=⎢ ⎥ (1.320)
⎣ γ Γ N ⎦ ⎣ γ BT γ xx [ 0]⎦
unde
γ H = [γ xx [1], γ xx [2],..., γ xx [ N ]]
(1.321)
γ BT = [γ xx [− N ], γ xx [− N + 1],..., γ xx [−1]]
6) Fie λi valorile proprii ale matricei Γ , adică rădăcinile
ecuaţiei caracteristice
det ( Γ − λ I ) = 0 (1.322)
şi qi vectorii proprii asociaţi,
Γqi = λi q i , i = 1,...., N (1.323)
Valorile proprii ale matricei Γ k , unde k este întreg, sunt
λi k , i = 1, 2,..., N .
81
7) Ca o consecinţă a proprietăţilor 1 şi 3, toate valorile proprii
ale matricei de autocorelaţie sunt reale şi pozitive. Într-adevăr,
înmulţind la stânga relaţia (1.323) cu qi H se obţine
qi H Γq i
λi = ≥0 (1.324)
qi H qi
8) Vectorii proprii q i , q j , corespunzători unor valori proprii
distincte, λi ≠ λ j , i, j = 1,...., N ; i ≠ j , sunt ortogonali, adică
q j H qi = 0 (1.325)
Într-adevăr, conform definiţiei, se poate scrie
Γqi = λi qi ; Γq j = λ j q j (1.326)
Se înmulţeşte la stânga prima relaţie din (1.326) cu q j H , rezultând
q j H Γqi = λi q j H qi (1.327)
Celei de-a doua relaţii din (1.326) i se aplică o transpunere
hermitică (transpunere şi conjugare complexă) şi, ţinând seama şi de
proprietatea 1, rezultă
(Γq j )H =q j H Γ H = q j H Γ = λ j q j H (1.328)
Înmulţind relaţia (1.328) cu qi la dreapta, se obţine
q j H Γqi = λ j q j H q i (1.329)
care, scăzută din ecuaţia (1.327) conduce la
(λ − λ )q
i j j
H
qi = 0 (1.330)
care demonstrează proprietatea enunţată. În particular, deoarece
prin înmulţirea unui vector propriu cu o constantă se obţine tot un
vector propriu, se poate construi un set ortonormat de vectori
proprii, astfel încât
82
⎧1, i = j
p j H pi = ⎨ (1.331)
⎩0, i ≠ j
unde p j = c j q j , pi = ci qi şi c j , ci constante ce asigură normarea
din relaţia precedentă.
9) Dacă valorile proprii λi , i = 1,...., N sunt distincte, atunci
vectorii proprii qi sunt liniar independenţi, şi pot fi utilizaţi ca
o bază pentru reprezentarea oricărui vector w în spaţiul vectorial
N-dimensional.
10) Matricea Γ poate fi diagonalizată în cazul în care valorile
proprii sunt distincte, conform relaţiei:
Q H ΓQ = Λ (1.332)
unde
Q = [q1 , q 2 ,..., q N ]; Λ = diag ( λ1 , λ2 ,..., λN ) (1.333)
Matricea Q are proprietatea că
Q H Q = I, sau Q −1 = Q H (1.334)
Într-adevăr, având în vedere relaţiile (1.323) şi (1.333), se
poate scrie
ΓQ = QΛ (1.335)
Înmulţind relaţia (1.335) la stânga cu Q H rezultă (1.332).
Înmulţind la dreapta relaţia (1.335) cu Q −1 = Q H rezultă
teorema lui Mercer sau teorema spectrală:
N
Γ = QΛQ = ∑ λi qi qi H
H
(1.336)
i =1
83
N
tr ( Γ ) = ∑ λi (1.337)
i =1
84
În continuare sunt prezentate câteva exemple de matrice de
autocorelaţie pentru diverse tipuri de semnale aleatoare.
1) Cazul zgomotului alb:
⎧σ 2 , k = 0
γ xx [k ] = E { x[ni ]x∗[ni + k ]} = ⎨
⎩0, k ≠ 0
de unde rezultă matricea de autocorelaţie Γ = σ 2 I , unde I este
matricea unitate.
2) Cazul unei sinusoide complexe, x[n] = Ae jnω , A = A e jϕ
în care A şi ω sunt constante, iar ϕ este o variabilă aleatoare.
γ xx [k ] = E { A e jϕ e jn ω A e − jϕ e− j ( n + k )ω } = A e − jkω
2
i i
⎡ 1 e − jω . . . . e − j ( N −1)ω ⎤
⎢ jω ⎥
⎢ e 1 . . . . e − j ( N −2)ω ⎥
2 ⎢ . ⎥
⎥ = A e (ω ) e (ω )
2
Γ= A ⎢ H
⎢ . ⎥
⎢ . ⎥
⎢ j ( N −1)ω ⎥
⎢⎣e e j ( N −2)ω . . . . 1 ⎥⎦
unde
T
e (ω ) = ⎡⎣1, e − jω ,..., e − j ( N −1)ω ⎤⎦
85
⎡ A 2 +σ 2 A e jω
2
. . . . A e j ( N −1)ω ⎤
2
⎢ 2 2 2
⎥
⎢ A e − jω A +σ 2 . . . . A e j ( N −2)ω ⎥
⎢ ⎥
.
Γ=⎢ ⎥
⎢ . ⎥
⎢ ⎥
⎢ . ⎥
⎢ 2 − j ( N −1)ω 2 2 ⎥
⎣A e A e− j ( N − 2)ω . . . . A +σ 2 ⎦
Γ xx ( z ) = e m =−∞
=e v[0]
e m =−∞
e m =1
(1.349)
Se defineşte
∞
∑ v[ m ] z
−m
v[ 0]
σ =e
2
w şi H ( z ) = e m =1
, z > r1 (1.350)
Deoarece log Γ xx ( f ) este o funcţie reală, coeficienţii
dezvoltării sunt conjugat simetrici v[m] = v ∗ [− m]. Al doilea termen
din factorizarea lui Γxx ( f ) poate fi scris sub forma
87
*
⎛ ∞
( ) ⎟⎠⎞
−1 ∞ *
∑ v[ m] z ∑ v[ − n ] z ⎜ ∑ v[ − n ] z
−m n n
e m =−∞ = e n =1 =e ⎝ n =1
=
− n ⎫∗ (1.351)
⎧⎪ ∞
( )
*
⎪
⎛ ∞
( )
n⎞
⎜ ∑ ( v[ − n ] ) z ⎨ ∑ v[ n ]
* * 1
⎟
⎩⎪n =1 z∗
⎬
⎭⎪ ⎛1⎞ ∗
=e ⎝ n =1 ⎠
=e =H ⎜ ∗⎟
⎝z ⎠
aşa încât
⎛1⎞
Γ xx ( z ) = σ w2 H ( z ) H ∗ ⎜ ∗ ⎟ (1.352)
⎝z ⎠
Un proces care îndeplineşte condiţiile anterioare şi admite o
asemenea factorizare spectrală se numeşte proces regulat.
Prin evaluarea relaţiei (1.349) pe cercul unitate se obţine o
reprezentare echivalentă a densităţii spectrale de putere sub forma
Γ xx ( f ) = σ w2 H ( f )
2
(1.353)
Se observă că
log Γ xx ( f ) = log σ w2 + log H ( f ) + log H * ( f ) =
∞ (1.354)
= ∑ v [ m] e
m =−∞
− j 2π fm
88
Filtrul cu funcţia de sistem H ( z ) dată de relaţia (1.350) este
analitic în regiunea z > r1 < 1 , astfel încât descompunerea sa în
serie Taylor caracterizează un sistem cauzal
∞
H ( z ) = ∑ h [ n] z − n (1.356)
n=0
Figura 1.16. Filtre pentru generarea: a) unui proces aleator din zgomot alb,
b) unui zgomot alb dintr-un proces aleator
unde
p
A( z ) = 1 + ∑ ak z − k (1.358)
k =1
şi
q
B ( z ) = 1 + ∑ bk z − k (1.359)
k =1
Γ xx ( z ) = σ 2
B( z ) B∗( );
1
z∗
r1 < z < r2 , r1 < 1, r2 > 1 (1.360)
A( z ) A ( )
w ∗ 1
z∗
90
unde polinoamele B ( z ) şi A ( z ) au rădăcini în interiorul cercului
unitate din planul Z. Funcţia de sistem H ( z ) a filtrului care
generează procesul aleator x[n] , dacă este excitat cu zgomot alb,
este de forma
q
B(z) ∑b z k
−k
H ( z) = = k =0
; z > r1 , r1 < 1 (1.361)
A( z ) p
1 + ∑ ak z −k
k =1
91
zgomot alb din x [ n ] este de asemenea cu poli şi zerouri şi are
1 A( z )
funcţia de sistem H w ( z ) = = .
H ( z ) B( z )
b) Proces autoregresiv (AR), notat
AR ( p ) = ARMA(0, p ) , pentru care b0 = 1, bk = 0, k > 0 , caz în care
1
H ( z) = caracterizează un filtru numai cu poli. Ecuaţia cu
A( z )
diferenţe corespunzătoare este
p
x [ n ] + ∑ ak x [ n − k ] = w [ n ] (1.363)
k =1
1
Filtrul de albire caracterizat de funcţia de sistem H w ( z ) = ,
H ( z)
care generează un proces de zgomot alb, când este excitat cu x[n] ,
este, evident, un filtru numai cu zerouri.
c) Proces cu medie mobilă (alunecătoare) (MA), notat
MA(q ) = ARMA(q,0) , ak = 0, k ≥ 1 , caz în care H ( z ) = B ( z ) este
un filtru numai cu zerouri caracterizat de ecuaţia cu diferenţe
q
x [ n ] = ∑ bk w [ n − k ] (1.364)
k =0
k =0
adică
p q
γ xx [ m ] = −∑ ak γ xx [ m − k ] + ∑ bk γ xw [ m − k ] (1.366)
k =1 k =0
93
∞
∑ h [ k ] E {w [ n − k ] w[ n + m]} =
k =0
*
i i
∞ ∞
(1.367)
∑ h [ k ]γ
k =0
ww [k + m] =∑ h [ k ]σ δ [k + m] =σ h [ − m ]
k =0
2
w
2
w
⎧⎪0, m > 0
γ wx [ m] = ⎨ 2 (1.367’)
⎪⎩σ w h [ −m ] , m ≤ 0
Ţinând seama de (1.367’), al doilea termen al sumei (1.366)
se prelucrează după cum urmează:
q q k −m= p q−m
∑ bkγ xw [ m − k ] = σ w2 ∑ bk h [ k − m] = σ w2
k =0 k =0
∑b
p =− m
p+m h [ p] =
(1.368)
q−m
=σ 2
w ∑b k +m h[k ]
k =0
94
q −m
Aceste relaţii sunt neliniare din cauza termenului σ w2 ∑ h [ k ] bk + m , în
k =0
95
⎧ 2 q
⎪σ w ∑ bk bk + m ,0 ≤ m ≤ q
⎪⎪ k =0
γ xx [ m ] = ⎨0, m > q (1.371)
⎪γ * − m , m < 0
⎪ xx [ ]
⎪⎩
În principiu, relaţiile (1.369) permit determinarea
parametrilor modelului, dacă se cunosc valorile funcţiei de
autocorelaţie. Cum, însă, în foarte multe cazuri, funcţia de
autocorelaţie nu este cunoscută, valorile acesteia pot fi estimate pe
baza unui număr de eşantioane (măsurări sau observaţii) ale unei
realizări particulare a procesului aleator. Invers, când se cunosc
parametrii modelului, funcţia de autocorelaţie se poate determina
recursiv. Alegerea modelului adecvat procesului este un demers
esenţial, în care numărul de parametri este cel minim necesar
reprezentării fidele a procesului.
Dacă procesul se caracterizează printr-o densitate spectrală
de putere cu maxime ascuţite, este indicată alegerea unui model AR,
cu poli situaţi în apropierea cercului unitate, care să producă acele
maxime. Dacă, însă, densitatea spectrală de putere se caracterizează
prin minime pronunţate, eventual anulări, este indicată alegerea unui
mode MA, cu zerouri plasate în apropierea sau pe cercul unitate la
frecvenţe corespunzătoare acelor minime. Când intervin ambele
tipuri de comportări ale densităţii spectrale de putere, se va alege un
model ARMA.
∫ w ( x ; t )dx
−∞
1 1 1 1 =1
În acest caz:
a
a
Cdx C x ω
∫− a ω a 2 − x 2 = 1 ⇔ ω arcsin a − a = 1 ⇒ C = π
97
Deci:
1
w1 ( x) = , pentru |x| < a
π a2 − x2
x x x
dx x 1 1 1 x
F1 ( x) = ∫ w1 ( x)dx = ∫ = arcsin = + arcsin
−∞ −a π a − x
2 2 π a −a 2 π a
a a
− −
2 2 −a
⎧ a⎫
P ⎨− a < x ≤ − ⎬ = ∫ w1 ( x)dx = ∫ w1 ( x)dx − ∫ w1 ( x)dx =
⎩ 2 ⎭ −a −∞ −∞
⎛ a⎞ 1 1 ⎛ 1⎞ 1
= F1 ⎜ − ⎟ − F1 (∞) − F1 (− a) + F1 (∞ ) = + arcsin ⎜ − ⎟ − −
⎝ 2⎠ 2 π ⎝ 2⎠ 2
1 1⎛ π ⎞ 1⎛ π ⎞ 1 1 1
− arcsin(−1) = ⎜ − ⎟ − ⎜ − ⎟ = − =
π π⎝ 6⎠ π⎝ 2⎠ 2 6 3
Soluţie
Conform relaţiei (1.67), legea de repartiţie a zgomotului,
reprezentat prin tensiunea fluctuantă, este de forma:
u2 1 u2
− 2
1 2U 1 −
w1 (u ) = e ef =
2
e 2 16
2π U ef 16 2π
Conform relaţiei (1.77), rezultă:
98
∞ ∞ 20
P {u ≥ U p } = P {u ≥ 20} = ∫ w1 (u )du = ∫ w1 (u )du − ∫ w (u )du =
1
20 −∞ −∞
20 1 u2
1 −
= F (∞ ) −
16 2π ∫e
−∞
2 162
du
∫ w ( x )e
jω x
ψ (ω ) = 1 dx
−∞
Să se demonstreze că
1 ⎡ dψ (ω ) ⎤
f (t1 ) = m1 { f (t1 )} =
j ⎢⎣ d ω ⎥⎦ω =0
1 ⎡ d 2ψ (ω ) ⎤
f 2 (t1 ) = m1 {f 2 (t1 )} =
j 2 ⎢⎣ dω 2 ⎥⎦ ω =0
etc., unde j = − 1 .
Să se calculeze apoi, pe această cale, valoarea medie în cazul
legii de repartiţie uniforme, definite prin relaţia:
99
⎧ 1
⎪b − a , pentru a ≤ x ≤ b
w1 ( x) = ⎨
⎪ 0 , pentru x > b si x < a
⎩
Soluţie
dψ (ω ) ⎡∞ ⎤ ∞
= ⎢ ∫ jxw1 ( x)e dx ⎥ = j ∫ xw1 ( x)dx = j f (t1 ) ⇒
jω x
dω ω =0 ⎣ −∞ ⎦ω =0 −∞
1 ⎡ dψ (ω ) ⎤
f (t1 ) =
j ⎢⎣ dω ⎥⎦ω =0
d 2ψ (ω ) ⎡∞ ⎤
= ⎢ ∫ j 2 x 2 w1 ( x)e jω x dx ⎥ =
dω 2 ω =0 ⎣ −∞ ⎦ ω =0
∞
1 ⎡ d 2ψ (ω ) ⎤
= j 2 ∫ x 2 w1 ( x)dx = j 2 f 2 (t1 ) ⇒ f 2 (t1 ) =
−∞
j 2 ⎢⎣ dω 2 ⎥⎦ω =0
În cazul legii de repartiţie uniforme, funcţia caracteristică este
de forma:
∞ b
1 1
∫ w ( x )e ∫
jω x
ψ (ω ) = dx = e jω x dx = (e jωb − e jω a )
jω (b − a )
1
−∞
b−a a
dψ (ω ) 1 ( jbe jωb − jae jω a ) jω − j (e jωb − e jω a ) b+a
= =j
dω ω =0 b−a j 2ω 2 ω =0 2
Rezultă atunci:
1 dψ (ω ) b+a
f (t1 ) = =
j dω ω =0 2
100
2
S xx ( jω ) =
1 + 4ω 2
Dacă semnalul x este repartizat după o lege normală, să se
determine această lege.
Soluţie
1
1 − 2 ( x − x )2
w1 ( x) = e 2σ
2πσ
unde x şi σ 2 reprezintă valoarea medie şi dispersia.
Conform relaţiilor (1.107) şi (1.116), rezultă:
x = Bxx ( ∞ ) şi σ 2 = Bxx (0) − Bxx (∞)
Pentru a calcula funcţia de autocorelaţie Bxx (τ ) , se foloseşte
teorema Wiener - Khintcine:
∞
1
Bxx (τ ) =
2π −∞
∫S xx ( jω )e jωτ d ω
jω = s , ⇒ d ω = 1 ( j ) ds şi atunci :
2 1
S xx ( s ) = =
⎛1 ⎞ ⎛1 ⎞⎛ 1 ⎞
4 ⎜ − s2 ⎟ 2 ⎜ − s ⎟⎜ + s ⎟
⎝4 ⎠ ⎝2 ⎠⎝ 2 ⎠
Funcţia de autocorelaţie se poate calcula folosind teorema
reziduurilor.
j∞
1 e sτ ds
2π j −∫j∞ ⎛ 1
Bxx (τ ) = =
⎞⎛ 1 ⎞
2 ⎜ − s ⎟⎜ + s ⎟
⎝2 ⎠⎝ 2 ⎠
101
⎧
⎪ e sτ 1 −τ2
⎪ = e , pentru τ > 0
⎪ 2⎛ 1 − s ⎞ 2
⎪ ⎜⎝ 2 ⎟ 1
⎠ s =−
⎪ 2
=⎨
⎪
⎪ e sτ 1 τ2
⎪ = e , pentru τ < 0
⎛ 1
⎪ 2⎜ + s ⎟ ⎞ 2
⎪ ⎝2 ⎠ s= 1
⎩ 2
Fig. p1.4
Deci:
1 − 12 τ
Bxx (τ ) = e
2
şi atunci
x = Bxx ( ∞ ) = 0 , iar σ 2 = Bxx (0) − Bxx (∞)
Legea de repartiţie a semnalului va fi de forma:
1 − x2
w1 ( x) = e
π
102
5. Să se deducă funcţia de autocorelaţie de la ieşirea unui filtru
trece jos ideal, caracterizat prin funcţia de transfer
H ( jω ) = A (ω ) e jφ (ω ) , unde:
⎧⎪ A, pentru ω ≤ ω1
A(ω ) = ⎨
⎪⎩ 0, pentru ω ≥ ω1
dacă la intrarea acestuia se aplică zgomot alb cu densitatea spectrală
de putere S0.
Soluţie
Conform relaţiei (1.205), rezultă:
⎧ 2
2
⎪⎪ A S0 , pentru ω ≤ ω1
S gg ( jω ) = H ( jω ) S0 = ⎨
⎪ 0, pentru ω > ω1
⎪⎩
Conform teoremei Wiener - Khintcine:
∞ ω
1 A2 S0 1 jωτ A2 S 0
∫S 2π −∫ω1
jωτ
Bgg (τ ) = ( jω )e dω = e dω = sin ω1τ
2π πτ
gg
−∞
Fig. p6.1
Fig. p6.2
j∞
1 S0 e sτ ds
=
2π j ( RC ) 2 ∫− j∞ 1 1
=
( + s )( − s)
RC RC
104
⎧ S0
⎪ 2
e sτ τ
⎪ ( RC ) S −
= 0 e RC , pentru τ > 0
⎪⎛ 1 − s ⎞ 2 RC
⎪ ⎜⎝ RC ⎟
⎠ s =− 1
⎪ RC
=⎨
⎪ S0 e sτ
⎪ ( RC ) 2 S0 RC τ
⎪ = e , pentru τ > 0
⎪ ⎜⎛ 1 + s ⎟⎞ 2 RC
⎪ ⎝ RC ⎠ s= 1
⎩ RC
105
Soluţie
Fie X (t1 ) = {x ( k ) (t1 )} şi Y (t1 ) = { y ( k ) (t1 )} două variabile
aleatoare ale proceselor aleatoare X (t ) şi Y (t ) . Cele două procese
aleatoare sunt legate prin relaţia
Y (t ) = Lt [ X (t )] (p7.1)
Multiplicând la stânga relaţia (p7.1) cu X (t1 ) şi mediind apoi ambii
membri pentru t = t2 , rezultă
E{ X (t1 )Y (t2 )} = E{ X (t1 ) Lt2 [ X (t2 )]} = Lt2 [ E{ X (t1 ) X (t2 )]
Dar E{ X (t1 )Y (t2 )} = BXY (t1 , t2 )
reprezintă funcţia de corelaţie şi
E{ X (t1 ) X (t2 )} = BXX (t1 , t2 )
reprezintă funcţia de autocorelaţie.
Deci, se poate scrie
BXY (t1 , t2 ) = Lt2 [ BXX (t1 , t2 )] (p7.2)
Multiplicând la dreapta relaţia (p7.1) cu X (t2 ) şi mediind
apoi ambii membri pentru t = t1 , rezultă
E{Y (t1 ) X (t2 )} = E{Lt1 [ X (t1 )] X (t2 )} = Lt1 [ E{ X (t1 ) X (t2 )}]
sau
BYX (t1 , t2 ) = Lt1 [ BXX (t1 , t2 )] (p7.3)
Multiplicând la dreapta relaţia (p7.1) cu Y (t2 ) şi mediind
apoi ambii membri pentru t = t1 , rezultă
E{Y (t1 )Y (t2 )} = E{Lt1 [ X (t1 )]Y (t2 )} = Lt1 [ E{ X (t1 )Y (t2 )}]
sau
BYY (t1 , t2 ) = Lt1 [ BXY (t1 , t2 )] (p7.4)
106
În cazul particular când operatorul Lt este de derivare şi procesul
aleator X (t ) este staţionar în sens larg, relaţiile (p7.2), (p7.3), (p7.4)
devin
∂BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.2’)
∂t2
∂BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.3’)
∂t1
∂ 2 BXX (t1 − t2 )
BXX (t1 − t2 ) = (p7.4’)
∂t1∂t2
Dacă se face notaţia t1 − t2 = τ , se poate scrie echivalent:
∂BXX (τ )
BXX (τ ) = − (p7.2’’)
∂τ
∂B (τ )
BXX (τ ) = XX (p7.3’’)
∂τ
∂ 2 BXX (τ )
BXX (τ ) = − (p7.4’’)
∂τ 2
∑ (γ
m =−∞
R
xx [m] + jγ xxI [m])(cos ω m − j sin ω m) =
∞
∑ (γ
m =−∞
R
xx [m]cos ω m + γ xxI [m]sin ω m) +
∞
(p8.1)
j ∑ (γ
m =−∞
I
xx [m]cos ω m − γ [m]sin ω m) = Γ (ω ) + jΓ (ω )
R
xx
R
xx
I
xx
∑ (γ
m =−∞
R
xx [− m]cos ω m − γ xxI [− m]sin ω m) −
∞
j ∑ (γ
m =−∞
I
xx [− m]cos ω m + γ xxR [− m]sin ω m) =
∞
∑ (γ
m =−∞
R
xx [m]cos ω m + γ xxI [m]sin ω m) −
∞
j ∑ (γ
m =−∞
I
xx [m]cos ω m − γ xxR [−m]sin ω m) =Γ Rxx (ω ) − jΓ Ixx (ω ) (p8.2)
108
∞ ∞
Γ xx (ω ) = ∑ γ xx [m]e− jωm =
m =−∞
∑γ
m =−∞
xx [m]cos ω m
1
b) H w ( z ) = = 1 − z −1 + 12 z −2
H ( z)
109
a) Să se determine filtrul funcţia de sistem H ( z ) a filtrului
cu ajutorul căruia se generează x[n] , dacă la intrare se aplică
zgomot alb. Este H ( z ) unic? Explicaţi. Determinaţi filtrul H ( z )
cauzal şi stabil.
b) Să se determine filtrul de albire liniar, cauzal şi stabil
pentru secvenţa x[n] .
Soluţie
a) Densitatea spectrală a semnalului de la ieşire x[n] , se
exprimă, în funcţie de densitatea spectrală a semnalului de intrare
w[n] şi funcţia de sistem a filtrului, H ( z ) , în forma:
Γ xx ( z ) = Γ ww ( z ) H ( z ) H ( z −1 )
Prin rearanjarea expresiei densităţii de putere a semnalului de
ieşire x[n] , se obţine
27 (1 − 13 z −1 )(1 − 13 z )
Γ xx ( z ) = , 1
<| z |< 2
2 (1 − 12 z −1 )(1 − 12 z ) 2
110
b) Pentru ca filtrul de albire să fie stabil, se impune ca filtrul
H ( z ) să fie de fază minimă, adică zerourile sale să fie în interiorul
cercului unitate, condiţie îndeplinită de filtrul H1 ( z ) .
1 1 − 12 z −1
H w ( z) = = 1 −1
, | z |> 13 .
H1 ( z ) 1 − 3 z
111
Cum cercul unitate este inclus în regiunea de convergenţă a
lui Γ xx ( z ) , densitatea spectrală de putere Γ xx (ω ) se obţine prin
evaluarea lui Γ xx ( z ) pe cercul unitate. z = e jω , z + z −1 = 2cos ω .
1,81 + 1,8cos ω
Γ xx (ω ) = σ w2
(1,81 − 1,8cos ω )(1, 49 − 1, 4cos ω )
σ w2 ⎛ z z ⎞
Γ xx ( z ) = 2 ⎜
− ⎟,
1 − a1 ⎜⎝ z + a1 z − a11 ⎟
⎠
σ w2 ⎛ ⎞
m
⎛1⎞
γ xx [m] = ⎜ a u[ m
m ] + ⎜ ⎟ u[ − m − 1] ⎟
1 − a12 ⎜ ⎟
1
⎝ a1 ⎠
⎝ ⎠
σ w2
γ xx [0] =
1 − a12
112
13. Un proces MA(2) are următoarea secvenţă de
autocorelaţie:
⎧6σ w2 , m = 0
⎪
⎪−4σ , m = ±1
2
γ xx [m] = ⎨ 2 w
⎪σ w , m = ±2
⎪0, în rest
⎩
a) Să se determine coeficienţii procesului MA(2).
b) Este soluţia unică? Dacă nu, găsiţi toate soluţiile posibile.
Soluţie
a) Un proces MA(2) este caracterizat de următoarea ecuaţie
cu diferenţe:
x[n] = b0 w[n] + b1w[ n − 1] + b2 w[n − 2] ,
unde w[n] este zgomot alb, cu dispersia σ w2 .
Prin definiţie,
γ xx [m] = E{x[ni ]x[ni + m]} =
E{(b0 w[ni ] + b1w[ni − 1] + b2 w[ ni − 2]) ⋅
(b0 w[ni + m] + b1w[ni − 1 + m] + b2 w[ni − 2 + m])}
Ţinând cont că
⎧σ w2 , pentru mi = ni
E{w[mi ]w[ni ]} = ⎨ ,
⎩0, în rest
rezultă
γ xx [0] = (b02 + b12 + b22 )σ w2
γ xx [1] = (b0b1 + b1b2 )σ w2
γ xx [2] = b0b2σ w2
Prin identificare cu funcţia de autocorelaţie dată în problemă,
se poate scrie
113
⎧b02 + b12 + b22 = 6
⎪
⎨b0b1 + b1b2 = −4
⎪b b = 1
⎩ 0 2
de unde rezultă următoarele soluţii:
b0 = 1, b1 = −2, b2 = 1 , respectiv,
b0 = −1, b1 = 2, b2 = −1 .
b) Soluţia nu este unică, există două procese MA(2)
caracterizate de aceeaşi funcţie de autocoralaţie, acestea fiind:
x[n] = w[n] − 2 w[n − 1] + w[n − 2]
x[n] = − w[n] + 2w[n − 1] − w[ n − 2]
⎧ ∞ ⎫ ∞
E{x[ni ]} = E ⎨ ∑ h[k ]w[ni − k ]⎬ = ∑ h[k ]E{w[ni − k ]} = 0
⎩ k =−∞ ⎭ k =−∞
Funcţia de autocorelaţie a ieşirii este transformata Fourier
inversă a densităţii spectrale de putere de la ieşire. În domeniul Z,
aceasta se scrie:
114
γ xx [ m] = Z −1{Γ xx ( z )}
unde
1 − z −1
Γ xx ( z ) = Γ ww ( z ) | H ( z ) | = σ H ( z ) H ( z ) şi H ( z ) =
2 2 −1
.
w
1 −1
1− z
2
⎛ ⎞
1− z −1
1− z ⎜ − z
2 2
z ⎟ 1
Γ xx ( z ) = σ w2 ⋅ = σ w2 ⎜ 2 + 3 + 3 ⎟ , RC : <| z |< 2
1 1 1 z−2 2
1 − z −1 1 − z ⎜ z− ⎟
2 2 ⎝ 2 ⎠
⎛ 2⎛1⎞
m
2⎛1⎞
−m
⎞
γ xx [m] = σ ⎜ 2δ [n] − ⎜ ⎟ u[m] − ⎜ ⎟ u[−m − 1] ⎟ =
2
⎜ w
3⎝ 2⎠ 3⎝ 2⎠ ⎟
⎝ ⎠
⎛ 2⎛1⎞ ⎞
|m|
= σ ⎜ 2δ [n] − ⎜ ⎟ ⎟
2
⎜ w
3 ⎝ 2 ⎠ ⎟⎠
⎝
Γ xx ( z ) = Z ⎨⎜ ⎟ ⎬ = ∑ ⎜ ⎟ z + ∑ ⎜ ⎟ z =
⎩⎪⎝ 4 ⎠ ⎭⎪ k =−∞ ⎝ 4 ⎠ k =0 ⎝ 4 ⎠
∞ k
∞ k
⎛1 ⎞ ⎛1 ⎞
= ∑ ⎜ z ⎟ + ∑ ⎜ z −1 ⎟ − 1
k =0 ⎝ 4 ⎠ k =0 ⎝ 4 ⎠
z
Prima progresie este convergentă, dacă < 1 , adică | z |< 4 , iar a
4
z −1 1
doua, dacă < 1 , adică z > . Domeniul comun de convergenţă
4 4
1
rezultă <| z |< 4 . În acest caz
4
1
z z 15
Γ xx ( z ) = 4 1 + = 16
.
1 − 4 z z − 14 (1 − 14 z ) (1 − 14 z −1 )
Impunând condiţia ca sistemul să fie stabil şi cauzal, rezultă
± 15
16σ w2
H ( z) = ,
(1 − 14 z −1 )
de unde rezultă ecuaţia cu diferenţe corespunzătoare:
1
x[n] = x[n − 1] ± 1615σ 2 w[n]
4 w
116
CAPITOLUL 2
117
general, va fi, de asemenea, descris de un proces aleator, staţionar în
sens larg. Mai mult, zgomotul de pe canalul de transmisiuni se va
considera aditiv, adică semnalul recepţionat, r(t), va fi de forma:
r (t ) = m(t ) + n(t ) (2.1)
Cunoscându-se statistica zgomotului de pe canal, receptorul R
va trebui proiectat astfel încât, la aplicarea semnalului recepţionat la
intrarea acestuia, să rezulte la ieşire un estimat, d̂ (t ) .
În cazul cel mai general, semnalul dorit a fi estimat este de
forma:
d (t ) = F [m(t )] (2.2)
unde F este o transformată cunoscută a mesajului furnizat de sursă.
În aplicaţiile practice, transformata F este liniară şi de obicei
foarte simplă, întâlnindu-se curent următoarele situaţii:
1) Filtrarea mesajului din semnalul recepţionat, caz în care:
d (t ) = m(t ) (2.3)
2) Filtrarea cu întârziere a mesajului din semnalul recepţionat,
operaţie întâlnită şi sub denumirile de interpolare sau netezire, caz în
care:
d (t ) = m(t + α ),α < 0 (2.4)
3) Filtrarea cu anticipare a mesajului din semnalul
recepţionat, operaţie întâlnită şi sub denumirile de extrapolare sau
predicţie, caz în care:
d (t ) = m(t + α ), α > 0 (2.5)
Între semnalul dorit a fi estimat, d (t ), şi estimatul furnizat la
ieşirea receptorului, d̂ (t ) , există totdeauna o diferenţă, numită eroare
de estimare, notată ε (t ) , dată de relaţia:
ε (t ) = d (t ) − dˆ (t ) (2.6)
118
Aprecierea estimării ca optimală se face în raport cu un criteriu
care, în general, minimizează o funcţie a erorii de estimare.
Unul dintre cele mai utilizate criterii este criteriul erorii
pătratice medii minime, conform căruia se minimizează eroarea
pătratică medie:
2
ε 2 ( t1 ) = ⎡⎣ d ( t1 ) − dˆ ( t1 ) ⎤⎦ (2.7)
119
înlocuind (2.10) în (2.7), pentru t = t1 , adică:
⎧⎪ ⎡ ∞
⎤ ⎫⎪
2
ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 (τ ) r ( t1 − τ ) dτ ⎥ ⎬
2
0 (2.11)
⎪⎩ ⎣ 0 ⎦ ⎪⎭
În scopul determinării funcţiei pondere h0 (t ) a filtrului optimal
care asigură eroarea pătratică medie minimă, se consideră un filtru
liniar invariant cu funcţia pondere:
h(t ) = ho (t ) + λl (t ) (2.12)
unde λ este un parametru real.
Pentru asigurarea cauzalităţii, va trebui ca pe lângă condiţia
dată de relaţia (2.9) să se impună suplimentar condiţia:
l ( t ) = 0, pentru t < 0 (2.13)
Termenul λl (t ) din relaţia (2.12) reprezintă abaterea funcţiei
h(t ) de la funcţia pondere h0 (t ) a filtrului optimal care asigură
eroarea pătratică medie minimă.
Notând cu ε 2 ( t1 ) eroarea pătratică medie cauzată de filtrul
caracterizat de funcţia pondere h(t ) aceasta poate fi calculată cu
relaţia:
⎧⎪ ⎡ ∞
⎤ ⎫⎪
2
ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h (τ ) r ( t1 − τ ) dτ ⎥ ⎬
2
(2.14)
⎪⎩ ⎣ 0 ⎦ ⎪⎭
sau, ţinând cont de (2.12), rezultă echivalent, relaţia:
⎧⎪ ⎡ ∞ ∞
⎤
2
⎫⎪
ε 2 ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 (τ ) r ( t1 − τ ) dτ − λ ∫ l ( u ) r ( t1 − u ) du ⎥ ⎬ =
⎩⎪ ⎣ 0 0 ⎦ ⎭⎪
= aλ 2 + bλ + c
(2.15)
unde coeficienţii a , b şi c sunt independenţi de parametrul λ .
120
Din relaţia (2.12) rezultă că pentru λ = 0 se obţine funcţia
pondere a filtrului optimal, indiferent de l (t ).
Condiţia necesară de extrem a erorii pătratice medii, ca funcţie
de λ , se obţine egalând cu zero derivata acesteia în raport cu λ .
Extremul respectiv este un minim, deoarece
∂ 2ε 2 ( t1 ) ⎧⎪ ⎡ ∞ ⎤ ⎫⎪
2
= 2a = 2m1 ⎨ ⎢ ∫ l ( u ) r ( t1 − u ) du ⎥ ⎬ > 0 .
∂λ 2
⎩⎪ ⎣ 0 ⎦ ⎭⎪
Reunind cele două condiţii, rezultă că eroarea pătratică medie
devine minimă, atunci când este îndeplinită condiţia:
∂ε 2 ( t1 )
=0⇔b=0 (2.16)
∂λ λ = 0
Identificând coeficientul lui λ din relaţia (2.15) şi egalându-l
cu zero, rezultă:
∞
⎡ ∞
⎤
∫0 ⎣
l ( u ) ⎢ d ( t1 ) r ( t1 − u ) − ∫0 h0 (τ ) r ( t1 − τ ) r ( t1 − u ) dτ ⎥du = 0 (2.17)
⎦
Ţinând cont de (2.13), rezultă că relaţia (2.17) este adevărată
atunci când:
∞
d ( t1 ) r ( t1 − u )− ∫ h0 (τ ) r ( t1 − τ ) r ( t1 − u )dτ = 0, u ≥ 0 (2.18)
0
Dar:
d ( t1 ) r ( t1 − u ) = Βdr ( t1 − u − t1 ) = Βdr ( −u ) = Βrd ( u ) (2.19)
reprezintă funcţia de corelaţie între semnalul recepţionat, r (t ) , şi
semnalul dorit a fi estimat, d (t ) , iar:
r ( t1 − τ ) r ( t1 − u ) = Β rr ⎡⎣( t1 − u ) − ( t1 − τ ) ⎤⎦ = Β rr (τ − u ) =
(2.20)
= Β rr ( u − τ )
reprezintă funcţia de autocorelaţie a semnalului recepţionat.
121
Cu (2.19) şi (2.20), relaţia (2.18) devine:
∞
∫ h (τ ) Β ( u − τ ) dτ = Β ( u ) , u ≥ 0
0
0 rr rd (2.21)
∫ h (τ )r ( t
0
0 1 − τ ) dτ = d ( t1 ) (2.22)
122
⎧∞ ⎫ ⎫
m1 ⎨ ∫ h0 (τ ) r ( 0 ) r ( t1 − τ ) dτ ⎬ = m 1 {r ( 0 ) d ( t1 )} ⇔ ⎪
⎩0 ⎭ ⎪
⎬ (2.24)
∞
⎪
∫0 h0 (τ ) r ( 0 ) r ( t1 − τ )dτ = r ( 0 ) d ( t1 ) ⎪
⎭
Dar:
r ( 0 ) r ( t1 − τ ) = Β rr ( t1 − τ − 0 ) = Β rr ( t1 − τ ) ⎫⎪
⎬ (2.25)
r ( 0 ) d ( t1 ) = Β rd ( t1 − 0 ) = Β rd ( t1 ) ⎪⎭
Rezultă astfel ecuaţia integrală:
∞
∫ h (τ ) Β ( t
0
0 rr 1 − τ ) dτ = Β rd ( t1 ) (2.26)
Observaţia 2
Faptul că mesajul m(t ) s-a presupus un proces aleator, poate fi
justificat presupunând că se fac două observări asupra unui semnal
determinist s (t ) .
Se presupune că, la prima observare, peste semnalul
determinist se suprapune zgomotul n1 (t ) , modelat matematic de un
proces aleator staţionar în sens larg. La o a doua observare se
presupune că peste semnalul determinist se suprapune zgomotul
n2 (t ) , modelat, de asemenea, matematic de un proces aleator staţionar
în sens larg. Pentru estimarea semnalului determinist s (t ) , utilizând o
filtrare optimală Wiener Hopf, se foloseşte schema bloc din figura 2.2.
Fig. 2.2. Schema bloc pentru estimarea unui semnal determinist s(t)
123
În acest caz, semnalul recepţionat este de forma:
r (t ) = n1 (t ) − n2 (t ) , (2.27)
fiind într-adevăr un proces aleator, staţionar în sens larg, dacă
zgomotele n1 (t ) şi n2 (t ) se modelează prin procese aleatoare
staţionare în sens larg.
Filtrul optimal, caracterizat de funcţia pondere ho (t ) , va
furniza la ieşire procesul aleator n1 (t ) , cu eroarea pătratică medie
minimă, dacă funcţia pondere satisface ecuaţia integrală Wiener –
Hopf (2.21), unde:
Β rr ( u ) = r ( t1 ) r ( t1 + u ) = ⎡⎣ n1 ( t1 ) − n2 ( t1 ) ⎤⎦ ⎡⎣ n1 ( t1 + u ) − n2 ( t1 + u ) ⎤⎦ =
= Β n2n2 ( u ) + Β n1n1 ( u )
(2.28)
În relaţia (2.28) s-a ţinut cont că zgomotele n1 (t ) şi n2 (t ) sunt
procese aleatoare statistic independente, cu valoare medie nulă, adică
n1 ( t1 ) n2 ( t1 + u ) = n1 ( t1 ) ⋅ n2 ( t1 + u ) = 0 ⎪⎫
⎬ (2.29)
n2 ( t1 ) n1 ( t1 + u ) = n2 ( t1 ) ⋅ n1 ( t1 + u ) = 0 ⎪⎭
Β rd (u ) = Β rn1 ( u ) = r ( t1 ) n1 ( t1 + u ) = ⎡⎣ n1 ( t1 ) − n2 ( t1 )⎤⎦ n1 ( t1 + u )
(2.30)
= Β n1n1 ( u )
În felul acesta, ecuaţia integrală Wiener-Hopf pentru
determinarea funcţiei pondere h0 (t ) a filtrului optimal va fi în acest
caz, de forma:
∞
124
2.3. Soluţia ecuaţiei integrale Wiener - Hopf în cazul
filtrelor optimale necauzale
∫ h (τ )Β ( u − τ ) dτ = Β ( u ) , −∞ < u < ∞
−∞
0n rr rd (2.32)
125
în variabilă complexă s conţine axa imaginară jω şi, deci, peste tot
este posibilă înlocuirea lui s cu jω . Funcţia de transfer H 0 n (s ) astfel
obţinută va avea, probabil, poli şi în semiplanul drept, caracterizând
astfel un filtru optimal nerealizabil.
Dacă semnalul recepţionat r (t ) este dat de relaţia (2.1), atunci,
conform teoremei Wiener - Khintcine, se poate scrie:
{
S rr ( jω ) = F {Β rr (τ )} = F r ( t1 ) r ( t1 + τ ) = }
{ }
F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ ⎡⎣ m ( t1 + τ ) + n ( t1 + τ ) ⎤⎦ =
(2.36)
{
= F m ( t1 ) m ( t1 + τ ) + n ( t1 ) n ( t1 + τ ) = }
= F {Β mm (τ )} + F {Β nn (τ )} = S mm ( jω ) + Snn ( jω ) ,
deoarece
n ( t1 ) m ( t1 + τ ) = n ( t1 ) ⋅ m ( t1 + τ ) = 0 ⎫⎪
⎬ (2.37)
m ( t1 ) n ( t1 + τ ) = m ( t1 ) ⋅n ( t1 + τ ) = 0 ⎪⎭
Relaţiile (2.37) se datorează independenţei statistice a
zgomotului de pe canal faţă de mesajul m(t ) purtător de informaţie şi
faptului că valoarea medie a zgomotului este nulă.
În mod analog, se poate scrie:
{
S rd ( jω ) = F {Β rd (τ )} = F r ( t1 ) d ( t1 + τ )} (2.38)
În cazul filtrării mesajului din semnalul recepţionat, adică
atunci când este îndeplinită relaţia (2.3), rezultă:
{
S rd ( jω ) = F r ( t1 ) m ( t1 + τ ) =}
{ }
= F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ m ( t1 + τ ) =
{ }
= F m ( t1 ) m ( t1 + τ ) = F {Βmm (τ )} = Smm ( jω ) (2.39)
126
Funcţia de transfer a filtrului optimal necauzal se obţine
înlocuind (2.36) şi (2.39) în relaţia (2.34), adică:
S mm ( jω )
H on ( jω ) = (2.40)
S mm ( jω ) + S nn ( jω )
În cazul filtrării cu întârziere sau cu anticipare a mesajului din
semnalul recepţionat, rezultă:
{
S rd ( jω ) = F r ( t1 ) m ( t1 + τ + α ) =}
= F {[m ( t1 ) + n ( t1 )]m ( t1 + τ + α )} = (2.41)
= F {Β mm (τ + α )} = e jωα S mm ( jω )
Înlocuind relaţiile (2.36) şi (2.41) în (2.34), funcţia de transfer
a filtrului optimal necauzal devine:
S mm ( jω )
H on ( jω ) = e jωα (2.42)
S mm ( jω ) + S nn ( jω )
În cazul filtrării cu întârziere, α < 0 , iar în cazul filtrării cu
anticipare, α > 0. Din relaţiile (2.40), şi (2.42) rezultă că modulul
funcţiei de transfer rămâne acelaşi, fie că se realizează filtrarea,
filtrarea cu întârziere sau filtrarea cu anticipare, adică :
S mm ( jω )
H on ( jω ) = (2.43)
S mm ( jω ) + Snn ( jω )
Dacă densitatea spectrală de putere a mesajului, S mm ( jω ) , şi
densitatea spectrală de putere a zgomotului, S nn ( jω ) , sunt în benzi
adiacente (fig. 2.3), atunci filtrul optimal se reduce la un filtru trece
bandă, plasat în regiunea spectrului semnalului.
În acest caz, în banda 0 ≤ ω ≤ ω1 , S mm ( jω ) ≠ 0 , S nn ( jω ) = 0
şi, deci:
H 0 n ( jω ) = 1 (2.44)
127
iar în banda ω1 < ω < ∞, S mm ( jω ) = 0 , S nn ( jω ) ≠ 0 şi, deci:
H 0 n ( jω ) = 0 (2.45)
129
r (t ) = a(t ) (2.49)
unde prin a(t ) s-a notat zgomotul alb cu densitatea spectrală de
putere S0.
În acest caz, funcţia de autocorelaţie a semnalului recepţionat
devine:
Β rr (u ) = Β aa (u ) = S 0δ (u ) (2.50)
Dacă se notează cu h0 a (τ ) funcţia pondere a filtrului optimal
şi cu Bad(u) funcţia de corelaţie dintre zgomotul alb şi semnalul dorit
a fi estimat, atunci ecuaţia integrală Wiener - Hopf (rel. 2.21)
devine:
∞
S 0 ∫ h0 a (τ )δ (u − τ )dτ = Β ad (u ), u ≥ 0 (2.51)
0
130
Fig. 2.6. Reprezentarea grafică a funcţiei de corelaţie Βad ( u )
132
semiplanul drept şi S rr+ (s ) partea lui S rr (s ) care conţine zerourile şi
polii din semiplanul stâng. Cu aceste notaţii, se poate scrie:
S rr ( s ) = S rr− ( s ) S rr+ ( s ) (2.57)
Dacă se înlocuieşte s cu jω , relaţia (2.57) devine:
S rr ( jω ) = S rr− ( jω ) S rr+ ( jω ) (2.58)
Aşa cum s-a arătat în Capitolul 1, densitatea spectrală de putere
este totdeauna o mărime reală. Pentru ca S rr ( jω ) din (2.58) să fie o
mărime reală, este necesar ca S rr− ( s ) şi S rr+ ( s ) să fie mărimi complex
conjugate, adică:
S rr− ( jω ) = S rr+ ( − jω ) (2.59)
Ţinând cont de (2.59), relaţia (2.58) devine:
S rr ( jω ) = S rr+ ( jω )
2
(2.60)
Pe de altă parte, din schema din figura 2.7 se poate scrie:
H 0 a ( jω ) = H a−1 ( jω )H 0 ( jω ) (2.61)
Ţinând cont de (2.56), din relaţia (2.61) se deduce că:
+
S ad ( jω )
H 0 ( jω ) = (2.62)
H a−1 ( jω )
Conform relaţiei (1.205) se poate scrie:
S rr ( jω ) = H a−1 ( jω ) S 0 = H a−1 ( jω ) ; S 0 = 1
2 2
(2.63)
Comparând relaţia (2.60) cu (2.63) şi având in vedere ca faza
funcţiei S rr ( jω ) este nulă, se poate scrie:
H a−1 ( jω ) = S rr+ ( jω ) (2.64)
Înlocuind (8,64) în relaţia (8,62), rezultă:
+
S ad ( jω )
H 0 ( jω ) = (2.65)
S rr+ ( jω )
133
Pentru a determina relaţia dintre funcţia de transfer a filtrului
de albire, H a ( jω ) şi funcţia de transfer a filtrului invers faţă de
operaţia de albire, H a−1 ( jω ) , astfel încât cele două operaţii sa fie
reversibile, se scrie răspunsul filtrului de albire la excitaţia a ( t ) ,
conform figurii 2.7, adică:
a ( t ) = r ( t ) ∗ ha ( t ) (2.66)
r ( t ) = a ( t ) ∗ ha−1 ( t ) (2.67)
unde " ∗ " reprezintă operaţia de convoluţie.
Înlocuind (2.66) în relaţia (2.67), rezultă:
r ( t ) = r ( t ) ∗ ha ( t ) ∗ ha−1 ( t ) (2.68)
Relaţia (2.68) este adevărată, numai dacă:
ha ( t ) ∗ ha−1 ( t ) = δ ( t ) (2.69)
unde δ (t ) este distribuţia Dirac.
Aplicând transformata Laplace ambilor membri ai relaţiei
(2.69), se poate scrie:
H a (s )H a−1 (s ) = 1 (2.70)
sau, pentru s = jω , rezultă:
1
H a ( jω ) =
H −1
a ( jω ) (2.71)
Înlocuind (2.64) în relaţia (2.71), rezultă:
1
H a ( jω ) = +
S rr ( jω ) (2.72)
În aplicaţiile practice nu se cunoaşte S ad ( jω ) şi deci nici
+
S ad ( jω ) ce intervine în funcţia de transfer a filtrului optimal (2.65).
Pentru a elimina acest inconvenient, se ţine cont că S ad ( jω ) şi Bad (τ )
sunt perechi Fourier, aserţiune care poate fi demonstrată similar ca în
134
cazul teoremei Wiener - Khintcine (paragraful 1.5).
Cu alte cuvinte, se poate scrie relaţia:
∞
S ad ( jω ) = ∫ Bad (τ )e − jωτ dτ
−∞
(2.73)
Dar funcţia de corelaţie între zgomotul alb a (t ) şi funcţia dorită a fi
estimată d (t ) se calculează cu relaţia:
Bad (τ ) = m1 {a ( t1 ) d ( t1 + τ )} (2.74)
presupunându-se evident că a (t ) şi d (t ) sunt procese aleatoare,
staţionare în sens larg.
Pe de altă parte, conform figurii 2.7, se poate scrie:
∞
a ( t ) = r ( t ) ∗ ha ( t ) = ∫ h ( u ) r ( t − u ) du
a (2.75)
−∞
Dar
m1 {r ( t1 − u ) d ( t1 + τ )} = Brd ⎡⎣( t1 + τ ) − ( t1 − τ ) ⎤⎦ = Brd (τ + u ) (2.77)
deoarece atât semnalul recepţionat, cât şi funcţia dorită a fi estimată,
sunt procese aleatoare staţionare în sens larg.
Ţinând cont de (2.76) şi (2.77), relaţia (2.73) devine:
∞ ∞
S ad ( jω ) = ∫ ∫ B (τ + u )h (u )e
− jωτ
dτdu
−∞ −∞
rd a
(2.78)
Efectuând schimbarea de variabilă:
τ + u = v ; dτ = dv (2.79)
rezultă:
135
∞ ∞
S ad ( jω ) = ∫ ∫ B (v )h (u )e
rd a
− jω ( v − u )
dvdu =
− ∞− ∞
∞ ∞ (2.80)
= ∫ ha (u )e jωu du ∫ Brd (u )e − jωv dv =H a (− jω )S rd ( jω )
−∞ −∞
137
K not 2
1+ = b ,b >1
a 2 S0 (2.92)
Cu notaţia (2.92), relaţia (2.91) devine:
ab + s ab − s
S rr ( s ) = S0 S0 = S rr+ ( s ) S rr− ( s )
a+s a−s (2.93)
Din (2.93) rezultă că partea din S rr ( s ) care conţine zerourile şi
polii în semiplanul stâng este:
ab + s
S rr+ ( s ) = S0 , a > 0, b > 1
a+s (2.94)
iar partea care conţine zerourile şi polii în semiplanul drept este:
ab − s
S rr− ( s ) = S0 , a > 0, b > 1
a−s (2.95)
Conform relaţiei (2.72), funcţia de transfer în variabila s a
filtrului de albire este de forma:
1 1 a+s
Ha (s) = + =
S rr ( s ) S0 ab + s (2.96)
O posibilă implementare cu elemente pasive de circuit a
acestui filtru de albire este dată în figura 2.8.
138
Prin identificarea relaţiilor (2.96) şi (2.97) rezultă:
1 R
a= ,b =1+ 1
C1 R 1 R2 (2.98)
1
Dacă > 1 , la ieşirea circuitului din figura 2.8 trebuie
S0
1
conectat un amplificator cu factorul de amplificare , iar dacă
S0
1
< 1 , un atenuator. Comparând relaţiile (2.65) şi (2.84), rezultă
S0
că:
S rd ( jω )
S ad ( jω ) =
S rr− ( jω ) (2.99)
Dar:
{
S rd ( jω ) = F { Brd (τ )} = F r ( t1 ) d ( t1 + τ ) = } (2.100)
{ } { }
= F ⎡⎣ m ( t1 ) + n ( t1 ) ⎤⎦ m ( t1 + α + τ ) = F m ( t1 ) m ( t1 + α + τ )
= F { Bmm (τ + α )} = e jωα S mm ( jω )
deoarece:
n ( t1 ) m ( t1 + α + τ ) = n ( t1 ) ⋅ m ( t1 + α + τ ) = 0 (2.101)
Funcţia dorită a fi estimată s-a presupus de forma:
d (t ) = m(t + α ) (2.102)
care cuprinde toate cele trei cazuri, adică pentru α = 0 rezultă filtrare,
pentru α < 0 , filtrare cu întârziere, iar pentru α > 0 , filtrare cu
anticipare.
Ţinând cont de (2.86), relaţia (2.100) devine:
139
Ke jωα
S ( jω ) = (2.103)
a2 + ω 2
rd
⎧ Ke −α a
⎪ e − aτ , pentru τ > −α (2.105)
⎪ a ( b + 1) S0
=⎨
⎪ Keα ab
e abτ , pentru τ < −α
⎪ a ( b + 1) S
⎩ 0
140
Fig. 2.10. Reprezentarea grafică a funcţiei de corelaţie Bad (τ ) în cazul filtrării
cu întârziere
K ⎛ α ab −α abτ − sτ ∞
⎞
∫0 τ ∫−α
−α a − aτ − sτ
= ⎜ e e e d + e e e dτ ⎟=
a ( b + 1) S0 ⎝ ⎠ (2.106)
αs α ab αs
K ⎛e −e e ⎞
= ⎜ + ⎟
a ( b + 1) S0 ⎝ ab − s a+s⎠
Înlocuind (2.94) şi (2.106) în relaţia (2.65), rezultă funcţia de
transfer a filtrului optimal, în cazul filtrării cu întârziere, de forma:
K ⎡ (a + s )(eαs − eαab ) eαs ⎤
H 0 (s ) = + ,α < 0
a(b + 1)S 0 ⎢⎣ (ab − s )(ab + s ) ab + s ⎥⎦ (2.107)
În cazul filtrării, funcţia de transfer a filtrului optimal se obţine
din relaţia (2.107) pentru α = 0 , adică:
K 1
H 0 (s ) =
a(b + 1)S 0 ab + s (2.108)
În cazul filtrării cu anticipare ( α > 0 ), reprezentarea grafică a
funcţiei Bad (τ ) , conform relaţiei (2.105), este dată în figura 2.11.
În acest caz:
141
∞
+
S ad ( s ) = L { Bad (τ )} = ∫ + Bad (τ )e− sτ dτ =
+
0
−α a ∞ (2.109)
Ke Ke −α a 1
∫
− aτ − sτ
= e e dτ =
a ( b + 1) S0 0 a ( b + 1) S0 a + s
Înlocuind (2.94) şi (2.109) în relaţia (2.65), rezultă funcţia de
transfer a filtrului optimal, în cazul filtrării cu anticipare:
Ke −αs 1
H 0 (s ) = ,α > 0
a(b + 1)S 0 ab + s (2.110)
Dacă în relaţia (2.110) se impune condiţia α = 0 , rezultă, cum
de altfel era de aşteptat, aceeaşi funcţie de transfer a filtrului optimal
în cazul filtrării, dată de (2.108).
ε ( t1 ) = m1 ⎨ ⎢ d ( t1 ) − ∫ h0 ( u ) r ( t1 − u ) du ⎥ ⎬ =
2
0
⎪⎩ ⎣ 0 ⎦ ⎪⎭
⎪⎧ 2 ⎞ ⎪⎫
2
∞
⎛∞
= m1 ⎨d ( t1 ) − 2 ∫ h 0 ( u ) d ( t1 ) r ( t1 − u ) du + ⎜ ∫ h0 ( u ) r ( t1 − u ) du ⎟ ⎬
⎪⎩ 0 ⎝0 ⎠ ⎪⎭
(2.113)
Înlocuind pătratul unei integrale cu produsul a două integrale
identice, dar cu variabile de integrare diferite şi ţinând cont că:
m {d 2 ( t )} = d ( t ) d ( t ) = B ( 0 )
1 1 1 1 dd
(2.114)
şi
∞
1
Brd (u ) = ∫ S ( jω )e dω
ω j u
2π (2.124)
rd
−∞
2π ⎣ −∞
0n
−∞ −∞ ⎦
144
Dar
∞
∫ h (u )e du = H (− jω )
ω j u
−∞
0n 0n
(2.126)
unde, conform relaţiei (2.33), H 0 n ( jω ) este funcţia de transfer a
filtrului optimal necauzal. Cu (2.126), relaţia (2.125) devine:
∞
1
ε ( t1 ) =
2
∫ ⎡⎣ S ( jω ) − S ( jω ) H ( − jω )⎤⎦ dω
0n
2π
dd rd 0n (2.127)
−∞
{
S dd ( jω ) = F m ( t1 + α ) m ( t1 + α + τ ) = S mm ( jω )} (2.128)
în timp ce:
{ }
S rd ( jω ) = F r ( t1 ) m ( t1 + α + τ ) = e jωα S mm ( jω ) (2.129)
145
S mm ( jω ) S nn ( jω )
ω2
1
ε ( t1 ) = 2
2
∫ ( jω ) + S ( jω )dω (2.133)
2π
0n
ω S
1 mm nn
147
răspunsul sistemului, cât şi noua stare a acestuia.
Ecuaţia diferenţială (2.135) se poate scrie echivalent, sub forma:
y ( n ) (t ) = [bn−1u ( n−1) (t ) − an−1 y ( n−1) ] + [bn− 2u ( n− 2) (t ) − an− 2 y ( n− 2) ] +
(2.136)
+ … + [b0u (t ) − a0 y (t )]
Integrând de n ori relaţia (2.136), se obţine:
t t t
y (t ) = ∫ [b
T0
u (t ) − an −1 y (t )] dt + ∫ dt ∫ [bn− 2u (t ) − an− 2 y (t )] +
n −1
T0 T0
t t (2.137)
+ … + ∫ dt … ∫ [b0u (t ) − a0 y (t )]
T0 T0
n
unde:
f ′(t ) = xi' (t ) (2.139)
148
Variabilele de stare xi (t ) astfel introduse includ si condiţiile
iniţiale fi (T0 ) . Cunoaşterea celor n variabile de stare determină starea
sistemului, descrisă de matricea:
⎡ x 1 (t ) ⎤
⎢ x (t ) ⎥
⎢ 2 ⎥
⎢ . ⎥
[ x(t )] = ⎢ . ⎥ (2.140)
⎢ ⎥
⎢ . ⎥
⎢ ⎥
⎢⎣ x n (t ) ⎥⎦
Matricea [ x(t ) ] se numeşte matrice de stare sau vector de stare.
Conform figurii 2.14, se pot scrie relaţiile:
x1′ (t ) = x2 (t ) − an−1 x1 (t ) + bn−1u (t ) ⎫
x2′ (t ) = x3 (t ) − an−2 x1 (t ) + bn −2u (t ) ⎪⎪
⎪ (2.141)
………………………………… ⎬
xn′ −1 (t ) = xn (t ) − a1 x1 (t ) + b1u (t ) ⎪
⎪
xn′ (t ) = − a0 x1 (t ) + b0u (t ) ⎪⎭
x1 (t ) = y (t ) (2.142)
Conform sistemului (2.141), derivata vectorului de stare se poate
scrie sub forma:
⎡ x1′ (t ) ⎤ ⎡ x2 (t ) − an −1 x1 (t ) ⎤ ⎡ bn−1 ⎤
⎢ x′ (t ) ⎥ ⎢ x (t ) − a x (t ) ⎥ ⎢b ⎥
d [ x(t )] ⎢ ⎥ ⎢ 3 ⎥ ⎢ n−2 ⎥
2 n−2 1
= ⎢ . ⎥ = ⎢ …………… ⎥ + ⎢ … ⎥ u (t ) (2.143)
dt ⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎢ xn′ −1 (t ) ⎥ ⎢ xn (t ) − a1 x1 (t ) ⎥ ⎢ b1 ⎥
⎣⎢ xn′ (t ) ⎦⎥ ⎣⎢ −a0 x1 (t ) ⎦⎥ ⎣⎢ b0 ⎦⎥
Dacă se fac notaţiile:
149
⎡ − an−1 1 0 … 0 ⎤
⎢ −a ⎥
⎢ n− 2 0 1 … 0 ⎥ not
⎢ … … … … …⎥ = [ F ] (2.144)
⎢ ⎥
⎢ − a1 0 0 … 1⎥
⎢⎣ −a0 0 0 … 0 ⎥⎦
⎡ bn −1 ⎤
⎢b ⎥ not
⎢ n −2 ⎥ = [G ]
⎢…⎥ (2.145)
⎢ ⎥
⎣ b0 ⎦
relaţia (2.143) se poate scrie compact, sub forma:
d [ x(t )]
= [ F ][ x(t )] + [G ]u (t )
dt (2.146)
Relaţia (2.146) se numeşte ecuaţia de stare a sistemului,
specificând constrângerile introduse de semnalele de la intrarea
sistemului. În general, pentru a caracteriza legătura dintre dinamica
internă a sistemului, specificată de vectorul de stare [ x(t ) ] şi ieşirea
sistemului y (t ) , se introduce matricea de selecţie [C ] , definită prin
relaţia:
[C ] = [c1c2 … cn ], (2.147)
unde componentele ci au valorile 1 sau 0 după cum se selectează sau
nu variabila de stare xi (t ) .
Relaţia de forma:
y (t ) = [C ][ x(t )] (2.148)
poartă denumirea de ecuaţie de ieşire.
Ecuaţia de stare (2.146) şi ecuaţia de ieşire (2.148) caracterizează
complet sistemul liniar invariant.
Dacă se selectează o singură stare, aşa cum a fost cazul
150
reprezentat în figura 2.14, rezultă că matricea de selecţie este de
forma:
[C ] = [1 0 … 0] , (2.149)
caz în care:
y (t ) = x1 (t ) (2.150)
În cazul particular când la intrare se aplică semnalul:
u (t ) = e st (2.151)
se poate determina o soluţie particulară a ecuaţiei (2.135), de forma:
y (t ) = H ( s )e st , (2.152)
unde H ( s ) este o constantă în raport cu timpul.
Înlocuind (2.151) şi (2.152) în ecuaţia (2.135), se obţine:
( s n + an−1s n −1 + … + a1s + a0 ) H ( s )e st =
(2.153)
= (bn−1s n−1 + bn −2 s n−2 + … + b0 )e st
de unde rezultă:
bn−1s n−1 + bn− 2 s n −2 + … + b0
H (s) = ,
s n + an−1s n−1 + … + a1s + a0 (2.154)
care reprezintă funcţia de transfer a sistemului liniar invariant.
Dacă la intrarea unui astfel de sistem se aplică zgomot alb cu
densitate spectrală de putere S 0 , conform relaţiei (1.202), la ieşirea
sistemului va rezulta un răspuns cu densitatea spectrală de putere:
2
S ( jω ) = H ( jω ) S (2.155)
yy 0
151
Dacă densitatea spectrală de putere a mesajului este cunoscută,
atunci S yy ( jω ) = Smm ( jω ) , iar coeficienţii ecuaţiei diferenţiale (2.135)
se obţin prin identificarea relaţiei (2.156) cu (2.155), ţinând cont de
(2.154).
O modalitate echivalentă rezultă prin descompunerea funcţiei de
transfer H ( s ) în fracţii simple, care, pentru simplitate, se va considera
că are numai poli simpli, reali, adică:
n
λk
H (s) = ∑
k =1 s − pk (2.157)
unde λk sunt reziduurile corespunzatoare polilor pk .
Sistemul fiind presupus liniar, raspunsul y (t ) va fi suma
răspunsurilor unor sisteme liniare caracterizate de funcţiile de transfer:
λk
H k (s) =
s − pk (2.158)
Notând cu xk (t ) răspunsul corespunzător sistemului liniar cu
funcţia de transfer (2.158) la semnalul u (t ) , se poate scrie:
dxk (t )
− pk xk (t ) = λk u (t )
dt (2.159)
Structura unui sistem liniar descris de ecuaţia (2.159) este dată
in figura 2.15.
152
Fig. 2.16. Structura unui sistem dinamic
⎧ β e sτ
⎪ , pentru τ < 0
⎪ ( a + s ) s=a
=⎨
sτ
⎪ βe , pentru τ > 0
⎪ (a − s)
⎩ s =− a
β −aτ
Rezultă, deci, că Bmm (τ ) = e , care identificată cu aceea
2a
β
impusă în text, necesită condiţia: = 1 ⇒ β = 2a
2a
2a
S mm ( s ) 2a 1
= a −s
2 2
b) H 0 n ( s ) = =
S mm ( s ) + S nn ( s ) 2a 2a
+ S0 S0 + a2 − s2
a −s
2 2
S0
2aS0
∞ ∞
1 S mm ( jω ) S nn ( jω ) 1 a 2 + ω 2 dω =
c) ε 2 0 n (t ) =
2π ∫S mm ( jω ) + S nn ( jω )
dω = ∫
2π −∞ 2a
−∞ + S0
a + ω2
2
∞
a dω a 1 ω 1
π ∫⎛ ⎞
2
=
π 2a
arctg
2a
=
2a
−∞ 2a + a2 + a2 + a2
⎜⎜ + a 2 ⎟⎟ + ω 2 S0 S0 S0
⎝ S0 ⎠ −∞
155
În cazul:
2a
S (0) a 2 2
λ = mm = = << 1 ⇒ ε 2 0 n (t ) ≈ 1
S0 S0 aS0
În cazul:
2 1
λ= = 3 ⇒ ε 2 0 n (t ) =
aS0 2
+
1 ⎡ S rd ( s ) ⎤ + S ad ( s )
d) H 0 ( s ) = + ⎢ ⎥=
S rr ( s ) ⎣ S rr− ( s ) ⎦ S rr− ( s )
Dar:
{
S rr ( jω ) = F { B rr (τ )} = F r (t )r (t + τ ) = }
{
= F [ m(t ) + nt )][ m(t + τ ) + n(t + τ )] = }
= S mm ( jω ) + S nn ( jω )
Rezultă atunci:
2a
S rr ( s ) = S mm ( s ) + S nn ( s ) = + S0 =
a − s2
2
2a 2a
+ a2 + s + a2 − s
S0 S0
S0 S0 = S rr+ ( s )S rr− ( s )
a+s a−s
{ } {
S rd ( jω ) = F { Brd (τ )} = F r (t )m(t + τ ) = F [ m(t ) + n(t ) ] m(t + τ ) = }
{ }
= F m(t )m(t + τ ) = F { Bmm (τ )} = S mm ( jω )
S mm ( s ) 2a 1 a−s
S ad ( s ) = −
= 2 2 =
S rr ( s ) a − s S0 2a
+ a2 − s
S0
156
⎛ ⎞
⎜ ⎟
2a 1 2a ⎜ A B ⎟,
= = +
S0 ⎛ 2a ⎞ S0 ⎜ a + s 2a ⎟
(a + s ) ⎜⎜ + a − s ⎟⎟
2
⎜⎜ + a 2 − s ⎟⎟
⎝ S0 ⎠ ⎝ S0 ⎠
unde:
1
A=
2a
+ a2 + a
S0
+ 2a A 2a 1
S ad ( s ) = =
S0 a + s ⎛ 2a ⎞ a+s
S0 ⎜⎜ + a2 + a ⎟⎟
⎝ S0 ⎠
+
S ad ( s ) 2a 1
H 0 ( s) = =
S rr+ ( s ) ⎛ 2a ⎞ 2a
S0 ⎜⎜ + a 2 + a ⎟⎟ + a2 + s
⎝ S0 ⎠ S0
157
b) Funcţia de transfer H 0 ( s ) a filtrului optimal Wiener-Hopf în
cazul filtrării şi pentru λ = 3 .
Soluţie
a)
2a ⎫
S rr ( s ) = S mm ( s ) + S nn ( s ) =
+ S0 ⎪
4a − s 2
⎪
2
S mm (0) 2a 1 ⎬⇒
λ= = 2 = =3 ⎪
S0 4a S0 2aS0 ⎪⎭
16a 2 − s 2 4a + s 4a − s
S rr ( s ) = S0 = S0 S0 = S rr+ ( s ) S rr− ( s )
4a − s
2 2
2a + s 2a − s
2
⇒ S = H a ( s ) S rr ( s )
Deci:
2 S S ⎛ 2a + s ⎞ S ⎛ 2a − s ⎞
H a ( s) = H a ( s ) H a (− s) = = ⎜ ⎟ ⎜ ⎟
S rr ( s ) S0 ⎝ 4a + s ⎠ S 0 ⎝ 4a − s ⎠
De unde rezultă:
S 2a + s
H a (s) =
S0 4a + s
+
+
S (s) 1 ⎡ S rd ( s ) ⎤
b) H 0 ( s ) = +ad = + ⎢ ⎥
S rr ( s ) S rr ( s ) ⎣ S rr− ( s ) ⎦
2a 2a
S rd ( s ) = S rm ( s ) = S mm ( s ) = 2 2 =
4a − s (2a + s )(2a − s )
S rd ( s ) 2a 1 2a − s
S ad ( s ) = −
= =
S rr ( s ) (2a + s )(2a − s ) S0 4a − s
158
2a 1 2a ⎛ A B ⎞
= = ⎜ + ⎟
S0 (2a + s )(4a − s ) S 0 ⎝ 2 a + s 4a − s ⎠
1 1
unde: A = =
4a − s s =−2 a 6a
Deci:
+ 2a A 1 1
S ad ( s ) = =
S0 2a + s 3 S0 2a + s
+
S ad ( s ) 1 1 1 2a + s 1 1
H 0 (s) = +
= =
S rr ( s ) 3 S0 2a + s S0 4a + s 3S0 4a + s
Soluţie
Înseamnă că:
Sεε ( s ) =|1 − H ( s ) |2 S mm ( s ) + | H ( s ) |2 S0
160
5. Funcţia pondere a unui filtru optimal Wiener-Hopf este:
⎧e − (2τ ) , pentru τ ≥ 0
h0 (τ ) = ⎨
⎩0 , pentru τ < 0
Ştiind că funcţia de autocorelaţie a semnalului recepţionat
este Brr (u ) = e −|u| , să se deducă funcţia de corelaţie între semnalul
recepţionat r (t ) şi semnalul dorit a fi estimat, pentru u ≥ 0 .
Soluţie
Din ecuaţia integrală Wiener-Hopf avem:
∞
∫ h (τ ) B
0
0 rr (u − τ )dτ = Brd (u ) , u ≥ 0
⎧e − ( u −τ ) , 0 ≤ τ < u
Dar, Brr (u − τ ) = e −|u −τ |
= ⎨ ( u −τ )
⎩e , u ≤τ < ∞
Înseamnă că:
u ∞
2
Brd (u ) = ∫ e e −2τ − ( u −τ )
dτ + ∫ e −2τ eu −τ dτ = e − u − e −2u , u ≥ 0
0 u
3
s ds
Efectuând schimbarea de variabilă: jω = s ⇒ ω = ; d ω = , se
j j
poate scrie:
j∞
1
2π j −∫j∞
ε (t ) =
2
Sεε ( s )ds
16
⇒ S mm ( s ) =
4 − s2
1
Dacă H ( s ) = , atunci:
1 + Ts
1
| 1 − H ( s ) |2 = [1 − H ( s )][1 − H (− s )] = 1 −
1 − T 2s2
1
şi | H ( s ) |2 = H ( s ) H ( − s ) =
1 − T 2s2
1 j∞ ⎛ 1 ⎞ 16 1 j∞ ds
ε (t ) = ∫ ⎜1 − ds + ∫
2
2 2 ⎟
2πj − j∞ ⎝ 1 − T s ⎠ 4 − s 2
2πj − j∞ 1 − T 2 s 2
Utilizând teorema reziduurilor şi ţinând cont că ε 2 (t ) are
sens numai pentru t > 0 , rezultă că se vor lua în considerare numai
polii din semiplanul stâng, deci se poate scrie:
162
⎡ ⎤
⎢ ⎥
⎢ 1 1 1 1 1 ⎥
ε (t ) = 16⎢
2
− − +
2 + s s=2 4 − s 2 2 ⎛ 1 ⎞ 2 + s 1 − T 2s2 ⎥
⎢ T ⎜ + s⎟ ⎥
⎢ ⎝T ⎠ s= 1 ⎥
⎣ T ⎦
1 8T 1
+ = +
⎛1 ⎞ 2T + 1 2T
T 2⎜ + s⎟
⎝T ⎠ s= 1
T
d ε 2 (t ) 8( 2T + 1) − 16T 2 1 12T 2 − 4T − 1
b) = − = =0
dT (2T + 1)2 2T 2 2T 2 (2T + 1) 2
2 + 4 + 12 1
12T 2 − 4T − 1 = 0 → T = =
12 2
166
b) Funcţia de transfer a filtrului Wiener-Hopf la
recepţionarea semnalului r (t ) , în cazul filtrării.
Soluţie
a)
2 2 2(1 − s 2 )
S rr ( s ) = S mm ( s ) + S nn ( s ) = + = =
1 − 4s 2 3 ⎛1 2⎞
3⎜ − s ⎟
⎝4 ⎠
2 1+ s 2 1− s
= = S rr+ ( s ) ⋅ S rr− ( s )
1
3 +s 3 −s 1
2 2
2 4 4
H a ( s ) S rr ( s ) = → H a ( s ) H a (− s ) = =
3 3S rr ( s )
1 1 1
+s −s +s
= 2 2 2 2 → H a (s) = 2 2
1+ s 1− s 1+ s
+
+
S ( s) 1 ⎡ S rd ( s ) ⎤
b) H 0 ( s ) = +ad = + ⎢ ⎥
S rr ( s ) S rr ( s ) ⎣ S rr− ( s ) ⎦
2 2 1 1
Srd (s) = Srm (s) = Smm (s) = = =
1 − 4s 2
(1 − 2s)(1 + 2s) 2 ⎛ 1 ⎞⎛ 1 ⎞
⎜ − s ⎟⎜ + s ⎟
⎝ 2 ⎠⎝ 2 ⎠
⎛ ⎞
S rd ( s ) 3 1 3 ⎜ A B ⎟
S ad ( s ) = − = = ⎜ + ⎟→
S rr ( s ) 2 2 ⎛ 1 ⎞ 2 2 ⎜ 1 + s 1− s ⎟
⎜ + s ⎟(1 − s ) ⎜ ⎟
⎝2 ⎠ ⎝2 ⎠
167
1 2
A= =
1 − s s =− 1 3
2
3 A 1 1
+
S ad ( s ) = =
2 2 1+s 6 1+s
2 2
+
S (s) 1 1
H 0 ( s ) = +ad =
S rr ( s ) 2 1+ s
168
10. Pe un canal de transmisiuni se transmite mesajul m(t )
descris de un proces aleator, staţionar în sens larg, caracterizat de
densitatea spectrală de putere:
4
S mm ( jω ) =
4 +ω2
Dacă semnalul recepţionat este r (t ) = m(t ) + n(t ) , unde n(t )
este zgomotul de pe canal ce poate fi considerat alb cu densitatea
spectrală de putere S 0 , să se proiecteze un filtru Kalman-Bucy, care
estimează mesajul din semnalul recepţionat.
Soluţie
Funcţia de transfer a sistemului dinamic din cadrul filtrului
Kalman-Bucy se determină cu relaţia (1.202), adică:
2 S ( jω ) 4
H ( jω ) = mm = ,
S (4 + ω 2 ) S
unde prin S s-a notat densitatea spectrală a zgomotului alb aplicat la
intrarea sistemului dinamic.
Trecând la variabila complexă s = σ + jω , se poate scrie:
4 4⎛ A B ⎞
H ( s) H (− s) = = ⎜ + ⎟
S (2 − s )(2 + s ) S ⎝ 2 + s 2 − s ⎠
Pentru stabilirea unei funcţii de transfer a unui sistem dinamic
realizabil, este necesară determinarea numai a coeficientului A, adică
1 1
A= =
2 − s s = −2 4
Funcţia de transfer a sistemului fizic realizabil rezultă atunci de forma:
4 A 1 1
H (s) = =
S 2+s S 2+s
Schema filtrului optimal Kalman-Bucy este dată în figura de mai jos
169
170
CAPITOLUL 3
171
observaţii (eşantioane) consecutive anterioare.
În cazul general, valoarea estimată se notează xˆ[n] M x [ n−r ] ,
p
unde {−a [ k ]}
p reprezintă ponderile combinaţiei liniare, numite
coeficienţi de predicţie ai predictorului înainte cu un pas, de ordin
p.
Conform relaţiei (3.1), schema predictorului liniar cu un pas,
de ordinul p este dată în figura 3.1.
172
Pe baza relaţiei (3.2), eroarea de predicţie rezultă conform
schemei din figura 3.2.
Fig. 3.2. Legătura dintre predictorul liniar înainte şi filtrul erorii de predicţie
unde a p [ 0] = 1 .
∂a p [k ]
∂ ⎛ p p p
⎞
= ⎜ γ xx [ 0] + 2∑ a p [ k ] γ xx [ k ] + ∑∑ a p [ k ] a p [l ]γ xx [l − k ] ⎟ =
∂a p [k ] ⎝ k =1 k =1 l =1 ⎠
∂ p
= (γ xx [ 0] + 2∑ a p [ k ] γ xx [ k ] +
∂a p [k ] k =1
p −1
g p [ n ] = x [ n − p ] + ∑ bp [ k ] x [ n − k ] =
k =0
p
(3.10)
= ∑ bp [ k ] x [ n − k ] , bp [ p ] = 1
k =0
unde bp [ p ] = 1 .
⎧ 2 p
ξ = E ⎨ x [ni − p] + 2 x[ni − p]∑ bp [ p − m ] x [ ni − p + m] +
b
p
⎩ m =1
p p
⎫
+ ∑∑ bp [ p − m ] bp [ p − l ]x [ ni − p + m ] x[ni − p + l ]⎬ =
k =1 l =1 ⎭ (3.14)
p
= γ xx [ 0] + 2∑ bp [ p − m ] γ xx [ m ] +
m =1
p p
+ ∑∑ bp [ p − m ] bp [ p − l ]γ xx [l − m]
m =1 l =1
177
3.3. Structuri lattice pentru implementarea filtrelor
FIR de eroare a predicţiei
Ţinând cont că
m
xˆ[n] = −∑ am [k ]x[n − k ] (3.20)
k =1
179
Figura 3.7. Filtru lattice cu două trepte
Figura 3.8. (a) Filtru lattice cu p trepte, (b) Structura treptei “m”
l =0 l =0
183
Aplicând transformata Z relaţiilor recursive (3.28) ÷ (3.30), se
obţine
F0 ( z ) = G0 ( z ) = X ( z ) (3.42)
Fm ( z ) = Fm−1 ( z ) + K m z −1Gm−1 ( z ) m = 1, 2, . . . , p (3.43)
Gm ( z ) = K m Fm −1 ( z ) + z −1Gm−1 ( z ) m = 1, 2, . . . , p (3.44)
Împărţind fiecare ecuaţie prin X ( z ) , se obţin următoarele
relaţii:
A0 ( z ) = B0 ( z ) = 1 (3.45)
Am ( z ) = Am−1 ( z ) + K m z −1Bm−1 ( z ) m = 1, 2, . . ., p (3.46)
Bm ( z ) = K m Am −1 ( z ) + z −1Bm −1 ( z ) m = 1, 2, . . . , p (3.47)
Astfel, o treaptă lattice, este descrisă în domeniul Z de o
ecuaţie matriceală de forma
⎡ Am ( z ) ⎤ ⎡ 1 K m ⎤ ⎡ Am−1 ( z ) ⎤
⎢ ⎥=⎢ ⎥ ⎢ −1 ⎥ (3.48)
⎣ Bm ( z ) ⎦ ⎣ K m 1 ⎦ ⎣ z Bm−1 ( z ) ⎦
186
3.3.2. Conversia coeficienţilor filtrului FIR din forma
directă în coeficienţi ai structurii lattice
187
am [k ] − K mbm [k ] am [k ] − am [m]am [m − k ]
am−1[k ] = = , 1 ≤ k ≤ m −1
1 − K m2 1 − am2 [m]
(3.58)
Ecuaţia recursivă (3.58) nu poate fi folosită dacă K m = 1.
Pentru fixarea ideilor, se consideră următorul exemplu.
Să se determine coeficienţii structurii lattice corespunzătoare
filtrului FIR cu funcţia de sistem
13 −1 5 −2 1 −3
H ( z ) = A3 ( z ) = 1 + z + z + z
24 8 3
1
Soluţie. Mai întâi se observă că K 3 = a3[3] = . Apoi se
3
construieşte polinomul
1 5 13 −2
B3 ( z ) = + z −1 + z + z −3
3 8 24
Relaţia de decrementare din (3.56), cu m =3, conduce la
A ( z ) − K 3 B3 ( z ) 3 1
A2 ( z ) = 3 = 1 + z −1 + z −2
1 − K32
8 2
Prin urmare, K 2 = a2 [2] = 1/ 2 şi B2 ( z ) = 1/ 2 + (3/ 8) z −1 + z −1 .
Repetând decrementarea recursivă, se obţine
A ( z ) − K 2 B2 ( z ) 1
A1 ( z ) = 2 = 1 + z −1
1 − K2 2
4
1
Astfel, K1 = a1[1] = .
4
190
Comparând aceste relaţii se observă o relaţie de egalitate
între parametrii {ak } ai procesului AR ( p ) şi coeficienţii
predictorului {a p [ k ]} de ordin p . Mai mult, comparând (3.65) cu
(3.8), se observă că eroarea pătratică medie minimă a predictorului
de ordinul p , E pf , este egală cu σ w2 , dispersia zgomotului alb, caz
în care filtrul erorii de predicţie este un filtru de albire, care produce
secvenţa de zgomot alb w [ n ] .
∑ a [ k ]γ [l − k ] = 0, l = 1... p, a [0] = 1
k =0
p xx p (3.66)
191
3.6.1. Algoritmul Levison-Durbin
unde
⎡ γ xx [ 0] γ xx* [1] ... γ xx* [ p − 1] ⎤
⎢ ⎥
not . γ [1] γ xx [ 0] ... γ xx* [ p − 2]⎥
[Γ p ] = Γ p = ⎢ xx (3.68)
⎢ .. .. ... .. ⎥
⎢ ⎥
⎣⎢γ xx [ p − 1] γ xx [ p − 2] ... γ xx [ 0] ⎦⎥
T
este numită matricea de autocorelaţie, iar [ Ap ] = ⎡⎣ a p [1] ... a p [ p ]⎤⎦
este un vector coloană ale cărui elemente sunt coeficienţii
predictorului, a p [k ], 1 ≤ k ≤ p , iar [γ p ] = [γ xx [1] ... γ xx [ p ]]
T
este un
vector coloană ale cărui elemente sunt valorile funcţiei de
autocorelaţie γ p [l ], 1 ≤ l ≤ p .
Sistemul (3.67) poate fi scrise matriceal, sub forma
⎡ E pf ⎤
⎢ ⎥
0
[Γ p +1 ][ Ap +1 ] = ⎢ ⎥ (3.67’)
⎢ ⎥
⎢ ⎥
⎣⎢0 ⎦⎥
T
unde [ Ap +1 ] = ⎡⎣1 a p [1] ... a p [ p ]⎤⎦ , iar [Γ p +1 ] este matricea de
autocorelaţie de ordinul p+1.
192
Dacă semnalul de intrare este real, operaţia de cojugare (*)
dispare din γ xx . Se observă că elementele Γ p ( i, j ) ale matricei [Γ p ]
au proprietatea că Γ p ( i, j ) = γ xx [i − j ] . Dacă Γ p ( i, j ) = Γ*p ( j , i )
matricea este şi hermitică. Metoda de obţinere a soluţiei prin
algoritmul Levison-Durbin utilizează proprietăţile matricei Toeplitz
şi se aplică recursiv începând cu un predictor de ordinul m = 1 .
Soluţia predictorului de ordinul întâi se obţine din (3.66),
pentru p = 1 , adică
γ xx [1]
a1 [1] = − , a [0] = 1 (3.69)
γ xx [ 0] 1
EPMM este
(
E1f = γ xx [ 0] + a1 [1] γ xx [ −1] = γ xx [ 0] 1 − a1 [1]
2
) (3.70)
193
expresii care reprezintă coeficienţii predictorului de ordinul al
doilea. Se reaminteşte că a2 [ 2] = K 2 este cel de-al doilea coeficient
de reflexie al filtrului lattice.
Procedând în acelaşi mod se pot exprima coeficienţii
predictorului de ordin m în funcţie de coeficienţii predictorului de
ordin ( m − 1) .
Vectorul coeficienţilor, notat cu [ am ] , poate fi scris ca sumă
a doi vectori
⎡ am [1] ⎤
⎢ ⎥
⎢ am [ 2] ⎥ ⎡[am−1 ]⎤ ⎡[ d m−1 ]⎤
[ am ] = ⎢ .. ⎥ = ⎢ 0 ⎥ + ⎢ ⎥ (3.73)
⎣ ⎦ ⎣ Km ⎦
⎢ ⎥
⎢⎣ am [ m]⎥⎦
unde [ am−1 ] reprezintă vectorul coeficienţilor predictorului de ordin
( m − 1) , iar vectorul [ d m−1 ] şi scalarul K m urmează a fi determinaţi.
Matricea de autocorelaţie Γ de ordin m × m se partiţionează în
forma
⎡ Γ m−1 [γ mb −1 ] ⎤
*
[ m ] ⎢ bt
Γ = ⎥ (3.74)
⎣⎢[γ m−1 ] γ xx [ 0]⎦⎥
unde [γ mbt−1 ] = ⎡⎣γ xx [ m − 1] γ xx [ m − 2] ... γ xx [1]⎤⎦ = ⎡⎣γ mb −1 ⎤⎦ ,
t
194
⎡[Γ m−1 ] [γ mb −1 ] ⎤ ⎪⎧ ⎡[am−1 ]⎤ ⎡[ d m−1 ]⎤ ⎪⎫ ⎡[γ m−1 ] ⎤
*
⎢ bt ⎥ ⎨⎢ +
⎥ ⎢ ⎥⎬ = − ⎢ ⎥ (3.75)
⎣⎢ [γ m−1 ] γ xx [ 0]⎦⎥ ⎪⎩ ⎣ 0 ⎦ ⎣ K m ⎦ ⎪⎭ ⎣γ xx [ m ]⎦
Din (3.75) rezultă două ecuaţii
[Γ m−1 ][am−1 ] + [Γ m−1 ][ d m−1 ] + K m ⎡⎣γ mb −1 ⎤⎦ = − [γ m−1 ]
*
(3.76)
[ d m−1 ] = − K m [Γ m−1 ]
−1
⎡γ mb −1 ⎤
*
(3.78)
⎣ ⎦
⎡γ mb −1 ⎤
*
dar este chiar ⎡⎣γ m−1 ⎤⎦ cu elementele scrise în ordine
⎣ ⎦
inversă şi conjugate, ceea ce permite obţinerea soluţiei ecuaţiei
(3.78) sub forma
⎡ am* −1 [ m − 1] ⎤
⎢ * ⎥
⎢ am−1 [ m − 2]⎥
[ d m−1 ] = K m ⎡⎣ am−1 ⎤⎦ = K m ⎢ .. ⎥
*
b
(3.79)
⎢ * ⎥
⎢⎣ am−1 [1] ⎥⎦
Înlocuind relaţia (3.79) în (3.77), se poate obţine coeficientul
de reflexie K m .
⎣ ⎦
Înlocuind soluţiile pentru [ d m−1 ] şi K m în relaţia (3.73) se obţin
relaţiile recursive pentru coeficienţii predictorului
195
γ xx [ m ] + ⎡⎣γ mbt−1 ⎤⎦ [ am−1 ] γ xx [ m] + ⎡⎣γ mbt−1 ⎤⎦ [ am−1 ]
am [ m ] = K m = − =−
γ xx [ 0] + ⎡⎣γ mbt−1 ⎤⎦ ⎡ amb −1 ⎤ Emf
*
⎣ ⎦
(3.81)
am [ k ] = am−1 [ k ] + K m am* −1 [ m − k ] = am−1 [ k ] + am [ m ] am* −1 [ m − k ]
(3.82)
k = 1,..., m − 1, m = 1,..., p
Se observă că relaţiile recursive (3.82) sunt identice cu cele
care dau coeficienţii predictorului pe baza polinoamelor Am ( z ) şi
Bm ( z ) ca în relaţiile (3.53) ÷ (3.55). Mai mult, K m este coeficientul
de reflexie pentru a m − a treaptă a predictorului lattice, deci
algoritmul Levison-Durbin calculează coeficienţii de reflexie pentru
predicţia lattice optimală, precum şi coeficienţii predictorului
optimal FIR în forma directă.
Pentru predictorul de ordinul m , EPMM este
m
Emf = γ xx [ 0] + ∑ am [ k ]γ xx [ − k ] =
k =1
m
= γ xx [ 0] + ∑ ( am −1 [ k ] + am [ m ] am* −1 [ m − k ])γ xx [ − k ] = (3.83)
k =1
⎣
2
⎦
2
(
= Emf −1 ⎡1 − am [ m ] ⎤ = Emf −1 1 − K m , m = 1,..., p )
unde E0f = γ xx [ 0] . Deoarece coeficienţii de reflexie satisfac
proprietatea că K m ≤ 1 , EPMM satisface condiţia
E0f ≥ E1f ≥ E2f ≥ ..... ≥ E pf (3.84)
În scopul aprecierii eficienţei sau complexităţii unui
algoritm, se foloseşte simbolismul din teoria complexităţii
calculelor. Notaţia O(•) se foloseşte în analiza eficienţei algoritmilor
şi defineşte limita superioară a unei funcţii, reflectând efortul de
calcul necesar obţinerii rezultatului, în funcţie de mărimea intrării,
196
de obicei, numărul de biţi. Complexitatea (temporală) a unei
probleme (sau a unui algoritm) reprezintă numărul de paşi (sau
echivalentul lor temporal) ce trebuie parcurşi pentru a o rezolva,
exprimat, în general, în funcţie de mărimea intrării. De exemplu, se
presupune că timpul (sau numărul de paşi) necesari rezolvării unei
probleme a cărei intrare are dimensiunea n este de forma
N
T (n) = ∑ ai ni , unde coeficienţii ai sunt constante independente de
i =0
197
γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
R0 ( z ) = (3.85)
γ xx [ 0] + γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p
şi familia de funcţii Rm ( z ) definită recursiv prin
Rm−1 ( z ) − Rm−1 ( ∞ )
Rm ( z ) = , m = 1,..., p (3.86)
z ⎡⎣1 − Rm* −1 ( ∞ ) Rm−1 ( z ) ⎤⎦
−1
198
γ xx [ 0] (γ xx [ 2] + ... + γ xx [ p ] z − p + 2 ) − γ xx [1] (γ xx [1] + ... + γ xx [ p ] z − p +1 )
=
γ xx [ 0] ( γ xx [ 0] + γ xx [1] z −1 + ... + γ xx [ p ] z − p ) − γ xx [1] (γ xx [1] + ... + γ xx [ p ] z − p +1 )
şi, deci
γ xx [ 0] γ xx [ 2] − γ xx2 [1] γ xx [ 2] + K1γ xx [1]
R2 ( ∞ ) = = (3.88)
γ xx2 [ 0] − γ xx2 [1] γ xx [ 0] (1 − K1 )
2
199
Q1 ( z ) = z −1Q0 ( z ) = γ xx [ 0] z −1 + γ xx [1] z −2 + ... + γ xx [ p − 1] z − p +
(3.92)
+γ xx [ p ] z − p −1
şi
⎛ P (z) ⎞ γ xx [1]
K1 = − ⎜⎜ 1 ⎟⎟ = − (3.93)
⎝ Q1 ( z ) ⎠ z =∞ γ xx [ 0]
Analog, rezultă
P2 ( z ) = P1 ( z ) + K1Q1 ( z ) = γ xx [1] z −1 + γ xx [ 2] z −2 + ... + γ xx [ p ] z − p −
γ xx2 [1] z −2 γ xx [1]γ xx [ 2] z −3 γ xx [1]γ xx [ p ] z − p −1
−γ xx [1] z −−1
− − ... − =
γ xx [ 0] γ xx [ 0] γ xx [ 0]
= ( γ xx [ 2] + K1γ xx [1]) z −2 + ... + ( γ xx [ p ] + K1γ xx [ p − 1]) z − p +
+ K1γ xx [ p ] z − p −1
(3.94)
Q2 ( z ) = z −1K1* P1 ( z ) + z −1Q1 ( z ) = z −1 ( Q1 ( z ) + K1* P1 ( z ) ) =
= z −1[( γ xx [ 0] z −1 + γ xx [1] z −2 + ... + γ xx [ p − 1] z − p + γ xx [ p ] z − p −1 ) +
+ ( K1*γ xx [1] z −1 + K1*γ xx [ 2] z −2 + ... + K1*γ xx [ p ] z − p )] =
(3.95)
P2 ( z ) γ [2] + K1γ xx [1]
K2 = − = − xx (3.96)
Q2 ( z ) z =∞ γ xx [0] + K 1∗γ xx [1]
Pe baza acestor relaţii, algoritmul Schur este descris de
următoarea procedură recursivă:
1. Se formează matricea generatoare cu două linii şi p+1
coloane, de forma:
200
⎡ 0 γ xx [1] γ xx [ 2] ... γ xx [ p ]⎤
[G0 ] = ⎢γ ⎥ (3.97)
⎣ xx [ 0] γ xx [1] γ xx [ 2] ... γ xx [ p ]⎦
unde elementele primei linii sunt coeficienţii lui P0 ( z ) , iar cele de
pe a doua linie, coeficienţii lui Q0 ( z ) .
2. Se deplasează a doua linie a matricei generatoare spre
dreapta cu o poziţie şi se renunţă la ultimul element al liniei. În
locul rămas liber se plasează un zero. Astfel se obţine o nouă
matrice generatoare
⎡0 γ xx [1] γ xx [ 2] ... γ xx [ p ] ⎤
[G1 ] = ⎢0 ⎥ (3.98)
⎣ γ xx [ 0] γ xx [1] ... γ xx [ p − 1]⎦
Raportul, cu semnul minus, al elementelor din a doua coloană
γ xx [1]
reprezintă coeficientul de reflexie K1 = − .
γ xx [ 0]
3. Se înmulţeşte la stânga matricea generatoare [G1 ] cu
matricea
⎡1 K1 ⎤
[V1 ] = ⎢ K * 1 ⎥⎦
(3.99)
⎣ 1
obţinându-se
[V1 ][G1 ] =
⎡0 0 γ xx [ 2] + K1γ xx [1] ... γ xx [ p ] + K1γ xx [ p − 1] ⎤
=⎢ ⎥
⎣0 γ xx [ 2] + K1 γ xx [1] ... γ xx [ p − 1] + K1*γ xx [ p ]⎦
*
...
(3.100)
4. Se deplasează a doua linie a matricei [V1 ][G1 ] cu o poziţie
spre dreapta, obţinându-se o nouă matrice generatoare
⎡0 0 γ xx [ 2] + K1γ xx [1] ... γ xx [ p ] + K1γ xx [ p − 1] ⎤
[G2 ] = ⎢0 0 γ xx [ 0] + K γ
⎥ (3.101)
⎣
*
1 xx [1] ... γ xx [ p − 2] + K1*γ xx [ p − 1]⎦
201
Raportul, cu semnul “-“, al elementelor din coloana a treia
reprezintă coeficientul de reflexie K 2 . Paşii 3 şi 4 se repetă până se
obţin toţi cei p coeficienţi de reflexie. În general, matricea [Vm ]
este de forma
⎡ 1 Km ⎤
[Vm ] = ⎢ K * 1 ⎥⎦
(3.102)
⎣ m
(
împreună cu relaţia: Emf = 1 − K m
2
)E f
m −1 poate fi folosită pentru a
arăta că zerourile funcţiei de sistem a filtrului erorii de predicţie sunt
fie toate în interiorul cercului unitate, fie pe cerc.
203
Se va arăta că, dacă E pf > 0 , zerourile zi < 1 pentru orice i ,
unde zi sunt zerourile funcţiei de sistem.
Într-adevăr, pentru p = 1 funcţia de sistem filtrului erorii de
predicţie este
A1 ( z ) = 1 + K1 z −1 (3.109)
P(z) = z ∏ N
= (3.113)
k =1 1 + z k z −1
AN ( z )
P(z)
Din relaţiile (3.111) şi (3.113) rezultă că Q ( z ) = −
z
pentru N=p-1. Cum E pf > 0 şi E pf −1 > 0 din E pf = 1 − K p ( 2
)E f
p −1 >0
1
rezultă K p < 1 şi, deci, Q ( zi ) = > 1 . Conform proprietăţilor
Kp
funcţiei de tip trece tot, rezultă zi < 1 .
Dacă se presupune că E pf −1 > 0 şi E pf = 0 , atunci K p = 1 şi
k =1
k =1
208
Ecuaţia cu diferenţe corespunzătoare este:
p
y [ n ] = −∑ a p [ k ] y [ n − k ] + x [ n ] (3.126)
k =1
sau, echivalent
p
y [ n] = x [ n] + ∑ a p [ k ] x [ n − k ] (3.128)
k =1
209
x [ n] = f p [ n]
f m−1 [ n ] = f m [ n ] − K m g m−1 [ n − 1]
(3.131)
g m [ n ] = K m f m −1 [ n ] + g m−1 [ n − 1]
y [ n] = f0 [ n] = g0 [ n]
Împlementarea corespunzătoare pentru structura lattice
AR(p) este prezentată în figura 3.9.
210
3.8.2. Procese ARMA şi filtre lattice cu poli şi zerouri
∑ c [k ] z
q
−k
Cq ( z )
H ( z) = k =0
= (3.132)
p
Ap ( z )
1 + ∑ a p [k ] z −k
k =1
211
Fie un filtru lattice numai cu poli, cu coeficienţii K m , căruia i
se adaugă o structură, numită scară, prin considerarea ieşirii ca o
combinaţie liniară de { g m [ n ]} . Se obţine un filtru lattice cu poli şi
zerouri ca în figura 3.10, a cărui ieşire este
q
y [ n] = ∑ β k g k [ n] (3.135)
k =0
sau, echivalent
Cm−1 ( z ) = Cm ( z ) − β m Bm ( z ) , m = p, p − 1,...,1 (3.140)
ceea ce permite determinarea polinoamelor de ordin inferior.
Deoarece bm [ m ] = 1 , parametrul β m se determină din relaţia (3.140)
impunând β m = cm [ m ] , m = p,...,1 .
Dacă o structură lattice cu poli şi zerouri este excitată cu o
secvenţă de zgomot alb, se generează un proces ARMA ( p, q ) , a
cărui densitate spectrală de putere este
Cq ( f )
2
Γ xx ( f ) = σ w2 , (11.141)
Ap ( f )
2
213
3.9. Filtre Wiener pentru filtrare şi predicţie
ξ M = E {(e [ ni ]) } = E ⎨⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ (3.143)
2
⎪⎩⎝ k =0 ⎠ ⎭⎪
Condiţia necesară din care se obţine valoarea de extrem a
erorii este:
∂E {(e [ ni ]) 2 }
= 0, 0 ≤ k ≤ M − 1 (3.144)
∂h [ k ]
Înlocuind (3.143) în (3.144), rezultă
215
∂E {(e [ ni ]) 2 } ∂ ⎧⎪⎛ M −1
⎞ ⎫⎪
2
= E ⎨ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ =
∂h [ k ] ∂h [ k ] ⎪⎩⎜⎝ k =0 ⎠ ⎭⎪
⎧⎪ ∂ ⎛ M −1
⎞ ⎫⎪
2
= E⎨ ⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ⎬ =
⎪⎩ ∂h [ k ] ⎝ k =0 ⎠ ⎪⎭
⎧⎛ M −1
⎞ ⎫
= −2 E ⎨⎜ d [ ni ] − ∑ h [ k ] x [ ni − k ] ⎟ ( x [ ni − m ]) ⎬ = (3.145)
⎩⎝ k =0 ⎠ ⎭
⎛ M −1
⎞
= −2 ⎜ γ xd [m] − ∑ h [ k ] γ xx [ k − m ] ⎟ = 0, 0 ≤ m ≤ M − 1
⎝ k =0 ⎠
sau, echivalent
M −1
∑ h [ k ]γ [ k − m] = γ
k =0
o xx xd [ m], 0 ≤ m ≤ M − 1 (3.146)
216
⎡ γ xx [ 0] γ xx [1] ... γ xx [ M − 1] ⎤
⎢ ⎥
γ xx [1] γ xx [ 0] ... γ xx [ M − 2]⎥
[Γ M ]MxM =⎢
⎢ .. .. ... .. ⎥
⎢ ⎥
⎣⎢γ xx [ M − 1] γ xx [ M − 2] ... γ xx [ 0] ⎦⎥
este matricea de autocorelaţie, cu elementele Γlk = γ xx [l − k ] ,
min ξ M = E ⎨⎜ d [ ni ] − ∑ ho [ k ] x [ ni − k ] ⎟ ⎬ =
⎩⎪⎝ k =0 ⎠ ⎭⎪
⎧⎛ M −1
⎞⎛ M −1
⎞⎫
E ⎨⎜ d [ ni ] − ∑ ho [ k ] x [ ni − k ] ⎟⎜ d [ ni ] − ∑ ho [ m ] x [ ni − m ] ⎟ ⎬ =
⎩⎝ k =0 ⎠⎝ m=0 ⎠⎭
M −1 M −1 M −1
γ dd [0] − 2 ∑ ho [ m ] γ xd [ m ] + ∑ ho [ m]∑ ho [ k ] γ xx [ m − k ] =
m =0 m =0 k =0
M −1
γ dd [0] − ∑ ho [ m ] γ xd [ m ]
m =0
(3.150)
217
Ţinând cont de (3.149), relaţia (3.150) se scrie, echivalent,
sub forma
min ξ M = γ dd [0] − [γ d ]T [Γ M ]−1[γ d ] (3.151)
Se consideră în continuare cazul când semnalul dorit a fi
estimat este de forma
d [ n ] = s [ n + D ] ,cu D întreg, fixat (3.152)
Filtrul liniar optimal operează asupra semnalului observat
afectat de zgomot aditiv
x [ n] = s [ n] + w[ n] (3.153)
pentru a elimina zgomotul, producând un răspuns y [ n ] care să
aproximeze s [ n + D ] . Filtrul optimal va fi de întârziere, dacă D < 0
şi de anticipare, dacă D > 0 .
Dacă semnalul s [ n ] şi zgomotul w [ n ] sunt necorelate, cum
este de obicei cazul în practică, atunci
γ xx [k ] = γ ss [ k ] + γ ww [ k ]
(3.154)
γ xd [ m ] = γ ss [ m + D ]
iar ecuaţiile Wiener Hopf sunt de forma
M −1
∑ h [ k ] ⎡⎣γ [ m − k ] + γ [ m − k ]⎤⎦ =
k =0
o ss ww
(3.155)
= γ ss [ m + D ] , m = 0,..., M − 1
218
{h[n]} au fost aleşi astfel încât eroarea de estimare şi datele x [ n ]
sunt ortogonale, adică:
E { x [ ni − m ] e [ ni ]} = 0,0 ≤ m ≤ M − 1 (3.156)
unde
M −1
e [ n ] = d [ n ] − y [ n ] = d [ n ] − ∑ h [ m ]x [ n − m ] (3.157)
m =0
∑ h [ k ]γ [ m − k ] = γ [ m] , m ≥ 0
k =0
o xx xd (3.162)
220
∞
∑h
k=0
oa [k ] γ ww [ m - k ] = γ wd [m] , m ≥ 0 (3.164)
Dar
γ ww [m - k ] = σ w2 δ [m - k ] (3.165)
Ţinând cont de (3.165), ecuaţia (3.164) devine:
σ w2 how [m] = γ wd [m] , m ≥ 0 (3.166)
Fie +γ wd [ m ] partea lui γ wd [ m ] pentru m≥0 şi −γ wd [ m ] pentru m <0.
Rezultă atunci:
⎧ +γ wd [m]
⎪ , pentru m ≥ 0
how [m] = ⎨ σ w2 (3.167)
⎪ 0, pentru m < 0
⎩
Aplicând transformata Z relaţiei (3.167), rezultă:
∞
Z {how [ m] } = ∑ h [ m] z
m=- ∞
ow
−m
= H ow ( z ) =
∞
(3.168)
1 1
= ∑
σ w2 m=0
+
γ wd [m] z -m =
σ w2
⋅ Γ wd ( z )
+
221
Funcţia G ( z ) este partea de fază minimă obţinută din factorizarea
spectrală a lui Γ xx ( z )
Γ xx ( z ) = σ i2G ( z ) G ( z −1 ) , (3.169)
regiunea de convergenţă pentru G ( z ) fiind z > r1 cu r1 < 1 .
Pentru a putea folosi rezultatul din paragraful precedent,
filtrul optimal Wiener H o ( z ) se consideră a fi o cascadă formată
1
dintr-un filtru de albire caracterizat de funcţia de sistem şi un
G(z)
alt filtru caracterizat de funcţia de sistem H ow ( z ) , a cărui ieşire
y [ n ] este identică cu ieşirea filtrului Wiener optimal.
Deoarece
∞
y [ n ] = ∑ how [ k ] w [ n − k ] (3.170)
k =0
∑ h [ k ]γ [ m − k ] = γ [ m] , m ≥ 0
k =0
ow ww wd (3.171)
222
E { x[ni ]e[ni + m]} =
⎧∞ ⎛ ∞
⎞⎫
= E ⎨∑ g[ p ]w[ni − p ] ⎜ d [ni + m] − ∑ how [k ]w[ni + m − k ] ⎟ ⎬ =
⎩ p =0 ⎝ k =0 ⎠⎭
∞
⎡ ⎧ ∞
⎫⎤
∑ g [ p ] E
⎢ ⎨ ( w[ ni − p ]d [ ni + m ]) − ∑ how [k ]w[ni − p ][ w[ni + m − k ]⎬⎥ =
p =0 ⎣ ⎩ k =0 ⎭⎦
∞
⎡ ∞
⎤
∑
p =0
g [ p ] γ
⎢ wd
⎣
[ m + p ] − ∑
k =0
how [k ]γ ww [m + p − k ]⎥ = 0
⎦
(3.172)
Deoarece w[n] este zgomot alb, rezultă că γ ww [ m − k ] = 0 ,
cu excepţia cazului în care m = k . Din (3.171) se obţine
γ wd [ m ] γ wd [ m]
how [ m ] = = ,m ≥ 0 (3.173)
γ ww [ 0] σ w2
Transformata Z, a secvenţei how [ m ] se determină cu relaţia
∞ ∞
1
H ow ( z ) = ∑ how [ k ] z − k = ∑ γ [k ] z −k
(3.174)
k =0 σ 2
w k =0
wd
⎣ wd ( z ) ⎤⎦ = ∑ γ wd [ k ] z
+ −k
⎡Γ (3.176)
k =0
223
în forma
∞
w [ n ] = ∑ v [ k ]x [ n − k ] (3.174)
k =0
Atunci
γ wd [ k ] = E {w [ ni ] d [ ni + k ]} =
∞ ∞ (3.180)
= ∑ v [ m ]E { x [ ni − m ] d [ ni + k ]} = ∑ v [ m ]γ xd [ k + m ]
m=0 m =0
Γ xd ( z )
= V ( z −1 ) Γ xd ( z ) =
G ( z −1 )
Rezultă astfel
+
⎡ Γ (z) ⎤
1
H ow ( z ) = 2 ⎢ xd −1 ⎥ (3.182)
σw ⎢G( z )⎥
⎣ ⎦
Filtrul optimal Wiener are funcţia de sistem
+
H 0w ( z ) 1 ⎡ Γ (z) ⎤
Ho ( z ) = = 2 ⎢ xd −1 ⎥ (3.183)
G(z) σ wG ( z ) ⎢ G ( z ) ⎥
⎣ ⎦
224
În continuare se exprimă EPMM dată de (3.163) în funcţie de
caracteristicile în frecvenţă ale filtrului. Valoarea γ dd [ 0] a funcţiei
de autocorelaţie γ dd [ k ] în origine se determină astfel:
Deoarece
1
γ dd [ k ] =
2π j ∫
Γ dd ( z ) z k −1dz (3.184)
C
rezultă că
1 Γ dd ( z )
γ dd [ 0] =
2π j ∫
dz = σ d2 (3.185)
C z
unde C este un contur din regiunea de convergenţă al lui Γ dd ( z )
care conţine originea, parcurs în sens antiorar.
Al doilea termen al relaţiei (3.163) se transformă uşor în
domeniul frecvenţă, aplicând teorema lui Parseval [72]. Deoarece
ho [ k ] = 0, k < 0 rezultă
∞
1
∑ h [ k ]γ [ k ] = 2π j ∫
k =−∞
o xd C
H o ( z )Γ xd ( z −1 ) z −1dz (3.186)
225
Acest filtru este nerealizabil. El poate fi văzut ca un filtru de
netezire în care sunt folosite valorile semnalului din viitorul infinit
∑ h [ k ]γ [l − k ] = γ [l ] , −∞ < l < ∞
k =−∞
xx xd (3.189)
iar în domeniul Z
1 ⎡Γ dd ( z ) − H nc ( z ) Γ xd ( z −1 ) ⎤ z −1dz
2π j ∫
EPMM nc = ⎣ ⎦ (3.192)
C
226
predicţie Emf , pentru m = 1, 2,3.
Soluţie
Coeficienţii filtrului predictor se determină cu ajutorul
algoritmului Levison Durbin.
γ [1]
Se iniţializează pentru m = 1, a1[1] = − xx , E1f = (1− | a1[1] |2 )γ xx [0]
γ xx [0]
La pasul m se calculează
m −1
γ xx [m] + ∑ am−1[k ]γ xx [m − k ]
am [ m ] = − k =1
f
, Emf = (1− | am [m] |2 ) Emf −1
E m −1
am [k ] = am−1[k ] + am [m]am−1[m − k ], 1 ≤ k ≤ m − 1
γ xx [1] 1 f
m = 1, a1[1] = − = , E1 = (1 − (1/ 2) 2 )1 = 3/ 4
γ xx [0] 2
1 −1 1
A ( z ) = 1 + a1[1] z −1 = 1 + z ; K1 = a1[1] =
2 2
1
γ xx [2] + ∑ a1[ k ]γ xx [2 − k ]
γ xx [2] + a1[1]γ xx [1] 1
m = 2, a2 [2] = − k =1
=− =− ,
E1f E1f 2
2
9 ⎛3⎞
K 2 = a2 [2], E = (1 − (−1/ 2) ) E =
2
f
=⎜ ⎟ 2
1
f
16 ⎝ 4 ⎠
a2 [k ] = a1[k ] + a2 [2]a1[2 − k ], k = 1
1
a2 [1] = a1[1] + a2 [2]a1[1] =
4
1 −1 1 −2
A2 ( z ) = 1 + a2 [1]z −1 + a2 [2]z −2 = 1 + z − z
4 2
227
2
γ xx [3] + ∑ a2 [k ]γ xx [3 − k ]
m = 3, a3[3] = − k =1
=
E2f
γ xx [3] + a2 [1]γ xx [2] + a2 [2]γ xx [1] 1
=− f
=− ,
E 2 2
3
27 ⎛ 3 ⎞
K 3 = a3[3], E = (1 − (−1/ 2) ) E =
3
f 2
=⎜ ⎟
2
f
64 ⎝ 4 ⎠
a3[k ] = a2 [k ] + a3[3]a2 [3 − k ], 1 ≤ k ≤ 2
1
k = 1, a3[1] = a2 [1] + a3[3]a2 [2] =
2
5
k = 2, a3[2] = a2 [2] + a3[3]a2 [1] = −
8
1 −1 5 −2 1 −3
A3 ( z ) = 1 + a2 [1] z −1 + a2 [2] z −2 + a3[3] z −3 = 1 + z − z − z
2 8 2
1 1
m = 2, a1[1] = , a2 [2] =
4 2
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞
E = γ xx [0] ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ = σ w2
f
2 ⎜ ⎝ 4 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟
⎝ ⎠⎝ ⎠
229
3. Fie semnalul x[n] = s[n] + v[ n] , unde s[ n] este un proces
AR(1) caracterizat de ecuaţia cu diferenţe
s[n] = as[n − 1] + v[n], ,
unde a = 0,6 , v[n] este zgomot alb cu dispersia σ v2 = 0,64 , iar
w[n] este zgomot alb cu dispersia σ w2 = 1 . Procesele v[n] şi w[n]
sunt necorelate.
a) Să se determine funcţiile de autocorelaţie γ ss [m] şi γ xx [m] ;
b) Să se determine răspunsul la impuls al filtrului Wiener
FIR, de lungime M=2, pentru estimarea semnalului s[ n] din x[n] .
c) Să se determine eroarea pătratică medie minimă de
estimare, pentru M=2.
Soluţie
1
a) Γ ss ( z ) = V ( z )V ( z −1 ) H ( z ) H ( z −1 ) = σ v2 −1
=
(1 − az )(1 − az )
1 ⎛ ⎞
− z ⎜ ⎟
a 1 z z
= σ v2 = σ v2 2 ⎜
− ⎟
⎛ 1⎞ 1− a ⎜ z − a z − 1 ⎟
( z − a) ⎜ z − ⎟
⎝ a⎠ ⎝ a⎠
σ v2 ⎛ ⎞
m
⎛1⎞ σ v2 |m|
γ ss [m] = Z {Γ ss ( z )} =
−1
⎜ a u[ mm
] + ⎜ ⎟ u[ − m − 1] ⎟⎟ = a
1 − a 2 ⎜⎝ ⎝a⎠ ⎠ 1 − a 2
∑ h [k ][γ
k =0
o ss [l − k ] + γ ww [l − k ]] = γ ss [l ], l = 0,1
231
Γ xx ( z ) = X ( z ) X ( z −1 ) = ( S ( z ) + W ( z ))( S ( z −1 ) + W ( z −1 )) =
S ( z ) S ( z −1 ) + W ( z )W ( z −1 ) = Γ ss ( z ) + σ w2 ,
deoarece γ sw [ m] = γ ws [m] = 0
⎛ 1 −1 ⎞⎛ 1 ⎞
0,64 ⎜1 − z ⎟⎜1 − z ⎟
3 ⎠⎝ 3 ⎠
Γ xx ( z ) = −1
+ 1 = 1,8 ⎝
(1 − 0,6 z )(1 − 0,6 z ) (1 − 0,6 z −1 )(1 − 0,6 z )
1
1 − z −1
de unde rezultă σ w2 = 1,8 şi G ( z ) = 3
1 − 0,6 z −1
Γ xd ( z ) = Γ ss ( z )
Γ xd ( z ) 0,64 1 − 0,6 z
= ⋅ =
G ( z ) (1 − 0,6 z )(1 − 0,6 z ) 1 − 1 z
−1 −1
3
0,8
z
0,64 0,8 z
= = + 3
⎛ 1 ⎞ z − 0,6 1 − 1 z
(1 − 0,6 z −1 ) ⎜1 − z ⎟
⎝ 3 ⎠ 3
+
⎡ Γ ( z) ⎤ 0,8 z
⎢ xd −1 ⎥ =
⎢⎣ G ( z ) ⎥⎦ z − 0,6
4
1 0,8 z 9
H o ( z) = =
1 1
z − 0,6 1 − z −1
1 − z −1
1,8 3 3
1 − 0,6 z −1
n
4⎛1⎞
ho [n] = ⎜ ⎟ u[n]
9⎝ 3⎠
232
1 ⎡Γ dd ( z ) − H o ( z ) Γ xd ( z −1 ) ⎤z −1dz =
2π j ∫
EPMM ∞ = ⎣ ⎦
C
= ∑
toţi polii din C
{ }
Rez ⎡⎣ Γ dd ( z ) − H o ( z ) Γ xd ( z −1 ) ⎤⎦ z −1 =
⎛ 4 ⎞
1 ⎜ 0,64 9 0,64 ⎟ −1
2π j ∫ C ⎜ (1 − 0,6 z −1 )(1 − 0,6 z ) 1 − 1 z −1 (1 − 0,6 z −1 )(1 − 0,6 z ) ⎟
⎜ − ⎟ z dz =
⎝ 3 ⎠
0,356
−1 −
1 0,356 z 1 0,6
∫
2π j ⎛ 1 −1 ⎞
C
dz =
2π j ⎛∫ C 1 ⎞⎛ 1 ⎞
dz =
⎜1 − z ⎟ (1 − 0,6 z ) ⎜ z − ⎟⎜ z −
⎝ 3 ⎠ ⎝ 3 ⎠⎝ 0,6 ⎟⎠
0,356
−
0,6
Re z = 0, 445
⎛ 1 ⎞⎛ 1 ⎞
⎜ z − ⎟⎜ z −
⎝ 3 ⎠⎝ 0,6 ⎟⎠ z = 1
3
233
0,64 0,3555
= −1
=
2(1 − 0,3 z − 0,3 z ) ⎛ 1 −1 ⎞⎛ 1 ⎞
⎜1 − z ⎟⎜1 − z ⎟
⎝ 3 ⎠⎝ 3 ⎠
care, evident este necauzal.
Eroarea pătratică medie minimă se determină cu relaţia (3.192)
1 ⎡Γ dd ( z ) − H nc ( z ) Γ xd ( z −1 ) ⎤ z −1dz =
EPMM nc =
2π j ⎣ ∫ C ⎦
1 ⎡ Γ ss ( z ) − H nc ( z ) Γ ss ( z −1 ) ⎤ z −1dz =
∫
2π j ⎣ C ⎦
1
∫ ⎡Γ
⎣ ( z ) (1 − H nc ( z )) ⎤⎦ z −1dz =
2π j C
ss
ESTIMAREA PARAMETRILOR
Fig. 4.1. Schema bloc a unui sistem de transmisiune pentru estimarea unui
parametru aleator θ sau determinist a
236
Cele mai frecvente funcţii de cost folosite în aplicaţii sunt:
- funcţia de cost pătratul erorii;
- funcţia de cost uniformă.
În primul caz, funcţia de cost este definită prin relaţia:
( )
2
C (ε ) = θˆ − θ (4.5)
având reprezentarea din figura 4.2.
Atât din relaţia (4.5), cât şi din figura 4.2 rezultă că în acest caz
funcţia de cost ţine seama de faptul că importanţa erorii pentru
destinatar creşte odată cu creşterea erorii.
În al doilea caz, funcţia de cost este definită prin relaţia:
⎧ E
⎪⎪ 0, ε ≤
C (ε ) = ⎨ 2 (4.6)
⎪1, ε > E
⎪⎩ 2
având reprezentarea din figura 4.3.
Atât din relaţia (4.6), cât şi din figura 4.3 rezultă că, în cazul
funcţiei de cost uniforme, erorile mai mici decât E / 2 nu au nici o
importanţă, în timp ce erorile mai mari decât E / 2 au aceeaşi
importanţă pentru destinatar, indiferent de mărimea lor.
Pragul E este impus de aplicaţia în care se realizează estimarea
parametrului, fiind în general de valori suficient de mici.
237
Fig. 4.3. Reprezentarea grafică a funcţiei de cost uniforme
238
defavorabil când −∞ < θ < ∞ , atunci valoarea medie a costurilor,
numită risc şi notat cu R , se poate determina cu relaţia:
∞
R = ∫ ∫ C (ε ) w(r ∩ θ )dVdθ (4.10)
Δ −∞
( ) ∫( )
2
I θˆ, r = θˆ − θ w(θ | r )dθ (4.14)
−∞
239
∂I (θˆ, r )
=0 (4.15)
∂θˆ
Înlocuind (4.14) în relaţia (4.15), rezultă:
∞ ∞
θˆ ∫ w(θ | r )dθ = ∫ θ w(θ | r )dθ (4.16)
−∞ −∞
∫ w(θ | r )dθ = 1
−∞
(4.17)
240
Riscul dat de relaţia (4.21) devine minim odată cu maximul integralei:
E
θˆ +
2
∫
E
w(θ | r )dθ (4.22)
θˆ −
2
∫ E
w(θ | r )dθ ≅ w(θ | r ) ∫
E
dθ = E ⋅ w(θ | r ) = I (θ , r ) (4.23)
θˆ − θˆ −
2 2
rezultă:
w(θ ) w(r | θ )
w(θ | r ) = (4.28)
w(r )
Înlocuind (4.28) în relaţia (4.25), rezultă o nouă relaţie de
calcul pentru estimatul maximum aposteriori, adică:
∂ ln w( r | θ ) ∂ ln w(θ )
+ =0 (4.29)
∂θ θ =θˆmap ∂θ θ =θˆmap
∫ α ⋅ δ (α − a)dα = a
−∞
(4.31)
242
rezultat evident corect, dar inutil.
Pentru a determina un estimat şi în cazul unui parametru
determinist, se defineşte o funcţie de plauzibilitate de forma:
L(a ) = w(r | a ) (4.32)
σ ε2 θ = (θˆ - θ ) - b 2(θ )
2
(4.49)
respectiv:
2
σ ε2 = ( aˆ - a) - b 2(a )
a
(4.50)
Deşi estimatul cel mai bun este cel nedeplasat şi cu o dispersie
a erorii de estimare minimă, în cazurile practice se preferă un estimat
cu deplasare şi dispersie a erorii de estimare rezonabil de mici, în locul
unui estimat cu o deplasare nulă şi cu o dispersie a erorii de estimare
mare.
245
4.4. Determinarea estimatului unui parametru
invariant în timp în cazul observării la momente
discrete de timp
⎝ 2 π σ n ⎠
247
Înlocuind (4.60) şi (4.61) în relaţia (4.28), se obţine:
N
N 1 θ2
⎛ 1 ⎞ − 2σ n2 ∑ ( ri −θ ) 2
1 − 2
2σ θ 1
w ( θ | r ) = ⎜⎜ ⎟⎟ e i =1
⋅ e ⋅ (4.62)
⎝ 2π σn ⎠ 2 πσ θ w (r )
sau:
w ( θ | r ) = K ( r ) e- p θ qθ
2+
(4.63)
unde:
N N
1
⎛ ⎞ − 2 ∑ ri 2
1 1 1
K ( r ) = ⎜⎜ ⎟ e 2σ n i =1 (4.64)
⎝ 2 πσ n ⎟⎠ 2 π σ θ w (r )
1⎛ 1 N ⎞
p= ⎜ + 2 ⎟ (4.65)
2 ⎝ σθ σ n ⎠
2
N
1
q=
σ n2
∑r
i =1
i (4.66)
-∞
248
∞
∫θe
-p θ 2 + q θ
dθ
θˆ = - ∞∞ (4.69)
∫e
-p θ 2 + q θ
dθ
-∞
p
θˆ = ∞
(4.73)
∫e
-t 2
dt
-∞
Dar:
∞
∫te dt = 0
-t 2
(4.74)
-∞
şi deci:
q
θˆ = (4.75)
2p
Înlocuind (4.65) şi (4.66) în relaţia (4.75), rezultă:
249
σ θ2 1 N
θˆ =
σn N
2 ∑r i (4.76)
σθ +
2 i =1
N
Dacă numărul eşantioanelor prelevate din semnalul recepţionat
este suficient de mare, atunci se realizează condiţia:
σ n2
< < σ θ2 (4.77)
N
În cazul satisfacerii relaţiei (4.77), relaţia (4.76) devine:
N
1
θˆ ≈
N
∑r
i =1
i (4.78)
2 σ 2n ∑ i
2
N (r - a )
−
1
⎛ 1 ⎞
w ( r | a ) = ⎜⎜ ⎟⎟ e i =1
(4.82)
⎝ 2 π σ n ⎠
( )
N
1
2 πσ n - ∑(r -a)
2
ln w ( r | a ) = - N ln i (4.83)
2σ 2
n i =1
unde:
T
ri = ∫r (t ) vi (t ) dt , i = 1, N (4.90)
0
Dacă se alege:
f (t )
ν 1 (t ) = (4.91)
E
unde
T
E = ∫ f 2 (t ) dt (4.92)
0
252
uniformă. Mai mult, celelalte funcţii ortonormate vi (t ), i ≥ 2 , nu
trebuie cunoscute.
Într-adevăr, înlocuind (4.87) în (4.90) şi ţinând cont de (4.91),
rezultă:
T T
1
r1 = ∫r (t )ν 1 (t ) dt =
0 E ∫[θ
0
f (t ) + n (t ) ] f (t ) dt =
θ T
1
T
E ∫ E ∫0
2
= f (t ) dt + n(t ) f (t ) dt = (4.93)
0
T
1
=θ E+
E ∫ n (t ) f (t ) dt
0
Pentru i ≥ 2 , rezultă:
T T
ri = ∫ [ θ f (t ) + n (t ) ] vi (t ) dt = ∫ ⎡⎣ θ v1 (t ) E + n (t ) ⎤⎦ vi (t ) dt =
0 0
T T T
=θ E ∫ v1 (t )vi (t ) dt + ∫ n (t ) vi (t ) dt = ∫ n (t ) vi (t ) dt
0 0 0
(4.94)
deoarece:
T
∫v (t ) v (t ) dt = 0 ,
0
1 i pentru i ≥ 2 (4.95)
253
N
w ( r | θ ) = ∏w1 (ri | θ ) (4.97)
i =1
⎧ 1
T
⎫
= m1 ⎨θ
⎩
E+
E ∫0 n ( t ) f ( t ) dt ⎬=
⎭
(4.100)
T
1
=θ E+
E ∫0
n ( t ) f ( t ) dt = θ E
1 ⎧⎪ ⎡ T ⎤ ⎫⎪
2 (4.101)
= m1 ⎨ ⎢ ∫ n ( t ) f ( t ) dt ⎥ ⎬
E ⎪⎩ ⎣ 0 ⎦ ⎪⎭
Dacă zgomotul se poate considera alb pe canalul respectiv,
înlocuind pătratul unei integrale cu produsul a două integrale identice,
dar cu variabile de integrare distincte, şi ţinând cont că funcţia de
254
autocorelaţie a zgomotului alb este proporţională cu distribuţia Dirac,
rezultă:
1 ⎧ ⎫
not . T T
D { ( r1 | θ ) } = σ = m1 ⎨ ∫ n(t ) f (t )dt ∫ n(u ) f (u )du ⎬ =
2
n
E ⎩0 0 ⎭
T T
1
= ∫ ∫ f (t ) f (u )n(t )n(u )dtdu =
E00
T T T
1 S
= ∫ ∫ f (t ) f (u )S0δ (u − t )dtdu = 0 ∫f
2
(t ) dt = S0 (4.102)
E00 E 0
D{(r1 | θ )} = σ = 0 ∫ F ( jω ) d ω
2 2
(4.103)
2π E −ω0
n
w1 ( r1 | θ ) = e
-
2 σ n2
r1 - θ E
(4.104)
2 πσ n
unde dispersia σ n2 se înlocuieşte cu S0 , în cazul zgomotului alb, sau
se calculează cu relaţia (4.103), în cazul zgomotului cvasialb.
Înlocuind (4.104) în (4.99), rezultă:
⎛ E
1 ⎞ r1 E
θˆ map ⎜ 2 ⎟
= + (4.105)
⎝ σ σ θ ⎠
2
n σ 2
n
255
T
1
r1 =
E ∫ r ( t ) f ( t ) dt
0
(4.106)
θˆ map = σ n2 T ∫0
r ( t ) dt , (4.117)
σθ +
2
T
respectiv:
T
1
aˆ mp = ∫ r ( t ) dt (4.118)
T 0
Comparând relaţia (4.76) cu (4.117) şi relaţia (4.84) cu (4.118),
rezultă că, în cazul estimării unui parametru invariant în timp, pentru
observarea continuă se pot folosi relaţiile de la observarea la momente
de timp discrete, înlocuind suma cu o integrală definită, la care limitele
de integrare sunt egale cu 0 , respectiv T .
unde:
T
ri = ∫ r ( t ) vi ( t ) dt , (4.122)
0
{( }
⎧⎪ ⎡ T ⎤ ⎫⎪
2
)
2
D { ri } = m1 ri - ri = m1 ⎨ ⎢ ∫ n (t ) vi (t ) dt ⎥ ⎬ (4.126)
⎩⎪ ⎣ 0 ⎦ ⎭⎪
Înlocuind pătratul unei integrale cu produsul a două integrale
identice, dar cu variabile de integrare diferite şi ţinând cont că funcţia
de autocorelaţie a zgomotului alb este proporţională cu distribuţia
Dirac, din (4.126) rezultă:
⎧T T
⎫
D { ri } = m1 ⎨ ∫ n (t ) vi (t ) dt ∫ n (u ) vi (u ) du ⎬ =
⎩0 0 ⎭ (4.127)
T T
= ∫ ∫ vi (t ) vi (u ) n (t ) n (u ) dt du =
0 0
T T
= S0 ∫ ∫ v (t ) v (u ) δ (u - t ) dt du
0 0
i i
260
variabilele (ri | θ ) .
Rezultă atunci că:
N
w (r1 , r2 ,..., rN | θ ) = w (r | θ ) = ∏ w1 (ri | θ ) , N → ∞ (4.130)
i =1
∑(r -r )
2
N - 1
⎛ 1 ⎞ 2 S0 i i
w (r | θ ) = ⎜ , N → ∞ (4.131)
⎜ 2 π S ⎟⎟
i =1
e
⎝ 0 ⎠
Deoarece:
1 N
( )
N N
2 1 1
∑
2 S0 i = 1
ri - ri =
2 S0
∑ ri2 -
i =1 S0
∑r r +
i =1
i i
N
(4.132)
1
∑( r )
2
+ i , N →∞
2 S0 i =1
∑ r r = ∑ r ∫ s (t , θ ) v (t ) dt =
i =1
i i
i =1
i i
0
T T
(4.133)
N
= ∫ s (t , θ ) ∑ ri vi (t ) dt = ∫ s (t , θ ) r (t ) dt , N → ∞
0 i =1 0
261
N
1
ln w (r | θ ) = - N ln 2 π S0 -
2 S0
∑r
i =1
i
2
+
T T
(4.135)
1 1
+ ∫0 s (t , θ ) r (t ) dt - 2 S0 ∫s (t , θ )dt , N → ∞
2
S0 0
262
T
1
θˆ map = S0 ∫ r (t ) f (t ) dt , (4.139)
E+ 0
σ θ2
adică aceeaşi relaţie (4.107) pentru cazul zgomotului alb, când
σ n2 = S0 .
Particularizând relaţia (4.138) pentru cazul estimării liniare,
adică atunci când este satisfăcută relaţia (4.86) rezultă estimatul de
maximă plauzibilitate dat de relaţia (4.112).
263
∞
(4.142)
εθ = ∫ ∫ (θˆ - θ ) w ( r ∩ θ ) dθ dV = 0
-∞ Δ
deoarece s-a considerat cazul unui estimat nedeplasat, pentru care are
loc relaţia (4.38).
Valoarea pătratică medie a erorii de estimare, calculată, de
asemenea, în raport cu ambele variabile aleatoare r si θ se
calculează cu relaţia:
∞
(4.143)
( )
2
ε θ = ∫ ∫ θˆ − θ w ( r ∩ θ ) dθ dV
2
-∞ Δ
Deoarece:
∞
(4.146)
∫ ∫w ( r ∩ θ ) dθ dV = 1
-∞ Δ
rezultă:
ˆ − θ ) ∂w ( r ∩ θ ) dθ d V = 1
∞
(4.147)
∫∫ (θ
∂θ
-∞ Δ
sau, echivalent:
264
2
⎡ ∞ ⎤
∞ ⎢
⎣
∫∫ f ( r , θ ) g ( r , θ ) dθ dV ⎥
⎦
∫-∞ ∫Δ f (r ,θ )dθ dV ≥
2 -∞ Δ
∞ (4.149)
∫ ∫g (r ,θ )dθ dV
2
-∞ Δ
( θˆ - θ ) w (r ∩ θ ) = f (4.150)
not .
2
(r ,θ )
2
∫ ∫( )
2
ε θ2 = θˆ − θ w ( r ∩ θ ) dθ dV = ∫ ∫ f ( r ,θ ) dθ dV
2
(4.151)
-∞ Δ -∞ Δ
⎢⎣ ⎥ w ( r ∩ θ ) = g ( r ,θ )
2
(4.155)
∂θ ⎦
Cu (4.150) şi (4.155), relaţia (4.154) devine:
∞
∫ ∫ f ( r ,θ ) g (r ,θ )dθ dV = 1
-∞Δ
(4.156)
Înlocuind relaţiile (4.155) şi (4.156) în (4.149) şi ţinând cont de
(4.144) şi (4.151), rezultă:
265
1
σ ε2θ ≥ ∞ 2
⎡ ∂ ln w(r ∩ θ ) ⎤ (4.157)
∫- ∞ ∫Δ ⎢⎣ ∂θ ⎥⎦ w(r ∩ θ )dθ dV
respectiv:
1
σ ε2 ≥
θ
2 (4.158)
⎡ ∂ ln w( r ∩ θ ) ⎤
⎢⎣ ∂θ ⎥⎦
unde medierea se calculează în raport cu ambele variabile aleatoare r
şi θ .
Inegalitatea (4.158) este cunoscută sub numele de inegalitatea
Cramér - Rao şi dă limita inferioară a dispersiei erorii de estimare.
Este binecunoscut faptul că în inegalitatea lui Schwartz-
Buniakovski se obţine egalitatea atunci când:
g (r ,θ ) = kf (r ,θ ) (4.159)
unde k este o constantă.
Ţinând cont de notaţiile (4.150) şi (4.155), conform relaţiei
(4.159), respectiv dacă:
∂ ln w( r ∩ θ ) (4.160)
= k (θˆ - θ )
∂θ
inegalitatea(4.158) devine egalitate.
Prin definiţie, un estimat care satisface relaţia (4.160) se
numeşte estimat eficient şi va fi notat cu θˆ . Estimatul eficient
ef
∫-∞ ∫Δw ( r ∩ θ ) ⎢⎣ ∂θ ⎥ dθ dV +
⎦
(4.164)
∂ ln w ( r ∩ θ )
∞ 2
+ ∫ ∫ w(r ∩θ ) dθ dV = 0,
-∞ Δ
∂θ 2
∂ 2 ln w(r ∩ θ )
cu condiţia ca să fie absolut integrabilă în raport cu
∂θ 2
θ si r .
Din (4.164) rezultă atunci:
(4.165)
⎡ ∂ ln w( r ∩ θ ) ⎤2 = − ⎡ ∂ 2 ln w(r ∩ θ ) ⎤
⎢⎣ ∂θ ⎢ ⎥⎦ ∂θ 2 ⎥
⎣ ⎦
Înlocuind (4.165) în (4.158) se obţine o formă echivalentă a
marginii Cramér- Rao, de forma:
2 1
σ ε2θ = ⎡⎣ θˆ - θ ⎤⎦ ≥ − (4.166)
⎡ ∂ 2 ln w ( r ∩ θ ) ⎤
⎢ ⎥
⎣ ∂θ 2 ⎦
Eroarea de estimare a unui parametru determinist, a ,
necunoscut receptorului se poate obţine uşor dacă se consideră
parametru determinist a o variabilă aleatoare α cu o densitate de
repartiţie egală cu distribuţia Dirac, adică:
267
w(α ) = δ (α - a ) (4.167)
Deoarece totdeauna se poate scrie:
w ( r ∩ α ) = w (α ) w ( r | α ) , (4.168)
cu relaţia (4.167), rezultă:
w ( r ∩ α ) = w ( r | α ) δ (α - a)
Considerând şi în acest caz un estimat nedeplasat, valoarea
medie a erorii se determina cu relaţia:
∞
εα = ∫ ∫ (αˆ - α ) w ( r ∩ α ) dα dV =
-∞ Δ
∞ (4.169)
∫ ∫ (αˆ - α ) w ( r | α ) δ (α - a) dα dV =
-∞ Δ
= ∫ ( aˆ - a ) w ( r | a ) dV = ε a = 0
Δ
deoarece s-a considerat cazul unui estimat nedeplasat, pentru care este
adevărată relaţia (4.40).
Trebuie remarcat că, în cazul estimării unui parametru
determinist, medierea se efectuează numai în raport cu r .
Urmând aceleaşi etape de calcul şi ţinând cont de proprietatea
de filtrare a distribuţiei Dirac, se ajunge, în cele din urmă, la expresia
dispersiei erorii de estimare a unui parametru determinist, de forma:
1 (4.170)
σ ε2a = [ aˆ - a ] ≥
2
2
⎡ ∂ ln w(r | a ) ⎤
∫Δ ⎢⎣ ∂a ⎥⎦ w(r | a )dv
respectiv:
1 (4.171)
σ ε2 = [ aˆ - a ] ≥
2
a 2
⎡ ∂ ln w(r | a ) ⎤
⎢⎣ ∂a ⎥⎦
În mod analog, dacă este îndeplinită condiţia:
268
∂ ln w (r | a ) (4.172)
= k ( aˆ − a )
∂a
unde k este o constantă, se obţine un estimat eficient, notat âef , care
determină o dispersie minimă a erorii de estimare, adică:
2 1
σ ε2aef = ⎡⎣ aˆef - a ⎤⎦ =
⎡ ∂ ln w ( r | a ) ⎤
2 (4.173)
⎢⎣ ∂a ⎥⎦
Relaţia (4.171) se poate scrie într-o formă echivalentă, dacă se
pleacă de la relaţia evidentă:
∫
Δ
w ( r | a ) dV = 1 (4.174)
⎡ ∂ 2 ln w(r | a ) ⎤ (4.175)
⎢ ∂a 2 ⎥
⎣ ⎦
269
(4.61), atunci cu (4.104) si (4.61) se poate scrie:
w1 (r1 ∩ θ ) = w1 (r1 | θ ) ⋅ w(θ ) =
1 -
1
( r1 - θ E ) 2 1 2
- θ 2
(4.177)
e 2 σ n2 e 2 σθ
2π σ n 2 πσ θ
de unde:
1 θ 2 (4.178)
ln w1 (r1 ∩ θ ) = − ( r1 - θ E ) - +C 2
2 σ n2 2 σ θ2
unde C este o constantă, care nu depinde de θ .
Derivând relaţia (4.178) în raport cu θ , rezultă:
∂ ln w1 (r1 ∩ θ ) E θ (4.179)
= 2 (r1 − θ E ) − 2
∂θ σn σθ
Înlocuind relaţia (4.105) în (4.179), rezultă:
∂ ln w1 ( r1 ∩ θ ) ⎛ E 1 ⎞
= ⎜⎜ 2 + 2 ⎟⎟ ( θˆmap - θ ) (4.180)
∂θ ⎝ σn σn ⎠
Ţinând cont de relaţia (4.160), rezultă din (4.180) că, în cazul
estimării liniare, s-a obţinut un estimat eficient, în care constanta k are
valoarea:
E 1 (4.181)
k= 2 + 2
σn σn
Ţinând cont de (4.181), relaţia (4.179) devine:
∂ ln w1 (r1 ∩ θ ) E (4.182)
= 2 r1 - kθ
∂θ σn
2
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E 2 2k E
iar ⎢⎣ ⎥ = r − r1θ + k 2 θ 2 (4.183)
∂θ ⎦ σn
4 1
σn2
270
Ţinând cont de relaţiile (4.100), (4.102) sau (4.103), se poate
scrie:
[ ] 2
r12 = σ n2 + r1 = σ n2 + Eθ 2 (4.185)
Cu (4.185) şi (4.100), relaţia (4.184) devine
2
E ⎛ E
2
⎞ 2 (4.186)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ ⎜ ⎟⎟ θ
⎢⎣ =
⎥⎦ σ + ⎜σ - k
∂θ 2
n ⎝ n
2
⎠
Înlocuind relaţia (4.181) în (4.186), rezultă:
2 (4.187)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E θ2
⎢⎣ = +
⎥⎦ σ 2 σ 4
∂θ n θ
2 (4.188)
⎡ ∂ ln w1 (r1 ∩ θ ) ⎤ E θ2 E 1
⎢⎣ ⎥⎦ = + = +
∂θ σ n σ θ σ n σ θ2
2 2 2
271
unde C1 este o constantă ce nu depinde de parametrul a .
Derivând relaţia (4.190) în raport cu a , rezultă:
∂ ln w1 ( r1 | a ) E (4.191)
= 2 ( r1 - a E )
∂a σn
Pe de altă parte, din relaţiile (4.90), (4.91), (4.92) si 4.112) se
obţine:
1 T 1 T r (4.192)
aˆ mp = ∫ r (t ) f ( t ) dt = ∫ r (t )v1 ( t ) dt = 1
E0 E 0 E
Cu (4.192), relaţia (4.191) devine:
∂ ln w1 (r1 | a ) E (4.193)
= 2 ( aˆ mp − a )
∂a σn
Comparând relaţia (4.172) cu (4.193) rezultă că, şi în cazul
parametrului determinist, s-a obţinut un estimat eficient, în care
constanta k are valoarea:
E (4.194)
k= 2
σn
În cazul estimatului eficient, dispersia erorii de estimare se
calculează cu relaţia (4.173).
Ţinând cont de (4.194), relaţia (4.191) devine:
∂ ln w(r1 | a ) E (4.195)
= 2 r1 - ka
∂a σn
iar
⎡ ∂ ln w1 (r1 | a ) ⎤
2
E 2 2 ak E 2 2
(4.196)
⎢⎣ =
⎥⎦ σ 4 r - r + k a
∂a n
1
σ n2 1
272
Dar
(4.198)
r12 = σ n2 + ⎣⎡ r1 ⎦⎤ = σ n2 + Ea 2 ⎫⎪
2
⎬
r1 = Ea ⎪⎭
Cu (4.194) şi (4.198), relaţia (4.197) devine:
2 2 (4.199)
⎡ ∂ ln w1 (r1 | a ) ⎤ E ⎛ E ⎞ 2
⎢⎣ =
⎥⎦ σ 2 + ⎜ - k ⎟a
∂a n σ
⎝ n
2
⎠
Înlocuind (4.194) în (4.199), rezultă:
2 (4.200)
⎡ ∂ ln w1 (r1 | a ) ⎤ E
⎢⎣ ∂a ⎥⎦ = σ 2
n
∂θ
=
S0 ∫ [ r (t ) - s ( t ,θ ) ]
0
∂θ
dt +
∂ ln w ( θ ) (4.203)
+
∂θ
273
Pentru a obţine expresia ce intervine în inegalitatea Cramér-
Rao, se derivează din nou în raport cu θ relaţia (4.203), rezultând:
∂ 2 ln w( r ∩ θ ) 1 ∂ 2 s (t ,θ )
T
∂θ 2
=
S0 ∫0 [ r ( t ) - s(t , θ )] ∂θ 2 dt −
2
1 ⎡ ∂s ( t , θ ) ⎤ ∂ 2 ln w ( θ )
T
- ∫⎢ ⎥⎦ dt + (4.204)
S0 0 ⎣ ∂θ ∂θ 2
sau, ţinând cont de (4.119), se poate scrie echivalent că:
∂ ln w( r ∩ θ ) 1 ∂ s ( t ,θ )
2 T
2
∂θ 2
= ∫
S0 0
n (t )
∂θ 2
dt −
(4.205)
2
⎡ ∂ s ( t ,θ ) ⎤ ∂ ln w ( θ )
T 2
1
- ∫⎢ ⎥⎦ dt +
S0 0 ⎣ ∂θ ∂θ 2
Mediind relaţia (4.205) în raport cu r şi ţinând cont că zgomotul
n(t ) are valoare medie nulă, n(t ) = 0 , rezultă:
2 T 2 2
∂ ln w(r ∩ θ ) = − 1 ⎡ ∂s (t ,θ ) ⎤ dt + ∂ ln w( θ ) (4.206)
∂θ 2 ∫
S 0 0 ⎢⎣ ∂θ ⎥⎦ ∂θ 2
Efectuând o nouă mediere în raport cu θ , se obţine:
2 (4.207)
∂ ln w( r ∩ θ ) ⎡ ∂ s (t ,θ ) ⎤ ∂ ln w( θ )
2 T 2
1
∂θ 2
=-
S0 ∫0 ⎢⎣ ∂θ ⎥⎦ dt +
∂θ 2
Înlocuind (4.207) în relaţia (4.166), rezultă:
(
σ ε2 = θˆ - θ
θ
)≥
2 1
2
(4.208)
⎡ ∂s (t ,θ ) ⎤ ln w( θ )
T
1 ∂
2
∫ ⎢
S 0 0 ⎣ ∂θ ⎦ ⎥ dt -
∂θ 2
unde medierile din membrul drept al inegalităţii se efectuează în raport
cu parametrul θ .
Pe de altă parte, conform relaţiei (4.160), în (4.208) se obţine
274
semnul egalităţii, atunci când:
∂ ln w(r ∩ θ ) = - k (4.209)
2
∂θ 2
respectiv, atunci când este îndeplinită condiţia:
1
T
∂ s (t ,θ )
2
1
T 2
⎡ ∂s (t,θ ) ⎤ ∂ ln w(θ ) (4.210)
∫
S0 0
n (t )
∂θ 2
dt -
S0 ∫0 ⎢⎣ ∂θ ⎥⎦ dt + ∂θ 2 = - k
În cazul unui parametru determinist, marginea inferioară a
dispersiei erorii de estimare se calculează cu inegalitatea Cramér -
Rao, dată de relaţia (4.175).
Pe de altă parte, înlocuind în (4.135) parametrul aleator θ cu
parametrul determinist a şi derivând apoi în raport cu a , se obţine:
∂ ln w (r | a ) 1
T
∂s (t , a ) (4.211)
[ ]
S0 ∫0
= r ( t ) − s(t , a ) dt
∂a ∂a
Printr-o nouă derivare în raport cu a, rezultă:
2 T 2
∂ ln w( r | a ) 1 ∂ s (t , a )
∂a 2
=
S0 ∫0 [ r (t ) - s(t , a ) ] ∂a 2 dt − (4.212)
T 2
1 ⎡ ∂s (t , a ) ⎤
-
S0 ∫0 ⎢⎣ ∂a ⎥⎦ dt
Efectuând medierea în raport cu r şi ţinând seama de relaţia
(4.120) şi de faptul că valoarea medie a zgomotului este nulă,
rezultă:
2
∂ ln w( r | a )
T
1 ⎡ ∂s (t , a ) ⎤
2
(4.213)
S ∫ ⎢⎣ ∂a ⎥⎦
= − dt
∂a 2 0 0
pentru i = 1,2...., M .
276
Relaţia (4.220) reprezintă, de fapt, un sistem de M ecuaţii, din
care se deduc estimaţii maximum aposteriori θˆimap , i = 1, M .
Dacă parametrii aleatori θ i , i = 1, M sunt, în plus, repartizaţi
după o lege normală, cu valoare medie nulă şi dispersie σ θ2 , atunci
i
se poate scrie:
1 2
- θ i2
(4.221)
w1 (θi ) = e 2 σ θi
2π σ i
pentru i = 1, M .
Dacă parametrii sunt mărimi deterministe a1 , a2 ,......, aM ,
necunoscute la recepţie, vectorul corespunzător acestor parametri este:
a = ( a1 , a2 , ... , aM ) (4.222)
Ţinând seama de relaţia (4.138), rezultă estimaţii de maximă
plauzibilitate, determinaţi din relaţia:
T
∂s (t , a ) (4.223)
∫0 [r (t ) − s (t , a ) ] dt a = aˆ
= 0, i = 1, M
∂ai mp
277
parametrul aleator θ , care are lege de repartiţie normală,
monodimensională, cu valoare medie nulă şi dispersie σ θ2 , să se
determine ecuaţia care dă estimatul maximum aposteriori. Caz
particular s (θ ) = θ 2 .
Soluţie
Eşantioanele prelevate din semnalul recepţionat sunt de forma:
ri = s (θ ) + ni , i = 1, N
unde ri = r (ti ) Dacă ni este repartizat după o lege normală
monodimensională şi între θ şi ni nu există nici o dependenţă
statistică, înseamnă că şi eşantioanele ri vor fi repartizate după o lege
normală monodimensională, pentru care va trebui, însă, să se
determine valoarea medie şi dispersia.
ri = m1{s (θ ) + ni } = s (θ ) + ni = s (θ )
D { ri } = m1 { ( r - r ) } = m { [s (θ ) + n - s (θ ) ] } = n = σ
i i
2
1 i
2 2
i
2
n
Rezultă atunci:
1
1 − [ ri − s (θ )]2
2σ n2
w1 (ri | θ ) = e
2πσ n
Eşantioanele ri fiind statistic independente, se poate scrie:
N 2
N ⎛ 1 ⎞ 2 σ n2 ∑ ⎡ r - s (θ ) ⎤
N
−
1
i =1 ⎣ i ⎦
w ( r | θ ) = ∏ w1 (ri | θ ) = ⎜⎜ ⎟⎟ e
i =1 ⎝ 2π σn ⎠
Pe de altă parte:
1 θ2
w1 ( θ ) = e
-
2 σ θ2
2 π σθ
Înlocuind w(r | θ ) şi w1 (θ ) în relaţia (4.29), rezultă:
278
σ θ2 ⎡ N ⎤ ds (θˆmap )
θˆmap = ∑ r
σ n2 ⎢⎣ i = 1 i
- Ns ( θˆ )
map ⎥
⎦ dθˆmap
În cazul particular considerat, rezultă:
σ θ2 ⎡ N ⎤ ˆ
2 ⎢∑ i
θˆmap = 2 r - Nθˆmap
2
⎥ θ map
σ n ⎣ i =1 ⎦
O primă soluţie este θˆmap = 0 , care, fiind independentă de ri ,
semnifică faptul că acest lucru ar avea loc dacă σ n2 ar fi suficient de
mare şi, deci, informaţia apriori asupra lui θ este mai consistentă
decât cea obţinută din măsurători.
Celelalte două valori posibile sunt date de relaţia:
1 N
σ n2
θˆ map =±
N
∑
i =1
ri −
2 Nσ θ2
Dacă ultimele două valori sunt reale, se va considera estimatul
maximum aposteriori cel care maximizează densitatea de repartiţie
w ( r | θ ) ⋅ w1 ( θ )
w ( θ |r ) = .
w(r )
⎧λ e − λθ , θ > 0, λ cunoscut
w(θ ) = ⎨
⎩ 0, θ ≤ 0
Să se determine estimatul în cazul funcţiei de cost uniforme şi
279
în cazul funcţiei de cost pătratul erorii.
Soluţie
Conform relaţiei (4.28) rezultă:
w ( r | θ ) w (θ ) θ r - θ λ e - λ θ λ
w (θ | r ) = = e = θ r e - (1 + λ ) θ
w (r ) r! w (r ) w (r ) r !
Pe de altă parte, din condiţia de normare rezultă:
∞ ∞
λ
∫ w(θ | r )dθ = 1 ⇒ w(r )r !∫ θ
r − (1+ λ )θ
e dθ = 1
0 0
w(r )r ! w(r )r ! r!
⇒ =
λ λ (1 + λ ) r +1
rezultă că:
⎧ (1 + λ ) r +1 r -(1 + λ )θ
⎪ θ e , θ >0
w (θ | r ) = ⎨ r!
⎪ 0 , θ ≤0
⎩
Estimatul maximum aposteriori se determină din relaţia (4.25).
280
ln w(θ | r ) = (r + 1) ln(1 + λ ) − ln(r !) + r ln θ − (1 + λ )θ
∂ ln w(θ | r ) r r
θ =θˆmap
= − (1 + λ ) = 0 ⇒ θ map =
∂θ θ map 1+ λ
În cazul utilizării funcţiei de cost pătratul erorii, conform
relaţiei (4.18), rezultă:
∞ r +1 ∞
(1+ λ )
θˆ = ∫θ w( θ | r ) dθ = ∫θ
r +1 − (1+ λ )θ
e dθ
-∞
r! 0
⎝ 2π σ n ⎠
281
N
N
⎛ 1
1
⎞ − 2σ 2n ∑ ( ri - θ ) 2
w(r | θ ) = ⎜⎜ ⎟⎟ e i =1
⎝ 2π σ n ⎠
unde ri = r (t i ), i = 1,2,3,......N
Deoarece:
1 1
w( θ ) = -
e 2σ θ2
( θ - mθ ) 2
2π σ θ
relaţia (4.62) devine:
w(r | θ ) w(θ )
w(θ |r ) = = K (r ) e - pθ + qθ
2
w(r )
unde
N
N 1 2
⎛ ⎞ - 2 ∑ ri2 - mθ
1 1 1
e σ n i =1 e 2σ θ
2 2
K ( r ) = ⎜⎜ ⎟⎟
⎝ 2π σ n ⎠ 2π σ θ w( r )
1⎛ N 1 ⎞ 1 N m
p = ⎜ 2 + 2 ⎟ ; q = 2 ∑ri + θ2
2 ⎝ σ n σθ ⎠ σ n i =1 σ θ
Estimatul maximum aposteriori se obţine atunci cu relaţia
(4.80), adică:
1 N
σ θ2 N
mθ
q σ n2 i =1
∑ ri +
σ θ2
∑r
σ n2 i=1 i
mθ +
θˆmap = = =
2p N
+
1 σ θ2
1 + N
σ n2 σ θ2 σ n2
unde s (t ,θ ) = sin(ω 0 + θ ) .
Deoarece:
∂ s(t ,θ )
= t cos(ω 0 + θ )t
∂θ
ecuaţia integrală din care rezultă estimatul maximum aposteriori este:
T
∫ t [ r (t ) − sin(ω
0
0 + θ )t ] cos(ω0 + θ )tdt θ =θˆmap
=0
283
estimatul maximum aposteriori.
Soluţie
În acest caz:
1 1
w1 (θ ) = -
e 2σ θ 2
( θ - mθ ) 2
2π σ θ2
iar
mθ
ln w1 (θ ) = − θ 2 + θ 2 + C
2
2σ θ σθ
unde C este o constantă ce nu depinde de θ .
Conform relaţiei (4.104), rezultă:
E 2 E
ln w1 (r1 | θ ) = − 2θ
+ 2 r1 + C1
2σ n σn
unde C1 este o constantă independentă de θ , iar conform relaţiei
(4.106):
1 T
r1 = ∫ r (t ) f (t )dt
E 0
Utilizând relaţia (4.99) rezultă:
E ˆ 1 T θˆmap mθ
− 2 θ map + 2 ∫ r (t ) f (t ) dt - 2 + 2 = 0 ⇒
σn σn 0 σθ σθ
T
1
∫ r (t ) f ( t ) dt + m θ2
σ 2
σθ
θˆmap = n 0
⇔
E 1
+
σ n2 σθ
2
284
T
σ n2
∫ r (t ) f (t )dt + m
σ θ2 θ
θˆmap = 0
E + σ 2n
2
σθ
285
CAPITOLUL 5
286
∞
X a ( F ) = ∫−∞ xa (t )e − j 2π Ft dt (5.2)
Conform teoremei lui Parseval, energia semnalului este
∞ 2 ∞ 2
E = ∫−∞ xa (t ) dt = ∫−∞ X a ( F ) dF (5.3)
2
Cantitatea X a (F ) reprezintă distribuţia de energie a
semnalului funcţie de frecvenţă şi se numeşte densitate spectrală de
energie S xx ( F ) , adică se poate scrie:
2
S xx ( F ) = X a ( F ) (5.4)
Pe de altă parte, Sxx(F) este transformata Fourier a funcţiei de
autocorelaţie Rxx(τ) a semnalului de energie finită
∞
Rxx (τ ) = ∫−∞ xa (t ) xa (t + τ )dt (5.5)
Într-adevăr,
S xx ( F ) = F { Rxx (τ )} = ∫−∞ Rxx (τ )e − j 2π Fτ dτ =
∞
∞ ∞
= ∫−∞ ∫−∞ xa ( t )xa ( t + τ ) e − j 2π Fτ dt dτ
Cu schimbarea de variabilă t + τ = p , dτ = dp , se obţine
∞ ∞
S xx ( F ) = ∫−∞ ∫−∞ xa ( t ) xa ( p ) e − j 2π Fp e j 2π Ft dt dp =
(5.6)
= X a ( F ) X a∗ ( F ) = X a ( F )
2
Fs
În absenţa erorii alias, în domeniul fundamental F ≤ există
2
relaţia
⎛F⎞ F
X ⎜ ⎟ = Fs X a ( F ) F ≤ s (5.9)
⎝ Fs ⎠ 2
Densitatea spectrală de energie a semnalului eşantionat este
2
⎛F⎞ ⎛F⎞
S xx ( f ) = S xx ⎜ ⎟ = X ⎜ ⎟ = Fs2 X a ( F )
2
(5.10)
⎝ Fs ⎠ ⎝ Fs ⎠
Se poate arăta uşor că, dacă funcţia de autocorelaţie a
semnalului eşantionat este
∞
rxx [ k ] = ∑ x [ n] x [ n + k ] (5.11)
n =−∞
∑ x[n]e
2 − j 2π fn
S xx ( f ) = X ( f ) = (5.13)
n =−∞
Exemplul 5.1.
⎧1, | f |≤ 0,1
Se consideră un semnal cu spectrul X ( f ) = ⎨ .
⎩ 0, în rest
Să se efectueze convoluţia dintre semnalul X ( f ) şi spectrul
ferestrei rectangulare, cu lungimea N=61.
Soluţie
Spectrul WR ( f ) al ferectrei rectangulare cu lungimea N=61
este prezentat în figura 5.1. Se observă că lăţimea lobului principal
al funcţiei fereastră este Δω = 4π / 61 sau Δf = 2 / 61 , care este
289
îngust comparativ cu X ( f ) . Convoluţia dintre X ( f ) şi WR ( f ) este
ilustrată în figura 5.2. Se observă că energia s-a “scurs” în
domeniul de frecvenţă 0,1 <| f |≤ 0,5 , unde X ( f ) = 0 . Acest lucru
este determinat de lăţimea lobului principal al lui WR ( f ) , care
cauzează o lăţire a lui X ( f ) în afara domeniului | f |≤ 0,1 . Energia
din lobii laterali ai lui X ( f ) se datorează prezenţei lobilor laterali
în WR ( f ) cu care se efectuează convoluţia lui X ( f ) .
2 ⎛k ⎞
X [k ] = S xx ( f ) f = k = S xx ⎜ ⎟ (5.18)
N ⎝N⎠
2
⎛ k ⎞ N −1
S xx ⎜ ⎟ = ∑ x[n]e − j 2π nk / N (5.19)
⎝ N ⎠ n =0
care este o versiune distorsionată a spectrului real Sxx(k/N).
1 (5.24)
∫−T0 ⎡⎣ ∫−T0 x(t ) x(t + τ )dt ⎤⎦ e dτ
T0 T0 − j 2π Fτ
=
2T0
Dacă se consideră toate realizările particulare ale procesului,
densitatea spectrală de putere se poate determina cu relaţia
⎧ 1 T0 2⎫
S xx ( F ) = lim E [ Pxx ( F )] = lim E ⎨ ∫−T0 x (t ) e − j 2π Ft
dt ⎬ (5.25)
T0 →∞ T0 →∞ 2
⎩ 0T ⎭
Pxx(F) se poate calcula în două moduri: prin metoda directă,
ca în relaţia (5.25) şi prin metoda indirectă, în care se calculează
întâi Rxx(τ) şi apoi transformata sa Fourier.
Se va analiza în continuare estimarea densităţii spectrale de
putere din eşantioanele unei singure realizări a procesului aleator.
Se presupune că realizarea particulară xa(t) este eşantionată cu o
frecvenţă Fs>2B, unde B este cea mai mare frecvenţă din spectrul
densităţii de putere, rezultând o secvenţă de durată finită x[n];
0 ≤ n ≤ N −1.
Din aceste eşantioane se poate calcula estimatul funcţiei de
autocorelaţie, rxx' [m] , cu relaţia
⎧ ' 1 N − m −1
⎪⎪ xx r [ m ] =
N − m n =0
∑ x[n]x[n + m], m = 0,1,..., N − 1
⎨ (5.26)
⎪rxx' [m] = 1 N −1
⎪⎩
∑ x[n]x[n + m], m = −1, −2,..., − N + 1
N − | m | n =|m|
şi apoi transformata sa Fourier
N −1
Pxx' ( f ) = ∑
m =− N +1
rxx' [m]e − j 2π fm (5.27)
295
autocorelaţie statistică. Într-adevăr, considerând mulţimea
realizărilor particulare trunchiate ale procesului, se poate scrie
⎧ 1 N − m −1
⎪ N − m ∑ E[ x[n]x[n + m]] = γ xx [m], m = 0,1,..., N − 1
⎪ n =0
E[rxx' [m]] = ⎨ N −1
⎪ 1 ∑ E[ x[n]x[n + m]] = γ [m], m = −1, −2,..., − N + 1
⎪⎩ N − m n =|m| xx
(5.28)
unde γxx[m] este funcţia de autocorelaţie statistică a lui x[n].
Deoarece valoarea medie a estimatului funcţiei de
autocorelaţie este egală cu funcţia de autocorelaţie statistică,
estimatul r’xx[m] se spune că este nedeplasat.
Dispersia acestuia se calculează după cum urmează:
( )
2
var[rxx' [m]] = E ⎡⎣ r '2 xx [m]⎤⎦ − E ⎡⎣ r ' xx [ m]⎤⎦ (5.29)
Pentru calculul acestei mărimi se foloseşte relaţia [61]
E ( x1 x2 x3 x4 ) = E ( x1 x2 ) E ( x3 x4 ) + E ( x1 x3 ) E ( x2 x4 ) +
(5.30)
+ E ( x1 x4 ) E ( x2 x3 )
unde x1 , x2 , x3 , x4 , sunt variabile aleatoare gaussiene, de medie zero,
dependente.
Cu (5.30) şi (5.26), relaţia (5.29) devine pentru m ≥ 0 :
1 ⎛ N −m −1 N −m −1 ⎞
var(rxx' [m]) = E ⎜ ∑ ∑ x[n] x[ n + m]x[ k ]x[k + m] ⎟ −
( N − m) ⎝ n = 0 k = 0
2
⎠
1 ⎛ N − m −1 N − m −1
296
⎛ N − m −1 N − m−1 2
γ xx [n − k ] + γ xx [n − k − m]γ xx [ n − k + m] ⎞⎟
1
2 ⎜ ∑ ∑
=
( N − m) ⎝ n = 0 k = 0 ⎠
Cu schimbarea de variabilă n-k=p, relaţia devine
1 ⎛ N − m −1 N − m −1− k 2 ⎞
2 ⎜ ∑ ∑
var(rxx' [m]) = γ xx [ p] + γ xx [ p − m]γ xx [ p + m] ⎟ =
( N − m) ⎝ k =0 p =− k ⎠
N − m −1 N −m−2
∑
p =0
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m] + ∑
p =−1
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m]
0
+... + ∑
p =− N + m +1
γ xx2 [ p ] + γ xx [ p − m]γ xx [ p + m] =
1
2 ( xx
= γ 2 [0] + γ xx2 [1] + ... + γ xx2 [ N − m − 1] + γ xx [− m]γ xx [m] +
( N − m)
+γ xx [1 − m]γ xx [1 + m] + ... + γ xx [ N − m − 1 − m]γ xx [ N − m − 1 + m] +
N N − m −1
⎛ m+n⎞ 2
∑ ⎜1 − ⎟ ( γ xx [n] + γ xx [n − m]γ xx [n + m])
( N − m) 2 n =− N + m +1 ⎝ N ⎠
(5.31)
297
Efectuând un calcul similar, pentru m < 0 , se obţine:
var(r [m]) =
'
xx
N N + m −1
⎛ −m + n ⎞ 2 (5.31’)
= ∑ ⎜
( N − | m |) 2 n =− N − m +1 ⎝
1 −
N ⎠
( γ
⎟ xx [ n ] + γ xx [ n − m ]γ xx [ n + m ] )
Relaţiile (5.31) şi (5.31’) pot fi combinate în una singură, şi anume
var(rxx' [m]) =
N N −|m|−1
⎛ | m | +n ⎞ 2 (5.31”)
=
( N − | m |) 2
∑ ⎜
n =− N +|m|+1 ⎝
1 −
N ⎠
( γ
⎟ xx [ n ] + γ xx [ n − m ]γ xx [ n + m ] )
⎛ | m | +n ⎞ ∞
Deoarece lim ⎜1 − ⎟ = 1 şi dacă ∑γ 2
xx [n] < ∞ , atunci
N →∞
⎝ N ⎠ n =−∞
⎡ N N −|m|−1
⎛ | m | +n ⎞ 2 ⎤
lim ⎢ ∑ ⎜1 − (
⎟ γ xx [n] + γ xx [n − m]γ xx [n + m] )⎥ = 0
⎢⎣ ( N − | m |)
2
N →∞
n =− N +|m|+1 ⎝ N ⎠ ⎥⎦
(5.32)
Deoarece E[rxx' [m]] = γ xx [m] şi dispersia estimatului converge
la 0 pentru N → ∞ , estimatul r’xx[m] se numeşte consistent.
În general, dacă N este finit, pentru valori mari ale
parametrului m, estimatul r’xx[m] dat de (5.26) are o dispersie mare.
298
⎧ 1 N −m −1 N −m
∑
⎪⎪ N n =0 E [ x[ n ] x[ n + m ]] =
N
γ xx [m], 0 ≤ m ≤ N − 1
E[rxx [m]] = ⎨ N −1
⎪ 1 ∑ E[ x[n]x[n + m]] = N − | m | γ xx [m], − N + 1 ≤ m < 0
⎪⎩ N n =|m| N
(5.34)
sau, într-o singură relaţie
N− | m |
E[rxx [m]] = γ xx [m] (5.34’)
N
Valoarea medie statistică a estimatului prezintă o deplasare
m
de γ xx [m] .
N
Estimatul rxx[m] se spune că este asimptotic nedeplasat, deoarece
lim E[rxx [m]] = γ xx [m] (5.35)
N →∞
299
Înlocuind (5.33) în (5.37), se obţine
N −1 −1 N −1
Pxx ( f ) = ∑
m =− ( N −1)
rxx [m]e − j 2π fm
= ∑
m =− ( N −1)
rxx [m]e − j 2π fm
+ ∑ rxx [m]e − j 2π fm =
m=0
N −1 N −1
∑r
m =1
xx [ m]e
j 2π fm
+ ∑ rxx [m]e − j 2π fm =
m =0
1⎡ N −1 N − m −1 N −1 N − m −1
− j 2π fm ⎤
∑ ∑
N ⎢⎣ m =1 n =0
x [ n ] x[ n + m ]e j 2π fm
+ ∑ ∑
m=0 n =0
x[ n ] x[ n + m ]e ⎥⎦ =
1 ⎡ N −1 N − m −1 N −1
⎤
⎢ ∑ ∑
N ⎣ m =0 n =0
( x[n]x[n + m]e j 2π fm
+ x[n]x[n + m]e − j 2π fm
) − ∑ x[n]x[n]⎥ =
n =0 ⎦
1⎡ N −1 N −2
∑
N ⎢⎣ n =0
x[ n ]e − j 2π fn
∑
k =0
x[ k ]e =
⎥⎦ N ∑ x[n]e
n =0
− j 2π fn
adică
300
1 2
Pxx ( f ) =
X(f ) , (5.38)
N
Această formă a estimatului se numeşte periodogramă.
Din (5.37) se calculează valoarea medie a estimatului Pxx(f)
⎡ N −1 ⎤ N −1
E[ Pxx ( f )] = E ⎢ ∑ rxx [ m]e − j 2π fm ⎥ = ∑ E[rxx [m]]e − j 2π fm =
⎣ m =− ( N −1) ⎦ m=− ( N −1)
⎛
N −1 m⎞
= ∑ ⎜1 − ⎟ γ xx [m]e
m =− ( N −1) ⎝ N⎠
− j 2π fm
(5.39)
301
∞
= ∑γ
m =−∞
xx [m]e − j 2π fm = Γ xx ( f )
∑∑ x[n]x[k ]e
n =0 k =0
− j 2π f1n − j 2π f 2 k
e = ∑∑γ
n =0 v = n
xx [v]e − j 2π f1n e − j 2π f2 ( n −v ) =
N −1 N −1
1 − e − j 2π ( f1 + f2 ) N
∑
v =− ( N −1)
γ xx [v]e j 2π f 2 v
∑e
n =0
− j 2π ( f1 + f 2 ) n
= Γ xx ( f 2 )
1 − e− j 2π ( f1 + f2 )
=
sin π ( f1 + f 2 ) N
= Γ xx ( f 2 )e − jπ ( f1 + f2 )( N −1) =
sin π ( f1 + f 2 )
(5.44a)
sin π ( f1 + f 2 ) N
=σ e 2 − jπ ( f1 + f 2 )( N −1)
sin π ( f1 + f 2 )
x
302
sin π ( f1 + f 2 ) N
E[ X (− f1 ) X (− f 2 )] = σ x2 e jπ ( f1 + f2 )( N −1) (5.44d)
sin π ( f1 + f 2 )
sin π ( f1 − f 2 ) N
E[ X ( f1 ) X (− f 2 )] = σ x2e − jπ ( f1 − f2 )( N −1) (5.44e)
sin π ( f1 − f 2 )
sin π ( f1 − f 2 ) N
E[ X (− f1 ) X ( f 2 )] = σ x2e jπ ( f1 − f2 )( N −1) (5.44f)
sin π ( f1 − f 2 )
Înlocuind relaţiile (5.44a,b,c,d,e,f) în (5.43), se obţine relaţia
⎧⎪ ⎡ sin π ( f + f ) N ⎤ 2 ⎡ sin π ( f − f ) N ⎤ 2 ⎫⎪
E[ Pxx ( f1 ) Pxx ( f 2 )] = σ ⎨1 + ⎢
4 1 2
⎥ +⎢
1 2
⎥ ⎬ (5.45)
x
⎩⎪ ⎣
N sin π ( f1 + f )
2 ⎦ ⎣ N sin π ( f1 − f )
2 ⎦ ⎭⎪
Particularizând (5.45) pentru f1 = f 2 = f , în cazul unui
proces alb, gausian, de medie nulă, rezultă
var[ Pxx ( f )] = E ( Pxx2 ( f ) ) − ( E ( Pxx ( f ) ) =
2
⎧⎪ ⎡ sin 2π fN ⎤ 2 ⎫⎪ (5.46)
= Γ ( f ) ⎨1 + ⎢
2
⎥ ⎬
⎩⎪ ⎣ N sin 2π f ⎦ ⎭⎪
xx
Tabelul 5.1
Atenuarea Rezolu-ţia
Tipul
Definiţia ferestrei
Lăţimea
primului (Δf )3dB
cauzale w[n] lob
ferestrei lobului
0 ≤ n ≤N-1; secundar
principal
[dB]
4π 0,89
Rectangulară 1 -13
N N
8π 1, 28
Triunghiulară 1 − N2−1 n − N2−1 -25
N −1 N
304
8π 1, 44
Hanning 0,5 − 0,5cos 2Nπ−n1 -31
N −1 N
0,54 − 0, 46cos 2Nπ−n1 8π 1,30
Hamming -41
N −1 N
0, 42 − 0,5cos 2Nπ−n1 + 1,68
12π
Blackman +0,08cos 4Nπ−n1 -58 N
N −1
Caracterizarea estimatului
Urmând o procedură similară celei folosite la analiza
performanţelor periodogramei, se pot obţine performanţele
periodogramei modificate, adică valoarea medie, dispersia şi
rezoluţia.
Valoarea medie este dată de relaţia
1
E { Pxxmod ( f )} = Γ xx ( f ) ∗ W ( f )
2
(5.50)
N
Unde W ( f ) este transformata Fourier a ferestrei folosite.
Urmând un mers de calcul similar celui folosit la
periodograma simplă, în cazul variabilei aleatoare gaussiene,
varianţa estimatului este [62]
var[ Pxxmod ( f )] ≈ Γ 2xx ( f ) (5.51)
Rezoluţia periodogramei modificate este egală cu lăţimea de
bandă la -3dB a lobului principal al ferestrei. Se observă că
periodograma modificată este un estimat asimptotic nedeplasat, dar
neconsistent al spectrului de putere Γ xx ( f ) .
Problemele care apar din cauza scurgerii spectrale şi a
rezoluţiei de frecvenţă, ca şi faptul că periodograma nu este un
estimat consistent, au reprezentat un motiv pentru dezvoltarea altor
metode de estimare a densităţii spectrale de putere, ce vor fi
prezentate în paragraful 5.3.
305
5.1.3. Folosirea Transformatei Fourier Discrete în
estimarea spectrului de putere
la frecvenţele f k =k/N.
În practică, este posibil ca o astfel de eşantionare a spectrului
să fie “rară “ şi să nu ofere o bună reprezentare grafică a estimatului
spectrului continuu, lucru ce poate fi remediat prin evaluarea lui
Pxx(f) la unele frecvenţe adiţionale, prin creşterea lungimii secvenţei
prin adăugarea de zerouri până la o lungime a secvenţei de L>N
puncte.
2
⎛ k ⎞ 1 N −1 − j 2π n k
Pxx ⎜ ⎟ = ∑ x[n]e L
, k = 0, 1, . . ., L – 1. (5.54)
⎝ L ⎠ N n =0
Adăugarea de zerouri şi evaluarea DFT în L>N puncte nu
îmbunătăţeşte rezoluţia de frecvenţă a estimatului, ci oferă numai o
metodă de interpolare a valorilor spectrului calculat la mai multe
frecvenţe. Rezoluţia de frecvenţă este determinată de lungimea N a
datelor înregistrate.
Exemplul 5.2.
Secvenţa discretă de lungime N=16 eşantioane
x[n] = sin 2π (0,135) n + cos 2π (0,135 + Δf )n, n = 0,1,...,15
306
se obţine prin eşantionarea unui semnal analogic compus din două
componente. Δf reprezintă separaţia de frecvenţă între aceste
1 2
componente. Să se evalueze spectrul de putere P ( f ) = X ( f ) , la
N
k
frecvenţele f k = , k = 0,1,..., L − 1 , pentru L = 8,16,32 şi 128 ,
N
pentru valorile Δf = 0,06 şi Δf = 0,01 .
Soluţie
Prin completarea cu zerouri s-a mărit lungimea datelor pentru
⎛k⎞
care se calculează spectrul de putere Pxx ⎜ ⎟ .
⎝L⎠
Rezultatele pentru Δf = 0,06 sunt prezentate în figurile 5.6a,
b, c, d pentru L=8, 16, 32 şi, respectiv, 128 de puncte.
307
Se observă că adăugarea de zerouri nu a modificat rezoluţia,
⎛k⎞
dar are efect de interpolare a spectrului Pxx ⎜ ⎟ . În acest caz,
⎝L⎠
separaţia de frecvenţă este suficient de mare, încât cele două
componente spectrale pot fi identificate în semnal.
308
5.2. Metode neparametrice pentru estimarea
densităţii spectrale de putere
E[ Pxx( i ) ( f )] = ∑ ⎜1 −
m =− M +1 ⎝ M
γ
⎟ xx [ m ]e −2 jπ fm
= ∫ Γ xx (α )WB ( f − α )dα
⎠ −1/ 2
2
1 1/ 2
⎛ sin π ( f − α ) M ⎞
=
M ∫
−1/ 2
Γ xx (α ) ⎜
⎝ sin π ( f − α ) ⎠
⎟ dα
(5.59)
unde
2
1 ⎛ sin π fM ⎞
WB ( f ) = ⎜ ⎟ (5.60)
M ⎝ sin π f ⎠
este transformata Fourier a ferestrei Bartlett, definită de relaţia
310
⎧ m
⎪1 − , m ≤ M − 1
wB [n] = ⎨ M (5.61)
⎪ 0, în rest
⎩
Reducerea lungimii datelor de la N la M=N/K are ca rezultat
o fereastră care are o caracteristică de frecvenţă cu lăţimea lobului
principal crescută de K ori, aşa încât rezoluţia de frecvenţă s-a redus
K
de K ori, (Δf )3 dB = 0,89 . Admiţând ipoteza anterioară asupra
N
datelor şi faptul că seturile de date sunt independente, dispersia
estimatului Bartlett este
1 K −1 1
var[ PxxB ( f )] = 2 ∑ var[ Pxx( i ) ( f )] = var[ Pxx( i ) ( f )] (5.62)
K i =0 K
Înlocuind (5.51) în (5.62), pentru un proces aleator gaussian,
se obţine
1 2 ⎡ ⎛ sin 2π fM ⎞ 2 ⎤ 1 2
var[ P ( f )] = Γ xx ( f ) ⎢1 + ⎜
B
⎟ ⎥ ≈ Γ xx ( f ) (5.63)
⎢⎣ ⎝ M sin 2π f ⎠ ⎥⎦ K
xx
K
adică dispersia s-a redus de K ori.
În realitate seturile de date nu sunt independente decât în
unele cazuri particulare, cum este cel al zgomotului alb şi, în
consecinţă, reducerea dispersiei este mai mică decât K ori.
311
unde iD este punctul de începere pentru secvenţa i. Dacă D = M,
segmentele nu se suprapun şi numărul L de segmente este egal cu K
din metoda Bartlett. Dacă D = M/2, există 50% suprapunere peste
segmente succesive şi L = 2K segmente. Se pot obţine K segmente
de lungime 2M fiecare. Ca urmare a suprapunerii blocurilor, se
obţine, aşa cum se va vedea, o anumită reducere a dispersiei.
2. Înainte de a calcula periodograma, segmentele de date sunt
ponderate cu o fereastră, ceea ce conduce la o periodogramă
modificată
2
1 M −1
P (f)=
(i )
xx
MU
∑ x [n]w[n]e
n =0
i
− j 2π fn
, i = 0, 1, …, L – 1 (5.65)
312
1 M −1 M −1
=
MU
∑ ∑ w[n]w[m]γ
n =0 m=0
xx (n − m)e −2 jπ f ( n − m ) (5.69)
Dar
1/ 2
γ xx [n] = ∫
−1/ 2
Γ xx (α )e j 2πα n dα (5.70)
= ∫
−1/ 2
Γ xx (α )W ( f − α )dα
(5.71)
unde, prin definiţie
2
1 M −1
W( f ) =
MU
∑ w[n]e
n =0
− j 2π fn
(5.72)
∫ W ( f )df
−1/ 2
=1 (5.73)
314
Cu această definiţie pentru w[n], limitele sumei din (5.77) pot
fi extinse la (−∞, ∞ ) . Expresia echivalentă în domeniul frecvenţă a
relaţiei (5.77) este
1/ 2
PxxBT ( f ) = ∫
−1/ 2
Pxx (α )W ( f − α )dα (5.78)
315
unde WB(f) este transformata Fourier a ferestrei Bartlett. Înlocuind
(5.81) în (5.80), se obţine
1/ 2 1/ 2
E[ PxxBT ( f )] = ∫ ∫
−1/ 2 −1/ 2
Γ xx (θ )WB (α − θ )W ( f − α )dα dθ (5.82)
unde
⎧ m
⎪1 − , m < N
wB [m] = ⎨ N (5.84)
⎪ 0, în rest
⎩
Lungimea ferestrei pentru w[n] trebuie aleasă astfel încât M << N,
adică fereastra w[n] să fie de lungime mai mică decât fereastra
wB [m] pentru a produce o netezire suplimentară a periodogramei. În
aceste condiţii (5.82) devine
1/ 2
E[ P ( f )] ≈ ∫ Γ xx (θ )W ( f − θ )dθ
BT
xx (5.85)
−1/ 2
deoarece
1/ 2 1/ 2
∫
−1/ 2
WB (α − θ )W ( f − α ) dα = ∫W
−1/ 2
B (α )W ( f − θ − α )dα
(5.86)
≈ W ( f −θ )
Dispersia estimatului Blackman-Tukey al spectrului este
var[ PxxBT ( f )] = E{[ PxxBT ( f )]2 } − {E[ PxxBT ( f )]}2 (5.87)
unde valoarea medie poate fi aproximată de relaţia (5.85), iar
valoarea pătratică medie este
316
E{[ PxxBT ( f )]2 } =
1/ 2 1/ 2 (5.88)
= ∫ ∫
−1/ 2 −1/ 2
E[ Pxx (α ) Pxx (θ )]W ( f − α )W ( f − θ )dα dθ
⎣ −1/ 2 ⎦
1/ 2 1/ 2
+ ∫ ∫
−1/ 2 −1/ 2
Γ xx (α )Γ xx (θ )W ( f − α )W ( f − θ ) × (5.90)
⎧⎪ ⎡ sin π (θ + α ) N ⎤ 2 ⎡ sin π (θ − α ) N ⎤ 2 ⎫⎪
× ⎨⎢ ⎥ +⎢ ⎥ ⎬ dα dθ
⎪⎩ ⎣ N sin π (θ + α ) ⎦ ⎣ N sin π (θ − α ) ⎦ ⎪⎭
Primul termen din (5.90) este pătratul valorii medii a lui
PxxBT ( f ) , astfel încât al doilea termen din (5.90) reprezintă dispersia.
În cazul în care N >> M , funcţiile sinπ(θ + α)N/Nsinπ(θ +
α) şi sinπ(θ - α)N/Nsinπ(θ - α) sunt relativ “înguste” în comparaţie
cu W(f) în apropiere de θ = -α şi, respectiv θ = α. Prin
urmare
1/ 2 ⎧⎪ ⎡ sin π (θ + α ) N ⎤ 2 ⎡ sin π (θ − α ) N ⎤ 2 ⎫⎪
∫ Γ xx (θ )W ( f − θ ) ⎨ ⎢
N sin π (θ + α ) ⎥ + ⎢ N sin(θ − α ) ⎥ ⎬ dθ ≈
−1/ 2
⎩⎪ ⎣ ⎦ ⎣ ⎦ ⎭⎪
Γ xx (−α )W ( f + α ) + Γ xx (α )W ( f − α )
≈
N
(5.91)
317
Cu această aproximare, dispersia lui PxxBT ( f ) devine
var[ PxxBT ( f )] ≈
1/ 2
1
N ∫
−1/ 2
Γ xx (α )W ( f − α )[Γ xx (−α )W ( f + α ) + Γ xx (α )W ( f − α )]dα
1/ 2
1
≈
N ∫
−1/ 2
Γ 2xx (α )W 2 ( f − α )dα (5.92)
∫
−1/ 2
Γ xx (α )Γ xx (−α )W ( f − α )W ( f + α )dα ≈ 0 (5.93)
a) Periodograma
Valoarea medie a periodogramei este
1/ 2
E[ P ( f )] = ∫ Γ xx (θ )WB ( f − θ )dθ
P
xx (5.96)
−1/ 2
unde
2
1 ⎛ sin π fN ⎞
WB ( f ) = ⎜ ⎟ (5.97)
N ⎝ sin π f ⎠
şi dispersia
⎡ ⎛ sin 2π fN ⎞ 2 ⎤
var[ Pxx ( f )] = Γ ( f ) ⎢1 + ⎜
P 2
⎟ ⎥ (5.98)
⎢⎣ ⎝ N sin 2π f ⎠ ⎥⎦
xx
Pentru N → ∞
1/ 2
E[ Pxx ( f )] → Γ xx ( f ) ∫W
−1/ 2
B (θ )dθ = wB [0]Γ xx ( f ) = Γ xx ( f )
(5.99)
var[ Pxx ( f )] → Γ 2xx ( f )
adică, aşa cum s-a precizat anterior, periodograma este un estimat
asimptotic nedeplasat al spectrului de putere, dar nu este consistent.
Asimptotic, periodograma este caracterizată de factorul de
calitate
Γ 2xx ( f )
QP = 2 =1 (5.100)
Γ xx ( f )
319
Faptul că QP este fix şi independent de lungimea datelor arată
calitatea scăzută a acestui estimat.
b) Estimatul Bartlett
Media şi dispersia estimatului Bartlett al spectrului de putere
sunt
1/ 2
E[ PxxB ( f )] = ∫
−1/ 2
Γ xx (θ )WB ( f − θ )dθ (5.101)
1 2 ⎡ ⎛ sin 2π fM ⎞ 2 ⎤
var[ P ( f )] = Γ xx ( f ) ⎢1 + ⎜
B
⎟ ⎥ (5.102)
xx
K ⎣⎢ ⎝ M sin 2π f ⎠ ⎦⎥
unde
2
1 ⎛ sin π fM ⎞
WB ( f ) = ⎜ ⎟ (5.103)
M ⎝ sin π f ⎠
N
Pentru N → ∞ şi M → ∞ , astfel încât K = rămâne fix
M
1/ 2
E[ PxxB ( f )] → Γ xx ( f ) ∫W
−1/ 2
B ( f )df = Γ xx ( f ) wB (0) = Γ xx ( f )
(5.104)
1 2
var[ P ( f )] → Γ xx ( f )
B
xx
K
Se observă că estimatul Bartlett este asimptotic nedeplasat şi
dacă K creşte odată cu N, estimatul este consistent. Asimptotic,
factorul de calitate al estimatului devine
N
QB = K = (5.105)
M
Rezoluţia în frecvenţă a estimatului Bartlett, măsurată prin
considerarea lăţimii de bandă la 3dB a lobului principal al ferestrei
rectangulare, este [62]
320
0,9
Δf = (5.106)
M
Înlocuind (5.106) în (5.105) rezultă
N
QB = = 1,1N Δf (5.107)
0,9 / Δf
c) Estimatul Welch
Media şi dispersia estimatului Welch al spectrului de putere
sunt
1/ 2
E[ P ( f )] = ∫ Γ xx (θ )W ( f − θ )dθ
W
xx (5.108)
−1/ 2
unde
2
1 M −1
W( f ) =
MU
∑ w[n]e
n =0
− j 2π fn
, (5.109)
respectiv
⎧1 2
⎪⎪ L Γ xx ( f ) f ă ră suprapunere
var[ Pxx ( f )] = ⎨
W
(5.110)
pentru suprapunere 50%
⎪ 9 Γ 2xx ( f )
⎪⎩ 8 L şi fereastră triunghiulară
Pentru N → ∞ şi M → ∞
E[ PxxW ( f )] → Γ xx ( f ) (5.111)
Dacă L creşte odată cu N, dispersia → 0, deci estimatul este
consistent.
În condiţiile (5.110), factorul de calitate devine
⎧ N
⎪⎪ L = M fără suprapunere
QW = ⎨ (5.112)
50% suprapunere şi
⎪ 8 L = 16 N
⎩⎪ 9 9 M fereastră tringhiulară
321
Lăţimea de bandă a ferestrei triunghiulare la 3 dB este [71]
1, 28
Δf = (5.113)
M
În consecinţă, factorul de calitate, exprimat în funcţie de Δf şi N
este
⎧0,78 N Δf fără suprapunere
⎪
QW = ⎨ 50% suprapunere şi (5.114)
⎪1,39 N Δf fereastră triunghiulară
⎩
323
q
B( z ) ∑ bk z − k
H ( z) = = k = 0p (5.120)
A( z ) 1 + a z − k
∑ k k =1
325
Combinând polii şi zerourile, modelul ARMA produce o
reprezentare mai eficientă din punct de vedere al numărului
parametrilor modelului pentru reprezentarea spectrului procesului
aleator, cu dezavantajul complicării calculelor pentru parametrii
MA, care rezultă din rezolvarea unor ecuaţii neliniare.
Estimatorii parametrici au deplasări şi dispersii mai mici
decât cei neparametrici. Folosind metodele parametrice de estimare,
se poate îmbunătăţi semnificativ rezoluţia în frecvenţă, cu condiţia
ca modelul să fie adecvat procesului. În caz contrar, pot rezulta
estimatori neconformi cu realitatea, care conduc la decizii eronate.
⎪γ xx [ −m]
*
m<0
⎪
⎩
Prin restricţionarea lui m>q, relaţiile (5.125) conduc la un
sistem de ecuaţii liniare din care se pot determina parametrii {ak}.
Acestea sunt
326
⎡γ xx [q ] γ xx [q − 1] ... γ xx [q − p + 1] ⎤ ⎡ a1 ⎤
⎢γ [q + 1] ⎢a ⎥
γ xx [q] ... γ xx [q − p + 2]⎥⎥
⎢ xx .⎢ ⎥ =
2
327
5.3.2. Estimarea spectrului de putere pe baza modelului
autoregresiv (AR)
⎪γ xx* [− m] m<0
⎪
⎩
În acest caz parametrii {ak} se obţin din soluţia sistemului de
ecuaţii
⎡γ xx [0] γ xx [−1] ... γ xx [− p + 1] ⎤
⎡ a1 ⎤ ⎡ γ xx [1] ⎤
⎢γ [1] ⎢a ⎥
⎢ xx γ xx [0] ... γ xx [− p + 2]⎥⎥
⎢ 2⎥
⎢ γ [2] ⎥
. = − ⎢ xx ⎥ (5.129)
⎢... ... ...... ⎥ ⎢ ... ⎥ ⎢ ... ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣γ xx [ p − 1] γ xx [ p − 2] ...
γ xx [0] ⎦ ⎣a p ⎦ ⎣γ xx [ p ]⎦
care reprezintă ecuaţiile Yule-Walker sau normale.
Dispersia σ w2 poate fi obţinută din ecuaţia
p
σ w2 = γ xx [0] + ∑ ak γ xx [− k ] (5.130)
k =1
328
Matricea de corelaţie din (5.129) sau (5.131) este Toeplitz,
motiv pentru care ecuaţiile Yule Walker pot fi rezolvate eficient cu
algoritmul Levison-Durbin. Toţi parametrii modelului AR(p) pot fi
determinaţi din secvenţa de autocorelaţie γxx[m], pentru 0 ≤ m ≤ p .
Mai mult, din (5.128), după ce s-au determinat coeficienţii {ak}, se
poate calcula funcţia de autocorelaţie pentru m > p. Dacă procesul
aleator este cunoscut numai pentru un interval finit , 0 ≤ n ≤ N − 1 ,
în determinarea parametrilor modelului vor interveni estimaţi ai
funcţiei de autocorelaţie. Există mai multe posibilităţi de a estima
funcţia de autocorelaţie a procesului, lucru care conduce la diferite
metode de estimare a spectrului de putere pentru semnale modelate
AR.
329
Datorită egalităţii semnalate anterior, parametrii AR se
determină cu ajutorul algoritmul Levison-Durbin în care γ xx [m] se
înlocuieşte cu rxx [m] .
Estimatul corespunzător al spectrul de putere este
σˆ wp2
Pxx ( f ) =
YW
2
(5.133)
p
1 + ∑ aˆ p [ k ]e − j 2π kf
k =1
∑[ f
2 2
m [ n] + g m [ n] ] = ξ m (5.137)
n=m
n=m
N −1
= ∑ f m2−1[n] + 2 K m f m −1[n]g m −1[n − 1] + K m2 g m2 −1[n − 1] +
n=m
de unde rezultă
N −1
− ∑ f m −1[n]g m −1[ n − 1]
Kˆ m = n=m
m = 1, 2,..., p (5.142)
1 N −1 ⎡
∑ ( f m−1[n]) + ( g m−1[n − 1]) ⎤⎦
2 2
2 n=m ⎣
Numărătorul relaţiei (5.142) este un estimat al funcţiei de
corelaţie dintre erorile de predicţie înainte şi înapoi. Se observă că
Kˆ < 1 , astfel încât modelul numai cu poli obţinut din date este
m
333
N −1
ξ mWB = ∑ wm [n] ⎡⎣ f m [m] + g m [n] ⎤⎦
2 2
(5.145)
n=m
2 n=m
Rezultate bune au fost obţinute prin folosirea ferestrelor
Hamming şi parabolică [61].
Un exemplu care ilustrează performanţele metodei Burg este
prezentat în paragraful 5.3.9.
n= p ⎣ ⎦
(5.148)
N −1 ⎡ p 2 p 2
⎤
∑ ⎢ x[n] + ∑ a p [k ]x[ n − k ] + x[n − p ] + ∑ a p [k ]x[n + k − p ] ⎥
n= p ⎢
⎣ k =1 k =1 ⎥⎦
ca în metoda Burg.
În (5.148) nu se mai impune ca parametrii AR să satisfacă
relaţiile Levison-Durbin. Minimizarea fără constrângeri a lui ξ p în
raport cu coeficienţii de predicţie determină setul de ecuaţii liniare
p
∑ a [k ]r
k =1
p xx [l , k ] = − rxx [l ,0] l = 1, 2,..., p (5.149)
Eroarea rezultată utilizând metoda celor mai mici pătrate (LS) este
p
ξ pLS = rxx [0,0] + ∑ aˆ p [k ]rxx [0, k ] (5.151)
k =1
336
Cu creşterea ordinului, descreşte ln σˆ wp
2
, în timp ce termenul
2p/N creşte.
3- O formă alternativă pentru criteriul AIC este criteriul care
minimizează lungimea de descriere (MDL) (Minimize Description
Length)
MDL( p ) = N ln σˆ wp
2
+ p ln N (5.155)
4- Criteriul de transfer autoregresiv (CAT) (Criterion
Aotoregresive Transfer)
1 p N −k N − p
CAT ( p ) = ∑ − (5.156)
N k =1 Nσˆ wk
2
Nσˆ wp
2
337
⎧ 2 q
⎪σ w ∑
k =0
bk bk + m 0 ≤ m ≤ q
⎪
γ xx (m) = ⎨0 m>q (5.157)
⎪γ * [−m] m<0
⎪ xx
⎩
obţinut din (5.125), prin impunerea ak = 0, pentru k = 1,2,…,p şi
înlocuirea h[k] cu {bk}.
Pentru modelul considerat, din (5.124) rezultă
Γ xx ( z ) = σ w 2 H ( z ) H ( z −1 ) = σ w 2 B ( z ) B ( z −1 ) (5.158)
Ţinând cont că
q
B ( z ) B ( z −1 ) = D ( z ) = ∑d
m =− q
m z−m (5.159)
rezultă atunci
⎪⎧σ w d m m ≤ q
2
γ xx [m] = ⎨ (5.161)
⎪⎩ 0 m >q
Spectrul de putere pentru procesul MA(q) este
q q
Γ MA
xx ( f ) = ∑ γ xx [m]e− j 2π fm = σ w2
m =− q
∑d
m =− q
m e − j 2π fm (5.162)
338
Deoarece γ xx [m] = 0 pentru m > q , spectrul are aceeaşi
formă ca şi periodograma estimată. Ordinul procesului MA se
determină, de obicei, empiric. De exemplu, criteriul AIC pentru
modelul MA are aceeaşi formă ca pentru modelul AR
AIC (q ) = ln σˆ wq
2
+ 2q / N (5.164)
unde σˆ wq
2
este un estimat al dispersiei zgomotului alb.
Un alt mod de a verifica modelul este de a filtra datele prin
inversul modelului MA(q) şi de a testa dacă ieşirea se apropie de
zgomotul alb. De asemenea, se poate urmări dacă valoarea
estimaţilor nedeplasaţi ai secvenţei de autocorelaţie sunt apropiaţi
de zero pentru deplasări mari. Dacă nu se întâmplă astfel, modelul
MA va avea rezultate slabe referitor la rezoluţia în frecvenţă şi va fi
abandonat în favoarea modelului AR sau ARMA.
⎪ k =1 k =0
⎪γ xx [− m]
*
m<0 (c )
⎪
⎩
Pentru deplasări m > q , ecuaţia implică numai parametrii
{ak}. Cu estimaţii funcţiei de autocorelaţie înlocuiţi în locul lui
γxx[m], se pot rezolva cele p ecuaţii din (5.166a) pentru a afla {aˆk } .
Pentru modele de ordin superior, este posibil ca această
abordare să conducă la estimaţi modeşti pentru parametrii AR,
motiv pentru care aceasta nu este recomandată.
O metodă mult mai demnă de încredere este de a construi un
sistem de ecuaţii liniare cu mai multe ecuaţii decât necunoscute
pentru m > q şi a folosi metoda celor mai mici pătrate în
optimizarea coeficienţilor modelului.
Pentru a detalia, se presupune că secvenţa de autocorelaţie
poate fi estimată fidel până la deplasarea M, unde M>p+q. În acest
caz, se poate scrie
p
rˆxx [m] = −∑ ak rxx [m − k ] ,
k =1
340
Parametrii {ak} se selectează astfel încât să minimizeze
eroarea pătratică
p 2
M M
Secvenţa x[n] poate fi apoi filtrată prin filtrul de tip FIR, cu funcţia
de sistem Aˆ ( z ) , obţinându-se secvenţa
p
v[n] = x[n] + ∑ aˆ k x[n − k ] , n = 0,1, 2,..., N − 1 (5.172)
k =1
k =1
342
Problema selecţiei ordinului modelului ARMA(p,q) se
rezolvă prin minimizarea indicelui AIC [62].
2( p + q )
AIC ( p, q ) = ln σˆ wpq
2
+ (5.175)
N
unde σˆ wpq
2
este un estimat al dispersiei erorii zgomotului alb aplicat
la intrarea modelului. Un test suplimentar asupra adecvării unui
model particular ARMA(p,q) este de a filtra datele prin model şi de
a testa dacă la ieşire se furnizează o secvenţă de zgomot alb.
Aceasta ar putea necesita ca parametrii modelului MA, să fie
calculaţi din secvenţa de autocorelaţie estimată, folosind
factorizarea spectrală pentru a determina B(z) din
D( z ) = B ( z ) B ( z −1 ) .
343
ca SNR = 10log10 A2 / 2σ 2 , unde σ 2 este dispersia zgomotului
aditiv, considerat alb, iar A, amplitudinea sinusoidei.
Frecvenţa sinusoidelor componente ale semnalului, nivelul
zgomotului, faza iniţială şi lungimea datelor sunt trecute pe fiecare
grafic.
În figura 5.8 sunt prezentaţi estimaţii spectrului de putere
obţinuţi prin metodele Yule-Walker, Burg şi a celor mai mici pătrate
(LS), pentru o lungime a datelor de N=20, SNR=20dB şi Δf = 0,13 .
Se observă că metoda Yule-Walker furnizează un estimat
puternic netezit, cu vârfuri mici. Dacă distanţarea în frecvenţă
descreşte la Δf = 0,07 , metoda Yule-Walker nu mai poate decela
între cele două vârfuri, situaţie ilustrată în figura 5.9.
De asemenea, se observă o deplasare în cazul metodei Burg.
Prin creşterea lungimii datelor, metoda Yule-Walker poate decide
prezenţa celor două componente spectrale. Din compararea acestor
trei metode se remarcă faptul că metodele Burg şi a celor mai mici
pătrate sunt superioare pentru înregistrări de lungime mică.
345
Efectul ordinului filtrului asupra metodelor Burg şi LS este
prezentat în figurile 5.11, respectiv 5.12. Ambele metode arată
vârfuri false când ordinul filtrului este crescut la p=12.
346
Efectul fazei iniţiale este ilustrat în figurile 5.13 şi 5.14
pentru metoda Burg şi, respectiv, metoda LS. Se observă că metoda
LS este mai puţin senzitivă la faza iniţială decât metoda Burg.
347
În figura 5.15 este arătată scindarea liniilor spectrale în cazul
metodei Burg, pentru p=12. Se observă că pentru un model de
ordinul 8, acest lucru nu se produce. Metoda LS nu prezintă
scindarea liniilor spectrale pentru aceleaşi condiţii folosite în
simularea precedentă. Această scindare din cazul metodei Burg
dispare cu creşterea lungimii datelor.
348
Fig. 5.16. Rezoluţia de frecvenţă în metoda Burg cu N=20
349
semnal /zgomot, valoarea optimă a ordinului modelului este p=12,
conform criteriului erorii de predicţie finale (FPE).
⎪
⎪ − 14 γ [0] + 15 γ [1] + 1 γ [2] = 0
⎪ 24 xx 24
xx
24
xx
⎨
⎪ − 9 γ [0] − 13 γ [1] + γ [2] = 0
⎪ 24 xx 24
xx xx
⎪ 1 9 14
⎪ γ xx [0] − γ xx [1] − γ xx [2] + γ xx [3] = 0
⎩ 24 24 24
cu soluţia:
γ xx [0] = 1, 47σ w2 ; γ xx [1] = 1, 29σ w2 ; γ xx [2] = 1, 25σ w2 ; γ xx [3] = 1,15σ w2 .
Pentru a determina valorile funcţiei de autocorelaţie pentru
m > 3 , se foloseşte relaţia
3
γ xx [m] = −∑ ak γ xx [m − k ]
k =1
de unde rezultă
γ xx [4] = 1,091; γ xx [5] = 0,964.
c) Coeficienţii de reflexie se determină cu relaţia
K m = am [m], 1 ≤ m ≤ p , unde am [m] se determină din polinoamele
352
corespunzătoare structurii lattice cu m trepte.
A ( z ) − K m Bm ( z )
Am−1 ( z ) = m , m = 3, 2,1.
1 − K m2
K 3 = a3[3] = 0,042
14 −1 9 −2 1 −3
A3 ( z ) = 1 − z − z + z
24 24 24
1 9 14
B3 ( z ) = − z −1 − z −2 + z −3
24 24 24
327 −1 202 −2 202
A2 ( z ) = 1 + z − z → K 2 = a2 [2] = − = 0,351
575 575 575
202 327 −1 −2
B2 ( z ) = − + z +z
575 575
A1 ( z ) = 1 + 0, 452 z −1 → K1 = a1[1] = 0, 452 .
353
⎡ 1 −0,5 0,625⎤ ⎡ a1 ⎤ ⎡ −0,5 ⎤
⎢ −0,5 ⎥⎥ ⎢⎢ a2 ⎥⎥ = − ⎢⎢ 0,625 ⎥⎥
⎢ −0,5 1
⎢⎣0,625 −0,5 1 ⎥⎦ ⎢⎣ a3 ⎥⎦ ⎢⎣ −0,6875⎥⎦
cu soluţia
3 1
a3[1] = 0; a3[2] = − ; a3[3] = .
8 2
3 1 1
A3 ( z ) = 1 − z −2 + z −3 , K 3 = a3[3] =
8 2 2
Funcţiile de sistem ale predictorului de ordin inferior se
determină recursiv din relaţia
A ( z ) − K m Bm ( z )
Am−1 ( z ) = m , m = 3, 2,1 ,
1 − K m2
care conduce la soluţiile
1 −1 1 −2 1
A2 ( z ) = 1 + z − z , K 2 = a2 [2] = −
4 2 2
1 1
A1 ( z ) = 1 + z −1 , K1 = a1[1] =
2 2
Eroarea de predicţie a predictorului cu m trepte se determină
cu relaţia
Emf = Emf −1 (1 − K m2 ) , cu E0f = γ xx [0] .
Rezultă atunci:
⎛ ⎛ 1 ⎞2 ⎞ 3
E = E (1 − K ) = γ xx [0] ⎜ 1 − ⎜ ⎟ ⎟ =
f f 2
1 0 1 ⎜ ⎝2⎠ ⎟ 4
⎝ ⎠
E2f = E1f (1 − K 22 ) = γ xx [0](1 − K12 )(1 − K 22 ) =
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞ 9
= ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ =
⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟ 16
⎝ ⎠⎝ ⎠
354
E3f = E2f (1 − K 32 ) = γ xx [0](1 − K12 )(1 − K 22 )(1 − K 32 ) =
⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞⎛ ⎛ 1 ⎞ 2 ⎞ 27
= ⎜1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟⎜ 1 − ⎜ ⎟ ⎟ =
⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟⎜ ⎝ 2 ⎠ ⎟ 64
⎝ ⎠⎝ ⎠⎝ ⎠
Γ xx ( z ) = σ H ( z ) H ( z ) = σ
2 −1 2 (1 − z ) (1 − z ) =
−1
w w
(1 + 0,81z )(1 + 0,81z )
−2 2
2 − ( z + z −1 )
=σ 2
w
1,6561 + 0,81( z 2 + z −2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
2(1 − cos 2π f )
Γ xx ( f ) = σ w2
1,6561 + 1,62 ⋅ cos 4π f
a2. H ( z ) = 1 − z −2
Γ xx ( z ) = σ w2 H ( z ) H ( z −1 ) = σ w2 (1 − z −2 )(1 − z 2 ) = σ w2 (2 − z −2 − z 2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
Γ xx ( f ) = σ w2 (2 − 2cos 4π f )
355
1
a3. H ( z ) =
1 + 0,81z −2
1
Γ xx ( z ) = σ w2 H ( z ) H ( z −1 ) = σ w2 =
(1 + 0,81z )(1 + 0,81z )
−2 2
1
= σ w2
1,6561 + 0,81( z 2 + z −2 )
Evaluând Γ xx ( z ) pe cercul unitate, se obţine
1
Γ xx ( f ) = σ w2
1,6561 + 1,62 ⋅ cos 4π f
b2.
γ xx [m] = Z −1{Γ xx ( z )} = Z −1{σ w2 (2 − z −2 − z 2 )} =
= σ w2 ( −δ [n + 2] + 2δ [n] − δ [n − 2])
b3.
⎧⎪ 1 ⎫⎪
γ xx [m] = Z {Γ xx ( z )} = Z ⎨σ w
−1 −1 2
2 ⎬
=
⎪⎩ (1 + 0,81z )(1 + 0,81z ) ⎭⎪
−2
⎧⎪ 1 ⎫⎪
σ w2 Z −1 ⎨ ⎬=
⎩⎪ (1 + j 0,9 z −1
)(1 − j 0,9 z −1
) (1 + j 0,9 z )(1 − j 0,9 z ) ⎭⎪
πn
= 2,9 ⋅ σ w2 ⋅ (0,9)|n| cos
2
Soluţie
Se foloseşte metoda inducţiei. Pentru p = 1 , dacă | K1 |< 1 ,
polinomul A1 ( z ) = 1 + a1[1]z −1 = 1 + K1 z −1 are rădăcina z1,1 = − K1 ,
deci, într-adevăr, | z1,1 |< 1 .
În continuare, se presupune că dacă | K m |< 1 pentru toţi
m ≤ p −1 , | z p −1, j |< 1 pentru toţi j ≤ p − 1 , unde z p −1, j sunt
p −1
rădăcinile polinomului Ap −1 ( z ) = 1 + ∑ a p [k ]z − k şi se arată că
k =1
| z p ,i |< 1.
Între polinoamele Ap −1 ( z ) şi Ap ( z ) există relaţia recursivă
Ap ( z ) = Ap −1 ( z ) + K p z − p Ap −1 ( z −1 ) (p5.1)
357
z p ,i este o rădăcină a polinomului Ap ( z ) , astfel încât înlocuind
această rădăcină în (p5.1), rezultă
Ap ( z p ,i ) = Ap −1 ( z p ,i ) + K p z −p ,pi Ap −1 ( z −p1,i ) = 0 (p5.2)
Expresia
z − p Ap −1 ( z −1 )
Q p −1 ( z ) = (p5.3)
Ap −1 ( z )
este de tip trece tot. Din (p5.2) rezultă că expresia
1 z −p ,pi Ap −1 ( z −p1,i )
− = = Q p −1 ( z p ,i ) (p5.4)
Kp Ap −1 ( z p ,i )
care caracterizează un sistem de tip trece tot. Deoarece | K p |< 1 ,
1
rezultă Q p −1 ( z p ,i ) = > 1 . Ţinând cont de rezultatul din problema
Kp
4, rezultă | z p ,i |< 1.
corespunzători polinomului Ap ( z ) .
Soluţie
Produsul rădăcinilor polinomului Ap ( z ) este egal cu a p [ p ] ,
adică K p = a p [ p ] = z p ,1 ⋅ z p ,2 ⋅ ... ⋅ z p , p . Cum modulul tuturor polilor
este subunitar, rezultă | K p |< 1 , adică relaţia (p6.1) este adevărată
pentru m = p .
358
Pentru a arăta că relaţia (p6.1) este adevărată pentru
m = p − 1 , este suficient a arăta că | z p −1, j |< 1 pentru j ≤ p − 1 .
Pentru aceasta se formează funcţiile trece tot
z − p Ap ( z −1 )
Qp ( z) =
Ap ( z )
De asemenea, se foloseşte relaţia de recurenţă
Ap ( z ) − K p z − p Ap ( z −1 )
Ap −1 ( z ) = (p6.2)
1 − K p2
Deoarece Ap −1 ( z p −1, j ) = 0 , din (p6.2) rezultă
Ap ( z p −1, j ) − K p z − p Ap ( z 2p −1, j ) = 0 , adică
z −p −p1, j Ap ( z −p1−1, j ) 1
Q p ( z p −1, j ) = = > 1 , deci | z p −1, j |< 1 şi
Ap ( z p −1, j ) | Kp |
| K p −1 |=| a p −1[ p − 1] |=| z p −1,1 ⋅ z p −1,1 ⋅ ... ⋅ z p −1, p −1 |< 1 .
Continuând în acelaşi mod, se decide că | K m |< 1 pentru toţi
m≤ p.
⎢ … … … ⎥
⎢ ⎥
⎣γ xx [ p ] γ xx [ p − 1] … γ xx [0] ⎦
este pozitiv definită, să se arată că pentru 1 ≤ m ≤ p , coeficienţii de
reflexie satisfac relaţia | K m |< 1 .
360
Soluţie
Relaţia din enunţ poate fi scrisă matriceal sub forma
⎡ γ xx [0] γ xx [1] … γ xx [ p ] ⎤ ⎡ a p [0] ⎤ ⎡σ w2 ⎤
⎢ γ [1]
⎢ xx γ xx [0] … γ xx [ p − 1]⎥⎥ ⎢⎢ a p [1] ⎥⎥ ⎢⎢ 0 ⎥⎥
⋅ =
⎢ … … … ⎥ ⎢ … ⎥ ⎢… ⎥
⎢ ⎥ ⎢ ⎥ ⎢ ⎥
⎣γ xx [ p ] γ xx [ p − 1] … γ xx [0] ⎦ ⎣ a p [ p]⎦ ⎣ 0 ⎦
Din acest sistem de ecuaţii, rezultă
σ w2 Δ Γ p
a p [0] = , unde Δ Γ p este deternminantul matricei Γ p , iar
Δ Γ p +1
Δ Γ p+1 , determinantul matricei Γ p+1 .
Δ Γ p +1
Dar a p [0] = 1 , fapt ce conduce la σ w2 = . Cum matricea
ΔΓ p
de autocorelaţie este pozitiv definită, ambii determinanţi din relaţia
precedentă sunt pozitivi, de unde rezultă că σ w2 > 0 . Folosind
p
recursiv relaţia (3.83), rezultă σ w2 = ∏ (1 − K m2 )γ xx [0] > 0 , unde K m
m =1
361
6. BIBLIOGRAFIE
363
39. Lacos, R. T., “Data adaptive spectral analysis methods”, Geophysics,
vol. 36, pp. 661 – 675, 1971.
40. Marple S. L., Digital spectral analysis with applications, Prentice Hall,
Englewood Cliffs, N.J. 1987.
41. Mateescu, A., Semnale, circuite şi sisteme, Editura Didactică şi
Pedagogică, Bucureşti, 1984.
42. Mateescu, A., Semnale, circuite şi sisteme, Ed. Didactică şi
Pedagogică, 1985.
43. Mateescu, A., Ciochină, S., Dumitriu, N., Şerbănescu, A., Stanciu, N.,
Prelucrarea numerică a semnalelor, Ed. Didactică şi Pedagogică,
1997.
44. Mersereau R. M. and. Smith M. J. T, Digital Filtering-A computer
Laboratory Textbook, John Wiley, 1994.
45. Mitra S. K., Handbook for Digital Signal Processing, John Wiley &
Sons, New-York, 1973, pp. 155-270.
46. Mitra S. K., Kaiser J. F., Handbook for Digital Signal Processing,
John Wiley, New-York, 1993.
47. Munteanu, V., Detecţie şi estimare, Ed. Gh. Asachi Iaşi, 1997.
48. Munteanu, V., Teoria Transmisiunii Informaţiei, Ed. Gh. Asachi Iaşi,
2002.
49. Naforniţă, I., Câmpeanu, A., Isar, A., Semnale, circuite şi sisteme,
Universitatea Politehnica Timişoara, 1995.
50. Oppenbeim A.V. and Schafer R.W., Digital Signal Processing,
Prentice-Hall, 1975.
51. Oppenheim A. V., Shafer R. W., Applications of Digital Signal
Processing, Englewood Cliffs, NJ. Prentice Hall, 1978.
52. Oppenheim A. V., Shafer R. W, Discrete - Time Signal Processing,
Englewood Cliffs, NJ. Prentice Hall, 1989.
53. Oppenheim A. V., Shafer R. W, Discrete - Time Signal Processing,
Englewood Cliffs, NJ. Prentice Hall, ed. 2, 2001.
54. Papoulis, A., The Fourier Integral and Its Application, McGraw-Hill,
New York, 1962.
55. Papoulis, A., Signal Analysis, McGraw - Hill, New York, 1977.
56. Papoulis, A., Probability, Random Variables and Stochastic Processes,
McGraw-Hill, New York, 1984.
57. Parks T. W. and Burrus C. S., Digital Filters and Design, John Wiley,
New York 1987.
58. Proakis, J. G., Digital Communications, McGraw-Hill, New York,
1983.
59. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillan, 1988, 1st Ed..
60. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillian, 1992, 2nd Ed.
364
61. Proakis, J. G., Manolakis, D. G., Introduction to Digital Signal
Processing, New York Macmillian, 1996, 3rd Ed.
62. Proakis, J. G., Rader, C. M., Ling, F., Nikias, C. L., Advanced Digital
Signal Processing, Macmillan Publishing Company, 1992.
63. Rabiner L. R., Gold B., Theory and Application of Digital Signal
Processing, Prentice-Hall, 1975.
64. Rabiner, L., R., Schafer, R. W., Digital Processing of Speech Signals,
Prentice Hall, Englewood Cliffs, N. J. 1978.
65. Roberts A. R., Mullis T. C., Digital Signal Processing, Addison-
Wesley Publishing Company, 1987.
66. Rusu, C., Prelucrarea numerică a semnalelor, Ed. Risoprint, Cluj
Napoca, 2000.
67. Rusu, C., Prelucrări digitale de semnale, Ed. Mediamira, Cluj Napoca,
2000.
68. Shanks, J. L., “Recursion Filters for Digital Processing”, Geophisics,
vo. 32, pp. 33 – 51, febr. 1967.
69. Tărniceriu, D., Grigoraş, V., Prelucrarea numerică a semnalelor, Ed.
Gh. Asachi Iaşi, 1995.
70. Tărniceriu, D., Bazele prelucrării numerice a semnalelor, Ed.
Vasiliana 98, Iaşi, 2001.
71. Tărniceriu, D., Filtrare digitală, Ed. Tehnopres, Iaşi, 2004.
72. Ulrich T. J., Clayton, R. W., “Time series modeling and maximum
entropy” Phys. Earth Planet. Inter., vol. 12, pp. 188 – 200, 1976.
73. Vaidyanathan, P.P., Filter Banks and Multirate Signal Processing,
Englewood Cliffs, N. J. Prentice Hall, 1993.
74. P. P. Valdyanathan, “On error spectrum shaping in state space digital
filters”, IEEE Trans. Circuits Systems, CAS-32, pp. 88-92, 1985.
75. L. Weinberg, Network Analysis and Synthesis, McGraw-Hill Book Co.,
New York 1973.
76. Vich, R., Z - Transform Theory and Applications, D. Reidel Publishing
Company, Dordrecht, Holland, 1987.
77. Wiener, N., Paley, R. E. A. C., Fourier Transforms in the Complex
Domain, American Mathematical Society, Providence, R. I., 1934.
365
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
Laborator TEFO
Lucrarea nr. 1
1. Problema estimării
Pentru a găsi estimatori buni, primul pas este modelarea datelor. Deoarece acestea sunt
inerent aleatoare, ele sunt descrise de o funcţie densitate de probabilitate (PDF) notată
p ( x [ 0] , x [1] , , x [ N − 1] ; θ ) . Funcţia p depinde de parametrul necunoscut θ , deci vor exista o
mulţime de PDF, diferite pentru valori ale lui θ diferite.
În probleme reale PDF nu este dată; ea trebuie aleasă astfel încât să respecte
constrângerile impuse şi cunoştinţele prealabile. Pe de altă parte, PDF trebuie aleasă astfel încât
să poată fi tratată matematic. Odată stabilită funcţia densitate de probabilitate, urmează să se
determine, pornind de la date, estimatorul optim sau, dacă acesta nu poate fi găsit sau nu poate
fi implementat, un estimator suboptim.
Mai întotdeauna trebuie să se facă un compromis între performanţă şi complexitatea
calculului. După cum se va vedea, uneori estimatorii optimi sunt relativ dificil de obţinut,
necesitând integrare sau optimizare multidimensională. Practic, pentru fiecare aplicaţie în parte,
utilizatorul trebuie să stabilească ce fel de estimator va folosi.
Trebuie remarcat că un estimator este o variabilă aleatoare, ca şi datele pe baza cărora
este calculat. În consecinţă, performanţa sa poate fi complet descrisă numai statistic, indicând
PDF pentru estimator, care se poate calcula matematic (în cazurile simple) sau aproxima prin
metoda Monte Carlo.
1
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
Ne vom restrânge atenţia la estimatori care dau în medie valoarea adevărată. În această
clasă de estimatori, vom încerca să-l găsim pe cel cu dispersia cea mai mică, în speranţa că el
va produce valori apropiate de valoarea adevărată în cele mai multe cazuri.
2. Noţiuni de bază
2
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
3
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
disp('var(est2)=');disp(VarEst2);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est2)+b2^2=');disp(VarEst2+b2^2);
Un program similar celui din exemplul 1, dar pentru estimatorul din exemplul 2 este
tefo1_ex2:
%program tefo1_ex2
clear;
% media estimatorului
m=mean(est);
disp('m=');disp(m);
b=m-A; % deplasarea estimatorului
disp('b=');disp(b);
4
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
% varianta estimatorului
VarEst=std(est)^2;
disp('VarEst=');disp(VarEst);
% eroarea patratica medie pentru estimator
mse=mean((est-A).^2);
disp('mse=');disp(mse);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est)+b^2=');disp(VarEst+b^2);
Dificultăţile în găsirea unui estimator cu eroare pătratică medie minimă provin din
existenţa termenului b2(θ ) în expresia mse. Pentru a putea trata matematic problema, este
necesar a se renunţa la estimatorul bazat pe mse minimă şi considerarea cazului estimatorilor
nedeplasaţi a căror dispersie se minimizează. În acest caz se obţine:
mse(est (θ )) = var( est (θ )) (5)
Minimizând expresia (5), se poate deduce, în anumite situaţii, un estimator realizabil pe
care îl vom numi estimator MVU (estimator nedeplasat, de dispersie minimă - Minimum
Variance Unbiased).
Nu totdeauna există un estimator MVU şi, chiar dacă există, uneori este imposibil să se
obţină o formulă matematică pentru el.
est1(θ) est1(θ)
est2(θ) est2(θ)
est3(θ)=
estimator
est3(θ)
MVU
0 a) θ 0 b) θ0 θ
Figura 1
Dacă există 3 estimatori nedeplasaţi, ale căror dispersii sunt reprezentate în Fig. 1a) şi
b), se vede clar că pentru Fig. 1a), est3 (θ ) este de dispersie minimă. În situaţia din Fig. 1b) nu
există estimator de dispersie minimă, deoarece pentru θ < θ0 , est2 (θ ) este mai bun, în timp ce
pentru θ > θ0 , est3 (θ ) este mai bun. În primul caz, est3 (θ ) se numeşte estimator uniform, de
5
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
dispersie minimă, nedeplasat, pentru a evidenţia că dispersia sa este cea mai mică pentru toţi
θ.
Exerciţiul 3
Se presupun două observaţii independente x[0] şi x[1] distribuite cu PDF Gaussiană
astfel:
x[0] N (θ ,1)
N (θ ,1), pt. θ ≥ 0
x[1]
N (θ , 2), pt. θ < 0
unde N (θ , σ 2 ) reprezintă o variabilă aleatoare cu distribuție Gaussiană de medie θ și dispersie
σ 2 . Se consideră estimatorii est1 (θ ) = ( x [0] + x [1]) 2 şi est2 (θ ) = ( 2 ⋅ x [0] + x [1]) 3 . Pentru
aceştia să se calculeze deplasările, să se reprezinte dispersiile şi să se decidă dacă sunt MVU.
%program tefo1_ex3
clear;
clc;
close all;
6
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
figure(2);
plot(A,VarEst1,A,VarEst2);
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Dispersie');
Exemplul 4
Fie datele din figura următoare:
3.5
2.5
1.5
0.5
-0.5
-1
-1.5
0 10 20 30 40 50 60 70 80 90 100
Figura 2
Dintr-o inspecţie vizuală a imaginii datelor pare că x [ n ] este format dintr-un nivel de
c.c. A sumat cu zgomot. Datele pot fi modelate cu funcţia x [ n ] = A + w [ n ] , unde w [ n ] este un
zgomot de medie nulă. Pe baza datelor x [0] , x [1] , , x [ N − 1] se doreşte a se estima nivelul A .
Intuitiv, dacă A este nivelul mediu a lui x [ n ] ( w [ n ] are medie nulă) pare potrivit a folosi în
estimarea lui A estimatorul
N -1
1
Aˆ =
N
x[n] ,
n =0
7
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
%program tefo1_ex4
clear;
8
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
În practică este foarte util să se poată găsi o limită inferioară pentru dispersia
estimatorilor nedeplasaţi. În cazul cel mai defavorabil - când nu se poate găsi nici un estimator
care să o atingă - limita poate fi totuşi folosită pentru compararea performanţelor estimatorilor
existenţi. Au fost identificate mai multe limite inferioare, dintre care limita Cramer-Rao (CR)
este cea mai uşor de aplicat.
Înainte de prezentarea teoremei CR, este util să analizăm factorii care determină cât de
bine putem estima un parametru. Deoarece toate informaţiile sunt conţinute în datele observate
şi în PDF a datelor, nu este surprinzător că acurateţea estimării depinde direct de PDF. De
exemplu, nu ne vom aştepta să putem estima un parametru cu orice precizie dacă PDF nu
depinde decât foarte slab de acest parametru, sau, în situaţia extremă, dacă nu depinde deloc de
acesta. În general, cu cât PDF este mai puternic influenţată de parametrul necunoscut, cu atât
mai bine îl vom putea estima pe acesta. Atunci când PDF este văzută ca o funcţie de parametrul
necunoscut, ea poartă numele de funcţie de plauzibilitate.
9
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
10
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
∂ ln p( x; φ ) A N -1
2
∂φ 2
= − x[n] ⋅ cos ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
σ 2 n =0
În final se calculează valoarea medie, cu semn schimbat, a ultimei expresii:
∂ 2 ln p( x;φ ) A N -1
2
−E 2 = ⋅ A ⋅ cos2 ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
∂φ σ n =0
2 N -1
1 1 NA2 A2 N -1 j (4π fn + 2φ )
= A2 ⋅ + cos ( 4π fn + 2φ ) − cos ( 4π fn + 2φ ) = 2
− ⋅ Re e =
σ n =0 2 2 2σ 2σ 2 n =0
2 2
j 4π Nf
− 1 NA 2 2
sin ( 2π Nf ) ⋅ cos ( 2π ( N − 1) f + 2φ )
= NA2 − A 2 ⋅ Re e j 2φ ⋅ e j 4π f = − A2⋅
2σ 2σ e − 1 2σ 2
2σ sin ( 2π f )
Presupunând că f este depărtat de 0 şi 0.5, se poate face aproximarea:
2 ln p ( x;φ ) NA2
−E ∂ ≅ 2 2
∂φ 2 σ
şi deci
2σ 2
var(est (φ )) ≥ 2
(13)
NA
Condiţia (9) nefiind îndeplinită, nu există nici un estimator nedeplasat care să atingă
această limită.
Întrucât de cele mai multe ori se presupune că zgomotul este alb şi Gaussian, este util să
se determine limita inferioară Cramer-Rao pentru acest caz. În continuare se presupune un
semnal determinist afectat de zgomot WGN de medie nulă și dispersie σ 2 , θ fiind parametrul
necunoscut.
x[n ] = s[n;θ ] + w[n ] , n = 0,1,..., N -1
Dependenţa semnalului de θ a fost indicată explicit. Funcţia de plauzibilitate este:
1 1 N -1 2
p ( x; θ ) = ⋅ exp − 2 ⋅ ( x[n ] - s[n;θ ])
( 2πσ )
2 N 2
2σ n =0
Prin diferenţiere se obţine:
∂ ln p (x;θ ) 1 N -1 ∂s[n;θ ]
= 2 ⋅ ( x[n ] − s[n;θ ]) ⋅
∂θ σ n =0 ∂θ
∂ ln p ( x;θ ) = 1 ⋅ x[n ] − s[n;θ ] ⋅ ∂ s[n;θ ] − ∂s[n;θ ]
2 N -1 2 2
∂θ 2
(
σ 2 n =0
)
∂θ 2
∂θ
11
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
var(est (θ )) ≥
σ2 (14)
2
N -1
∂s[n;θ ]
n=0 ∂θ
Cu această formulă s-ar fi putut rezolva mult mai simplu exemplele 5 şi 6 înlocuind
s[n;θ ] = θ , respectiv s[n;θ ] = A cos ( 2π fn + θ ) .
n =0 n=0
2
=
σ =
σ2
N −1
( 2π ⋅ A) ⋅ n2 ⋅ ⋅ (1 − cos ( 4π fn + 2φ ) ) 2
1 1 N −1 N −1
⋅ ( 2π ⋅ A ) ⋅ n 2 − n 2 ⋅ cos ( 4π fn + 2φ )
2
n=0 2 2 n =0 n=0
Utilizând aproximarea
1 N −1 2
⋅ n ⋅ cos ( 4π fn + 2φ ) ≈ 0
N 3 n=0
se obţine expresia mai simplă
2 2
2 ⋅σ 2 ⋅σ
var(est ( f )) ≥ = (15)
2 ( N − 1) ⋅ N ⋅ ( 2 N − 1)
N −1
( 2π ⋅ A) ⋅ n
2 2
( 2π ⋅ A) ⋅
n=0 6
global N A sigma
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=2; %nr. de esantioane ale lui x[n] (se mareste apoi valoarea lui
N)
A=4;
sigma=2; %deviatia standard a zgomotului
w=sigma*randn(M,N); %esantioanele de zgomot
%nivelul de curent continuu
X=A+w;
12
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
f=0.3;
phi=1.5*pi;
% X=A*cos(2*pi*f*ones(M,1)*[0:N-1]+phi)+w;
figure(1);
hist(wmed,20);
figure(2);
for i=1:M
p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A).^2));
% p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A*cos(2*pi*f*[0:N-1]+phi)).^2));
end
stem(Xmed,p);
function y= myfun(x1,x2,x3)
global A sigma
N=3;
y=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*((x1-A).^2+(x2-
A).^2+(x3-A).^2));
4. Aplicaţii propuse
13
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
14
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
Laborator TEFO
Lucrarea nr. 1
1. Problema estimării
Pentru a găsi estimatori buni, primul pas este modelarea datelor. Deoarece acestea sunt
inerent aleatoare, ele sunt descrise de o funcţie densitate de probabilitate (PDF) notată
p ( x [ 0] , x [1] , , x [ N − 1] ; θ ) . Funcţia p depinde de parametrul necunoscut θ , deci vor exista o
mulţime de PDF, diferite pentru valori ale lui θ diferite.
În probleme reale PDF nu este dată; ea trebuie aleasă astfel încât să respecte
constrângerile impuse şi cunoştinţele prealabile. Pe de altă parte, PDF trebuie aleasă astfel încât
să poată fi tratată matematic. Odată stabilită funcţia densitate de probabilitate, urmează să se
determine, pornind de la date, estimatorul optim sau, dacă acesta nu poate fi găsit sau nu poate
fi implementat, un estimator suboptim.
Mai întotdeauna trebuie să se facă un compromis între performanţă şi complexitatea
calculului. După cum se va vedea, uneori estimatorii optimi sunt relativ dificil de obţinut,
necesitând integrare sau optimizare multidimensională. Practic, pentru fiecare aplicaţie în parte,
utilizatorul trebuie să stabilească ce fel de estimator va folosi.
Trebuie remarcat că un estimator este o variabilă aleatoare, ca şi datele pe baza cărora
este calculat. În consecinţă, performanţa sa poate fi complet descrisă numai statistic, indicând
PDF pentru estimator, care se poate calcula matematic (în cazurile simple) sau aproxima prin
metoda Monte Carlo.
1
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
Ne vom restrânge atenţia la estimatori care dau în medie valoarea adevărată. În această
clasă de estimatori, vom încerca să-l găsim pe cel cu dispersia cea mai mică, în speranţa că el
va produce valori apropiate de valoarea adevărată în cele mai multe cazuri.
2. Noţiuni de bază
2
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
3
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
disp('var(est2)=');disp(VarEst2);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est2)+b2^2=');disp(VarEst2+b2^2);
Un program similar celui din exemplul 1, dar pentru estimatorul din exemplul 2 este
tefo1_ex2:
%program tefo1_ex2
clear;
% media estimatorului
m=mean(est);
disp('m=');disp(m);
b=m-A; % deplasarea estimatorului
disp('b=');disp(b);
4
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
% varianta estimatorului
VarEst=std(est)^2;
disp('VarEst=');disp(VarEst);
% eroarea patratica medie pentru estimator
mse=mean((est-A).^2);
disp('mse=');disp(mse);
%verificare relatia (4)
fprintf('Verificare relatia (4):\n');
disp('var(est)+b^2=');disp(VarEst+b^2);
Dificultăţile în găsirea unui estimator cu eroare pătratică medie minimă provin din
existenţa termenului b2(θ ) în expresia mse. Pentru a putea trata matematic problema, este
necesar a se renunţa la estimatorul bazat pe mse minimă şi considerarea cazului estimatorilor
nedeplasaţi a căror dispersie se minimizează. În acest caz se obţine:
mse(est (θ )) = var( est (θ )) (5)
Minimizând expresia (5), se poate deduce, în anumite situaţii, un estimator realizabil pe
care îl vom numi estimator MVU (estimator nedeplasat, de dispersie minimă - Minimum
Variance Unbiased).
Nu totdeauna există un estimator MVU şi, chiar dacă există, uneori este imposibil să se
obţină o formulă matematică pentru el.
est1(θ) est1(θ)
est2(θ) est2(θ)
est3(θ)=
estimator
est3(θ)
MVU
0 a) θ 0 b) θ0 θ
Figura 1
Dacă există 3 estimatori nedeplasaţi, ale căror dispersii sunt reprezentate în Fig. 1a) şi
b), se vede clar că pentru Fig. 1a), est3 (θ ) este de dispersie minimă. În situaţia din Fig. 1b) nu
există estimator de dispersie minimă, deoarece pentru θ < θ0 , est2 (θ ) este mai bun, în timp ce
pentru θ > θ0 , est3 (θ ) este mai bun. În primul caz, est3 (θ ) se numeşte estimator uniform, de
5
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
dispersie minimă, nedeplasat, pentru a evidenţia că dispersia sa este cea mai mică pentru toţi
θ.
Exerciţiul 3
Se presupun două observaţii independente x[0] şi x[1] distribuite cu PDF Gaussiană
astfel:
x[0] N (θ ,1)
N (θ ,1), pt. θ ≥ 0
x[1]
N (θ , 2), pt. θ < 0
unde N (θ , σ 2 ) reprezintă o variabilă aleatoare cu distribuție Gaussiană de medie θ și dispersie
σ 2 . Se consideră estimatorii est1 (θ ) = ( x [0] + x [1]) 2 şi est2 (θ ) = ( 2 ⋅ x [0] + x [1]) 3 . Pentru
aceştia să se calculeze deplasările, să se reprezinte dispersiile şi să se decidă dacă sunt MVU.
%program tefo1_ex3
clear;
clc;
close all;
6
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
figure(2);
plot(A,VarEst1,A,VarEst2);
legend('estimator 1','estimator 2');
xlabel('\theta');
ylabel('Dispersie');
Exemplul 4
Fie datele din figura următoare:
3.5
2.5
1.5
0.5
-0.5
-1
-1.5
0 10 20 30 40 50 60 70 80 90 100
Figura 2
Dintr-o inspecţie vizuală a imaginii datelor pare că x [ n ] este format dintr-un nivel de
c.c. A sumat cu zgomot. Datele pot fi modelate cu funcţia x [ n ] = A + w [ n ] , unde w [ n ] este un
zgomot de medie nulă. Pe baza datelor x [0] , x [1] , , x [ N − 1] se doreşte a se estima nivelul A .
Intuitiv, dacă A este nivelul mediu a lui x [ n ] ( w [ n ] are medie nulă) pare potrivit a folosi în
estimarea lui A estimatorul
N -1
1
Aˆ =
N
x[n] ,
n =0
7
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
%program tefo1_ex4
clear;
8
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
În practică este foarte util să se poată găsi o limită inferioară pentru dispersia
estimatorilor nedeplasaţi. În cazul cel mai defavorabil - când nu se poate găsi nici un estimator
care să o atingă - limita poate fi totuşi folosită pentru compararea performanţelor estimatorilor
existenţi. Au fost identificate mai multe limite inferioare, dintre care limita Cramer-Rao (CR)
este cea mai uşor de aplicat.
Înainte de prezentarea teoremei CR, este util să analizăm factorii care determină cât de
bine putem estima un parametru. Deoarece toate informaţiile sunt conţinute în datele observate
şi în PDF a datelor, nu este surprinzător că acurateţea estimării depinde direct de PDF. De
exemplu, nu ne vom aştepta să putem estima un parametru cu orice precizie dacă PDF nu
depinde decât foarte slab de acest parametru, sau, în situaţia extremă, dacă nu depinde deloc de
acesta. În general, cu cât PDF este mai puternic influenţată de parametrul necunoscut, cu atât
mai bine îl vom putea estima pe acesta. Atunci când PDF este văzută ca o funcţie de parametrul
necunoscut, ea poartă numele de funcţie de plauzibilitate.
9
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
10
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
∂ ln p( x; φ ) A N -1
2
∂φ 2
= − x[n] ⋅ cos ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
σ 2 n =0
În final se calculează valoarea medie, cu semn schimbat, a ultimei expresii:
∂ 2 ln p( x;φ ) A N -1
2
−E 2 = ⋅ A ⋅ cos2 ( 2π fn + φ ) − A ⋅ cos ( 4π fn + 2φ )
∂φ σ n =0
2 N -1
1 1 NA2 A2 N -1 j (4π fn + 2φ )
= A2 ⋅ + cos ( 4π fn + 2φ ) − cos ( 4π fn + 2φ ) = 2
− ⋅ Re e =
σ n =0 2 2 2σ 2σ 2 n =0
2 2
j 4π Nf
− 1 NA 2 2
sin ( 2π Nf ) ⋅ cos ( 2π ( N − 1) f + 2φ )
= NA2 − A 2 ⋅ Re e j 2φ ⋅ e j 4π f = − A2⋅
2σ 2σ e − 1 2σ 2
2σ sin ( 2π f )
Presupunând că f este depărtat de 0 şi 0.5, se poate face aproximarea:
2 ln p ( x;φ ) NA2
−E ∂ ≅ 2 2
∂φ 2 σ
şi deci
2σ 2
var(est (φ )) ≥ 2
(13)
NA
Condiţia (9) nefiind îndeplinită, nu există nici un estimator nedeplasat care să atingă
această limită.
Întrucât de cele mai multe ori se presupune că zgomotul este alb şi Gaussian, este util să
se determine limita inferioară Cramer-Rao pentru acest caz. În continuare se presupune un
semnal determinist afectat de zgomot WGN de medie nulă și dispersie σ 2 , θ fiind parametrul
necunoscut.
x[n ] = s[n;θ ] + w[n ] , n = 0,1,..., N -1
Dependenţa semnalului de θ a fost indicată explicit. Funcţia de plauzibilitate este:
1 1 N -1 2
p ( x; θ ) = ⋅ exp − 2 ⋅ ( x[n ] - s[n;θ ])
( 2πσ )
2 N 2
2σ n =0
Prin diferenţiere se obţine:
∂ ln p (x;θ ) 1 N -1 ∂s[n;θ ]
= 2 ⋅ ( x[n ] − s[n;θ ]) ⋅
∂θ σ n =0 ∂θ
∂ ln p ( x;θ ) = 1 ⋅ x[n ] − s[n;θ ] ⋅ ∂ s[n;θ ] − ∂s[n;θ ]
2 N -1 2 2
∂θ 2
(
σ 2 n =0
)
∂θ 2
∂θ
11
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
var(est (θ )) ≥
σ2 (14)
2
N -1
∂s[n;θ ]
n=0 ∂θ
Cu această formulă s-ar fi putut rezolva mult mai simplu exemplele 5 şi 6 înlocuind
s[n;θ ] = θ , respectiv s[n;θ ] = A cos ( 2π fn + θ ) .
n =0 n=0
2
=
σ =
σ2
N −1
( 2π ⋅ A) ⋅ n2 ⋅ ⋅ (1 − cos ( 4π fn + 2φ ) ) 2
1 1 N −1 N −1
⋅ ( 2π ⋅ A ) ⋅ n 2 − n 2 ⋅ cos ( 4π fn + 2φ )
2
n=0 2 2 n =0 n=0
Utilizând aproximarea
1 N −1 2
⋅ n ⋅ cos ( 4π fn + 2φ ) ≈ 0
N 3 n=0
se obţine expresia mai simplă
2 2
2 ⋅σ 2 ⋅σ
var(est ( f )) ≥ = (15)
2 ( N − 1) ⋅ N ⋅ ( 2 N − 1)
N −1
( 2π ⋅ A) ⋅ n
2 2
( 2π ⋅ A) ⋅
n=0 6
global N A sigma
%generarea mai multor realizari ale semnalului x[n]
M=200; %nr. de realizari
N=2; %nr. de esantioane ale lui x[n] (se mareste apoi valoarea lui
N)
A=4;
sigma=2; %deviatia standard a zgomotului
w=sigma*randn(M,N); %esantioanele de zgomot
%nivelul de curent continuu
X=A+w;
12
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
f=0.3;
phi=1.5*pi;
% X=A*cos(2*pi*f*ones(M,1)*[0:N-1]+phi)+w;
figure(1);
hist(wmed,20);
figure(2);
for i=1:M
p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A).^2));
% p(i)=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*sum((X(i,:)-
A*cos(2*pi*f*[0:N-1]+phi)).^2));
end
stem(Xmed,p);
function y= myfun(x1,x2,x3)
global A sigma
N=3;
y=1/((2*pi*sigma^2)^(N/2))*exp(-1/(2*sigma^2)*((x1-A).^2+(x2-
A).^2+(x3-A).^2));
4. Aplicaţii propuse
13
TEFO Lucrarea 1 Noţiuni de bază, criterii de evaluare a estimatului, inegalitatea Cramer-Rao
14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
Laborator TEFO
Lucrarea nr. 2
care este chiar MVU. Acest rezultat este, în general, adevărat. Dacă există un estimator eficient,
atunci el poate fi identificat prin estimare de plauzibilitate maximă.
1
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
est (θ ) N (θ , I −1 (θ )) (2)
unde I (θ ) este informaţia Fisher evaluată în valoarea adevărată a parametrului necunoscut.
Condiţiile de regularitate cer existenţa derivatelor logaritmului PDF (de ordin I, II),
precum şi valori nenule pentru informaţia Fisher.
Punem condiţia:
∂J (φ ) N -1
= 2 ⋅ ( x[n ] − cos(2π fn + φ )) ⋅ A ⋅ sin(2π fn + φ ) = 0
∂φ n =0
x[n]sin(2π fn + est (φ )) = 0
n=0
În concluzie,
N -1
x[n]sin(2π fn)
est (φ ) = − atan n =0
N -1
(3)
x[n]cos(2π fn)
n =0
2
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
NA2 1 1 2
/2
unde I (φ ) = , astfel încât dispersia asimptotică este var ( est (φ ) ) = = , η= A 2
2σ 2 2
Nη σ
N⋅ A2
2σ
fiind raportul semnal-zgomot (sau în engleză: signal to noise ratio (SNR)).
PDF asimptotică este valabilă pentru înregistrări de date suficient de mari sau pentru
SNR mare. Astfel, pentru exemplul anterior:
N -1
3
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
mp(i)=mean(estp);
vp(i)=std(estp)^2;
end
figure(1);
clf;
subplot(211);
plot(N,mp,'-o','MarkerFaceColor','b');
hold on;
plot(N,p*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.97*min(mp) 1.03*max(mp)]);
title('Estimarea fazei');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vp,'-o','MarkerFaceColor','b');
hold on;
plot(N,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(N)-1 max(N)+1 -min(vp) 1.1*max(max(vp),Iinv(1))]);
xlabel('N');
ylabel('Varianta');
grid on;
Un program Matlab similar celui anterior, dar care verifică estimarea fazei prin calculul
mediei şi dispersiei pentru valorile SNR ∈ {−15, −10, −5,0−,5,10,15} dB este
tefo_L2_ex2_MLE_phi_SNR.m:
%program tefo_L2_ex2_MLE_phi_SNR.m
% estimarea ML a fazei unei sinusoide
clear;
clc;
n=[0:N-1];
num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
SNR(i)=5*i-20
4
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
mp(i)=mean(estp);
vp(i)=std(estp)^2;
Iinv(i)=1./(N*A^2/(2*sigma(i)^2)); %inversul informatiei
Fisher
end
figure(1);
clf;
subplot(211);
plot(SNR,mp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,p*ones(1,num_SNR),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
axis([min(SNR) max(SNR) 0.95*min(mp) 1.05*max(mp)]);
title('Estimarea fazei');
xlabel('SNR [dB]');
ylabel('Media');
grid on;
subplot(212);
plot(SNR,vp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(SNR) max(SNR) -min(vp)-0.1 1.1*max(max(vp),Iinv(1))]);
xlabel('SNR [dB]');
ylabel('Varianta');
grid on;
Care este expresia estimatului fazei când datele sunt de forma următoare:
x[n ] = A sin(2π fn + φ ) + w[n ], n = 0,1,..., N -1 ?
Modificaţi programele anterioare pentru acest caz şi verificaţi rezultatul obținut analitic.
În multe cazuri avem nevoie de un parametru care se poate scrie ca o funcţie de un alt
parametru. De exemplu, s-ar putea să nu ne intereseze valoarea A a nivelului de curent continuu
în WGN, ci puterea A2. În acest caz, MLE pentru A2 se găseşte uşor dacă se cunoaşte MLE
5
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
pentru A.
Deci
N -1
( x [ n ])
2
est ( P ) /10
10 = n =0
N
sau
N -1
( x [ n ])
2
sigma=sqrt(2);
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[50:50:1000]; %nr. de esantioane ale lui x[n]
L=length(N);
6
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
for i=1:L
n=[0:N(i)-1];
x=[];
x=sigma*randn(M,N(i));
% estimatul ML al dispersiei zgomotului
estPzg=10*log10(sum(x.^2,2)/N(i));
mPzg(i)=mean(estPzg);
vPzg(i)=std(estPzg)^2;
varPzg_CR(i)=2*(10/log(10))^2/N(i);
end
figure(1);
clf;
subplot(211);
plot(N,mPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,10*log10(sigma^2)*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.9*(10*log10(sigma^2))
1.1*(10*log10(sigma^2))]);
title('Estimarea puterii zgomotului [dB]');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,varPzg_CR,'--v','MarkerFaceColor','g');
hold off;
legend('varianta estimatului','limita inferioara Cramer-Rao');
axis([min(N)-1 max(N)+1 -min(vPzg)
1.1*max(max(vPzg),varPzg_CR(1))]);
xlabel('N');
ylabel('Varianta');
grid on;
7
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
Exemplul 4
Considerăm transformarea α = A2 . Dacă încercăm să repetăm paşii de la exemplul
anterior, întâlnim o problemă. Încercând să parametrizăm p(x; A) în raport cu α , observăm că
A= ± α
deoarece transformarea nu este injectivă. De fapt avem nevoie de două seturi de PDF:
1 1 N -1
p T 1(x; α ) = 2 N /2
⋅ exp − 2 ( x[n ] − α ) 2 , α ≥ 0
(2π σ ) 2σ n =0
1 1 N -1
p T 2 ( x; α ) = 2 N /2
⋅ exp − 2 ( x[n ] + α ) 2 , α ≥ 0
(2π σ ) 2σ n =0
Este posibil să găsim MLE a lui α luând valoarea α care dă maximul dintre p T 1( x;α ) şi
p T 2 ( x; α ) :
est (α ) = arg max{ p T 1(x; α ), p T 2(x; α )}
Putem face această operaţie în doi paşi:
1. Pentru o valoare dată a lui α , notată α 0 , determinăm care dintre pT 1(x;α ) şi pT 2( x;α ) este
mai mare. Dacă, de exemplu, pT 1( x;α 0 ) > pT 2( x;α 0 ) , atunci atribuim lui pT ( x;α 0 ) valoarea
p T 1( x;α ) . Repetăm procedura pentru orice valoare pozitivă a lui α pentru a forma p T ( x; α ) .
2. MLE se determină ca fiind α care maximizează pT ( x;α ) , pentru α ≥ 0 .
În exemplul considerat, pentru orice α sunt posibile valorile
A= ± α
Estimatorul de plauzibilitate maximă este dat de:
2
{ } (x)
2
est (α ) = arg max p (x; α ), p( x; − α ) = arg max p( x; A) = est 2 ( A) =
{α ≥0} {−∞< A<∞}
În concluzie, proprietatea de invarianţă este valabilă şi în acest caz.
8
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
n=0
N −1
= x[n] − ( A cos(2π fn) cos (φ ) − A sin(2π fn) sin (φ ) )
2
(9)
n=0
sau echivalent:
T
J (α 1, α 2, f ) = (x − α1c − α 2s) (x − α1c − α 2s) =
= ( x −Hα)T (x-Hα ) = xT x − 2xT Hα +αT HT Hα (14)
unde
H = [c s] (15)
şi
α = [α1 α 2 ] .
T
(16)
Soluţia (considerată numai în raport cu α1 , α 2 ) se găseşte egalând gradientul lui J în
raport cu α cu zero, adică:
9
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
∂J (α)
= −2HT x +2HT Hα = 0 (17)
∂α
Pentru obținerea gradientului lui J s-au folosit identităţile:
∂ T
( a θ) = a (18)
∂θ
∂ T T
∂θ
( θ A Aθ ) = 2AT Aθ , (19)
unde a și θ sunt vectori de dimensiune p × 1 , iar A este o matrice de dimensiuni N × p .
Din (17) rezultă:
est (α) = ( HT H)-1HT x (20)
astfel încât
J (est (α 1), est (α 2), f ) = (x - Hest (α ))T (x - Hest (α )) = (x - H (HT H ) -1HT x)T (x - H (HT H ) -1HT x) =
( ) ( I − H (H H) H ) x = x ( I − H(H H) H ) x= x x − x H(H H) H x
T
= I − H ( HT H ) HT x
-1 T -1 T T T -1 T T T T -1 T
(21)
T -1 T
întrucât matricea I − H( H H) H este idempotentă (o matrice M este idempotentă dacă
M 2 = M ; în cazul nostru dacă M = I − H( HT H)-1HT avem MT = M ). În concluzie, trebuie
minimizată funcţia J în raport cu o singură variabilă (frecvenţa f) sau, echivalent, estimatul
frecvenței va fi:
f
{
est ( f ) = arg min −x T H ( f ) H ( f ) H ( f ) H ( f ) x
T
T −1
} (22)
Cu est ( f ) astfel calculat, se poate determina est (α ) din formula (19) şi mai departe
est ( A) est (α 1) 2 + est (α 2) 2
est (θ) = est (φ ) =
atan(−est (α 2) / est (α 1)) (23)
est ( f )
est ( f )
Pentru acest exemplu s-a efectuat o analiză Monte Carlo pentru a se evalua
performanţele estimatorului în funcţie de SNR. Pentru SNR ∈ {−15, −10, −5,0−,5,10,15} dB s-au
generat câte M = 100 de realizări ale zgomotului alb Gaussian (fiecare având N = 100 de
eşantioane). Acest zgomot a fost adunat la semnalul util:
2 ⋅ cos(2 π ⋅ 0.11 ⋅ n + 0.5) (24)
pentru n = 0,1,..., N − 1 . Pentru fiecare realizare s-au calculat estimatori pentru A, f, φ prin
minimizare Brent (disponibilă în MATLAB). Pentru a se evita obţinerea de minime locale,
domeniul lui f a fost împărţit în Nsubint = 0.2 ⋅ N intervale şi s-a realizat minimizarea pe fiecare
interval; în final s-a ales minimul cel mai mic. Pentru cei M estimatori ai fiecărui parametru s-a
calculat media, dispersia şi eroarea pătratică medie. S-a reprezentat grafic dependenţa acestora
de SNR. Dispersia estimaţilor s-a comparat cu valorile date de limita Cramer-Rao pentru
vectori de parametri, anume
10
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
var est A = 2σ
2
CR ( ( ) ) N
12 ⋅ 2σ 2
varCR ( est ( f ) ) = (25)
( 2π A) ⋅ N ⋅ ( N 2 − 1)
2
var est φ = 2 ⋅ 2σ ⋅ ( 2 N − 1)
2
CR ( ( ) ) A2 ⋅ N ⋅ ( N + 1)
Punctele din graficele mediilor reprezintă valorile adevărate ale parametrilor ( 2 , 0.11, 0.5).
Măriţi apoi valoarea lui N şi observaţi efectul asupra dispersiei estimaţilor.
% program tefo_L2_MLE_A_f_phi.m
% estimarea parametrilor unei sinusoide prin metoda
plauzibilitãtii maxime
clear;
global N;
M=100; % numarul de realizari generate pentru fiecare
valoare a SNR
N=100; % numarul de esantioane pe realizare (se
schimba apoi cu valorile 300, 500)
N_subint=0.2*N; % numarul de subintervale pe care se face
minimizarea
11
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
var_a_CR(i)=(2*sigma(i)^2)/N;
var_f_CR(i)=(2*sigma(i)^2*12)/((2*pi*A)^2*N*(N^2-1));
var_p_CR(i)=(2*sigma(i)^2*2*(2*N-1))/(A^2*N*(N+1));
SNR(i)=5*i-20
end
unu_vect=ones(1,num_SNR);
figure(1);
clf;
subplot(321);
plot(SNR,ma,SNR,A*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
grid on;
subplot(322);
plot(SNR,da,'-ob',SNR,var_a_CR,'gv',SNR,mse_a,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
grid on;
subplot(323);
plot(SNR,mf,SNR,f*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*f,min(mf))
max(1.1*f,max(mf))]);
grid on;
subplot(324);
plot(SNR,df,'-ob',SNR,var_f_CR,'gv',SNR,mse_f,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)]);
grid on;
subplot(325);
plot(SNR,mp,SNR,p*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
xlabel('SNR [dB]');
12
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
ylabel('Media');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*p,min(mp))
max(1.1*p,max(mp))]);
grid on;
subplot(326);
plot(SNR,dp,'-ob',SNR,var_p_CR,'gv',SNR,mse_p,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(dp) max(dp)]);
grid on;
function[ef,ea,ep]=carlo(M,N_subint,sigma)
% Procedura genereaza M realizari ale semnalului perturbat. Pentru
% fiecare dintre acestea se determina estimatorii pentru
% amplitudine, frecventa si faza.
global x;
global N;
global A;
global f;
global p;
Q=(0:N-1)';
for i=1:M
% Se genereaza o realizare a semnalului perturbat:
semnal=A*cos(2*pi*f*Q+p);
zgomot=sigma*randn(N,1);
x=semnal+zgomot;
est_f=fun_min_min_f_pe_subint(N_subint); % calculeaza
frecventa care minimizeaza functia obiectiv pe N_subint
subintervale si apoi gaseste minimul dintre aceste minime
c=cos(2*pi*est_f*Q);
s=sin(2*pi*est_f*Q);
H=[c s];
ef(i)=est_f; % estimatul frecventei
alpha=(inv(H'*H)*H'*x); % estimatul lui alpha
ea(i)=sqrt(alpha(1)^2+alpha(2)^2); % estimatul amplitudinii
ep(i)=atan(-alpha(2)/alpha(1)); % estimatul fazei
end
function[solu]=fun_min_min_f_pe_subint(N_subint)
% Procedura identifica minimul dintre valorile obtinute prin
minimizare pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);
function[w,v]=fun_min_f_pe_subint(N_subint)
13
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
pas_f=0.45/(N_subint+1);
for i=1:N_subint
% options = optimset('TolX',1e-3);
%
[w(i),v(i),exitflag]=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1),optio
ns);
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end
function[out]=fun_min_f(ff)
% Aceasta este functia obiectiv care trebuie minimizata:
global x;
global N;
Q=(0:N-1)';
c=cos(2*pi*ff*Q);
s=sin(2*pi*ff*Q);
H=[c s];
out=-x'*H*inv(H'*H)*H'*x;
4. Aplicaţii propuse
14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
15
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
Laborator TEFO
Lucrarea nr. 2
care este chiar MVU. Acest rezultat este, în general, adevărat. Dacă există un estimator eficient,
atunci el poate fi identificat prin estimare de plauzibilitate maximă.
1
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
est (θ ) N (θ , I −1 (θ )) (2)
unde I (θ ) este informaţia Fisher evaluată în valoarea adevărată a parametrului necunoscut.
Condiţiile de regularitate cer existenţa derivatelor logaritmului PDF (de ordin I, II),
precum şi valori nenule pentru informaţia Fisher.
Punem condiţia:
∂J (φ ) N -1
= 2 ⋅ ( x[n ] − cos(2π fn + φ )) ⋅ A ⋅ sin(2π fn + φ ) = 0
∂φ n =0
x[n]sin(2π fn + est (φ )) = 0
n=0
În concluzie,
N -1
x[n]sin(2π fn)
est (φ ) = − atan n =0
N -1
(3)
x[n]cos(2π fn)
n =0
2
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
NA2 1 1 2
/2
unde I (φ ) = , astfel încât dispersia asimptotică este var ( est (φ ) ) = = , η= A 2
2σ 2 2
Nη σ
N⋅ A2
2σ
fiind raportul semnal-zgomot (sau în engleză: signal to noise ratio (SNR)).
PDF asimptotică este valabilă pentru înregistrări de date suficient de mari sau pentru
SNR mare. Astfel, pentru exemplul anterior:
N -1
3
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
mp(i)=mean(estp);
vp(i)=std(estp)^2;
end
figure(1);
clf;
subplot(211);
plot(N,mp,'-o','MarkerFaceColor','b');
hold on;
plot(N,p*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.97*min(mp) 1.03*max(mp)]);
title('Estimarea fazei');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vp,'-o','MarkerFaceColor','b');
hold on;
plot(N,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(N)-1 max(N)+1 -min(vp) 1.1*max(max(vp),Iinv(1))]);
xlabel('N');
ylabel('Varianta');
grid on;
Un program Matlab similar celui anterior, dar care verifică estimarea fazei prin calculul
mediei şi dispersiei pentru valorile SNR ∈ {−15, −10, −5,0−,5,10,15} dB este
tefo_L2_ex2_MLE_phi_SNR.m:
%program tefo_L2_ex2_MLE_phi_SNR.m
% estimarea ML a fazei unei sinusoide
clear;
clc;
n=[0:N-1];
num_SNR=7;
for i=1:num_SNR
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
SNR(i)=5*i-20
4
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
mp(i)=mean(estp);
vp(i)=std(estp)^2;
Iinv(i)=1./(N*A^2/(2*sigma(i)^2)); %inversul informatiei
Fisher
end
figure(1);
clf;
subplot(211);
plot(SNR,mp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,p*ones(1,num_SNR),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
axis([min(SNR) max(SNR) 0.95*min(mp) 1.05*max(mp)]);
title('Estimarea fazei');
xlabel('SNR [dB]');
ylabel('Media');
grid on;
subplot(212);
plot(SNR,vp,'-o','MarkerFaceColor','b');
hold on;
plot(SNR,Iinv,'--gv','MarkerFaceColor','g');
hold off;
legend('valoare estimata in Matlab','limita inferioara Cramer-
Rao');
axis([min(SNR) max(SNR) -min(vp)-0.1 1.1*max(max(vp),Iinv(1))]);
xlabel('SNR [dB]');
ylabel('Varianta');
grid on;
Care este expresia estimatului fazei când datele sunt de forma următoare:
x[n ] = A sin(2π fn + φ ) + w[n ], n = 0,1,..., N -1 ?
Modificaţi programele anterioare pentru acest caz şi verificaţi rezultatul obținut analitic.
În multe cazuri avem nevoie de un parametru care se poate scrie ca o funcţie de un alt
parametru. De exemplu, s-ar putea să nu ne intereseze valoarea A a nivelului de curent continuu
în WGN, ci puterea A2. În acest caz, MLE pentru A2 se găseşte uşor dacă se cunoaşte MLE
5
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
pentru A.
Deci
N -1
( x [ n ])
2
est ( P ) /10
10 = n =0
N
sau
N -1
( x [ n ])
2
sigma=sqrt(2);
M=5000; %nr de realizari pentru fiecare valoare a lui N
N=[50:50:1000]; %nr. de esantioane ale lui x[n]
L=length(N);
6
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
for i=1:L
n=[0:N(i)-1];
x=[];
x=sigma*randn(M,N(i));
% estimatul ML al dispersiei zgomotului
estPzg=10*log10(sum(x.^2,2)/N(i));
mPzg(i)=mean(estPzg);
vPzg(i)=std(estPzg)^2;
varPzg_CR(i)=2*(10/log(10))^2/N(i);
end
figure(1);
clf;
subplot(211);
plot(N,mPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,10*log10(sigma^2)*ones(1,L),'--ko','MarkerFaceColor','k');
hold off;
legend('valoare estimata medie','valoare adevarata');
axis([min(N)-1 max(N)+1 0.9*(10*log10(sigma^2))
1.1*(10*log10(sigma^2))]);
title('Estimarea puterii zgomotului [dB]');
xlabel('N');
ylabel('Media');
grid on;
subplot(212);
plot(N,vPzg,'-o','MarkerFaceColor','b');
hold on;
plot(N,varPzg_CR,'--v','MarkerFaceColor','g');
hold off;
legend('varianta estimatului','limita inferioara Cramer-Rao');
axis([min(N)-1 max(N)+1 -min(vPzg)
1.1*max(max(vPzg),varPzg_CR(1))]);
xlabel('N');
ylabel('Varianta');
grid on;
7
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
Exemplul 4
Considerăm transformarea α = A2 . Dacă încercăm să repetăm paşii de la exemplul
anterior, întâlnim o problemă. Încercând să parametrizăm p(x; A) în raport cu α , observăm că
A= ± α
deoarece transformarea nu este injectivă. De fapt avem nevoie de două seturi de PDF:
1 1 N -1
p T 1(x; α ) = 2 N /2
⋅ exp − 2 ( x[n ] − α ) 2 , α ≥ 0
(2π σ ) 2σ n =0
1 1 N -1
p T 2 ( x; α ) = 2 N /2
⋅ exp − 2 ( x[n ] + α ) 2 , α ≥ 0
(2π σ ) 2σ n =0
Este posibil să găsim MLE a lui α luând valoarea α care dă maximul dintre p T 1( x;α ) şi
p T 2 ( x; α ) :
est (α ) = arg max{ p T 1(x; α ), p T 2(x; α )}
Putem face această operaţie în doi paşi:
1. Pentru o valoare dată a lui α , notată α 0 , determinăm care dintre pT 1(x;α ) şi pT 2( x;α ) este
mai mare. Dacă, de exemplu, pT 1( x;α 0 ) > pT 2( x;α 0 ) , atunci atribuim lui pT ( x;α 0 ) valoarea
p T 1( x;α ) . Repetăm procedura pentru orice valoare pozitivă a lui α pentru a forma p T ( x; α ) .
2. MLE se determină ca fiind α care maximizează pT ( x;α ) , pentru α ≥ 0 .
În exemplul considerat, pentru orice α sunt posibile valorile
A= ± α
Estimatorul de plauzibilitate maximă este dat de:
2
{ } (x)
2
est (α ) = arg max p (x; α ), p( x; − α ) = arg max p( x; A) = est 2 ( A) =
{α ≥0} {−∞< A<∞}
În concluzie, proprietatea de invarianţă este valabilă şi în acest caz.
8
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
n=0
N −1
= x[n] − ( A cos(2π fn) cos (φ ) − A sin(2π fn) sin (φ ) )
2
(9)
n=0
sau echivalent:
T
J (α 1, α 2, f ) = (x − α1c − α 2s) (x − α1c − α 2s) =
= ( x −Hα)T (x-Hα ) = xT x − 2xT Hα +αT HT Hα (14)
unde
H = [c s] (15)
şi
α = [α1 α 2 ] .
T
(16)
Soluţia (considerată numai în raport cu α1 , α 2 ) se găseşte egalând gradientul lui J în
raport cu α cu zero, adică:
9
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
∂J (α)
= −2HT x +2HT Hα = 0 (17)
∂α
Pentru obținerea gradientului lui J s-au folosit identităţile:
∂ T
( a θ) = a (18)
∂θ
∂ T T
∂θ
( θ A Aθ ) = 2AT Aθ , (19)
unde a și θ sunt vectori de dimensiune p × 1 , iar A este o matrice de dimensiuni N × p .
Din (17) rezultă:
est (α) = ( HT H)-1HT x (20)
astfel încât
J (est (α 1), est (α 2), f ) = (x - Hest (α ))T (x - Hest (α )) = (x - H (HT H ) -1HT x)T (x - H (HT H ) -1HT x) =
( ) ( I − H (H H) H ) x = x ( I − H(H H) H ) x= x x − x H(H H) H x
T
= I − H ( HT H ) HT x
-1 T -1 T T T -1 T T T T -1 T
(21)
T -1 T
întrucât matricea I − H( H H) H este idempotentă (o matrice M este idempotentă dacă
M 2 = M ; în cazul nostru dacă M = I − H( HT H)-1HT avem MT = M ). În concluzie, trebuie
minimizată funcţia J în raport cu o singură variabilă (frecvenţa f) sau, echivalent, estimatul
frecvenței va fi:
f
{
est ( f ) = arg min −x T H ( f ) H ( f ) H ( f ) H ( f ) x
T
T −1
} (22)
Cu est ( f ) astfel calculat, se poate determina est (α ) din formula (19) şi mai departe
est ( A) est (α 1) 2 + est (α 2) 2
est (θ) = est (φ ) =
atan(−est (α 2) / est (α 1)) (23)
est ( f )
est ( f )
Pentru acest exemplu s-a efectuat o analiză Monte Carlo pentru a se evalua
performanţele estimatorului în funcţie de SNR. Pentru SNR ∈ {−15, −10, −5,0−,5,10,15} dB s-au
generat câte M = 100 de realizări ale zgomotului alb Gaussian (fiecare având N = 100 de
eşantioane). Acest zgomot a fost adunat la semnalul util:
2 ⋅ cos(2 π ⋅ 0.11 ⋅ n + 0.5) (24)
pentru n = 0,1,..., N − 1 . Pentru fiecare realizare s-au calculat estimatori pentru A, f, φ prin
minimizare Brent (disponibilă în MATLAB). Pentru a se evita obţinerea de minime locale,
domeniul lui f a fost împărţit în Nsubint = 0.2 ⋅ N intervale şi s-a realizat minimizarea pe fiecare
interval; în final s-a ales minimul cel mai mic. Pentru cei M estimatori ai fiecărui parametru s-a
calculat media, dispersia şi eroarea pătratică medie. S-a reprezentat grafic dependenţa acestora
de SNR. Dispersia estimaţilor s-a comparat cu valorile date de limita Cramer-Rao pentru
vectori de parametri, anume
10
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
var est A = 2σ
2
CR ( ( ) ) N
12 ⋅ 2σ 2
varCR ( est ( f ) ) = (25)
( 2π A) ⋅ N ⋅ ( N 2 − 1)
2
var est φ = 2 ⋅ 2σ ⋅ ( 2 N − 1)
2
CR ( ( ) ) A2 ⋅ N ⋅ ( N + 1)
Punctele din graficele mediilor reprezintă valorile adevărate ale parametrilor ( 2 , 0.11, 0.5).
Măriţi apoi valoarea lui N şi observaţi efectul asupra dispersiei estimaţilor.
% program tefo_L2_MLE_A_f_phi.m
% estimarea parametrilor unei sinusoide prin metoda
plauzibilitãtii maxime
clear;
global N;
M=100; % numarul de realizari generate pentru fiecare
valoare a SNR
N=100; % numarul de esantioane pe realizare (se
schimba apoi cu valorile 300, 500)
N_subint=0.2*N; % numarul de subintervale pe care se face
minimizarea
11
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
var_a_CR(i)=(2*sigma(i)^2)/N;
var_f_CR(i)=(2*sigma(i)^2*12)/((2*pi*A)^2*N*(N^2-1));
var_p_CR(i)=(2*sigma(i)^2*2*(2*N-1))/(A^2*N*(N+1));
SNR(i)=5*i-20
end
unu_vect=ones(1,num_SNR);
figure(1);
clf;
subplot(321);
plot(SNR,ma,SNR,A*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
grid on;
subplot(322);
plot(SNR,da,'-ob',SNR,var_a_CR,'gv',SNR,mse_a,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
grid on;
subplot(323);
plot(SNR,mf,SNR,f*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare adevarata');
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*f,min(mf))
max(1.1*f,max(mf))]);
grid on;
subplot(324);
plot(SNR,df,'-ob',SNR,var_f_CR,'gv',SNR,mse_f,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea frecventei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)]);
grid on;
subplot(325);
plot(SNR,mp,SNR,p*unu_vect,'o','MarkerFaceColor','b');
legend('valoare estimata medie','valoare
adevarata','Location','SouthEast');
xlabel('SNR [dB]');
12
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
ylabel('Media');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 min(0.9*p,min(mp))
max(1.1*p,max(mp))]);
grid on;
subplot(326);
plot(SNR,dp,'-ob',SNR,var_p_CR,'gv',SNR,mse_p,'*m');
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}));
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea fazei');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(dp) max(dp)]);
grid on;
function[ef,ea,ep]=carlo(M,N_subint,sigma)
% Procedura genereaza M realizari ale semnalului perturbat. Pentru
% fiecare dintre acestea se determina estimatorii pentru
% amplitudine, frecventa si faza.
global x;
global N;
global A;
global f;
global p;
Q=(0:N-1)';
for i=1:M
% Se genereaza o realizare a semnalului perturbat:
semnal=A*cos(2*pi*f*Q+p);
zgomot=sigma*randn(N,1);
x=semnal+zgomot;
est_f=fun_min_min_f_pe_subint(N_subint); % calculeaza
frecventa care minimizeaza functia obiectiv pe N_subint
subintervale si apoi gaseste minimul dintre aceste minime
c=cos(2*pi*est_f*Q);
s=sin(2*pi*est_f*Q);
H=[c s];
ef(i)=est_f; % estimatul frecventei
alpha=(inv(H'*H)*H'*x); % estimatul lui alpha
ea(i)=sqrt(alpha(1)^2+alpha(2)^2); % estimatul amplitudinii
ep(i)=atan(-alpha(2)/alpha(1)); % estimatul fazei
end
function[solu]=fun_min_min_f_pe_subint(N_subint)
% Procedura identifica minimul dintre valorile obtinute prin
minimizare pe cele N_subint subintervale:
[w,v]=fun_min_f_pe_subint(N_subint);
[v_min, index_v_min]=min(v);
solu=w(index_v_min);
function[w,v]=fun_min_f_pe_subint(N_subint)
13
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
pas_f=0.45/(N_subint+1);
for i=1:N_subint
% options = optimset('TolX',1e-3);
%
[w(i),v(i),exitflag]=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1),optio
ns);
w(i)=fminbnd('fun_min_f',pas_f*i,pas_f*(i+1));
v(i)=fun_min_f(w(i));
end
function[out]=fun_min_f(ff)
% Aceasta este functia obiectiv care trebuie minimizata:
global x;
global N;
Q=(0:N-1)';
c=cos(2*pi*ff*Q);
s=sin(2*pi*ff*Q);
H=[c s];
out=-x'*H*inv(H'*H)*H'*x;
4. Aplicaţii propuse
14
TEFO Lucrarea 2 Estimarea de plauzibilitate maximă
15
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
Laborator TEFO
Lucrarea nr. 3
Metoda celor mai mici pătrate (descoperită de Gauss în 1795) permite obţinerea unor
estimatori care, în general, nu au proprietatea de optimalitate, dar, pentru multe probleme, duc
la soluţii satisfăcătoare. O caracteristică deosebită a acestei metode este absenţa oricăror
condiţii asupra densităţii de probabilitate (aceasta nu trebuie nici măcar cunoscută). Avantajul
este gama mai largă de aplicaţii posibile. Partea dezavantajoasă este faptul că nu putem face
nici o afirmaţie asupra optimalităţii; mai mult, performanţa statistică nu poate fi apreciată fără
a face anumite presupuneri referitoare la structura probabilistică a datelor. Totuşi, estimatorul
furnizat de metoda celor mai mici pătrate este foarte des folosit în practică, datorită simplităţii
de implementare.
Metoda celor mai mici pătrate încearcă să minimizeze pătratul diferenţei dintre datele
x[n ] şi semnalul presupus a fi transmis. Semnalul este generat de un anumit model, dependent
de parametrul necunoscut θ, şi este considerat determinist. Datorită zgomotului şi limitărilor
modelului, noi observăm o versiune perturbată a lui s[n ] , pe care o notăm x[n ] . Estimatorul
LS (Least Squares) a lui θ alege valoarea est (θ ) care produce s[n ] cel mai apropiat de x[n ] .
"Apropierea" este apreciată prin criteriul erorii LS:
N −1
J (θ ) = ( x[n ] - s[n ]) ,
2
(1)
n =0
unde intervalul de observare este presupus n=0,1,...,N-1 şi J depinde de θ prin intermediul lui
s[n ] . Valoarea θ care minimizează J (θ ) este estimatorul LS. Cu alte cuvinte, din mai multe
variante de erori posibile, o alegem pe cea mai mică, pe care o presupunem cea mai plauzibilă.
Trebuie observat că asupra lui x[n ] nu s-au făcut nici un fel de presupuneri probabilistice.
Metoda se poate aplica atât pentru zgomot Gaussian, cât şi pentru zgomot non-Gaussian.
Totuşi, performanţele estimatorilor LS vor depinde de proprietăţile zgomotului perturbator şi
de erorile de modelare. Aceşti estimatori se aplică de regulă în situaţii în care o caracterizare
statistică precisă a datelor este imposibilă sau atunci când estimatorii optimi nu pot fi găsiţi sau
sunt prea complicaţi.
1
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
N -1
1
est ( A) =
N
x[n] = x
n=0
(3)
Estimatorul LS este chiar media eşantioanelor. Nu putem însă afirma că est ( A) este
optim (adică nedeplasat şi cu dispersie minimă), ci doar că el minimizează eroarea LS. Totuşi,
se cunoaşte din lucrările anterioare că pentru modelul x[n ] = A + w [ n ] , unde w [ n ] are media
zero şi este WGN, estimatorul LS este şi MVU (nedeplasat, cu dispersie minimă). Pentru a
înţelege posibilele dificultăţi, să considerăm cazul în care zgomotul nu ar avea medie nulă.
Atunci media eşantioanelor va fi un estimator bun pentru A + E ( w [ n ]) şi nu pentru A .
Atunci când folosim metoda celor mai mici pătrate presupunem că datele (observaţiile)
sunt compuse dintr-un semnal determinist şi zgomot cu medie nulă. În această situaţie, eroarea
ε [n ] = x[n ] − s [ n ] va tinde către zero dacă am ales corect parametrii modelului.
De asemenea, dacă modelul de semnal este incorect (de exemplu dacă datele ar fi de
fapt descrise de relația x[n ] = A + B ⋅ n + w [ n ] ) atunci estimatorul LS va rezulta deplasat.
Spre deosebire de semnalul continuu de amplitudine A , unde minimul era uşor de găsit,
aici eroarea LS este neliniară în f 0 . Minimizarea nu se poate face în formă închisă. Deoarece
eroarea LS este o funcţie pătratică de semnal, un semnal linear în raport cu parametrul
necunoscut va duce la o funcţie J pătratică, ca în exemplul anterior. În acest caz minimizarea
este simplă. Spunem că un model de semnal liniar în parametrul necunoscut generează o
problemă LS liniară. În caz contrar – cum ar fi exemplul de faţă – avem de-a face cu o
problemă LS neliniară care se rezolvă prin căutări de tip „grilă” sau prin metode iterative.
Important este că semnalul în sine nu trebuie să fie complet linear; este suficient ca acesta să
fie linear în θ. Această situaţie apare în exemplul următor.
Un program Matlab care găseşte estimatul LS al frecvenţei, prin minimizarea funcţiei
J de mai sus pentru diferite valori ale raportului semnal-zgomot (SNR), este
tefo_L3_ex2_est_f_LS. Sunt afişate media și dispersia estimatului, limita inferioară Cramer-
Rao (vezi Lucrarea 1, relația(15)) și eroarea pătratică medie pentru fiecare valoare SNR.
%program tefo_L3_ex2_est_f_LS
%estimarea frecventei unei sinusoide
clear
clc
global N
global x
2
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% semnalul util
s=cos(2*pi*f0*n);
A=1;
% Analiza Monte Carlo si reprezentarea grafica a rezultatelor
for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
f0_est(j)=fun_min_min_f_pe_subint(N_subint);
end
mf(i)=mean(f0_est);
df(i)=std(f0_est)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((f0_est-f0).^2);
SNR(i)=5*i-20
end
figure(1)
clf
subplot(211)
plot(SNR,mf,'-o','MarkerFaceColor','b')
hold on
plot(SNR,f0*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*f0,min(mf))
max(1.1*f0,max(mf))])
grid on
subplot(212)
plot(SNR,df,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_f_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_f,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
3
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
xlabel('SNR [dB]')
ylabel('Dispersia')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)])
grid on
function[solu]=fun_min_min_f_pe_subint(N_subint)
function[w,v]=fun_min_f_pe_subint(N_subint)
function[out]=fun_min_f(ff)
out=sum((x-cos(2*pi*ff*(0:N-1))).^2);
4
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
x[n] h[n]
est (θ ) = n=0
N -1
(9)
h [ n]
n =0
2
n =0 n =0 n =0
N −1 N −1
= x 2 [ n ] − est (θ ) x [ n ] h [ n ]
n=0 n =0
2
N -1
N -1 x[n ] h[n ]
J min = x 2
[ n ] − n =0N −1
(10)
2
n =0 h [n ]
n =0
Un program Matlab care găseşte estimatul amplitudinii unei sinusoide ca în cazul liniar
pentru diferite valori SNR este tefo_L3_ex3_est_ampl_sin_LS. Sunt afişate media și
dispersia estimatului, limita inferioară Cramer-Rao (vezi Lucrarea 1, relația (14)), precum şi
media erorii minime pentru cele 100 de realizări ale observaţiilor.
%program tefo_L3_ex3_est_ampl_sin_LS
%estimarea amplitudinii unei sinusoide
clear
clc
5
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% semnalul util
h=cos(2*pi*f0*n);
s=A*h;
figure(1)
clf
subplot(311)
plot(SNR,ma,'-o','MarkerFaceColor','b')
hold on
plot(SNR,A*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))])
grid on
subplot(312)
plot(SNR,da,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_A,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
xlabel('SNR [dB]')
ylabel('Dispersia amplitudinii')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max([da,var_A_CR])])
6
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
grid on
subplot(313)
plot(SNR,mJmin,'-ob','MarkerFaceColor','b')
xlabel('SNR [dB]')
ylabel('Media erorii minime')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(mJmin) max(mJmin)])
grid on
Ținând cont de identitățile (17) și (18) din Lucrarea 2, gradientul lui J (θ) este:
∂J (θ)
= −2HT x +2HT Hθ (13)
∂θ
Egalând gradientul cu zero obţinem estimatorul LS:
est (θ) = ( HT H)-1HT x (14)
est(θ) minimizează J(θ). Aceasta se poate verifica uşor calculând:
∂ 2 J ( θ) N
∂θ 2
= 2 H T
H = 2
i =1
hij hik
jk
(15)
care este pozitiv definită (adică valorile proprii ale matricei HT H sunt toate pozitive). În
practică, estimatorul LS nu se determină cu formula (14), deoarece calculul inversei matricii
HT H poate prezenta dificultăţi. De obicei se rezolvă ecuaţiile normale
HT H ⋅ est ( θ ) = HT x (16)
folosind algoritmi stabili din algebra lineară numerică, care presupun transformări ortogonale.
Faptul că H are rang p ne garantează inversabilitatea lui HT H .
Eroarea LS minimă pentru cazul vectorial se poate calcula astfel:
T T -1 T T T -1 T
J min = J (est (θ)) = (x - Hest (θ)) (x - Hest (θ)) = (x - H(H H ) H x) (x - H ( H H ) H x) =
( ) ( ) ( )
T
= I − H (HT H ) -1HT x I − H (HT H ) -1HT x = xT I − H (HT H ) -1HT x =
= xT x − xT H (HT H ) -1HT x (17)
T -1 T
deoarece matricea I − H( H H) H este idempotentă.
7
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
Metoda celor mai mici pătrate estimează parametrii θ ai modelului prin minimizarea
expresiei:
J = ( x-s(θ) ) ⋅ ( x -s(θ) )
T
(18)
unde s(θ) este modelul de semnal pentru x, cu dependenţa de θ notată explicit (de observat că
dacă x-s(θ) este distribuit normal, cu media 0 şi matricea de covarianță σ 2I , atunci LSE este şi
MLE – estimatorul de plauzibilitate maximă). În cazul linear semnalul are forma s(θ)=Hθ, care
permite o rezolvare simplă. În general, s(θ) nu poate fi exprimat în acest fel, acesta fiind o
funcţie N-dimensională nelineară , depinzând de θ, şi minimizarea lui J este relativ dificilă.
Cazul LS nelinear este o problemă de regresie nelineară. Practic, determinarea LSE se
bazează pe abordări iterative (Gauss-Newton, Newton-Raphson, etc.). Pentru cazurile în care
dimensiunea lui θ este mică se preferă o căutare de tip „grilă”.
Există două modalităţi de reducere a complexităţii problemei, şi anume transformarea
parametrilor şi separarea parametrilor.
Un al doilea tip de problemă LS nelineară, mai puţin complex decât cazul general, este
cel care prezintă proprietatea de separabilitate. Deşi modelul de semnal este nelinear, el poate
fi linear în raport cu o parte din parametri. În general, un model de semnal separabil are forma:
s = H (β )α (23)
unde:
α q×1
θ= (24)
β( p −q )×1
H(β) este o matrice de dimensiuni N × q dependentă de β. Acest model este nelinear în
8
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% program tefo_L3_LS_elim_pert_semnal_drept
% Programul genereaza o realizare de semnal perturbat din care
% incearca sa extraga semnalul util.
% Valorile parametrilor:
B=0.5; % coeficientul cosinusului
C=0.5; % coeficientul sinusului
A=1; % amplitudinea semnalului util
sig=0.5; % deviatia standard a zgomotului
9
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
global x
global es
[x,s]=gen([B C A sig]);
u=fminsearch('funmin',[0.8 0.8 0.8])
Q=(1:210)';
figure(1)
clf
subplot(211)
plot(x)
title('Semnalul afectat de perturbatii')
axis([0 211 -4 4.1])
hold on
plot(B*sin(0.02*pi*Q)+C*cos(0.02*pi*Q))
hold off
grid on
subplot(413)
plot(transfo(s))
grid on
title('Semnalul util')
axis([0 210 -2 2])
subplot(414)
plot(transfo(es))
grid on
title('Semnalul refacut')
axis([0 210 -2 2])
function [x,semnal]=gen(set1)
% Aceasta procedura genereaza efectiv semnalul perturbat.
Q=(1:210)';
B=set1(1);C=set1(2);A=set1(3);sig=set1(4);
f=0.01;
pert=B*cos(2*pi*f*Q)+C*sin(2*pi*f*Q);
zgomot=sig*randn(210,1);
x=pert+zgomot;
semnal=sign(rand(30,1)-0.5); % un semnal cu 30 de valori aleatoare
+1 sau -1
for i=1:30
for j=1:7
index=7*(i-1)+j;
x(index)=x(index)+A*semnal(i);
end
end
function[u]=funmin(sett)
10
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
global x
global es
B=sett(1);C=sett(2);A=sett(3);
jx=0;
es=zeros(1,30);
f=0.01;
for i=1:30
for j=1:7
index=7*(i-1)+j;
es(i)=es(i)+x(index)-B*cos(2*pi*f*index)-
C*sin(2*pi*f*index);
end
es(i)=sign(es(i));
for j=1:7
index=7*(i-1)+j;
jx=jx+(x(index)-B*cos(2*pi*f*index)-C*sin(2*pi*f*index)-
es(i)*A)^2;
end
end
u=jx;
function[a]=transfo(b)
5. Aplicaţii propuse
11
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
12
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
13
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
Laborator TEFO
Lucrarea nr. 3
Metoda celor mai mici pătrate (descoperită de Gauss în 1795) permite obţinerea unor
estimatori care, în general, nu au proprietatea de optimalitate, dar, pentru multe probleme, duc
la soluţii satisfăcătoare. O caracteristică deosebită a acestei metode este absenţa oricăror
condiţii asupra densităţii de probabilitate (aceasta nu trebuie nici măcar cunoscută). Avantajul
este gama mai largă de aplicaţii posibile. Partea dezavantajoasă este faptul că nu putem face
nici o afirmaţie asupra optimalităţii; mai mult, performanţa statistică nu poate fi apreciată fără
a face anumite presupuneri referitoare la structura probabilistică a datelor. Totuşi, estimatorul
furnizat de metoda celor mai mici pătrate este foarte des folosit în practică, datorită simplităţii
de implementare.
Metoda celor mai mici pătrate încearcă să minimizeze pătratul diferenţei dintre datele
x[n ] şi semnalul presupus a fi transmis. Semnalul este generat de un anumit model, dependent
de parametrul necunoscut θ, şi este considerat determinist. Datorită zgomotului şi limitărilor
modelului, noi observăm o versiune perturbată a lui s[n ] , pe care o notăm x[n ] . Estimatorul
LS (Least Squares) a lui θ alege valoarea est (θ ) care produce s[n ] cel mai apropiat de x[n ] .
"Apropierea" este apreciată prin criteriul erorii LS:
N −1
J (θ ) = ( x[n ] - s[n ]) ,
2
(1)
n =0
unde intervalul de observare este presupus n=0,1,...,N-1 şi J depinde de θ prin intermediul lui
s[n ] . Valoarea θ care minimizează J (θ ) este estimatorul LS. Cu alte cuvinte, din mai multe
variante de erori posibile, o alegem pe cea mai mică, pe care o presupunem cea mai plauzibilă.
Trebuie observat că asupra lui x[n ] nu s-au făcut nici un fel de presupuneri probabilistice.
Metoda se poate aplica atât pentru zgomot Gaussian, cât şi pentru zgomot non-Gaussian.
Totuşi, performanţele estimatorilor LS vor depinde de proprietăţile zgomotului perturbator şi
de erorile de modelare. Aceşti estimatori se aplică de regulă în situaţii în care o caracterizare
statistică precisă a datelor este imposibilă sau atunci când estimatorii optimi nu pot fi găsiţi sau
sunt prea complicaţi.
1
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
N -1
1
est ( A) =
N
x[n] = x
n=0
(3)
Estimatorul LS este chiar media eşantioanelor. Nu putem însă afirma că est ( A) este
optim (adică nedeplasat şi cu dispersie minimă), ci doar că el minimizează eroarea LS. Totuşi,
se cunoaşte din lucrările anterioare că pentru modelul x[n ] = A + w [ n ] , unde w [ n ] are media
zero şi este WGN, estimatorul LS este şi MVU (nedeplasat, cu dispersie minimă). Pentru a
înţelege posibilele dificultăţi, să considerăm cazul în care zgomotul nu ar avea medie nulă.
Atunci media eşantioanelor va fi un estimator bun pentru A + E ( w [ n ]) şi nu pentru A .
Atunci când folosim metoda celor mai mici pătrate presupunem că datele (observaţiile)
sunt compuse dintr-un semnal determinist şi zgomot cu medie nulă. În această situaţie, eroarea
ε [n ] = x[n ] − s [ n ] va tinde către zero dacă am ales corect parametrii modelului.
De asemenea, dacă modelul de semnal este incorect (de exemplu dacă datele ar fi de
fapt descrise de relația x[n ] = A + B ⋅ n + w [ n ] ) atunci estimatorul LS va rezulta deplasat.
Spre deosebire de semnalul continuu de amplitudine A , unde minimul era uşor de găsit,
aici eroarea LS este neliniară în f 0 . Minimizarea nu se poate face în formă închisă. Deoarece
eroarea LS este o funcţie pătratică de semnal, un semnal linear în raport cu parametrul
necunoscut va duce la o funcţie J pătratică, ca în exemplul anterior. În acest caz minimizarea
este simplă. Spunem că un model de semnal liniar în parametrul necunoscut generează o
problemă LS liniară. În caz contrar – cum ar fi exemplul de faţă – avem de-a face cu o
problemă LS neliniară care se rezolvă prin căutări de tip „grilă” sau prin metode iterative.
Important este că semnalul în sine nu trebuie să fie complet linear; este suficient ca acesta să
fie linear în θ. Această situaţie apare în exemplul următor.
Un program Matlab care găseşte estimatul LS al frecvenţei, prin minimizarea funcţiei
J de mai sus pentru diferite valori ale raportului semnal-zgomot (SNR), este
tefo_L3_ex2_est_f_LS. Sunt afişate media și dispersia estimatului, limita inferioară Cramer-
Rao (vezi Lucrarea 1, relația(15)) și eroarea pătratică medie pentru fiecare valoare SNR.
%program tefo_L3_ex2_est_f_LS
%estimarea frecventei unei sinusoide
clear
clc
global N
global x
2
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% semnalul util
s=cos(2*pi*f0*n);
A=1;
% Analiza Monte Carlo si reprezentarea grafica a rezultatelor
for i=1:7
power=(4-i)/4;
sigma(i)=A/sqrt(2)*(10^power)
for j=1:M
x=s+sigma(i)*randn(1,N); % semnal perturbat
f0_est(j)=fun_min_min_f_pe_subint(N_subint);
end
mf(i)=mean(f0_est);
df(i)=std(f0_est)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((f0_est-f0).^2);
SNR(i)=5*i-20
end
figure(1)
clf
subplot(211)
plot(SNR,mf,'-o','MarkerFaceColor','b')
hold on
plot(SNR,f0*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*f0,min(mf))
max(1.1*f0,max(mf))])
grid on
subplot(212)
plot(SNR,df,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_f_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_f,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
3
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
xlabel('SNR [dB]')
ylabel('Dispersia')
title('Estimarea frecventei prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(df) max(df)])
grid on
function[solu]=fun_min_min_f_pe_subint(N_subint)
function[w,v]=fun_min_f_pe_subint(N_subint)
function[out]=fun_min_f(ff)
out=sum((x-cos(2*pi*ff*(0:N-1))).^2);
4
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
x[n] h[n]
est (θ ) = n=0
N -1
(9)
h [ n]
n =0
2
n =0 n =0 n =0
N −1 N −1
= x 2 [ n ] − est (θ ) x [ n ] h [ n ]
n=0 n =0
2
N -1
N -1 x[n ] h[n ]
J min = x 2
[ n ] − n =0N −1
(10)
2
n =0 h [n ]
n =0
Un program Matlab care găseşte estimatul amplitudinii unei sinusoide ca în cazul liniar
pentru diferite valori SNR este tefo_L3_ex3_est_ampl_sin_LS. Sunt afişate media și
dispersia estimatului, limita inferioară Cramer-Rao (vezi Lucrarea 1, relația (14)), precum şi
media erorii minime pentru cele 100 de realizări ale observaţiilor.
%program tefo_L3_ex3_est_ampl_sin_LS
%estimarea amplitudinii unei sinusoide
clear
clc
5
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% semnalul util
h=cos(2*pi*f0*n);
s=A*h;
figure(1)
clf
subplot(311)
plot(SNR,ma,'-o','MarkerFaceColor','b')
hold on
plot(SNR,A*ones(1,7),'ko','MarkerFaceColor','k')
hold off
legend('valoare estimata medie','valoare adevarata')
xlabel('SNR [dB]')
ylabel('Media')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))])
grid on
subplot(312)
plot(SNR,da,'-ob','MarkerFaceColor','b')
hold on
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g')
plot(SNR,mse_A,'*m')
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}))
xlabel('SNR [dB]')
ylabel('Dispersia amplitudinii')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max([da,var_A_CR])])
6
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
grid on
subplot(313)
plot(SNR,mJmin,'-ob','MarkerFaceColor','b')
xlabel('SNR [dB]')
ylabel('Media erorii minime')
title('Estimarea amplitudinii unei sinusoide prin metoda LS')
axis([min(SNR)-1 max(SNR)+1 -0.1*max(mJmin) max(mJmin)])
grid on
Ținând cont de identitățile (17) și (18) din Lucrarea 2, gradientul lui J (θ) este:
∂J (θ)
= −2HT x +2HT Hθ (13)
∂θ
Egalând gradientul cu zero obţinem estimatorul LS:
est (θ) = ( HT H)-1HT x (14)
est(θ) minimizează J(θ). Aceasta se poate verifica uşor calculând:
∂ 2 J ( θ) N
∂θ 2
= 2 H T
H = 2
i =1
hij hik
jk
(15)
care este pozitiv definită (adică valorile proprii ale matricei HT H sunt toate pozitive). În
practică, estimatorul LS nu se determină cu formula (14), deoarece calculul inversei matricii
HT H poate prezenta dificultăţi. De obicei se rezolvă ecuaţiile normale
HT H ⋅ est ( θ ) = HT x (16)
folosind algoritmi stabili din algebra lineară numerică, care presupun transformări ortogonale.
Faptul că H are rang p ne garantează inversabilitatea lui HT H .
Eroarea LS minimă pentru cazul vectorial se poate calcula astfel:
T T -1 T T T -1 T
J min = J (est (θ)) = (x - Hest (θ)) (x - Hest (θ)) = (x - H(H H ) H x) (x - H ( H H ) H x) =
( ) ( ) ( )
T
= I − H (HT H ) -1HT x I − H (HT H ) -1HT x = xT I − H (HT H ) -1HT x =
= xT x − xT H (HT H ) -1HT x (17)
T -1 T
deoarece matricea I − H( H H) H este idempotentă.
7
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
Metoda celor mai mici pătrate estimează parametrii θ ai modelului prin minimizarea
expresiei:
J = ( x-s(θ) ) ⋅ ( x -s(θ) )
T
(18)
unde s(θ) este modelul de semnal pentru x, cu dependenţa de θ notată explicit (de observat că
dacă x-s(θ) este distribuit normal, cu media 0 şi matricea de covarianță σ 2I , atunci LSE este şi
MLE – estimatorul de plauzibilitate maximă). În cazul linear semnalul are forma s(θ)=Hθ, care
permite o rezolvare simplă. În general, s(θ) nu poate fi exprimat în acest fel, acesta fiind o
funcţie N-dimensională nelineară , depinzând de θ, şi minimizarea lui J este relativ dificilă.
Cazul LS nelinear este o problemă de regresie nelineară. Practic, determinarea LSE se
bazează pe abordări iterative (Gauss-Newton, Newton-Raphson, etc.). Pentru cazurile în care
dimensiunea lui θ este mică se preferă o căutare de tip „grilă”.
Există două modalităţi de reducere a complexităţii problemei, şi anume transformarea
parametrilor şi separarea parametrilor.
Un al doilea tip de problemă LS nelineară, mai puţin complex decât cazul general, este
cel care prezintă proprietatea de separabilitate. Deşi modelul de semnal este nelinear, el poate
fi linear în raport cu o parte din parametri. În general, un model de semnal separabil are forma:
s = H (β )α (23)
unde:
α q×1
θ= (24)
β( p −q )×1
H(β) este o matrice de dimensiuni N × q dependentă de β. Acest model este nelinear în
8
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
% program tefo_L3_LS_elim_pert_semnal_drept
% Programul genereaza o realizare de semnal perturbat din care
% incearca sa extraga semnalul util.
% Valorile parametrilor:
B=0.5; % coeficientul cosinusului
C=0.5; % coeficientul sinusului
A=1; % amplitudinea semnalului util
sig=0.5; % deviatia standard a zgomotului
9
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
global x
global es
[x,s]=gen([B C A sig]);
u=fminsearch('funmin',[0.8 0.8 0.8])
Q=(1:210)';
figure(1)
clf
subplot(211)
plot(x)
title('Semnalul afectat de perturbatii')
axis([0 211 -4 4.1])
hold on
plot(B*sin(0.02*pi*Q)+C*cos(0.02*pi*Q))
hold off
grid on
subplot(413)
plot(transfo(s))
grid on
title('Semnalul util')
axis([0 210 -2 2])
subplot(414)
plot(transfo(es))
grid on
title('Semnalul refacut')
axis([0 210 -2 2])
function [x,semnal]=gen(set1)
% Aceasta procedura genereaza efectiv semnalul perturbat.
Q=(1:210)';
B=set1(1);C=set1(2);A=set1(3);sig=set1(4);
f=0.01;
pert=B*cos(2*pi*f*Q)+C*sin(2*pi*f*Q);
zgomot=sig*randn(210,1);
x=pert+zgomot;
semnal=sign(rand(30,1)-0.5); % un semnal cu 30 de valori aleatoare
+1 sau -1
for i=1:30
for j=1:7
index=7*(i-1)+j;
x(index)=x(index)+A*semnal(i);
end
end
function[u]=funmin(sett)
10
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
global x
global es
B=sett(1);C=sett(2);A=sett(3);
jx=0;
es=zeros(1,30);
f=0.01;
for i=1:30
for j=1:7
index=7*(i-1)+j;
es(i)=es(i)+x(index)-B*cos(2*pi*f*index)-
C*sin(2*pi*f*index);
end
es(i)=sign(es(i));
for j=1:7
index=7*(i-1)+j;
jx=jx+(x(index)-B*cos(2*pi*f*index)-C*sin(2*pi*f*index)-
es(i)*A)^2;
end
end
u=jx;
function[a]=transfo(b)
5. Aplicaţii propuse
11
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
12
TEFO Lucrarea 3 Estimarea parametrilor prin metoda celor mai mici pătrate
13
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
Laborator TEFO
Lucrarea nr. 4
1. Cazul scalar
În această lucrare este descrisă o metodă care produce un estimator uşor de calculat şi de
implementat. Deşi acesta nu are nici o proprietate de optimalitate, el este totuşi util în cazurile
în care sunt disponibile suficient de multe date, întrucât metoda este de obicei consistentă. Dacă
performanţele nu sunt satisfăcătoare, estimatorul furnizat poate fi folosit ca o valoare de start
pentru o implementare iterativă (Newton-Raphson, Gauss-Newton etc.) a estimării de maximă
plauzibilitate.
Metoda momentelor se bazează pe rezolvarea unei ecuaţii teoretice ce conţine
momentele unei funcţii densitate de probabilitate. De exemplu, să considerăm observaţiile
x[n ] , n = 0,1, , N − 1 , care sunt eşantioane independente şi identic distribuite din "amestecul
Gaussian" cu următoarea PDF:
1− ε 1 2[n ] ε 1 2[n ]
p( x[n ]; ε ) = exp − x 2 + exp − x 2 (1)
2π σ 12 2 σ1 2π σ 22 2 σ2
sau mai succint:
p( x[n ]; ε ) = (1 − ε )φ 1( x[n ]) + ε φ 2( x[n ]) (2)
unde:
1 1 x 2[n ]
φ i ( x[n ]) = exp − 2
, i ∈ {1, 2} (3)
2π σ i2 2 σi
Parametrul ε este denumit parametrul de amestec ( 0< ε <1 ), iar σ 12 , σ 22 sunt dispersiile
PDF Gaussiene individuale. "Amestecul Gaussian" poate fi considerat ca fiind o variabilă
aleatoare obţinută din PDF N(0, σ 12 ) cu probabilitatea 1- ε şi din PDF N(0, σ 22 ) cu
probabilitatea ε . Dacă σ 12 şi σ 22 sunt cunoscute şi trebuie estimat ε , toate metodele uzuale de
estimare nedeplasată, de dispersie minimă, vor eşua. De exemplu, estimarea de plauzibilitate
maximă necesită maximizarea unei funcţii puternic neliniare de ε :
∂ ln N -1 (1 − ε ) 1 x 2[n ] ε 1 x 2[n ]
∏ exp − + exp − 2 2 = 0 (4)
∂ε n =0 2π σ 12 2 σ1
2
2π σ 22 σ 2
Ecuaţia ar putea fi rezolvată printr-o metodă iterativă, dar metoda momentelor permite
obţinerea unui estimator mult mai simplu.
Valoarea medie a lui x[n ] este:
E ( x[n ]) = 0 , (5)
deoarece p( x[n ]; ε ) este pară.
Valoarea pătratică medie este:
1
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
x [n ] (1 − ε ) φ ( x [n ]) + ε φ ( x [n ])dx [ n ] =
2
E ( x [n ]) =
2
1 2
−∞
∞ ∞
x [n ] exp − 1 x [n ] dx[n ] + ε x [n ] exp − 1 x [n ] dx[n ]
2 2 2 2
= (1 − ε ) 2 2π σ 22 2 σ 22
(6)
-∞ 2π σ 12 2 σ1 -∞
Calculăm integrala
∞ ∞
x
2
1 x2 x
2
1 x2
I1 =
-∞ 2π σ 2
exp −
2 2
σ
dx = 2 0 2π σ 2 − 2 σ 2 dx
exp (7)
are proprietăţile
Γ ( p + 1) = p ⋅ Γ ( p ) (11)
π
Γ ( p ) ⋅ Γ (1 − p ) = (12)
sin pπ
Astfel avem că
2 2 3 2 2 1 1 2
π
I1 = σ ⋅ Γ = σ ⋅ Γ = σ ⋅ =σ2 (13)
π 2 π 2 2 π sin π
2
Deci
E ( x 2[n ]) = (1 − ε )σ 12 + ε σ 22
(14)
Această ecuaţie teoretică raportează parametrul necunoscut ε la momentul de ordinul
doi. Dacă acum înlocuim E ( x 2[n ]) cu estimatorul său obişnuit, obţinem:
N -1
1
N
x [n] = (1 − est (ε ))σ
n =0
2 2
1 + est (ε )σ 22 (15)
N −1
1
N
x [n] − σ
2 2
1
est (ε ) = n =0
(16)
σ 22 − σ 12
Din modul cum a fost dedus estimatorul rezultă că acesta este nedeplasat (ceea ce nu
este întotdeauna valabil la această metodă ). Calculăm dispersia estimatului:
1 1 N -1 1
var( est (ε )) = 2 2
var x 2[n ] = 2 2
var( x 2[n ]) =
(σ − σ 1 )
2
2 N n = 0 N ( 2
−
σ 2 σ 1)
2
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
1
= E ( x 4[n ]) − E 2 ( x 2[n ]) (17)
N (σ − σ 12 ) 2
2
2
∞
1 1 2[n ]
E ( x [n ]) = x 4[n ](1 − ε )
4
exp − x 2 dx[n ] +
-∞ 2π σ 12 2 σ1
∞
1 1 2[n ]
+ x 4[n ] ε exp − x 2 dx[n ] (18)
-∞ 2π σ 22 2 σ2
Calculăm separat integrala:
∞
1 1 x2 1 x2
∞
1
I2 = x4 exp − 2
dx = 2 x 4
exp − dx (19)
2σ 2 σ 2
-∞
2π σ 2 2πσ 2 0
Pentru a determina cât din performanţă s-a pierdut, ar trebui calculată numeric limita
inferioară Cramer-Rao. Dacă dispersia este inacceptabil de mare, trebuie să folosim o estimare
de plauzibilitate maximă (MLE) care pentru înregistrări de date de dimensiuni mari ar atinge
limita respectivă. Trebuie observat că estimatorul obţinut în acest exemplu prin metoda
momentelor este consistent ( est (ε ) tinde la ε atunci când N tinde la infinit). Întrucât
estimatorii momentelor, care sunt introduşi în ecuaţia teoretică, se apropie de valorile adevărate
pentru un număr mare de observaţii, ecuaţia care se rezolvă (15) se apropie de ecuaţia teoretică
(14). Ca urmare, estimatorul dat de această metodă este, în general, consistent.
În programul tefo_L4_amestec_gaussian se genereazǎ M=300 realizǎri de câte N
eşantioane fiecare cu distribuţia dată de amestecul Gaussian şi se estimeazǎ parametrul de
amestec ε al distribuţiei prin metoda momentelor (relaţia (16)). Se consideră toate valorile lui
N cuprinse între 300 şi 10000, cu pasul 300. Apoi sunt calculate şi reprezentate grafic, media şi
dispersia estimatului, precum şi dispersia teoretică a estimatului (relaţia (22)) în funcţie de
valorile lui N.
%Program tefo_L4_amestec_gaussian
%estimarea parametrului de amestec al distributiei data de
%amestecul Gaussian
clear;
3
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
clc;
sigma1=2;
sigma2=3;
M=300; %numarul de realizari
N_vect=300:300:10000; %numarul de esantioane pe realizare
eps=0.3; %parametrul de amestec
num_N=length(N_vect);
for i=1:num_N
disp('N=')
disp(N_vect(i))
x1=sigma1*randn(M,floor((1-eps)*N_vect(i)));
x2=sigma2*randn(M,floor(eps*N_vect(i)));
x=[x1 x2];
est_eps=(sum(x.^2,2)/N_vect(i)-sigma1^2)/(sigma2^2-sigma1^2);
var_est_eps_teor(i)=1/((sigma2^2-sigma1^2)^2*N_vect(i))*(3*(1-
eps)*sigma1^4+3*eps*sigma2^4-((1-eps)*sigma1^2+eps*sigma2^2)^2);
mean_est_eps(i)=mean(est_eps);
var_est_eps(i)=std(est_eps)^2;
end
figure(1);
clf;
subplot(2,1,1);
plot(N_vect,mean_est_eps,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,eps*ones(1,num_N),'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
title('Estimarea parametrului de amestec (\epsilon) a doua PDF
Gaussiene');
xlabel('N')
ylabel('Media estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 0.9*eps 1.1*eps])
subplot(2,1,2);
plot(N_vect,var_est_eps,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,var_est_eps_teor,'-go','MarkerFaceColor','g');
legend('Dispersia reala a estimatului','Dispersia teoretica a
estimatului');
grid on;
title('Estimarea parametrului de amestec (\epsilon) a doua PDF
Gaussiene');
xlabel('N')
ylabel('Dispersia estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 -min(var_est_eps)
1.1*max(var_est_eps)])
4
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
( )
N -1 N -1
1 1
est (θ ) = h −1
N
x k1[n],...,
n =0 N
x
n =0
kQ [n ] (25)
5
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
Apoi sunt calculate şi reprezentate grafic, media şi dispersia estimatului în funcţie de valorile
lui N.
%Program tefo_L4_ex2_param_distrib_exp
%estimarea parametrului lambda al distributiei exponentiale
clear;
clc;
lambda=2; %parametrului lambda al distributiei
exponentiale
miu=1/lambda;
M=300; %numarul de realizari
N_vect=300:300:10000; %numarul de esantioane pe realizare
num_N=length(N_vect);
for i=1:num_N
disp('N=')
disp(N_vect(i))
x=exprnd(miu,M,N_vect(i)); %generarea numerelor cu
distributie exponentiala
est_lambda=1./(1/N_vect(i)*sum(x,2));
mean_est_lambda(i)=mean(est_lambda);
var_est_lambda(i)=std(est_lambda)^2;
var_CR_est_lambda(i)=lambda^2/N_vect(i);
end
figure(1);
clf;
subplot(2,1,1);
plot(N_vect,mean_est_lambda,'-bo','MarkerFaceColor','b');
hold on;
plot(N_vect,lambda*ones(1,num_N),'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
title('Estimarea parametrului \lambda al distributiei exponentiale
prin metoda momentelor');
xlabel('N')
ylabel('Media estimatului');
axis([N_vect(1)-100 N_vect(num_N)+100 0.9*lambda 1.1*lambda])
subplot(2,1,2);
plot(N_vect,var_est_lambda,'-bo','MarkerFaceColor','b');
hold on
plot(N_vect,var_CR_est_lambda,'-gv','MarkerFaceColor','g');
grid on;
legend('Dispersia estimatului','Limita inferioara Cramer-Rao');
title('Estimarea parametrului \lambda al distributiei exponentiale
prin metoda momentelor');
xlabel('N')
ylabel('Dispersia estimatului');
6
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
2. Cazul vectorial
T
Să considerăm acum un parametru vectorial θ = θ1 ,θ 2 , ,θ p de dimensiune p ×1 .
Admitem că momentele μ k , μ k ,..., μ k , care formează vectorul μ , depind de elementele
1 2 Q
2 2
= A cos(2π fk ) + A E ( cos(4π fn + 2π fk + 2φ ) ) + σ 2 δ [k ] (34)
2 2
Termenul din mijloc se poate neglija atunci când se calculează
N −1− k
1
est ( r xx[k ]) =
N −k
x[n]x[n + k ]
n =0
(35)
deoarece:
1 N −1− k
1 N −1− k
N −k
cos(4π fn + 2π fk + 2φ ) = N − k Re e ( π
k =0
j 2 fk + 2φ )
k =0
e =
j 4π fn
1 e j 4π f ( N − k )
− 1 1 j ( 4π f + 2π fk + 2φ ) e ( ) sin ( 2π f ( N − k ) )
j 2 π f N − k
= Re e j ( 4π f + 2π fk + 2φ ) ⋅ = Re e ⋅ ⋅ =
N −k e j 4π f − 1 N − k e j 2π f sin ( 2π f )
1 sin ( 2π f ( N − k ) )
= ⋅ ⋅ cos ( 2π f + 2π fk + 2φ ) (36)
N −k sin ( 2π f )
7
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
Ultima expresie se poate aproxima cu zero dacă k este mic faţă de N şi frecvența f nu
este apropiată de 0 sau 0.5.
Pentru k=1 şi k=2 obţinem:
est ( A) 2
est (r xx[1]) = cos(2π est ( f )) (37)
2
( est ( A) ) ( est ( A) )
2 2
[2]) =
est (r xx
2
cos(4π est ( f )) =
2
( 2 cos ( 2π est ( f ) ) − 1)
2
(38)
Nu folosim rxx [ 0] deoarece conţine necunoscuta σ 2 .
Din ultimele două ecuaţii se obţine:
2
2est ( [1])
2 r xx − 1 = 2est (r xx[2]) (39)
( est ( A ) )2 ( est ( A) )
2
Aceasta este o ecuaţie banală de ordinul doi, cu soluţia:
( est ( A) ) ( est ( r [2]) ) + 8 ( est ( r xx[1]) )
2 2 2
= − est (r xx[2]) + xx (40)
Mai departe se poate găsi şi expresia estimatorului frecvenţei din (37):
1 2est (r xx[1])
est ( f ) = arccos (41)
2π
( est ( r xx[2]) ) + 8 ( est ( r xx[1]) )
2 2
− est (r xx[2])
Argumentul funcţiei arccos poate depăşi 1 în modul, de obicei când SNR este mic. În
această situaţie estimatorul nu are sens şi ne arată că, pentru valoarea respectivă a SNR, metoda
momentelor nu prezintă încredere.
Pentru a evalua performanţa acestor estimatori s-a făcut o analiză Monte Carlo pentru
SNR având valorile în dB în mulțimea {-15,-10,-5,0,5,10,15}. Pentru fiecare valoare a
raportului semnal/zgomot s-au generat M=1000 de realizări ale zgomotului, fiecare având câte
N=1000 de eşantioane. Realizările au fost adunate pe rând la semnalul util:
s[n ] = 2 cos(2π ⋅ 0.11 ⋅ n + 0.5), n = 0,1,...,999 (42)
Sunt calculate şi reprezentate grafic apoi în funcţie de SNR, media şi dispersia
estimaţilor amplitudinii şi frecvenţei semnalului util. Dispersia estimaţilor s-a comparat cu
valorile date de limita Cramer-Rao pentru vectori de parametri și cu eroarea pătratică medie
corespunzătoare.
%Program tefo_L4_amplit_frecv_sin_MM
clear;
clc;
global N;
% Valorile parametrilor pentru care se efectueaza analiza:
A=sqrt(2); % amplitudinea
f=0.11; % frecventa
ph=0.5; % faza
N=1000; % numar de esantioane pe realizare
M=1000; % numar de realizari
8
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
ma(i)=mean(ea);
da(i)=std(ea)^2;
var_A_CR(i)=(2*sigma(i)^2)/N;
mse_A(i)=mean((ea-A).^2);
mf(i)=mean(ef);
df(i)=std(ef)^2;
var_f_CR(i)=(2*sigma(i)^2*6)/((2*pi*A)^2*(N-1)*N*(2*N-1));
mse_f(i)=mean((ef-f).^2);
end;
unu=ones(1,7);
figure(1);
clf;
subplot(221);
plot(SNR,ma,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,A*unu,'ko','MarkerFaceColor','k');
grid on;
legend('valoare estimata medie','valoare adevarata',1);
xlabel('SNR [dB]');
ylabel('Media');
title('Estimarea amplitudinii prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 min(0.9*A,min(ma))
max(1.1*A,max(ma))]);
subplot(222);
plot(SNR,da,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,var_A_CR,'gv','MarkerFaceColor','g');
hold on;
plot(SNR,mse_A,'*m');
grid on;
legend('valoare estimata in Matlab','limita Cramer-
Rao',char({'eroarea patratica medie',' a estimatului'}),1);
xlabel('SNR [dB]');
ylabel('Dispersia');
title('Estimarea amplitudinii prin metoda momentelor');
axis([min(SNR)-1 max(SNR)+1 -0.1*max(da) max(da)]);
subplot(223);
plot(SNR,mf,'-ob','MarkerFaceColor','b');
hold on;
plot(SNR,f*unu,'ko','MarkerFaceColor','k');
grid on;
9
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
function[ea,ef]=mmcarlo(A,f,ph,sigma,M)
% Procedura genereaza N realizari ale semnalului perturbat pentru
% care estimeaza amplitudinea si frecventa:
global N;
index_vect=(0:N-1)';
for k=1:M
semnal=A*cos(2*pi*f*index_vect+ph);
zgomot=randn(N,1)*sigma;
x=semnal+zgomot;
r1=x(1:N-1)'*x(2:N)/(N-1);
r2=x(1:N-2)'*x(3:N)/(N-2);
g=2*r1/(sqrt(r2^2+8*r1^2)-r2);
if abs(g)>1,
g=sign(g);
end;
ef(k)=1/(2*pi)*acos(g);
ea(k)=sqrt(-r2+sqrt(r2^2+8*r1^2));
end
4. Aplicaţii propuse
10
TEFO Lucrarea 4 Estimarea parametrilor prin metoda momentelor
1
,a ≤ x ≤ b
p ( x) = b − a
0, altfel.
2. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie uniformă pe intervalul (θ − 1, θ + 1) . Să se realizeze
un program Matlab care să determine estimatul pentru parametrul θ prin metoda
momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de N. Valoare
numerică: θ = 5 .
3. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie exponenţială trunchiată cu funcţia densitate de
probabilitate:
−( x −θ )
e ,x ≥θ
p ( x) =
0, altfel.
Să se realizeze un program Matlab care să determine estimatul pentru parametrul θ
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Valoare numerică: θ = 3 .
Indicaţie:
Se va folosi următoarea metodă pentru generarea numerelor cu distribuţia dată:
Dacă F ( x ) este funcţia de repartiţie a unei variabile aleatoare X şi G ( x ) = F −1 ( x )
este inversa ei, atunci numerele vor fi generate cu X = G (U ) , unde U are distribuţie
uniformă cu parametrii a = 0 și b = 1 .
4. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie Weibull cu un parametru, care are funcţia densitate
de probabilitate:
2 ⋅ α ⋅ x ⋅ e −α x , x > 0
2
p ( x) =
0, altfel.
Să se realizeze un program Matlab care să determine estimatul pentru parametrul α
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Utilizați funcția wblrnd pentru generarea numerelor cu distribuție Weibull (vezi help
wblrnd). Valoare numerică: α = 4 .
5. Se consideră M=300 realizări de câte N eşantioane fiecare (N cuprins între 300 şi
10000 cu pasul 300) dintr-o distribuţie Rayleigh cu parametrul σ , care are funcţia densitate
de probabilitate:
x −x2
2
⋅ e 2σ , x ≥ 0
p ( x ) = σ 2
0, altfel.
Să se realizeze un program Matlab care să determine estimatul pentru parametrul σ
prin metoda momentelor şi să reprezinte grafic media şi dispersia estimatului în funcţie de
N. Utilizați funcția raylrnd pentru generarea numerelor cu distribuție Rayleigh (vezi
help raylrnd). Valoare numerică: σ = 2 .
11
TEFO Lucrarea 5 Estimarea unui parametru aleator
Laborator TEFO
Lucrarea nr. 5
În lucrările anterioare s-a tratat problema estimării parametrilor care aveau o valoare
necunoscută, dar fixată. Acest tip de estimare se numește estimare a unui parametru
determinist. În această lucrare vom considera că parametrul ce trebuie estimat este aleator,
valorile pe care le ia acesta având o distribuţie cunoscută. Prin distribuția parametrului
înțelegem funcția densitate de probabilitate atunci când parametrul este o variabilă aleatoare
continuă, sau funcția masă de probabilitate atunci când parametrul este o variabilă aleatoare
discretă. Acest tip de estimare se numește estimare a unui parametru aleator. Deoarece pentru
determinarea estimatorului unui parametru aleator se folosește regula lui Bayes din teoria
probabilităților, se spune că acest tip de estimare folosește abordarea bayesiană.
( )
= θ − θˆ ⋅ p (θ x ) dθ ⋅ p ( x ) dx
(2)
Criteriul general de estimare a unui parametru aleator este minimizarea costului mediu
sau minimizarea riscului Bayes. În Figura 1 sunt date trei tipuri de funcții cost care sunt des
utilizate.
1
TEFO Lucrarea 5 Estimarea unui parametru aleator
Figura 1. Funcții cost des utilizate: a) funcția cost pătratul erorii; b) funcția cost uniformă;
c) funcția cost eroare absolută.
Prin minimizarea riscului Bayes cu această funcție cost se minimizează eroarea pătratică
( )
medie E θ − θˆ , iar estimatul se numește estimat MMSE (de la “minimum mean squared
2
error” în limba engleză). Facem precizarea că medierea în cantitatea E θ − θˆ se face după ( )
2
PDF reunită p ( x, θ ) = p (θ x ) ⋅ p ( x ) . De aceea această mărime se numește eroarea pătratică
medie bayesiană (Bmse de la “Bayesian mean squared error” în limba engleză).
Estimatorul MMSE este dat de relația
θˆMMSE = E (θ x ) = θ ⋅ p (θ x ) dθ , (4)
adică valoarea medie a parametrului în raport cu PDF a posteriori. Utilizând regula lui Bayes
se obține relația echivalentă
θ ⋅ p ( x θ ) ⋅ p (θ ) dθ
θˆMMSE = (5)
p ( x θ ) ⋅ p (θ ) dθ
Eroarea pătratică medie bayesiană a estimatului MMSE, adică Bmse minimă (Bmmse de
la “minimum Bmse”), este egală cu
( ) ( )
Bmse θˆMMSE = Bmmse = E θ − θˆMMSE = θ − θˆMMSE( )
2 2
⋅ p ( x, θ ) dxdθ =
( )
= θ − E (θ x ) ⋅ p (θ x ) dθ ⋅ p ( x ) dx = var (θ x ) ⋅ p ( x ) dx ,
2
(6)
adică dispersia variabilei aleatoare cu PDF a posteriori p (θ x ) , mediată peste PDF a setului de
date p ( x ) .
2
TEFO Lucrarea 5 Estimarea unui parametru aleator
decât un prag δ ), în timp ce erorile mai mari decât pragul δ sunt penalizate uniform cu
valoarea costului egală cu 1.
Estimatul obținut cu funcția de cost uniformă este dat de valoarea lui θ care
maximizează PDF a posteriori p (θ x ) , adică moda (sau locația maximului) pentru funcția
PDF a posteriori p (θ x ) . Acest estimat se numește estimat maximum a posteriori (MAP). Prin
urmare
θˆMAP = arg max p (θ x ) = arg max p ( x θ ) ⋅ p (θ ) , (8)
θ θ
O relație des folosită în cazul estimatului MAP, utilă atunci când PDF este de tip
exponenţial, este următoarea
θˆMAP = arg max ln p (θ x ) = arg max ln p ( x θ ) + ln p (θ ) , (9)
θ θ
sau, alternativ, estimatul MAP este soluţia ecuaţiei
∂ ln p ( x θ ) ∂ ln p (θ )
+ θ =θˆ
=0. (10)
∂θ ∂θ MAP
3
TEFO Lucrarea 5 Estimarea unui parametru aleator
N −1
x [ n] μA
q= n =0
+ , (16)
σ 2
σ A2
1
K (x) = +∞
. (17)
e
− p ⋅ A2 + q ⋅ A
dA
−∞
Atunci
+∞
A⋅e
− p ⋅ A2 + q ⋅ A
dA
Aˆ MMSE =
A ⋅ p ( A x ) dA = −∞
(18)
p (x) +∞
e
− p ⋅ A2 + q ⋅ A
dA
−∞
x [ n] μA 1 N −1 σ2
n=0
+ σ A2 ⋅ ⋅ x [ n] + ⋅ μA
q σ2 σ A2 N n =0 N
Aˆ MMSE = = = (20)
2p N 1 σ2
+ σ + 2
σ2 σ A2 A
N
Exercițiu. Arătați că PDF a posteriori p ( A x ) este PDF gaussiană cu media
q 1
E ( A x) = și dispersia var ( A x ) = .
2p 2p
Deoarece p din (15) nu depinde de datele x , din (6) rezultă că eroarea pătratică medie
bayesiană a estimatului Aˆ ( Bmmse ) este
MMSE
1 σ2 σ A2
( )
Bmmse = Bmse Aˆ MMSE = var ( A x ) ⋅ p ( x ) dx = var ( A x ) =
N 1
=
N
⋅
σ2
(21)
+ σA +
2
σ 2 σ A2 N
Estimatorul MAP rezultă prin maximizarea PDF din relația (14) în raport cu parametrul
A sau, echivalent, ca soluție a ecuației
∂ ln p ( A x ) ∂ ln K ( x ) − p ⋅ A2 + q ⋅ A q
= = 0 ⇔ −2 p ⋅ Aˆ MAP + q = 0 ⇔ Aˆ MAP = (22)
∂A ∂A 2p
Prin urmare, estimatul MAP este același ca și estimatul MMSE.
Observații. Din relaţiile (20) și (21) se observă că atunci când σ A2 σ 2 N , estimatorul
1 N −1
MMSE tinde spre media eşantioanelor ( Aˆ MMSE ≅ ⋅ x [ n ] = x , adică estimatorul MVU, Aˆ MVU ,
N n=0
4
TEFO Lucrarea 5 Estimarea unui parametru aleator
pentru nivelul de curent continuu A ), iar eroarea pătratică medie bayesiană tinde spre valoarea
σ 2 N (adică eroarea pătratică medie sau dispersia estimatorului MVU).
Când σ A2 σ 2 N , estimatorul MMSE tinde spre valoarea medie a parametrului A
( Aˆ MMSE ≅ μ A ), iar eroarea pătratică medie bayesiană tinde spre dispersia parametrului, σ A2 .
În cazul când valoarea σ A2 este apropiată de valoarea σ 2 N , valoarea estimată Aˆ MMSE
este mai apropiată de valoarea medie μ A a parametrului A , decât media eşantioanelor x . De
(
altfel, din (21) se observă că Bmmse Aˆ MMSE < σ 2 N , adică eroarea pătratică medie bayesiană )
este mai mică decât dispersia (sau echivalent eroarea pătratică medie) a estimatorului MVU.
Acest lucru se observă rulând programul Matlab P01_Param_A_distrib_norm_WGN.m pentru
valorile N = 1000 , σ 2 = 1 , μ A = 2 , şi pentru trei valori ale lui σ A2 , anume σ A2 = σ 2 N = 0.001 ,
σ A2 = 0.01⋅ σ 2 N = 10−5 şi σ A2 = 100 ⋅ σ 2 N = 0.1 . Rezultatele simulărilor sunt date în Figura 2.
Valoarea adevărată a parametrului A s-a afişat pentru 50 de eşantioane din cele 1000 totale ale
unei realizări. Din Figura 2, a) (când σ A2 = σ 2 N ) se observă că estimatul MMSE Aˆ MMSE este
mai apropiat de valoarea adevărată A de mai multe ori decât estimatul MVU x ( Aˆ MVU ) (fapt
arătat prin trasarea liniei orizontale de culoare neagră care marchează media dintre valoarea
estimatului MMSE Aˆ MMSE şi a estimatului MVU x ). Din Figura 2, b) (când σ A2 σ 2 N ) se
Valoare adevarata/estimata
Valoare adevarata/estimata
Valoare adevarata/estimata
Figura 2. Rezultatele simulărilor pentru N = 1000 , σ 2 = 1 , şi trei valori ale lui σ A2 , anume
a) σ A2 = 0.001 , b) σ A2 = 10−5 şi c) σ A2 = 0.1
5
TEFO Lucrarea 5 Estimarea unui parametru aleator
observă că estimatul MMSE Aˆ MMSE este totdeauna mai apropiat de valoarea adevărată A , spre
deosebire de estimatul MVU x (valoarea adevărată A este totdeauna deasupra linie orizontale
de culoare neagră).
Pentru a vedea cum evoluează eroarea pătratică medie bayesiană în funcţie de dispersia
σ A a parametrului aleator A , în Figura 3 s-a reprezentat, cu ajutorul programului Matlab
2
10-3
10
Eroare patratica medie
10-3
10
Eroare patratica medie estimata
6
TEFO Lucrarea 5 Estimarea unui parametru aleator
foarte apropiate de valorile teoretice pentru ambii estimatori. Când σ A2 devine mai mare,
valorile lui A sunt mai dispersate faţă de valoarea medie şi, prin urmare, estimaţii nu mai sunt
foarte precişi. Totuşi estimatul MMSE este mai bun decât cel MVU (în sensul erorii pătratice
medii mai mici). La limită, când σ A2 σ 2 N (adică A este distribuit aproape uniform), erorile
pătratice medii ale celor doi estimaţi devin aceleaşi.
În Figura 4 sunt reprezentate valoarea medie μ A a parametrului aleator A , valoarea
mediată pe M = 1000 realizări pentru estimatul MMSE şi cel MVU (în figura de sus); estimatul
MMSE şi cel MVU pentru prima realizare (în figura de jos), pentru aceleaşi valori ale lui N ,
σ 2 şi σ A2 ca în Figura 3. Se observă că atunci când σ A2 σ 2 N (pentru
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate ale estimatului MMSE sunt mult mai
apropiate de valoarea medie μ A decât valorile medii ale estimatului MVU. De remarcat că în
acest caz (când valorile lui σ A2 sunt foarte mici) valorile parametrului aleator A sunt foarte
apropiate de valoarea medie μ A şi prin urmare estimatul MMSE este foarte precis. Când σ A2
devine mai mare, parametrul aleator A fiind mai dispersat faţă de μ A , estimatul MMSE nu mai
este aşa de precis, dar totuşi este mai bun decât cel MVU, fiind mai apropiat în medie de
Valoare estimata
Valoare estimata
7
TEFO Lucrarea 5 Estimarea unui parametru aleator
valoarea adevărată (aşa cum s-a văzut în Figura 2,a)). La limită, când σ A2 σ 2 N , cei doi
estimaţi devin identici.
3. Aplicaţii propuse
8
TEFO Lucrarea 5 Estimarea unui parametru aleator
9
TEFO Lucrarea 5 Estimarea unui parametru aleator
Laborator TEFO
Lucrarea nr. 5
În lucrările anterioare s-a tratat problema estimării parametrilor care aveau o valoare
necunoscută, dar fixată. Acest tip de estimare se numește estimare a unui parametru
determinist. În această lucrare vom considera că parametrul ce trebuie estimat este aleator,
valorile pe care le ia acesta având o distribuţie cunoscută. Prin distribuția parametrului
înțelegem funcția densitate de probabilitate atunci când parametrul este o variabilă aleatoare
continuă, sau funcția masă de probabilitate atunci când parametrul este o variabilă aleatoare
discretă. Acest tip de estimare se numește estimare a unui parametru aleator. Deoarece pentru
determinarea estimatorului unui parametru aleator se folosește regula lui Bayes din teoria
probabilităților, se spune că acest tip de estimare folosește abordarea bayesiană.
( )
= θ − θˆ ⋅ p (θ x ) dθ ⋅ p ( x ) dx
(2)
Criteriul general de estimare a unui parametru aleator este minimizarea costului mediu
sau minimizarea riscului Bayes. În Figura 1 sunt date trei tipuri de funcții cost care sunt des
utilizate.
1
TEFO Lucrarea 5 Estimarea unui parametru aleator
Figura 1. Funcții cost des utilizate: a) funcția cost pătratul erorii; b) funcția cost uniformă;
c) funcția cost eroare absolută.
Prin minimizarea riscului Bayes cu această funcție cost se minimizează eroarea pătratică
( )
medie E θ − θˆ , iar estimatul se numește estimat MMSE (de la “minimum mean squared
2
error” în limba engleză). Facem precizarea că medierea în cantitatea E θ − θˆ se face după ( )
2
PDF reunită p ( x, θ ) = p (θ x ) ⋅ p ( x ) . De aceea această mărime se numește eroarea pătratică
medie bayesiană (Bmse de la “Bayesian mean squared error” în limba engleză).
Estimatorul MMSE este dat de relația
θˆMMSE = E (θ x ) = θ ⋅ p (θ x ) dθ , (4)
adică valoarea medie a parametrului în raport cu PDF a posteriori. Utilizând regula lui Bayes
se obține relația echivalentă
θ ⋅ p ( x θ ) ⋅ p (θ ) dθ
θˆMMSE = (5)
p ( x θ ) ⋅ p (θ ) dθ
Eroarea pătratică medie bayesiană a estimatului MMSE, adică Bmse minimă (Bmmse de
la “minimum Bmse”), este egală cu
( ) ( )
Bmse θˆMMSE = Bmmse = E θ − θˆMMSE = θ − θˆMMSE( )
2 2
⋅ p ( x, θ ) dxdθ =
( )
= θ − E (θ x ) ⋅ p (θ x ) dθ ⋅ p ( x ) dx = var (θ x ) ⋅ p ( x ) dx ,
2
(6)
adică dispersia variabilei aleatoare cu PDF a posteriori p (θ x ) , mediată peste PDF a setului de
date p ( x ) .
2
TEFO Lucrarea 5 Estimarea unui parametru aleator
decât un prag δ ), în timp ce erorile mai mari decât pragul δ sunt penalizate uniform cu
valoarea costului egală cu 1.
Estimatul obținut cu funcția de cost uniformă este dat de valoarea lui θ care
maximizează PDF a posteriori p (θ x ) , adică moda (sau locația maximului) pentru funcția
PDF a posteriori p (θ x ) . Acest estimat se numește estimat maximum a posteriori (MAP). Prin
urmare
θˆMAP = arg max p (θ x ) = arg max p ( x θ ) ⋅ p (θ ) , (8)
θ θ
O relație des folosită în cazul estimatului MAP, utilă atunci când PDF este de tip
exponenţial, este următoarea
θˆMAP = arg max ln p (θ x ) = arg max ln p ( x θ ) + ln p (θ ) , (9)
θ θ
sau, alternativ, estimatul MAP este soluţia ecuaţiei
∂ ln p ( x θ ) ∂ ln p (θ )
+ θ =θˆ
=0. (10)
∂θ ∂θ MAP
3
TEFO Lucrarea 5 Estimarea unui parametru aleator
N −1
x [ n] μA
q= n =0
+ , (16)
σ 2
σ A2
1
K (x) = +∞
. (17)
e
− p ⋅ A2 + q ⋅ A
dA
−∞
Atunci
+∞
A⋅e
− p ⋅ A2 + q ⋅ A
dA
Aˆ MMSE =
A ⋅ p ( A x ) dA = −∞
(18)
p (x) +∞
e
− p ⋅ A2 + q ⋅ A
dA
−∞
x [ n] μA 1 N −1 σ2
n=0
+ σ A2 ⋅ ⋅ x [ n] + ⋅ μA
q σ2 σ A2 N n =0 N
Aˆ MMSE = = = (20)
2p N 1 σ2
+ σ + 2
σ2 σ A2 A
N
Exercițiu. Arătați că PDF a posteriori p ( A x ) este PDF gaussiană cu media
q 1
E ( A x) = și dispersia var ( A x ) = .
2p 2p
Deoarece p din (15) nu depinde de datele x , din (6) rezultă că eroarea pătratică medie
bayesiană a estimatului Aˆ ( Bmmse ) este
MMSE
1 σ2 σ A2
( )
Bmmse = Bmse Aˆ MMSE = var ( A x ) ⋅ p ( x ) dx = var ( A x ) =
N 1
=
N
⋅
σ2
(21)
+ σA +
2
σ 2 σ A2 N
Estimatorul MAP rezultă prin maximizarea PDF din relația (14) în raport cu parametrul
A sau, echivalent, ca soluție a ecuației
∂ ln p ( A x ) ∂ ln K ( x ) − p ⋅ A2 + q ⋅ A q
= = 0 ⇔ −2 p ⋅ Aˆ MAP + q = 0 ⇔ Aˆ MAP = (22)
∂A ∂A 2p
Prin urmare, estimatul MAP este același ca și estimatul MMSE.
Observații. Din relaţiile (20) și (21) se observă că atunci când σ A2 σ 2 N , estimatorul
1 N −1
MMSE tinde spre media eşantioanelor ( Aˆ MMSE ≅ ⋅ x [ n ] = x , adică estimatorul MVU, Aˆ MVU ,
N n=0
4
TEFO Lucrarea 5 Estimarea unui parametru aleator
pentru nivelul de curent continuu A ), iar eroarea pătratică medie bayesiană tinde spre valoarea
σ 2 N (adică eroarea pătratică medie sau dispersia estimatorului MVU).
Când σ A2 σ 2 N , estimatorul MMSE tinde spre valoarea medie a parametrului A
( Aˆ MMSE ≅ μ A ), iar eroarea pătratică medie bayesiană tinde spre dispersia parametrului, σ A2 .
În cazul când valoarea σ A2 este apropiată de valoarea σ 2 N , valoarea estimată Aˆ MMSE
este mai apropiată de valoarea medie μ A a parametrului A , decât media eşantioanelor x . De
(
altfel, din (21) se observă că Bmmse Aˆ MMSE < σ 2 N , adică eroarea pătratică medie bayesiană )
este mai mică decât dispersia (sau echivalent eroarea pătratică medie) a estimatorului MVU.
Acest lucru se observă rulând programul Matlab P01_Param_A_distrib_norm_WGN.m pentru
valorile N = 1000 , σ 2 = 1 , μ A = 2 , şi pentru trei valori ale lui σ A2 , anume σ A2 = σ 2 N = 0.001 ,
σ A2 = 0.01⋅ σ 2 N = 10−5 şi σ A2 = 100 ⋅ σ 2 N = 0.1 . Rezultatele simulărilor sunt date în Figura 2.
Valoarea adevărată a parametrului A s-a afişat pentru 50 de eşantioane din cele 1000 totale ale
unei realizări. Din Figura 2, a) (când σ A2 = σ 2 N ) se observă că estimatul MMSE Aˆ MMSE este
mai apropiat de valoarea adevărată A de mai multe ori decât estimatul MVU x ( Aˆ MVU ) (fapt
arătat prin trasarea liniei orizontale de culoare neagră care marchează media dintre valoarea
estimatului MMSE Aˆ MMSE şi a estimatului MVU x ). Din Figura 2, b) (când σ A2 σ 2 N ) se
Valoare adevarata/estimata
Valoare adevarata/estimata
Valoare adevarata/estimata
Figura 2. Rezultatele simulărilor pentru N = 1000 , σ 2 = 1 , şi trei valori ale lui σ A2 , anume
a) σ A2 = 0.001 , b) σ A2 = 10−5 şi c) σ A2 = 0.1
5
TEFO Lucrarea 5 Estimarea unui parametru aleator
observă că estimatul MMSE Aˆ MMSE este totdeauna mai apropiat de valoarea adevărată A , spre
deosebire de estimatul MVU x (valoarea adevărată A este totdeauna deasupra linie orizontale
de culoare neagră).
Pentru a vedea cum evoluează eroarea pătratică medie bayesiană în funcţie de dispersia
σ A a parametrului aleator A , în Figura 3 s-a reprezentat, cu ajutorul programului Matlab
2
10-3
10
Eroare patratica medie
10-3
10
Eroare patratica medie estimata
6
TEFO Lucrarea 5 Estimarea unui parametru aleator
foarte apropiate de valorile teoretice pentru ambii estimatori. Când σ A2 devine mai mare,
valorile lui A sunt mai dispersate faţă de valoarea medie şi, prin urmare, estimaţii nu mai sunt
foarte precişi. Totuşi estimatul MMSE este mai bun decât cel MVU (în sensul erorii pătratice
medii mai mici). La limită, când σ A2 σ 2 N (adică A este distribuit aproape uniform), erorile
pătratice medii ale celor doi estimaţi devin aceleaşi.
În Figura 4 sunt reprezentate valoarea medie μ A a parametrului aleator A , valoarea
mediată pe M = 1000 realizări pentru estimatul MMSE şi cel MVU (în figura de sus); estimatul
MMSE şi cel MVU pentru prima realizare (în figura de jos), pentru aceleaşi valori ale lui N ,
σ 2 şi σ A2 ca în Figura 3. Se observă că atunci când σ A2 σ 2 N (pentru
σ A2 ∈ {10−6 ,5 ⋅10−6 ,10−5 , 5 ⋅10−5 ,10−4 } ) valorile mediate ale estimatului MMSE sunt mult mai
apropiate de valoarea medie μ A decât valorile medii ale estimatului MVU. De remarcat că în
acest caz (când valorile lui σ A2 sunt foarte mici) valorile parametrului aleator A sunt foarte
apropiate de valoarea medie μ A şi prin urmare estimatul MMSE este foarte precis. Când σ A2
devine mai mare, parametrul aleator A fiind mai dispersat faţă de μ A , estimatul MMSE nu mai
este aşa de precis, dar totuşi este mai bun decât cel MVU, fiind mai apropiat în medie de
Valoare estimata
Valoare estimata
7
TEFO Lucrarea 5 Estimarea unui parametru aleator
valoarea adevărată (aşa cum s-a văzut în Figura 2,a)). La limită, când σ A2 σ 2 N , cei doi
estimaţi devin identici.
3. Aplicaţii propuse
8
TEFO Lucrarea 5 Estimarea unui parametru aleator
9
TEFO Lucrarea 6 Filtre Wiener
Laborator TEFO
Lucrarea nr. 6
FILTRE WIENER
1. Modelul de sistem
d[n]
w[n]
Figura 1. Modelul de sistem folosit pentru proiectarea unui filtru liniar optimal
1
TEFO Lucrarea 6 Filtre Wiener
Valoarea pătratică medie a erorii dintre ieşirea dorită d [ n ] şi ieşirea filtrului este:
2
{ }
M −1
ξM = E e [n] = E d [n] − h [k ] r [n − k ]
2
(2)
k =0
Notăm cu Bdd [ 0] = E {d 2 [ n ]} = σ d2 - dispersia semnalului dorit, cu
Brd [ k ] = E {r [ n − k ] d [ n ]} - funcţia de corelaţie dintre secvenţa dorită şi cea de intrare în filtru
şi cu Brr [ k ] = E {r [ n − k ] r [ n ]} - funcţia de autocorelaţie a semnalului de intrare în filtru.
Coeficienţii filtrului optimal FIR care minimizează eroarea pătratică medie şi care
reprezintă răspunsul la impuls al filtrului se calculează din ecuaţiile Wiener-Hopf:
M −1
h [k ] B [ p − k ] = B [ p ] ,0 ≤ p ≤ M − 1 ,
k =0
o rr rd (3)
cunoscute şi sub numele de ecuaţii normale. Sistemul de ecuaţii (3) poate fi exprimat şi în
formă matricială, astfel:
[ B rr ][ HOM ] = [ B rd ] (4)
unde [ B rr ]M ×M este matricea de autocorelaţie, cu elementele B pk = Brr [ p − k ] = Brr [ k − p ] ,
[ HOM ]M ×1 este un vector coloană cu elementele ho [ k ] , k = 0,1,..., M − 1 şi [ B rd ]M ×1 este un
vector coloană cu elementele Brd [ p ] , p = 0,1,..., M − 1 . Soluţia pentru coeficienţii filtrului
optimal este:
[ HOM ] = [ B rr ]−1 [ Brd ] (5)
iar eroarea pătratică medie minimă (EPMM) rezultată cu filtrul Wiener este:
M −1
EPMM M = min ξ M = σ d2 − ho [ k ] Brd [ k ] (6)
[HM ] k =0
sau, matriceal:
EPMM M = min ξ M = σ d2 − [ B rd ] [ B rr ] [ Brd ]
T −1
(7)
[H M ]
2
TEFO Lucrarea 6 Filtre Wiener
Ecuaţia (12) arată că eroarea pătratică medie este o funcţie de ordinul doi de
coeficienţii filtrului FIR. În consecinţă, putem vizualiza dependenţa funcţiei cost ξ M de
coeficienţii filtrului h [0] , h [1] ,, h [ M − 1] ca o suprafaţă M + 1 dimensională în formă de
bol cu M grade de libertate reprezentate de coeficienţii filtrului. Această suprafaţă este
caracterizată de un minim unic şi se numeşte suprafaţa erorii pătratice medii a filtrului.
Exemplul 1
a) Scrieţi un program Matlab în care generaţi o secvenţă de tip zgomot alb v[n] cu
varianţa σ v2 = 0.27 (vezi randn), pe care o filtraţi printr-un filtru IIR cu un pol (de valoare
p1 = −0.8458 ). La ieşirea filtrului va rezulta semnalul dorit d [ n ] . Semnalul d [ n ] este aplicat
la un canal de comunicaţie modelat, de asemenea, printr-un filtru IIR cu un pol (de valoare
p2 = 0.9458 ), iar ieşirea canalului m [ n ] este coruptă de un zgomot alb w[n ] cu varianţa
σ w2 = 0.1 rezultând secvenţa r[n ] .
b) Filtraţi secvenţa r[n ] cu filtrul având coeficienţii b = [0.8360 −0.7853] ; a = [1] .
Calculaţi EPMM cu ajutorul relaţiei (2).
3
TEFO Lucrarea 6 Filtre Wiener
% Exemplul 1
clear;
clc;
L=10000;
% procesul v[n]
sigmav=sqrt(0.27);
v=sigmav*randn(1,L);
% raspunsul dorit d[n]
p1=-0.8458;
d=filter(1,[1 -p1],v);
% canal de comunicatie cu zgomot alb
p2=0.9458;
m=filter(1,[1 -p2],d);
sigmaw=sqrt(0.1);
w=sigmaw*randn(1,L);
r=m+w;
if M==2
% suprafata erorii patratice medii a filtrului pentru M=2
h0=[-4:0.2:4];
h1=[4:-0.2:-4];
L0=length(h0);
L1=length(h1);
for i=1:L0
for j=1:L1
% functia de eroare teoretica
% J(i,j)=0.9486-
1.0544*h0(i)+0.8916*h1(j)+h0(i)*h1(j)+1.1*(h0(i)^2+h1(j)^2);
% functia de eroare cu datele avute
J(i,j)=var(d)-2*BrdM'*[h0(i); h1(j)]+[h0(i)
h1(j)]*BrrM*[h0(i); h1(j)];
end
end
figure(1);
clf;
mesh(h0,h1,J);
title('Functia de eroare');
xlabel('h[0]');
ylabel('h[1]');
zlabel('J');
figure(2);
clf;
contour(h0,h1,J,[min(min(J)):0.5:max(max(J))]);
hold on;
plot(ho(1),ho(2),'x');
grid on;
xlabel('h[0]');
ylabel('h[1]');
end
Coeficienţii filtrului rezultă din minimizarea erorii pătratice medii dintre semnalul de
ieşire y[n ] şi cel dorit d [n ] , adică:
5
TEFO Lucrarea 6 Filtre Wiener
2
{ }
∞
ξ∞ = E e [ n ] = E d [n] − h [k ] r [n − k ]
2
(14)
k =0
Filtrul cauzal optimal Wiener are funcţia de sistem:
+
1 S ( z)
Ho ( z ) = ⋅ rd− (15)
S ( z ) S rr ( z )
+
rr
unde
∞
S rr ( z ) = B [k ] ⋅ z
k =−∞
rr
−k
(16)
iar [ ] reprezintă doar partea cauzală a funcţiei în variabila z din interiorul parantezelor.
+
S ( z ) reprezintă partea lui Srr ( z ) care conţine zerourile şi polii în interiorul cercului
+
rr
unitate, iar Srr− ( z ) partea lui Srr ( z ) care conţine zerourile şi polii în afara cercului unitate.
Eroarea pătratică medie minimă se poate calcula cu relaţia:
1
C Sdd ( z ) − H o ( z ) Srd ( z )z dz
−1 −1
2π j
EPMM ∞ = (19)
unde C este un contur care înconjoară originea, plasat în regiunea de convergență a lui
Sdd ( z ) , H o ( z ) și S rd ( z −1 ) .
Exemplul 2.
Scrieţi un program Matlab în care generaţi o secvenţă de tip zgomot alb de medie
zero v[n] cu varianţa σ v2 = 0.64 , pe care o filtraţi printr-un filtru IIR cu un pol (de valoare
0.6). Peste secvenţa obţinută, m[n], suprapuneţi o secvenţă de tip zgomot alb, w[n], cu
medie zero şi varianţa σ w2 = 1 , rezultând secvenţa r[n]. Filtraţi secvenţa secvenţa r[n ] cu
filtrul Wiener IIR.
Cu aceleaşi secvenţe generate anterior filtraţi secvenţa r[n ] cu un filtru IIR cu
coeficienţii b = [4 9] ; a = [1 − 1 3] (filtrul dedus manual). Calculaţi EPMM ∞ folosind
relaţia (14).
% Exemplul 2
clear;
clc;
sigmav=sqrt(0.64);
sigmaw=sqrt(1);
L=10000;
% procesul v[n]
v=sigmav*randn(1,L);
% raspunsul dorit d[n]
6
TEFO Lucrarea 6 Filtre Wiener
p1=0.6;
m=filter(1,[1 -p1],v);
w=sigmaw*randn(1,L);
r=m+w;
sigmam=sigmav;
p=[p1];
[rv,p,k]=residuez(Brdperrminus,Ardperrminus)
rplus=[];
pplus=[];
for i=1:length(rv)
if abs(rv(i))>1e-100 & abs(p(i))<1
rplus=[rplus rv(i)];
pplus=[pplus p(i)];
end
end
[plusB,plusA]=residuez(rplus,pplus,k)
figure(1);
clf;
subplot(211);
stem(n,ho);
grid on;
title('Raspunsul la impuls obtinut din program');
xlabel('n');
ylabel('h_o[n]');
subplot(212);
stem(n,ho_teor);
8
TEFO Lucrarea 6 Filtre Wiener
grid on;
title('Raspunsul la impuls obtinut manual');
xlabel('n');
ylabel('h_o[n]');
4. Aplicaţii propuse
1. Modificaţi programul din Exemplul 1 astfel încât să proiectaţi filtrul Wiener FIR
pentru cazul din Exemplul 2. Comparaţi eroarea rezultată pentru diverse valori ale lui M cu
cea din cazul filtrului Wiener IIR de la Exemplul 2.
2. Modificaţi programul din Exemplul 2 astfel încât să proiectaţi filtrul Wiener IIR
pentru cazul în care secvenţa purtătoare de informaţie este ieşirea celui de-al doilea filtru
IIR de la Exemplul 1. Varianţele zgomotelor rămân aceleaşi. Comparaţi eroarea rezultată cu
cea din cazul filtrului Wiener FIR cu diferite valori ale ordinului.
Ce se întâmplă dacă polii celor două filtre IIR din Exemplul 1 sunt complex
conjugaţi?
3. Modificaţi programul din Exemplul 2 astfel încât să proiectaţi filtrul Wiener IIR
pentru cazul din Exemplul 1 când lipseşte al doilea filtru şi secvenţa purtătoare de
informaţie este ieşirea primului filtru IIR, cu polul p1 = −0.8458 .
Calculaţi eroarea rezultată prin filtrarea semnalului recepţionat cu un filtru FIR de
lungime M=2, 3 sau 4 având coeficienţii rezultaţi prin trunchierea răspunsului la impuls al
filtrului Wiener IIR găsit anterior. Comparaţi cu eroarea rezultată în cazul filtrului Wiener
FIR proiectat pentru aceleaşi valori ale lui M.
9
TEFO Lucrarea 7 Filtrul Kalman
Laborator TEFO
Lucrarea nr. 7
FILTRUL KALMAN
Filtrul Kalman este un instrument matematic puternic care joacă un rol important
în grafica pe computer când vrem să reprezentăm lumea reală în sistemele de calcul.
De asemenea, filtrul Kalman este un bun estimator posibil pentru o clasă largă de
probleme.
1
TEFO Lucrarea 7 Filtrul Kalman
ui [ xi +1 ] [ xi ] yi
[G] z-1 [Hi]
[A]
2
TEFO Lucrarea 7 Filtrul Kalman
3. Filtrul Kalman
3
TEFO Lucrarea 7 Filtrul Kalman
priori la momentul k , dată fiind cunoştinţa procesului anterior la momentul k , şi
x k ∈ n estimatul stării a posteriori la momentul k dată fiind măsurarea [ zk ] . Se pot
defini atunci vectorii de eroare a estimaţilor a priori şi a posteriori ca fiind
ek− = [ xk ] − x k , şi
−
(17)
[ek ] = [ xk ] − x k (18)
Matricea de covarianță a erorii estimatului a priori este atunci
{
Pk− = E ek− ek−
T
}, (19)
iar matricea de covarianță a erorii estimatului a posteriori este
[ Pk ] = E {[ek ][ ek ] }
T
(20)
În obţinerea ecuaţiilor pentru filtrul Kalman, scopul iniţial este găsirea unei
ecuaţii care calculează un estimat al stării a posteriori x k ca o combinaţie liniară
o predicţie a măsurării [ H ] x k , aşa cum este arătat în ecuaţia (21):
−
x k = x k + [ K k ] [ zk ] − [ H ] x k
− −
(21)
Diferenţa [ zk ] − [ H ] x k , în ecuaţia (21), este numită inovaţia măsurării, sau
−
reziduul. Reziduul reflectă diferenţa între măsurarea actuală [ zk ] şi măsurarea prezisă
[ H ] x k .
−
[ K k ] = Pk− [ H ] ([ H ] Pk− [ H ] + [ R ])
T T −1
(22)
4
TEFO Lucrarea 7 Filtrul Kalman
matricea de covarianță a erorii estimatului a priori Pk− se apropie de matricea nulă
măsurarea actuală [ zk ] este din ce în ce mai puţin credibilă, în timp ce măsurarea
prezisă [ H ] x k este din ce în ce mai mult credibilă.
−
5
TEFO Lucrarea 7 Filtrul Kalman
Pk− = [ A][ Pk −1 ][ A] + [Q ]
T
(26)
x k = x k + [ K k ] [ zk ] − [ H ] x k
− −
(28)
[ Pk ] = ([ I ] − [ K k ][ H ]) Pk− (29)
6
TEFO Lucrarea 7 Filtrul Kalman
k −1
Pk− = [ A][ Pk −1 ][ A] + [Q ]
T
3) Actualizarea matricei de covarianță a erorii
[ Pk ] = ([ I ] − [ K k ][ H ]) Pk−
În orice caz, dacă există sau nu o bază raţională pentru alegerea parametrilor,
adesea poate fi obţinută o performanţă superioară (statistic vorbind) prin reglarea
parametrilor filtrului [Q ] şi [ R ] . Reglarea este de obicei realizată înaintea estimării, de
regulă cu ajutorul altui filtru Kalman într-un proces numit, în general, identificare de
sistem.
În condiţiile în care [Q ] şi [ R ] sunt constante, atât matricea de covarianță a
erorii [ Pk ] , cât şi câştigul Kalman [ K k ] se vor stabiliza rapid şi apoi vor rămâne
constante (vezi ecuaţiile de actualizare ale filtrului în Figura 3). Dacă acesta este cazul,
aceşti parametri pot fi pre-calculaţi, fie prin rularea filtrului premergător, fie, de
exemplu, prin determinarea valorii de stare stabilă a lui [ Pk ] .
7
TEFO Lucrarea 7 Filtrul Kalman
8
TEFO Lucrarea 7 Filtrul Kalman
% P_Kalman_ex1
clear;
clc;
% parametri initiali
n_iter = 50;
sz = n_iter; % dimensiunea vectorilor
x = 1; % valoarea adevarata a tensiunii continue
z = x + 0.1*randn(1,sz); % observatii (normale raportat la x,
sigma=0.1)
% ghicirea initiala
xhat(1) = 0.0;
P(1) = 1.0;
for k=2:n_iter
% actualizare in timp
xhatminus(k) = xhat(k-1);
Pminus(k) = P(k-1)+Q;
% actualizare a masurarii
K(k) = Pminus(k)/( Pminus(k)+R );
xhat(k) = xhatminus(k)+K(k)*(z(k)-xhatminus(k));
P(k) = (1-K(k))*Pminus(k);
end
valid_iter = 1:n_iter;
figure(1)
clf;
plot(z,'-m*');
hold on;
plot(xhat,'-bv','MarkerFaceColor','b');
hold on;
plot(valid_iter,x*ones(1,sz),'-g^','MarkerFaceColor','g');
grid on;
axis([1 n_iter min(z) max(z)]);
legend('masurari','starea estimata','valoare adevarata');
xlabel('Iteratie')
ylabel('Tensiune')
9
TEFO Lucrarea 7 Filtrul Kalman
valid_iter(1)=[];
figure(2)
clf;
plot(valid_iter,Pminus(valid_iter),'-
bv','MarkerFaceColor','b')
grid on;
axis([1 n_iter 0 0.01]);
xlabel('Iteratie (k)')
ylabel('(Tensiune)^2 - P_k')
masurari
starea estimata
valoare adevarata
1.1
1.05
1
Tensiune
0.95
0.9
0.85
5 10 15 20 25 30 35 40 45 50
Iteratie
Când s-a considerat alegerea lui P0 de mai sus, s-a menţionat că alegerea nu a
fost critică cât timp P0 ≠ 0 deoarece filtrul eventual ar converge. În Figura 6 s-a
reprezentat valoarea lui Pk în funcţie de iteraţie. Din alegerea iniţială de 1, la a 50-a
iteraţie valoarea s-a stabilit la aproximativ 0.0003 (Volţi2).
În Figurile 7 şi 8 de mai jos se poate vedea ceea ce se întâmplă când R este
crescut sau scăzut cu un factor de 100.
În Figura 7 s-a considerat că varianţa măsurării a fost de 100 de ori mai mare
(adică R = 1 ) aşa că răspunsul filtrului a fost mai „lent” în a crede măsurările,
estimările prezise devenind mai credibile. Rezultatul conduce la o varianță redusă a
semnalului estimat.
10
TEFO Lucrarea 7 Filtrul Kalman
0.01
0.009
0.008
0.007
0.006
(Tensiune) - Pk
2
0.005
0.004
0.003
0.002
0.001
0
5 10 15 20 25 30 35 40 45 50
Iteratie (k)
Figura 6. După 50 de iteraţii, covarianţa erorii Pk− , aleasă inițial ca fiind egală cu 1,
s-a stabilit la aproximativ 0.0003 (Volţi2)
1.15 masurari
starea estimata
valoare adevarata
1.1
1.05
1
Tensiune
0.95
0.9
0.85
5 10 15 20 25 30 35 40 45 50
Iteratie
În Figura 8 s-a considerat că varianţa măsurării a fost de 100 de ori mai mică
(adică R = 0.0001 ) aşa că răspunsul filtrului a fost mai „rapid” în a crede măsurările
11
TEFO Lucrarea 7 Filtrul Kalman
zgomotoase, acestea devenind mai credibile. Prin urmare varianța semnalului estimat
este mai mare.
Deşi estimarea unei tensiuni continue este relativ directă, aceasta demonstrează
clar funcţionarea filtrului Kalman. În Figura 7, în particular, este evident că în filtrarea
Kalman estimatul apare considerabil mai neted decât măsurările cu zgomot.
masurari
1.2 starea estimata
valoare adevarata
1.15
1.1
1.05
Tensiune
0.95
0.9
0.85
0.8
5 10 15 20 25 30 35 40 45 50
Iteratie
În acest sistem radarul emite impulsuri, iar semnalele returnate sunt procesate
prin filtrul Kalman pentru a determina deplasarea unui vehicul (presupusă cu viteză
aproximativ constantă) într-un plan de coordonate xOy.
Se presupune că vehiculul are viteză aproximativ constantă astfel încât ecuațiile
de modificare a vitezelor pe cele două axe, v x [ k ] și v y [ k ] , sunt:
v x [ k ] = v x [ k − 1] + wx [ k ]
v y [ k ] = v y [ k − 1] + wy [ k ]
unde wx [ k ] și wy [ k ] , sunt zgomotele care modelelază schimbarea vitezelor la
momentul k , presupuse de tip Gaussian cu medie nulă.
Presupunând pasul de deplasare între două momente de timp succesive ca fiind
egal cu T , ecuațiile de modificare a deplsasărilor pe cele două axe sunt:
rx [ k ] = rx [ k − 1] + v x [ k − 1] ⋅ T
ry [ k ] = ry [ k − 1] + v y [ k − 1] ⋅ T
Astfel vectorul de stare este
12
TEFO Lucrarea 7 Filtrul Kalman
rx [ k ]
ry [ k ]
[ xk ] = v k
x[ ]
v y [ k ]
iar ecuația de stare este
[ xk ] = [ A] ⋅ [ xk −1 ] + [ wk ] ,
unde
1 0 T 0 0
0 0
1 0 T
[ A] = , [ wk ] =
0 0 1 0 wx [ k ]
0 0 0 1 w y [ k ]
13
TEFO Lucrarea 7 Filtrul Kalman
rx [ k ] = 10 − 0.2 ⋅ k
ry [ k ] = −5 + 0.2 ⋅ k
astfel încât vitezele de deplasare inișiale sunt
v x [ 0] = −0.2
v y [ 0] = 0.2
% P_Kalman_ex2
clear;
clc;
% parametri initiali
n_iter = 50;
sz = n_iter;
T = 1;
wx = sqrt(sigma_w2)*randn(1,sz); %
wy = sqrt(sigma_w2)*randn(1,sz);
H = [1 0 0 0;
0 1 0 0]; % matricea care leaga secventa de observatoe
de starea curenta
nx = sqrt(sigma_n2)*randn(1,sz);
ny = sqrt(sigma_n2)*randn(1,sz);
z(:,:,1) = H*x(:,:,1) + [nx(1); ny(1)]; % observatia initiala
Q = [0 0 0 0;
0 0 0 0;
0 0 sigma_w2 0;
14
TEFO Lucrarea 7 Filtrul Kalman
R = [sigma_n2 0;
0 sigma_n2]; % matricea de covarianta a zgomotului de
masurare
% ghicirea initiala
xhat(:,:,1) = [5; 5; 0; 0]; % estimatul a posteriori a lui x
P(:,:,1) = 10*eye(4); % estimatul erorii a posteriori
for k=2:n_iter
% actualizare in timp
xhatminus(:,:,k) = A*xhat(:,:,k-1);
Pminus(:,:,k) = A*P(:,:,k-1)*A'+Q;
% actualizare a masurarii
K(:,:,k) = Pminus(:,:,k)*H'*inv( H*Pminus(:,:,k)*H'+R );
xhat(:,:,k) = xhatminus(:,:,k)+K(:,:,k)*(z(:,:,k)-
H*xhatminus(:,:,k));
P(:,:,k) = (eye(4)-K(:,:,k)*H)*Pminus(:,:,k);
end
valid_iter = [1:n_iter]-1;
figure(1);
clf;
for k=1:n_iter
P_rx(k)=P(1,1,k);
end
plot(valid_iter,P_rx,'--ko');
xlabel('Iteratie');
ylabel('Covarianta deplasarii r_x');
grid on;
axis([min(valid_iter) max(valid_iter) 0 P_rx(2)])
figure(2);
clf;
for k=1:n_iter
P_ry(k)=P(2,2,k);
end
plot(valid_iter,P_ry,'--ko');
xlabel('Iteratie');
15
TEFO Lucrarea 7 Filtrul Kalman
figure(3);
clf;
for k=1:n_iter
P_vx(k)=P(3,3,k);
end
plot(valid_iter,P_vx,'--ko');
xlabel('Iteratie');
ylabel('Covarianta vitezei de deplasare v_x');
grid on;
axis([min(valid_iter) max(valid_iter) 0 10*min(P_vx)])
figure(4);
clf;
for k=1:n_iter
P_vy(k)=P(4,4,k);
end
plot(valid_iter,P_vy,'--ko');
xlabel('Iteratie');
ylabel('Covarianta vitezei de deplasare v_y');
grid on;
axis([min(valid_iter) max(valid_iter) 0 10*min(P_vy)])
for k=1:n_iter
K_depl(k)=K(1,1,k);
end
plot(valid_iter,K_depl,'--ko');
xlabel('Iteratie');
ylabel('Castigul Kalman al deplasarii r_x');
grid on;
figure(6);
clf;
for k=1:n_iter
K_vit_depl(k)=K(2,2,k);
end
plot(valid_iter,K_vit_depl,'--ko');
16
TEFO Lucrarea 7 Filtrul Kalman
xlabel('Iteratie');
ylabel('Castigul Kalman al deplasarii r_y');
grid on;
valid_iter = [1:n_iter-1];
figure(7);
clf;
for k=1:n_iter
rxhat_depl(k)=xhat(1,1,k);
rx_depl(k)=x(1,1,k);
zx_depl(k)=z(1,1,k);
ryhat_depl(k)=xhat(2,1,k);
ry_depl(k)=x(2,1,k);
zy_depl(k)=z(2,1,k);
end
plot(rxhat_depl,ryhat_depl,'-ko',rx_depl,ry_depl,'-
go',zx_depl,zy_depl,'-rx');
title('Evoluatia deplasarii');
legend('deplasare adevarata','deplasare estimata','masurari');
xlabel('r_x');
ylabel('r_y');
grid on;
5. Aplicaţii propuse
1. Modificați programul din Secțiunea 3.1 astfel încât să generați câte M = 100 de
măsurări la fiecare iterație, din maxim 300 posibile, a filtrării Kalman. Pentru fiecare
iterație k calculați valoarea medie și varianța valorilor estimate x k din cele M
realizări. Afișați, în funcție de numărul iterației k , pe un grafic valoarea medie a
valorilor estimate și valoarea adevărată, iar pe alt grafic varianța valorilor estimate și
limita inferioară Cramer-Rao pentru estimatul nedeplasat al nivelului de curent
continuu. Pentru o mai bună vedere afișați graficele doar pentru următoarele valori lui
k : 10, 20, 30, ..., 300. Modificați valoarea varianței estimate a zgomotului de măsurare
R și a varianței estimate a zgomotului de proces Q și observați cum variază varianța
valorilor estimate x k comparativ cu limita inferioară Cramer-Rao.
2. O secvenţă aleatoare în timp discret este dată de
xk +1 = Axk + wk
unde A = 0.5 , x0 este o variabilă aleatoare cu medie 0 şi varianţă 1, iar wk este zgomot
alb de medie 0 şi varianţă 1. Ecuaţia de observaţie este dată de
zk = xk + vk
cu vk zgomot alb de medie 0 şi varianţă 1. Termenii x0 , wk şi vk sunt toţi de tip
gaussian.
Să se realizeze un program care să dea secvenţa estimată x k prin filtrare
Kalman. Se vor considera diferite valori pentru varianţa estimată a măsurării.
17
TEFO Lucrarea 7 Filtrul Kalman
0 0.999
σ v2 = 0.1 , iar semnalul de intrare în canal se consideră un semnal periodic cu perioada
10 de forma (pe o perioadă):
0, 0 ≤ k < 5,
u [k ] =
1, 5 ≤ k < 10
18