DEPI, Seminar 6.

Estimarea parametrilor unui semnal 2013 - 2014, II C

Seminar 6. Estimarea parametrilor unui semnal

I. Breviar teoretic
Teoria clasică a estimării presupune existenţa a două tipuri de probleme:
• estimarea parametrilor sau valorilor medii ale unei variabile aleatoare (v.a.);
• estimarea valorii unei v.a. X inaccesibilă, în funcţie de observarea unei alte v.a Y accesibilă.

1.1. Aplicaţii
Estimarea este întâlnită în multe sisteme de prelucrare a semnalelor, printre care:
• radar, unde trebuie estimată întârzierea semnalului impuls recepţionat;
• navigaţie, unde trebuie estimată poziţia unei bărci;
• sonar, unde trebuie estimată întârzierea semnalului recepţionat de la fiecare senzor, semnal
afectat de zgomot;
• seismologie, unde trebuie estimată distanţa până la un depozit de petrol, pe baza reflexiilor
zgomotoase ale semnalului sonor datorate densităţilor diferite ale straturilor de rocă şi petrol;
• audio, unde trebuie estimaţi parametrii semnalului vocal pentru orice vorbitor şi în prezenta
zgomotului ambiental;
• video, unde trebuie estimată poziţia şi orientarea unui obiect faţă de camera video în prezenţa
zgomotului de iluminare şi de fundal;
• medicină, unde trebuie estimat pulsul inimii unui fătus în prezenţa zgomotului senzorului şi a
zgomotului ambiental;
• comunicaţii, unde trebuie estimată frecvenţa purtătoare a unui semnal modulat şi afectat de
zgomot.
În majoritatea acestor aplicaţii se doreşte estimarea unui parametru necunoscut θ al semnalului
transmis x(t , θ) , precum amplitudinea, frecvenţa, faza, timpul, etc. Estimarea se face pe baza
observării unui semnal y (t ) care poate conţine “artefacte” datorită impreciziei senzorilor,
zgomotului aditiv, zgomotului multiplicativ, imperfecţiunilor de model, variaţiei sursei de semnal.
Parametrul θ poate fi:
• aleator, fiind reprezentat de o v.a. θ cu f.d.p. p(θ) posibil cunoscută;
• nealeator sau determinist necunoscut.

1.2. Definiţii
• Un estimator θ̂ pentru parametrul θ se obţine prin aplicarea unei funcţii de estimare g (⋅)
asupra vectorului aleator de observaţii y = ( y1 , y2 ,… , y N ) asociat semnalului aleator
recepţionat y (t ) :
θˆ = g ( y ) . (6.1)
Deoarece estimatorul θ̂ este o v.a., atunci o realizare particulară a sa este denumită estimat
şi este calculată pe mulţimea de realizări particulare ale vectorului aleator observat y.
• Performanţa procesului de estimare se poate aprecia utilizând:
o eroarea de estimare, definită ca diferenţa dintre valoarea reală θ şi cea estimată θ̂ :
ε = θ − θˆ . (6.2)
o

1
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
o eroarea medie de estimare:
μ ε = E ⎡⎣ θ − θˆ ⎤⎦ . (6.3)
o eroarea pătratică medie de estimare:
μ 2,ε = E ⎡⎣ (θ − θˆ ) 2 ⎤⎦ . (6.4)

• Funcţiile de cost uzuale atribuie costuri diferite pentru aceleaşi valori ale erorii de estimare:
⎧⎪0, ε ≤δ
C EP (ε ) = ε 2 C ABS (ε) = ε CUNIF (ε) = ⎨
⎪⎩1, ε >δ

1
ε ε ε
-δ δ
Fig. 1. Funcţiile de cost eroare pătratică (EP), eroare absolută (ABS) şi eroare uniformă (UNIF).

• Riscul asociat unei funcţii de cost reprezintă valoarea medie a respectivei funcţii de cost:
R = E [ C (ε ) ] . (6.5)
• Valorile medii statistice ale unui estimator:
o valoarea medie:
μ θˆ = E ⎡⎣θˆ ⎤⎦ . (6.6)
o valoarea pătratică medie:
μ 2,θˆ = E ⎡⎣θˆ 2 ⎤⎦ . (6.7)
o dispersia:
σθ2ˆ = μ 2,θˆ − μ θ2ˆ = E ⎡⎣θˆ 2 ⎤⎦ − E 2 ⎡⎣θˆ ⎤⎦ . (6.8)
ce este egală cu (6.4).

1.3. Proprietăţile unui estimator

Calitatea unui estimator se poate aprecia în funcţie de proprietăţile acestuia:
• nedeplasarea: un estimator θ̂ pentru θ este nedeplasat dacă şi numai dacă:
μ θˆ = E ⎡⎣θˆ ⎤⎦ = θ , (6.9)
pentru toate valorile posibile ale lui θ . Deplasarea în estimarea lui θ cu θ̂ este μ θ̂ − θ .
• eficienţa: un estimator θ̂1 pentru θ este mai eficient decât estimatorul θ̂2 dacă:
a) θ̂1 şi θ̂2 sunt estimatori nedeplasaţi ai lui θ ;
b) dispersia lui θ̂1 este mai mică decât dispersia lui θ̂2 : σθ2ˆ < σθ2ˆ .
1 2

În practică se preferă un estimator deplasat dar cu dispersie minimă în locul unui estimator
nedeplasat dar cu dispersie mare.

1.4. Criterii de estimare

Estimarea are ca scop determinarea funcţiei de estimare g (⋅) prin minimizarea unei funcţii de cost
atribuită unei erori de estimare. Estimarea parametrului θ se poate efectua pe baza:

2
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
• observaţiilor discrete, semnalul observat y (t ) fiind reprezentat într-un spaţiu N-
dimensional prin vectorul semnal y = [y1, y2, …, yN];
• observaţiilor continue, considerând un spaţiu unidimensional în care funcţia de bază este
chiar semnalul purtător de informaţie transmis.

Considerând doar cazul observaţiilor discrete, criteriile de estimare se pot descrie astfel:
• Criteriul de estimare: minimizarea erorii pătratice medii (Mean Square Error, MSE)
Folosind regula Eroare Medie Pătratică Minimă (EMPM):
θˆ EMPM = arg min E [CEP (ε) ] = arg min E ⎡⎢(θ − θˆ ) 2 ⎤⎥ , (6.10)
ε θˆ ⎣ ⎦
estimatorul parametrului θ se obţine din calculul integralei:
∞
θˆ EMPM = ∫ θ p (θ | y ) d θ , (6.11)
−∞

unde se aplică regula Bayes p (θ | y ) = p (y | θ) p (θ) p (y ) .

• Criteriul de estimare: minimizarea erorii absolute
Estimatorul parametrului aleator θ se determină din rezolvarea ecuaţiei:
θˆ ABS ∞

∫ p (θ | y ) d θ = ∫ p (θ | y ) d θ . (6.12)
−∞ θˆ ABS

• Criteriul de estimare: minimizarea erorii uniforme medii

Minimizarea erorii medii uniforme se poate scrie sub forma:
θˆ = arg min E [CUNIF (ε) ] . (6.13)
ε
o Dacă parametrul θ este aleator, fiind descris de o v.a. Θ cu f.d.p. p(θ) cunoscută,
atunci folosim regula Maxim A Posteriori (MAP):
θMAP = arg max p(θ | y ) = arg max p(y | θ) p (θ) . (6.14)
θ θ
estimatorul parametrului θ obţinându-se prin rezolvarea ecuaţiei:
∂
p (y | θ) p (θ) = 0. (6.15)
∂θ θ=θMAP
În cazul unor f.d.p. gaussiene, estimatorul se determină din relaţia echivalentă:
∂ ∂
ln p (y | θ) + ln p (θ) =0. (6.16)
∂θ θ=θMAP ∂θ θ=θ MAP

o Dacă parametrul θ este determinist (nu există f.d.p. p(θ)), atunci folosim regula
Maxim de Plauzibilitate (MP):
θMP = arg max p (y | θ) , (6.17)
θ
echivalent cu rezolvarea ecuaţiei:
∂
p (y | θ) =0, (6.18)
∂θ θ=θˆ MP

sau în formă logaritmică:

∂
ln p (y | θ) =0. (6.19)
∂θ θ=θˆ MP

3
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
II. Probleme rezolvate

1. Estimarea MP, MAP, EMPM a amplitudinii unui semnal, N observaţii discrete.

Într-un sistem de comunicaţii, emiţătorul transmite un semnal x(t , θ) cunoscut, cu excepţia unui
parametru aleator scalar θ care conţine informaţia sursei. Semnalul x(t , θ) depinde liniar de
parametrul θ , adică x(t , θ) = θ ⋅ s (t ) , unde semnalul s (t ) este cunoscut. Peste semnalul x(t , θ) se
suprapune zgomotul n(t ) aditiv gaussian alb, N (0, σ2n ) :
y (t ) = x(t , θ) + n(t ), 0 ≤ t ≤ T .
La recepţie, semnalul y(t) este observat la N momente discrete de timp.
a) Să se determine estimatorul MP al parametrului θ ;
b) Dacă θ este o valoare a unei v.a. distribuită gaussian N (μ θ , σθ2 ) , atunci determinaţi
estimatorul MAP;
c) În condiţiile de la pct b), să se determine estimatorul EMPM;
d) Să se deseneze schema receptorului care efectuează estimarea, în cele trei cazuri.

Rezolvare
Considerând un canal de comunicaţie continuu în timp, putem scrie:
y (t ) = θ ⋅ s (t ) + n(t ), 0 ≤ t ≤ T .
Considerând că semnalul recepţionat y (t ) se reprezintă într-un spaţiu N-dimensional reprezentat
de eşantioanele sale y = ( y1 , y2 ,… , yN ) , putem scrie relaţia vectorială:
y = θ⋅ s + n ,
respectiv, pentru o singură componentă a vectorilor semnal:
yi = θ ⋅ si + ni , i = 1, N . (6.20)
a) Estimatorul MP se determină prin rezolvarea ecuaţiei:
∂
p (y | θ) =0. (6.21)
∂θ θ=θˆ MP

Deoarece canalul este cu zgomot gaussian alb, deci şi pur aleator, oricare două eşantioane ni
de zgomot sunt independente, de unde oricare două eşantioane yi sunt şi ele independente.
F.d.p. condiţionată N-dimensională p(y | θ) se poate descompune în funcţie de f.d.p. de
ordinul 1:
N N
p (y | θ) = ∏ p( yi | θ) = ∏ p( yi ) , (6.22)
i =1 i =1
Mai mult, deoarece parametrul θ este determinist, condiţionarea faţă de θ dispare.
La momentul de timp i, eşantionul de zgomot ni este modelat ca o v.a. cu distribuţie
gaussiană. Deoarece parametrul θ şi eşantionul semnal si sunt determinişti, eşantionul
observat yi = θ ⋅ si + ni va fi modelat ca o v.a. cu distribuţie gaussiană, de medie:
ni ∼N (0, σ2n )
μ yi = yi = θ ⋅ si + ni = θ ⋅ si + ni = θ ⋅ si
şi dispersie:
ni ∼N (0, σ2n )
( )
2
= ( θ ⋅ si + ni − θ ⋅ si ) = n
2
σ = yi − yi
2
yi
2
i = σ 2n .
Prin urmare, f.d.p. p( yi ) este:
1 ⎛ ( yi − μ yi ) 2 ⎞ 1 ⎛ ( yi − θ ⋅ si ) 2 ⎞
p ( yi ) = exp ⎜ − ⎟ = exp ⎜− ⎟,
2πσ2yi ⎜ 2σ2yi ⎟ 2πσ 2n ⎝ 2σ2n ⎠
⎝ ⎠

4
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
iar relaţia (6.22) devine:
⎛ 1 ⎞
N ⎛ ∑ ( yi − θ ⋅ si ) 2 ⎞
p(y | θ) = ⎜ ⎟ exp ⎜ − i ⎟. (6.23)
⎜ ⎟ ⎜ 2σ n
2 ⎟
⎝ 2πσ n
2
⎠ ⎜ ⎟
⎝ ⎠
Deoarece f.d.p. p(y | θ) este o exponenţială, preferăm varianta logaritmică a relaţiei (6.21):
∂
ln p (y | θ) =0,
∂θ θ=θˆ MP

rezultând pe rând:
⎡ N ⎛ ∑ ( yi − θ ⋅ si ) 2 ⎞ ⎤
∂ ⎢⎛ 1 ⎞
⎟⎥
ln ⎜ ⎟ exp ⎜ − i =0,
∂θ ⎢⎜ 2πσ n2 ⎟ ⎜
⎜ 2σ n2 ⎟⎥
⎟⎥
⎢⎣⎝ ⎠ ⎝ ⎠⎦ θ=θˆ MP

∂ ⎜ ∑
N ⎛ ( yi − θ ⋅ si ) 2 ⎞
∂ ⎛ 1 ⎞
⎟
ln ⎜ ⎟ + − i = 0,
∂θ ⎜ 2πσ 2n ⎟ ∂θ ⎜⎜ 2σ 2n ⎟
⎟
⎝ ⎠
θ=θˆ MP ⎝ ⎠ θ=θˆ MP
Deoarece prima derivată este zero, rămâne doar a doua derivată care se descompune:
−1 ∂ ⎛ ⎞
⋅ ⎜ ∑ yi2 − 2θ∑ yi si + θ2 ∑ si2 ⎟ = 0.
2σn ∂θ ⎝ i
2
i i ⎠ θ=θˆ MP

Derivând în raport cu θ obţinem ecuaţia:

⎛ 2⎞
⎜ 0 − 2∑ yi si + 2θ∑ si ⎟ =0,
⎝ i i ⎠ θ=θˆ MP
de unde estimatorul MP este soluţia ecuaţiei de mai sus:
∑ yi si
ˆθ = i . (6.24)
∑ si2
MP

i
b) Pentru a determina estimatorul MAP, folosim relaţia sub formă logaritmică:
⎛ ∂ ∂ ⎞
⎜ ln p(y | θ) + ln p(θ) ⎟ = 0. (6.25)
⎝ ∂θ ∂θ ⎠ θ=θMAP
Deoarece parametrul θ este o valoare a unei v.a. distribuită gaussian, N (μ θ , σθ2 ) , acesta este
constant (nu se modifică) pe durata celor N componente ale vectorului semnal recepţionat y,
modificându-se doar de la un vector semnal la altul. F.d.p. este:
1 ⎛ (θ − μ θ ) 2 ⎞
p(θ) = exp ⎜ − ⎟.
2πσθ2 ⎝ 2σθ2 ⎠
Componentele yi = θ ⋅ si + ni ale vectorului semnal recepţionat sunt independente şi identic
distribuite, având distribuţie gaussiană tot de medie μ yi = θ ⋅ si şi dispersie σ 2yi = σ 2n . Analog
punctului anterior, f.d.p. N-dimensională p(y | θ) a vectorului semnal recepţionat condiţionat
de parametrul θ , este cea din relaţia (6.23). Înlocuind distribuţiile în ecuaţia (6.25) şi
reţinând doar argumentele exponenţialelor, rezultă succesiv:
⎡ ⎛ ⎞
N ⎛ ∑ ( yi − θ ⋅ si ) 2 ⎞ ⎤
∂
⎢ ln ⎜ 1 ∂ ⎜ ⎟ ∂ ⎛ 1 ⎞ ∂ ⎛ (θ − μ θ ) 2 ⎞ ⎥
⎟ + ⎜ ⎟
⎜− ⎟ + ∂θ ⎜ ln 2πσ 2 ⎟ + ∂θ ⎜ − 2σ2 ⎟ ⎥ = 0,
i
⎢ ∂θ ⎜ 2 ⎟ ∂θ 2 σ 2
⎢⎣ ⎝ 2 πσ n ⎠ ⎜ n ⎟ ⎝ θ ⎠ ⎝ θ ⎠ ⎥⎦ ˆ
⎝ ⎠ θ=θMAP

5
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C

−1 ∂ ⎛ ⎞ −1 ∂
⋅ ⎜ ∑ yi2 − 2θ∑ yi si + θ2 ∑ si2 ⎟ + 2 ⋅ ( θ2 − 2θμ θ + μ θ2 ) = 0,
2σn ∂θ ⎝ i
2
i i ⎠ θ=θMAP 2σθ ∂θ θ=θMAP

1 ⎛ ⎞ 1
2 ⎜
−0 + 2∑ yi si − 2θ∑ si2 ⎟ + ( −2θ + 2μθ − 0 ) =0,
2σn ⎝ i i ⎠ θ=θMAP
2σθ2 θ=θMAP

μ ∑ys⎛ ∑ si2
⎜
i i
1 ⎟
⎞
i
+ 2 − θ⋅⎜ 2 + 2 ⎟
θ i
=0.
σn2 σθ ⎜ σn σθ ⎟
⎝ ⎠ θ=θˆ MAP
Rezolvând ecuaţia în θ şi apoi înlocuind pe θ cu θˆ MAP , obţinem estimatorul MAP:
σθ2
μθ + ∑ yi si
σn2 i
θˆ MAP = . (6.26)
σθ2
1 + 2 ∑ si2

σn i
Observaţia 1: Dacă μ θ = 0 rezultă că avem un estimator liniar de forma ∑h y
i
i i , adică o

combinaţie liniară a eşantioanelor semnalului recepţionat.

Observaţia 2: Dacă dispersia parametrului θ este mult mai mare faţă de dispersia
zgomotului ( σθ2 >> σ2n ) şi dacă energia ∑ i si2 a semnalului s (t ) nu este prea mică, atunci
∑ys i i
rezultă θˆ MAP → i
, adică estimatorul θˆ va fi tinde la estimatorul θˆ MP .
∑s 2 MAP
i
i
Observaţia 3: Dacă dispersia parametrului θ este mult mai mică faţă de dispersia
zgomotului ( σθ2 << σ 2n ) şi dacă dispersia zgomotului este mică, atunci parametrul θ va tinde
la un parametru determinist, iar estimatorul θˆ va fi aproximativ egal cu media μ .
MAP θ

c) Pentru estimatorul eroare medie pătratică minimă (EMPM) avem relaţia de definire:
∞ ∞
ˆθ p(y | θ) p(θ)
EMPM = ∫ θ ⋅ p (θ | y ) d θ = ∫ θ ⋅ dθ .
−∞ −∞
p(y )
Cum f.d.p. p(y ) a vectorului observaţiilor y nu depinde de variabila de integrare θ , relaţia
de calcul pentru θˆ este:
EMPM
∞

∫ θ ⋅ p(y | θ) p(θ)d θ
θˆ EMPM = −∞
.
p(y )
Scriind f.d.p. p (y ) funcţie de f.d.p. marginale:
∞ ∞
p (y ) = ∫
−∞
p(y, θ)d θ = ∫ p ( y | θ ) p ( θ) d θ
−∞
rezultă că:
∞

∫ θ ⋅ p(y | θ) p(θ)d θ
θˆ EMPM = −∞
∞
(6.27)

−∞
∫ p(y | θ) p(θ)d θ
De la punctul a) ştim că:

6
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C

⎛ 1
⎞
N ⎛ ∑ ( yi − θ ⋅ si ) 2 ⎞
p(y | θ) = ⎜⎟ exp ⎜ − i ⎟,
⎜⎟ ⎜ 2σ n2 ⎟
⎝ 2πσ n
2
⎠ ⎜ ⎟
⎝ ⎠
deci putem calcula termenul comun din integralele din relaţia (6.27):
⎛ 1 ⎞
N
⎛ ∑ ( yi − θ ⋅ si ) 2 ⎞
⎟ 1 exp ⎛ − (θ − μ θ ) ⎞
2
p(y | θ) p(θ) = ⎜ ⎟ exp ⎜ − i ⎜ ⎟
⎜ 2 ⎟ ⎜ 2σ n2 ⎟ 2σθ2 ⎠
⎝ 2πσ n ⎠ ⎟ 2πσθ
2
⎜ ⎝
⎝ ⎠
⎛ ∑ yi2 − 2θ∑ yi si + ∑ si2θ2 ⎞
1 1 ⎜ θ2 − 2θμ θ + μ θ2 ⎟
= exp ⎜ − i i i
− ⎟
N 1
2σ2n 2σθ2
( 2πσn ) ( 2πσθ ) ⎝
2 2 2 2 ⎜ ⎟
⎠
⎡ ⎛ ∑ yi si
μθ ⎟ 2 ⎜ ∑
⎞ ⎛ si 2
⎞⎤
⎢ ⎜ i 1 ⎟⎥
= K ⋅ exp ⎢θ + 2 −θ ⎜ i
+ ,
⎜ σ2
⎜ σθ ⎟⎟ ⎜ 2σ n2 2σθ2 ⎟⎟ ⎥
⎢⎣ ⎝ n
⎠ ⎝ ⎠ ⎥⎦
⎛ ∑ yi2 ⎞
1 1 ⎜ μθ2 ⎟
unde K = exp ⎜ − i
− 2 ⎟ nu depinde de variabila de integrare θ,
N 1
2 σ 2
2σθ ⎟
( 2πσn ) ( 2πσθ ) ⎜⎝
2 2 2 2 n
⎠
deci nu ne mai interesează. Prin urmare, putem simplifica integrala de la numărătorul relaţiei
(4):
∞ ∞
I= ∫ θ ⋅ p(y | θ) p(θ)d θ = ∫ θ ⋅ K ⋅ exp ( Aθ − Bθ ) d θ ,
2

−∞ −∞
unde termenii A şi B sunt:
∑ys μ
i i ∑ si2
1
A = i 2 + θ2 , B= i 2 + 2 .
σn σθ 2σ n 2σ θ
Dezvoltând integrala prin părţi rezultă:
K
(
exp ( Aθ − Bθ2 ) d θ + ) KA
exp ( Aθ − Bθ2 ) d θ
'
I=
−2 B ∫ 2B ∫
K KA
exp ( Aθ − Bθ2 ) + exp ( Aθ − Bθ2 ) d θ
∞

2B ∫
=
−2 B −∞

KA
= 0−0+ ∫ exp ( Aθ − Bθ2 ) d θ ,
2B
de unde rezultă relaţia pentru estimatorul EMPM (vezi relaţia 4):

KA
∑i yi si μθ
∫ exp ( Aθ − Bθ2 ) d θ + 2
2 B A σ 2
σθ
θˆ EMPM = = = n
,
K ∫ exp ( Aθ − Bθ ) d θ ∑i si 12
2
2B
+ 2
σn2 σθ
relaţie care se poate simplifica prin înmulţirea cu σθ2 la numărător şi numitor:
σθ2
μ θ + 2 ∑ yi si
σn i
θˆ EMPM = .
σθ2
1 + 2 ∑ si2

σn i

7
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
Observaţie: Estimatorii EMPM şi MAP sunt identici şi respectă forma unui estimator
liniar. Această identitate este valabilă numai în condiţiile acestei probleme şi anume
pentru distribuţii gaussiene. Dacă zgomotul de pe canal este modelat altfel sau dacă
parametrul θ are o altă distribuţie, atunci cei doi estimatori nu ar mai fi fost identici.

d) Receptorul, în cele trei cazuri, se poate implementa cu corelatoare sau cu filtre adaptate.
Astfel, pentru estimatorul MP avem relaţia (6.24) pe care o scriem utilizând notaţiile de
produs scalar şi normă:
∑ yi si y, s
ˆθ = i = , (6.28)
∑ si2 s 2
MP

care poate fi implementată cu schema din Fig. 2, unde Es = ∑ si2 = s

2
este energia
i
vectorului semnal s.

y, s θˆ MP
Acumulator
yi
1 1
=
si ∑ si Es
2

Fig. 2. Schema de implementare pentru estimatorul MP.

Pentru estimatorul MAP şi pentru estimatorul EMPM avem relaţia (vezi punctul b):
σ2 σ2
μ θ + θ2 ∑ yi si μ θ + θ2 y, s
σn i σn
θˆ MAP = θˆ EMPM = = , (6.29)
σθ
2
σθ2 2
1 + 2 ∑ si 2
1+ 2 s
σn i σn
implementarea fizică fiind cea din Fig. 3.

y, s θˆ MAP = θˆ EMPM
Acumulator
yi
1
σ θ2
μθ σ2
si σ 2n 1 + θ2 Es
σn

Fig. 3. Schema de implementare pentru estimatorul MAP sau EMPM.

În cazul canalului gaussian continuu în timp, la intrarea schemelor din Fig. 2 şi 3 mai trebuie
adăugat un bloc de detecţie (de transformare a semnalului continuu în timp y (t ) în vectorul
semnal y de componente yi ) implementat cu corelatoare sau cu filtre adaptate (vezi
seminarul 4).

2. Estimare MP, MAP, EMPM, observaţii continue.

Să se determine estimatorii MP, MAP şi EMPM din problema rezolvată 1 pentru cazul în care
semnalul de la recepţie este observat în mod continuu.

8
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
Rezolvare
În cazul observaţiilor continue rămâne necesar calculul estimatorilor ca în problema anterioară,
cu deosebirea că diferă modul de calcul a produselor scalare şi a normelor din relaţiile (6.28) şi
(6.29). Astfel, în cazul de faţă acestea se vor calcula cu integrală:
T

y, s ∫ y(t )s(t )dt

θˆ MP = 2
= 0
T
,
s
∫s
2
(t )dt
0
T
σ2 σ2
μ θ + θ2 y, s μ θ + θ2 ⋅ ∫ y (t ) s (t )dt
σn σn 0
θˆ MAP = θˆ EMPM = = .
σθ 2
2
σθ2
T
1+ 2 s 1 + 2 ⋅ ∫ s (t )dt
2
σn σn 0

3. Estimarea amplitudinii unui semnal constant în timp; observaţii discrete.

Fie problema rezolvată 1 pentru care considerăm cazul particular x(t , θ) = θ pentru 0 ≤ t ≤ T ,
unde amplitudinea θ este o v.a. gaussiană N (μ θ , σθ2 ) . Pe baza a N observaţii discrete asupra
semnalului recepţionat y (t ) , calculaţi estimatorii MAP, MP, EMPM şi comentaţi rezultatele.

Rezolvare
Datele problemei nu se schimbă faţă de cele din problema rezolvată 1, ci doar se particularizează
semnalul s (t ) = 1 . Dacă se realizează N observaţii discrete, atunci componentele vectorului
semnal (eşantioanele semnalului) sunt:
si = 1, i = 1, N .
Energia acestui semnal va fi:
Es = ∑ si2 = N .
i
În aceste condiţii, cei trei estimatori din relaţiile (6.28) şi (6.29) sunt:
∑i yi
θˆ MP = , (6.30)
N
σθ2
μ θ + 2 ∑ yi
ˆθ ˆ σn i
MAP = θ EMPM = . (6.31)
σθ2
1+ 2 N
σn
Dacă media parametrului θ este zero, μ θ = 0 , rezultă:
σθ2
σ2n
∑y i
θˆ MAP = θˆ EMPM = i
.
σ 2
1+ N θ
σ 2
n

Dacă cele două dispersii sunt egale, adică σθ2 = σ 2n , rezultă că:
∑y i
θˆ MAP = θˆ EMPM =
. i

1+ N
În plus, dacă numărul de eşantioane de observare este foarte mare, rezultă că cei trei estimatori
sunt aproximativ egali:

9
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C

∑y i
θˆ MAP = θˆ EMPM ⎯⎯⎯→
N mare
θˆ MP = i
.
N

4. Estimarea valorii unei tensiuni constante, distribuită gaussian.

Cu ajutorul unui voltmetru afectat de erori gaussiene de medie μ n = 0 V şi dispersie
σ 2n = 0.1 V 2 , se fac patru măsurători asupra unei tensiuni constante, distribuită gaussian în jurul
valorii medii de μ θ = 12 V şi cu dispersie σ θ2 = 1 V 2 , rezultând valorile:
u1 = 10.2 V , u2 = 13.4 V , u3 = 11.5 V şi u4 = 11.2 V .
a) Determinaţi estimatele MP, MAP şi EMPM;
b) Calculaţi media şi dispersia celor trei estimatori utilizaţi la punctul a);
c) Determinaţi erorile medii pătratice de estimare pentru cei trei estimatori de la punctul a).

Rezolvare
a) Tensiunea citită de voltmetru este dată de relaţia:
ui = θ + ni , i = 1, N , N = 4 .
unde ni sunt erorile de măsură modelate ca o v.a. distribuită gaussian de medie 0 şi dispersie
0.1 V2, iar θ este o realizare particulară a unei v.a. distribuită gaussian, de medie 12 V şi
dispersie 1 V2, realizare care este constantă pe toată durata celor patru măsurători şi variază
de la un set de măsurători la altul.
Deoarece parametrul θ cât şi zgomotul ni sunt distribuite gaussian, putem aplica
estimatorii din relaţiile (6.30) şi (6.31) din problema anterioară în care înlocuim valorile
pentru medii şi dispersii:
∑ ui
ˆθ = i ,
MP
N
σ2
μθ + θ2 ∑ ui 1.2 + ∑ ui
σn i
θˆ MAP = θˆ EMPM = = i
.
σθ2 0.1 + N
1+ 2 N
σn
Înlocuind valorile numerice pentru tensiunea măsurată rezultă estimatele:
10.2 + 13.4 + 11.5 + 11.2
θˆ MP = = 11.575 V ,
4
1.2 + 10.2 + 13.4 + 11.5 + 11.2
θˆ MAP = θˆ EMPM = = 11.5854 V .
0.1 + 4
b) Pentru estimatorul MP calculăm mai întâi media de ordin 1:
⎡ ∑ ui ⎤ ⎡ ∑ ( θ + ni ) ⎤
μ θˆ = E ⎣⎡θˆ MP ⎦⎤ = E ⎢ i ⎥ = E⎢ i ⎥
MP ⎢ N ⎥ ⎢ N ⎥
⎢⎣ ⎥⎦ ⎢⎣ ⎥⎦
1 1 N ⋅μ θ + N ⋅μ n
= ∑ E [ θ] + ∑ E [ ni ] = = μ θ = 12 V.
N i N i N
Media de ordinul 2 este:
⎡⎛ u ⎞ 2 ⎤
⎢⎜ ∑ ⎡⎛ ⎞ ⎤
2
i
⎟ ⎥ 1
⎡ ˆ
μ 2,θˆ = E ⎣θ MP ⎦ = E ⎢
2
⎤ i
= ⋅ E ⎢⎜ ∑ θ + ∑ ni ⎟ ⎥
⎜ N ⎟ ⎥ N2
MP
⎢⎝⎜ ⎟ ⎢⎣⎝ i ⎠ ⎥⎦
⎠ ⎥⎦
i
⎣
10
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C

1 ⎡⎛ ⎞ ⎤ 2
2
⎡ ⎤ 1 ⎡⎛ ⎞ ⎤
2

= 2 ⋅ E ⎢⎜ ∑ θ ⎟ ⎥ + 2 ⋅ E ⎢ ∑ θ∑ ni ⎥ + 2 ⋅ E ⎢⎜ ∑ ni ⎟ ⎥ .
N ⎣⎢⎝ i ⎠ ⎦⎥ N ⎣ i i ⎦ N ⎣⎢⎝ i ⎠ ⎦⎥
Ultimul termen se calculează astfel:
⎡⎛ ⎞ ⎤
2

E ⎢⎜ ∑ ni ⎟ ⎥ = E ⎡( n1 + n2 + … + nN ) ⎤ = E ⎡⎣ n12 ⎤⎦ + E ⎡⎣ n22 ⎤⎦ + … + E ⎡⎣ nN2 ⎤⎦ +

2

⎣ ⎦
⎣⎢⎝ i ⎠ ⎦⎥
+ 2 ⋅ E [ n1n2 ] + 2 ⋅ E [ n1n3 ] + … + 2 ⋅ E [ n1nN ] + … + 2 ⋅ E [ nN −1nN ]
= N ⋅ E ⎡⎣ ni2 ⎤⎦ = N ⋅ ( σ 2n + μ 2n ) ,
unde am ţinut cont că E ⎡⎣ ni n j ⎤⎦ = E [ ni ] E ⎡⎣ n j ⎤⎦ = 0 deoarece ni şi n j sunt două eşantioane de
zgomot independente şi de medie zero. Deci:
1 2 1
μ 2,θˆ = 2 ⋅ E ⎡⎣ N 2 θ2 ⎤⎦ + 2 ⋅ E [ N θ] ⋅ ∑ E [ ni ] + 2 ⋅ N ⋅ ( σ 2n + μ 2n )
MP
N N i N
1 σ2
⋅ ( σ 2n + μ 2n ) = σθ2 + μ θ2 + n = 145.025 V 2 .
= E ⎡⎣θ2 ⎤⎦ + 0 +
N N
Dispersia estimatorului MP este:
σθ2ˆ = μ 2,θˆ − μ θ2ˆ = 145.025 − 144 = 1.025 V 2 .
MP MP MP

Pentru estimatorul MAP calculăm în mod analog media de ordin 1:

⎡ σθ2 ⎤
⎢ θ σ 2 ∑ ui ⎥ μ θ + 10 ⋅ ∑ E [ui ]
μ +
μ θˆ = E ⎡⎣θˆ MAP ⎤⎦ = E ⎢ n i ⎥= i
MAP
⎢ σθ 2
⎥ 1 + 10 ⋅ N
⎢ 1 + σ2 N ⎥
⎣ n ⎦
μ θ + 10 ⋅ N ( μθ + μ n ) 1 + 10 ⋅ N
= = μθ = μ θ = 12 V,
1 + 10 ⋅ N 1 + 10 ⋅ N
media de ordin 2:
⎡⎛ 1.2 + u ⎞ 2 ⎤
⎢⎜ ∑i i ⎟ ⎥ 1 ⎡⎛ ⎞
2
⎤
ˆ
μ 2,θˆ = E ⎣⎡θ MAP ⎦⎤ = E ⎢
2
⎥ = ⋅ E ⎢⎜1.2 + ∑ ( θ + ni ) ⎟ ⎥
⎜ ⎟
⎢⎜⎝ 0.1 + N ⎟⎠ ⎥ ( 0.1 + N )
2
MAP
⎢⎣⎝ i ⎠ ⎥⎦
⎣ ⎦
1 ⎡ ⎡ ⎤ ⎡⎛ ⎞ ⎤⎤
2

= ⋅ ⎢1.44 + 2.4 ⋅ E ⎢ ∑ ( θ + ni ) ⎥ + E ⎢⎜ ∑ ( θ + ni ) ⎟ ⎥ ⎥
( 0.1 + N ) ⎣⎢
2
⎣ i ⎦ ⎣⎢⎝ i ⎠ ⎦⎥ ⎦⎥
Ultimul termen se calculează astfel:
⎡⎛ ⎞ ⎤
2
⎡⎛ ⎞
2
⎛ ⎞ ⎤
2

E ⎢⎜ ∑ ( θ + ni ) ⎟ ⎥ = E ⎢⎜ ∑ θ ⎟ + 2 ⋅ ∑ θ ⋅ ∑ ni + ⎜ ∑ ni ⎟ ⎥
⎢⎣⎝ i ⎠ ⎥⎦ ⎢⎣⎝ i ⎠ i i ⎝ i ⎠ ⎥⎦

⎡ ⎤ ⎡ ⎤ ⎡⎛ ⎞ ⎤
2

= E ⎣⎡ N θ ⎦⎤ + 2 ⋅ E ⎢ ∑ θ ⎥ ⋅ E ⎢ ∑ ni ⎥ + E ⎢⎜ ∑ ni ⎟ ⎥
2 2

⎣ i ⎦ ⎣ i ⎦ ⎢⎣⎝ i ⎠ ⎥⎦
= N 2 ( σθ2 + μ θ2 ) + 0 + N ( σ n2 + μ n2 ) .
Deci:
1.44 + 28.8 ⋅ N + N 2 ⋅145 + N ⋅ 0.1 2437.04
μ 2,θˆ = = = 144.9756 V 2 .
( 0.1 + N )
2
MAP
16.81

11
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
În acest caz, dispersia estimatorului MAP va fi:
σθ2ˆ = μ 2,θˆ − μ θ2ˆ = 144.9756 − 144 = 0.9756 V 2 .
MAP MAP MAP

Pentru estimatorul EMPM, deoarece acesta este egal cu estimatorul MAP, θˆ MAP = θˆ EMPM ,
media şi dispersia acestuia vor fie gale cu cele ale estimatorului MAP:
μ θˆ = μ θˆ = 12 V,
EMPM MAP

σ 2
θˆ
=σ 2
θˆ
= 0.9756 V 2 .
EMPM MAP

c) Eroarea medie pătratică de estimare pentru estimatorul MAP este dată de relaţia:
⎡⎛ 1.2 + u ⎞2 ⎤ ⎡⎛ 0.1⋅θ + θ⋅ N −1.2 − (θ + n ) ⎞2 ⎤
⎢ ∑ ⎟ ⎥ = E ⎢⎜
∑i ⎟ ⎥
( )
i i
εMAP = E ⎡ θ − θˆ MAP ⎤ = E ⎢⎜ θ −
2
i
⎜ ⎥ ⎢ ⎟ ⎥
⎢⎣ ⎥⎦
⎢⎜⎝ 0.1 + N ⎟⎟ ⎥ ⎢
⎜
⎜ 0.1 + N ⎟ ⎥
⎣ ⎠ ⎦ ⎣⎝ ⎠ ⎦

1 ⎡⎛ ⎞ ⎤
2

= E ⎢⎜ 0.1⋅θ + θ⋅ N −1.2 − θ⋅ N − ∑ ni ⎟ ⎥
( 0.1 + N ) ⎣⎢⎝
2
i ⎠ ⎦⎥

1 ⎡ ⎛ ⎞
2
⎤
E ⎢( 0.1⋅θ) + 1.44 + ⎜ ∑ ni ⎟ − 0.24 ⋅θ − 0.2 ⋅θ⋅ ∑ ni + 2.4 ⋅ ∑ ni ⎥ .
2
=
( 0.1 + N ) ⎣⎢
2
⎝ i ⎠ i i
⎦⎥
Deoarece media statistică este distributivă faţă de adunare, primul termen va fi:
E ⎡( 0.1 ⋅ θ ) ⎤ = 0.01⋅ E ⎡⎣θ2 ⎤⎦ = 0.01⋅ ( σθ2 + μ θ2 ) = 0.01⋅ (1 + 122 ) = 1.45 V 2 .
2

⎣ ⎦
Al treilea termen l-am calculat la punctul b):
⎡⎛ ⎞ ⎤
2

E ⎢⎜ ∑ ni ⎟ ⎥ = N ⋅ ( σ2n + μ 2n ) = 0.4 V 2 .
⎣⎢⎝ i ⎠ ⎦⎥
Al cincilea şi al şaselea termen sunt zero deoarece parametrul θ este independent de
eşantioanele de zgomot ni , de medie zero. Deci:
1.45 + 1.44 + 0.4 − 2.88 − 0 − 0
ε MAP = = 0.02439 V2 .
( 0.1 + 4)
2

Pentru estimatorul MP, eroarea medie pătratică de estimare este:

⎡⎛ θ ⋅ N − (θ + n ) ⎞ 2 ⎤
⎡ ⎛
2
⎤
∑ ui ⎞⎟ ⎥ = E ⎢⎜ ∑i i
⎟ ⎥
( )
ε MP = E ⎡ θ − θMP ⎤ = E ⎢⎜⎜ θ −
2
⎢ ⎟ ⎥
⎢⎣ ⎥⎦ ⎢⎝ N ⎟⎠ ⎥ ⎢
⎜
⎜ N ⎟ ⎥
⎣ ⎦
⎣⎝ ⎠ ⎦
⎡⎛ θ ⋅ N − θ ⋅ N − n ⎞ 2 ⎤ ⎡⎛ n ⎞ 2 ⎤
⎢⎜ ∑ i
⎟ ⎥ ⎢⎜ ∑ i
⎟ ⎥ N ⋅ E ⎡⎣ ni ⎤⎦ σ 2n
2

=E⎢ i
⎥ = E ⎢⎜
i
⎥= = = 0.025 V 2 .
⎜ N ⎟ ⎟ 2
⎢⎜⎝ ⎟ ⎥
⎠ ⎢⎜⎝ N ⎟⎠ ⎥ N N
⎣ ⎦ ⎣ ⎦
Deoarece:
ε MAP = 0.02439 < 0.025 = ε MP
putem spune că estimatorul MAP este mai bun decât estimatorul MP, estimatul MAP fiind
mai aproape de valoarea teoretică μ θ decât estimatul MP, fapt dovedit şi de relaţia dintre
dispersiile calculate la punctul anterior:
σθ2ˆ = 0.9756 < 1.025 = σθ2ˆ .
MAP MP

12
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
III. Probleme propuse

5. Estimarea parametrului θ, distribuit Rayleigh.

Se vor repeta punctele a), b), c) şi d) de la problema rezolvată 1, pentru un parametru aleator θ
distribuit după legea Rayleigh:
⎛ θ2 ⎞
θ ⋅ exp ⎜ − 2 ⎟
p(θ) = ⎝ 2σθ ⎠ , θ > 0 .
σθ2

6. Estimarea valorii unei tensiuni constante, distribuită uniform.

Pentru măsurarea valorii unei tensiuni constante distribuită uniform în intervalul [0,5] V, se
foloseşte un voltmetru cu erori gaussiene de medie nulă şi dispersie 0.1 V2. În urma a cinci
măsurători independente, rezultă valorile:
u1 = 1.9 V , u2 = 2.6 V , u3 = 2.1 V , u4 = 3.0 V şi u5 = 2.7 V .
a) Să se calculeze estimatele MAP şi MP;
b) Să se determine eroarea pătratică medie de estimare.

7. Estimatorul mediei.
Fie un vector aleator X = [ X 1 X 2 … X N ] având componentele v.a. i.i.d. gaussiene:
1 ⎛ ( x − μ) 2 ⎞⎟
p ( x1 ) = p ( x2 ) = … = p ( xN ) = p ( x) = exp ⎜⎜− ⎟.
2π ⎜⎝ 2 ⎠⎟⎟
Fie estimatorul pentru media μ :
N
1
μ=
N
∑X
i =1
i .

( )
Cât trebuie să fie N astfel încât P | μ − μ | < 0.2 ≥ 0.8 ?

8. Estimator MP, distribuţie log-normală.

O v.a. pozitivă X este denumită cu distribuţie log-normală dacă v.a. Y = ln( X ) are distribuţie
normală (gaussiană).
Fie un vector semnal aleator X = [ X 1 X 2 … X N ] cu componente independente şi identic
distribuite (i.i.d.) şi cu distribuţie log-normală.
Determinaţi estimatorul MP al mediei semnalului X.

9. Estimator MAP, valori medii, eroare medie pătratică.

Fie un sistem GPS cu care se măsoară viteza unui automobil. Presupunem erorile de citire ca
fiind cu distribuţie gaussiană de medie zero şi varianţă σ n = 10 km/h. Viteza automobilului
variază gaussian în jurul mediei μ θ = 100 km/h cu o varianţă de σθ = 5 km/h. În urma a trei citiri
independente, rezultă valorile:
v1 = 95 km/h, v2 = 102 km/h şi v3 = 89 km/h.
a) Să se calculeze un estimat al vitezei de deplasare a automobilului;
b) Să se evalueze calitatea estimatorului în termenii dispersiei şi erorii medii pătratice de
estimare.

13
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C
IV. Bibliografie

[Spă83] Al. Spătaru, „Teoria Transmisiunii Informaţiei”, Editura Didactică şi Pedagogică,

Bucureşti, 1983.
[Mur98] A. T. Murgan, „Principiile Teoriei Informaţiei în Ingineria Informaţiei şi a
Comunicaţiilor”, Editura Academiei Române, Bucureşti, 1998.
[MSG83]A. T. Murgan, I. Spânu, I. Gavăt, I. Sztojanov, V. E. Neagoe, A. Vlad, „Teoria
Transmisiunii Informaţiei – probleme”, Editura Didactică şi Pedagogică, Bucureşti, 1983.
[MDC95] A. T. Murgan, R. Dogaru, C. Comăniciu, „Teoria transmisiunii informaţiei. Detecţia,
estimarea şi filtrarea semnalelor aleatoare. Lucrări practice”, Editura Politehnica,
Bucureşti, 1995.
[Sto] R. Stoian, “Decizie şi Estimare în Prelucrarea Informaţiilor”, Note de curs.
[Per] L. A. Perişoară, “Decizie şi Estimare în Prelucrarea Informaţiilor”, Note de seminar.

14
DEPI, Seminar 6. Estimarea parametrilor unui semnal 2013 - 2014, II C

[Tog01] Roberto Togneri, “Estimation Theory for Engineers”, August 16, 2001.

15