7 Metode de estimare a parametrilor

7.1 Metoda momentelor

Reamintim c a dac a A
1
, . . . , A

este o selectie de volum : dintr-o populatie A, am denit:

momentul de ordin / a populatiei (al variabilei aleatoare A) prin
'

(A) = '

=
P
1
r

1 (A = r

) , dac a A v.a. discret a (ce ia valori r

1
, r
2
, . . .)
R

) (r) dr, dac a A v.a. continu a cu densitatea ) (r)

momentul de ordin / al selectiei prin
j

=
1
:

X
=1
A

Metoda momentelor (introdus a de K. Pearson, 1928) presupune estimarea parametrului necunoscut (sau a
parametrilor necunoscuti) ai distributiei populatiei A prin egalarea momentelor teoretice cu cele de selectie: '
1
=
j
1
, '
2
= j
2
, . . . (se scriu attea ecuatii cte sunt necesare pentru determinarea parametrilor necunoscuti).
Estimatorii astfel obtinuti se numesc estimatori de moment / estimatori ai momentelor.
Exemplul 7.1 Presupunem ca A
1
, . . . , A

reprezinta o selec tie dintr-o popula tie A avnd o distribu tie exponen tiala
cu parametru necunoscut ` 0. Sa se estimeze ` prin metoda momentelor.
Densitatea popula tiei A este n acest caz
) (r) =

`c

, r 0
0, r < 0
.
Momentul de ordin nti al popula tiei este deci
'
1
= ' (A) =
Z

r) (r) dr =
Z

0
r`c

=
Z

0
r

0
dr = rc

0
+
Z

0
c

dr =
1
`
c

0
=
1
`
,
iar momentul de ordin nti al selec tiei este
j
1
=
A
1
+. . . +A

:
.
Pentru a determina parametrul necunoscut ` avem nevoie de o singura ecua tie, si egalnd '
1
= j
1
ob tinem
1
`
=
A
1
+. . . +A

:
,
de unde se ob tine
` =
:
A
1
+. . . +A

.
Estimatorul de moment al lui ` este deci

`(A
1
, . . . , A

) =
:
A
1
+. . . +A

si se poate arata ca este un estimator corect (adica '

= `).
7.2 Metoda verosimilit atii maxime
Fie r
1
, . . . , r

valorile observate ale unei selectii A

1
, . . . , A

de volum : dintr-o populatie A avnd densitatea

) (r, 0) ce depinde de parametrul necunoscut 0.
Denim functia de verosimilitate ca ind
1(0) = ) (r
1
, 0) . . . ) (r

, 0) . (22)
Metoda verosimilit atii maxime (introdus a de R. A. Fischer, 1912) presupune c a estimatorul

0 al lui 0 este egal
cu valoarea cu acea valoare 0

ce maximizeaz a functia de verosimilitate 1(0). Estimatorul astfel obtinut se numeste

estiomator de verosimilitate maxim a.
29
Observatia 7.2 n cazul n care variabila aleatoare A este discreta, n formula anterioara densitatea ) (r, 0) se
nlocuie ste prin probabilitatea 1 (A = r) ca variabila aleatoare A sa ia valoarea r, si deci n acest caz func tia de
verosimilitate devine
1(0) = 1 (A = r
1
) . . . 1 (A = r

)
= 1 (A
1
= r
1
) . . . 1 (A

= r

)
= 1 (A
1
= r
1
, . . . , A

= r

) ,
datorita independen tei variabilelor aleatoare A
1
, . . . , A

.
Interpretarea metodei verosimilita tii maxime este deci ca estimatorul

0 al lui 0 este egal cu acea valoare 0

ce
maximizeaza probabilitatea de apari tie a valorilor observate r
1
, . . . , r

.
Exemplul 7.3 O urna con tine un numar necunoscut de bile albe si negre. Sa se estimeze probabilitatea j a
extragerii unei bile albe din urna.
Consideram o selec tie de volum : din urna (cu ntoarcerea n urna a bilei extrase nainte de urmatoarea ex-
tragere). Notam cu 1 extragerea unei bile albe din urna si cu 0 extragerea unei bile negre, si deci popula tia este n
acest caz descrisa de variabila aleatoare A avnd func tia de probabilitate
) (r, j) = 1 (A = r) =

j, r = 1
1 j, r = 0
0, n rest
=

(1 j)
1
, r = 0, 1
0, n rest
.
Daca r
1
, . . . , r

sunt valorile observate ale variabilelor aleatoare A

1
, . . . , A

ale selec tiei, atunci func tia de

verosimilitate este
1(j) =

Y
=1
j

(1 j)
1

= j

=1

(1 j)

=1

.
Sa observam ca deoarece func tia logaritm este o func tie strict crescatoare, func tia 1(j) si atinge maximul n
acela si punct cu func tia ln1(j), si determinam n continuare punctul n care func tia ln1(j) si atinge valoarea
maxima.
Punctele critice ale func tiei ln1(j) sunt date de ecua tia
d ln1(j)
dj
= 0
d
dj

X
=1
r

lnj +

:

X
=1
r

!
ln(1 j)
!
= 0

1
j

X
=1
r

1
1 j

:

X
=1
r

!
= 0
(1 j)

X
=1
r

:j +j

X
=1
r

= 0
j =
P

=1
r

:
= r
Este u sor de observat ca aceasta valoare a lui j este un punct de maxim al func tiei ln1(j) ( si deci si al func tiei
de verosimilitate 1(j)), si deci estimatorul de verosimilitate maxima este dat de
j (A
1
, . . . , A

) =
P

=1
A

:
= A.
n mod similar calculului din exemplul anterior, n general functiile 1(0) si ln1(0) si ating maximul n acelasi
punct 0

. Pentru a determina deci punctul de maxim al functiei de verosimilitate 1(0) determin am punctul de
maxim al functiei ln1(0). Dac a aceast a functie este derivabil a, atunci punctul de maxim este un punct critic, si
deci veric a ecuatia
d ln1(0)
d0
= 0

X
=1
0 ln) (r

, 0)
00
= 0, (23)
numit a ecuatia verosimilit atii maxime.
30
Exemplul 7.4 Sa se determine parametrul ` al distribu tiei Poisson a unei popula tii A folosind o selec tie de volum
: din aceasta popula tie.
Fie r
1
, . . . , r

sunt valorile observate ale unei selec tii A

1
, . . . , A

din popula tia A. Deoarece func tia de proba-

bilitate este n acest caz
) (r, `) = 1 (A = r) = c

r!
, r {0, 1, 2, . . .} ,
ecua tia verosimilita tii maxime devine
d ln1(`)
d`
= 0

X
=1
0 ln) (r

, `)
0`
= 0

X
=1
0
0`
(` +r

ln` ln(r

!)) = 0

X
=1

1 +
r

= 0
: +
1
`

X
=1
r

= 0
` =
P

=1
r

:
= r
Ob tinem deci estimatorul de verosimilitate maxima

`(A
1
, . . . , A

) =
P

=1
A

:
= A.
Are loc urm atoarea:
Teorema 7.5 Daca exista o estima tie ecienta 0 a parametrului necunoscut 0, atunci ea coincide cu estima tia de
verosimilitate maxima

0.
Demonstratie. Conform Teoremei 6.5, exist a un estimator ecient al lui 0 dac a si numai dac a densitatea ) (r, 0)
a populatiei se poate scrie sub forma
ln) (r, 0) =
0
(0) (1(r) 0) +(0) + (r) ,
si n acest caz un estimator ecient al lui 0 este dat de
0 (A
1
, . . . , A

) =
P

=1
1(A

)
:
.
Ecuatia verosimilit atii maxime devine n acest caz
0 ln1(0)
00
= 0

X
=1
0 ln) (r

, 0)
00
= 0

X
=1
(
00
(0) (1(r

) 0)
0
(0) +
0
(0)) = 0
0 =
P

=1
1(r

)
:
,
si deci estimatorul de verosimilitate maxim a

0 (A
1
, . . . , A

) =
P

=1
1(r

)
:
coincide cu estimatorul ecient 0 (A
1
, . . . , A

).
Se poate demonstra urm atoarea:
31
Teorema 7.6 Daca exista o estima tie sucienta 0 a parametrului necunoscut 0, atunci orice estima tie de verosimil-
itate maxima

0 este o anumita func tie de 0 (adica

0 (A
1
, . . . , A

) = ,

0 (A
1
, . . . , A

).
Ca o alt a aplicatie a metodei verosimilit atii maxime, consider am urm atorul exemplu.
Exemplul 7.7 Sa se estimeze parametrii distribu tiei normale N

j, o
2

folosind metoda verosimilita tii maxime.

n general, pentru valori mari ale volumului selectiei, metoda verosimilit atii maxime produce un estimator
aproximativ corect si ecient, ce are o distributie aproximativ normal a. Exemplul anterior arat a c a estimatorul de
verosimilitate maxim a a lui
c
o
2
este o
2
veric a '

c
o
2

=
1

o
2
o
2
, si deci este un estimator aproximativ corect.
O alt a proprietate a metodei verosimilit atii maxime este c a dac a
b
0
1
, . . . ,
b
0

sunt estimatori de verosimilitate max-

im a a parametrilor 0
1
, . . . , 0

, atunci estimatorul de verosimilitate maxim a pentru ,(0

1
, . . . , 0

) este ,

b
0
1
, . . . ,
b
0

.
n exemplul anterior am obtinut j =
1

=1
A

si
c
o
2
=
1

=1

2
, si deci un estimator de verosimilitate
maxim a pentru abaterea p atratic a medie o =

o
2
este dat de b o =
p
c
o
2
=
q
1

=1

2
.
32