Din Andrei Alin – Grupa 8309

Tipuri de estimatii

1.Metoda momentelor
Reamintim că dacă X1,.....,Xn este o selecție de volum n dintr-o populație X, am
definit:
 momentul de ordin k a populației (al variabilei aleatoare X) prin

 momentul de ordin k al selecției prin

Metoda momentelor (introdusă de K. Pearson, 1928) presupune estimarea

parametrului necunoscut (sau a parametrilor necunoscuți) ai distribuției
populației X prin egalarea momentelor teoretice cu cele de selecție: M1=µ1,
M2=µ2, ... ) se scriu atâtea ecuații câte sunt necesare pentru determinarea
parametrilor necunoscuți).
Estimatorii astfel obtinuți se numesc estimatori de moment / estimatori ai
momentelor.

Exemplu Presupunem că X1,..., Xn reperezintă o selecție dintr-o populație X

având o distribuție exponențială cu parametru necunoscut λ>0. Să se estimeze λ
prin metoda momentelor.
Densitatea populației X este în acest caz

Momentul de ordin întâi al populației este deci

iar momentul de ordin întâi al selecției este

 Pentru a determina parametrul necunoscut λ avem nevoie de o singură
ecuație , și egalând M1=µ1 obținem

de unde se obține

Estimatorul de moment al lui λ este deci

și se poate arăta că este un estimator corect ( adica M(λ) = λ).

2.Metoda verosimilității maxime

Fie x1,...,xn valorile observate ale unei selecții X1,...,Xn de volum n dintr-o
populație X având densitatea f(x, θ) ce depinde de parametrul necunoscut θ.
Definim funcția de verosimilitate ca fiind

În cazul în care variabila aleatoare X este discretă, în formula anterioară

densitatea f(x, θ) se înlocuiește prin probabilitatea P(X=x) ca variabila aleatoare
X să ia valoarea x, și deci în acest caz funcția de verosimilitate devine

Datorită variabilelor aleatoare X1,...,Xn.

Interpretarea metodei verosimilității maxime este deci că estimatorul θ
al lui θ este egal cu acea valoare θ* ce maximizează probabilitatea de
apariție a valorilor observate x1,...,xn

Exemplul 1 O urnă conține un număr necunoscut de bile albe și negre. Să se

estimeze probabilitatea p a extragerii unei bile albe din urnă.
Considerăm o selecție de volum n din urnă ( cu întoarcerea în urnă a
bilei extrase înainte de următoarea extragere). Notăm cu 1 extragerea unei bile
albe din urnă și cu 0 extragerea unei bile negre, și deci populația este in acest
caz descrisă de variabila aleatoare X având funcția de
probabilitate

Deci x1,...,xn sunt valorile observate ale variabilelor aleatoare X1,...,Xn ale
selecției, atunci funcția de verosimilitate este

Să observăm că deoarece funcția logaritm este o funcție strict crescătoare,

funcția L(p) își atinge maximul în același punct ca funcția ln L(P) , și determinăm
în continuare punctul în care funcția ln L(p) își atinge valoarea maximă.
Punctele critice ale funcției ln L(p) sunt date de ecuația

Este ușor de observat că această valoare a lui p este un punct de maxim al

funcției ln L(p) (și deci și al funcției de verosimilitate L(p)), și deci estimatorul de
verosimilitate maximă este dat de

În mod similar calculului din exemplul anterior, în general funcțiile

L(θ) si ln L(θ) își ating maximul în același punct θ*. Pentru a determina
deci punctul de maxim al funcției de verosimilitate L(θ) determinăm
punctul de maxim al funcției ln L(θ). Dacă această funcție este derivabilă,
atunci punctul de maxim este un punct critic, și deci verifică ecuația

numită ecuația verosimilității maxime.

Exemplul 2 Să se determine parametrul λ al distribuției Poisson a unei populații

X folosind o selecție de volum n din această populație.
 Fie x1,...,xn valorile observate ale unei selecții X1,...,Xn din populația X.
Deoarece funcția de probabilitate este în acest caz

Ecuația verosimilității maxime devine

Obținem deci estimatorul de verosimilitate maximă

Teoremă

Demonstrație Conform teoremei , există un estimator eficient al lui θ dacă și

numai dacă densitatea f(x,θ) a populației se poate scrie sub forma

și în acest caz un estimator eficient al lui θ este dat de

Ecuația verosimilității maxime devine în acest caz

și deci estimatorul de versosimilitate maximă

Ca o altă aplicație a metodei verosimilității maxime , considerăm următorul
exemplu.

Exemplul 3 Să se estimeze parametrii distribuției normale folosind

metoda verosimilității maxime.

3.Estimatii consistente, corecte si absolut corecte, nedeplasate, deplasate

Fie  un parametru al colectivitatii generale (medie, dispersie, mediana etc.)

si o functie de selectie.

Definitie. Daca converge in probabilitate catre parametrul ,

spunem ca este o estimatie consistenta a lui .

Definitie. Daca:

(7.7.)

spunem ca este o estimatie absoluta corecta a parametrului .

 Teorema 7.5. Momentele de selectie sunt estimatii absolut corecte ale
momentelor teoretice.

Teorema 7.6. Dispersia de selectie este o estimatie consistenta pentru

dispersia teoretica.

Exemplul 7.4. Fie o schema de tip Bernoulli cu doua stari. In n observatii

independente evenimentul A apare cu probabilitatea p de ori, . Sa se
estimeze p si p2 cu ajutorul lui .

R. Verificam daca este o estimatie a lui p. Avem:

Deci este o estimatie absolut corecta a lui p.

Avem:

deci , dar nu este o estimatie absolut corecta a lui p, este numai o

estimatie corecta.

4.Functii de estimatie eficiente.

De multe ori o estimatie nedeplasata nu ne da cea mai buna aproximare a

parametrului de estimat. Valorile posibile ale estimatiei lui pot fi mult imprastiate in
jurul valorii medii (daca este mare), iar estimatia calculata de o selectie data
poate fi indepartata de valoarea medie a lui , deci se face o eroare alegand ca
estimatie pentru .

Daca este o estimatie absolut corecta pentru

parametrul si atunci inegalitatea lui Cebisev:
da un criteriu pentru alegerea estimatiilor si anume: alegem acea estimatie care are
dispersia minima.

Fie o familie de densitati de probabilitate ale unei repartitii specificate

continue, cu parametrul real. Vom admite continuitatea functiilor si
existenta derivatelor acestor functii in raport cu pana la ordinele necesare
calculelor.

Teorema 7.7. (Rao-Cramer). Daca este o estimatie absolut

corecta a parametrului , atunci:

(7.8.)

Egalitatea are loc daca si numai daca exista o constanta k, ce depinde de n si ,

asa incat, aproape sigur:

Definitie. O estimatie absolut corecta a parametrului se

numeste estimatie eficienta daca are dispersia minima.

Daca este o functie de estimatie absolut corecta, raportul:

(7.9.)

se numeste eficienta lui .

Se observa ca: . Daca , estimatia este eficienta.

Exemplul 7.6. Caracteristica a elementelor unei populatii are o repartitie

normala cu m cunoscut si necunoscut. Consideram ca estimatie a acestui
parametru:
unde variabilele aleatoare sunt independente si au aceeasi repartitie ca . Sa se
determine eficienta lui .

R. Avem:

Deci este o estimatie absolut corecta a lui . Eficienta sa este:

Deci nu este cel mai eficient estimator.

Teorema 7.9. Doua estimatii eficiente ale parametrului sunt egale aproape
sigur.

Fie repartitia de tip continu unde poate lua orice valoare dintr-un
interval I. Valorile de selectie obtinute in urma a n extractii independente din
populatie sunt variabile aleatoare independente cu aceeasi densitate de
probabilitate . Fiecare selectie o consideram ca un punct in spatiul de
selectie n-dimensional , iar probabilitatea elementara a vectorului este:

(7.10.)

Definitie. Functia se numeste functie de verosimilitate.

Definitie. Estimatia se numeste estimatie de

verosimilitate daca este un punct de maxim pentru functia de verosimilitate.

Rezulta ca este o solutie a ecuatiei:

(7.11.)
 Ecuatia (7.11.) se numeste ecuatie de verosimilitate.

Teorema 7.10. Orice estimatie eficienta a parametrului este o estimatie de

verosimilitate maxima.

Exemplul 7.8. Fie repartitia normala cu densitatea de

probabilitate: . Sa se estimeze media m.

R. Avem:

Din teorema 7.7. rezulta ca:

este o functie de estimatie eficienta a lui m deoarece:

si

, .

Rezulta ca este o estimatie absolut corecta. Functia de verosimilitate este:

iar din ecuatia verosimilitatii maxime ln P=0 rezulta sau .