Curs: Statistică (2018-2019) Universitatea din Bucureşti

Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Tema 4
Solut, ii

Exercit, iul 1

Fie X1 , X2 , . . . , Xn un es, antion de talie n de lege

θk
P(X = k) =
(1 + θ)k+1
unde θ este un parametru pozitiv. Determinat, i estimatorii obt, inut, i prin metoda momentelor s, i
prin metoda verosimilităt, ii maxime s, i studiat, i proprietăt, ile acestora.

Vom începe prin a determina estimatorul obt, inut prin metoda momentelor. Pentru aceasta trebuie să
determinăm E[X1 ]. Avem

X X θk X θk
E[X1 ] = kP(X1 = k) = k = k
(1 + θ)k+1 (1 + θ)k+1
k≥0 k≥0 k≥1

θ X  θ k−1 θ X 
θ
k θ
q= 1+θ θ X
= k = (k + 1) = (k + 1)q k
(1 + θ)2 1+θ (1 + θ)2 1+θ (1 + θ)2
k≥1 k≥0 k≥0
 
 
θ X d θ d X k+1  θ d 1
= 2
q k+1 = 2
q = −1
(1 + θ) dq (1 + θ) dq (1 + θ)2 dq 1 − q
k≥0 k≥0

θ 1 θ 1
= = 2 = θ.
(1 + θ)2 (1 − q)2 (1 + θ)2

θ
1− 1+θ

Astfel estimatorul obt, inut prin metoda momentelor este θ̃n = X̄n .
Pentru a determina estimatorul de verosimilitate maximă trebuie să calculăm funct, ia de verosimilitate:
Pn
θ x1 θ xn θ i=1 xi
L(θ|x1 , . . . , xn ) = fθ (x1 ) · · · fθ (xn ) = ··· = Pn .
(1 + θ)x1 +1 (1 + θ)xn +1 (1 + θ)n+ i=1 xi

Vom găsi maximul considerând logaritmul funct, iei de verosimilitate

n n
!
X X
l(θ|x1 , . . . , xn ) = xi log(θ) − n+ xi log(1 + θ)
i=1 i=1

d
Pn Pn
care prin derivare devine dθ l(θ|x1 , . . . , xn ) = θ1 i=1 xi − (n + i=1 xi ) 1+θ
1
. Rezolvând ecuat, ia
d
dθ l(θ|x1 , . . . , xn ) = 0 obt, inem estimatorul de verosimilitate maximă θ̂n = X̄n care putem observa că este
acelas, i cu cel rezultat prin metoda momentelor.
Din metoda momentelor am văzut că estimatorul θ̂n (= θ̃n ) este nedeplasat. Aplicând Legea Numerelor Mari
a.s.
deducem că X̄n → E[X1 ] = θ de unde obt, inem că θ̂n este consistent. De asemenea, din Teorema Limită
Centrală avem că

Grupele: 301, 311, 321 Pagina 1

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

√   √
d
n θ̂n − θ = n X̄n − θ → N (0, V ar(X1 ))

Pentru V ar(X1 ) avem nevoie de momentul de ordin 2:

k
θk

X X θ X θ
E[X12 ] = k 2 P(X1 = k) = k2 = (k + 1) 2
(1 + θ)k+1 (1 + θ)2 1+θ
k≥0 k≥0 k≥0
  k
θ X
2 θ
= (k + 2k + 1)
(1 + θ)2 1+θ
k≥0
 
θ X  θ k X 
θ
k X 
θ
k
=  k2 + 2(k + 1) − 
(1 + θ)2 1+θ 1+θ 1+θ
k≥0 k≥0 k≥0
" #
θ 1 θ
(θ + 1)E[X12 ] + 2(θ + 1)2 − (θ + 1)E[X12 ] + 2(θ + 1)2 − (θ + 1)
 
= 2 θ
= 2
(1 + θ) 1 − 1+θ (1 + θ)

de unde obt, inem E[X12 ] = 2θ2 + θ s, i V ar(X1 ) = θ2 + θ. Prin urmare

√  
d
n θ̂n − θ → N (0, θ(θ + 1))).

De asemenea eroarea pătratică medie devine

θ(1 + θ)
M SEθ (θ̂n ) = V arθ (θ̂n ) + bθ (θ̂n )2 = V arθ (θ̂n ) = .
n

Exercit, iul 2

Să se estimeze, prin metoda verosimilităt, ii maxime s, i prin metoda momentelor, parametrul p al

unei repartit, ii Bernoulli B(p) plecând de la es, antionul de talie 25: 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 1
00001110

Dacă X ∼ B(p) atunci P(X = x) = fp (x) = px (1−p)1−x , media este E[X] = p iar variant, a V ar(X) = p(1−p).
Astfel, egalând media aritmetică cu cea empirică, metoda momentelor conduce la estimatorul p̃n = X̄n .
Funct, ia de verosimilitate este:

Pn Pn
L(p|x1 , . . . , xn ) = fp (x1 ) · · · fp (xn ) = px1 (1 − p)1−x1 · · · pxn (1 − p)1−xn = p i=1 xi (1 − p)n− i=1 xi

iar logaritmul funct, iei de verosimilitate devine

n n
!
X X
l(p|x1 , . . . , xn ) = xi log(p) + n− xi log(1 − p).
i=1 i=1

d
Pentru a determina estimatorul de verosimilitate maximă trebuie să rezolvăm ecuat, ia dp l(p|x1 , . . . , xn ) =0
care implică

Grupele: 301, 311, 321 Pagina 2

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Pn n
!
i=1 xi 1
X
= n− xi
p i=1
1−p

de unde obt, inem estimatorul p̂n = X̄n (observăm că p̂n = p̃n ). Folosind es, antionul din enunt, ul problemei
găsim p̂n = p̃n = 0.28.

Exercit, iul 3

Fie X o v.a. de lege Pareto de densitate:

α−1

xα , x≥1
f (x) =
0, altfel

unde α > 2 este un parametru necunoscut. Determinat, i estimatorul de verosimilitate maximă

plecând de la un es, antion de talie n s, i arătat, i că acesta este consistent.

Fie X1 , X2 , . . . , Xn un es, antion de talie n dintr-o populat, ie Pareto de parametru α. Se poate observa că
funct, ia de verosimilitate este

α−1 α−1 (α − 1)n

L(α|x1 , . . . , xn ) = fα (x1 ) · · · fα (xn ) = · · · =
xα
1 xα
n (x1 · · · xn )α

iar logaritmul funct, iei de verosimilitate devine

l(α|x1 , . . . , xn ) = n log(α − 1) − α log(x1 · · · xn ).

d
Pentru a determina maximul funct, iei de verosimilitate trebuie să rezolvăm ecuat, ia dα l(α|x1 , . . . , xn ) = 0,
care conduce la

n
= log(x1 · · · xn )
α−1
1
de unde estimatorul de verosimilitate maximă este α̂n = 1 + Pn log(Xi )
.
i=1
n

Cum variabilele aleatoare X1 , X2 , . . . , Xn sunt i.i.d. s, i cum g(x) = log(x) este continuă avem că
log(X1 ), log(X2 ), . . . , log(Xn ) sunt i.i.d. iar din Legea Numerelor Mari obt, inem că
Pn
i=1 log(Xi ) a.s.
→ E[log(X)].
n
1
Cum funct, ia h(x) = 1 + x este continuă, din Teorema aplicat, iilor continue găsim că

1 a.s. 1
α̂n = 1 + Pn → 1+ .
log(Xi ) E[log(X)]
i=1
n

Pentru a verifica proprietatea de consistent, ă trebuie să determinăm E[log(X)],

Grupele: 301, 311, 321 Pagina 3

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

∞ Z ∞
α−1
Z

0
E[log(X)] = log(x)
α
dx = log(x) −x−α+1 dx
1 x
Z ∞ 1 Z ∞
∞ 1 1−α
= −x 1−α
log(x)|1 + x dx = x−α dx
1 x 1
∞
x1−α  1
= = .
1 − α 1 α−1

Prin urmare găsim

1 a.s. 1
α̂n = 1 + Pn → 1+ 1 = α,
log(Xi )
i=1 α−1
n

ceea ce implică faptul că α̂n este un estimator consistent pentru α.

Exercit, iul 4

Fie X1 , X2 , . . . , Xn un es, antion de talie n dintr-o populat, ie cu densitatea fθ (x) = e−(x−θ) , x ≥ θ.

a) Determinat, i estimatorul θ̃ obt, inut prin metoda momentelor.
b) Dterminat, i estimatorul θ̂ obt, inut prin metoda verosimilităt, ii maxime.
c) Determinat, i legea variabilei n(θ̂ − θ).
d) Verificat, i dacă estimatorul θ̂ este nedeplasat.
e) Calculat, i eroarea medie pătratică a lui θ̂.
f) În cazul în care θ = 2 dorim să generăm 3 valori aleatoare din repartit, ia lui X ∼ fθ (x). Pentru
aceasta dispunem de trei valori rezultate din repartit, ia uniformă pe [0, 1] : u1 = 0.25, u2 = 0.4
s, i u3 = 0.5. Descriet, i procedura.

a) Pentru metoda momentelor este necesar să calculăm E[X]. Avem

Z ∞ Z ∞

0
E[X] = xe−(x−θ) dx = eθ x −e−x dx
θ
 Z ∞ θ 
= eθ −xe−x |∞ e−x dx = eθ θe−θ + e−θ
 
θ +
θ
=θ+1

s, i egalând cu media es, antionului, X̄n , găsim că estimatorul rezultat din metoda momentelor este θ̃n = X̄n − 1.
b) Funct, ia de verosimilitate este

L(θ|x1 , . . . , xn ) = fθ (x1 ) · · · fθ (xn ) = e−(x1 −θ) 1[θ,∞) (x1 ) · · · e−(xn −θ) 1[θ,∞) (xn )
Pn Pn
= e−( i=1 xi −nθ) 1[θ,∞) (x1 ) · · · 1[θ,∞) (xn ) = e−( i=1 xi −nθ) 1(0,x1 ] (θ) · · · 1(0,xn ] (θ)
Pn Pn
= e−( i=1 xi −nθ) 1(0,x1 ]∩···∩(0,xn ] (θ) = enθ− i=1 xi 1(0,x(1) ] (θ).

Grupele: 301, 311, 321 Pagina 4

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Observăm că funct, ia de verosimilitate L(θ|x1 , . . . , xn ) este crescătoare (dar nu derivabilă) iar estimatorul de
verosimilitate maximă este

θ̂n = arg maxθ L(θ|X1 , . . . , Xn ) = X(1) .

c) Pentru a determina legea variabilei n(θ̂n − θ) plecăm de la repartit, ia estimatorului θ̂n . Folosind
independent, a variabilelor X1 , X2 , . . . , Xn avem

Pθ (X(1) > x) = Pθ (X1 > x, X2 > x, . . . , Xn > x) = Pθ (X1 > x)n = e−n(x−θ) , x ≥ θ.

Găsim că funct, ia de repartit, ie a variabilei n(θ̂n − θ) este

   x x
Pθ n(θ̂n − θ) ≤ x = Pθ θ̂n ≤ θ + = 1 − e−n(θ+ n −θ) = 1 − e−x ,
n

care coincide funct, ia de repartit, ie a exponent, ialei E(1). Astfel deducem că n(θ̂n − θ) ∼ E(1).
d) Plecând de la rezultatul obt, inut la punctul precendent avem că

1 = Eθ [n(θ̂n − θ)] = nEθ [θ̂n ] − nθ

1
ceea ce conduce la Eθ [θ̂n ] = θ + n de unde conclusionăm că estimatorul θ̂n este deplasat.
e) Pentru a calcula eroarea pătratică medie folosim descompunerea M SEθ (θ̂n ) = V ar(θ̂n ) + bθ (θ̂n )2 .
Observăm, din punctul d) că abaterea este bθ (θ̂n ) = Eθ [θ̂n ] − θ = n1 . Pentru variant, a estimatorului
V ar(θ̂n ) folosim tot rezultatul din punctul c) (V ar(E(1)) = 1) s, i avem
 
1 = V ar n(θ̂n − θ) = n2 V ar(θ̂n )

1 2
de unde V ar(θ̂n ) = n2 s, i M SEθ (θ̂n ) = n2 .

f) Pentru a genera trei observat, ii din repartit, ia fθ (x) cu θ = 2 vom folosi metoda inversă bazată pe
Teorema de universalitate a repartit, iei uniforme. Pentru aceasta trebuie să determinăm funct, ia cuantilă.
Funct, ia de repartit, ie este
Z x Z x
−(t−θ)
Fθ (x) = e 1[θ,∞) (t) dt = e θ
e−t dt = eθ (e−θ − e−x ) = 1 − e−θx , x ≥ θ,
−∞ θ

iar pentru θ = 2 avem Fθ=2 (x) = 1 − e−2x , x ≥ 2. Pentru a determina funct, ia cunatilă avem F2 (x) = u de
unde F2−1 (u) = − log(1−u)
2 . Înlocuind cu valorile u1 = 0.25, u2 = 0.4 s, i u3 = 0.5 repartizate uniform pe [0, 1]
găsim valorile x1 = 0.143841, x2 = 0.2554128 s, i x3 = 0.3465736.

Exercit, iul 5

Fie (Xi )1≤i≤n un es, antion de talie n dintr-o populat, ie de densitate fθ dată de

fθ = θe−θx 1[0,+∞) (x),

cu θ > 0 un parametru necunoscut.
1. Ne propunem să estimăm θ prin Yn = Pnn Xi
i=1

Grupele: 301, 311, 321 Pagina 5

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

a) Arătat, i că estimatorul Yn este bine definit.

b) Explicat, i de ce este logic să√alegem Yn ca estimator pentru θ.
c) Determinat, i legea limită Pa n(Yn − θ).
n
d) Determinat, i legea sumei i=1 Xi s, i calculat, i Eθ [(Yn − θ)2 ].
2. Pentru estimarea lui θ propunem estimatorul Zn = n−1 n Yn
a) Verifică Zn proprietăt, i similare de convergent, ă cu Yn ?
b) Pe care dintre cei doi estimatori, Yn sau Zn , îl preferat, i?

1. a) Pentru
Pn a arăta că variabila aleatoare Yn este bine definită trebuie să verificăm că numitorul,
i=1 i , nu se anulează cu probabilitate 1. Cum Xi sunt absolut continue
X Pn în raport cu măsura
Lebesgue (admit densitatea fθ ) rezultă că P(Xi = 0) = 0 prin urmare i=1 Xi > 0 a.s. de unde
reiese concluzia.
b) Observăm că fθ este densitatea unei exponent, iale, prin urmare Xi ∼ E(θ) s, i E[Xi ] = θ1 . Din Legea
a.s.
Numerelor Mari, aplicată variabilelor Xi (care sunt i.i.d. s, i integrabile) obt, inem că X̄n → θ1 > 0 s, i
a.s.
aplicând teorema de continuitate găsim că Yn = X̄1 → θ. Această relat, ie arată că Yn este un estimator
n
consistent pentru θ deci un estimator rezonabil.
1
c) Cum V ar(X1 ) = θ2 < ∞ din Teorema Limită Centrală avem

√
   
1 d 1
n X̄n − →N 0, 2
θ θ

Aplicând metoda delta cu g(x) = x1 , care este derivabilă pe R∗+ cu derivata în punctul 1
θ egală cu g 0 (1/θ) = −θ2 ,
găsim

√ (−θ2 )2
 
d
n(Yn − θ) → N 0, = N (0, θ2 ).
θ2
1
PnCum variabilele aleatoare Xi sunt repartizate exponent, ial de parametru θ s, i E(θ) = Γ(1, θ) deducem că
d)
i=1 Xi ∼ Γ(n, θ). Pentru a calcula eroarea medie pătratică vom folosi relat, ia:

M SEθ (Yn ) = E[(Yn − θ)2 ] = V ar(Yn ) + bθ (Yn )2 .

Pentru calculul V ar(Yn ) avem nevoie de E[Yn ] s, i E[Yn2 ]. Pentru E[Yn ] avem

Z ∞
1 θn n−1 −θx
   
n 1
E[Yn ] = E Pn = nE Pn =n x e dx
i=1 Xi i=1 Xi 0 x Γ(n)
Z ∞
u=θx nθ nθ nθ
= un−2 e−u du = Γ(n − 1) =
Γ(n) 0 Γ(n) n−1

iar pentru E[Yn2 ] s, i V ar(Yn ) obt, inem

n2 θ 2 n2 θ 2
E[Yn2 ] = Γ(n − 2) = ,
Γ(n) (n − 1)(n − 2)
n2 θ 2
V ar(Yn ) = E[Yn2 ] = E[Yn ] = .
(n − 1)2 (n − 2)
1A se vedea Exercit, iul 5 din Tema 2 pentru o demonstrat, ie a acestui rezultat.

Grupele: 301, 311, 321 Pagina 6

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Combinând rezultatele de mai sus deducem că

2
n2 θ 2

nθ
M SEθ (Yn ) = V ar(Yn ) + (E[Yn ] − θ)2 = + −θ
(n − 1)2 (n − 2) n−1
θ2 (n2 + n − 2)
= .
(n − 1)2 (n − 2)
n−1 a.s.
2. a) Proprietăt, ile asimptotice ale lui Zn sunt similare cu cele ale lui Yn : cum n → 1 s, i Yn → θ
a.s. √ d
deducem că Zn → θ. În plus, cum n(Yn − θ) → N (0, θ2 ) avem că

√ √ √ √ Yn d
n(Zn − θ) = n(Yn − θ) − n(Yn − Zn ) = n(Yn − θ) − √ → N (0, θ2 )
n
Yn
unde în ultima relat, ie am folosit Teorema lui Slutsky s, i faptul că √
n
converge în probabilitate la 0.
b) Pentru a compara cei doi estimatori calculăm eroarea medie pătratică a lui Zn s, i avem

n−1
E[Zn ] = E[Yn ] = θ (estimator nedeplasat)
n
2
θ2

n−1
V ar(Zn ) = V ar(Yn ) =
n n−2
2
θ
M SEθ (Zn ) = V ar(Zn ) + 0 = .
n−2

Se poate arăta cu us, urint, ă că eroarea medie pătratică a estimatorului Zn este inferioară erorii medii pătratice
a lui Yn prin urmare estimatorul Zn este de preferat.

Exercit, iul 6

Fie (Xi )1≤i≤n un es, antion de talie n dintr-o populat, ie de densitate

2
fθ (x) = x1[0,θ] (x),
θ2
cu θ > 0 un parametru necunoscut.
1. Considerăm X(n) statistica de ordine de rang n
a) Determinat, i densitatea lui X(n) .
b) Calculat, i media s, i variant, a lui X(n) .
c) Arătat, i că X(n) converge în probabilitate la θ.
2. Studiat, i convergent, a lui X̄n s, i determinat, i un estimator consistent pentru θ.
3. Pe care dintre estimatorii X(n) s, i 23 X̄n îl preferat, i pentru a estima pe θ?

1. a) Observăm că pentru toate valorile x ∈ R avem


 0,
x<0
n x 2n
P(X(n) ≤ x) = P(X1 ≤ x) = , 0≤x≤θ
 θ
1 x>θ

Grupele: 301, 311, 321 Pagina 7

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Astfel funct, ia de repartit, ie a lui X(n) este continuă s, i de clasă C 1 pe port, iuni. Densitatea variabilei aleatoare
X(n) se poate calcula derivând funct, ia de repartit, ie de unde

2nx2n−1
fX(n) (x) = 1[0,θ] (x).
θ2n
b) Avem

θ
2nx2n−1
Z
2n
E[X(n) ] = x dx = θ,
0 θ2n 2n + 1
θ
2nx2n−1
Z
2 2n 2
E[X(n) ]= x2
2n
dx = θ
0 θ 2n +2
 2
2n 2 2n n
V ar(X(n) ) = θ − θ = θ2 .
2n + 2 2n + 1 (n + 1)(2n + 1)2
c) Cum variabila aleatoare X(n) ia valori în inervalul [0, θ] avem că X(n) ≤ θ a.s.. Prin urmare pentru
 > 0 avem


0, >θ
P(|X(n) − θ| > ) = P(θ − X(n) > ) = P(X(n) < θ − ) = (θ−)2n
θ 2n , ≤θ

P
deci P(|X(n) − θ| > ) → 0 pentru orice  > 0, ceea ce arată că X(n) → θ.
2. Cum variabilele aleatoare Xi sunt mărginite ele sunt s, i integrabile iar media lor comună este

Z θ
2 2θ
E[X1 ] = x2 dx = .
θ2 0 3
a.s. 2θ 3X̄n a.s. 3X̄n
Aplicând Legea Numerelor Mari deducem că X̄n → 3 , prin urmare 2 → θ deci 2 este un estimator
consistent pentru θ.
3X̄n
3. Pentru a compara cei doi estimatori, X(n) s, i 2 , trebuie să calculăm erorile lor medii pătratice. Pentru
estimatorul 3X̄2 n avem

 
3X̄n 3
E = E[X1 ] = θ
2 2
  Z θ  2 !
3X̄n 9 9 9 2 3 2θ
V ar = V ar(X̄n ) = V ar(X1 ) = x dx −
2 4 4n 4n θ2 0 3
 4 2
 2
9 2θ 4θ θ
= 2
− = ,
4n 4θ 9 8n

θ2
prin urmare eroarea medie pătratică este M SEθ ( 3X̄2 n ) = 8n .

În mod similar, eroarea medie pătratică pentru estimatorul X(n) este

2
nθ2

2n
M SEθ (X(n) ) = (E[X(n) ] − θ)2 + V ar(X(n) ) = θ−θ +
2n + 1 (n + 1)(2n + 1)2
θ2
= .
(n + 1)(2n + 1)

Grupele: 301, 311, 321 Pagina 8

Curs: Statistică (2018-2019) Universitatea din Bucureşti
Instructori: A. Amărioarei, S. Cojocea Facultatea de Matematică şi Informatică

Pentru θ > 0 avem că

M SEθ (X(n) ) 8n
 =
M SEθ 3X̄n (n + 1)(2n + 1)
2

3X̄n
ceea ce implică faptul că estimatorul X(n) este preferabil estimatorului 2 în raport cu eroarea pătratică
medie pentru n ≥ 3.

Grupele: 301, 311, 321 Pagina 9