METODA VEROSIMILITATII MAXIME

(cu observatii independente)

ESTIMATOR DE VEROSIMILITATE MAXIMA (EVM)
TESTUL TAPORTULUI DE VEROSIMILTATI (TRV)
EVM SI TRV PENTRU VECTORI ALEATORI (d 1) :
EVM pentru ' (r; j
1
. .... j
J
)
TRV pentru proportii (testul CHI patrat)
EVM pentru (d; j. )
Teste pentru parametrii repartitiei (d; j. )
ESTIMATOR DE VEROSIMILITATE MAXIMA (EVM)
TESTUL TAPORTULUI DE VEROSIMILTATI (TRV)
Fie modelul
1
0
X
1
=

r.
j (x; 0) c
x
. caz discret
sau
1 (x; 0) |. x 1
J
. caz continuu
care reprezinta repartitia unei variabile aleatoare / vector aleator
X = (A
1
. ..... A
J
)
t
: o _ 1
J
. d _ 1
Modelul depinde de parametrul necunoscut 0 = (0
1
. .... 0
|
)
t
_ 1
|
.
/ _ 1.
Fie X
1
. .... X
n
observatii independente, identic repartizate si (o
n
. o
n
)
spatiul :ddimensional al valorilor de selectie.
Denitii
Pentru datele statistice (x
1
. .... x
n
) o
n
. functia de verosimilitate este
denita prin
1(x
1
. .... x
n
; 0) =

j (x
1
. .... x
n
; 0) =
n

I=1
j (x
I
; 0) . caz discret
sau
1 (x
1
. .... x
n
; 0) =
n

I=1
1 (x
I
; 0) . caz continuu
1
Fie functia masurabila

0 : o
n
. Functia

0 (X
1
. .... X
n
) se numeste es-
timator de verosimilitate maxima al lui 0 (E.V.M.) daca, pentru orice
(x
1
. .... x
n
) . valoarea

0 (x
1
. .... x
n
) este solutia problemei de optimizare
sup
0
1(x
1
. .... x
n
; 0)
sau a problemei echivalente
sup
0
ln1(x
1
. .... x
n
; 0)
Notatie:

0
\ 1
(Maximum Likelihood Estimator)
Sistem de verosimilitate maxima: Pentru orice (x
1
. .... x
n
) xati,
0 ln1(x
1
. .... x
n
; 0)
00
= 0

0
\ 1
(x
1
. .... x
n
) se gaseste printre solutiile sistemului de verosimilitate
maxima.
Notam cu 0
0
valoarea adevarata a parametrului. Numim raport de
verosimilitati functia
(x
1
. .... x
n
) =
1(x
1
. .... x
n
; 0
0
)
1

x
1
. .... x
n
;

0
\ 1
(x
1
. .... x
n
)

Consideram ipoteza simpla H : 0 = 0

0
cu alternativa compusa H
.
:
0 = 0
0
si construim testul raportului de verosimilitati (TRV) utilizand
repartita asimptotica a raportului de verosimilitati
2
1. CAZUL d = 1 ( A este variabila aleatoare reala) , / = 1
(parametrul 0 este unudimensional)
1.1. TEOREMA
(existenta si comportamentul asimptotic al EVM, comportamentul
asimptotic al RV)
Fie A
1
. .... A
n
variabile aleatoare independente, identic repartizate, cu val-
ori reale, avand densitatea de repartitie 1 (r; 0) . cu 0 _ 1. Presupunem
vericate urmatoarele conditii:
1. este un interval deschis din 1. iar valoarea adevarata, necunoscuta 0
0

(modelul este corect);
2. Pentru orice 0 si orice r 1. exista derivatele
0 ln1 (r; 0)
00
.
0
2
ln1 (r; 0)
00
2
.
0
3
ln1 (r; 0)
00
3
;
3. Pentru orice 0 . au loc relatiile

01 (r; 0)
00

< 1
1
(r) . \r

0
2
1 (r; 0)
00
2

< 1
2
(r) . \r

0
3
ln1 (r; 0)
00
3

< H (r. 0) . \r
unde 1
1
. 1
2
sunt functii integrabile pe 1 si
'
0
(H (A. 0)) =

1
H (r. 0) 1 (r; 0) dr < 1.
cu 1 independenta de 0;
4. Pentru orice 0 exista
i
1
(0) = '
0

0 ln1 (A; 0)
00

2
0
Atunci:
Cu o probabilitate (1
00
) tinzand la 1. ecuatia de verosimilitate maxima
0 ln1(r
1
. ....r
n
; 0)
00
= 0
admite o solutie

0
n
(r
1
. .... r
n
) . iar

0
n
(A
1
. .... A
n
)
1

0
0
0
pentru : ;
3
Repartitia asimptotica a estimatorului

0
n
(A
1
. .... A
n
) este normala, in
sensul ca

: i
1
(0
0
)

0
n
(A
1
. .... A
n
) 0
0

:to:|I|It
7 ~ (0. 1) pentru : ;
Repartitia asimptotica a raportului de verosimilitate este Chi-patrat, in
sensul ca
2 ln (A
1
. ....A
n
)
:to:|I|It
1 ~ .
2
(1) pentru : .
Demonstratie:
1(r
1
. ....r
n
; 0) =
n

I=1
1 (r
I
; 0)
0 ln1(r
1
. ....r
n
; 0)
00
=
n

I=1
0 ln1 (r
I
; 0)
00
Dar, intr-o vecinatate a lui 0
0
. putem scrie formula lui Taylor
0 ln1 (r; 0)
00
=
0 ln1 (r; 0)
00

00
+(0 0
0
)
0
2
ln1 (r; 0)
00
2

00
+
1
2
c(0 0
0
)
2
H (r. 0
0
) .
cu [c[ < 1. Facand r = r
I
. i = 1. .... : si sumand, obtinem
1
:
0 ln1(r
1
. ....r
n
; 0)
00
=
1
:
o
0,n
+ (0 0
0
)
1
:
o
1,n
+
1
2
c(0 0
0
)
2
1
:
o
2,n
(1)
unde
o
0,n
= o
0,n
(r
1
. .... r
n
) =
n

I=1
0 ln1 (r
I
; 0)
00

00
o
1,n
= o
1,n
(r
1
. .... r
n
) =
n

I=1
0
2
ln1 (r
I
; 0)
00
2

00
o
2,n
= o
2,n
(r
1
. .... r
n
) =
n

I=1
H (r
I
. 0
0
)
Vom studia comportamentul asimptotic al variabilelor aleatoare
1
n
o
0,n
(A
1
. .... A
n
) .
1
n
o
1,n
(A
1
. .... A
n
) .
1
n
o
2,n
(A
1
. .... A
n
) .
'
0

0 ln1 (A; 0)
00

1
1
1 (r; 0)

01 (r; 0)
00
1 (r; 0) dr
(3)
=
0
00

1
1 (r; 0) dr

= 0
4
'
0

0
2
ln1 (A; 0)
00
2

1
1 (r; 0)

0
2
1 (r; 0)
00
2

1
1 (r; 0)

01 (r; 0)
00

1 (r; 0) dr
(3)
=
= '
0

0 ln1 (A; 0)
00

2
= i
1
(0)
Aplicam legea numerelor mari:
1
:
o
0,n
(A
1
. .... A
n
)
1

0
0
1
:
o
1,n
(A
1
. .... A
n
)
1

0
i
1
(0
0
)
1
:
o
2,n
(A
1
. .... A
n
)
1

0
'
00
(H (A. 0
0
)) < 1
Explicitam aceste convergente. Pentru orice - 0. c 0. exista un rang
:(-. c) asa incat, pentru : _ :(-. c) . urmatoarele relatii au loc simultan:
j
0
= 1
00

1
:
o
0,n
(A
1
. .... A
n
)

_ c
2

<
-
3
j
1
= 1
00

1
:
o
1,n
(A
1
. .... A
n
)
1
2
i
1
(0
0
)

<
-
3
j
2
= 1
00

1
:
o
2,n
(A
1
. .... A
n
)

_ 21

<
-
3
Notam
=

(r
1
. .... r
n
) [

1
n
o
0,n
(r
1
. .... r
n
)

< c
2
.
1
n
o
1,n
(r
1
. .... r
n
) _
1
2
i
1
(0
0
) .

1
n
o
2,n
(r
1
. .... r
n
)

< 21

Pentru : _ :(-. c) .
1
00

(A
1
. .... A
n
)
c

_ j
0
+j
1
+j
2
< -.
1
00
((A
1
. .... A
n
) ) _ 1 -
Evaluam expresia (1) pentru 0 = 0
0
c (intr-o vecinatate a lui 0
0
):
1
:
0 ln1(r
1
. ....r
n
; 0)
00

00+o
=
1
:
o
0,n
c
1
:
o
1,n
+
1
2
cc
2
1
:
o
2,n
Daca (r
1
. .... r
n
) , atunci
(1 + 1) c
2
<
1
:
o
0,n
+
1
2
cc
2
1
:
o
2,n
< (1 + 1) c
2
c
1
:
o
1,n
<
1
2
i
1
(0
0
) c
5
Alegand
c <
i
1
(0
0
)
2 (1 + 1)
.
obtinem pentru 0 = 0
0
+c
1
:
o
0,n
+c
1
:
o
1,n
+
1
2
cc
2
1
:
o
2,n
<
(i
1
(0
0
))
2
2
2
(1 + 1)

(i
1
(0
0
))
2
2
2
(1 + 1)
= 0.
iar pentru 0 = 0
0
c
1
:
o
0,n
c
1
:
o
1,n
+
1
2
cc
2
1
:
o
2,n

(i
1
(0
0
))
2
2
2
(1 + 1)
+
(i
1
(0
0
))
2
2
2
(1 + 1)
= 0
adica
1
:
0 ln1(r
1
. ....r
n
; 0)
00

00+o
< 0
1
:
0 ln1(r
1
. ....r
n
; 0)
00

00o
0
Din ipoteza (2) rezulta ca functia
1
n
J ln J(r1,...,rn;0)
J0
este continua ca functie
in 0 pentru orice (r
1
. ....r
n
) si isi schimba semnul in vecinatatea (0
0
c. 0
0
+c) .
Adica, pentru orice - 0 si 0 < c <
I1(00)
2(1+1)
exista :(-. c) asa incat, pentru
: _ :(-. c) . ecuatia de verosimilitate maxima
0 ln1(r
1
. ....r
n
; 0)
00
= 0
va avea, cu o probabilitate (1
00
) mai mare decat (1 -) . o solutie

0
n
(r
1
. ....r
n
)
(0
0
c. 0
0
+c) . Am obtinut existenta si consistenta estimatorului

0
n
(A
1
. ....A
n
) .

0
n
(A
1
. .... A
n
)
1

0
0
0
pentru : .
Pornind de la
0 ln1(r
1
. ....r
n
; 0)
00

0=
c
0n(r1,...,rn)
= 0
adica de la relatia
0 = o
0,n
+

0
n
(r
1
. ....r
n
) 0
0

o
1,n
+
1
2
c

0
n
(r
1
. ....r
n
) 0
0

2
o
2,n
.
putem scrie

: i
1
(0
0
)

0
n
(A
1
. ....A
n
) 0
0

=
1

nI1(00)
n

I=1
J ln ](i;0)
J0

00

1
I1(00)

1
n
o
1
+
1
2
c
1
n
o
2

0
n
(A
1
. ....A
n
) 0
0

6
Aplicand teorema limita centrala pentru variabile aleatoare independente
identic repartizate, variabila de la numarator converge in repartitie la o variabila
aleatoare repartizata (0. 1) . Utilizand convergentele stabilite, variabila de la
numitor converge in probabilitate la 1. Rezulta convergenta

: i
1
(0
0
)

0
n
(A
1
. .... A
n
) 0
0

:to:|I|It
7 ~ (0. 1) pentru : .
Identicam EVM,

0
\ 1
(A
1
. ....A
n
) =

0
n
(A
1
. .... A
n
)
Discutam acum comportamentul asimptotic al raportului de verosimilitati.
2 ln (A
1
. ....A
n
) = 2 ln
1(A
1
. ....A
n
; 0
0
)
1

A
1
. ....A
n
;

0
\ 1
(A
1
. ....A
n
)

= 2

I=1
ln1

A
I
.

0
\ 1

I=1
ln1 (A
I
. 0
0
)

Din formula lui Taylor pentru

J ln J(r1,...,rn;0)
J0
in jurul lui

0
\ 1
(r
1
. ....r
n
) .
pentru 0 = 0
0
. obtinem:
n

I=1
ln1 (r
I
. 0
0
) =
n

I=1
ln1

r
I
.

0
\ 1

+
1
2

0
0

0
\ 1

2
n

I=1
0
2
ln1 (r
I
; 0)
00
2

cu
[0
0
0
+
(r
1
. ....r
n
)[ <

0
0

0
\ 1
(r
1
. ....r
n
)

Atunci
2 ln (A
1
. ....A
n
) =
1
:
n

I=1
0
2
ln1 (A
I
; 0)
00
2

0
0

0
\ 1

2
Dar
0
+
(A
1
. .... A
n
)
1

0
0
0
pentru : .

1
:
n

I=1
0
2
ln1 (A
I
; 0)
00
2

0
i
1
(0
0
) pentru : .
deci

1
:
n

I=1
0
2
ln1 (A
I
; 0)
00
2

0
0

0
\ 1

:to:|I|It
7 ~ (0. 1) pentru :
2 ln (A
1
. ....A
n
)
:to:|I|It
7
2
~ .
2
(1) pentru :

7
1.2. Testul Raportului de Verosimilitati (TRV)
pentru ipoteza simpla cu alternativa compusa
H : 0 = 0
0
. H
.
: 0 = 0
0

Testul se bazeaza pe repartitia asimptotica a lui 2 ln . deci este un test

asimptotic care necesita : _ 100 observatii.
Regiunea critica pentru ipoteza H la pragul de semnicatie c este
1
n
= (r
1
. .... r
n
) [ 2 ln (r
1
. .... r
n
) _ /
1,1o
.
unde /
1,1o
este cuantila de rang (1 c) a repartitiei .
2
(1) . Asimptotic, prob-
abilitatea erorii de ordinul I este c.
lim
no
1
00
((A
1
. ....A
n
) 1
n
) = c
EXEMPLU: (test de egalitate a disperisiei cu o valoare data, media
ind cunoscuta)
1
c
2 A
1
=

0. o
2

. o
2
(0. ) . H : o
2
= 1, H
.
: o
2
= 1
A
1
. .... A
n
v.a.i.i.r.

0. o
2

r
1
. .... r
n
; o
2

2o
2

n/2
exp

1
2o
2
n

I=1
r
2
I

o
2
(A
1
. .... A
n
) =
1
:
n

I=1
A
2
I
(r
1
. .... r
n
) =
(2)
n/2
exp

1
2
n

I=1
r
2
I

o
2

n/2
exp

1
2
c
c
2
n

I=1
r
2
I

o
2

n/2
exp

1
2
n

I=1
r
2
I
+
:
2

2 ln (r
1
. .... r
n
) =
n

I=1
r
2
I
: :ln

1
:
n

I=1
r
2
I

=
=
n

I=1
r
2
I
:ln

I=1
r
2
I

+:(ln: 1)
8
Pentru c (0. 1) arbitrar xat, notam /
1,1o
cuantila de rang (1 c) a
repartitiei .
2
(1) . Regiunea critica pentru ipoteza H este
1
n
=

(r
1
. .... r
n
) [
n

I=1
r
2
I
:ln

I=1
r
2
I

+:(ln: 1) _ /
1,1o

Comentariu:
Acesta este testul asimptotic al raportului de verosimilitati.
Problema din acest exemplu are si o a doua solutie, un test "CHI patrat"
exact, construit pornind de la repartitia statisticii
:

o
2
(A
1
. .... A
n
) o
2
:

1
c
A
1
. ....
1
c
A
n
v.a.i.i.r. (0. 1)

1
c
2

n
I=1
A
2
I
~ .
2
(:)
:
o
2

o
2
(A
1
. .... A
n
) ~ .
2
(:)
Pentru c (0. 1) arbitrar xat, notam /
n,o/2
. /
n,1o/2
cuantilele de rang
c2. respectiv (1 c2) ale repartitiei .
2
(:) .
1
c
2
=1

/
n,o/2
_ :

o
2
(A
1
. .... A
n
) _ /
n,1o/2

= 1 c
Regiunea de acceptare a ipotezei H : o
2
= 1 la pragul de semnicatie c
este

n,1o
(1) =

(r
1
. .... r
n
) [ /
n,o/2
_
n

I=1
r
2
I
_ /
n,1o/2

iar regiunea critica este 1 =

c
n,1o
(1) . Probabilitatea de eroare de primul tip
a acestui test este
1
c
2
=1
((A
1
. .... A
n
) 1) = c.
iar functia caracteristica operatoare a testului este
OC

o
2

= 1
c
2

/
n,o/2
_ :

o
2
(A
1
. .... A
n
) _ /
n,1o/2

=
= 1
c
2

/
n,o/2
o
2
_
:
o
2

o
2
(A
1
. .... A
n
) _
/
n,1o/2
o
2

=
= 1
\
2
(n)

/
n,1o/2
o
2

1
\
2
(n)

/
n,o/2
o
2

9
2. CAZUL d = 1 ( A este variabila aleatoare reala) , / 1
(parametrul 0 este multidimensional)
2.1. Comportamentul asimptotic al EVM si al RV
Fie A
1
. .... A
n
variabile aleatoare independente, identic repartizate, cu valori
reale, avand densitatea de repartitie 1 (r; 0) . cu 0 _ 1
|
. / 1. In conditii
de regularitate pentru 1 (r; 0) si pentru derivatele sale partiale de primele trei
ordine, presupunand ca modelul este corect

0
0

. se obtin urmatoarele
proprietati:
Cu o probabilitate (1
0
0) tinzand la 1. sistemul de verosimilitate maxima
0 ln1(r
1
. ....r
n
; 0)
00
= 0
admite o solutie

0
n
(r
1
. .... r
n
) . iar

0
n
(A
1
. .... A
n
)
1

0
0
0
pentru : ;
Repartitia asimptotica a estimatorului

0
n
(A
1
. .... A
n
) este normala, in
sensul ca

0
n
(A
1
. .... A
n
) 0
0

:to:|I|It
Z ~

/; 0. I
1
1

0
0

pentru : .
unde I
1
(0) este matricea informationala Fisher (despre care se presupune
ca exista, e simetrica si pozitiv denita),
I
1
(0) =

'
0

0 ln1 (A; 0)
00
I

0 ln1 (A; 0)
00
,

I,,=1,...,|
;
Repartitia asimptotica a raportului de verosimilitate este Chi-patrat, in
sensul ca
2 ln (A
1
. ....A
n
)
:to:|I|It
1 ~ .
2
(/) pentru : .
10