Documente Academic
Documente Profesional
Documente Cultură
Martnez
2004
21 = 0.21 100
Cmo obtener estimadores para un problema dado? Estudiaremos dos mtodos que proporcionan estimadores puntuales: el mtodo de momentos y el mtodo de mxima verosimilitud. Mtodo de momentos: La idea bsica consiste en igualar ciertas caractersticas muestrales con las correspondientes caractersticas poblacionales. Recordemos la siguiente definicin.
161
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Definicin: Sea X una v.a. con funcin de probabilidad puntual p X (x) en el caso discreto o funcin de densidad f X (x ) en el caso continuo. Se denomina momento de orden k (k N) o momento poblacional de orden k a E(Xk), es decir
x k p X ( x) x E( X k ) = k x f X ( x) dx -
si esas esperanzas existen.
Como ya hemos visto cuando estudiamos funcin generadora de momentos de una variable aleatoria, los momentos estn relacionados con los parmetros de la distribucin asociada. Definicin: Dada una muestra aleatoria X 1 , X 2 ,..., X n , se denomina momento muestral de orden k a
i =1
Xi n
Definicin: Sea X 1 , X 2 ,..., X n una m.a. de una distribucin con funcin de probabilidad puntual o funcin de densidad que depende de m parmetros 1 , 2 ,...., m . Los
estimadores de momentos de 1 , 2 ,...., m son los valores 1 , 2 ,...., m que se obtienen igualando m momentos poblacionales con los correspondientes momentos muestrales. En general, se obtienen resolviendo el siguiente sistema de ecuaciones
X
i =1
k i
=E Xk
( )
k = 1,2,..., m
Ejemplos: 1) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin exponencial de parmetro . Como hay un solo parmetro a estimar, basta plantear una ecuacin basada en el primer momento.
162
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Xi
i =1
= E(X )
X
i =1
X
i =1
1 X
2) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin (, ). Como hay dos parmetros a estimar, planteamos un sistema de ecuaciones basadas en el primer y en el segundo momento. Usando que si X ~
2
(,),
E( X ) =
V ( X ) = E ( X 2 ) (E ( X ) ) ,
n Xi i =1 = E( X ) n n X i2 i =1 2 n = E( X )
V (X ) =
la
relacin:
n Xi i =1 = n n X i2 2 i =1 = 2 + n
Reemplazando
X
i =1
2 i
n
y, despejando :
+X2
X
i =1
2 i
X2
X
i =1
2 i
X2
163
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
X2
X
i =1
2 i
X2
3) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin U(0,). Como hay un nico parmetro a estimar, planteamos una ecuacin basada en el primer momento.
X
i =1
= E( X ) =
= 2 X
4) Veamos por ltimo un ejemplo que nos muestra que no siempre podemos utilizar los momentos en el orden natural. Sea X 1 , X 2 ,..., X n una m.a. de una distribucin U(-,). Como hay un nico parmetro a estimar, parece natural plantear una ecuacin basada en el primer momento. Sin embargo, si lo hacemos,
X
i =1
= E( X ) = 0
Observamos que el primer momento poblacional no depende de y por lo tanto no podemos despejar a partir de esta ecuacin el estimador del parmetro. En este caso, es necesario plantear una ecuacin basada en el segundo momento:
X i2
i =1
= E( X 2 ) =
(2 )2 = 2
12 3
3 X i2
i =1
Mtodo de mxima verosimilitud: Este mtodo fue introducido por Fisher en la dcada de 1920. Se basa en la idea de hallar los valores de los parmetros que hacen que la probabilidad de obtener una muestra dada sea mxima. Ejemplo: Se realiza una encuesta de opinin a una m.a. de 20 personas. Se les formula una nica pregunta que ser respondida por Si o por NO. Sean X 1 , X 2 ,..., X 20 las v.a. correspondientes a la respuesta, tales que
164
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
1 Xi = 0
para i =1, 2, ..., 20 y sea p = P( X i = 1) . Observemos que las v.a. X i son independientes y cada una de ellas tiene distribucin
(1 p )
La pregunta es: qu valor de p hace que los valores muestrales obtenidos sean los ms probables? Es decir, buscamos el valor de p que hace mxima p ( x1 , x 2 ,..., x 20 ) o equivalentemente
0=
13-20 p = 0
p=
13 20
2 g ( p) p 2
=
p =13 / 20
13 7 2 (1 p ) 2 p
<0
p =13 / 20
Definicin:
Sean
X 1 , X 2 ,..., X n
v.a.
con
funcin
de
probabilidad
conjunta
165
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
de probabilidad o de densidad conjunta se considera funcin de los parmetros 1 , 2 ,..., m , se denomina funcin de verosimilitud y se denota L( 1 , 2 ,..., m ) . Los estimadores de mxima verosimilitud (EMV) de 1 , 2 ,..., m son los valores
1 ,2 ,...,m que maximizan la funcin de verosimilitud, o sea los valores tales que
~ ~ ~ L(1 , 2 ,..., m ) L( 1 , 2 ,..., m ) ~ ~ ~ 1 , 2 ,..., m
La forma general de los EMV se obtiene reemplazando los valores observados xi por las v.a. Xi. Ejemplos: 1) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin exponencial de parmetro .
f ( x1 , x 2 ,..., x n ) = f X i ( x i ) = e xi = n e
i =1 i =1
n xi i =1
L ( ) = e
n
n xi i =1
Observemos que no incluimos los indicadores porque, dado que el rango de la v.a. no depende del parmetro a estimar, podemos suponer que todas las observaciones son no negativas.
ln L( ) = n ln( ) xi
i =1 n ln L( ) n = xi = 0 i =1
X
i =1
=
i
1 X
Verificar que el punto crtico obtenido es en efecto un mximo. Observemos que en este caso el EMV coincide con el de momentos. 2) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin N(,2).
n n
f ( x1 , x 2 ,..., x n ) = f X i ( xi ) =
i =1 i =1
1 2
(xi )2
2 2
166
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
n
2004
1 1 2 2 i1( xi ) = = n e 2
n
1 1 2 2 i1( xi ) = L( , ) = e n 2
n
ln L( , ) = n ln 2 n ln( )
ln L( , ) 1 n = 2 (xi ) = 0 i =1 ln L( , ) 1 n n 2 = + 3 (xi ) = 0 i =1
1 2
2
(x
i =1
)2
n (xi ) = 0 i =1 n n 2 + ( xi )2 = 0 i =1
n xi = i =1 n n 2 (xi ) i =1 = n
y, reemplazando el valor estimado de en la segunda ecuacin, se obtienen los EMV de los parmetros
=X
(X
n i =1
X)
167
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
f ( x1 , x 2 ,..., x n ) = f ( x i ) =
i =1 i =1
I ( 0, ) ( x i ) =
I (0, ) ( x )
i i =1
y la funcin de verosimilitud es
L( ) =
I (0, ) ( x )
i i =1
Observemos que, en este caso, no es posible tomar logaritmo ni derivar porque el parmetro (argumento de la funcin de verosimilitud) determina el soporte de la densidad. Analicemos cmo es esta funcin para hallar su mximo
1 L( ) = n 0 1 = n 0
1 = n 0 en caso contrario
si 0 < x i < i
si max( x i ) <
1 i n
en caso contrario
Como se puede observar, el mximo de la funcin de verosimilitud se alcanza en = max( xi ) y por lo tanto el EMV del parmetro es
1 2 n
= max( X i )
1i n
168
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Propiedad de Invarianza de los EMV: Sea el EMV de y sea h una funcin inyectiva con dominio en el rango de valores posibles de , entonces el EMV de h( ) es
h( ) . Por ejemplo, en el caso de una m.a. de una distribucin N(, 2) hemos visto que el
EMV de es
=
entonces el EMV de 2 es
(X
n i =1
X)
2 =
(X
i =1
X )2
pues la funcin h(x)=x2 es inyectiva si su dominio se restringe a los reales positivos, es decir si h : 0 .
En general, sean 1 ,..., m los EMV de 1 ,..., m y sea una funcin h : m , bajo qu condiciones el EMV de h( 1 ,..., m ) es h( 1 ,..., m ) ? Esta propiedad, denominada propiedad de invarianza de los EMV, se cumple si la funcin h puede ser completada a una funcin inyectiva.
Propiedades de los estimadores y criterios de seleccin Observemos que, dada una muestra X i , X 2 ,..., X n , donde X i ~ F , un estimador
es el error de estimacin y una estimacin ser ms precisa cuanto menor sea este error. Este error es tambin una v.a. dado que depende de la muestra obtenida. Para algunas muestras ser positivo, para otras negativo. Una propiedad deseable es que la esperanza del error sea 0, es decir que en promedio el error obtenido al estimar a partir de diferentes muestras sea cero.
169
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Definicin: Un estimador puntual del parmetro basado en una muestra X 1 ,..., X n ,es asintticamente insesgado si
E ( ) n
Ejemplos: 1) Sea X: nmero de xitos en n repeticiones de un experimento binomial con probabilidad de xito igual a p. Entonces X ~ Bi(n,p) y hemos visto que el EMV de p es p = X / n , o sea la frecuencia relativa de xitos. Verifiquemos que este estimador es insesgado.
X E P ( p) = E P n
y, por lo tanto, es insesgado.
E P ( X ) np = =p = n n
2) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin N(,2). Los EMV de y 2 son
=X
Como E
2 =
(X
n i =1
X)
, 2
n 2 (X i X ) E 2 ( 2 ) = E 2 i =1 , , n
n 2 2 = 1E 2 X i 2X i X + X n , i =1
n 1 n 1 n E 2 X i2 2 X X i + nX 2 = E 2 X i2 2nX 2 + nX 2 , , n i =1 i =1 n i =1
170
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
1 n n 1 n E 2 X i2 nX 2 = E 2 X i2 E 2 ( X 2 ) = E 2 ( X 12 ) E 2 ( X 2 ) , , n , i =1 n , n , i =1
=V
, 2
(X1) + E
, 2
(X1)
) ] [V
2
, 2
(X ) + E
, 2
(X )
) ]=
2
+
2
2
n
2 =
n 1 2 n
Por lo tanto el EMV de la varianza no es insesgado, pero es asintticamente insesgado ya que su esperanza tiende a 2 cuando el tamao de la muestra tiende a infinito.
(X
n i =1
X)
n 1
es un estimador
insesgado de la varianza poblacional cualquiera sea la distribucin. 3) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin U(0,). El estimador de momentos de
es = 2 X y el EMV es = max( X i ) .
1i n
E ( ) = 2 E ( X ) = 2 = 2
Verificaremos que el EMV no lo es. Para ello, necesitamos obtener la densidad de la v.a. U = max( X i ) .
1i n
Recordemos que, si
FU (u ) = (FX (u ) )
entonces
u f U (u ) = n
Calculemos la esperanza del EMV.
n 1
I (0, ) (u ) .
171
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
u E (max( X i ) ) = E (U ) = u n 0
n 1
n u n +1 n du = n u du = n = 0 n +1 0 n +1 1 n
n
Cuando hay ms de un estimador insesgado para un mismo parmetro, cmo decidimos cul conviene usar? Por ejemplo, sea X 1 , X 2 ,..., X n una m.a. de una distribucin N(,2). Es inmediato verificar que los siguientes son todos estimadores insesgados de :
1 = X X1 + X 2 2 3 = X1 2 =
Las varianzas de estos estimadores son
V V V
2 ( 1 ) = 2 (2 ) =
2
n
2
2
, 2
( 3 ) = 2
y parece natural elegir el estimador ms preciso, es decir el de menor varianza. Principio de estimacin insesgada de mnima varianza: Entre todos los estimadores insesgados de , elegir el de menor varianza. El estimador resultante se denomina IMVU (insesgado de mnima varianza uniformemente). Existe una metodologa que permite hallar estimadores IMVU en muchas situaciones. Teorema: Sea X 1 , X 2 ,..., X n una m.a. de una distribucin estimador IMVU de . A partir de este resultado deducimos que, si se tiene evidencia de que la m.a. proviene de una distribucin Normal, parece conveniente usar X como estimador de . Sin embargo, si los datos no son Normales este estimador podra llegar a ser una psima eleccin. Ejemplo: Sean las siguientes distribuciones simtricas alrededor del parmetro N(,2). Entonces X es
a) N(,2) : f ( x) =
1 2
1 x 2
172
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
b) Cauchy de parmetro :
f ( x) =
1 (1 + ( x ) 2 )
c) U( -1, +1) : f ( x) =
1 I ( 1, +1) ( x) 2
La distribucin de Cauchy tiene forma de campana como la distribucin Normal, pero tiene colas ms pesadas que sta. La distribucin Uniforme no tiene colas, por lo tanto podramos decir que tiene colas ms livianas que la Normal. Consideremos los siguientes estimadores de :
1 = X
2 = X
3 =
max( X i ) + min ( X i ) 2
En el caso a), 1 es IMVU y por lo tanto, es la eleccin correcta. En el caso b), 1 y 3 son malos porque ambos son muy sensibles a la presencia de observaciones atpicas y la distribucin Cauchy produce una importante proporcin de ellas. Por lo tanto la mejor eleccin entre estos tres estimadores sera 2 . Tambin podramos utilizar una media podada.
= V ()
Si el error standard depende de parmetros desconocidos, stos se reemplazan por un estimador y se obtiene el error standard estimado. Ejemplo: Sea X 1 , X 2 ,..., X n una m.a. de una distribucin N(,2). Entonces X es el EMV de y su error standard es
X = V , 2 ( X ) =
2
n
173
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Como depende del parmetro , podemos reemplazarlo por la varianza muestral y obtenemos el error standard estimado
X =
S = n
2 X
(X
n i =1
X)
n(n 1)
[ ]
)
2 = E E ( ) + E ( )
) (
+ 2 E ( ) E ( )
)(
2 2 = E E ( ) + E E ( ) + 2 E E ( ) E ( )
[(
)(
)]
Usando que la esperanza de una v.a. es una constante y la esperanza de una constante es igual a sta, se obtiene
2 2 ECM ( ) = E E ( ) + E ( ) + 2 E ( ) E ( ) E ( ) 144 44 2 3 42443 14243 14 4 4 2 0
) (
)(
V ( )
(b( ) )
[ ]
174
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
Principio de estimacin de menor error cuadrtico medio: Dados dos o ms estimadores del parmetro , elegir el de menor ECM. Este principio se reduce, en el caso de estimadores insesgados, al de mnima varianza entre los insesgados mencionado ms arriba, ya que el error cuadrtico medio se reduce a la varianza cuando un estimador es insesgado. Sin embargo, nos permite adems seleccionar, por ejemplo, entre un estimador insesgado y otro que no lo es, en base a la varianza y al sesgo. Si el estimador sesgado tiene una varianza mucho menor que el insesgado, podra ser preferible su uso. Definicin: Sea X 1 , X 2 ,..., X n una m.a de una distribucin que depende de un parmetro
{ } es
n
n p
es decir, si > 0, P n > n 0 .
Ejemplo: Sea
2
X 1 , X 2 ,..., X n
E( X i ) =
P X >
V (X )
2 = 2 n 0 n
> 0
X1 + X 2 no es consistente de . 2
175
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
2
n
2) Sea X 1 , X 2 ,..., X n una m.a. de una distribucin U(0,). Hemos demostrado antes que
n . Para n +1
probar que es consistente, verificaremos que su varianza tiende a cero cuando el tamao de la muestra tiende a infinito. Pero
V ( ) = E ( 2 ) E ( )
n = E ( 2 ) n +1
u f U (u ) = n
n 1
n 1
I ( 0, ) (u )
u E (U ) = u n 0
2 2
du =
u
0
n +1
Entonces,
V ( ) =
2 n n2 n 2 n 2 = n + 2 (n + 1)2 n+2 n +1
2 n = 2 n 0 2 (n + 2)(n + 1)
Por lo tanto, el EMV es consistente. 3) El ltimo ejemplo que veremos ilustra como demostrar la consistencia de un estimador a partir de la Ley de los Grandes Nmeros y de las propiedades de la convergencia en probabilidad. En primer lugar recordemos que si X 1 , X 2 ,..., X n ,.... e Y1 , Y2 ,..., Yn ,... son sucesiones de
X n Yn p a b X n Yn p ab
176
Probabilidades y Estadstica (Computacin) Facultad de Ciencias Exactas y Naturales. Universidad de Buenos Aires Ana M. Bianco y Elena J. Martnez
2004
c)
Xn p a Yn b
si b 0
d) g ( X n ) p g (a )
e) si c n es una sucesin numrica tal que c n c , entonces c n X n p ca Sea X 1 , X 2 ,..., X n una m.a de una distribucin con E ( X i ) = y V (X i ) = 2 < ,
2 SX =
(X
n i =1
X)
n 1
n 2 Xi n 1 n i =1 2 2 2 = X X i nX = n 1 i =1 n 1 n
X 2 p 2 .
Por otra parte, aplicando nuevamente la Ley de los Grandes Nmeros
X
i =1
2 i
n
Como adems
p E
(X , 2
) =V
( X ) + [ E 2 ( X )] , 2 ,
= 2 + 2
n 1 , se obtiene n 1
n 2 Xi n i =1 2 2 SX = X p 2 + 2 2 = 2 n n 1
y por lo tanto la varianza muestral es un estimador consistente de 2 .
177