Anlisis estadstico de datos simulados

Estimadores puntuales
Georgina Flesia
FaMAF
2 de mayo, 2013
Anlisis estadstico
Modelizacin estadstica:

Elegir una distribucin en base a los datos observados.

Estimar los parmetros de la distribucin (EMV).

Pruebas de bondad de ajuste.

Estimacin de parmetros

Estimador puntual.

Varianza del estimador. Var(

).

Error cuadrtico medio del estimador. E[(

)
2
].

Estimadores por intervalo e intervalos de conanza.

Estimacin de parmetros
Dada una muestra de n datos observados, se llama estimador

del
parmetro a cualquier funcin de los datos observados.
Propiedades de un buen estimador puntual

Insesgabilidad: se dice que el estimador es insesgado si

E[

] = .

Consistencia: si al aumentar la muestra, el estimador se

aproxima al parmetro.

Eciencia: se calcula comparando su varianza con la de otro

estimador.

Suciencia: utiliza toda la informacin obtenida de la muestra.

Media muestral
Dadas n observaciones: X
1
, X
2
, . . . , X
n
, con una misma distribucin,
la media muestral se dene por
X(n) =
X
1
+ X
2
+ + X
n
n
.
La media muestral se utiliza como un estimador de la media , es
decir, de = E[X
i
], si la media es nita.
Estimador insesgado.
E[X(n)] = E
_
n

i =1
X
i
n
_
=
n

i =1
E[X
i
]
n
=
n
n
= .
Media muestral
Dadas n observaciones: X
1
, X
2
, . . . , X
n
, con una misma distribucin
con media nita ,
X(n) =
X
1
+ X
2
+ + X
n
n
.
Estimador consistente.
lim
n
[X(n)] = .
por la ley de los grandes nmeros.
Media muestral
Dadas n observaciones: X
1
, X
2
, . . . , X
n
, con una misma distribucin
con media nita y varianza nita
X(n) =
X
1
+ X
2
+ + X
n
n
.
Z =

n(X(n) )/.
Estimador asintticamente normal.
lim
n
[F
Z
(n)(x)] = (x).
por el teorema central del lmite.
Mtodos de estimacin mas comunes

Estimador de mxima verosimilitud

Estimador de momentos
Estimador de mxima verosimilitud
Si la distribucin supuesta es discreta para los datos observados, y
se desconoce un parmetro .
Sea p

(x) la probabilidad de masa para dicha distribucin.

Dado que se han observado datos X
1
, X
2
, . . . , X
n
, se dene la funcin
de mxima verosimilitud L() como sigue:
L() = p

(X
1
) p

(X
2
) p

(X
n
).
El estimador de mxima verosimilitud es el valor

que maximiza L():
L(

) L(), valor posible.

Estimador de mxima verosimilitud
Si la distribucin supuesta es continua, y f

(x) es la densidad para

dicha distribucin.
Dado que se han observado datos X
1
, X
2
, . . . , X
n
, se dene la funcin
de mxima verosimilitud L() como sigue:
L() = f

(X
1
) f

(X
2
) f

(X
n
).
El estimador de mxima verosimilitud es el valor

que maximiza L():
L(

) L(), valor posible.

Estimador de mxima verosimilitud
El estimador de mxima verosimilitud tiene, en general, las
siguientes propiedades:
1. Es nico: L(

) > L() para cualquier otro valor de .

2. La distribucin asinttica de

tiene media .
3. Es invariante: = h(), entonces

= h(

).
4. La distribucin asinttica es la normal.
5. Es fuertemente consistente: lim
n

= .
Distribucin exponencial
Ejemplo
Para la distribucin exponencial, = 1/ ( > 0) y f

(x) = e
x
para x 0.
L() =
_
e
X
1

_ _
e
X
2

_

_
e
X
n

_
=
n
exp
_

i =1
X
i
_
Distribucin exponencial
ln(L()) = ln(
n
exp
_

i =1
X
i
_
)
= n ln()
n

i =1
X
i
d
d
ln(L()) =
n

i =1
X
i
= 0

=
1
1
n

n
i =1
X
i
=
1
X(n)
=
1
Media muestral.

=
1

=
1
n
n

i =1
X
i
= X(n) = Media muestral.
Distribucin geomtrica
Ejemplo
Para la distribucin geomtrica, = p y p
p
(x) = p(1 p)
x1
para
x = 1, 2, . . . .
L(p) = p(1 p)
X
1
1
. . . p(1 p)
X
n
1
= p
n
(1 p)

n
i =1
(X
i
1)
= p
n
(1 p)

n
i =1
X
i
(1 p)
n
=
_
p
1 p
_
n
(1 p)

n
i =1
X
i
ln(L(p)) = n ln(
p
1 p
) + ln(1 p)
n

i =1
X
i
= n ln(p) n ln(1 p) + ln(1 p)
n

i =1
X
i
Distribucin geomtrica
d
dp
ln(L(p)) =
d
dp
[n ln(p) + ln(1 p)[
n

i =1
X
i
n]]
=
n
p

1
1 p
(
n

i =1
X
i
n) = 0
n
p
=
1
1 p
(
n

i =1
X
i
) n
1 p = p(
1
n

X
i
1)
1 = p + p(
1
n

X
i
) p

p =
_
1
n

X
i
_
1
Estimadores de mxima verosimilitud:
Distribuciones continuas:

Uniforme:

a = min{X
i
},

b = max{X
i
}.

Exponencial:

= X(n).

Gamma, Weibull: y

se resuelven numricamente.

Normal:
= X(n), =
_
n 1
n
S
2
(n)
_
1/2
=
_
1
n
n

i =1
(X
i
X)
2
_
1/2
.

Lognormal:
=

n
i =1
log(X
i
)
n
, =
_
n
i =1
(log(X
i
) )
2
n
_
1/2
.
Estimadores de mxima verosimilitud
Distribuciones discretas:

Binomial (t , p): si t es conocido,

p = X(n)/t .

Bernoulli: Caso binomial con t = 1 e igual p.

Geomtrica:

p =
1
X(n)
.

Binomial negativa (s, p): nmero de ensayos hasta el s-simo

xito. Si s es conocido:

p =
s
X(n)
.

Poisson:

= X(n).
Error cuadrtico medio

: estimador del parmetro de una distribucin F

Se dene el error cuadrtico medio (ECM) de

con respecto al
parmetro como
ECM(

, ) = E[(

)
2
].
E[(

)
2
] = E[(

E[

] + E[

] )
2
]
= E[(

E[

])
2
] + (E[

] )
2
= Var(

) + (E(

) )
2

El error cuadrtico medio de un estimador es igual a su varianza

ms el sesgo al cuadrado.

Si el estimador es insesgado, su ECM es igual a la varianza.

ECM de la media muestral respecto de la media
Muestra de X: X
1
, X
2
, . . . , X
n
, E[X
i
] =
ECM(X(n), ) = E[(X(n) )
2
]
= Var(X(n)) =
1
n
2
n

i =1
Var(X
i
) =

2
n
La media muestral es un buen estimador de E[X] si /

n es
pequeo.

El ECM depende de la distribucin de X

i
y del tamao de la
muestra.

Teorema central del lmite. Si Z N(0, 1) y n es grande:

P
_
|X(n) |
/

n
> c
_
P{|Z| > c}.
Varianza muestral
El indicador

2
n
como estimacin del error en la media muestral, tiene
el inconveniente que es en general desconocida.
Para estimar la varianza se utiliza el estimador
S
2
(n) =

n
i =1
(X
i
X(n))
2
n 1
.

Estimador insesgado de la varianza

Frmula a utilizar:
E
_
S
2
(n)

= Var(X)
n

i =1
(X
i
X(n))
2
=
n

i =1
X
2
i
nX
2
(n)
Varianza muestral
E[X
2
i
] = Var(X
i
) + (E[X
i
])
2
=
2
+
2
.
E[X
2
(n)] =

2
n
+
2
.
(n 1)E[S
2
(n)] = nE[X
2
1
] nE[X
2
(n)] = n(
2
+
2
) n(

2
n
+
2
)
E[S
2
(n)] =
2
Utilizaremos S(n) =
_
S
2
(n) como estimador de la desviacin
estndar.

Error del estimador X(n):

2
/n.

Simulacin de datos: Si el objetivo es estimar la media, para

disminuir el error deben generarse muestras de tamao n, n
grande.
Media muestral

Elegir un valor aceptable d para la desviacin estndar del

estimador.

Generar (n) datos hasta que /

n < d. (S/

n < d)

Conviene generar al menos 100 datos para:

asegurar normalidad de la distribucin de X(n).

para disminuir la varianza de S.

La estimacin de estar dada por el ltimo valor de X(n).

El algoritmo implica calcular en cada paso X(n) y S(n).

Es posible calcularlo recursivamente.

Media muestral
Clculo recursivo de X(n) y S
2
(n)

X(1) = X
1
,

S
2
(1) = 0.
X(j + 1) = X(j ) +
X
j +1
X(j )
j + 1
S
2
(j + 1) =
_
1
1
j
_
S
2
(j ) + (j + 1)(X(j + 1) X(j ))
2
Estimacin de una proporcin
El estimador X(n) puede utilizarse tambin para estimar la
proporcin de casos en una poblacin.
X
i
=
_
1 probabilidad p
0 probabilidad 1 p.

X(n) es un estimador insesgado de p.

E[(X(n) p)
2
] = Var(X(n)) =
p(1 p)
n

En este caso, se estima la varianza del estimador X(n) por:

X(n)(1 X(n))
n
.
Algoritmo: Clculo de E[X]
Algorithm 1: Estimacin de la media M de X con error d
Generar X, M X M = X(1) = X
1
;
S
2
0 S
2
= S
2
(1) = 0;
for 1 < j 100 do
Generar X; A M;
M M + (X M)/j ;
S
2
(1 1/(j 1))S
2
+ j (M A)
2
end
j 100;
while
_
S
2
/j > d do
j j + 1;
Generar X;
A M;
M M + (X M)/j ;
S
2
(1 1/(j 1))S
2
+ j (M A)
2
end
return M
Algoritmo: Clculo de una probabilidad
Algorithm 2: Estimacin de la probabilidad p de X con error d
Generar X X es 0 o 1;
p X;
for 1 < j 100 do
Generar X;
p p + (X p)/j
end
j 100;
while
_
p(1 p)/j > d do
j j + 1;
Generar X;
p p + (X p)/j ;
end
return p