MAGCEA Econometria IN709 - Otoo 2009

Universidad de Chile
Departamento de Ingeniera Industrial
Profesor: Mattia Makovec (mmakovec@dii.uchile.cl)
Auxiliares: Andrs Barrera (andres.abarrera@gmail.com), Carlos Pulgar (pulgroso@gmail.com)
2. MNIMOS CUADRADOS ORDINARIOS
(Versin preliminar, no difundir)
1. Estimador de mnimos cuadrados ordinarios (MCO) con regre-
sores no estocsticos
Para introducir el mtodo de mnimos cuadrados ordinarios de manera intuitiva consideramos el modelo
lineal simple, donde la variable dependiente es funcin de un termino constante y de un solo regresor,
como en el caso de la relacin entre ingreso y consumo en alimentacin en una muestra de hogares europeos
ilustrado en la gura siguiente:
El modelo lineal simple basado en una muestra de observaciones y una sola variable explicativa r se
dene:
j
i
= ,
0
+ ,
1
r
i
+ -
i
i = 1....
En contexto del ejemplo ilustrado en la gura, j corresponde al consumo en alimentacin y r al ingreso de
los hogares, y el mtodo de mnimos cuadrados ordinarios consiste en individuar la recta que interpola de
manera optima la nube de datos generada para todos los pares de observaciones sobre ingreso del hogar y
consumo del hogar en alimentacin. El criterio optimo para interpolar la nube de datos segun el mtodo de
mnimos cuadrados ordinarios consiste en minimizar la suma de los cuadrados de las distancias entre cada
punto de coordinatas (r
i
, j
i
) y la recta que representa la relacin poblacional entre j y r, es decir, minimizar
la suma de los cuadrados de los errores -
i
:
N
P
i=1
-
2
i
.
Los valores estimados por mnimos cuadrados ordinarios (MCO) de la variable dependiente se obtienen
como:
^ j
i
=
^
,
0
+
^
,
1
r
i
i = 1....
donde
^
,
0
y
^
,
1
son los estimadores MCO de ,
0
y ,
1
, y ^ j
i
se dene prediccin o valor estimado de cada
j
i
.
1
Por cada observacin i, la diferencia entre los valores observados de la variable dependiente y los valores
estimados se dene error de estimacin ^-
i
:
j
i
^ j
i
= ^-
i
j
i
= ^ j
i
+ ^-
i
j
i
=
^
,
0
+
^
,
1
r
i
+ ^-
i
i
y
y
x
y = +x = E(y)
(relacin teorica o
poblacional)
y = ) (

y E x = +
(relacin estimada)
y
i=
+x
i
+
i
x
i
(x
i
, y
i
)

i
i

En el modelo de regresin lineal general con / regresores y un termino constante, j = A,+- o j

i
= x
0
i
,+-
i
por i = 1.... con x
0
i
= [1 r
i1
r
i2
r
i3
...... r
ik1
], eso se puede generalizar como:
^ j = A
^
,
MCO
j = ^ j + ^-
j = A
^
,
MCO
+ ^-
donde
^
,
MCO
es el estimador MCO del vector de parametros ,. Notese que eso se cumple igualmente si el
primer termino del vector x
0
i
no es 1 si no un cualquier otro regresor r
i0
. Dado el modelo lineal general
j = A, + - basado en una muestra de tamao , supongamos que se cumplan los supuestos basicos
H1-H5:
H1 Linealidad: la variable dependiente j es una funcin lineal del vector de parametros ,; tambin se
supone que los parametros ,
1
, ,
2
....,
k
sean constantes por todas la observaciones en la muestra.
H2 Condicin de identicacin: A es una matriz de rango completo de columnas y ra:qo(A) = /.
H3 1(-
i
) = 0 8i = 1..., o en forma vectorial: 1(-) = 0.
H4 \ ar(-
i
) = o
2
8i = 1..., Co(-
i
-
j
) = 0 8i 6= ,, o en forma matricial: 1(--
0
) = o
2
1
N
(matriz de varianza
y covarianza escalar).
H5 A es una matriz de regresores no estocsticos.
H6 (Supuesto adicional) Los errores siguen una distribucin normal con media 0 y varianza constante o
2
:
-
i
s (0, o
2
) 8i = 1...; - s (0, o
2
1
N
).
Se analiza como obtener el estimador de mnimos cuadrados ordinarios. El problema se traduce en
minimizar la suma cuadratica residual:
'i:: -
0
-
2
con respecto al vector ,, que corresponde, en el modelo lineal simple, a minimizar la suma cuadratica
N
P
i=1
-
2
i
con respecto a ,
0
y ,
1
. Sustituyendo - = j A, el problema se puede formular como la minimizacin de la
siguiente funcin lagrangeana 1(,) con respecto a ,:
'i: : 1(,)

= (j A,)
0
(j A,)
'i: : 1(,)

= j
0
j j
0
A, ,
0
A
0
j + ,
0
A
0
A,
'i: : 1(,)

= j
0
j 2,
0
A
0
j + ,
0
A
0
A,
Dado que los terminos j
0
A, y ,
0
A
0
j son el mismo escalar, entonces (j
0
A, ,
0
A
0
j) = 2,
0
A
0
j. La
condicin del primer orden es:

01(,)
0,

=
^

MCO
= 0
y se obtiene:
2A
0
j + 2A
0
A
^
,
MCO
= 0
(A
0
A)
^
,
MCO
= A
0
j (ecuaciones normales)
^
,
MCO
= (A
0
A)
1
A
0
j
La matriz (/ /) A
0
A es invertible dado que por el supuesto H2 A es una matriz de rango completo de
columnas. Para averiguar que
^
,
MCO
sea efectivamente el mnimo de la funcin Lagrangeana 1(,), tenemos
que comprobar que la derivada segunda
@
2
L()
@@
0
sea una matriz denida positiva.

0
2
1(,)
0,0,
0

=
^

MCO
=
0(2A
0
j + 2A
0
A
^
,
MCO
)
0,
= 2A
0
A
Consideramos una cualquiera transformacin de la matriz A
0
A: = c
0
A
0
Ac donde c es un vector (/ 1) y
c 6= 0. Si se dene = Ac, entonces =
0
=
N
P
i=1

2
i
. Se puede observar que, a menos que todos los elementos
del vector sean iguales a 0, es siempre un escalar postivo, siendo una suma de terminos al cuadrado. Por
otro lado, no puede ser que todos los elementos de sean iguales a 0, dado que eso implicaria que algunas
de las columnas de A fueran linealmente dependientes, siendo c 6= 0, violando el supuesto H2. Entonces, si
= c
0
A
0
Ac es siempre positivo por cualquier c 6= 0, tambin = A
0
A con c
0
= [1 1 1 .....1]
| {z }
(k1)
ser una matriz
denida positiva.
Sustituyendo j = A,+ - se obtiene una expresin alternativa de
^
,
MCO
^
,
MCO
= (A
0
A)
1
A
0
(A, + -)
= (A
0
A)
1
A
0
A
| {z }
I
, + (A
0
A)
1
A
0
-
= , + (A
0
A)
1
A
0
-
2. Propiededades del estimador de mnimos cuadrados ordinarios
^

'CO
en muestras nitas.
Se demuestra que bajo los supuestos H1-H5 el estimador de mnimos cuadrados ordinarios de , es lineal,
insesgado y de varianza mnima entre los estimadores lineales y insesgados de ,. Bajo el supuesto adicional H6
de normalidad de los errores, se demuestra tambin que
^
,
MCO
tiene una distribucin normal multivariante:
^
,
MCO
s (,, o
2
(A
0
A)
1
).
Linealidad:
^
,
MCO
es lineal en , entonces es lineal en j y en -.
3
Insesgadez: 1(
^
,
MCO
) = ,
1(
^
,
MCO
) = 1[, + (A
0
A)
1
A
0
-]
= 1(,)
| {z }
=
+ (A
0
A)
1
A
0
1(-)
|{z}
=0
= ,
^
,
MCO
es estimador insesgado de ,.
Matriz de varianza y covarianza de
^
,
MCO
(\ ar(
^
,
MCO
)): utlizando la expresin (
^
,
MCO
,) =
(A
0
A)
1
A
0
- se determina la matriz de varianza y covarianza de
^
,
MCO
:
\ ar(
^
,
MCO
) = 1[(
^
,
MCO
1(
^
,
MCO
))(
^
,
MCO
1(
^
,
MCO
))
0
]
= 1[(
^
,
MCO
,)(
^
,
MCO
,)
0
] sustituyendo
^
,
MCO
, = (A
0
A)
1
A
0
-
= 1[((A
0
A)
1
A
0
-)((A
0
A)
1
A
0
-)
0
]
= 1[(A
0
A)
1
A
0
--
0
A(A
0
A)
1
]
= (A
0
A)
1
A
0
1(--
0
)
| {z }
=
2
I
A(A
0
A)
1
= (A
0
A)
1
A
0
o
2
1A(A
0
A)
1
= o
2
(A
0
A)
1
A
0
A(A
0
A)
1
| {z }
=I
= o
2
(A
0
A)
(kk)
1
Eciencia (Teorema de Gauss-Markov):
Bajo los supuestos H1-H5, el estimador de mnimos cuadrados ordinarios
^
,
MCO
es el estimador ms
eciente (o optimo), en el sentido de la varianza mnima, entre la clase de los estimadores lineales y insesgados
de ,.
Prueba:
Se considera un cualquier estimador lineal y insesgado de ,, denido
~
, = Cj (generalizacin de
^
,
MCO
=
(A
0
A)
1
A
0
j), donde C es una matriz (/) que determina una cualquiera transformacin lineal del vector
j. El hecho que Cj sea estimador insesgado de , implica la siguiente propiedad de la matriz C:
1(
~
,) = 1(Cj) = ,
1(C(A, + -)) = ,
1(CA, + C-) = ,
CA, + C1(-)
|{z}
=0
= ,
CA, = ,
CA = 1
Dado que CA = 1
k
, el estimador
~
, = Cj se puede expresar como:
~
, = C(A, + -) = CA, + C- = , + C-.
Utilizando la propiedad (
~
, ,) = C- se determina la varianza de
~
,:
\ ar(
~
,) = 1[(
~
, 1(
~
,))(
~
, 1(
~
,))
0
]
= 1[(
~
, ,)(
~
, ,)
0
]
= 1[(C-)(C-)
0
]
= 1[C--
0
C
0
]
= C1(--
0
)C
0
= Co
2
1C
0
= o
2
CC
0
4
Para calcular CC
0
se dene la matriz (/ ) 1 tal que:
1 = C (A
0
A)
1
A
0
C = 1 + (A
0
A)
1
A
0
Se observa tambin que 1A = 0 : 1A = [C (A
0
A)
1
A
0
]A = CA (A
0
A)
1
A
0
A = 1
k
1
k
= 0.
Sustituyendo la expresin de C en la de \ ar(
~
,) se obtiene:
\ ar(
~
,) = o
2
CC
0
= [1 + (A
0
A)
1
A
0
][1 + (A
0
A)
1
A
0
]
0
= o
2
[1 + (A
0
A)
1
A
0
][1
0
+ A(A
0
A)
1
]
= o
2
[11
0
+ (A
0
A)
1
A
0
1
0
+ 1A(A
0
A)
1
+ (A
0
A)
1
A
0
A(A
0
A)
1
| {z }
=I
k
]
= o
2
[11
0
+ (A
0
A)
1
(1A
|{z}
=0
)
0
+ 1A
|{z}
=0
(A
0
A)
1
+ (A
0
A)
1
]
= o
2
[11
0
+ (A
0
A)
1
]
= o
2
11
0
+ o
2
(A
0
A)
1
= o
2
11
0
+ \ ar(
^
,
MCO
)
Entonces se obtiene que la diferencia entre la matriz de varianza y covarianza de
~
, y la de
^
,
MCO
es la
matriz (/ /) o
2
11
0
semidenida positiva (dado que el producto de cualquier matriz por su traspuesta es
una matriz semidenida positiva), y se prueba que la varianza de
^
,
MCO
es la mnima entre los estimadores
lineales y insesgados de , :
\ ar(
~
,) \ ar(
^
,
MCO
) = o
2
11
0
semidenida positiva
El estimador de mnimos cuadrados ordinarios
^
,
MCO
se dene entonces el estimador linear insesgado optimo
(abreviado en castellano con el acronimo E.L.I.O.) o el mejor estimador lineal insesgado (M.E.L.I.) en el
sentido de la varianza mnima (en ingls el acronimo utilizado es B.L.U.E.: best linear unbiased estimator).
Normalidad de
^
,
MCO
: la linealidad, la insesgadez y la ecencia del estimador
^
,
MCO
no depienden
sobre el supuesto H6 de normalidad de los errores. Bajo el supuesto adicional de errores normales, se
establece que el estimador
^
,
MCO
tiene una distribucin normal multivariante exacta con media , y
matriz de varianzas y covarianzas o
2
(A
0
A)
1
. La prueba se basa sobre una propiedad de la distribucin
normal multivariante, por la cual una transformacin lineal de un vector aleatorio distribuido segn una
normal multivariante sigue tambin una distribucin normal multivariante: sea 7 s (j, ), entonces
una cualquiera transformacin lineal de 7, 7 +/, se distribuye como: (7 +/) s (j +/,
0
).
Se observa que
^
,
MCO
es una transformacin lineal del vector -, dado que
^
,
MCO
= , + (A
0
A)
1
A
0
-;
siendo - s (0, o
2
1), podemos expresar
^
,
MCO
= - + /, donde en ese caso = (A
0
A)
1
A
0
, / = ,,
j = 0 y = o
2
1:
^
,
MCO
= (, + (A
0
A)
1
A
0
-) s ((A
0
A)
1
A
0
0 + ,, (A
0
A)
1
A
0
o
2
1[(A
0
A)
1
A
0
]
0
)
^
,
MCO
s (0 + ,, (A
0
A)
1
A
0
o
2
1A(A
0
A)
1
)
^
,
MCO
s (,, o
2
(A
0
A)
1
A
0
A(A
0
A)
1
| {z }
=I
k
)
^
,
MCO
s (,, o
2
(A
0
A)
1
(kk)
)
El elemento , del vector
^
,
MCO
,
^
,
j
, donde 1 , /, corresponde al estimador de MCO del parametro
,
j
y tiene una distribucin normal univariante con media ,
j
y varianza correspondiente al elemento
(,, ,) en la diagonal de la matriz de varianza y covarianza o
2
(A
0
A)
1
:
^
,
j
s (,
j
, [o
2
(A
0
A)
1
]
(j;j)
)
El supuesto H6 de normalidad de los errores implica tambin que la variable dependiente j tenga una
distribucin normal multivariante, siendo una transformacin lineal de -. Dado que 1(j) = A,, la
5
varianza de j coincide con la de -, ar(j) = ar(-), y:
j = (A, + -) s (A,, o
2
1
N
)
Igualmente, es posible establecer la distribucin de la jrcdicci o: de j, ^ j = A
^
,
MCO
, denida como el
valor estimado de j cuando se estima , con
^
,
MCO
. A
^
,
MCO
es una transformacin lineal de
^
,
MCO
,
entonces por la propiedad de la transformacin lineal de una distribucin normal multivariante, si
^
,
MCO
s (,, o
2
(A
0
A)
1
):
^ j = A
^
,
MCO
s (A,, A[o
2
(A
0
A)
1
]A
0
)
^ j s (A,, o
2
A(A
0
A)
1
A
0
)
Se puede notar entonces, que mientras la matriz de varianza y covarianza de la variable dependiente j
es escalar siendo la misma que la de los errores, la matriz de varianza y covarianza de la prediccin ^ j
es heterocedastica dependiendo de los datos A.
6