MAGCEA Econometria IN709 - Otoo 2009

Universidad de Chile
Departamento de Ingeniera Industrial
Profesor: Mattia Makovec (mmakovec@dii.uchile.cl)
Auxiliares: Andrs Barrera (andres.abarrera@gmail.com), Carlos Pulgar (pulgroso@gmail.com)
5. MNIMOS CUADRADOS RESTRINGIDOS
(Versin preliminar, no difundir)
Dado el modelo lineal general j = A,+ - basado en una muestra de observaciones, donde se supone
que se cumplan los supuestos basicos H1-H6, analizamos como obtener el estimador de mnimos cuadrados
ordinarios en presencia de un conjunto de 1 restricciones lineales. El problema se traduce en minimizar
la suma cuadratica residual sujeto a la condicin 1, = r :
'i: : -
0
-
sujeto a: 1, = r
donde 1 es la matriz (/) de restricciones sobre el vector , y r es un vector de constantes (1).
Sustituyendo - = j A, y escribiendo el vinculo 1, = r como 2r0 = 2,
0
1
0
, el problema se puede formular
como una minimizacin de la siguiente funcin Lagrangeana 1(,, `) respecto a , y `:
'i: : 1(,, `)
;
= (j A,)
0
(j A,) + 2(r
0
,
0
1
0
)`
'i: : 1(,, `)
;
= j
0
j j
0
A, ,
0
A
0
j +,
0
A
0
A, + 2r
0
` 2,
0
1
0
`
Las condiciones del primer orden son:
01(,, `)
0,
=
^

R
= 0;
01(,, `)
0` =
^

R
= 0;
Por la condicin
@L(;)
@
=
^

R
= 0 se obtiene:
2A
0
j + 2A
0
A
^
,
R
21
0
^
`
R
= 0
(A
0
A)
^
,
R
= A
0
j +1
0
^
`
R
^
,
R
= (A
0
A)
1
A
0
j + (A
0
A)
1
1
0
^
`
R
Donde , =
^
,
R
y ` =
^
`
R
son las soluciones del problema de minimizacin. Dado que (A
0
A)
1
A
0
j =
^
,
MCO
se obtiene:
^
,
R
=
^
,
MCO
+ (A
0
A)
1
1
0
^
`
R
Por la condicin
@L(;)
@ =
^

R
= 0 se obtiene:
r
0
,
0
1
0
= 0
r = 1,
Esta condicin coincide con la restriccin inicial: dado que r = 1,, y siendo , =
^
,
R
y ` =
^
`
R
soluciones
de la minimizacin de la la funcin Lagrangeana, entonces tambin es cierto que r = 1
^
,
R
. Sustituyendo la
expresin de
^
,
R
en la condicin r = 1
^
,
R
podemos obtener
^
`
R
:
1
^
,
R
= 1
^
,
MCO
+1(A
0
A)
1
1
0
^
`
R
(1
^
,
R
1
^
,
MCO
) = 1(A
0
A)
1
1
0
^
`
R
^
`
R
= [1(A
0
A)
1
1
0
]
1
(1
^
,
R
1
^
,
MCO
)
Es importante subrayar que imponer la restriccin r = 1, no necesariamente implica que esta restriccin
sea cierta. Dado que 1
^
,
R
= r se obtiene:
^
`
R
= [1(A
0
A)
1
1
0
]
1
(r 1
^
,
MCO
)
1
que podemos sustituir en la expresin de
^
,
R
:
^
,
R
=
^
,
MCO
+ (A
0
A)
1
1
0
[1(A
0
A)
1
1
0
]
1
(r 1
^
,
MCO
)
Se dene ahora la matriz = (A
0
A)
1
1
0
[1(A
0
A)
1
1
0
]
1
, entonces:
^
,
R
=
^
,
MCO
+(r 1
^
,
MCO
)
^
,
R
=
^
,
MCO
+r 1
^
,
MCO
^
,
R
= (1 1)
^
,
MCO
+r
Notese que si las restricciones son ciertas, resulta r = 1
^
,
MCO
, y el estimador de mnimos cuadrados
ordinarios restringido coincide con el estimador de mnimos cuadrados ordinarios:
^
,
R
=
^
,
MCO
.
Propiededades del estimador de mnimos cuadrados restringidos
^
,
R
:
Linealidad.
^
,
R
es combinacin lineal de
^
,
MCO
entonces es lineal en ,, 1 y -.
Insesgadez:
1(
^
,
R
) = 1[(1 1)
^
,
MCO
+r]
= (1 1)1(
^
,
MCO
) +r
= (1 1), +r
= , 1, +r
= , (1, r)
Si las restricciones son ciertas, es decir si 1, = r, entonces 1(
^
,
R
) = , y el estimador MCR es
insesgado. Si 1, 6= r entonces
^
,
R
es sesgado dado que 1(
^
,
R
) = , (1, r) 6= ,.
Matriz de varianza y covarianza de
^
,
R
:
\ ar(
^
,
R
) = \ ar[(1 1)
^
,
MCO
+r]
= (1 1)\ ar(
^
,
MCO
)(1 1)
0
= (1 1)o
2
(A
0
A)
1
(1 1)
0
= o
2
[(A
0
A)
1
(A
0
A)
1
1
0

0
1(A
0
A)
1
+1(A
0
A)
1
1
0

0
]
Se puede ensear que el segundo y el cuarto termino son iguales, con signo opuesto. Desde el cuarto
termino se obtiene:
1(A
0
A)
1
1
0

0
= (A
0
A)
1
1
0
[1(A
0
A)
1
1
0
]
1
1(A
0
A)
1
1
0
| {z }
I

0
= (A
0
A)
1
1
0

0
Por lo tanto:
\ ar(
^
,
R
) = o
2
[(A
0
A)
1
(A
0
A)
1
1
0

0
1(A
0
A)
1
+ (A
0
A)
1
1
0

0
]
= o
2
[(A
0
A)
1
1(A
0
A)
1
]
= o
2
(A
0
A)
1
o
2
1(A
0
A)
1
Dado que o
2
(A
0
A)
1
= \ ar(
^
,
MCO
) :
\ ar(
^
,
R
) = \ ar(
^
,
MCO
) o
2
1(A
0
A)
1
\ ar(
^
,
MCO
) \ ar(
^
,
R
) = o
2
1(A
0
A)
1
donde 1 es una matriz denida positiva. El estimador
^
,
R
tendr una varianza menor del estimador
^
,
MCO
incluso si las restricciones no son ciertas.
2
Propriedades de los residuos de mnimos cuadrados restringidos ^-
R
:
Sean ^-
R
los residuos obtenidos de una regresin lineal de mnimos cuadrados restringidos: ^-
R
= j A
^
,
R
.
Los residuos ^-
R
poseen las siguientes propiedades:
Linealidad: los residuos estimados ^-
R
son lineales en 1 y
^
,
R
entonces tambien en , y -.
1(^-
R
) = 0 solo si las restricciones son ciertas. Si las restricciones son ciertas, el estimador
^
,
R
es
insesgado entonces 1(
^
,
R
) = ,, por lo tanto:
1(^-
R
) = 1(j A
^
,
R
) = 1(A, +- A
^
,
R
) = A, +1(-) A1(
^
,
R
)
= A, A1(
^
,
R
) = A, A, = 0 si las restricciones son ciertas y 1(
^
,
R
) = ,
o 1(^-
R
) = A, A1(
^
,
R
) si 1(
^
,
R
) 6= ,
Suma cuadratica residual restringida ^-
0
R
^-
R
:
Dado que ^-
0
R
= j A
^
,
R
, sustituyendo la expresin de
^
,
R
= (1 1)
^
,
MCO
+r se obtiene:
^-
R
= j A
^
,
R
= j A[(1 1)
^
,
MCO
+r]
= j A(
^
,
MCO
1
^
,
MCO
+r)
= j A
^
,
MCO
+A1
^
,
MCO
Ar
= ^- +A(1
^
,
MCO
r)
donde ^- = j A
^
,
MCO
Por lo tanto ^-
0
R
= ^-
0
+ (1
^
,
MCO
r)
0

0
A
0
, entonces:
^-
0
R
^-
R
= [^-
0
+ (1
^
,
MCO
r)
0

0
A
0
][^- +A(1
^
,
MCO
r)]
= ^-
0
^- + ^-
0
A
|{z}
=0
(1
^
,
MCO
r) + (1
^
,
MCO
r)
0

0
A
0
^-
|{z}
=0
+ (1
^
,
MCO
r)
0

0
A
0
A(1
^
,
MCO
r)
= ^-
0
^- + (1
^
,
MCO
r)
0

0
A
0
A(1
^
,
MCO
r)
Consideramos ahora la expresin
0
A
0
A, donde = (A
0
A)
1
1
0
[1(A
0
A)
1
1
0
]
1
, y
0
= [1(A
0
A)
1
1
0
]
1
1(A
0
A)
1

0
A
0
A = [1(A
0
A)
1
1
0
]
1
1(A
0
A)
1
A
0
A(A
0
A)
1
| {z }
=I
k
1
0
[1(A
0
A)
1
1
0
]
1

0
A
0
A = [1(A
0
A)
1
1
0
]
1
1(A
0
A)
1
1
0
[1(A
0
A)
1
1
0
]
1
| {z }
=Iq

0
A
0
A = [1(A
0
A)
1
1
0
]
1
Entonces:
^-
0
R
^-
R
= ^-
0
^- + (1
^
,
MCO
r)
0
[1(A
0
A)
1
1
0
]
1
(1
^
,
MCO
r)
^-
0
R
^-
R
^-
0
^- = (1
^
,
MCO
r)
0
[1(A
0
A)
1
1
0
]
1
(1
^
,
MCO
r)
La expresin ^-
0
R
^-
R
^-
0
^- nos permite derivar una formula alternativa para un test estadstico de 1
restricciones lineales de la hiptesis nula H
0
: 1, = r. Sabemos que:
(1
^
,
MCO
r)
0
[1(A
0
A)
1
1
0
]
1
(1
^
,
MCO
r),
^ o
2
MCO
1
q;NK
Por lo tanto:
(1
^
,
MCO
r)
0
[1(A
0
A)
1
1
0
]
1
(1
^
,
MCO
r),
^ o
2
MCO
=
(^-
0
R
^-
R
^-
0
^-),
^ o
2
MCO
=
(^-
0
R
^-
R
^-
0
^-),
^-
0
^-,( 1)
1
q;NK
3
Este resultado nos permite calcular de una manera alterantiva el test estadstico de 1 restricciones
lineales utilizando solo la informacin de la suma cuardatica residual del modelo restringido y del modelo
sin restricciones. Sea ^-
0
R
^-
R
= oC1
R
y ^-
0
^- = oC1:
(oC1
R
oC1),
oC1,( 1)
1
q;NK
Dividiendo el numerador y el denominador por la suma cuadratica total del modelo sin restricciones, oCT
se obtiene:
(SCR
R
SCR)=q
SCT
SCR=(NK)
SCT
1
q;NK
Dado que
SCR
SCT
= 1 1
2
y
SCR
R
SCT
= 1 1
2
R
se obtiene otra expresin equivalente del test 1:
[(1 1
2
R
) (1 1
2
)],
(1 1
2
),( 1)
1
q;NK
(1 1
2
R
1 +1
2
),
(1 1
2
),( 1)
1
q;NK
(1
2
1
2
R
),
(1 1
2
),( 1)
1
q;NK
La ultima expresin obtenida puede ser entonces utilizada para realizar test estadsticos sobre la validez del
modelo restringido con respecto al modelo no restringido. Bajo la hiptesis nula que la restricciones sean
ciertas, H
0
: 1, = r, se obtiene que 1
2
= 1
2
R
, y el test estadstico tendr un valor de 0. Al revez, cuanto
mas el valor de 1
2
R
se aleja del 1
2
del modelo no restringido, mas grande ser la diferencia 1
2
1
2
R
y mas
alta la probabilidad de rechazar la hiptesis nula. En otras palabras, podemos utilizar el estadstico obtenido
para testear la hiptesis nula que el modelo restringido sea el modelo correcto: si se rechaza la hiptesis
nula, hay que preferir el modelo incial no restringido al modelo restringido. Al revez, si no se puede rechazar
la hiptesis nula, hay que preferir el modelo restringido al modelo no restringido inicial. Dado el nivel de
signicacin c, la regla de decisin ser: rechazo H
0
si ` 1
q;NK
(c), donde: ` =
(R
2
R
2
R
)=q
(1R
2
)=(NK)
.
Observacin: para utilizar este test, es necesario que la suma cuadratica total en el modelo restringido
sea igual a la suma cuadratica total en el modelo sin restricciones. Esto puede no ser cierto si el modelo
restringido se estima transformando las variables como en el ejemplo siguiente:
se estima: j = ,
0
+,
1
r
1
+,
2
r
2
+,
3
r
3
+-
sujeto a : ,
1
+,
2
= 1 y ,
3
= 0
se trasforma el modelo original de la forma siguiente sustituyendo directamente las restricciones ,
1
=
1 ,
2
y ,
3
= 0
j = ,
0
+ (1 ,
2
)r
1
+,
2
r
2
+-
j = ,
0
+r
1
,
2
r
1
+,
2
r
2
+-
j = ,
0
+r
1
+,
2
(r
2
r
1
) +-
y se estima:
j r
1
= ,
0
+,
2
(r
2
r
1
) +-
j

= ,
0
+,
2
r

+-
donde j

= j r
1
; r

= (r
2
r
1
)
Se puede notar que la suma cuadratica total asociada a la variable dependiente transformada j

es
diferente respecto a la suma cuadratica total de la variable dependiente original j, por lo tanto en ese
caso no se puede utilizar directamente el test basado sobre la diferencia (1
2
1
2
R
).
4
Test de signicatividad global de una regresin
Es un caso particular del test anterior. Dado el modelo lineal general:
j
i
= ,
0
+,
1
r
i1
+,
2
r
i2
+..... +,
k1
r
ik1
+-
i
estamos interesados en testear la siguiente hiptesis nula:
H
0
: ,
1
= ,
2
= ... = ,
k1
= 0
H
1
: 9 ,
j
6= 0, , = 1, 2, 3.../ 1
se trata de un test de = / 1 restricciones lineales, donde la hiptesis nula dice que los regresores
r
1
, r
2
, ...r
k1
que hemos escogido para explicar la variable dependiente j, no tienen en realidad ningn
poder explicativo. En otras palabras, eso signica testear que las variables r
1
, r
2
, ...r
k1
sean, no
individualmente, si no co:,n:ta:c:tc signicativas. Si no podemos rechazar esta hiptesis nula,
signica que tenemos que cambiar completamente la especicacin inicial del modelo. Bajo H
0
, el 1
2
en el modelo restringido es 0 dado que el modelo restringido no contiene variables explicativas. El test
apropiado ser entonces:
bajo H
0
:
1
2
,(/ 1)
(1 1
2
),( 1)
1
k1;NK
siendo 1
2
R
= 0
Dado el nivel de signicacin c, la regla de decisin ser parecida al caso general: rechazo H
0
si
` 1
k1;NK
(c), donde: ` =
R
2
=(k1)
(1R
2
)=(NK)
.
5