ECONOMETRA I

Clase 9: Efectos Parciales/Multicolinealidad Exacta

Andrs Elberg

7 de septiembre, 2017

Andrs Elberg () Efectos Parciales/Multicolinealidad Exacta 09/07 1 / 33

Plan

En clases anteriores estudiamos las propiedades algebraicas de las

estimaciones MCO
Hoy vamos a concentrarnos en dos temas:
1 Interpretacin de los estimadores MCO como "efectos parciales"
2 Supuesto de ausencia de multicolinealidad exacta
Interpretacin de Estimadores MCO: Efectos Parciales

En una regresin mltiple los estimadores MCO de las pendientes

tienen la interpretacin de efectos parciales
efecto de xj manteniendo constante el resto de las variables explicativas
Cul es la mecnica a travs de la cual MCO estima estos efectos
parciales?
Vamos a ver que MCO estima b j utilizando slo aquella variacin de
xj no explicada por las otras variables explicativas
Interpretacin de Estimadores MCO: Efectos Parciales

Recordemos el estimador MCO de la pendiente de una regresin

simple Pn
b = i =1 (xi x) (yi y )
1 Pn
i =1 (xi x)2
b depende de cunto covaran x e y (como fraccin de la varianza de
1
x)
MCO usa toda la variacin en x que permite explicar y para estimar
1
Diagrama de Ballantine: Modelo Simple
Circulos representan variacin en y y x

MCO utiliza la variacin en el rea achurada para estimar 1

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 5 / 33

Efectos Parciales

Consideremos ahora un modelo de regresin mltiple:

y= 0 + 1 x1 + 2 x2 +u

Ahora MCO NO va a utilizar toda la variacin en x1 que permite

explicar y
MCO slo va a utilizar aquella parte de la variacin de x1 no
explicada por x2
Efectos Parciales: Diagrama de Ballantine
Podemos usar el siguiente diagrama para entender la mecnica de los
estimadores MCO:

x1 x2
Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 7 / 33
Efectos Parciales

En una regresin de y sobre x1 , MCO utiliza la variacin

representada por las reas Azul y Roja para estimar 1
En una regresin de y sobre x1 y x2 , MCO utiliza
slo la variacin representada por el rea Azul para estimar el efecto
de un cambio en x1
slo la variacin representada por el rea Verde para estimar el efecto
de un cambio en x2
La informacin contenida en el rea Roja es descartada (reeja
variacin de y que es determinada por variacin en ambas variables
explicativas)

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 8 / 33

Efectos Parciales: Ejemplo

Supongamos que queremos estudiar los efectos de fumar durante el

embarazo
Modelo simple:
bwght = 0 + 1 cigs +u
donde
bwght = peso al nacer (en kilos)
cigs = nmero de cigarrillos diarios fumados durante el embarazo
Resultados de la Estimacin por MCO
Modelo Simple

. reg bwght_kilos cigs

Source SS df MS Number of obs = 1388

F( 1, 1386) = 32.24
Model 10.4965825 1 10.4965825 Prob > F = 0.0000
Residual 451.315493 1386 .325624454 R-squared = 0.0227
Adj R-squared = 0.0220
Total 461.812075 1387 .332957516 Root MSE = .57064

bwght_kilos Coef. Std. Err. t P>|t| [95% Conf. Interval]

cigs -.0145652 .0025654 -5.68 0.000 -.0195976 -.0095327

_cons 3.395473 .0162256 209.27 0.000 3.363644 3.427303
Efectos Parciales: Ejemplo

Estimacin de 1 en modelo simple: b 1 = 0; 0146

si una mujer fuma un cigarrillo adicional al da durante su embarazo
esperamos que el peso promedio del recin nacido se reduzca en 14,6
grs.
Notemos qu pasa con b 1 cuando agregamos otra variable al modelo
Consideremos el modelo

bwght = 0 + 1 cigs + 2 faminc +u

donde faminc = ingreso familiar (en miles de US$ de 1988)

Resultados de la Estimacin por MCO
Modelo Mltiple

. reg bwght_kilos cigs faminc

Source SS df MS Number of obs = 1388

F( 2, 1385) = 21.27
Model 13.7642343 2 6.88211714 Prob > F = 0.0000
Residual 448.047841 1385 .323500246 R-squared = 0.0298
Adj R-squared = 0.0284
Total 461.812075 1387 .332957516 Root MSE = .56877

bwght_kilos Coef. Std. Err. t P>|t| [95% Conf. Interval]

cigs -.0131374 .0025962 -5.06 0.000 -.0182302 -.0080445

faminc .0026298 .0008275 3.18 0.002 .0010066 .004253
_cons 3.316158 .0297382 111.51 0.000 3.257821 3.374495
Efectos Parciales: Ejemplo

Estimacin de 1 en modelo mltiple: b 1 = 0; 0131

si una mujer fuma un cigarrillo adicional al da durante su embarazo
esperamos que el peso promedio del recin nacido se reduzca en 13,1
grs. cuando mantenemos el ingreso familiar constante
Por qu cambia la estimacin de 1 ?
Porque ahora MCO slo est usando variacin de cigs no explicada
por faminc para estimar 1
Efectos Parciales: Ejemplo

Supongamos que le quitamos a cigs el efecto de faminc

Cmo hacemos eso?
Regresamos cigs en faminc

cigs = 0 + 1 faminc +v

y usamos los residuos de esta regresin, vb

Esos residuos son aquella parte de la variable cigs no explicado por
faminc
Qu pasa si regresamos bwght en vb?
Ejemplo
Modelo Simple usando Variacin en Cigs no explicada por Faminc

. reg bwght_kilos cigs_res

Source SS df MS Number of obs = 1388

F( 1, 1386) = 25.32
Model 8.28380089 1 8.28380089 Prob > F = 0.0000
Residual 453.528274 1386 .327220977 R-squared = 0.0179
Adj R-squared = 0.0172
Total 461.812075 1387 .332957516 Root MSE = .57203

bwght_kilos Coef. Std. Err. t P>|t| [95% Conf. Interval]

cigs_res -.0131374 .002611 -5.03 0.000 -.0182594 -.0080153

_cons 3.365073 .0153542 219.16 0.000 3.334954 3.395193
Efectos Parciales: Ejemplo

Notar que el coeciente asociado a cigs_res (b

v ) es exactamente el
mismo que el coeciente asociado a cigs en la regresin mltiple
teorema de Frisch-Waugh-Lovell
Esto nos muestra que en la regresin mltiple MCO estima efectos
parciales
MCO no utiliza la parte de cigs correlacionada con el ingreso familiar
para estimar el efecto de cigs (sobre el peso al nacer)
Efecto de fumar un cigarrillo diario adicional manteniendo el ingreso
familiar constante
Teorema de Frisch-Waugh-Lovell

En general, podemos escribir el estimador MCO de j en una

regresin mltiple como:
Pn
x y
b = Pi =1 ij i
j n 2
i =1 xij

xij son los residuos de una regresin de xj sobre el resto de las

variables explicativas

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 17 / 33

Invertibilidad de la Matriz XX

Cuando derivamos los estimadores MCO en el modelo de regresin

0
mltiple debimos asumir que la matrix X X es invertible
1
b = X0 X 0
Xy

De otro modo no es posible estimar el modelo por MCO

Qu restricciones sobre la matriz de datos X impone la condicin de
0
invertibilidad de X X?

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 18 / 33

Revisin de lgebra Matricial: Rango e Inversa de una
Matriz

Denition
Sea A una matrix m n. El rango columna de A es el mximo nmero
de columnas linealmente independientes que contiene. El rango la de A
es el mximo nmero de las linealmente independientes que contiene.

Puede demostrarse que el rango la de A es igual a su rango

columna. Luego,
r (A) min (m; n)

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 19 / 33

Revisin de lgebra Matricial: Rango e Inversa de una
Matriz (2)

Denition
Sea A una matrix m n, m n, Decimos que A tiene rango completo si
y slo si
r (A) = m

Denition
Sea A una matriz cuadrada de orden m. Decimos que A es no singular si y
slo si
r (A) = m

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 20 / 33

Rango de la Matriz XX

0
Lo anterior implica que para que X X sea invertible debe tener rango
completo
0 0
Dado que X X es una matriz cuadrada de orden (k + 1), X X tiene
rango completo si y slo si
0
r X X =k +1

Qu implica esta condicin para la matriz de datos X?

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 21 / 33

Rango de la Matriz X

0
Puede demostrarse que X X tiene rango completo si y solo si la
matriz X tiene rango completo

r (X) = k + 1

Las columnas de la matriz X deben ser linealmente independientes

(l:i:)
dado que k + 1 columnas no pueden ser l.i. si su dimensin es menor
que k + 1, el supuesto implica que n k + 1
Supuesto conocido como ausencia de multicolinealidad exacta

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 22 / 33

Demostracin: Equivalencia de condiciones sobre rango(X)
y rango(XX) (*)

Supongamos que el rango de X es menor que k + 1

Entonces existe un vector d 6= 0 de dimensiones (k + 1) 1 tal que
Xd = 0
0
Para ese mismo vector tenemos que X Xd = 0
0
Por lo tanto, el rango de X X es menor que k + 1
0
Concluimos que r (X) < k + 1 ) r X X < k + 1
0
Equivalentemente, r X X = k + 1 ) r (X) = k + 1

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 23 / 33

Demostracin: Equivalencia de condiciones sobre el
rango(X) y rango(XX) (cont.) (*)
0
Supongamos ahora que el rango de X X es menor que k + 1
Entonces existe un vector d 6= 0 de dimensiones (k + 1) 1 tal que
0
X Xd = 0
Para ese mismo vector sea v = Xd
0
v0 v = d0 X Xd = d0 0 = 0
) v = Xd = 0 (una suma de cuadrados es cero si y solo si todos sus
elementos son iguales a cero)
Por lo tanto, el rango de X es menor que k + 1
0
Concluimos que r X X < k + 1 ) r (X) < k + 1
0
Equivalentemente, r (X) = k + 1 ) r X X = k + 1

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 24 / 33

Ejemplos de Multicolinealidad Exacta

Ej. 1. Si los valores muestrales de una variable son todos iguales

(cero variabilidad) entonces las columnas de X no son l:i: (por qu?)
Ej. 2. Supongamos que una de las variables explicativas es
"educacin" y todos los individuos de la muestra slo han completado
enseanza media
En ese caso podemos escribir la columna correspondiente a la variable
"educacin" como 12 veces la columna 1 (columna de 1s)
0
Luego, la matriz X X es no invertible

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 25 / 33

Ejemplos de Multicolinealidad Exacta

Ej. 3. Ecuacin de salarios:

Salario = 0 + 1 Educ + 2 Exper + 3 Edad +u

donde Edad = 6 + Educ + Exper

Tpicamente la variable Exper corresponde a "experiencia potencial":

Exper = Edad Educ 6

Esto implica que la inclusin de las variables Exper, Educ y Edad

genera un problema de multicolinealidad exacta

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 26 / 33

Ausencia de Multicolinealidad Exacta: Intuicin

Consideremos el siguiente modelo de regresin:

y= 0 + 1 x1 + 2 x2 +u

Existe una relacin lineal entre las variables explicativas

x2 = a + bx1

donde a y b son constantes cualesquiera

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 27 / 33

Ausencia de Multicolinealidad Exacta: Intuicin

Podemos escribir la ecuacin de regresin en trminos de x1 como

y = 0 + 1 x1 + 2 (a + bx1 ) + u

= 0 +a 2 +( 1 +b 2 ) x1 +u

Notar que es imposible estimar separadamente los parmetros 1 y 2

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 28 / 33

Ausencia de Multicolinealidad Exacta

Si existe multicolinealidad exacta no podemos estimar separadamente

los parmetros 1 y 2
Conocido como problema de identicacin
Intuitivamente, la inclusin de x1 y x2 no agrega ms informacin al
modelo que la inclusin de slo una de ellas
Le estamos exigiendo a MCO que estime un parmetro adicional pero
no le estamos proporcionando informacin adicional para hacer la
estimacin!

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 29 / 33

Caso de Cero Colinealidad

x1 x2

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 30 / 33

Caso de Colinealidad Baja

x1 x2

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 31 / 33

Caso de Colinealidad Alta

x1 x2

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 32 / 33

Caso de Colinealidad Perfecta

x1 , x2

Andrs Elberg (UDP) Efectos Parciales/Multicolinealidad Exacta 09/07 33 / 33