Análisis de regresión múltiple

Pontificia Universidad Javeriana

Sergio Andrés Arango Bobadilla

Consideremos el siguiente modelo:

𝑚𝑎𝑡ℎ10𝑖 = 𝛽0 + 𝛽1 𝑙𝑢𝑛𝑐ℎ𝑝𝑟𝑔𝑖 + 𝑢𝑖

Donde:
𝑚𝑎𝑡ℎ10𝑖 Porcentaje de estudiantes en la escuela i que aprobaron el
examen de matemáticas.
𝑙𝑢𝑛𝑐ℎ𝑝𝑟𝑔𝑖 Porcentaje de estudiantes beneficiarios en la escuela i con
el programa de desayunos escolares.
𝑢𝑖 Término de error o perturbación
 ෣ = 32,14 − 0,32𝑙𝑢𝑛𝑐ℎ𝑝𝑔𝑖
𝑚𝑎𝑡ℎ10

N=408 𝑅2 = 0,17

Para discutir…
෢1 un estimador insesgado del parámetro poblacional?
Es 𝛽
Ventajas de un modelo de regresión múltiple
1. Permite controlar de manera explícita por muchos otros factores
que afecta en forma simultánea a la variable dependiente.

2. Agregar otros factores que afecten a la variable dependiente

conlleva a que una mayor variación de esta sea explicada.

3. Incorpora relaciones con formas funcionales muy generales.

 Modelo con dos variables independiente
Consideremos el siguiente modelo:

𝑠𝑎𝑙𝑎𝑟𝑖𝑜𝑖 = 𝛽0 + 𝛽1 𝑒𝑑𝑢𝑐𝑖 + 𝛽2 𝑒𝑥𝑝𝑒𝑟𝑖 + 𝑢𝑖

Donde
𝑠𝑎𝑙𝑎𝑟𝑖𝑜𝑖 Salario mensual del individuo i
𝑒𝑑𝑢𝑐𝑖 Años de educación del individuo i
𝑒𝑥𝑝𝑒𝑟𝑖 Años de experiencia del individuo i
𝛽1 Efecto ceteris paribus de los años de educación sobre el salario
𝛽2 Efecto ceteris paribus de los años de experiencia sobre el salario
 Modelo con dos variables independientes
Considere el siguiente modelo:

𝑐𝑜𝑛𝑠𝑢𝑚𝑜𝑖 = 𝛽0 + 𝛽1 𝑖𝑛𝑔𝑖 + 𝛽2 𝑖𝑛𝑔𝑖2 + 𝑢𝑖

Donde
𝑐𝑜𝑛𝑠𝑢𝑚𝑜𝑖 es el consumo de la familia i en bienes y servicios
𝑖𝑛𝑔𝑖 es el ingreso disponible de la familia i

¿Cuál es el efecto ceteris paribus del ingreso sobre el consumo?

 Modelo con k variables independientes

𝑦 = 𝛽0 + 𝛽1 𝑋1 + 𝛽2 𝑋2 + ⋯ + 𝛽𝑘 𝑋𝑘 + 𝑢

• El modelo contiene k+1 parámetros poblacionales

• En u siempre existirán factores que no podemos incluir en nuestro
modelo.
 Estimación por el método de MCO
Dada una muestra aleatoria: { 𝑥1𝑖 , … , 𝑥𝑘𝑖 , 𝑦𝑖 : 𝑖 = 1, … , 𝑛}, elegimos
෢1 , … , 𝛽
𝛽 ෢𝑘 de manera que:

𝑛 𝑛
2 2
෢0 − 𝛽
min ෍ 𝑢ෝ𝑖 = ෍ 𝑦𝑖 − 𝛽 ෢1 𝑥1𝑖 − ⋯ − 𝛽
෢𝑘 𝑥𝑘𝑖
𝑖=1 𝑖=1
 Multicolinealidad perfecta
Si una variable independiente es una combinación lineal exacta de las
otras variables independientes, el modelo sufre de colinealidad
perfecta y no puede ser estimado por el método de MCO.

Considere el siguiente modelo:

𝑣𝑜𝑡𝑒𝐴 = 𝛽0 + 𝛽1 𝑒𝑥𝑝𝑒𝑛𝑑𝐴 + 𝛽2 𝑒𝑥𝑝𝑒𝑛𝑑𝐵 + 𝛽3 𝑡𝑜𝑡𝑒𝑥𝑝𝑒𝑛𝑑 + u

¿Este modelo viola el supuesto de multicolinealidad?

Por ignorancia, especificamos un modelo como:

𝑣𝑜𝑡𝑒𝐴 = 𝛽0 + 𝛽1 𝑒𝑥𝑝𝑒𝑛𝑑𝐴 + 𝛽2 𝑒𝑥𝑝𝑒𝑛𝑑𝐵 + 𝛽3 𝑡𝑜𝑡𝑒𝑥𝑝𝑒𝑛𝑑 + u

Propiedades algebraicas de los estadísticos de MCO

1. σ𝑛𝑖=1 𝑢ෝ𝑖 = 0

2. σ𝑛𝑖=1 𝑥𝑖𝑗 𝑢ෝ𝑖 = 0 ∀𝑗 = 1, … , 𝑘

෢0 + 𝛽
3. 𝑦ത = 𝛽 ෢1 𝑥1 + ⋯ + 𝛽
෢𝑘 𝑥𝑘

𝑛
4. 𝑖=1 𝑦ෝ𝑖 𝑢ෝ𝑖 = 0
σ
 Estimador de MCO

σ𝑛𝑖=1 𝑟ෝ𝑗𝑖 𝑦𝑖 Relación muestral entre 𝑌𝑖 y 𝑋𝑗𝑖

𝛽෡𝑗 = después de descontar los efectos
σ𝑛 𝑟෢2𝑖=1 𝑗𝑖
parciales de 𝑋ℎ𝑖 para toda ℎ diferente
de 𝑗.

Donde:
𝑟ෝ𝑗𝑖 = 𝑥𝑗𝑖 − 𝑥ෞ
𝑗𝑖 ∀𝑗 = 1, … , 𝑘
 Bondad de Ajuste

𝑆𝐸𝐶 𝑆𝑅𝐶 Proporción de la variación

𝑅2 = =1− muestral de y que es explicada
𝑆𝑇𝐶 𝑆𝑇𝐶 por la variación muestral de
las variables explicativas.

Donde:
0 ≤ 𝑅2 ≤ 1

IMPORTANTE: 𝑅2 nunca disminuye y en general, aumenta cuando se

agrega otra variable independiente a la regresión.
Estimamos el siguiente modelo:

𝐿𝑜𝑔 𝑤𝑎𝑔𝑒𝑖 = 𝛽0 + 𝛽1 𝑒𝑑𝑢𝑐𝑖 + 𝑢𝑖

Estimamos el siguiente modelo:

𝐿𝑜𝑔 𝑤𝑎𝑔𝑒𝑖 = 𝛽0 + 𝛽1 𝑒𝑑𝑢𝑐𝑖 + 𝛽2 𝑒𝑥𝑝𝑒𝑟𝑖 + 𝑢𝑖

 Insesgamiento
Empleando los cuatro supuestos, debemos demostrar que:

෢0 𝑥1 , … , 𝑥𝑘 = 𝛽0
𝐸 𝛽

𝐸 𝛽෡𝑗 𝑥1 , … , 𝑥𝑘 = 𝛽𝑗 𝑗 = 1, … , 𝑘

Nota: El insesgamiento no se cumple cuando no se satisface alguno de

los cuatro supuestos.
 Sesgo de variable omitida
Aparece cuando uno o más variables explicativas incluidas están correlacionadas
con una variable omitida.
Asumamos que el verdadero modelo poblacional establece que:
𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + 𝑢𝑖

Por ignorancia o falta de datos estimamos la siguiente ecuación

෪0 + 𝛽
𝑦෤ = 𝛽 ෪1 𝑥1

෪1 es sesgado y 𝐸 𝛽
𝛽 ෪1 𝑥1 , 𝑥2 = 𝛽1 + 𝛽2 ෪
𝛿1
෪1 proviene de la regresión auxiliar 𝑥
Donde 𝛿 ෪0 + 𝛿
෦2 = 𝛿 ෪1 𝑥1
 ෪1 cuando 𝑥2 es omitido de la estimación
Sesgo en 𝛽
 Eficiencia

Supuesto 5: Homocedasticidad

𝑽𝒂𝒓 𝒖 𝒙𝟏 , … , 𝒙𝒌 = 𝝈𝟐

Dado cualquier valor de las variables explicativas, el error u tiene la

misma varianza.
 Varianza de los estimadores de MCO
Bajo los supuestos de 1 a 5, se puede demostrar que:

𝜎2 𝜎2
𝑉𝑎𝑟 𝛽෡𝑗 = 𝑛 2 = 2
σ𝑖=1 𝑟ෞ
𝑖𝑗 𝑆𝑇𝐶𝑗 (1 − 𝑅𝑗)

Donde:
2
𝑆𝑇𝐶𝑗 = σ𝑛𝑖=1 𝑥𝑗𝑖 − 𝑥ഥ𝑗
𝑅𝑗2 de la regresión auxiliar de 𝑥𝑗 contra el resto de variables explicativas.
 Estimación de 2
𝜎 :Errores estándar de los
estimadores de MCO
𝑛
1
𝜎෢2 = ෍ 𝑢ෝ𝑖 2
𝑛 − (𝑘 + 1)
𝑖=1

Donde:

𝐸 𝜎෢2 𝑥1 , … , 𝑥𝑘 = 𝜎 2
Errores estándar de los estimadores de MCO
𝜎2 𝜎2
𝑉𝑎𝑟 𝛽෡𝑗 = 𝑛 2 = 2
σ𝑖=1 𝑟ෞ
𝑖𝑗 𝑆𝑇𝐶𝑗 (1 − 𝑅𝑗)

𝜎
𝑑𝑒 𝛽෡𝑗 = 1
[𝑆𝑇𝐶𝑗 1 − 𝑅𝑗2 ]2

IMPORTANTE: La presencia de heterocedasticidad no causa sesgo en

las 𝛽෡𝑗 , pero si conduce a un sesdo en 𝑉𝑎𝑟 𝛽෡𝑗 y en 𝑑𝑒 𝛽෡𝑗
 𝑉𝑎𝑟 𝛽෡𝑗 depende de tres factores:
1. 𝜎෢2 Varianza del error
Una forma de reducirlo es agregando más variables
explicativas, siempre y cuando estas sean relevantes.

2. 𝑆𝑇𝐶𝑗 Varianza muestral de las 𝒙𝒋

Una forma de aumentarlo es incrementando el tamaño de
la muestra
3. 𝑅𝑗2 R-cuadrada de la regresión auxiliar de 𝒙𝒋 versus el resto de variables explicativas
 Teorema de Gauss-Markov
Sean 𝛽෢0 , 𝛽
෢1 , … , 𝛽
෢𝑘 los estimadores de MCO del modelo 𝑦 = 𝛽0 +
𝛽1 𝑋1 + 𝛽2 𝑋2 + ⋯ + 𝛽𝑘 𝑋𝑘 + 𝑢. Dado cualquier estimador 𝛽෩𝑗 que sea
lineal e insesgado.

𝑉𝑎𝑟 𝛽෡𝑗 ≤ 𝑉𝑎𝑟 𝛽෩𝑗

Entre los estimadores lineales insesgados, los estimadores de MCO

tienen la mínima varianza bajo los cinco supuestos de Gauss-Markov, es
decir; son estimadores MELI.
¿Por qué es importante el Teorema de G-M?

Justifica el uso del método de MCO para estimar los modelos de

regresión simple.