Modelo de Regresin Lineal con 2 Variables (Captulo 6)

4. Anlisis de Regresin con Dos Variables

4.1 Anlisis de Regresin
Estudio de la relacin entre la variable dependiente Y y otras variables independientes
Xs

4.1.1 Objetivos del Anlisis de Regresin

Estimar la media de la variable Y dados los valores de la Xs

Contrastar hiptesis sobre la naturaleza de la dependencia
Predecir Y dados Xs
Combinar Objetivos
4.2 Funcin de Regresin de la Poblacin (FRP)

FRP No estocstica
E (Y | X i ) 1 2 X 1

siendo 1, 2 los parmetros de la regesin.

E (Y | X i )

es la esperanza de Y condicionada a los valores de X

4.2.1 Especificacin Estocstica de la Funcin de Regresin de la

Poblacin
FRP estocstica
Yi 1 2 X 1 i

donde:

1 , 2 son los parmetros poblacionales

i es el trmino de error, el cual es una variable estocstica
i incluye lo siguiente:

Variables no incluidas en el modelo

Aleatoriedad del comportamiento de las variables
Errores de medicin
Influencia de variables no muy relevantes (Navaja de Ockham)
4.2.2 Funcin de Regresin Poblacional FRP y de la muestra FRM

FRP
E (Y | X i ) 1 2 xi

FRP No estocstica
Y 1 2 xi

FRM Estocstica
Y 1 2 xi e

donde

ei Yi Y

4.3 Regresin Lineal Mltiple

Yi 1 2 x2 3 x3 ... k xk i E (Y ) i

Matricialmente esto se sintetiza como:

Ynx1 X nxk kx1 nx1

y1
Y
Yn

nx1

1 X 12
X
1 X n 2

X 13

X n3

X 1K

X nk

nxk

 1

k

1
i
n

kx1

nx1

As tenemos que en general ocurre que:

Ynx1 X nxk kx1 nx1

FRP

Ynx1 X nxk kx1 enx1

FRM

4.3.1 Mtodo MCO-OLS

Tcnica para ajustar la lnea recta ptima a la muestra de observaciones X Y a fin de
obtener estimadores de las s. La base del mtodo consiste en minimizar la suma de
cuadrados de las desviaciones entre los puntos y observaciones de la muestra y la lnea de
regresin terica.
4.3.2 Derivacin de estimaciones de MCO-OLS
Yi 1 2 x1 i
Y x e
i

2 1

donde Yi Y ei

ei Yi 1 2 x1
ei2 (Yi 1 2 x1 ) 2
2
2
n e (Y x )
i 1 i

2 1

min , S in1 (Yi 1 2 x1 ) 2

1

CPO

S
1

S
1

2 (Yi 1 2x1) 0

()

S
2

S
2

2 (Yi 1 2 x1 ) x1 0

()

Tomamos

2 (Yi 1 2x1) 0

(Y x ) 0
i 1 21

(Yi n1 2 x1 ) 0
Y n x
i

2 1

Yi n1 2 x1
Ahora tomamos

()

2 (Yi 1 2 x1 ) x1 0

2 (Yix1 1x1 2x1 ) 0

2
(Yi x1 1 x1 2 x1 ) 0

Y i x1 1x1 2 x12 0

Yi x1 1 x1 2 x1 0

()

Las ecuaciones () y () forman un sistema:

Yi n1 2 x1

Y i x1 1 x1 2 x12 0

()

siendo las incgnitas 1 , 2

Solucin: Reescribo el sistema:

n1 a2 b
a c d
1

Resolvemos por sustitucin:

1 bn an 2

a bn an 2 c2 d
ab a 2
n n

2 c2 d

2
c an 2 d
2
c an 2 d abn

ab
n

(nc a 2 ) 2 dn ab

dn ab
nc a 2

Ahora, dado 2 obtenemos 1

1 bn an 2

1 bn an

dn ab
nc a 2

2
1 b ( nc na( nc) aa(2dn) ab )

bc ad
nc a 2

Sustituyendo obtenemos los estimadores de MCO-OLS para dos variables

Y X Xi (Yi Xi )
1
2
2
n X i ( X i )
2
i i

n
Y
X

(
X
)(
Y
)

i
i
i
i
2 2 2
n X i ( X i )
Ahora bien, cmo sabemos que se trata de un mnimo?

CPO

S 2
12

S 2

2n 0

S 2

2 xi2 0

2 Xi 0

Se trata de un mnimo

Notas:
Yi 1 2 X i ei

Y i 1 2Xi ei

Y / n / n X / n e / n
i 1 2i i

Y 1 2 X

ni

ei xi 0
eYi 0

No hay correlacin
No hay correlacin

1 no tiene necesariamente un significado econmico especfico.

Estadsticamente es el efecto medio sobre Y de todas las variables en el modelo de
regresin
Linealidad en el contexto del modelo MCO-OLS implica linealidad de los parmetros
,

independientemente de que sean las lineales las

1
2 ...
variables
Yi 1 2 X i2
Lineal
2

Yi 1 2 X i
No Lineal

Yi 1 2 ln X i

Lineal

Modelo de Regresin Lineal con 2 Variables (Captulo 7)

4.4 Modelo de Regresin Lineal con 2 Variables
4.4.1 Supuesto del modelo de regresin lineal clsico
Linealidad de los parmetros
Yi 1 2 x1 i

Las variables xs no estn correlacionadas "no multicolinealidad"

E ( | X ) 0
2
VAR ( i ) Homocesdasticidad
i j
cov(i , j ) 0
No autocorrelacin
El modelo est correctamente especificado
2
i N (O, )

4.4.2 Varianzas y Covarianzas Caso Y 1 2 X

Es el caso de 2 variables
var cov ( X X ) 1 2

var(1) n x2 ( x )2
i i

Varianza de 1

var(2 ) n

Varianza de 2

cov(12 ) n( x )2( x )2
i i

2 xi2

2n
xi2 ( xi )2

2 xi

Covarianza

 Dado que no conocimos 2

(Yi 1 1 x1 ) 2
2
ee
n2
n2

SE ( 1 ) var(1 )
SE ( 2 ) var(2 )

Error Estandar de 1
Error Estandar de 2

4.4.3 Teorema de Gauss-Markov y MCO-OLS

Asumimos los supuestos del model de regresin lineal clsico, los estimadores de MCO son
MELI (Mejores Estimadores Lineales Insesgados)
Propiedades:

1 , 2 son lineales
E ( 1 ) 1 ; E ( 2 ) 2 son insesgados
E (S 2 ) 2

1 , 2 son eficientes

4.4.4 Distribuciones Muestrales de MCO-OLS

Dado i N (0, 2 ), Y 1 2 X 2 i
Tenemos que:
1 N ( 1 , var(1 ))

N ( 2 , var(2 ))

4.4.5 Contrastacin de Hiptesis

Sirven los estimadores como variables explicativas?
Eso lo averiguamos con una prueba de hiptesis
H0 : 2 0

H1 : 2 0

Hiptesis Nula: la variable no sirve

Hiptesis Alternativa: la variable sirve

Cmo la aplicamos?
Idealmente dado que es una normal:

2 2
SE ( )
2

N (0,1)

sin embargo SE ( 2 ) depende de 2 desconocida

usamos S 2 como sustituto a 2
t

2 2
tn2
SE ( 2 )

Criterio de Decisin
t t 2
Rechazo H0

Aveces nos interesa saber en donde sepuede ubicar K . Esto lo podemos saber con
un intervalo de confianza

Dado P t 2 t t 2 1

Sustituyo:

P t SEk( k) t 1

P t SE ( ) t SE ( ) 1
P t SE ( ) t SE ( ) 1
2

P t SE ( K ) k k t SE ( K ) 1
2

Intervalo de Confianza al 1 para k

4.4.6 Bondad de Ajuste
Qu tan buena es la regresin?
Analticamente:
(Yi Y ) (Yi Y ) ei
1 i ei

 12 i2 ei2 2i ei

e 2iei
n 2 2 2
i1 1 i i

2
2
2
in11 i ei
2
e2
1 n i 2 n i 2
i1 1 i1 1

Despejo:
i2 1 ei2
n
n
i1 12
i1 12

Coeficiente de Determinacin
R2 1

ei
2
in1 1

Coeficiente de Alineacin

1 R2
Coeficiente de Correlacin
R

R2

Propiedades:
R 2 0
0 R 2 1
4.4.7 Test de Normalidad
MCO-OLS funciona suponiendo normalidad. Cmo lo verificamos?
1) Graficar residuos (Histograma de Residuos)
2) Test Jarque-Bera

JB N6 s 2 ( K 43) 22

siendo S=sesgo y K=curtosis

En muestras grandes:
JB 22 Asintticamente
Si hay Normalidad JB 0
3) H0 : Normalidad

Criterio de Decisin: JB 2

Rechazo H0

Ejemplo:
JB 2.877
P value 0.2378
0.05

Es normal?
2 5.99

JB 22 Acepto H0

4.4.8 P-valores e Hiptesis Nula

Si me interesa rechazar H0 debiera tener un p-value cuyo valor sea pequeo (menor a
0.10)
Si me interesa aceptar H0 debiera tener un p-value cuyo valor sea grande (mayor a 0.10)

4.4.9 Calidad de la Prediccin

Supongamos Yi 1 2 X i
dado x 0 valor numrico especificado

Y0 1 2 X 0

Prediccin asociada a X 0

En general 0

se distribuye como

Y N ( X , 2 1 X0X1
0 1 2 0 N (X X )
i

Dados 2 desconocidos, usamos los estimadores muestrales y la normal ya no aplica, se

usa la distribucin t :

P Y0 t se(Y0 ) 1 2 X 0 Y0 t se(Y0 ) 1
2

Lmite Superior: Y0 t 2 se(Y0 )

Lmite Inferior: Y t se(Y )
0