Ingeniera Comercial

Distribuciones muestrales de los

estimadores MCO

Contrastes de hiptesis: test t

Intervalos de confianza

Contrastes de restricciones lineales

mltiples.
Distribucin asinttica del estimador MCO.

Recordemos que tanto los parmetros del

modelo a estimar, , como la varianza de la
regresin, 2 son desconocidas
Y por eso estamos usando este mtodo llamado
MCO para estimar estos parmetros
Hemos estado usando e interpretando estimadores
punto, pero estos estimadores no proporcionan
informacin al investigador sobre qu tan cerca est
del verdadero parmetro poblacional.
Necesito entonces apelar no slo al valor de la estimacin
puntual sino a cmo luce la distribucin muestral del
estimador
Qu tan lejos ests 1.2 de 1?

Ya vimos en el tema anterior ciertas propiedades

estadsticas de los estimadores MCO, en particular
Insesgamiento
=
Varianza
=

=1

(1 2 )

Necesitamos definir la distribucin que sigue la

variable , para poder construir intervalos de
confianza y hacer pruebas de hiptesis

Si asumimos normalidad de los errores, podemos

demostrar que
|~ 0 + 1 1 + 2 2 + + + , 2
Y entonces, la distribucin de tambin ser
normal, con esperanza y la varianza que ya
escribimos antes
2
=
2

(1

)
=1

Dado esto, si conociramos 2 , podramos usar el

hecho de que

=
~(0,1)
( )
donde s( ) es la raiz cuadrada de V( ).

Pero no conocemos 2 Lo estamos estimando

Se acuerdan cmo?
2

=1
2
=
1

Se puede demostrar que si los errores son normales,

este estimador es independiente de y entonces, si
reemplazamos el verdadero 2 por su estimador,
tendremos una variable t (t-student) en vez de una
variable normal
Esto es,

( )

~1

donde k es el nmero total de variables en el modelo.

La distribucin t es una distribucin muy parecida a la

normal, es ms si N es grande, lucen casi iguales.

A este estadstico se lo suele denominar t-ratio.

Comenzamos definiendo una hiptesis sobre un nico

parmetro en el modelo de regresin mltiple.
= 0 + 1 1 + 2 2 + + + +
Podemos plantearnos preguntas como:
Hay evidencia de 1 =1? Es 1 mayor que 1?

En los contrastes de hiptesis siempre hay dos

hiptesis.
Hiptesis nula: representa con igualdad el valor que se desea
contrastar.
0 : 1 = 1
Hiptesis alternativa: representa un valor alternativo al de la
hiptesis nula

Hiptesis alternativa, se representa por 1 y

puede ser de tres tipos:
Valor distinto al de 0 .
0 : 1 = 1
1 : 1 1
Valor mayor al de 0 .

0 : 1 = 1
1 : 1 > 1
Valor menor al de 0 .

0 : 1 = 1
1 : 1 < 1

La conclusin al hacer cualquier hiptesis es

que se rechaza o no se rechaza la hiptesis
nula.
Nunca decimos que aceptamos la hiptesis
nula.
Rechazar o no rechazar se hace de acuerdo a
alguna regla de decisin
Cambia la regla segn la hiptesis alternativa que se
establezca.

Para establecer una regla, tenemos que

construir un estadstico.

Qu es un estadstico?
Un estadstico es una variable aleatoria que slo
depende de parmetros conocidos.
Se construye a partir de las mismas estimaciones
que hemos obtenido para los estimadores, en
este caso y 2 . Se construye bajo la hiptesis
nula: no depende de la hiptesis alternativa.

Para hacer un contraste sobre una nica

hiptesis, usaremos un estadstico t.

Demostramos arriba, que si los errores son normales,

=

( )

~1

donde k es el nmero total de variables en el modelo.

Tenemos la hiptesis nula 0 : = 0

Bajo esta hiptesis el estadstico se escribe

~1

Este estadstico puede calcularse sin problemas a partir

de la muestra y la hiptesis nula planteada.

Tenemos que definir una regla de decisin: cundo

rechazar la hiptesis nula.
Es decir, determinar para qu valores del estadstico,
no rechazamos y para qu valores lo hacemos.
La regin de rechazo depende de la hiptesis
alternativa
Si > 0 , entonces 0 >0 y entonces como el estimador
MCO es insesgado para esperaramos que 0 >0, y por
lo tanto que > 0. La regla debe determinar qu tan positivo
(distinto de 0) tiene que ser t para que rechacemos la
hiptesis nula.
La regla entonces es definir un c, tal que t>c, nos coloca en zona
de rechazo.

Cmo definimos c?
Tenemos que definir un nivel de significancia, denotado
por .
es la probabilidad de rechazar la hiptesis nula cuando
esta es cierta.
= ( | es cierta)

Cuando la hiptesis nula es cierta, nosotros sabemos que

~1

Y entonces definiremos el valor de c tal que en la

distribucin t-student con n-k-1 grados de libertad dejamos
a la derecha una probabilidad . A este valor lo denotamos
valor crtico.

La zona roja denota la zona de rechazo Si el t es muy grande, es

porque mis datos no son consistentes con la hiptesis nula 0 : = 0

Resumiendo
0 : = 0
1 : > 0
Rechazamos la hiptesis nula bajo un un nivel de
significancia, denotado por , si es que el
estadstico observado > 1, .

Si la hiptesis alternativa es la opuesta

0 : = 0

1 : < 0
Rechazamos la hiptesis nula bajo un un nivel de
significancia, denotado por , si es que el estadstico
observado < 1, .

Si la hiptesis alternativa es bilateral

0 : = 0
1 : 0
Rechazamos la hiptesis nula bajo un un nivel de
significancia, denotado por , si es que el
estadstico observado > 1, .

Test ms usado
En el caso particular que 0 =0, se le llama test o
contraste de significatividad.

Definicin de p-value o p-valor.

Es el nivel de signifcacin ms pequeo al que podramos
rechazar la hiptesis nula, dado el estadstico t-observado
que hemos obtenido.
El p-valor se calcula dependiendo de la hiptesis alternativa:
1 : 0 : = ( (1 > )
1 : > 0 : = (1 > )
1 : < 0 : = (1 < )

1 : 0 : = ( (1 > )

1 : > 0 : = (1 > )

1 : < 0 : = (1 < )

Source |
SS
df
MS
-------------+-----------------------------Model | 262.690453
1 262.690453
Residual | 61.2190831
266 .230146929
-------------+-----------------------------Total | 323.909536
267 1.21314433

Number of obs
F( 1,
266)
Prob > F
R-squared
Adj R-squared
Root MSE

=
268
= 1141.40
= 0.0000
= 0.8110
= 0.8103
= .47974

-----------------------------------------------------------------------------ln_sal |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------educ |
.1920541
.0056847
33.78
0.000
.1808614
.2032467
_cons |
7.154218
.05682
125.91
0.000
7.042344
7.266092
------------------------------------------------------------------------------

H0: = 0
(0.1920541-0)/0.0056847=33.78

Caigo en zona
de rechazo

Valor crtico (99% nivel de confianza) t266=2.5944

Valor crtico (95% nivel de confianza) t266=1.9689
Valor crtico (90% nivel de confianza) t266=1.6506

Caigo en zona
de rechazo

p-value: Prob(t<-33.78)+Prob(t>33.78)=nmero muy

pequeo, 0.00(96 ceros)32

Source |
SS
df
MS
-------------+-----------------------------Model | 262.690453
1 262.690453
Residual | 61.2190831
266 .230146929
-------------+-----------------------------Total | 323.909536
267 1.21314433

Number of obs
F( 1,
266)
Prob > F
R-squared
Adj R-squared
Root MSE

=
268
= 1141.40
= 0.0000
= 0.8110
= 0.8103
= .47974

-----------------------------------------------------------------------------ln_sal |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------educ |
.1920541
.0056847
33.78
0.000
.1808614
.2032467
_cons |
7.154218
.05682
125.91
0.000
7.042344
7.266092
------------------------------------------------------------------------------

H0: = 0.20
(0.1920541-0.20)/0.0056847=-1.3967

Caigo en zona
de no rechazo

Valor crtico (99% nivel de confianza) t266=2.5944

Valor crtico (95% nivel de confianza) t266=1.9689
Valor crtico (90% nivel de confianza) t266=1.6506

Caigo en zona
de no rechazo

p-value: Prob(t<-1.3967)+Prob(t>1.3967)=0.16
Slo podramos rechazar si eligieramos un nivel de
confianza inferior al 0.84

La otra cara de las pruebas de hiptesis son los

intervalos de confianza.
Un intervalo de confianza es un intervalo aleatorio que
contiene al verdadero valor del parmetro con una
cierta probabilidad.
Dada una muestra obtendremos una estimacin de
este intervalo; los lmites ya estn fijos, no podemos
interpretarlo ya como que contiene al verdadero
parmetro con una cierta probabilidad.
Interpretacin: Dado un intervalo de confianza
construido con probabilidad 1-, si tuvieramos 100
muestras diferentes y para cada una de stas
calculramos el intervalo de confianza en 100*(1-)%
de las veces el verdadero valor del coeficiente estar
contenido en el intervalo de confianza calculado.

Cmo se estima el intervalo de confianza

Sea el estadstico
=

~1

Un intervalo de confianza de probabilidad (1-) vendra

dado por

1, <
< 1, = 1

2
2
Despejamos para y obtenemos
1, < < + 1, = 1
2

El intervalo de confianza est dado por la siguiente

expresin
1, ; + 1,
2

Una vez obtenidas nuestras estimaciones para y

para , obtenemos el estimador de intervalos.
Volvamos al ejemplo que vimos antes

Source |
SS
df
MS
-------------+-----------------------------Model | 262.690453
1 262.690453
Residual | 61.2190831
266 .230146929
-------------+-----------------------------Total | 323.909536
267 1.21314433

Number of obs
F( 1,
266)
Prob > F
R-squared
Adj R-squared
Root MSE

=
268
= 1141.40
= 0.0000
= 0.8110
= 0.8103
= .47974

-----------------------------------------------------------------------------ln_sal |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------educ |
.1920541
.0056847
33.78
0.000
.1808614
.2032467
_cons |
7.154218
.05682
125.91
0.000
7.042344
7.266092
------------------------------------------------------------------------------

P (1.96 t 1.96) .95

P 1.96 ^
1.96 .95

/ xi2

^
^

1
.
96

1
.
96

.95

xi2
xi2

P 1.96 se( ) 1.96 se( ) .95

P 1.96 * 0.005 1.96 * 0.005 .95

P 0.01114201 0.01114201 .95

P0.1809 0.2031 .95

Noten que el intervalo de confianza es la contracara de las

pruebas de hiptesis.
El intervalo de confianza nos dice cul sera la regla de
decisin con respecto a distintas hiptesis nula (bajo un nivel
de significancia de ) si quisieramos hacer pruebas de
hiptesis.
Volviendo al ejemplo
Source |
SS
df
MS
-------------+-----------------------------Model | 262.690453
1 262.690453
Residual | 61.2190831
266 .230146929
-------------+-----------------------------Total | 323.909536
267 1.21314433

Number of obs
F( 1,
266)
Prob > F
R-squared
Adj R-squared
Root MSE

=
268
= 1141.40
= 0.0000
= 0.8110
= 0.8103
= .47974

-----------------------------------------------------------------------------ln_sal |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------educ |
.1920541
.0056847
33.78
0.000
.1808614
.2032467
_cons |
7.154218
.05682
125.91
0.000
7.042344
7.266092
------------------------------------------------------------------------------

Hiptesis acerca de un nico parmetro

Test t, tal como lo estuvimos antes.
Podemos tambin hacer contrastes unilaterales.
Nada cambia.

Qu pasa si queremos evaluar la relacin

entre dos parmetros?
Supongamos que tenemos el modelo
Y= 0+1X1+ 2X2+
Queremos evaluar si Ho: 1=2

Noten que esta hiptesis se puede expresar

como H0: 1-2=0
La hiptesis involucra una combinacin lineal
entre los parmetros
Pero no es distinta de lo que hicimos antes

Es una sola hiptesis

Tenemos que evaluar si nuestros datos son consistentes
con 1-2=0
La forma de definir el test es la misma
Repasemos la intuicin

Noten que tanto los estimadores 1 como 2 son

normales, entonces cualquier combinacin lineal de
ellos tambin lo ser.
Tenemos que estimar tambin su varianza.
Asumamos que podemos hacerlo.
Definimos el estadstico, que tambin tendr distribucin t

1 2

1 2
El clculo es similar al que hicimos para un solo
parmetro.
Salvo que ahora tenemos que encontrar la
desviacin estndar muestral de la diferencia entre
los parmetros.

Cmo encontrar esta desviacin estndar?

Hay que recordar cul es la expresin para la
varianza de la resta de dos variables aleatorias
Var (1 2 ) Var (1 ) Var (2 ) 2 * cov( 1 2 )

La desviacin estndar es simplemente la raz

cuadrada de esta cantidad
Veamos un ejemplo. Tengo el modelo
^

log( salario) 1.472 0.0667educ 0.0769 exp

(0.021) (0.0068)
n 6763 Cov(1 , 2 ) 0.00114

(0.023)

Hagamos algunos clculos

Var ( 1 2 ) 0.00682 0.0232 2 * 0.00114
Var ( 1 2 ) 0.00285524
Pero
Se( 1 2 ) 0.00285524 0.05343445

El test se calcula como

(0.0667 0.0769) 0
0.05343445
t -0.1908881
t

Claramente caigo en zona de no rechazo

t-crtico (95%) aprox 1.96
P-value asociado a este t observado: 0.84

Supongamos que tenemos el siguiente modelo

Y= 0+1X1+ 2X2+3X3++kXk+
Ejemplos de hiptesis que puedo plantear
Ho: 1=2=3==k=0 (k restricciones)

Ho: 1-2=0 (1 sola restriccin)

Ho: 1=1; 2=3; k=4 (3 restricciones)

En segundo caso podemos usar un estadstico t

En el primer y tercer caso, tenemos ms de una restriccin

Cmo podemos evaluar ms de una restriccin en forma conjunta?

Hay diversos enfoques

Dado que no hemos estado trabajando con matrices, opto
por uno de varios enfoques.
Plantear pruebas de hiptesis en funcin de las sumas de
residuos.
Todos los enfoques son totalmente equivalentes
Veamos un ejemplo, tomemos la hiptesis
Ho: 1=1; 2=3; k=4 (3 restricciones)

Modelo original (no restringido)

Y= 0+1X1+ 2X2+3X3+ 4X4+ + k-1Xk-1 +kXk+

Modelo bajo la hiptesis nula Ho: 1=1; 2=3;

k=4
Y= 0+1*X1+ 2X2+2X3+4X4++k-1Xk-1+4*Xk+

trabajando, lo puede expresar como

Y-X1- 4*Xk= 0+ 2(X2+X3)+4X4++k-1Xk-1+

Es como si tuviramos otro modelo bajo la hiptesis

nula, dado por
Y*= 0+ 2Z+4X4++k-1Xk-1+ donde Y*= Y-X1- 4*Xk y Z=(X2+X3)

Este modelo puede estimarse por MCO

Sabemos algo acerca de la potencial relacin que existe
entre la suma de residuos del modelo restringido y la suma
de residuos del modelo sin restringir?

SR MR y MNR
El modelo restringido es un modelo al que se le ha
agregado ms informacin
la informacin contenida en la hiptesis nula

Pensemos en caso de una sola hiptesis, Ho: 1=0

El modelo restringido tiene una variable menos dentro del
conjunto de variables explicativas
Suma de residuos en el modelo restringido ser mayor a la suma de
residuos en el modelo no restringido u original
Slo si X1 efectivamente no es una variable que afecte la variable
explicativa Y, la SR coincidirn

SR MR y MNR
Esto es, no hay duda que SRR (suma de residuos restringida) es mayor
que la SRNR (suma de residuos no restringida)
Slo estarn cerca si los datos son consistentes con la hiptesis nula.

Parece natural entonces, que uno pueda evaluar las hiptesis en

trmino de la SR
Antes evalubamos las hiptesis comparando el estimado con respecto a
su valor en la hiptesis nula
Ahora vamos a evaluar una hiptesis comparando que tan distintas son la
SR del modelo original y el modelo restringido
En el modelo lineal, ambos mtodos nos dan el mismo valor para el
estadstico, lo comprobaremos para un ejemplo

Ejemplo: promedio en la universidad, modelo no

restringido

. reg colGPA hsGPA ACT

Source |
SS
df
MS
-------------+-----------------------------Model | 3.42365506
2 1.71182753
Residual | 15.9824444
138 .115814814
-------------+-----------------------------Total | 19.4060994
140 .138614996

Number of obs
F( 2,
138)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

141
14.78
0.0000
0.1764
0.1645
.34032

-----------------------------------------------------------------------------colGPA |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------hsGPA |
.4534559
.0958129
4.73
0.000
.2640047
.6429071
ACT |
.009426
.0107772
0.87
0.383
-.0118838
.0307358
_cons |
1.286328
.3408221
3.77
0.000
.612419
1.960237
------------------------------------------------------------------------------

Suma de residuos: 15.9824444

Ejemplo: promedio en la universidad, modelo

restringido

. reg colGPA hsGPA

Source |
SS
df
MS
-------------+-----------------------------Model | 3.33506006
1 3.33506006
Residual | 16.0710394
139 .115618988
-------------+-----------------------------Total | 19.4060994
140 .138614996

Number of obs
F( 1,
139)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

141
28.85
0.0000
0.1719
0.1659
.34003

-----------------------------------------------------------------------------colGPA |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------hsGPA |
.4824346
.0898258
5.37
0.000
.304833
.6600362
_cons |
1.415434
.3069376
4.61
0.000
.8085635
2.022304

Suma de residuos: 16.0710394

Test F, para Ho: 2=0

F

SRR SRNR / J
SRNR / N K 1

Este estadstico se distribuye F con J grados de libertad en el

numerador y N-K-1 grados de libertad en el denominador

Calculemos el test con el ejemplo

16.0710394 15.9824444 / 1
F
15.9824444 / 141 3
Test F es siempre positivo

F 0.76497122

Test F
Test F (1,141) crtico (95%) :3.9097
Caigo en zona de no rechazo

Zona rechazo

 Qu nos haba dicho antes el test t para la misma hiptesis?

Estadstico t=0.8746242
Noten que =0.87462422=0.7649
Cuando tengo una sola hiptesis lineal el test F= test t al cuadrado
Equivalencia total entre los test
. reg colGPA hsGPA ACT
Source |
SS
df
MS
-------------+-----------------------------Model | 3.42365506
2 1.71182753
Residual | 15.9824444
138 .115814814
-------------+-----------------------------Total | 19.4060994
140 .138614996

Number of obs
F( 2,
138)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

141
14.78
0.0000
0.1764
0.1645
.34032

-----------------------------------------------------------------------------colGPA |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------hsGPA |
.4534559
.0958129
4.73
0.000
.2640047
.6429071
ACT |
.009426
.0107772
0.87
0.383
-.0118838
.0307358
_cons |
1.286328
.3408221
3.77
0.000
.612419
1.960237
------------------------------------------------------------------------------

Utilidad del test F es para mltiples restricciones

Si tengo una sola restriccin lineal es conveniente utilizar
el test t porque slo necesito estimar un modelo, el modelo
sin restricciones
Slo para que quede claro
Hay una versin del test F que no veremos que no necesita
conocer las sumas de residuos
Elementos de lgebra matricial
No veremos esta forma

Resumiendo
Estimar el modelo restringido
Estimar el modelo sin restricciones
Calcular el test F

Caso particular del test F

En el modelo Y= 0+1X1+ 2X2+3X3++kXk+,
queremos evaluar la hiptesis
Ho: 1=2=3==k=0 (k restricciones)
por qu es un caso particular? Noten cmo luce el
modelo restringido, Y= 0+,

El modelo slo tiene una constante

En particular puedo demostrar que el estimador de 0 ser
SRR yi 0 yi y SCT
n

i 1

Y entonces 0 Y

i 1

El test F se reduce a,
F

SCT SRNR / J
SRNR / N K 1

dividiendo por SCT

SRNR
1
/ J
R2 / J
SCT

2
SRNR
/ N K 1 (1 R ) / N K 1
SCT

Este es el test de ajuste global que la

mayora de los paquetes estadsticos
incluye en sus outputs

. reg colGPA hsGPA ACT

Source |
SS
df
MS
-------------+-----------------------------Model | 3.42365506
2 1.71182753
Residual | 15.9824444
138 .115814814
-------------+-----------------------------Total | 19.4060994
140 .138614996

Number of obs
F( 2,
138)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

141
14.78
0.0000
0.1764
0.1645
.34032

-----------------------------------------------------------------------------colGPA |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------hsGPA |
.4534559
.0958129
4.73
0.000
.2640047
.6429071
ACT |
.009426
.0107772
0.87
0.383
-.0118838
.0307358
_cons |
1.286328
.3408221
3.77
0.000
.612419
1.960237
------------------------------------------------------------------------------

Clculo para este ejemplo

F

0.1764 / 2
14.7785333
(1 0.1764) / 138

Interpretacin:
El test evala estadsticamente el poder
explicativo conjunto que tienen las variables
incluidas en el modelo

Bajo los Supuestos

S1: el modelo es lineal en los parmetros

S2: tenemos un muestreo aleatorio de la poblacin
S3: Valor esperado condicional del error es nulo
S4: No colinealidad perfecta
S5: Homosedasticidad
Bajo S1-S5, EL ESTIMADOR MCO ES CONSISTENTE
El estimador MCO es inconsistente si el trmino de error est
correlacionado con alguna de las variables explicativas
Esto es, si no se cumple que E(u)=0 y Cov(xj,u)=0, para todo j

Normalidad asinttica (S1-S5)

El estimador MCO ser asintticamente normal

Propiedad importante para realizar pruebas de
hiptesis
Cuando u no es normal, nos apoyamos en este resultado
para aproximar la distribucin del estadstico t a una
distribucin t o a una normal.

Eficiencia asinttica

MCO tiene las menores varianzas asintticas.