Sobre el desarrollo del curso

Temas
Bibliografa ->
Montgomery, Peck and Vining. Introduccin al anlisis
de Regresin Lineal.
Pea, Daniel . Regresin y anlisis de experimentos
Evaluacin
Software: Minitab y SPSS.


INTRODUCCIN
Qu indica Regresin ?
Trmino acuado por Galton (1886)
INTRODUCCIN
Se tiene la distribucin de las estaturas de una
poblacin a partir de una muestra y se desea predecir
la estatura de una persona seleccionada al azar.
Cul ser la mejor estimacin?

INTRODUCCIN
Si adems se conoce el peso de la persona cuya estatura
se quiere pronosticar.

Cmo podemos mejorar nuestra prediccin con esta
nueva informacin?

Analizar la distribucin de las estaturas condicionadas
a un peso dado.
Los modelos de Regresin
Los mtodos de regresin estudian las relaciones
cuando una o ms variables permite predecir en mayor
o menor grado el valor de otra variable.

Estructura de los modelos de
Regresin
2
( ) 0, ( ) , ( , ) 0
i i i j
E u Var u E u u i j o = = = =
0 1 i i i
y x u | | = + +
El modelo estructural bsico:

Supuestos sobre las perturbaciones:


Las perturbaciones tienen distribucin normal como
consecuencia del teorema del lmite central

Las cuales pueden expresarse respecto a la variable respuesta:


La distribucin de y para cada x es normal
Las observaciones de y
i
son independientes entre s
2
0 1
( / ) , ( / )
i i i i i
E y x x Var y x | | o = + =
Objetivos al estimar un modelo de
Regresin
Estimar:

Evaluando sus propiedades y contrastando las
hiptesis con los datos empricos
Luego, a partir del modelo estimado:

2
0 1
, , | | o
0 1

| | = +
i i
y x
Metodologa para construir un
modelo
Grfico de los datos exploratorio
Estimacin de parmetros del modelo.
Inferencia: PH o IC
Se comprueban los supuestos mediante el anlisis de
residuos
Ejemplo
131 1.14
i i
y x = +
Se cumplen los
supuestos?
:
i i i
residuos e y y =
5.46 o =
Estimacin de los parmetros
Estimacin por mxima verosimilitud.
Estimacin por mnimos cuadrados
Estimacin por el mtodo mximo
verosmil (MV)
Logaritmo de la funcin MV


Luego derivando esta funcin con respecto a cada uno
de los parmetros, es decir:
2 2 2
0 1 0 1
2
1
( , , ) log log2 ( )
2 2 2
| | o o t | |
o
=
i i
n n
L y x
2
0 1
0, 0, 0
| | o
c c c
= = =
c c c
L L L
Estimacin por el mtodo mximo
verosmil (MV)
Los estimadores MV del modelo son:


2
2
1 0 1
2 2
2 2 2
( )( )
cov( , )

, ,
( )
:
( )
( )( )
| | | o

= = = =

=
=

i i i
x i
i i
i i i i
x x y y e
x y
y x
S x x n
donde
x x x nx
x x y y x y nxy
Estimacin por mnimos cuadrados
(MC)
Cuadrado de los errores estimados:


Minimizando esta funcin, se tiene:




2
0 1
( ) | | =
i i
M y x
0 1
1 0 1
2
0, 0
cov( , )

,
| |
| | |
c c
= =
c c
= =
x
M M
x y
y x
S
Varianza residual
Como existe dos restricciones,
los n residuos no independientes, por tanto



Denominando varianza residual del modelo


0, 0 = =
i i i
e x e
2
2

2
o =

i
e
n
Propiedades de los coeficientes de
regresin
Los estimadores son combinaciones lineales de
las observaciones yi.



Los valores medios, de los estimadores son centrados:
0 1

, | |
1 , 0 ,
2

, :
( ) 1
,
( )
| | = =

| |
= =
|

\ .

i i i i
i
i i i
i
c y k y donde
x x
c k c x
x x n
1 1 0 0

( ) , ( ) | | | | = = E E
Propiedades de los coeficientes de
regresin
Las varianzas de los estimadores estn dadas
por:



Relacin entre :

0 1

, | |
2 2
2
1 0
2 2
1

( ) , ( )
( ) ( )
o
| | o
| |
= = +
|
|

\ .
i i
x
V V
x x n x x
0 1

, | |
2
0 1
2

cov( , )
( )
o
| |

=

i
x
x x
Propiedades de la varianza residual
Asumiendo normalidad:


Por tanto:



2
2
( 2)
2
~ _
o

i
n
e
2 2
4
2
( )
2
( )
2
E
V
n
o o
o
o
=
=

Resumen propiedades y supuestos

para calcularlos
Parmetro Estimador Esperanza Varianza Distribucin
Linealidad
Homocedasticidad
independencia Normal
Linealidad
Homocedasticidad
independencia Normal

Linealidad
Homocedasticidad
independencia
Linealidad
Homocedasticidad
independencia
Normalidad
0

|
1

|
2
o
1
|
0
|
2
o
2
2
( 2)
2
~ _
o

i
n
e
Inferencias respecto a los
parmetros
Los errores estndar de los estimadores de los
coeficientes estn dado por:


Bajo normalidad y estimando los errores estndar, los
estadsticos de prueba son:
2 2
2
1 0
2 2
1

( ) , ( )
( ) ( )
o
| | o
| |
= = +
|
|

\ .
i i
x
Se Se
x x n x x
( )
1
0
0
1
0 0
( 2) ( 2)
2
2
2
2
2

~ , ~

( )
( )
| |
| |
o
o

= =
| |
+
|
|

\ .

n n
i
i
t t t t
x
x x
n x x
Inferencias respecto a los
parmetros
Bajo normalidad los intervalos de confianza son:


2
1 1 ( 2,1 / 2)
2
2
2
0 0 ( 2,1 / 2)
2
2 2
2 2
2 2
( 2, / 2) ( 2,1 / 2)

( ) :
( )
1

( ) :
( )
( 2) ( 2)
( ) :
o
o
o o
o
| |
| | o
o o
o o
_ _



| |

|
|

\ .
| |
+
|
|

\ .

s s

n
i
n
i
n n
IC t
x x
x
IC t
n x x
n n
IC
El contraste de regresin
En base a la particin de la variabilidad total de la
variable respuesta, se tiene:






Nota:
2 2 2
1 1 1

( ) ( ) ( )
Variacin Variacin Variacin
total explicada no explicada
VT
n n n
i i i i
i i i
y y y y y y
VE VNE
= = =
= +

2 2
1
1

( ) ( )
n
i i
i
y y x x |
=
=

El contraste de regresin
Si la pendiente es cero es posible demostrar que:



Por tanto:

2 2
2 2
1 1
( 1) (1)
2 2

( ) ( )
~ , ~ ,
n n
i i
i i
n
y y y y
_ _
o o
= =

2
2
1
( 2)
2

( )
~
n
i i
i
n
y y
_
o
=

El contraste de regresin
Si la pendiente es cero es posible demostrar que:


Por tanto:


Luego:
2 2
2 2
1 1
( 1) (1)
2 2

( ) ( )
~ , ~ ,
n n
i i
i i
n
y y y y
_ _
o o
= =

2
2
1
( 2)
2

( )
~
n
i i
i
n
y y
_
o
=

(1, 2)
2
~
( 2)
n
VE VE
F
VNE n o

=

El contraste de regresin
Este contraste supone linealidad, ya que compara los
modelos:

El anlisis de varianza para este contraste:




Cul es la relacin entre Fc y tc, para probar que el
coeficiente de regresin es nulo?
0 0
1 0 1
: ( / )
: ( / )
H E y x
H E y x x
|
| |
=
= +
Fuente de
variacin
Suma de
Cuadrados
Grados de
Libertad
Cuadrados
Medios
F P-valor
Regresin VE 1 VE Fc P(F>Fc)
Residual VNE n-2 VE/(n-2)
Total VT n-1
El coeficiente de correlacin en regresin
Cmo comparar rectas de regresin de variables
distintas?
Coeficiente de determinacin del modelo:


Coeficiente de determinacin de regresin:

2
VE
R
VT
=
2 2 2
1
( )

, 0 1
( )
i
i
x x
VT VNE
r R
y y VT
|


= = s s

Inferencias acerca del coeficiente de correlacin

La distribucin muestral del coeficiente de correlacin
es algo compleja, para =
0
cuando n es grande:



Para =0 es sencillo:



( 2)
2
2
~
1
c n
r n
t t
r

+ +
=
`

)
0 0
0
(1 ) 1 (1 ) 1
3 log log
2 (1 ) 2 (1 ) 2( 1)
r
z n
r n
Estimacin intervlica para la respuesta media
Como:


Luego:


Por tanto:
0
0
/ 0 0 1 0
2
2
0
/
2

[ ] ,
( ) 1
( )
( )

o
= = = +
(

= +
(

y x
y x
i
E y x x x
x x
V
n x x
0
/ 0
( 2)
2
2
0
2
[ ]
~
( ) 1

( )

o

=
(

+
(

y x
n
i
E y x x
t
x x
n x x
0
0
/
2
2
0
/ ( 2, / 2)
2
( ) con (1 )%:
( ) 1

( )
o
o
o

+
(

y x
y x n
i
IC
x x
t
n x x
Estimacin intervlica para la prediccin de
nuevas observaciones
Como:


Luego:


Por tanto:
0 0 1 0
2
2
0
0 0
2

,
( ) 1
( ) 1
( )
o
= +
(

= + +
(

(

i
y x
x x
V y y
n x x
0 0
( 2)
2
2
0
2

~
( ) 1
1
( )
o

+ +
(

n
i
y y
t
x x
n x x
0
2
2
0
0 ( 2, / 2)
2
( ) con (1 )%:
( ) 1
1
( )
o
o
o

+ +
(

n
i
IC y
x x
y t
n x x