Clase7 AnalisisdeVarianza

UNI-EPIES
MODELOS LINEALES
MODELO DE REGRESIN
Escuela Profesional de Ingeniera Estadstica
Lic. Luis Huamanchumo de la Cuba
UNI-EPIES
MODELOS LINEALES
y
x1
.
.
.
xp
Sea el vector aleatorio:
Con matriz varianza-covarianza:
donde es pxp
El objetivo es encontrar la combinacin lineal:

x = 1x1+ 2x2 + + pxp
que tenga la mxima correlacin con y.
UNI-EPIES
MODELOS LINEALES
La correlacin mxima se llama:

Coeficiente de Correlacin Mltiple
r y(x1,,xp)
Operacionalizando:
2
r y(x1,,xp)
= max (correlacin(y, x) )
0
= max (cov (y, x))
0 var(y)var(x)
= max
0
=
(u)
u-1u
UNI-EPIES
MODELOS LINEALES
y
x1
.
.
.
xp
Suponiendo que el vector
tiene distribucin normal multivariada
E(y) = o + 1 x1 + + p xp
UNI-EPIES
MODELOS LINEALES
ANLISIS DE VARIANZA
UNI-EPIES
MODELOS LINEALES
El Modelo Particionado
Se pretende estimar el modelo:
Y = X1 1 + X2 2 +
^
^
(X1X1) 1 + (X1X2) 2 = X1Y
Ecuaciones normales:
(X2X1) 1 + (X2X2) 2 = X2Y
Resolviendo (i) y (ii):
(ii)
2 = ( X2X2 )-1X2( Y- X11 )

^
(i)
= ( X1M2X1 )-1( X1M2Y )
UNI-EPIES
MODELOS LINEALES
Ortogonalidad
Si X1 y X2 son ortogonales, entonces, X1X2=0

Reemplazando X1X2=0 en (i) y (ii) se tiene:
1 = (X1X1) -1X1Y
^
2 = (X2X2) -1X2Y
UNI-EPIES
MODELOS LINEALES
Componentes de inters:
SCR = Y(I-X(XX)-1X)Y
equivalentemente
^
YY - XY
reduccin debido a = SCE()
Y(X(XX)-1X-X2(X2X2)-1X2)Y
^
^
equivalentemente XY-2X2Y
SCE(2) = reduccin debido a 2 del modelo reducido

(Ho: 1 = 0)
UNI-EPIES
MODELOS LINEALES
^
^
XY - 2X2Y = SCE (1 | 2) = SCE() - SCE(2)
y;
SCR = YY SCE()
UNI-EPIES
MODELOS LINEALES
Tabla de ANVA para H0: 1=0
FUENTE DE VARIACIN
Debido a
G.L.
SUMA DE CUADRADOS
^
XY
Residual
Total
^
2X2Y
Debido a 2 (no ajustado) p - r

Debido a 1 (ajustado)
CUADRADOS
MEDIOS
^
^
XY - 2X2Y
n-p
^
YY - XY
YY
SCE (1 | 2)
n-p
r
SCE (1 | 2)
SCR
SCR
n-p
UNI-EPIES
MODELOS LINEALES
Si entre las variables explicativas hay un trmino constante,

entonces, se tiene:
SCT = SCE + SCR
Residual
Yi
SCT =
(Y
i
Yi Y^i
Y)2
SCE =
^
(Yi Y)2
SCR =
^2
(Yi Yi)
^
Yi
Total = Yi - Y
Yi Y
Y
Regresin
UNI-EPIES
MODELOS LINEALES
Representacin matricial:
SCT = YY n y 2
= Y( I -
^
SCE = XY n y 2 = Y( H -
SCR
1
n
J )Y
1
n
J )Y
= Y( I - H )Y
donde H=X(XX)-1X
UNI-EPIES
MODELOS LINEALES
APLICACIN
Construccin de Modelos
UNI-EPIES
MODELOS LINEALES
Mtodos Stepwise
a) Seleccin Forward
b) Seleccin Backward
UNI-EPIES
MODELOS LINEALES
CASO: Produccin de cemento
y = Temperatura (caloras x gramo de cemento)

X1 = tricalcio de aluminio
X2 = tricalcio de silicato
X3 = tetracalcio de aluminio ferroso
X4 = dicalcio de silicato
UNI-EPIES
MODELOS LINEALES
FORWARD
SUPUESTOS
1. No hay regresores en el modelo mas que el intercepto

2. Se insertan los regresores uno a uno
3. El primero en ingresar es el regresor con correlacin
simple con y ms alta
4. El siguiente regresor que ingresa es aquel con mayor
correlacin con y despus de ajustar con el regresor
que ya haba ingresado (correlacin parcial)
5. El proceso termina cuando ingresan todos los
regresores o cuando el Fcalc no excede al Ftab.
UNI-EPIES
MODELOS LINEALES
FORWARD
INICIO
No hay
regresores
Calcular
Correlacin
Simple
no
ryxi mayor?
si
Ingresa al
modelo
ryxj.xi
mayor?
no
sij.rstp
rij.rstp =
sii.rstp sjj.rstp
si
Ingresa al
modelo
no
Fcal<Ftab
si
FIN
Fcal=
CME
CMR
UNI-EPIES
MODELOS LINEALES
ANVA
Modelo
Suma de
Cuadrado
Cuadrados
II
III
Regression 1831,896
gl
Medio
1831,896
Residual
883,867
11
Total
2715,763
12
Regression 2641,001
Fcal
22,799
p-valor
,001
80,352
1320,500
Residual
74,762
10
Total
2715,763
12
Regression 2667,790
889,263
Residual
47,973
5,330
Total
2715,763
176,627
,000
166,832
,000
Fcal=
CME(4)
CMR
7,476
Fcal ms alto
Ingresa al
Modelo
12
Fcal ms alto
Ingresa al
Modelo
II
Fcal=
CME(1/ 4)
CMR
SCE(1 4) SCE(4)
CMR
III
Fcal=
Fcal ms alto
Ingresa al
Modelo
CME(2/ 1 4)
CMR
UNI-EPIES
MODELOS LINEALES
Modelo
(Constant)
III
p-valor
117,568
5,262
22,342
,000
-,738
,155
-4,775
,001
103,097
2,124
48,540
,000
X4 dicalcio de silicato
-,614
,049
12,621
,000
X1 tricalcio de aluminio
1,440
,138
10,403
,000
71,648
14,142
5,066
,001
-,237
,173
-1,365
,205
X1 tricalcio de aluminio
1,452
,117
12,410
,000
X2 tricalcio de silicato
,416
,186
2,242
,052
II
ES(B)
(Constant)
(Constant)
y = 71.648 +1.452 X1 + 0.416 X2 0.237 X4
R2 =99.1%
UNI-EPIES
MODELOS LINEALES
X3 excluido
IV
Fcal=
CME(3 / 1 2 4)
SCE(1 2 3 4) SCE(1 2 4)
=
CMR
CMR
< Ftab(1,8)
10%
Fcal no ms alto que Ftab

NO Ingresa al Modelo
UNI-EPIES
MODELOS LINEALES
BACKWARD
SUPUESTOS
1. Se inicia con un modelo que incluye a todos los

regresores
2. Se eliminan los regresores uno a uno
3. El primero en salir es el regresor con Fcal del modelo
ms bajo (t-student)2
4. As sucesivamente
5. El proceso termina cuando el Fcalc no es menor al Ftab.
UNI-EPIES
MODELOS LINEALES
BACKWARD
INICIO
Todos los
regresores
ryxi menor
menor
Calcular
F
Fcal ms
bajo?
CMR
no
si
Menor coeficiente de correlacin parcial
Sale del
modelo
Fcal Ftab?
Fparcial
CME
no
si
FIN
ryx1
0.593
ryx2
0.242
ryx3
0.048
ryx4
= -0.720
Se elimina
del modelo
UNI-EPIES
MODELOS LINEALES
Modelo
Suma de
Regresion
Residual
II
Cuadrados
gl
Medios
Fcal
p-valor
2667,899
666,975
111,479
,000
47,864
5,983
166,832
,000
229,504
,000
Total
2715,763
12
Regresion
2667,790
889,263
47,973
5,330
Residual
III
Cuadrados
Total
2715,763
12
Regresion
2657,859
Residual
Total
A partir de las variables

X1, X2 y X4 se obtienen
los F parciales
57,904
10
2715,763
12
1328,929
5,790
SCE(1 2 4) SCE(2 4)
Fp(X1) =
CMR
SCE(1 2 4) SCE(1 4)
Fp(X2) =
Fp(X4) =
CMR
SCE(1 2 4) SCE(1 2)
CMR
= 154.016
= 5.02
= 1.86
Se elimina
del modelo
UNI-EPIES
MODELOS LINEALES
A partir de las variables X1

y X2 se obtienen los F
parciales
SCE(1 / 2)
Fp(X1) =
CMR
SCE(1 2) SCE(2)
=
SCE(2 / 1)
Fp(X2) =
CMR
CMR
SCE(1 2) SCE(1)
CMR
= 146.53
> F10%(1,10)=3.29
= 208.59 > F10%(1,10)=3.29
NO Se
eliminan del
modelo
UNI-EPIES
MODELOS LINEALES
ANLISIS DE VARIANZA PARA LA ESTACIONALIDAD

DE UNA SERIE
LOS DATOS
Consumo Trimestral de Materias Primas
de la empresa XYZ
Trimestre
Ao
1987
1988
1989
1990
1991
1992
10.8
13.7
18.8
22.7
24.8
28.0
7.8
10.1
17.1
16.9
23.4
26.5
10.2
11.0
17.5
19.3
24.7
28.0
17.5
20.2
26.2
29.1
32.4
34.1
UNI-EPIES
MODELOS LINEALES
EL MODELO
Y = o + 1 t + 1X1 + 2 X2 + 3 X3 +
Componente
Tendencial
Componente
Estacional
UNI-EPIES
MODELOS LINEALES
Componente Estacional
Ct = 1X1 + 2 X2 + 3 X3
X1 =
Si t = trimestre 1
Si t = trimestre 2, 3
-1
Si t = trimestre 4
1
X2 =
X3 =
Si t = trimestre 2
-1
Si t = trimestre 4
Si t = trimestre 3
-1
Si t = trimestre 4
Ct =
Si t = trimestre 1
Si t = trimestre 2
Si t = trimestre 3
- 1 - 2 - 3 = 4
Si t = trimestre 4
UNI-EPIES
MODELOS LINEALES
AO
TEND TRIM CONSM X1
X2
X3
0
1
0
-1
0
1
0
-1
0
1
0
-1
0
1
0
-1
0
1
0
-1
0
1
0
-1
0
0
1
-1
0
0
1
-1
0
0
1
-1
0
0
1
-1
0
0
1
-1
0
0
1
-1
Tratamiento de los Datos

1987
1987
1987
1987
1988
1988
1988
1988
1989
1989
1989
1989
1990
1990
1990
1990
1991
1991
1991
1991
1992
1992
1992
1992
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
1
2
3
4
10.8
7.8
10.2
17.5
13.7
10.1
11.0
20.2
18.8
17.1
17.5
26.2
22.7
16.9
19.3
29.1
24.8
23.4
24.7
32.4
28.0
26.5
28.0
34.1
1
0
0
-1
1
0
0
-1
1
0
0
-1
1
0
0
-1
1
0
0
-1
1
0
0
-1
UNI-EPIES
MODELOS LINEALES
ESTIMACIN
Coefficientsa
Model
1
(Constant)
TEND
X1
X2
X3
Unstandardized
Coefficients
B
Std. Error
9.048
.508
.912
.036
.718
.425
-3.027
.422
-2.456
.422
Standardized
Coefficients
Beta
.863
.069
-.293
-.237
t
17.829
25.602
1.690
-7.175
-5.821
Sig.
.000
.000
.107
.000
.000
a. Dependent Variable: Consumo MP
Y = 9.048 + 0.912 t + 0.718 X1 - 3.027 X2 2.456 X3

(25.6)
(1.71)
(-7.3)
(-5.8)
UNI-EPIES
MODELOS LINEALES
Estacionalidad del Cuarto Trimestre es:
4 = - 0.718 + 3.027 + 2.456
Coeficiente de Determinacin:
R2 = 0.979
UNI-EPIES
MODELOS LINEALES
PRUEBA DE SIGNIFICACIN GLOBAL
ANLISIS DE VARIANZA
ANOVAb
Model
1
Regression
Residual
Total
Sum of
Squares
1256.888
27.012
1283.900
df
4
19
23
Mean Square
314.222
1.422
F
221.025
Sig.
.000a
a. Predictors: (Constant), X3, TEND, X2, X1

b. Dependent Variable: Consumo MP
UNI-EPIES
MODELOS LINEALES
Anlisis de Significacin de la Estacionalidad
ANOVA
Suma
Grados Cuadrados
Fuente de Variacin
Cuadrados Libertad Medios
Tendencia
Estacionalidad
Residual
1076.05
178.59
26.88
1
3
19
Total
1281.52
23
Fcalc =
59.53
1.42
1076.05
59.53
1.42
= 42.1 > F0.05 (3, 19) = 8.69
UNI-EPIES
MODELOS LINEALES
El modelo original:
y = X +
(i)
donde X es (nxp)
El modelo centrado slo en las variables explicativas:
x11-x1 x12-x2 x1p-1 - xp-1

x21-x1 x22-x2 x2p-1 - xp-1
Donde X = 1n Xc
y;
, tal que:
1nXc = 01x(p-1)
Xc =
.
.
.
.
.
.
.
.
.
xn1-x1 xn2-x2 xnp-1 - xp-1
UNI-EPIES
MODELOS LINEALES
Tabla de ANVA
Para el Modelo Centrado en las Variables Explicativas
FUENTE DE VARIACIN
Media Global
G.L.
SUMA DE CUADRADOS
1
n
Debido a
p-1
Residual
n-p
Total
Jn Y
Y(X(XX)-1X -
1
n
1
n
Jn)Y
Y(In - X(XX)-1X)Y
SUMA DE CUADRADOS CENTRADO
Jn Y
Y(Xc(XcXc)-1Xc)Y
Y(In -
1
n
Jn - Xc(XcXc)-1Xc)Y
YY
Cumple el modelo (i)

UNI-EPIES
MODELOS LINEALES
CM(media global) = 2 + n*o2
; o = 0* - x1- x2 - - p-1 xp-1)
CM(regresin) = 2 + XcXc
; = ( 1 p-1)
CM(residual) = 2
UNI-EPIES
MODELOS LINEALES
Teorema:
Dado A una matriz mxm con valores caractersticos 1, , m y dado
B una matriz nxn con valores caractersticos 1, ,n. Los valores
caractersticos de A B (o B A) son los mn valores caractersticos
ij para i=1, ,m y j=1, ,n.
UNI-EPIES
MODELOS LINEALES
Calcular:
1. (Ia
1
a
Ja )
(In
1
n
Jn)
2. Los valores caractersticos de: ( In

3. Los valores caractersticos de: (Ia
1
n
1
a
Jn )
Ja)
(In
1
n
Jn)
UNI-EPIES
MODELOS LINEALES
Teorema:
Dado A una matriz mxn de rango r y B una matriz pxq de rango s
A B tiene rango rs.
Calcular:
1. Rango (Ia
1
a
Ja)
In
UNI-EPIES
MODELOS LINEALES
Teorema:
Dado A una matriz simtrica e idempotente mxm de rango r y B una
matriz nxn simtrica e idempotente de rango s. Entonces, A B es
una matriz simtrica e idempotente de rango rs.
Calcular:
1. Tr (Ia
1
a
Ja)
In
UNI-EPIES
MODELOS LINEALES
ESTUDIO DE LA SUMA DE CUADRADOS RESIDUAL (SCR)
SCE(1 2) = SCR(2) SCR(1 2)
equivalentemente
SCE(1 2) = SCE(12) SCE(2)
Modelo original (Modelo reducido)
Y = 0 + 2x2 +
Modelo aumentado
Y = 0 + 1x1 + 2x2 +
SCR(2)
SCR(1 2)
UNI-EPIES
MODELOS LINEALES
Si aadimos la variable x2:
SCE(2 1) = SCR(1) SCR(1 2)
equivalentemente
SCE(2 1) = SCE(12) SCE(1)
Y = 0 + 2x1 +
Modelo aumentado
Y = 0 + 1x1 + 2x2 +
SCR(1)
SCR(1 2)
UNI-EPIES
MODELOS LINEALES
Y = 0 + 1x1 + 2x2 +
SCR(1 2)
Si aadimos la variable x3:
Y = 0 + 1x1 + 2x2 + 3x3 +
Modelo aumentado
SCR(1 1 1)
SCE(3 1 2) = SCR(1 2) - SCR(1 2 3)
equivalentemente
SCE(3 1 2) = SCE(12 3) SCE(1 2)
UNI-EPIES
MODELOS LINEALES
Si aadimos la variable x2 y x3 al modelo original:
Y = 0 + 1x1 +
Modelo aumentado
Y = 0 + 1x1 + 2x2 + 3x3 +
SCR(1)
SCR(1 1 1)
SCE(2 3 1) = SCR(1) - SCR(1 2 3)
equivalentemente
SCE(2 3 1) = SCE(12 3) SCE(1)
UNI-EPIES
MODELOS LINEALES
ESTUDIO DE LA SUMA DE CUADRADOS EXPLICADA (SCE)
SCE(1 2) = SCE(1) + SCE(2 1)

SCE(1 2) = SCE(2) + SCE(1 2)
SCE(1 2 3) = SCE(1) + SCE(2 1) + SCE(3 1 2)

SCE(1 2 3) = SCE(2) + SCE(3 2) + SCE(1 2 3)
SCE(1 2 3) = SCE(1) + SCE(2 3 1)
UNI-EPIES
MODELOS LINEALES
ANALISIS DE VARIANZA
Las variables explicativas x1, x2 y x3 ingresan (una a una) al modelo:
FUENTE DE VARIACIN
G.L.
SUMA DE
CUADRADOS
CUADRADOS
MEDIOS
Debido a (3x1)
SCE(1 2 3)
CME(1 2 3)
Debido a x1
SCE(1)
CME(1)
Debido a x2 x1
Debido a x3 x1 x2
SCE(3 1 2)
CME(3 1 2)
Residual
n-4
SCR(1 2 3)
CMR(1 2 3)
Total
n-1
SCE(2
1)
CME(2 1)
SCT
UNI-EPIES
MODELOS LINEALES
Prueba de Significacin Individual
Ho : 3 = 0
Modelo Completo
y = 0 + 1x1 + 2x2 + 3x3 +
CME(3 12)
F=
CMR(12 3)
UNI-EPIES
MODELOS LINEALES
Prueba de Significacin de un Sub-vector de Parmetros
Ho : 2 = 3 = 0
Modelo Reducido
y = 0 + 1x1 +
CME(2 3 1)
F=
CMR(12 3)
UNI-EPIES
MODELOS LINEALES
COEFICIENTE DE DETERMINACIN PARCIAL
Y = 0 + 1x1 + 2x2 +
SCE(2
1)
R21.2 =
SCR(1)
SCE(1
2)
R22.1 =
SCR(2)
UNI-EPIES
MODELOS LINEALES
COEFICIENTE DE DETERMINACIN PARCIAL
y = 0 + 1x1 + 2x2 + 3x3 +
R21.23 = ( r1.23 )2
R22.13 = ( r2.13 )2
R23.12 = ( r3.12 )2
UNI-EPIES
MODELOS LINEALES
COEFICIENTE DE CORRELACIN PARCIAL (rij)
y = 0 + 1x1 + 2x2 + 3x3 +

SCE(1 2 3)
R21.23 =
SCR(1)
SCE(2 1 3)
R22.13 =
SCR(1 3)
SCE(3 1 2)
R23.12 =
SCR(1 2)
UNI-EPIES
MODELOS LINEALES
Particionando la Suma de Cuadrados de la Regresin
Sea X = X1 X2 Xm
(nxp)
donde Xj es una matriz nxpj y p1 + p2 + + pj = p y X1= 1n

Adems:
R1 = X1 = 1n
R2 =
Rm-1 =
X1 X2
X1 X2 Xm-1
Rm = X
UNI-EPIES
MODELOS LINEALES
Tabla ANVA
Suma de Cuadrados Tipo I
FUENTE DE VARIACIN
G.L.
SUMA DE CUADRADOS TIPO I
YR1(R1R1)-1R1Y = Y
JnY
Media Global X1
p1=1
Debido a X2 X1
p2
Y(R2(R2R2)-1R2 -
Debido a X3 X2, X1
p3
.
.
.
Y(R3(R3R3)-1R3 - R2(R2R2)-1R2)Y
.
.
.
pm
Y(X(XX)-1X - Rm-1(Rm-1Rm-1)-1Rm-1)Y
.
.
.
Debido a Xm X1 X2Xm-1
Residual
Total
n
R1(R1R1)-1R1)Y
n-p
Y(In - X(XX)-1X)Y
YY

Clase7 AnalisisdeVarianza

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Clase7 AnalisisdeVarianza

Încărcat de

Drepturi de autor:

Formate disponibile

UNI-EPIES

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Sea el vector aleatorio:

Con matriz varianza-covarianza:

El objetivo es encontrar la combinacin lineal:

que tenga la mxima correlacin con y.

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

La correlacin mxima se llama:

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Suponiendo que el vector

tiene distribucin normal multivariada

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

(X2X1) 1 + (X2X2) 2 = X2Y

Resolviendo (i) y (ii):

2 = ( X2X2 )-1X2( Y- X11 )

Escuela Profesional de Ingeniera Estadstica

= ( X1M2X1 )-1( X1M2Y )

Lic. Luis Huamanchumo de la Cuba

Si X1 y X2 son ortogonales, entonces, X1X2=0

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

reduccin debido a = SCE()

SCE(2) = reduccin debido a 2 del modelo reducido

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Tabla de ANVA para H0: 1=0

Debido a 2 (no ajustado) p - r

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Si entre las variables explicativas hay un trmino constante,

SCT = SCE + SCR

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

CASO: Produccin de cemento

y = Temperatura (caloras x gramo de cemento)

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

1. No hay regresores en el modelo mas que el intercepto

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

y = 71.648 +1.452 X1 + 0.416 X2 0.237 X4

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

Fcal no ms alto que Ftab

Escuela Profesional de Ingeniera Estadstica

Lic. Luis Huamanchumo de la Cuba

1. Se inicia con un modelo que incluye a todos los