21/06/2013

1
CURSONIVELATORIOEN
AnlisisEstadsticoAplicado
Prof.AndrsCarrin
13/Junio/2013
Unibague.MGI:CursoAnlisisEstadsticoAplicado.Junio/2013
TEMARIO
1. Obtencindedatos.Muestreoydiseode
experimentos experimentos
2. Resumenydescripcindedatos
3. Tablasdecontingencia.Pruebasdenormalidad
4. RelacionesentrevariablesI.ANOVA
5. RelacionesentrevariablesII.Regresin
6. Reduccindedimensionalidad:AnlisisFactorial
A. Carrin

2
7. TcnicasdeClasificacin:Anlisisdiscriminantey
regresinlogstica
21/06/2013
2
TEMA5:RELACIONES ENTRE VARIABLES II.REGRESIN
Introduccin Introduccin
Fasesdeunestudio
ModelodeRegresinLinealSimple
GeneralizacionesdelmodeloRLS
A. Carrin

3
REGRESINLINEALMLTIPLE
1 Introduccin
2 Fasesdeunestudio
3 ModelodeRegresinLinealSimple
4 GeneralizacionesdelmodeloRLS
A. Carrin

4
21/06/2013
3
1 INTRODUCCIN
Los Modelos de Regresin Lineal permiten analizar la posible
relacin existente entre la pauta de variabilidad de una relacin existente entre la pauta de variabilidad de una
variable aleatoria (Y) y los valores de una o ms variables (X
1
,
X
2
, X
3
, ......, X
I
)de las que la primera depende, o puede
depender
A. Carrin

Y = f (X
1
, X
2
, X
3
, ......, X
I
)
5
1 INTRODUCCIN
Basedelanlisisderegresin:construccindeunmodelo
matemticoparmetros:
recogenycuantificanlosefectos quesepretendeestudiar
seestiman
apartirdelosdatosdisponibles
utilizandolosprocedimientosestadsticosquese
A. Carrin

expondrnmsadelante
6
21/06/2013
4
1 INTRODUCCIN
Los Modelos de Regresin (MR) Lineal estn estrechamente
relacionados con los Modelos de Anlisis de la Varianza el
ANOVA no es ms que un caso particular de los primeros ANOVA no es ms que un caso particular de los primeros
Modelos de regresin:
No es posible fijar los valores de las variables explicativas en
un estudio (ej. tipo aleatorio)
A. Carrin

Anlisis de informacin histrica que no fue obtenida a
partir del DOE (ej. datos resultantes de una encuesta)
7
1 INTRODUCCIN:DATOS DEL PROBLEMA
Variable
Dependiente
Variables explicativas
(independientes)
Y X X X Y X
1
....... X
i
....... X
I
y
1
X
11
....... X
i1
....... X
I1
... ..............................
y
j
X
1j
....... X
ij
....... X
Ij
... ..............................
observaciones
de I variables
aleatorias o
no X
i
A. Carrin

y
J
X
1J
....... X
iJ
....... X
IJ
J observaciones de una v.a. Y
8
21/06/2013
5
1 INTRODUCCIN:DATOS DEL PROBLEMA
Efecto de distintas caractersticas de un vehculo en su consumo de
combustible
Variable
Dependiente
Variables explicativas
(independientes)
- Peso
P t i
p ( p )
Y X
1
....... X
i
....... X
I
y
1
X
11
....... X
i1
....... X
I1
... ..............................
y
j
X
1j
....... X
ij
....... X
Ij
Observaciones
de Peso, Pot.,
Cilindrada,..en el
vehculo 1 en el
- Potencia
- Cilindrada....
A. Carrin

... ..............................
y
J
X
1J
....... X
iJ
....... X
IJ
vehculo 1 en el
que el Consumo
fue de y
1
mpg
9
Consumo de combustible en J vehculos analizados
1 INTRODUCCIN:DATOS DEL PROBLEMA
A. Carrin

10
21/06/2013
6
1 INTRODUCCIN:OBJETIVO
Existe algn tipo de relacin entre la pauta de variabilidad de Y
j
y
los valores de las variables explicativas (aleatorias o no) X
ij
?
De qu naturaleza es?
Existe algn tipo de relacin entre la distribucin del consumo de
un coche y los valores que toman la potencia, el peso, la
ili d d h l ?
A. Carrin

cilindrada,...en esos vehculos?
Qu funcin matemtica liga los valores?
11
MODELOS DE REGRESIN MLTIPLE
Los modelos clsicos de regresin asumen que cada observacin y
j
es el
valor observado de una v.a:
j j
2
j Y Y
Y Normal(m , ) ~ o
j
Y j 1j ij Ij
m E(Y ) f (x ,...,x ,...x ) = =
o
2
(Y
j
) es desconocida, pero constante
A. Carrin

El posible efecto de las X
i
sobre la distribucin de Y se
concreta en modificar el valor medio de dicha variable
dependiente
12
21/06/2013
7
MODELOS DE REGRESIN
1 Introduccin
2 F d di 2 Fasesdeunestudio
3 ModelodeRegresinLinealSimple
4 GeneralizacionesdelmodeloRLS
A. Carrin

13
2 FASES DE UN ESTUDIO MEDIANTE REGRESIN MLTIPLE
Definicin del problema
Formulacin del modelo
Recogida de datos
Estimacin del modelo
Validacin
A. Carrin

del modelo
Explotacin
Modelo adecuado
Modelo no adecuado
14
21/06/2013
8
MODELOS DE REGRESIN
1 Introduccin
2 F d di d R 2 FasesdeunestudiodeR.
3 ModelodeRegresinLinealSimple
4 GeneralizacionesdelmodeloRLS
A. Carrin

15
3 MODELO DE REGRESIN LINEAL SIMPLE
Y v.a. cuya distribucin puede depender de otra variable X
Ejemplo: Para el control de consumo de combustible de un Ejemplo: Para el control de consumo de combustible de un
vehculo se registra el Consumo Y (mpg) y el Peso X (lbs) del
vehculo considerado
El modelo de regresin lineal simple asume que la distribucin
condicional del consumo (Y) los das en que la temperatura es x
t
es
una variable aleatoria:
A. Carrin

t t t
E(Y / X x ) f (x ) x = = = o+|
2 2
t
(Y / X x ) desconocidaycte o = = o
una variable aleatoria:
16
21/06/2013
9
3 MODELO DE REGRESIN LINEAL SIMPLE
En promedio, cunto consumir un coche pese 1500 lbs?
Con toda seguridad menos que lo que consumir en promedio uno
de 3000 lbs,
pero. Cunto menos?
A. Carrin

Recta de Regresin
17
Predice el valor que en promedio corresponde a una
3 MODELO DE REGRESIN LINEAL SIMPLE
variable Y cuando otra variable X tiene un valor
determinado
Ordenada en el origen
Pendiente
Ruido aleatorio
18
21/06/2013
10
3 MODELO DE REGRESIN LINEAL SIMPLE
mpg
Recta de
Regresin
A. Carrin

19
peso
3 MODELO DE REGRESIN LINEAL SIMPLE
Diagrama de dispersin
A. Carrin

20
21/06/2013
11
3 MODELO DE REGRESIN LINEAL SIMPLE
Lmites de
prediccin
Recta de
regresin
A. Carrin

21
Lmites de confianza
para la media
3 MODELO DE REGRESIN LINEAL SIMPLE
Lapendientedelarectavale:
Y la ordenada en el origen:
( )
) y var(
) y , x cov(
x
n
x
y x
n
xy
=

|
.
|

\
|

= |


2
2
1
1
A. Carrin

Ylaordenadaenelorigen:
x y | = o
22
21/06/2013
12
3 MODELO DE REGRESIN LINEAL SIMPLE
Labandadeconfianzaenx
0
vienedadapor:
( )
( )
(
(

|
|
.
|

\
|

+ | + o =

o

s
x x
x x
n
t x LIC
i
, n 2
2
0
2
1 2
0
1
( )
( )
(
(
(

|
|
.
|

\
|

+ + | + o =

o

s
x x
n
t x LSC
n 2
2
0
1 2
0
1
A. Carrin

2
2

| o
=

n
xy y y
s donde
i
( )
(

|
.

o

x x
n
i
, n 2
2
1 2
0
23
3 MODELO DE REGRESIN LINEAL SIMPLE
Validacin:
Significacindeloscoeficientesdelmodelo
Valordelcoeficientedecorrelacin
Caractersticasdelresiduo:
medianula,
normalidad,
Independencia(EstadsticodeDurbinWatson:autocorrelacinen
A. Carrin

p
losresiduos,nodebesermenorque1)
24
21/06/2013
13
A. Carrin

25
A. Carrin

26
21/06/2013
14
A. Carrin

27
A. Carrin

28
21/06/2013
15
A. Carrin

29
A. Carrin

30
21/06/2013
16
A. Carrin

31
3 MODELO DE REGRESIN LINEAL SIMPLE
Lmites de
prediccin
A. Carrin

32
Lmites de confianza
para la media
21/06/2013
17
MODELOS DE REGRESIN
1 Introduccin
2 F d di 2 Fasesdeunestudio
3 ModelodeRegresinLinealSimple
4 GeneralizacionesdelmodeloRLS
A. Carrin

33
4 GENERALIZACIONES DEL MODELO
a) Consideracin de relaciones no lineales
b) Modelos de regresin mltiple
c) Inclusin de variables cualitativas
d) Inclusin de interacciones
A. Carrin

ComosepuedeadaptarunmodelodeRegresinLineal Simple deforma
queincluyaestasconsideraciones?
34
21/06/2013
18
CONSIDERACIONES DE RELACIONES NO LINEALES
El modelo: asume que si X
1
influye sobre Y (o
sea si |
1
=0), lo hace linealmente
0 1 1
E(Y) X = | +|
sea si |
1
=0), lo hace linealmente
La relacin puede ser no lineal: por ejemplo, que incrementos
progresivos de X
1
se reflejen en aumentos cada vez menores del
valor medio de Y
E(Y)
A. Carrin

X
1
E(Y)=f(X
1
)= recta
CONSIDERACIONES DE RELACIONES NO LINEALES
Una relacin no lineal puede aproximarse frecuentemente por
d 2 d una curva de 2 grado:
y = a + bX + cX
2
Definimos una "nueva" variable X
2
= X
1
2
. El modelo:
E(Y) = | + | X + | X ( = | + | X + | X
2
)
A. Carrin

E(Y)=|
0
+|
1
X
1
+|
2
X
2
(=|
0
+|
1
X
1
+|
2
X
1
)
asume una posible relacin no lineal entre E(Y) y X
1
21/06/2013
19
E(Y) = |
0
+ |
1
X
1
+ |
2
X
2
( = |
0
+ |
1
X
1
+ |
2
X
1
2
)
CONSIDERACIONES DE RELACIONES NO LINEALES

0
: E (Y/X
1
= 0)

1
: Pendiente en el origen (aproximadamente igual al aumento
de E(Y) cuando X
1
pasa de 0 a 1)
A. Carrin

2
: Medida de la curvatura (positiva o negativa) de la relacin
entre E(Y) y X
1
A. Carrin

38
21/06/2013
20
A. Carrin

39
MODELOS DE REGRESIN LINEAL MLTIPLE
Sean :
Y
t
: valor de la variable dependiente en la observacin t
X
1t
: valor de la variable explicativa X
1
en la observacin t
...........................................................
A. Carrin

X
It
: valor de la variable explicativa X
I
en la observacin t
40
21/06/2013
21
MODELOS DE REGRESIN LINEAL MLTIPLE
Formulacin del modelo:
E(Y/X X ) | + | + + | E(Y/X
1
=x
1t
,....,X
I
=x
It
)=|
0
+|
1
x
1t
+....+|
I
x
It
Y
t
= |
0
+ |
1
x
1t
+.... + |
I
x
It
+ u
t
u
t
:perturbacin aleatoria en t. Recoge la influencia sobre la
( )
A. Carrin

variable estudiada (Y
t
) de otras variables explicativas no
consideradas en el modelo.
41
MODELOS DE REGRESIN LINEAL MLTIPLE
Hiptesisdelmodelo:
(a) Relativasalasperturbaciones:
* sonvariablesdemedianulaE(u
j
)=0,j
* todastienenlamismavarianza
2
(u
j
)=
2
,j
* todasestnincorrelacionadasentres

2
(u
i
,u
j
)=0,ij
* tienen una distribucin conjunta normal son
A. Carrin

tienenunadistribucinconjuntanormal,son
independientes
* nodependendelasvariablesexplicativasX
i
) , 0 (
2
o N u
j
=
42
21/06/2013
22
MODELOS DE REGRESIN LINEAL MLTIPLE
Hiptesisdelmodelo:
(b) RelativasalasvariablesX
i
eY:
* X i bl l t i ( t l bl ) * X
i
sonvariablesaleatoriasono(controlables)
* entrelasX
i
nodebenexistirrelacioneslineales
exactas
* Y
j
eselvalorobservadodeunavariable
aleatoriacuyovalormedioes:
( / ) E Y x x x x x | | | + + +
A. Carrin

ycuyavarianza
1 2 0 1 1
( / , ,... ) ...
j j j Ij j I Ij
E Y x x x x x | | | = + + +
2 2 2
1 2
( / , ,.......... ) ( )
j j j Ij j
Y x x x u o o o = =
43
MODELOS DE REGRESIN LINEAL MLTIPLE
Forma matricial del modelo de regresin
Y 1 x x | |
| U
1
2
J
Y
Y
Y
Y



=
`


)

11 1
12 2
1
1
1
1
I
I
J IJ
x x
x x
X
x x
| |
|
|
=
|
|
|
\ .

0
1
I
|
|
|
|



=
`


)

0
1
I
U
U
U
U



=
`


)

A. Carrin

Y X U | = +

44
21/06/2013
23
MODELOS DE REGRESIN LINEAL MLTIPLE
El modelo de regresin lineal mltiple formulado es:
E(Y/X
1
=x
1t
,....,X
I
=x
It
) = |
0
+ |
1
x
1t
+.... + |
I
x
It
Y = | + | x + + | x + u Y
t
= |
0
+ |
1
x
1t
+.... + |
I
x
It
+ u
t
e independientes
Interpretacin de los parmetros del modelo:

0
: Valor medio de Y cuando X
1
=......=X
I
=0
) , 0 (
2
o N u
j
=
A. Carrin

0 1 I

i
: Incremento en el valor medio de Y cuando X
i
aumenta en una
unidad, mantenindose constantes las restantes variables
explicativas
45
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

46
21/06/2013
24
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

47
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

48
21/06/2013
25
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

49
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

50
21/06/2013
26
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

51
MODELOS DE REGRESIN LINEAL MLTIPLE
A. Carrin

52
21/06/2013
27
A. Carrin

53
A. Carrin

54
21/06/2013
28
A. Carrin

55
A. Carrin

56
21/06/2013
29
INCLUSIN DE VARIABLES CUALITATIVAS
Sean:
Y : ndice de Fluidez (IM) del producto
X
1
: Temperatura en el reactor
X : Tipo de catalizador (1: cat A; 2:cat B; 3:cat C) X
2
: Tipo de catalizador (1: cat.A; 2:cat.B; 3:cat.C)
NUNCA! se debe formular un modelo con una variable
cualitativa con ms de dos posibles "valores" como si fuera
cuantitativa
A. Carrin

E(Y) = |
0
+ |
1
X
1
+ |
2
X
2
INCORRECTO !!
Qu sera |
2
?
INCLUSIN DE VARIABLES CUALITATIVAS
Solucincorrecta:utilizacindevariablesdummy
(tantasvariablesdummycomocategoras1tengalavariable
cualitativa)
Variable dummy
Catalizador Z1 Z2
A 0 0
B 1 0
C 0 1
Valor de las
variables dummy
segn el tipo de
catalizador
A. Carrin

Modelo :
E(Y) = |
0
+ |
1
X
1
+ |
2
Z
1
+ |
3
Z
2
21/06/2013
30
Modelo correcto con las 2 variables dummy
E(Y) = |
0
+ |
1
X
1
+ |
2
Z
1
+ |
3
Z
2
INCLUSIN DE VARIABLES CUALITATIVAS
Si Catalizador=A Z
1
=Z
2
=0 E(Y) = |
0
+ |
1
X
1
Si Catalizador=B Z
1
=1 Z
2
=0 E(Y) = |
0
+ |
1
X
1
+ |
2
Si Catalizador=C Z
1
=0 Z
2
=1 E(Y) = |
0
+ |
1
X
1
+ |
3
A. Carrin

Si Catalizador=C Z
1
=0 Z
2
=1 E(Y) = |
0
+ |
1
X
1
+ |
3
INCLUSIN DE VARIABLES CUALITATIVAS
Modelo correcto implica ecuaciones diferentes segn el tipo
de catalizador utilizado: de catalizador utilizado:
E(Y) = |
0
+ |
1
X
1
+ |
2
Z
1
+ |
3
Z
2
E(Y/X
1
, cat A) = |
0
+
1
X
1
E(Y/X
1
, cat B) = ( |
0
+ |
2
) + |
1
X
1
E(Y/X t C) ( | + | ) + | X
A. Carrin

E(Y/X
1
, cat C) = ( |
0
+ |
3
) + |
1
X
1
El modelo se descompone en tantas ecuaciones
como categoras tenga la variable cualitativa
21/06/2013
31
INCLUSIN DE VARIABLES CUALITATIVAS
E(Y) = |
0
+ |
1
X
1
+ |
2
Z
1
+ |
3
Z
2
E(Y/X
1
, cat A) = |
0
+
1
X
1
|
2
: diferencia del IM medio obtenido usando B respecto a cuando
se usa A (para una misma temperatura X
1
)
| : dem de C respecto a A
( /
1
, ) |
0 1 1
E(Y/X
1
, cat B) = ( |
0
+ |
2
) + |
1
X
1
E(Y/X
1
, cat C) = ( |
0
+ |
3
) + |
1
X
1
A. Carrin

|
3
: dem de C respecto a A
La hiptesis de que el catalizador no influye sobre el ndice de
fluidez sera equivalente a :
H
0
: |
2
= |
3
= 0
A. Carrin

62
21/06/2013
32
A. Carrin

63
A. Carrin

64
21/06/2013
33
OPCIN 2:VARIABLES DUMMY
A. Carrin

65
OPCIN 2:VARIABLES DUMMY
Los vehculos europeos
circula 1 332 millas ms circula 1.332 millas ms
por cada galn de
combustible
A. Carrin

66
Los vehculos japoneses
circulan 4.102 millas ms
por cada galn de
combustible
21/06/2013
34
MULTICOLINEALIDAD
Este problema se presenta cuando algunas o todas las
variables explicativas estn altamente correlacionadas entre s variables explicativas estn altamente correlacionadas entre s
Ello causa que:
* los estimadores b
i
tienen varianzas muy altas
* las estimaciones son muy dependientes entre
s: elevada correlacin entre estimaciones
A. Carrin

* pequeas variaciones en los datos provocan
variaciones considerables en las estimaciones
de los parmetros
67
MULTICOLINEALIDAD
SudeteccinconSPSSessencilla:
EnRegresinLinealhayqueseleccionarlaopcin
DiagnsticosdeColinealidad
RevisalosvaloresVIF(VarianceInflationFactor)
A. Carrin

Revisarlosautovaloresdematrizdecorrelacionesinvertida
68
21/06/2013
35
Valores de FIV mayores
de 2 indican problema
de MC
A. Carrin

69
>15: posible problema de MC
>30: grave problema de MC