REGRESION LINEAL

Estadstica Aplicada a la Psicologa II, con enfasis en los

supuestos estadsticos.
Variable dependiente Variable Independiente

Es la variable que se desea

estimar o pronosticar. La variable independiente
Tambin puede ser descrita proporciona la base para la
como el resultado de un estimacin. Es la variable
valor conocido de la predictora o regresora.
variable independiente.
Se denota con X
Se denota con Y
 Regresin Lineal Simple
Es un tcnica que sirve para pronosticar o estimar el valor
esperado de la variable dependiente, en base a lo que ocurre o lo
que sucede con la variable independiente (o regresora) X.
En el caso de:
Y=0+1X+ i se llama :Regresin lineal simple
donde:
Y es llamada la variable respuesta o dependiente,
X es llamada la variable regresora o independiente,
0 es el intercepto de la lnea con el eje Y,
1 es la pendiente de la lnea de regresin y
es un error aleatorio.
 Mtodo de Mnimos Cuadrados:
El modelo de regresin lineal simple es estimado por la ecuacin:

x .y i i n x. y
SP( x, y )
b1 i 1
n

x
2 SC ( x)
2
i n x
i 1

b 0 y b1 x
donde los parmetros estimados se interpretan como:
b0: Indica el valor promedio de la variable de respuesta Y cuando X es cero. Es decir, si en el
rango de la variable independiente no se encuentra el cero, entonces la interpretacin no
tiene sentido.
b1: Indica el cambio promedio en la variable de respuesta Y cuando X se incrementa en una
unidad.
Enfoque del Anlisis de Varianza para la prueba de
significancia de la regresin
Para probar la significancia del modelo se puede utilizar el mtodo
conocido como Anova
Fuente de Grados de Suma de Cuadrado Fc Ft
variacin libertad Cuadrado Medio
Regresin 1 SCReg CMReg Fc = CMReg F1,
Error n-2 SCE CME CME
Total n-1 SCTotal
n
SCTotal yi2 n y SC Re g
2
CM Re g
i 1 1
SC Re g b1SP( x, y) CME
SCE
n2
SCE SCTotal SC Re g
Prueba de significancia del Modelo

Ho: 1 = 0 H1: 1 0

Fijar
CM Re g
Estadstica de prueba: Fc
CME

Valores crticos: Ft F1 , n 2 ;
Decisin:

Re chazar Ho si :
Fc Ft
MEDIDAS DE BONDAD DE AJUSTE:
1.- Error Estndar de la Estimacin
Es una medida de variabilidad alrededor de la lnea de regresin. Su frmula esta
dado por:
n n n

i b0 yi b1 yi .xi
y 2

Se i 1 i 1 i 1
CME
n2

2.- Coeficiente de determinacin

Mide la variacin total en Y explicada por el modelo de regresin o indica en que
porcentaje la variable independiente explica a la variable respuesta. Su frmula esta
dado por:
SC Re g
R2
SCTotal

Propiedad: 0 < R2 1
 Intervalo de confianza para los
coeficientes de regresin

IC( j ) b j tn 2 ;1 / 2 Sb j
Intervalo de confianza para el valor medio de
Y dado X=x0

Se busca establecer un intervalo de confianza para la media

asumiendo que la relacin entre X e Y es lineal.
1 ( x0 x )2
IC( y / x0 ) ( b0 b1 x0 ) t n 2 S e
n SC( x )

Intervalo de confianza para prediccin de Y

dado X=x0
1 ( x 0 x )2
IC ( Y/ x0 ) (b0 b1x 0 ) t n2Se 1
n SC( x )

* Los grados de libertad del error en ARLS es n-2, y en ARLM es n-p.

 CORRELACIN LINEAL SIMPLE

Objetivo: Medir la asociacin entre dos

variables de tipo cuantitativo.

R
x y nx y
i i

SP( x,y)
x nx y ny
2 2 2 2
i i
SC ( x) * SC ( y)
Propiedad:

-1 < R < 1

Si: R -1, la relacin es perfecta e indirecta

Si: R +1, la relacin es perfecta y directa

Si: R 0, no hay relacin entre las variables

Segn su valor la relacin entre las variables ser:

Ejemplo 1

Un especialista en administracin de hospitales dice que el

nmero de empleados de tiempo completo, de un hospital, se
puede estimar al contar el nmero de camas en el hospital. Una
investigadora del campo de servicio de salud decidi crea un
modelo de regresin para pronosticar el nmero de empleados de
tiempo completo de un hospital respeto al nmero de camas, por
lo que realiz una encuesta en 12 hospitales y obtuvo los
siguientes datos que se presentan a continuacin:

Nmero de camas 23 29 29 35 42 46 50 54 64 66 76 78
Empleados (TC) 69 95 102 118 126 125 138 178 156 184 176 225
a. Calcule el coeficiente de correlacin R Qu le indica?
b. Suponiendo que existe relacin lineal entre las variables utilice
el MMC para calcular los coeficientes de regresin b0 y b1, e
interprete.
c. Calcule el error estndar de la estimacin.
d. Calcule el coeficiente de determinacin R2.. Interprete.
e. Si se cuenta con 35 camas Cuntos empleados de tiempo
completo se necesita?
f. Halle el intervalo de confianza para Y cuando x=35 camas
 Ejemplo 2:
El gerente de una agencia de alquiler de limusinas que opera en Lima
Metropolitana le gustara determinar la cantidad de tiempo que
llevara transportar pasajeros desde varios lugares al Aeropuerto del
Callao durante las horas no pico. Se selecciono una muestra aleatoria
de 12 viajes durante un da en particular en las horas no pico, con los
siguientes resultados:

Distancia 10.3 11.6 12.1 14.3 15.7 16.1 18.4 20.2 21.8 24.3 25.4 26.7
Tiempo (minutos) 19.71 18.15 21.88 24.21 27.08 22.96 29.38 37.24 36.84 40.59 41.21 38.19

a. Estime la ecuacin de la recta

b. Calcule el coeficiente de correlacin de Pearson
 Regresin Lineal Mltiple

El objetivo bsico del Anlisis de Regresin Lineal Mltiple es el de construir

un modelo que permita pronosticar o estimar el valor de una variable Y, en
base a un conjunto de variables X1, X2,....,Xk
A la variable Y se le llama variable dependiente, y es la que se quiere estimar
o predecir. Las variables X1, X2,....,Xk son las variables independientes o
variables predictoras.

El modelo de regresin lineal mltiple, con k variables independientes, es el

siguiente:
Yi 0 1X1 2 X 2 ... k X k i
donde:
j: Son Parmetros desconocidos, llamados coeficientes de regresin.
(j =0,1,2,3,...,k)
j: Son los errores del modelo, y se suponen independientes y
normalmente distribuidos con media 0 y varianza s2
 Modelo Estimado
A partir de una muestra aleatoria de n observaciones multivariadas (yj ,xj1, xj2
,...,xjk ), podremos hallar el modelo de regresin estimado que tendr la
siguiente forma: Y b b X b X ... b X
i 0 1 1 2 2 k k

donde: b i son los estimadores de los coeficientes de regresin j , j= 0, 1,2,3,...,k

Estos coeficientes son calculados a partir del mtodo de los mnimos

cuadrados, y donde:
b0: es la interseccin, el valor de Y cuando todas las variables
independientes son ceros.
bj: es la cantidad en que Y cambia cuando la variable independientes j en
particular aumenta una unidad, manteniendo constante todas las otras
variables independientes.
SUPUESTOS DEL MODELO DE REGRESION LINEAL MULTIPLE
- Normalidad - Linealidad - Homocedasticidad
- La no multicolinealidad o tolerancia entre las variables independientes
 El modelo planteado es el adecuado?
(Prueba global)
Esta prueba permite determinar si el modelo es significativo o no, para esto
se lleva a cabo los siguientes pasos:
H0: 1 = 2 = .... = k = 0 (El modelo no es significativo) Valor crtico:
H1: Al menos un i 0 (El modelo si es significativo) Ft Fk ,n k 1;
Fijar
CM Re g Decisin
Estadstica de prueba: Fc
CME
ANOVA
Fuente de Grados de Suma de Cuadrado Fc Ft
variacin libertad Cuadrado Medio
Regresin k SCReg CMReg Fc = CMReg Fk,n-k-1;
Error n-k-1 SCE CME CME
Total n-1 SCTotal
Re chazar Ho si :
Fc Fk ,n k 1;
 Aporta Informacin j al modelo?

Esta prueba permiten determinar si la variable regresora Xj

(j=1,2,...,k), aporta informacin al modelo, las hiptesis a probar
son:

H0: i = 0 (La variable Xj no es significativa) Decisin

H1: i 0 (La variable Xj si es significativa)
Fijar
bj
Estadstica de prueba: tc
SEb j
Valor crtico: tt t n k 1; 1 / 2
Re chazar Ho si :
tt t n k 1; / 2 tc tnk 1; / 2 o tc tn k 1; 1 / 2
MEDIDAS DE BONDAD DE AJUSTE:
1.- Error Estndar de la Estimacin mltiple
SCE
Se CME
n k 1
2.- Coeficiente de Determinacin
mltiple SC Re g
Es el porcentaje de variacin de la variable R
2

dependiente, Y, explicada por el conjunto

SCTotal
de variables independientes.
SCE

2
3.- Coeficiente de Determinacin Radj 1 n k 1 R2
ajustado SCTotal

n 1
 4. Cmo detectar multicolinealidad?

1.- Examen de la matriz de correlacin

Una medida muy sencilla de la multicolinealidad es observar la matriz de
correlaciones de las variables independientes o regresoras. Una manera simple
de verificar si hay multicolinealidad entre dos variables independientes o
regresoras es que su coeficiente de correlacin de Pearson sea mayor a 0.7.

2.- Factor de inflacin de varianza

Se usan como un diagnstico importante para detectar multicolinealidad. Para
el componente j simo se tiene:
1
VIF j
1 R 2j
Si es mayor a 10 implica que se tienen serios problemas de multicolinealidad.
Un psiclogo ha construido un examen lpiz
papel, a fin de medir la depresin. Para comparar
los datos del examen con los datos de los
expertos, 12 individuos con perturbaciones
emocionales realizan el examen lpiz papel. Los
individuos tambin son calificados de manera
independiente por dos psiquiatras, de acuerdo con
el grado de depresin determinado por cada uno
como resultado de entrevistas detalladas. Los
datos aparecen a continuacin. Los datos mayores
corresponden a una mayor depresin.
El administrador de un hospital general obtuvo los siguientes datos de 20
pacientes intervenidos quirrgicamente. durante un estudio para determinar
qu factores parecen estar relacionados con el tiempo de hospitalizacin

Obtenga lo siguiente:
MRLM ajustado.
Pruebe la significancia
estadstica del MRLM
Pruebe la significancia
estadstica de los parmetros
individuales. Utilice un nivel de
significancia del 5%.
Realice dos predicciones
Halle los intervalos de
confianza para j
Halle intervalo de confianza del
valor medio de Y
Halle intervalo de confianza
para el predictor de Y