Anlisis de Correlacin y de Regresin Lineal.

Anlisis de Correlacin y de Regresin Lineal.

Estadstica II ISC 5oC

Depto. de Estadstica laescob@correo.uaa.mx 2013

Anlisis de Correlacin y de Regresin Lineal. Introduccin

Introduccin
El trmino regresin fue introducido por Galton en su libro Natural inheritance (1889) rerindose a la ley de la regresn universal "Cada peculiaridad en un hombre es compartida por sus descendientes, pero en media en un grado menor." Regresin a la media.- Su trabajo se centraba en la descripcin de los rasgos fsicos de los descendientes (una variable) a partir de los de sus padres (otra variable). Pearson (un amigo suyo) realiz un estudio con ms de 1, 000 registros de grupos familiares observando una relacin del tipo: Altura del hijo = 85cm + 0.5 altura del padre (aprox.) Conclusn: los padres muy altos tienen tendencia a tener hijos que heredan parte de esta altura, aunque tienen tendencia a acercarse (regresar) a la media. Lo mismo puede decirse de los padres muy bajos. Hoy en da el sentido de regresin es el de prediccin de una medida basndonos en el conocimiento de otra. Esto es, predecir o estimar los valores de Y que obtendramos para distintos valores de X .

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

El anlisis de regresin sirve para predecir una medida en funcin de otra medida (o varias). Y se denomina Variable dependiente, predicha, explicada o respuesta. X se denomina Variable independiente, predictora o explicativa. Es posible descubrir una relacin? Y = f (X ) + f es una funcin de un tipo determinado el error es aleatorio, pequeo, y no depende de X

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Un modelo de regresin lineal es de la forma Y = 0 + 1 X1 + + p Xp +

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Para estimar el modelo de regresin lineal con una muestra, se utiliza el mtodo de mnimos cuadrados. Consiste en obtener aquel modelo que mnimiza el error.
Diagrama de dispersin
20 20 10 10 0 y 10

10

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Para estimar el modelo de regresin lineal con una muestra, se utiliza el mtodo de mnimos cuadrados. Consiste en obtener aquel modelo que mnimiza el error.
Diagrama de dispersin
20 20 10 10 0 y 10

10

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Para estimar el modelo de regresin lineal con una muestra, se utiliza el mtodo de mnimos cuadrados. Consiste en obtener aquel modelo que mnimiza el error.
Diagrama de dispersin
20 20 10 10 0 y 10

10

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Para estimar el modelo de regresin lineal con una muestra, se utiliza el mtodo de mnimos cuadrados. Consiste en obtener aquel modelo que mnimiza el error.
Diagrama de dispersin
20 20 10 10 0 y 10

10

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal

Para estimar el modelo de regresin lineal con una muestra, se utiliza el mtodo de mnimos cuadrados. Consiste en obtener aquel modelo que mnimiza el error.
Diagrama de dispersin
20 20 10 10 0 y 10

10

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal Simple

El modelo de regresin lineal simple es Y = 0 + 1 X + Los coecientes de regresin 0 y 1 signican lo siguiente:

0 Indica el valor promedio de la variable dependiente (Y ) cuando la variable independiente (X ) vale cero. Su signicado tendr sentido slo cuando la variable dependiente (Y ) pueda tomar dicho valor. 1 Indica por su signo el tipo de relacin entre Y y X (relacin lineal positiva cuando 1 > 0; relacin lineal negativa cuando 1 < 0. Adems por su valor signica que por cada unidad que se incremente la variable independiente (X ), la variable dependiente (Y ) disminuir (si 1 < 0) en 1 unidades o se incrementar (si 1 > 0) en 1 unidades en promedio.

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal Mltiple

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Modelo de Regresin Lineal Mltiple

El modelo de regresin lineal mltiple es Y = 0 + 1 X + + p Xp + 0 Indica el valor promedio de la variable dependiente (Y ) cuando la variable independiente (X ) vale cero. Su signicado tendr sentido slo cuando la variable dependiente (Y ) pueda tomar dicho valor. k Indica por su signo el tipo de relacin entre Y y Xk (relacin lineal positiva cuando k > 0; relacin lineal negativa cuando k < 0. Adems por su valor signica que por cada unidad que se incremente la variable independiente (Xk ), la variable dependiente (Y ) disminuir (si k < 0) en k unidades o se incrementar (si k > 0) en k unidades en promedio. Manteniendo constantes las dems variables explicativas. Para k = 1, , p

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Supuestos del Modelo de Regresin Lineal

Los supuestos de un modelo estadstico se reeren a una serie de condiciones que deben darse para garantizar la validez del modelo. al efectuar aplicaciones prcticas del modelo de regresin nos veremos en la necesidad de examinar muchos de estos supuestos Linealidad La ecuacin de regresin adopta una forma particular. en concreto, la variable respuesta es la suma de un conjunto de elementos: el origen de la recta, una combinacin lineal de variables independientes o predictoras y los residuos. El incumplimiento del supuesto de linealidad suele denominarse error de especicacin. algunos ejemplos son: omisin de variables independientes importantes, inclusin de variables irrelevantes, no linealidad (la relacin entre Y y tal X no es lineal), no aditividad, etc. Se evalua estadsticamente mediante la prueba F. Independencia Las observciones de la variable respuesta Y son independientes entre si, es decir, las Yi constituyen variables aleatorias independientes igualmente distribuidas. Es frecuente encontrarse con observaciones autocorrelacionadas cuando se trabaja con series de tiempo. Se evala mediante la graca de los residuales contra el orden. No deber presentarse patrn alguno.

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Supuestos del Modelo de Regresin Lineal

Homocedasistidad Para cada valor de la variable predictora X o una combinacin de stas, la varianza de la variable respuesta Y es constante.

Este supuesto se evala mediante la graca de residuales estandarizado v.s. los valores ajustados Y . Para que se cumpla NO se deber observar patrn alguno en la nube de puntos. Normalidad Para que sean vlidos los procedimientos inferenciales, las variables aleatorias Yi deben tener una distribucin normal. El supuesto de normalidad se evala mediante la graca de probabilidad normal, mediante el histograma de residuales estandarizados y mediante una prueba de hiptesis de normalidad.

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Supuestos del Modelo de Regresin Lineal

No colinealidad Ne existe relacin lineal exacta entre ninguna de las variables predictoras. EL incumplimiento de este supuesto da origen a colinealidad o multicolinealidad Sobre el cumplimiento del supuesto de linealidad puede obtenerse informacin a partir de una inspeccin del diagrama de dispersin. Si tenemos la intencin de utilizar el modelo de regresin lineal, lo razonable es que la relacin entre Y y las X sea de tipo lineal. El supuesto de no colinealidad, no tien sentido en regresin simple, ya que es imprescindible la presencia de por lo menos dos variables predictoras. En el caso mltiple, una forma de evaluarlo es mediante la matriz de correlaciones entre variables predictoras. Para que se cumpla se espera una correlacin muy baja.

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Supuestos del Modelo de Regresin Lineal

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Evaluacin del Modelo de Regresin Lineal

ANLISIS DE VARIANZA
La tabla del anlisis de varianza reporta la variacin en la variable respuesta. La cual se divide en dos componentes. La variabilidad explicada atribuible a las variables independientes.(Explicada por el modelo) La variabilidad aleatoria o no explicada por las variables independientes. (No explicada por el modelo) La prueba global F. La prueba se usa para investigar si por lo menos una de las variables predictoras es signicativas. H0 :El ajuste del modelo a los datos no es adecuado 1 = = p Ha :El ajuste del modelo a los datos es adecuado j = 0 Fuente Regresin Error Total G.L. p np1 n1 S.C. SCR SCE SCT C.M. CMR CME F F p-valor Prob (F (h) > Fp ,np 1, )

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Evaluacin del Modelo de Regresin Lineal

Otra forma de evaluar el modelo es mediante. Denicin El coeciente de Determinacin, denotado con R 2 . Es una medida de la proporcin de la variacin de Y que se explica por un ajuste del modelo de regresin lineal. R2 =
SCR SCT

=1

SCE SCT

.
SCE n p 1 SCT n 1

0 R2 1
2 =1 El coeciente de Determinacin ajustado es Raju

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Evaluacin del Modelo de Regresin Lineal

Si el ajuste del modelo a los datos es adecuado, ahora se realizan la pruebas individuales para ver cules de los coecientes del modelo son signicativos. H0 :La variable j no es signicativa j = 0 Ha :La variable j es signicativa j = 0 Estas pruebas se realizan mediante el estadstico t de Student, 0 dado por tc = jSj El valor critico es t ,np 1 2 Se rechaza H0 si |tc | > t ,np 1 , o bien si valorp < 2

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Bandas de conanza y deprediccin

Bandas de conanza Reejan la incertidumbre al rededor del modelo de regresin ( que tan bien est determinado el modelo). Bandas de prediccin Incluyen tambin la incertidumbre al rededor de observaciones futuras.
1500 y 0 500 1000 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 3 5 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 3 5 3 5 5 3 5 3 5 3 5 3 5 3 5 3 5 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 3 5 1 1 5 3 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 3 5 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 3 5 1 5 1 3 5 1 3 5 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 5 3 1 5 3 1 5 1 3 5 1 3 5 1 3 5 1 2 3 5 2 1 2 3 1 2 5 2 1 3 5 2 1 5 3 2 1 2 5 3 2 1 5 2 3 1 5 2 3 2 1 5 2 3 1 5 2 1 5 3 2 2 1 5 3 2 1 5 2 3 1 5 2 3 2 1 5 2 3 1 5 2 1 3 5 2 2 1 5 3 2 1 5 2 3 1 5 2 3 2 1 5 2 3 1 5 2 3 1 5 2 3 2 5 1 2 3 5 2 1 5 3 2 1 2 5 3 1 2 5 3 2 1 5 2 1 3 5 2 1 2 3 5 1 2 5 3 2 1 5 2 3 1 2 5 3 1 2 5 2 3 1 5 2 3 1 5 2 1 2 3 5 2 1 5 3 2 1 5 2 3 1 2 5 3 2 1 5 3 2 1 5 2 3 1 5 2 3 2 1 5 3 2 1 5 2 3 5 1 2 3 5 1 2 3 2 5 1 2 5 3 1 2 5 1 3 2 5 2 1 3 5 2 1 3 2 5 1 2 3 5 4 1 2 3 4 5 2 1 4 3 5 2 1 4 2 5 3 1 4 2 5 3 1 2 4 5 3 2 4 1 5 2 4 3 1 5 2 4 3 1 2 5 4 2 1 3 5 4 2 1 3 5 4 2 1 3 5 4 2 1 4 5 2 3 5 2 3 4 1 2 5 4 3 1 2 5 4 3 2 1 5 4 2 3 1 5 4 2 3 1 5 4 2 3 4 5 1 2 3 4 2 5 1 4 2 3 5 1 2 4 5 3 1 2 4 5 3 1 2 4 5 3 1 2 4 5 2 3 1 4 5 2 3 1 4 2 5 3 4 1 2 5 4 3 1 2 5 4 3 2 1 5 4 2 3 1 5 4 2 3 1 5 4 2 3 1 5 4 2 3 1 5 4 2 3 5 1 2 4 3 2 5 1 4 3 2 5 1 4 3 2 5 4 1 3 2 5 4 1 2 3 5 4 1 2 3 5 4 2 1 3 5 4 2 1 3 5 4 2 1 3 5 4 2 1 3 5 4 2 3 1 5 4 2 3 1 5 4 2 3 4 5 1 2 3 4 5 1 2 4 3 5 2 1 4 3 5 2 1 4 3 5 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 5 3 1 4 2 1 2 5 3 4 2 1 3 5 4 2 3 5 1 4 2 3 5 1 4 2 3 5 1 4 2 3 5 1 4 2 3 5 1 4 2 3 5 4 1 3 2 5 4 3 2 5 4 3 1 5 4 3 1 5 2 4 3 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 2 1 3 4 5 2 1 3 4 5 3 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 1 4 5 3 2 5 4 1 3 4 2 5 3 1 2 4 2 5 3 1 4 5 2 3 4 5 1 3 2 5 4 3 1 2 5 3 4 1 2 3 5 4 1 2 3 5 4 1 2 3 5 4 1 3 2 5 4 3 1 5 2 4 3 1 5 4 3 5 1 3 2 4 5 1 3 4 2 5 3 1 4 2 5 3 1 4 5 2 3 1 4 5 3 2 1 4 3 5 2 3 1 4 5 2 3 5 1 4 3 2 5 4 1 3 5 2 4 1 3 2 4 3 1 4 3 1 2 3 4 1 2 3 4 1 3 2 4 1 3 2 4 3 1 2 3 4 1 3 4 2 1 3 4 2 3 1 4 3 2 1 4 3 2 1 3 4 1 3 2 4 3 1 2 4 3 1 2 4 3 1 3 4 2 3 1 4 2 3 1 4 3 2 1 4 3 2 3 1 4 3 2 1 4 3 2 1 4 3 1 4 3 2 4 3 1 4 2 3 1 3 4 2 3 1 4 2 3 1 4 3 2 1 4 3 2 3 1 4 3 1 2 4 3 1 4 2 3 3 1 4 2 3 1 4 2 3 4 1 3 2 4 1 3 3 2 4 1 3 4 2 1 3 4 1 3 2 3 4 1 2 3 4 1 3 2 4 3 1 2 3 4 1 3 2 4 1 3 4 2 3 1 3 2 3 1 4 3 1 2 4 3 1 4 3 2 3 1 4 2 3 1 4 3 2 1 4 3 2 3 1 4 3 2 1 4 3 1 4 3 2 3 1 4 2 3 1 4 3 2 1 4 2 1 4 2 1 4 1 4 2 1 4 2 1 4 2 1 4 2 1 4 2 1 4 1 2 4 4 1 4 2 1 4 2 1 4 2 1 4 1 2 4 1 2 4 1 4 2 1 4 2 1 4 2 1 4 1 2 4 1 2 4 1 2 4 1 4 2 1 4 1 2 4 1 2 4 1 2 4 1 2 4 1 4 2 1 4 1 2 4 1 4 2 1 4 1 2 4 1 2 1 4 2 1 4 2 1 4 1 4 2 1 4 2 1 4 2 1 4 2 1 4 1 2 4 1 2 4 1 4 2 1 4 2 1 4 2 1 4 1 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 2 4 4 2 4 2 4 2 4 2 4 2 4 2 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 Modelo 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 Banda confianza 4 4 4 4 4 4 4 4 4 200 400 600 800 x 1000 1200 1400

Banda Prediccin

Anlisis de Correlacin y de Regresin Lineal. Modelo de Regresin Lineal

Variables cualitativas

Frecuentemente deseamos usar una variable de escala nominal, tales como gnero, tamao de la empresa, marca,etc. Para usar una variable cualitativa en el anlisis de regresin lineal, la variable se codica con los valores 0 y 1.

Anlisis de Correlacin y de Regresin Lineal. Bibliografa

Devore, Jay l. Probabilidad y Estadstica para Ingeniera y Ciencias. Ed. Internacional Thompson. Ubicacin 519.5D511p. Milton, J. S y Arnold, J. C. Probabilidad y Estadstica con Aplicaciones para Ingeniera y Ciencias Computacionales. cuarta edicin, Ed. Mc. Graw Hill, 2004. Lind, Marchal and Wathen. Estadstica aplicada a los Negocios y la Economa. 15a edicin. Mc. Graw Hill. R Development Core Team (2010). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN 3-900051-07-0, URL http://www.R-project.org.