SEMANA 2

ANALISIS DE REGRESION
LINEAL Y MULTIPLE
Docente:
Mercedes Aida Osorio Maza
mosorio@uni.edu.pe

2018 - II
TEORIA
TEMAS A DESARROLLAR
 Análisis de Regresión Lineal Simple;
Coeficiente de determinación, Coeficiente
de correlación.
 Análisis de Regresión Polinomial de 1er y
2do grado.
 Regresión Lineal Múltiple.
 Regresión Lineal Múltiple con 2 variables
independientes.
 ANÁLISIS DE REGRESIÓN
Consiste en emplear métodos estadísticos que determinen
matemáticamente un modelo de la curva que más se ajusta a
los datos.
Es decir: y= f (xi )
Donde:
y = variable dependiente
x = variable independiente
f = función
Para elegir la relación funcional que más se ajusta a los
datos lo 1ro que debemos hacer es el diagrama de
dispersión.
 DIAGRAMA DE DISPERSIÓN
Es la gráfica de los valores (xi , yi) este diagrama permite
visualizar la tendencia que siguen los puntos ya sea lineal,
exponencial, etc.
Otros diagramas de dispersión:

En base a la tendencia que siguen los datos nosotros

analizamos los diferentes tipos de regresión.
1.- ANÁLISIS DE REGRESIÓN LINEAL

2.- ANALISIS DE REGRESION EXPONENCIAL

3.- ANALISIS DE REGRESION POTENCIAL

4.- ANALISIS DE REGRESIÓN POLINOMIAL

5.-ANALISIS DE REGRESIÓN LINEAL MÚLTIPLE

1.- ANÁLISIS DE REGRESIÓN LINEAL
Es aquel análisis cuando la relación entre “x” e “y” es de
tipo lineal.
Matemáticamente el modelo será:

yi  A  Bx i  i

Donde:
y i  Variable dependient e
x i  Variable indenpendi ente
A, B  Coeficient es
i  Error
Si tenemos un diagrama de dispersión lineal y si asumimos
un modelo de estimación de la forma:

Tendremos:
ŷi  a  bx i
ŷi  a  bx i (Modelo Muestral)
i

yi  A  Bx  i (Modelo Poblaciona l)

Para que el modelo estimado este muy próximo al modelo

real, nosotros debemos minimizar el error.
Tomando una observación el error será 1  y1  ŷ1
 Luego la recta que mejor se ajusta será aquella que
minimice la suma cuadrado del error:
i2  yi  ŷ i   min.
2

Es decir:
n
  y1  ŷ1   y 2  ŷ 2   ..................y i  ŷ i    y i  ŷ i 
2 2 2 2 2
i
i 1

 Para hallar los estimadores “a” y “b” que hagan mínimo el

error se estimara de:

 i2  i2
0  0  Ecuaciones Normales
a b
Obtenemos las Ecuaciones Normales:

1 era Ecuación Normal

n n

y
i 1
i na  b x i
i 1

2 da Ecuación Normal

n n n

x y
i 1
i i a  x i  b x  0
i 1 i 1
2
i
2.- ANÁLISIS DE REGRESIÓN EXPONENCIAL

Cuando el diagrama de dispersión se nos presenta en la

siguiente forma:
El modelo será linealizado tomando logaritmo natural y/o
función logaritmo.

y  ab x

lny  lna  xlnb



y*  a *  b * x
La estimación de a* y b* se halla igual que la regresión
lineal simple de las ecuaciones:

 y*  na * b *  x i 

2
Ecuaciones normales
 xy*  a *  x  b *  x
i i 


La regresión exponencial se presenta en muchos problemas

de Física, Química Economía. Etc.
3.- ANÁLISIS DE REGRESIÓN POTENCIAL
Si se presenta un modelo la manera de linealizarlo es
mediante ln y/o log.
lny  ln(ax b )
lny  lna  blnx

Las ecuaciones serán:

 i
y *
 na *  b *  i
x *

 i i
x * *
y  a *  i  i
x  b x *2
 COEFICIENTE DE DETERMINACIÓN (r2)

Es aquella medida conocida también como coeficiente de

bondad de ajuste ya que indica en que porcentaje se ajusta
la línea de regresión al conjuntos de datos.

 ŷ - y
2

r 2
 i

 y i - y
2

y i  Valor observado
ŷ i  Valor estimado en base al modelo ŷ i  a  bx i
Gráficamente:

r 2  Mide el %de la variacion de " y" explicada por la variable" x"

Gráficamente el coeficiente de determinación se observa:

Se sabe:
yi  Valor Observado
ŷi  Valor Estimado
y i - y  Desviación y i con respecto al promedio y.
ŷ i - y  desviación de y i con respecto al promedio y.
i  y i  ŷ i
Luego:

 iy - y 2
 
 iŷ - y 2
  i
2
.

 S.Cuad.Tot al  S.C. Regresión  S.C. Error

Coeficiente de No Determinación (1 – r2)

Nos indica el % porcentaje de la variación de y que no
depende de la variación de “x”, su variación se debe a los
factores aleatorios.

Coeficiente de Correlación (r)

Mide el grado de asociación entre “x” e “y”.
En la regresión múltiple:
2
ry.12

2Variables Independientes
4.- ANÁLISIS DE REGRESIÓN POLINOMIAL

y i  Bo  B1x  B2 x 2  B3 x 3  .................. i

Se aplica cuando en el diagrama de dispersión los puntos no

siguen una tendencia lineal sino una tendencia curva. Ya sea
de 2do grado, 3ro grado, etc.
Para poder hallar los parámetros:

B̂o , B̂1 , B̂2 ,..............., etc.

Aplicaremos el criterio de los mínimos cuadráticos:

n

 i  min
2

i 1

Luego:

 i2
0
Bo

Nos genera estimadores que minimicen la suma cuadrado

del error.
Luego obtendremos:

B̂0 n  B̂1  x  B̂2  x 2  ................   y 



B̂0  x  B̂1  x  B̂2  x  ..........   yx Ecuaciones Normales
2 3


B̂0  x 2  B̂1  x 3  B̂2  x 4  ........   yx 2 


(Así sucesivame nte)

4.1) REGRESIÓN POLINOMIAL (2do Grado)
Gráficamente:

Expresando matricialmente tenemos:

B̂0 n  B̂1  x  B̂2  x 2   y  Los estimadore s


B̂0  x  B̂1  x  B̂2  x   yx  B̂0 , B̂1 , B̂2 se hallan
2 3

2  de las Ecuaciones Normales

B̂0  x  B̂1  x  B̂2  x   yx 
2 3 4
Del modelo:

y i  B̂o  B̂1x i  B̂2 x i2  i

Matricialmente será:

y i  xB̂  i
y i  ŷ i  i
Luego:
Ejemplo (n = 4)

 y1  1 x1 x12  i 
y   2
B̂0   
 2   1 x2 x 2    i 
2 
B̂1  
 y 3  1 x3 x3 i 
   2 
B̂2   
 y 4  1 x4 x 4  i 
Para poder hallar los parámetros, aplicamos el método de los
mínimos cuadrados.

 12  y  xB̂ y  xB̂
0 0
Bi Bi

xx B̂  xy NOTA : Si

 B̂  x x  xy  yi  xB̂  i  i  yi  xB̂
1


Hallamos (x’x) y (x’y)

 n  xi  i 
x 2

xx     x i  i
x 2
 i
x 3

 x i2  i
x 3
 i
x 4

   yi 
 
x y     xi yi 

 xi2 yi 
 

El vector de coeficiente será:

 Bˆ 0 
 
B̂  x x  x y    B1 
1
ˆ
 Bˆ 2 

El modelo matricial será:

ŷ i  xB̂ y/o ŷ i  B̂o  B̂1x i  B̂2 x i2

5.- ANÁLISIS DE REGRESIÓN
LINEAL MULTIPLE
Sean x1, x2, ..................., xP, p variables independientes, y
una variable aleatoria que depende de las “k” variables
independientes.
El método matemático de regresión lineal múltiple es:

y i  B0  B1x1  B2 x 2  B3 X 3  .................Bp x p  i

El problema al igual que en la regresión lineal es estimar los

parámetros:
B̂ 0 , B̂1 , B̂ 2 ,.............B̂ P
Esto se halla minimizando la suma cuadrado del error

 i  min.
2
Si:

  y i  B̂0  B̂1x1  B̂2 x 2 ........B̂p x p 

n n n
Q   i   yi  ŷi 
2 2

i 1 i 1 i 1

Luego:

Q
 0.
B k
Nos dará estimadores mínimos cuadrados

 Q Q 
  0,  0,..................
 B1 B2 
5.1) REGRESIÓN LINEAL MULTIPLE
(2 Variables Independientes)
Si:

Q  2I   y i  ŷ i    y i  B̂0  B̂1x1  B̂2 x 2 

n n n
2 2

i 1 i 1 i 1

Luego las ecuaciones normales son:

nB̂0  B̂1  x1  B̂2  x 2   yi

B̂0  x1  B̂1  x12  B̂2  x1x 2   x1 yi
B̂0  x 2  B̂1  x1x 2  B̂2  x 22   x 2 yi
Expresando matricialmente :

yi  xB i  i
Ejemplo (n = 4)

 y1  1 x11 x 21  1 
 y  1  B̂0   
 2   x12 x 22    2 
 B̂1  
 y3  1 x13 x 23  3 
    B̂2   
 y 4  1 x14 x 24  4 
Luego:
y1  B̂0  B̂1x11  B̂ 2 x 21  1
y 2  B̂0  B̂1x12  B̂ 2 x 22  2
y 3  B̂0  B̂1x13  B̂ 2 x 23  3
y 4  B̂0  B̂1x14  B̂ 2 x 24  4
Los valores de B̂ i se hallan de:

   i2
Bi
   i2  y  xB  y  xB
 0
Bi Bi
Luego:
xx B̂  xy
 B̂  xx  xy 
1

Hallamos(x’x)
1 x11 x 221 
1 1 1 1   
x 222 
x   x11 x14   1 x12
x12 x13 x
1 x13 x 223 
 x 221 x 222 x 223 x 224   2 
1 x14 x 24 
Luego:  n n

 n x 1i  x 2i 
n i 1
n n
i 1

xx    x1i  1i
x 2
 x x
1i 2i


i 1 i 1 i 1
n n n 
 x 2i x x 2i  x 2i 
 i 1 
1i
i 1 i 1

 y1 
 1 1 1 1  y 
x   x11 x12 x13 x14  y   2
 y3 
 x 221 x 222 x 223 x 224   
y4 
Luego:
  yi 
 
xy     x1i y i 
 x 22i y i 
 
Entonces:

B̂i  
x x  x y 

1

Matriz Inversa.
(Metodo Gauss - Jordan y / o cofactores )

Coeficiente de determinación en la regresión lineal múltiple

 ŷ i  y 2
2
ry.12  i 1
n

 y
i 1
i  y 2

ŷi  B̂0  B̂1x1  B̂2 x 2 (Modelo Estimado)

yi  Valor Observado
 DIAGRAMA DE DISPERSIÓN (Ln(P) VS 1/T))

4.5

3.5

3 Series1
y = 191.2e-1386x
LN(P)

Lineal (Series1)
R² = 0.879
Polinómica (Series1)
2.5 Exponencial (Series1)

y = -3631.x + 14.04
R² = 0.940
2

1.5
y = -5E+12x 4 + 5E+10x 3 - 2E+08x 2 + 45703x - 321.3
R² = 0.941

1
0.0026 0.0027 0.0028 0.0029 0.003 0.0031 0.0032 0.0033 0.0034 0.0035 0.0036
1/T
 DIAGRAMA DE DISPERSIÓN CUADRATICA
8

7 7

5 5

4
Presión(P)

3 3
y = 0.000x3 - 0.114x2 + 39.08x - 4444.
R² = 0.998

2
y = 0.004x2 - 3.196x + 546.3 1.8
R² = 0.975

1 1.1
Series1
0.7
0.4
Polinómica (Series1)
0.15 0.17 0.2
0 0 Polinómica (Series1)
325 335 345 355 365 375 385

-1
Temperatura(T)
VIDEO INTRODUCTORIO DE ANÁLISIS DE
REGRESIÓN LINEAL Y MÚLTIPLE
VIDEO DE RESOLUCIÓN DE EJERCICIOS DE
ANÁLISIS DE REGRESIÓN LINEAL Y
MÚLTIPLE