Diseño de Experimentos Regresión Lineal Múltiple

σ
Regresión Lineal Múltiple

βο
En la mayoría de los problemas de investigación en que se aplica el
Análisis de Regresión se requiere más de una variable independiente en el
modelo de regresión. A este modelo se le llama Modelo de Regresión Lineal
Múltiple. Para el caso de k variables independientes x1, x2, ..., xk la respuesta
estimada se obtiene de la ecuación:

𝑦̂ = 𝛽̂0 + 𝛽̂1 𝑥1 + ⋯ + 𝛽̂𝑘 𝑥𝑘

Χο
Se pueden aplicar técnicas de mínimos cuadrados para estimar los
coeficientes cuando los modelos lineales involucran, a saber, potencias y
productos de las variables independientes. Por ejemplo, cuando k=1 el
experimentador puede pensar que la respuesta media no cae sobre una línea recta
pero se describe con más aproximación con el modelo de regresión lineal
polinomial:
α
𝑦̂ = 𝛽̂0 + 𝛽̂1 𝑥 + 𝛽̂2 𝑥 2 … + 𝛽̂𝑘 𝑥 𝑘
αν

Con un adecuado cambio de variables se puede convertir este modelo en

un modelo de regresión lineal múltiple y aplicar mínimos cuadrados para estimar
los parámetros.
∆ι

Diana Cobos 1
 Diseño de Experimentos Regresión Lineal Múltiple

Representación Matricial de un Modelo de RLM

σ
Al ajustar un modelo de regresión lineal múltiple, el conocimiento de la
teoría matricial puede facilitar considerablemente las manipulaciones
matemáticas. Supóngase que el experimentador tiene k variables independientes
x1, x2,..., xk y n observaciones y1, y2,..., yn, cada una de las cuales se puede

βο
expresar por la ecuación:

𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥1𝑖 + 𝛽̂2 𝑥2𝑖 + ⋯ + 𝛽̂𝑘 𝑥𝑘𝑖 + 𝑒𝑖

Así, las n ecuaciones del sistema son:

𝑦̂1 = 𝛽̂0 + 𝛽̂1 𝑥11 + 𝛽̂2 𝑥21 + ⋯ + 𝛽̂𝑘 𝑥𝑘1 + 𝑒1

⋮ Χο
𝑦̂2 = 𝛽̂0 + 𝛽̂1 𝑥12 + 𝛽̂2 𝑥22 + ⋯ + 𝛽̂𝑘 𝑥𝑘2 + 𝑒2
⋮ ⋮
𝑦̂𝑖 = 𝛽̂0 + 𝛽̂1 𝑥1𝑖 + 𝛽̂2 𝑥2𝑖 + ⋯ + 𝛽̂𝑘 𝑥𝑘𝑖 + 𝑒𝑖
⋮ ⋮ ⋮
𝑦̂𝑛 = 𝛽̂0 + 𝛽̂1 𝑥1𝑛 + 𝛽̂2 𝑥2𝑛 + ⋯ + 𝛽̂𝑘 𝑥𝑘𝑛 + 𝑒𝑛

Con la notación matricial se pueden escribir las ecuaciones:

α
Y = X + e
Donde

𝛽̂0
αν

𝑦1 1 𝑥11 𝑥21 … 𝑥𝑘1

𝑦2 1 𝑥12 𝑥22 … 𝑥𝑘2 𝛽̂1
𝑦3 1 𝑥13 𝑥23 … 𝑥𝑘3 𝛽̂2
. .
𝑌= . , 𝑋= , 𝛽̂ = .
. .
. . .
∆ι

[𝑦𝑛 ] [1 𝑥1𝑛 𝑥2𝑛 … 𝑥𝑘𝑛 ] [𝛽̂𝑘 ]

Diana Cobos 2
 Diseño de Experimentos Regresión Lineal Múltiple

Solución de mínimos cuadrados para la ecuación de RLM

σ
La solución de mínimos cuadrados para la estimación de  presentada en
la ecuación matricial Y=X+e involucra encontrar  para la cual se minimiza.

βο
𝑆𝑆𝐸 = ∑𝑛𝑖=1 𝑒𝑖2 = ∑𝑛𝑖=1(𝑦𝑖 − 𝛽𝑜 − 𝛽1 𝑥1𝑖 − 𝛽2 𝑥2𝑖 − … − 𝛽𝑘 𝑥𝑘𝑖 )2

Este proceso de minimización requiere resolver la siguiente ecuación

para:

Χο 𝑛
𝛿𝛽
(𝑆𝑆𝐸 ) = 0

de lo cual se generan el conjunto siguiente de k+1 ecuaciones:

𝑛 𝑛

𝑛𝛽0 + 𝛽1 ∑ 𝑥1𝑖 + 𝛽2 ∑ 𝑥2𝑖 + ⋯ + 𝛽𝑘 ∑ 𝑥𝑘1 = ∑ 𝑦𝑖

𝑛

𝑖=1 𝑖=1 𝑖=1 𝑖=1

𝑛 𝑛 𝑛 𝑛 𝑛
α
2
𝛽0 ∑ 𝑥1𝑖 + 𝛽1 ∑ 𝑥1𝑖 + 𝛽2 ∑ 𝑥1𝑖 𝑥2𝑖 + ⋯ + 𝛽𝑘 ∑ 𝑥1𝑖 𝑥𝑘1 = ∑ 𝑥1𝑖 𝑦𝑖
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
.
.
αν

𝑛 𝑛 𝑛 𝑛 𝑛
2
𝛽0 ∑ 𝑥𝑘𝑖 + 𝛽1 ∑ 𝑥𝑘1 𝑥1𝑖 + 𝛽2 ∑ 𝑥𝑘𝑖 𝑥2𝑖 + ⋯ + 𝛽𝑘 ∑ 𝑥𝑘𝑖 = ∑ 𝑥𝑘𝑖 𝑦𝑖
𝑖=1 𝑖=1 𝑖=1 𝑖=1 𝑖=1
∆ι

Diana Cobos 3
 Diseño de Experimentos Regresión Lineal Múltiple

El resultado del sistema de ecuaciones se reduce a la solución de  en:

σ
(X’X)=X’y

𝑛 ∑𝑛𝑖=1 𝑥1𝑖 ∑𝑛𝑖=1 𝑥2𝑖 … ∑𝑛𝑖=1 𝑥𝑘1

βο
∑𝑛𝑖=1 𝑥1𝑖 ∑𝑛𝑖=1 𝑥1𝑖
2
∑𝑛𝑖=1 𝑥1𝑖 𝑥2𝑖 … ∑𝑛𝑖=1 𝑥1𝑖 𝑥𝑘1
A = X'X = .
.
.
[∑𝑛𝑖=1 𝑥𝑘𝑖 ∑𝑛𝑖=1 𝑥𝑘𝑖 𝑥𝑘𝑖 ∑𝑛𝑖=1 𝑥𝑘𝑖 𝑥2𝑖 … ∑𝑛𝑖=1 𝑥𝑘𝑖
2
]

y
Χο 𝑔0 = ∑𝑛𝑖=1 𝑦1

𝑔1 = ∑𝑛𝑖=1 𝑥1𝑖 𝑦𝑖
.
g = X'y = ,
.
.
𝑛
[𝑔𝑘 = ∑𝑖=1 𝑥𝑘𝑖 𝑦1 ]
α
de donde, se pueden poner las ecuaciones normales en forma matricial

A = g.
αν

Si la la matriz A no es singular, se puede escribir la solución para los

coeficientes de regresión como

= A-1 g = (X’X)-1X’y

De esta manera se puede obtener la ecuación de predicción o ecuación de

∆ι

regresión al resolver un conjunto de k+1 ecuaciones en un número igual de

incógnitas. Esto involucra la inversión de la matriz X'X .

Diana Cobos 4