Ajuste de mínimos cuadrados

Ajuste a una recta de la data

Dado m pares de datos: (xi,yi), i =1,…m
Se desea encontrar los coeficientes c1 y c2 tales que

g(x) = c1 x+c2

sea un buen ajuste a la data

Surgen entonces las siguientes preguntas:
¿Cómo definimos que es un buen ajuste?
¿Cómo calculamos c1 y c2 a partir de la definición de “buen ajuste”?

Ajustes posibles
Podemos obtener ajustes admisibles por adecuación de la pendiente (c 1) y la
intersección (c2). A continuación se muestra la representación gráfica de algunos
candidatos a mejor ajuste para un conjunto particular de datos.

La pregunta es entonces ¿cuál de estas líneas provee el mejor ajuste?

Residual
En cada punto, la diferencia entre la ordenada de la data y la función ajustada es:
ri = yi – g(xi) = yi – (c1 x +c2)
ri es llamado el residual para el dato (xi, yi)
ri es la distancia vertical entre la data conocida y la función de ajuste.

Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 1
Minimizando el residual
Dos criterios para escoger el “mejor” ajuste

Minimizar r i o Minimizar  ri 2
Por razones estadísticas y de cálculo se elige la minimización de    ri 2

 =   yi  (c1 xi  c2 )2

Ajuste de la distancia ortogonal

Una alternativa para minimizar el residual es minimizar la distancia ortogonal a la recta.

La mimimización de  di 2 es conocida como el problema de regresión de la distancia

ortogonal. Este problema puede ser y es rápidamente resuelto con MATLAB.

Ajuste por mínimos cuadrados

El ajuste por mínimos cuadrados es obtenido escogiendo c1 y c2 tales que
m
 ri
2
i 1
2
sea un mínimo. Para simplificar la notación haremos  = r 2
.
Para encontrar c1 y c2 se debe minimizar  = (c1, c2). El mínimo requiere que

c1 c2 cte
0   2yi  (c1xi  c2 ) xi    yi xi  c1  xi 2  c2  xi

c2 c1 cte
0  2yi  (c1xi  c2 )1   yi  c1  xi  c2 1
m m m
 yi xi  c1  xi 2  c2  xi
i 0 i 0 i 0
m m
 yi  c1  xi  c2 m
i 0 i 0

Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 2
Si hacemos

Sxy  c1Sxx  c2Sx (1)

S y  c1Sx  c2m (2)

De (1) y (2) se obtiene

d  S x 2  mS xx (3)
1
c1  ( S x S y  mS xy ) (4)
d
1
c2  ( S x S xy  S xx S y ) (5)
d

Sistema sobre-determinado para ajuste de una recta

Escribiendo la ecuación c1x + c2 = y para todos los puntos conocidos (xi, yi), i =1,..,m
obtenemos un sistema sobre-determinado.

Donde

Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 3
Ecuación normal para el ajuste

El cuadrado de la norma euclidiana del residuo, r = y – Ac, es:

La minimización de  requiere que

Es decir la solución al problema de mínimos cuadrados es la ecuación normal:

Estadístico R2 (Factor de Regresión)

R2 es una medida de que tan bien la función de ajuste sigue la tendencia de la data.
Se define
ŷ es el valor de ajuste de la función en los puntos de la data conocida
yˆ i  c1xi  c2 Para el ajuste a una recta
y es el promedio de los valores y

 yi
1
y
m
Luego:

Cuando R2  1 la función de ajuste tiende a la data

Cuando R2  0 la función de ajuste no es significativamente mejor que la aproximación a
la data por este medio.

Ajuste de funciones no lineales transformadas

 Algunas de funciones no lineales ajustadas y = F(x) pueden ser transformadas en

una ecuación de la forma v =c1 u+c2
 El ajuste por mínimos cuadrados a una recta es desarrollado en la transformación de
variables.
 Los parámetros no lineales de ajuste de la función son obtenidos por transformación
inversa de las variables originales.

Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 4
 El ajuste de mínimos cuadrados a la ecuación transformada no produce el mismo
ajuste de coeficientes como la solución directa de un problemas de ajuste de
mínimos cuadrados no lineal que involucra el original ajuste de la función
 Ejemplo
y =  e x ln y = c1x + c2

y=x ln y = c1 ln x + c2
y =  x e x ln (y/x) = c1x+c2

Ajuste de la combinación lineal de funciones

 Definición de la función de ajuste y funciones base
 Formulación del sistema sobre-determinado
 Solución vía ecuaciones normales

Considere la función de ajuste

g(x) = c1 f1(x)+c2 f2(x)+… +cn fk(x)

ó
n
g(x) =  ci f i ( x)
i 1

Las funciones base

son seleccionadas por la persona que hace el ajuste

Los coeficientes c1 ,c2 ,… ,cn, son determinados por el método de los mínimos cuadrados
f(x) puede ser cualquier combinación de funciones que sean lineales en los coeficientes
cj, por esta razón

son todas funciones base válidas. Por otro lado

no son funciones base válidas, desde que los cj ,los parámetros del ajuste, están
presentes dentro de los funcionales.
La función de ajuste para un polinomio cúbico es:

g ( x)  c1x3  c2 x2  c3 x  c4

la cual tiene las funciones base

x3 , x2 , x , 1

El objetivo es encontrar los cj tal que g(xi)  yi .

Desde que g(xi)  yi , el residual para cada punto de la data es

n
ri  yi  g ( xi )  yi   c j f j ( xi )
j 1

La solución de mínimos cuadrados proporciona los cj que minimizan r 2 .

Considere la función de ajuste con tres funciones base
Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 5
 y  g( x)  c1 f1 ( x)  c2 f 2 ( x)  c3 f 3 ( x)

Asumiendo que g(x) actúa como una función interpolante. Entonces las ecuaciones
Se satisface para todos los puntos de la data.

Las ecuaciones anteriores son equivalentes al sistema sobredeterminado

Ac=y
Donde

Si F(x) no interpola la data, entonces la ecuación matricial precedente no puede ser

resuelta exactamente; b no cae en el espacio columna de A.
El método de los mínimos cuadrados provee la solución de compromiso que minimiza

El valor de c que minimiza r 2 satisface la ecuación normal

En general, para n funciones básicas

Prof. Mg. Ing. Rosa Mercedes Garrido Juárez Curso Métodos Numéricos 6