Mnimos cuadrados

Mnimos cuadrados es una tcnica de anlisis

numrico enmarcada dentro de la optimizacin
matemtica, en la que, dados un conjunto de pares
ordenados: variable independiente, variable
dependiente, y una familia de funciones, se intenta
encontrar la funcin continua, dentro de dicha familia,
que mejor se aproxime a los datos (un "mejor ajuste"),
de acuerdo con el criterio de mnimo error cuadrtico.
En su forma ms simple, intenta minimizar la suma de
cuadrados de las diferencias en las
ordenadas (llamadas residuos) entre los puntos
generados por la funcin elegida y los correspondientes
valores en los datos. Especficamente, se llama mnimos
cuadrados promedio(LMS) cuando el nmero de datos
medidos es 1 y se usa el mtodo de descenso por gradiente para minimizar el residuo
cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el
mnimo de operaciones (por iteracin), pero requiere un gran nmero de iteraciones para
converger.
Desde un punto de vista estadstico, un requisito implcito para que funcione el mtodo de
mnimos cuadrados es que los errores de cada medida estn distribuidos de forma aleatoria.
El teorema de Gauss-Mrkov prueba que los estimadores mnimos cuadrticos carecen de
sesgo y que el muestreo de datos no tiene que ajustarse, por ejemplo, a una distribucin
normal. Tambin es importante que los datos a procesar estn bien escogidos, para que
permitan visibilidad en las variables que han de ser resueltas (para dar ms peso a un dato en
particular, vase mnimos cuadrados ponderados).
La tcnica de mnimos cuadrados se usa comnmente en el ajuste de curvas. Muchos otros
problemas de optimizacin pueden expresarse tambin en forma de mnimos cuadrados,
minimizando la energa o maximizando la entropa.

Formulacin formal del problema bidimensional
Sea un conjunto de n puntos en el plano real, y sea una base
de m funciones linealmente independiente en un espacio de funciones. Queremos encontrar
una funcin que sea combinacin lineal de las funciones base, de modo
que , esto es:

Por tanto, se trata de hallar los m coeficientes que hagan que la funcin
aproximante d la mejor aproximacin para los puntos dados . El criterio de
"mejor aproximacin" puede variar, pero en general se basa en aqul que minimice una
"acumulacin" del error individual (en cada punto) sobre el conjunto total. En primer lugar, el
error (con signo positivo o negativo) de la funcin en un solo punto, , se define
como:

pero se intenta medir y minimizar el error en todo el conjunto de la
aproximacin, . En matemticas, existen diversas formas de definir el error,
sobre todo cuando ste se refiere a un conjunto de puntos (y no slo a uno), a una funcin,
etc. Dicho error (el error "total" sobre el conjunto de puntos considerado) suele definirse con
alguna de las siguientes frmulas:
Error Mximo:
Error Medio:
Error cuadrtico medio:
La aproximacin por mnimos cuadrados se basa en la minimizacin del error cuadrtico medio
o, equivalentemente, en la minimizacin del radicando de dicho error, el llamado error
cuadrtico, definido como:


Para alcanzar este objetivo, se utiliza el hecho que la funcin f debe poder describirse como
una combinacin lineal de una base de funciones. Los coeficientes de la combinacin lineal
sern los parmetros que queremos determinar. Por ejemplo, supongamos que f es
una funcin cuadrtica, lo que quiere decir que es una combinacin
lineal, , de las funciones
, y (m=3 en este caso), y que se pretende determinar los valores de
los coeficientes: , de modo que minimicen la suma (S) de los cuadrados de los residuos:

Esto explica el nombre de mnimos cuadrados. A las funciones que multiplican a los
coeficientes buscados, que en este caso son: , y , se les conoce con el nombre de
funciones base de la aproximacin, y pueden ser funciones cualesquiera. Para ese caso general
se deduce a continuacin la frmula de la mejor aproximacin discreta (i.e. para un conjunto
finito de puntos), lineal y segn el criterio del error cuadrtico medio, que es la
llamada aproximacin lineal por mnimos cuadrados. Es posible generar otro tipo de
aproximaciones, si se toman los errores mximo o medio, por ejemplo, pero la dificultad que
entraa operar con ellos, debido al valor absoluto de su expresin, hace que sean difciles de
tratar y casi no se usen.
Solucin del problema de los mnimos cuadrados
La aproximacin mnimo cuadrtica consiste en minimizar el error cuadrtico mencionado ms
arriba, y tiene solucin general cuando se trata de un problema de aproximacin lineal (lineal
en sus coeficientes ) cualesquiera que sean las funciones base: antes mencionadas.
Por lineal se entiende que la aproximacin buscada se expresa como una combinacin lineal
de dichas funciones base. Para hallar esta expresin se puede seguir un camino analtico,
expuesto abajo, mediante el clculo multivariable, consistente en optimizar los coeficientes ;
o bien, alternativamente, seguir un camino geomtrico con el uso de el lgebra lineal, como se
explica ms abajo, en la llamada deduccin geomtrica. Para los Modelos estticos
uniecuacionales, el mtodo de mnimos cuadrados no ha sido superado, a pesar de diversos
intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su gnero, es el
que proporciona la mejor aproximacin.
Deduccin analtica de la aproximacin discreta mnimo cuadrtica lineal
Sea un conjunto de n pares con abscisas distintas, y sea un
conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones),
que se llamarn funciones base. Se desea encontrar una funcin de dicho espacio, o sea,
combinacin lineal de las funciones base, tomando por ello la forma:
.
Ello equivale por tanto a hallar los m coeficientes: . En concreto, se desea que tal
funcin sea la mejor aproximacin a los n pares empleando, como criterio
de "mejor", el criterio del mnimo error cuadrtico medio de la funcin con respecto a
los puntos .El error cuadrtico medio ser para tal caso:

Minimizar el error cuadrtico medio es equivalente a minimizar el error cuadrtico, definido
como el radicando del error cuadrtico medio, esto es:

As, los que minimizan tambin minimizan , y podrn ser calculados derivando e
igualando a cero este ltimo:
Siendo i=1,2, . . .,m
Se obtiene un sistema de m ecuaciones con m incgnitas, que recibe el nombre de "Ecuaciones
Normales de Gauss". Operando con ellas:
, para i=1,2, . . .,m

, para i=1,2, . . .,m

Si se desarrolla la suma, se visualiza la ecuacin "i-sima" del sistema de m ecuaciones
normales:
, para cada i=1,2, . . .,m

Lo cual, en forma matricial, se expresa como:

Siendo el producto escalar discreto, definido para dos funciones dadas h(x) y g(x)
como:

y para una funcin h(x) y vector cualquiera u, como:
La resolucin de dicho sistema permite obtener, para cualquier base de funciones derivables
localmente, la funcin f(x) que sea mejor aproximacin mnimo cuadrtica al conjunto de
puntos antes mencionado. La solucin es ptima esto es, proporciona la mejor aproximacin
siguiendo el criterio de mnimo error cuadrtico, puesto que se obtiene al optimizar el
problema.
Corolario
Si se tratara de hallar el conjunto de coeficientes tal que pase exactamente por
todos los pares , esto es, tales que interpole a ,
entonces tendra que cumplirse que:
Que en forma matricial se expresa como:

Esto establece un sistema de n ecuaciones y m incgnitas, y como en general n>m, quedara
sobredeterminado: no tendra siempre una solucin general. Por tanto, la aproximacin
tratar en realidad de hallar el vector c que mejor aproxime .
Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss
coincide con , siendo A la matriz de coeficientes exactas, y como el trmino
independiente de las ecuaciones normales de Gauss coincide con el vector , se tiene
que los valores que mejor aproximan f(x) pueden calcularse como la solucin al sistema:

que es, precisamente, el sistema de las ecuaciones normales de Gauss.
Deduccin geomtrica de la aproximacin discreta mnimo cuadrtica lineal
La mejor aproximacin deber tender a interpolar la funcin de la que proviene el conjunto de
pares , esto es, deber tender a pasar exactamente por todos los puntos. Eso supone
que se debera cumplir que:

Sustituyendo f(x) por su expresin como combinacin lineal de una base de m funciones:

Esto es, se tendra que verificar exactamente un sistema de n ecuaciones y m incgnitas, pero
como en general n>m, dicho sistema estara sobredeterminado y, por tanto, sin solucin
general. De ah surge la necesidad de aproximarlo.
Dicho sistema podra expresarse en forma matricial como:

Esto es:

La aproximacin trata de hallar el vector c aproximante que mejor aproxime el
sistema .
Con dicho vector c aproximante, es posible definir el vector residuo como:

De manera que el mnimo error cuadrtico supone minimizar el residuo, definiendo su tamao
segn la norma eucldea o usual del residuo, que equivale al error cuadrtico:
siendo el producto interior o escalar del vector residuo sobre s mismo.
Si atendemos al sistema , entonces se ve claramente que al multiplicar A y c, lo que
se realiza es una combinacin lineal de las columnas de A:


El problema de aproximacin ser hallar aquella combinacin lineal de columnas de la matriz A
lo ms cercana posible al vector b. Se comprueba que el conjunto de las columnas de A
generan un espacio vectorial o Span lineal: , al que el vector b no
tiene porqu pertenecer (si lo hiciera, el sistema A.c=b tendra solucin).
Entonces, de los infinitos vectores del que son combinacin lineal
de los vectores de la base, se tratar de hallar el ms cercano al vector b.
De entre todos ellos, el que cumple esto con respecto a la norma eucldea es la proyeccin
ortogonal de b sobre , y que por tanto hace que el tamao del
vector r, que ser el vector que une los extremos de los vectores b y proyeccin ortogonal de b
sobre el span, sea mnimo, esto es, que minimiza su norma eucldea.
Es inmediato ver que si el residuo une b con su proyeccin ortogonal, entonces es a su vez
ortogonal al , y a cada uno de los vectores de la base, esto es,
ortogonal a cada columna de A.
La condicin de minimizacin del residuo ser:

Que es cierto si y slo si:

A su vez, cada una de las m condiciones de perpendicularidad se pueden agrupar en una sola:

Sustituyendo el residuo por su expresin:

Por tanto, la mejor aproximacin mnimo cuadrada lineal para un conjunto de puntos
discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado:
.
A esta ecuacin se le llama ecuacin normal de Gauss, y es vlida para cualquier conjunto de
funciones base. Si estas son la unidad y la funcin x, entonces la aproximacin se
llama regresin lineal.
Mnimos cuadrados y anlisis de regresin
En el anlisis de regresin, se sustituye la relacin
por

siendo el trmino de perturbacin una variable aleatoria con media cero.
Obsrvese que estamos asumiendo que los valores x son exactos, y que todos los errores estn
en los valores y. De nuevo, distinguimos entre regresin lineal, en cuyo caso la funcin f es
lineal para los parmetros a ser determinados (ej., f(x) = ax
2
+ bx + c), y regresin no lineal.
Como antes, la regresin lineal es mucho ms sencilla que la no lineal. (Es tentador pensar que
la razn del nombre regresin lineal es que la grfica de la funcin f(x) = ax + bes una lnea.
Ajustar una curva f(x) = ax
2
+ bx + c, estimando a, b y c por mnimos cuadrados es un ejemplo
de regresin lineal porque el vector de estimadores mnimos cuadrticos de a, b y c es
una transformacin lineal del vector cuyos componentes son f(x
i
) +
i
).
Los parmetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mnimos
cuadrados: se toman aquellos valores que minimicen la suma S. El teorema de Gauss-
Mrkov establece que los estimadores mnimos cuadrticos son ptimos en el sentido de que
son los estimadores lineales insesgados de menor varianza, y por tanto de menor error
cuadrtico medio, si tomamos f(x) = ax + b estando a y b por determinar y con los trminos de
perturbacin independientes y distribuidos idnticamente (vase elartculo si desea una
explicacin ms detallada y con condiciones menos restrictivas sobre los trminos de
perturbacin).
La estimacin de mnimos cuadrados para modelos lineales es notoria por su falta de robustez
frente a valores atpicos (outliers). Si la distribucin de los atpicos es asimtrica, los
estimadores pueden estar sesgados. En presencia de cualquier valor atpico, los estimadores
mnimos cuadrticos son ineficientes y pueden serlo en extremo. Si aparecen valores atpicos
en los datos, son ms apropiados los mtodos de regresin robusta.