Documente Academic
Documente Profesional
Documente Cultură
1 INTRODUCCIN
El presente documento persigue dos objetivos principales. Se realizar una introduccin de la teora de regresin empleando vectores soportes (SVR, Support Vector Regression) para aquellas personas que les sea necesario para su campo de investigacin especfico. Por otra parte, se intentar dar una aplicabilidad a la tcnica
utilizando como contexto principal de trabajo la prediccin de velocidades de viento.
El trabajo est organizado de la siguiente forma. Se comenz dando una breve visin general sobre las tcnicas bsicas en las secciones 1, 2 y 3, as como un
resumen general empleando figuras y diagramas en la seccin 4. Estas secciones
abarcan el conocimiento mnimo sobre regresin con vectores soportes para abordar cualquier tema sobre el que se desee aplicarlo. En la seccin 5 se mostrar un
caso prctico en el que se emplea este tipo de regresin para realizar predicciones
short-term de velocidades de viento. Para ello haremos uso de SVM Matlab Toolbox, una librera de MatLab que permite clasificacin y regresin empleando el
algoritmo de vectores soporte. Finalmente, en la seccin 6 se hace una breve resea sobre otros campos relacionados con la biometra computacional en los que
puede ser aplicado SVR. Concretamente, se centrar nuestra atencin en el reconocimiento de voz.
Pgina 1
Pgina 2
1.3 CLCULO DE B
El clculo de puede ser realizado mediante la exploracin de las condiciones de
Karush-Kuhn-Tucker (KKT) [Karush, 1939, Kuhn y Tucker, 1951]. stas plantean
que la solucin ptima del producto entre las variables duales y las restricciones
debe ser cero. De esta manera, puede ser calculado como:
(1.7)
Un dato a tener en cuenta es que slo para aquellas muestras , que
cumplan que , sus multiplicadores de Lagrange sern distintos de
cero, o en otras palabras, para todas las muestras dentro del tubo que forma
entorno a , las variables , desaparecen. A consecuencia de esto, no se necesitan todas las para describir . Los datos de entrada cuyos coeficientes ,
sean distintos de cero se denominarn vectores soporte.
2 KERNELS
2.1 REGRESIN NO LINEAL
El siguiente paso es posibilitar la realizacin de regresin no lineal mediante el
algoritmo SV. Esto se puede conseguir simplificando el preprocesado de los patrones de entrenamiento mediante un mapeo : en algn espacio de caractersticas de mayor dimensin y luego aplicar la regresin lineal estndar vista
Pgina 3
en el captulo anterior. De esta manera, nuestro problema se transformara en encontrar una funcin que cumpliese que
(2.1)
El principal problema de esta solucin radica en que la transformacin () puede
ser de una complejidad tal que sea computacionalmente inviable alcanzarla. Las
propiedades de la formulacin dual nos permitirn solventar este inconveniente.
=
=1
+
(2.2)
Pgina 4
Pgina 5
(2.17)
2
2
(2.19)
Las funciones de base radial (RBF) son tambin conocidas como funciones
gaussianas.
Pgina 6
3 GENERALIZACIN
El problema de optimizacin mostrado en la ecuacin (1.3) es una forma de solventar el problema de regresin cuando existen muestras , con errores de
estimacin que siguen una determinada distribucin lineal. Sin embargo, sta puede variar dependiendo del problema con el que nos enfrentemos. Para
solucionarlo, se hace uso del concepto de riesgo funcional.
(, )
(3.1)
Evaluar esta funcin de riesgo es complicado pues usualmente no se conoce la funcin de distribucin (, ); slo podemos usar el conjunto de entrenamiento dado
para realizar la identificacin. Para superar este problema podemos utilizar el
principio del riesgo emprico el cual nos dice que en lugar de emplear la funcin de
riesgo estructural , podemos construir una funcin de riesgo emprico
de la forma
1
+
(3.2)
=1
Pgina 7
Frmulacin matemtica
Cuadrtica
= ( )2
(3.3)
Laplaciana
(3.4)
Huber
-insensitive
=
1
( )2
si <
2
=
2
otro caso
2
0
si <
=
otro caso
(3.5)
(3.6)
Pgina 8
4 ESQUEMA GENERAL
En este captulo haremos un breve resumen de las propiedades del algoritmo SV
para regresin descrito anteriormente. La siguiente grfica muestra de forma
abreviada los diferentes pasos que se siguen durante la fase de regresin.
1 - 1*
Kernel K(Xi,X)=(Xi),(X)
(X1)
(X2)
...
(Xn)
X1
X2
...
Xn
(X)
Vector test X
El patrn de entrada (para el cual la prediccin debera ser hecha, vector test X) se
mapea en un espacio de caractersticas mediante una funcin . Luego, los productos escalares son computados con los resultados obtenidos tras el mapeo para
cada uno de los patrones de entrenamiento Xi. Esto corresponde a la evaluacin de
la funcin kernel K en los puntos K(Xi,X). Finalmente los productos escalares son
sumados usando los pesos i - i*. Esto, ms el trmino constante b nos conduce a
la prediccin final Y. El proceso descrito aqu es muy similar a la regresin en una
red neuronal de tres capas con la diferencia de que, en el caso SV, los pesos en la
capa entrada son predeterminados por los patrones de entrenamiento.
Pgina 9
Valor
80
20
1
1
Funcin de base radial ( = 0.9)
-insensitive ( = 0.1)
= 0.001
Para simular este experimento, se emple el software MatLab 7.10.0 junto con la
funcin svr includa en la librera SVM Matlab Toolbox implementada por Steve R.
Gunn [Gunn, 1998]. La funcin svr permite obtener los coeficientes i = i -i*, as
como la constante b que definen la funcin de regresin a partir de las muestras de
entrenamiento {x, y} que se pasen por parmetro. De esta forma, la funcin de regresin ser de la forma f(x) = i K(xi,x) + b con la que se puede calcular el valor
de salida para cada una de las muestras de test.
Pgina 10
Pgina 12
to, puede no estar ajustado a lo que el usuario desea. El algoritmo de vectores soporte para regresin permitira esa alternativa.
Mediante los parmetros que definen el algoritmo SV junto con el control de
los vectores soporte resultantes podramos reconstruir el espectro de frecuencias
como se quisiese y por lo tanto, ajustarlo a un sonido ms real, a diferencia del caso
de filtro digitales.
En la imagen se muestra un ejemplo de reconstruccin de la seal anterior aplicando el algoritmo de vectores soporte para regresin. Se puede comprobar que se
ha eliminado la mayor parte del ruido provocado por las frecuencias superiores a
1000 Hz y dejando la frecuencia fundamental (440 Hz) en su intensidad mxima.
Adems, si se permitiese la variacin interactiva de las posiciones de los vectores
soporte podramos conseguir un sistema capaz de generar sonidos con diversos
efectos (armnicos, reverbe, etc.)
Concludo este proceso, tendramos a disposicin un patrn de entrenamiento fiable y sin ruido que podra ser utilizado por algn tipo de clasificador.
BIBLIOGRAFA
N. Cristianini and J. Shawe-Taylor. An Introduction to Support Vector Machines and
other kernel-based learning methods, 2000. Cambridge University Press.
S. R. Gunn. Support Vector Machines for Classification and Regression, 1998.
A. J. Smola and B. Schlkopf. A Tutorial on Support Vector Regression, 1998.
W. Karush. Minima of functions of several variables with inequalities as side constraints. Master's thesis, Dept. of Mathematics, Univ. of Chicago, 1939.
Pgina 13
H. W. Kuhn and A. W. Tucker. Nonlinear programming. In Proc. 2nd Berkeley Symposium on Mathematical Statistics and Probabilistics, pages 481-492, Berkeley,
1951. University of California Press.
J. Mercer. Functions of positive and negative type and their connection with the theory of integral equations. Philos. Trans. Roy. Soc. London, A 209: 415-446, 1909.
A. J. Smola, B. Schlkopf, and K.-R. Mller. The connection between regularization
operators and support vector kernels. Neural Networks, 11:637-649,1998d.
C. J. C. Burges. A Tutorial on Support Vector Machines for Pattern Recognition.
Knowledge Discovery and Data Mining, 1998. in press. MIT Press.
P. J. Hub er. Robust Statistics. John Wiley and Sons, New York, 1981.
V. Vapnik. Statistical Learning Theory. Wiley, N.Y., 1998.
G. A. Betancourt. Las mquinas de soporte vectorial (SVMs), 2005. Scientia et Technica Ao XI.
K.-R. Mller, A. J. Smola, G. Rtsch, B. Schlkopf and J. Kohlmorgen. Using Support
Vector Machines for Time Series Prediction, 2000.
M. A. Mohandes, T. O. Halawani, S. Rehman and Ahmed A. Hussain. Support vector
machines for wind speed prediction, 2003.
J. Marques and P. J. Moreno. A study of musical instrument classification using gaussian mixture models and support vector machines, 1999. Tech. Rep., Cambridge Research Laboratory.
K. Dosenbach, W. Fohl and A. Meisel. Identification of individual guitar sounds by
support vector machines, 2008. Proc. of the 11th Int. Conference on Digital Audio
Effects.
http://www.support-vector-machines.org
http://www.svms.org/regression
http://www.isis.ecs.soton.ac.uk/resources/svminfo/
http://asi.insa-rouen.fr/enseignants/~arakotom/toolbox/index.html
Pgina 14