Mquinas de Vectores Soporte

Roger Miranda1 17 de enero de 2013

Miranda is with Universidad Politcnica de Victoria, Cd. Victoria, Tamaulipas. rmirandac@upv.edu.mx

1 R.

NDICE

ndice
1. MQUINAS DE VECTORES SOPORTE 1.1. Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2. Motivacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3. Justicacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. Preeliminares Matemticos 2.1. Espacios inducidos por la funcin kernel . . . . . . . . . . . . . . . . . . . 3 3 4 5 6 6

2.2. Teora de la Generalizacin . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.3. Teora de Optimizacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3. Mquinas de Vectores Soporte 17

3.1. SVM para Clasicacin Binaria . . . . . . . . . . . . . . . . . . . . . . . . 17 3.1.1. Margen funcional y geomtrico . . . . . . . . . . . . . . . . . . . . 18 3.1.2. Problema de Optimizacin Principal y Dual . . . . . . . . . . . . . 23 3.1.3. Ventajas de los Vectores Soporte . . . . . . . . . . . . . . . . . . . 31 3.1.4. Concepto y uso de la funcin Kernel . . . . . . . . . . . . . . . . . 33 3.1.5. Regularizacin y el caso no separable . . . . . . . . . . . . . . . . . 37 3.2. El algoritmo SMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.1. Algoritmo ascendente coordenado . . . . . . . . . . . . . . . . . . . 39 3.2.2. Optimizacin Mnima Secuencial (SMO) . . . . . . . . . . . . . . . 40 4. Aplicaciones experimentales de las SVM 4.1. Aplicacin de SVM con kernel lineal 44

. . . . . . . . . . . . . . . . . . . . . 44

4.2. Aplicacin de SVM con kernel Gaussiano para segundo conjunto de datos . 49 4.3. Aplicacin de SVM con kernel Gaussiano para tercer conjunto de datos . . 51 4.4. Aplicacin de las SVM para reconocimiento de dgitos . . . . . . . . . . . . 54 4.4.1. Versin alternativa para la deteccin de dgitos escritos a mano usando SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 1

NDICE 5. APNDICE A Ecuaciones del plano 6. APNDICE B Programas de Simulacin SVM

56

57

6.1. Pruebas de SVM para tres conjuntos de datos . . . . . . . . . . . . . . . . 57 6.1.1. Programa svmRoger_01 . . . . . . . . . . . . . . . . . . . . . . . . 57 6.1.2. Programa graficaDatos.m . . . . . . . . . . . . . . . . . . . . . . 61 6.1.3. Programa ajuste.m . . . . . . . . . . . . . . . . . . . . . . . . . . 61 6.1.4. Programa visualizaFronteraLineal.m . . . . . . . . . . . . . . . 62 6.1.5. Programa visualizaFrontera.m . . . . . . . . . . . . . . . . . . . 63 6.1.6. Programa seleccionaCSigma.m . . . . . . . . . . . . . . . . . . . . 64 6.2. Uso de SVM para identicacin de dgitos escritos a mano empleando k modelos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.1. Programa svmRoger_02.m . . . . . . . . . . . . . . . . . . . . . . . 65 6.2.2. Programa entrenamientoSVM.m . . . . . . . . . . . . . . . . . . . . 67 6.2.3. Programa ajuste.m . . . . . . . . . . . . . . . . . . . . . . . . . . 68 6.2.4. Programa dispImag.m . . . . . . . . . . . . . . . . . . . . . . . . . 69 6.2.5. Programa predicciones.m . . . . . . . . . . . . . . . . . . . . . . 70 6.3. Uso de SVM para prediccin de dgitos escritos a mano: versin alternativa 71 6.3.1. Programa svmRoger_03.m . . . . . . . . . . . . . . . . . . . . . . . 71

1. MQUINAS DE VECTORES SOPORTE

1.
1.1.

MQUINAS DE VECTORES SOPORTE

Introduccin

En general, hasta el momento las redes neuronales (NN) han sido el mtodo ms popular en el modelado de procesos industriales, los cuales son altamente no lineales. Las redes neuronales son aproximadores universales capaces de estimar cualquier funcin no lineal en ambientes en lnea o fuera de lnea. La identicacin de sistemas no lineales con NN permite obtener modelos no lineales de sistemas reales por medio de la medicin de un conjunto de entradas, siendo el ajuste de pesos de la red un aspecto complejo, donde se emplean mtodos como el denominado Gradiente Descendente o Retropropagacin, los cuales pueden provocar que la red tenga una convergencia lenta y que el mnimo al que converjan sea local. Las Mquinas de Vectores de Soporte (SVM por sus siglas en ingls, Support Vector Machines) fueron desarrolladas por Vapnik en 1995 enfocndose en el problema de clasicacin [3] y su aplicacin al problema de regresin se desarroll en los laboratorios de AT&T por Vaptnik [4]. Dichas SVM estan teniendo un mayor auge en el proceso de idens ticacin de sistemas no lineales debido a que se basan en el Principio de Minimizacin de Riesgo Estructural (SRM por sus siglas en ingls, Structural Risk Minimization) que surgi de la teora de aprendizaje estadstico desarrollada por Vapnik [3], el cual ha demostrado ser superior al Principio de Minimizacin de Riesgo Emprico (ERM, Empirical Risk Minimization) que es el que se emplea dentro de las redes neuronales convencionales. Algunas de las razones por las cuales el principio SRM ha tenido xito con las SVM son que no s sufren del problema de converger a mnimos locales y el modelo slo depende de los datos que contienen la mayor cantidad de informacin denominados Vectores Soporte (SV, Support Vectors). Entre las ventajas principales que presentan las SVM se encuentran las s siguientes: Excelente capacidad de generalizacin debida a la minimizacin del riesgo estructural Existen pocos parmetros que ajustar, ya que el mtodo slo depende de los datos con mayor informacin La estimacin de los parmetros del sistema se efecta a travs de la optimizacin de una funcin de costo convexa, por lo tanto, no pueden existir mnimos locales La solucin de las SVM es dispersa, i.e. la mayora de las variables son cero en la s solucin de la SVM, por lo que el modelo nal puede escribirse como una combinacin de un pequeo nmero de SV s. Una introduccin acerca de las SVM se puede hallar en [5 y [6]. Las SVM son un s s mtodo que resuelve un problema cuadrtico donde el nmero de coecientes es igual al 3