VECTOR DE

CUANTIZACION
(LVQ)
INTEGRANTES:
Ayo Wilson
Llumiquinga rodrigo
Moreno Marisol
Murillo José
Parreño pablo
Antecedentes y definición

 El método Vector Quantization (VQ) fue originalmente

desarrollado por Linde (1980) y Gray (1984). Y como
una herramienta para compresión de datos por
Gersho y Gray,1992.
 El algoritmo de LVQ fue adaptado por T. Kohonen en
1986 y Kohonen et al en 1988 para reconocimiento de
patrones.
 LVQ es una técnica de aprendizaje supervisado. Un
vector de entrada X es tomado aleatoriamente del
espacio de entradas. Si las clases del vector X y la del
W asociado coinciden, entonces el vector w es
movido en la dirección de X X. Por la otro parte, si las
clases son diferentes, el vector W es alejado de X .
 Vector de cuantización

 Es una técnica usada para reducir la dimensionalidad de datos.

 Los datos originales es un conjunto de vectores de dimensión n.
 Los vectores son mapeados en un conjunto mas pequeño de
valores codebook.
 Los valores codebook son usados para almacenaje o transmisión
(Se pierde alguna información contenida).
 Los valores codebook son re-transladados a valores cercanos de
los datos originales (no serán exactos)
 CARACTERISTICAS

 La red LVQ se considera como un clasificador supervisado.

 El clasificador LVQ divide el espacio de entrada en regiones
disjuntas
 Todas las regiones de clasificación que se crean están cercanas
al “optimo”.
 LVQ es una técnica de aprendizaje supervisado que usa la
información de clases para mover los vectores de Voronoi W
ligeramente.
 Mejora la calidad de clasificador de regiones de decisión.
 CARACTERISTICAS

 Para clasificar un vector de entrada Pi, este debe ser

comparado con todos los vectores prototipos W
 Cada región se representa por un vector prototipo W
 El vector de entrada se clasifica en la misma clase que el
prototipo mas cercano
 La métrica de la distancia Euclídea se usa para seleccionar el
vector Wij mas cercano al de entrada Pi
 Si la clase etiqueta a Pi en desacuerdo a W, el vector W se aleja
de la dirección Pi.
CARACTERISTICAS

 Se refuerza el “cluster” representativo (una

neurona) cuando este clasifica la entrada en
la clase deseada .
 Reforzamiento positivo: Impulsa los pesos de la
neurona hacia la entrada.
 Reforzamiento negativo: Aleja los pesos del
vector de entrada
ARQUITECTURA
ARQUITECTURA

 Combina el aprendizaje competitivo con Supervisado

 No supervisado (2a. Capa) oculta Y Supervisado (3a.
Capa)
 El aprendizaje competitivo logra “clusters” Y Asigna
una clase (o valor de salida) a cada “cluster”
 la segunda capa (oculta) es una capa competitiva
que aprende a clasificar los vectores de entrada de
la misma forma que las capas competitivas.
 La tercera capa transforma las clases de la capa
competitiva en clasificaciones objetivo (T1, T2, etc)
definidas por el usuario.
 ARQUITECTURA

 La entrada a la red no se calcula usando el producto punto

de los vectores prototipo con la entrada; sino que en vez de
ello, la entrada a la red es el negativo de la distancia
euclídea entre los vectores prototipo Wij y la entrada Pi.
 ARQUITECTURA

 Las primeras son conocidas como subclases (capa oculta)

 Las segundas son conocidas como clases objetivo ambas capas
(Competitiva y lineal) tiene una neurona por clase (capa de
salida)
 Entonces la capa competitiva (oculta) puede aprender de S1
subclases y la capa lineal (salida) puede formar S2 clases
objetivo con la restricción siguiente:
ARQUITECTURA
 SUBCLASES

 La 2da capa indica subclases la cual el vector de

entrada pertenece.
 La 3ra capa combina subclases en una sola clase

 Se puede apreciar ¨uno¨ en la fila, indica la clase a

la cual la subclase pertenece.
Subclases

Una red de una sola capa puede

crear regiones de clasificación
convexas.
La segunda capa de la red puede
cambiar las regiones convexas
para crear categorías mas
complejas.
APRENDIZAJE LVQ

 Combina el aprendizaje competitivo con

la supervisión.
 Si el patrón de entrada es clasificado
correctamente, entonces el peso ganador
va hacia el vector de entrada.
 Si el patrón de entrada es clasificado
incorrectamente entonces el peso se
mueve hacia fuera del vector de entrada.
APRENDIZAJE LVQ

Es considerable que decrezca con

respecto al numero de iteraciones
n.
Después de varias iteraciones los
vectores de Voronoi típicamente
convergen.
REGLAS

 Para asignar a un patrón de entrada a una

determinada región es la Distancia
Euclídea.
 Divide el espacio de entradas en celdas
de Veronoi y cada celda es representada
por uno de los vectores de reconstrucción
Wi.
 La distancia euclídea puede ser utilizada
para posicionar un conjunto de vectores
de representación.
Reglas

 Diseño para problemas de clasificación

adaptiva de patrones.
 La información de clases se utiliza para
afinar los vectores de representación:
 Mejora en la clasificación de regiones.
 Los pesos de la capa lineal se inicializan
a valores (1 y 0) antes del aprendizaje.
APLICACIÓN

Esta técnica es frecuentemente

utilizada en transmisión de
datos:
Comprensión de datos.
Clasificación de patrones.
Reconocimiento de objetos.
VARIANTE LVQ

 Existen diferentes variantes al algoritmo

básico de LVQ (LVQ1,LVQ2,LVQ3).
 LVQ2 es eficiente para sintonía de las
fronteras de decisión entre las clases en
competencia.
 LVQ3 la cual agrega un termino de
estabilidad a LVQ2 para mejorar su
comportamiento a largo plazo.
 Ejemplo:

Clasificación de un vector de
entrada de 2 dimensiones para la
compresión de sus datos
 INFORMÁTICA INDUSTRIAL
Maquina de Soporte Vectorial
(SVM)
24 INDICE:
 Algoritmo
 Red Neuronal
 Conceptos SVM
 Entrenamiento de una SVM
 Introducción
 ¿Qué son los SVM?
 ¿Por qué podemos usar los SVM?
 Clasificación
 Regresión
 Formulación básica
 Reducción del overfiting
 Conjuntos no linealmente separables
 Margen suave
 Kernel Trick
 Ejemplo de reconocimiento vehicular
Propuso el primer algoritmo en
1936. El considero un modelo de
dos poblaciones distribuidas
normalmente en dimensión y
muestra que la solución optima es
una decisión dada por una función
cuadrática, pero que si las matrices
de covarianza de las poblaciones
son iguales, la función resulta ser
lineal
En 1962, Rosenblatt experimenta
un nuevo tipo de aprendizaje
automático: redes neuronales, que
consiste en conectar neuronas,
donde cada una implementa un
hiperplano separador, generando
entonces una superficie de
separación lineal a trozos. En
aquellos tiempos no había sido
encontrado un algoritmo que
minimizara el error sobre un
conjunto de vectores por ajuste
de pesos de la red.
En el año 1995 Cortes y Vapnik
proponen un nuevo tipo de machine
learning, con la idea de llevar los
vectores a un espacio de dimensión
mayor mediante un mapeo no lineal
elegido previamente, en el cual una
superficie de decisión lineal es
construida con propiedades
especiales que aseguran una gran
generalidad a la red.
La máquina de vectores de soporte es un clasificador lineal que emplea
la siguiente metodología:

- Mapear los puntos de entrenamiento a un espacio vectorial mayor

- Construir un hiperplano que separe los puntos en sus clases

respectivas.

- Clasificar un punto nuevo de acuerdo a su ubicación con respecto

al hiperplano de separación.
Introducción
 La teoría de las Máquinas de Soporte
Vectorial (SVM por su nombre en inglés
Support Vector Machines) es una nueva
técnica de clasificación y ha tomado
mucha atención en años recientes .

 En muchas aplicaciones, las SVM han

mostrado tener gran desempeño, más
que las máquinas de aprendizaje
tradicional como las redes neuronales y
han sido introducidas como
herramientas poderosas para resolver
problemas de clasificación.
 ¿Qué son las SVM?
 Las Máquinas de Vectores Soporte (creadas por Vladimir Vapnik)
constituyen un método basado en aprendizaje para la resolución
de problemas de clasificación y regresión. En ambos casos, esta
resolución se basa en una primera fase de entrenamiento (donde
se les informa con múltiples ejemplos ya resueltos, en forma de
pares {problema, solución}) y una segunda fase de uso para la
resolución de problemas. En ella, las SVM se convierten en una
“caja negra” que proporciona una respuesta (salida) a un
problema dado (entrada).
 Campos en los que su usa
VSM

 Regresión,
 Agrupamiento
 Multiclasificación
 Visión articfiial,
 Reconocimiento de caracteres
 Categorización de texto e hipertexto
 Procesamiento de lenguaje natural
 Análisis de series temporales
 ¿Para que podemos usar las
SVM?
 Los conceptos fundamentales son modelado y predicción en dos
vertientes: clasificación y regresión.
Clasificación
35
36
37
CARACTERISTICAS:
39 Aprendizaje Supervisado
Máquinas Vectoriales de Soporte
 Regresión lineal
40
41 Regresión no lineal
 clasificador lineal
Formulación Básica:
 Clasificador Binario Lineal : Existe una única frontera de separación
entre dos clases, representada por una línea en ℜ2 y por un
hiperplano en caso de ℜ𝑛 .

Extensión:
 Conjuntos no separable linealmente.
 Clasificación Multiclase.
43 Objetivo
 Clasificador lineal basado en un margen máximo a partir de
los vectores de soporte. Obtener el máximo margen de
seguridad.
Propiedades

 Cualquier otra elección de

los vectores de soporte
genera un margen menor.
 La solución no será optima.
 Reducción del overfiting

Si se desplazan las muestras Si se desplazan el resto de

tomadas como vectores de muestras que no
corresponden a los
soporte el conjunto de vectores de soporte la
solución cambia solución del clasificador no
cambia
 Clasificador no linealmente
separables

 Se relaja la condición del

margen (margen suave).
Permite el solapamiento entre
la clases.
 Se transforma el espacio de
características en otro
linealmente separable
 Margen suave
 La solución de margen suave implica añadir una tolerancia a
errores (vectores violando la condición de errores).
 Kernel Trick
 Los conjuntos no linealmente separables pueden transformarse
en linealmente separables en un espacio de dimensión superior
49 Kernel Trick
50 Entradas y salidas para SVM:

donde w es el vector de pesos y b es el bias, términos tomados de la

literatura de redes neuronales.
51 Calculo matemático
Optimización:
52
53
54
55 Desarrollo matemático
Obtener w, b pertenecientes al hiperplano
solución:
56 Truco de Kernel
57 Conjuntos no lineales:
márgenes suaves
Reconocimiento de matriculas
vehiculares

 Vehículos que cometen una infracción

 Vehículos robados
 Pago en peajes
 Aparcamiento de vehículos
Principales Problemas
Suciedad de la placa Poca iluminación
vehicular

Resolución de la
Condiciones Climáticas
fotografía
RECONOCIMIENTO DE LA
PLACA
Localizar
Tomar una la placa Aislar la
fotografia en la placa
imagen
SEGMENTAR LA IMAGEN

Imagenes a blanco y
negro

Reconocimiento uno
a uno (clasificacion
con SVM)

Elegir el caracter que

corresponde
 FASES

• Mejorar la nitidez de
imagen

• Buscar variables
representativas a partir
del color del pixel

• Selección de parámetros
correctos para la SVM
LETRAS
NUMEROS
65
Ejemplo
Maquina de Vectores
de Soporte (SVM)
 Funcionamiento

Recoge
Limpiar Analizar Entrenar Probar
r
Entrenamiento

 Transformar los predictores (datos de entrada) en un

espacio de características altamente dimensional. En
esta fase es suficiente con especificar el kernel; los
datos nunca se transforman explícitamente al espacio
de características. Este proceso se conoce
comúnmente como el truco kernel.
 Resolver un problema de optimización
cuadrática que se ajuste a un hiperplano óptimo para
clasificar las características transformadas en dos
clases. El número de características transformadas
está determinado por el número de vectores de
soporte.
Tipos de Kernel (núcleo)

 Gaussiana
 Lineal
 Polinómica
 Sigmoide
 Ejemplo

 Recoger Datos
 Ejemplo

 Limpiar y Analizar
 Ejemplo

 Entrenar
 Ejemplo

 Exhibir Resultados
75