G 03

UNIVERSIDAD NACIONAL DE SAN AGUSTN FACULTAD DE PRODUCCIN Y SERVICIOS ESCUELA PROFESIONAL DE INGENIERA DE SISTEMAS
PERCEPTRONES MULTICAPA
FLOREZ MAYORGA YVAN PREZ VEGA HUMBERTO hperezh@gmail.com yvanflorez@hotmail.com
yvanflorez@hotmail.com, hperezh@gmail.com
INDICE
Virtudes y limitaciones del aprendizaje back-propagation. Convergencia acelerada de aprendizaje back propagation. Aprendizaje supervisado visto como un problema de optimizacin. Convolutional networks. Sumario y discusin.
yvanflorez@hotmail.com, hperezh@gmail.com 2
VIRTUDES Y LIMITACIONES DEL APRENDIZAJE BACK-PROPAGATION

El algoritmo back-propagation es mas popular para el aprendizaje supervisado de perceptrones multicapas. Se distingue dos propiedades:
Es simple de calcular localmente. Desarrolla una gradiente descendiente estocstica en el espacio de los pesos.
VENTAJAS Y DESVENTAJAS
Connectionism Deteccin de caractersticas Funcin de aproximacin Eficiencia computacional Anlisis de sensibilidad Robustez Convergencia Mnimo local Scaling
CONNECTIONISM
El uso de clculos locales en el diseo de una red neuronal es definido por tres principales razones: Las RN artificiales que desarrollan clculos locales estn soportadas como metforas por las redes neuronales biolgicas El uso de clculos locales permite una cada en el desempeo debido a errores de hardware (redes tolerantes a fallos). Los clculos locales favorecen el uso de arquitecturas paralelas.
DETECCIN DE CARACTERSTICAS
Las neuronas ocultas de un perceptron multicapa tienen funcin critica como detectores de caractersticas.
La red de la capa satisface las siguientes requerimientos estructurales: Las capas de entrada y salida tienen el mismo tamao n. El tamao de la capa oculta N es menor que n. La red esta totalmente conectada.
Un patrn X es simultneamente aplicado a la capa de entrada como el estimulo y la capa de salida como la respuesta deseada
La red es entrenada usando el algoritmo backpropagation en la manera usual, con el vector de estimacin de error (x ^x) tratado como la seal de error.
FUNCIN DE APROXIMACIN
Un perceptron multicapa entrenado con el algoritmo Back Propagation se manifiesta como un esquema sigmoidal anidado. (.) es la funcin de activacin sigmoidal. Wok es el peso sinptico de la neurona k en la ultima capa oculta para la nica salida de la neurona o As para los otros pesos sinpticos y Xi es el i-esimo elemento de el vector de entrada X. La salida simple de forma compacta es :
EFICIENCIA COMPUTACIONAL
Es eficiente cuando su complejidad computacional es polinomial. El numero de parmetros ajustables que van a ser actualizados de una iteracin a otra. Esta propiedad puede ser verificada para examinar los clculos involucrados en la realizacin de forward pass y backward pass.
EFICIENCIA COMPUTACIONAL
Clculos que involucran pesos sinpticos: Forward pass: Los que pertenezcan al campo local inducido de varias neuronas en la red. Backward pass: Los que pertenezcan a los gradientes locales de las neuronas ocultas y la actualizacin de los pesos sinpticos.
ANALISIS DE SENSIBILIDAD
La sensibilidad de una funcin de mapeo de entrada salida F con respecto a un parametro de la funcion denotado por w es:
12
ROBUSTEZ
El algoritmo LMS es robusto debido a que la perturbacin con una pequea energa puede dar lugar a pequeos errores de estimacin. Si el modelo de la observacin subyacente es lineal, el algoritmo LMS es un filtro H-optimo. El algoritmo LMS minimiza la mxima ganancia de energa de las perturbaciones para la estimacin de error.
13
CONVERGENCIA
Dos principales causas para esta propiedad:
El error de superficie es bsicamente plana a lo largo de la dimensin de los pesos (derivada es pequea con relacin al peso). La direccin del vector de gradiente negativo puede apuntar hacia un mnimo local (debido al ajuste de pesos).
14
MINIMO LOCAL
La peculiaridad en la superficie de error es la presencia de mnimos locales adems de mnimos globales. El aprendizaje del algoritmo de back propagation una tcnica de escalonado de cima, que corre el riesgo de quedar atrapado en un mnimo local.
SCALING
El orden de predicado definido por Misky y Papert provee la utilidad mayor y medida para el tamao o complejidad de una tarea computacional. (x) que denota una funcin que tiene solo dos valores. (x) es una variable de declaracin cuyo falsedad y verdad depende en la opcin del argumento X.
16
INDICE
CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

Identificamos las principales causas para el posible bajo radio de convergencia del algoritmo de back propagation. Se describen heursticas que proveen ayuda til para pensar como acelera la convergencia.
18

Heursticas para cada parmetro ajustable: Heurstica 1: Cada parmetro ajustable debe tener su propio parmetro de radio de aprendizaje. Heurstica 2: Cada parmetro de control de velocidad debera variar de un paso a otro.
19

Heursticas para el signo algebraico de la derivada de funcin de error (coste) con respecto a una conexin: Heurstica 3: Si es el mismo signo, el parmetro de ganancia de una conexin debe ser incrementado. Heurstica 4: Si el signo ha cambiado, la ganancia para ese peso debera decrecer.
INDICE
APRENDIZAJE SUPERVISADO VISTO COMO UN PROBLEMA DE OPTIMIZACIN

El entrenamiento supervisado de un perceptron multicapa se ve como un problema en optimizacin numrico. La error de superficie es una funcin no lineal del vector de pesos sinpticos w.
22
MTODO GRADIENTE CONJUGADO

CG es el mtodo iterativo mas popular para resolver grandes sistemas de ecuaciones lineales.
CG es efectivo para sistemas de la forma: Ax = b Donde: x es un vector desconocido b es un vector conocido A es una matriz positiva-definida
23
LA FORMA CUADRTICA
A es una matriz simtrica positiva y definida X y b son vectores f(x) es minimizada por la solucin Ax=b
24
GRFICA DE LA FORMA CUADRTICA
El punto mnimo de esta superficie es la solucin Ax=b

GRFICA DE MATRICES
26
CONTORNOS FORMA CUADRTICA
Cada curva elipsoidal tiene una constante f(x)

CONTORNOS + GRADIENTE
28
MTODO DE GRADIENTE CONJUGADA
29
GRADIENTES ORTOGONALES A LOS CONTORNOS
30
GRFICA COMPARATIVA DE MTODOS
31
ALGORITMOS DE OPTIMIZACIN
* Generacin de direcciones conjugadas Elimina Hessiano H de frmula, es exacta para caso cuadrtico: gk+1 gk = Lk H dk * Beale-Sorenson * Polak-Ribiere * Fletcher-Reeves Inicializacin: F0=0, d0=g0
d k ! g k F k d k 1 t g k ( g k g k 1 ) B S : Fk ! t d k 1 ( g k g k 1 ) t g k ( g k g k 1 ) P R : Fk ! t g k 1. g k 1 t gk .gk F R : Fk ! t g k 1. g k 1

32
COMPARACIN DE MTODOS
Gradiente conjugado menos costoso en memoria, O(W) Quasi-Newtonianos memoria: necesita almacenar Hessiano, O(W 2)
optimizacin lineal debe ser bastante precisa para cumplir condicin de conjugacin en gral: PR mejor que FR
calculo de inversa mas robusto a optimizacin lineal en gral: BFGS mejor que DFP.
33
RECOMENDACIONES
Para un numero pequeo de pesos el algoritmo GaussNewton es eficiente, la memoria requerida por este algoritmo es proporcional al cuadrado del numero de pesos. Para un nmero moderado de pesos, varios Quasi Newton Algoritmos son eficientes, la memoria requerida por estos algoritmos es proporcional al cuadrado del numero de pesos. Para un gran numero de pesos, varios algoritmos gradiente conjugado son eficientes la memoria requerida por estos algoritmos es proporcional al numero de pesos.
34
INDICE
CONVOLUTIONAL NETWORKS
Una red neuronal convolucional es una red perceptron multicapa diseada especficamente para reconocer formas en 2-D con altos grados de distorsin.
Es una red que utiliza el paradigma de aprendizaje supervisado.
36
CARACTERSTICAS
Feature extraction: Cada neuron toma sus entradas sinpticas de un campo receptivo local en la capa previa de este modo forzndolo a extraer caractersticas locales. Feature Mapping: Cada capa computacional de la red esta compuesta de mltiples mapas de caractersticas, con cada mapa de caractersticas que tiene la forma de un plano dentro del cual los neurones individuales son obligados a compartir el mismo juego de pesos sinpticos. Subsampling: Cada capa convolucional es seguida por una capa computacional que realiza un promedio local y sub-muestreo, de este modo la resolucin del mapa de caractersticas es reducida. un promedio local y sub-muestreo, de este modo la resolucin del mapa de caractersticas es reducida.
37
PROCESO CONVOLUCIONAL
38
EJEMPLO
39
Objetos reconocidos por una convolutional network
40

G 03

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

G 03

Încărcat de

Drepturi de autor:

Formate disponibile

UNIVERSIDAD NACIONAL DE SAN AGUSTN FACULTAD DE PRODUCCIN Y SERVICIOS ESCUELA PROFESIONAL DE INGENIERA DE SISTEMAS

VIRTUDES Y LIMITACIONES DEL APRENDIZAJE BACK-PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

APRENDIZAJE SUPERVISADO VISTO COMO UN PROBLEMA DE OPTIMIZACIN

MTODO GRADIENTE CONJUGADO

GRFICA DE LA FORMA CUADRTICA

El punto mnimo de esta superficie es la solucin Ax=b

CONTORNOS FORMA CUADRTICA

Cada curva elipsoidal tiene una constante f(x)

MTODO DE GRADIENTE CONJUGADA

GRADIENTES ORTOGONALES A LOS CONTORNOS

GRFICA COMPARATIVA DE MTODOS

d k ! g k F k d k 1 t g k ( g k g k 1 ) B S : Fk ! t d k 1 ( g k g k 1 ) t g k ( g k g k 1 ) P R : Fk ! t g k 1. g k 1 t gk .gk F R : Fk ! t g k 1. g k 1

Es una red que utiliza el paradigma de aprendizaje supervisado.

Objetos reconocidos por una convolutional network

S-ar putea să vă placă și

G 03

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

G 03

Încărcat de

Drepturi de autor:

Formate disponibile

UNIVERSIDAD NACIONAL DE SAN AGUSTN FACULTAD DE PRODUCCIN Y SERVICIOS ESCUELA PROFESIONAL DE INGENIERA DE SISTEMAS

VIRTUDES Y LIMITACIONES DEL APRENDIZAJE BACK-PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

CONVERGENCIA ACELERADA DE APRENDIZAJE BACK PROPAGATION

APRENDIZAJE SUPERVISADO VISTO COMO UN PROBLEMA DE OPTIMIZACIN

MTODO GRADIENTE CONJUGADO

GRFICA DE LA FORMA CUADRTICA

El punto mnimo de esta superficie es la solucin Ax=b

CONTORNOS FORMA CUADRTICA

Cada curva elipsoidal tiene una constante f(x)

MTODO DE GRADIENTE CONJUGADA

GRADIENTES ORTOGONALES A LOS CONTORNOS

GRFICA COMPARATIVA DE MTODOS

d k !  g k  F k d k 1 t g k ( g k  g k 1 ) B  S : Fk ! t d k 1 ( g k  g k 1 ) t g k ( g k  g k 1 ) P  R : Fk ! t g k 1. g k 1 t gk .gk F  R : Fk ! t g k 1. g k 1

Es una red que utiliza el paradigma de aprendizaje supervisado.

Objetos reconocidos por una convolutional network

S-ar putea să vă placă și

d k ! g k F k d k 1 t g k ( g k g k 1 ) B S : Fk ! t d k 1 ( g k g k 1 ) t g k ( g k g k 1 ) P R : Fk ! t g k 1. g k 1 t gk .gk F R : Fk ! t g k 1. g k 1