BACKPROPAGATION

1PAPER INTELIGENCIA ARTIFICIAL

UNIVERSIDAD TECNOLGICA DE PEREIRA

WILLIAM ANDRS SALAZAR GMEZ

JUNIO 2016.

BACKPROPAGATION
Es un algoritmo de aprendizaje supervisado y se utiliza principalmente por multicapa
perceptrones para cambiar los pesos conectados a la capa neurona oculta de la red.
El algoritmo de retropropagacin utiliza un error de salida calculada para cambiar los
valores de peso en direccin hacia atrs.
FUNCIONES DE ACTIVACIN DIFERENCIABLES
El algoritmo de backpropagation busca el mnimo de la funcin de error en el espacio de
peso utilizando el mtodo de descenso de gradiente. La combinacin de pesos que
minimiza la funcin de error se considera que es una solucin del problema de aprendizaje.
Dado que este mtodo requiere el clculo del gradiente de la funcin de error en cada paso
de iteracin, hay que garantizar la continuidad y diferenciabilidad de la funcin de error.
Obviamente tenemos que utilizar una tipo de funcin de activacin aparte de la funcin de
paso utilizado en perceptrones,
El algoritmo debido a que la funcin compuesta producida por los perceptrones estn
interconectadas discontinuamente por lo tanto la funcin de error tambin. Uno de las ms
populares funciones de activacin para las redes de backpropagation es el sigmoide, un
verdadero funcin IR -> (0, 1) definida por la expresin

La constante c se puede seleccionar de forma arbitraria y su recproco 1 / c se llama el

parmetro de temperatura en las redes neuronales estocsticas. La forma de los cambios
sigmoideos de acuerdo con el valor de c.
Para conseguir el error neto, una fase forward propagation debe haber sido hecho antes.
Mientras que se propaga en direccin hacia adelante, las neuronas se activan usando la
funcin de activacin sigmoide.

El algoritmo funciona de la siguiente manera:

Realizar la fase forward propagation (o sea propagacin hacia adelante) de un patrn de
entrada y calcular el error de salida
Cambiar todos los valores de peso de cada matriz de peso utilizando el peso de la frmula
(antiguo) + tasa de aprendizaje * error de salida de salida (neuronas i) * (neuronas de
salida i + 1) * (1 - salida (neuronas i + 1))
El algoritmo termina, si todos los patrones de salida se ajustan a sus patrones de destino
El primer patrn de entrada se ha propagado a travs de la red.

Despus de la propagacin hacia adelante y hacia atrs del segundo patrn, el paso de
aprendizaje es completado y se calcula el error neto mediante la suma de los errores de
salida al cuadrado de cada patrn.
Mediante la realizacin de este procedimiento varias veces, este valor de error se hace ms
pequea.
El algoritmo est terminado con xito, si el error es cero (perfecto) o aproximadamente
cero.
Este algoritmo tambin es aplicable para una multicapa de perceptrones con ms de una
capa oculta.
Si todos los valores de un patrn de entrada son cero, los pesos en peso matriz 1 nunca
seran cambiados por este patrn y la red no podra aprenderlo. Debido a este hecho, se crea
un "pseudo entrada", llamado Bias que tiene un valor de salida constante de 1.