Red Neuronal Adaline

Prof. Christian Flores

 Antecedentes
• Desarrollado en 1960 por Widrow y Hoff.

• Estructura prácticamente idéntica al perceptron, pero es

un mecanismo físico capaz de realizar aprendizaje.

• Está basada en la regla de Widrow-Hoff o también

conocida como regla Least Mean Square (LMS).
El adaline simple

Y = purelin( W * X + B )
 Adaline
• Es similar a la red Perceptron excepto en su función de
transferencia, que es del tipo lineal.

• Esta red tiene un aprendizaje supervisado, y su

principal objetivo es minimizar la suma de los
cuadrados.

• Está basada en la regla de Widrow-Hoff o también

conocida como regla Least Mean Square (LMS).
 Características

Entre sus principales características encontramos:

• Función de transferencia lineal.

• Regla de aprendizaje supervisado.

• Valores de entrada reales y salidas reales.
 LMS

1. Los patrones de entrenamiento están constituidos por pares de
valores que son el vector de entrada y su salida
deseada.

2. La regla Delta utiliza la diferencia entre la salida producida para cada

patrón (p) y la deseada

3. Minimiza una función de coste basada en este error:

 LMS
• La regla Delta busca el conjunto de pesos que minimiza la
función de error.

• Se hará mediante un proceso iterativo donde se van

presentando los patrones uno a uno y se van modificando los
parámetros de la red mediante la regla del descenso del
gradiente.

Wi (n+1) = Wi (n) + ∆ i
• La idea es realizar un cambio en cada peso proporcional a la
derivada del error, medida en el patron actual, respecto del
peso:
LMS
LMS
Descenso del gradiente.
 Algoritmo de aprendizaje

1. Inicializar los pesos de forma aleatoria.

2. Introducir un patrón de entrada.

3. Calcular la salida, compararla con la deseada y obtener la diferencia:

4. Para todos los pesos, multiplicar dicha diferencia por la entrada

correspondiente y ponderarla por la tasa de aprendizaje

5. Modificar el peso sumando al valor antiguo la cantidad obtenida en 4)

6.Si no se ha cumplido el criterio de convergencia, regresar a 2), si se han

acabado todos los patrones empezar de nuevo a introducir patrones.
 Ejemplo 1: Decodificador binario-decimal

Aproximar con Adaline la función que realiza la
decodificación binario-decimal.
 Perceptron vs Adaline
• En el perceptron la salida es binario, en adaline es real.

• El perceptron utiliza la salida de la función umbral (binaria) para el

aprendizaje. Sólo se tiene en cuenta si se ha equivocado o no.

• En adaline existe una medida de cuanto se ha equivocado.

• En el Adeline hay una razón aprendizaje para regular cuanto va a

afectar cada equivocación.

• En Adaline se calcula la diferencia real entre la entrada y la salida.

 Aplicaciones
• Clasificación de datos.
• Aproximación de funciones lineales.
• Filtrado de señales.
Red Perceptron Multicapa (MLP)

El perceptrón multicapa puede computar cualquier función Booleana y

aproximar cualquier función continua, si se añaden suficientes
neuronas en una única capa oculta.
Red Perceptron Multicapa (MLP)

El numero de capas ocultas y el neuronas por
capa oculta debe ser elegidos por el diseñador.

Muchas veces se determinan por prueba y error.

El nuero de nueronas no es significativo, ademas

existen varias arquitecturas para la solucion de un
mismo problema.