PONTIFICIA UNIVERSIDAD CATOLICA DEL ECUADOR

SEDE IBARRA

ESCUELA DE INGENIERIA
CARRERA DE SISTEMAS
Nombre: Guissela Guerrero
Nivel: Sptimo
Fecha: 2014-05-23
INTELIGENCIA ARTIFICIAL II

METODO ADALINE










CONCEPTO

Al mismo tiempo que Frank Rosenblatt trabajaba en el modelo del Perceptrn, Bernard Widrow y
su estudiante Marcian Hoff introdujeron el modelo de la red Adaline y su regla de aprendizaje
llamada algoritmo LMS (Least Mean Square).

Su nombre proviene de las siguientes siglas (ADaptative LINear Element). Se dice que la red Adaline
es una generalizacin de la red Perceptrn, excepto en su funcin de transferencia, la cual es una
funcin de tipo lineal en lugar de un limitador fuerte cono en el caso del Perceptrn.
Generalmente se compone de una sola capa de n neuronas (por tanto n valores de salida)
con m entradas con las siguientes caractersticas:
Las m entradas representan un vector de entrada que pertenece al espacio .
Por cada neurona, existe un vector de pesos sinpticos que indican la fuerza de conexin
entre los valores de entrada y la neurona. En la prctica representan la ponderacin de cada
entrada sobre la neurona.
Una constante .
La salida de la neurona se representa por la funcin de activacin, que se
define como


DESARROLLO Y FUNCIONAMIENTO DEL METODO

Utiliza neuronas con funcin de transferencia escaln, y est limitada a una nica neurona de salida.

Utiliza la denominada regla Delta de Widrow-Hoff o regla del mnimo error cuadrado medio (LMS),
basada en la bsqueda del mnimo de una expresin del error entre la salida deseada y la salida
lineal obtenida antes de aplicarle la funcin de activacin escaln. Estas redes pueden procesar
informacin analgica, tanto de entrada como de salida, utilizando una funcin de activacin lineal
o sigmoidal.

El elemento de procesamiento realiza la suma de los productos de los vectores de entrada y de
pesos, y aplica una funcin de salida para obtener un nico valor de salida, el cual debido a su
funcin de transferencia lineal ser +1 si la sumatoria es positiva o 1 si la salida de la sumatoria es
negativa. En trminos generales la salida de la red est dada por



En este caso, la salida es la funcin unidad al igual que la funcin de activacin; el uso de la funcin
identidad como funcin de salida y como funcin de activacin significa que la salida es igual a la
activacin, que es la misma entrada neta al elemento.

El Adaline es ADaptivo en el sentido de que existe un procedimiento bien definido para modificar
los pesos con objeto de hacer posible que el dispositivo proporcione el valor de salida correcto para
la entrada dada. El Adaline es Lineal porque la salida es una funcin lineal sencilla de los valores de
la entrada. Tambin se podra decir que el Adaline es un Elemento Lineal, evitando por completo la
definicin como Neurona.

FORMA DE APRENDIZAJE

Al igual que el Perceptrn, la red Adaline es una red de aprendizaje supervisado que necesita
conocer de antemano los valores asociados a cada entrada. Los pares de entrada/salida tienen la
siguiente forma:
(2.2.4)
Donde es la entrada a la red y es su correspondiente salida deseada, cuando una entrada p es
presentada a la red, la salida de la red es comparada con el valor de t que le es asociado.
El algoritmo LMS se deriva de la regla Widrow-Hoff Delta, la que en trminos generales para un
proceso de actualizacin de los pesos de una red Adaline, se deduce de la siguiente manera, de
acuerdo al procedimiento descrito en Widrow[]
(2.2.5)
En el cual k representa la iteracin actual del proceso de actualizacin, es el siguiente
valor que tomar el vector de pesos y es el valor actual del vector de pesos. El error
actual e(k) es definido como la diferencia entre la respuesta deseada y la salida de la
red antes de la actualizacin:
(2.2.6)
La variacin del error en cada iteracin es representada por
(2.2.7)
En concordancia con la ecuacin (2.2.5) la actualizacin de los pesos, teniendo en cuenta el error
es:
(2.2.8)
Combinando las ecuaciones (2.2.8) y (2.2.7), se obtiene:
(2.2.9)
De esta forma, el error es reducido por un factor mientras los pesos van cambiando a medida que
se presenta un valor de entrada. Cada vez que se presenta un nuevo patrn el ciclo de actualizacin
inicia nuevamente; el siguiente error es reducido por un factor , y el proceso continua. Los valores
iniciales del vector de pesos son usualmente escogidos como cero y se actualizan hasta que el
algoritmo alcance convergencia.
La eleccin de controla la estabilidad y velocidad de la convergencia del proceso de entrenamiento
como puede verse en la ecuacin (2.2.9); si se escoge un valor muy pequeo de ,el algoritmo
pierde velocidad y tarda mucho en alcanzar convergencia, si por el contrario se toma un valor muy
grande, el algoritmo pierde estabilidad y se torna oscilante alrededor del valor de convergencia.
Para patrones de entrada independientes en el tiempo, la estabilidad es garantizada para valores
de que varen entre
(2.2.10)
Si se fija en un valor mayor a 1 el error es innecesariamente sobre-corregido, por lo tanto un rango
de valores prcticos para la rata de aprendizaje es:
(2.2.11)
Este algoritmo es auto-normalizado en el sentido que la eleccin de no depende de la magnitud
de las seales de entrada; cada peso actualizado es colineal con los parmetros de entrada y su
magnitud es inversamente proporcional a . Si se emplea como entradas binarias 1 y 0, la
actualizacin no ocurre para pesos cuya entrada sea cero, mientras con entradas binarias todos
los pesos son actualizados en cada iteracin y la convergencia es ms rpida. Por esta razn, las
entradas simtricas +1 y 1 son generalmente preferidas.
Una descripcin geomtrica del proceso de actualizacin de pesos en la regla Widrow-Hoff delta o
algoritmo LMS, se describe en la figura 2.2.4

Figura 2.2.4 Actualizacin de pesos del algoritmo LMS
De acuerdo a la ecuacin (2.2.8), equivale la suma de y ,
adems es paralelo con el vector de entrada . De la ecuacin (2.2.7), el cambio en el
error es igual al producto negativo de y , como el algoritmo LMS selecciona
a de tal forma que sea colineal con , el cambio en el error deseado se calcula con la
menor magnitud de posible, empleando el principio de mnima perturbacin [].
Extendiendo el algoritmo a la actualizacin de las ganancias, se tiene:
(2.2.12)
El algoritmo LMS corrige el error y si todos los patrones de entrada son de igual longitud, la
actualizacin de pesos y ganancias tiende a minimizar el error medio cuadrtico, esta es la principal
propiedad de este algoritmo.
En el algoritmo LMS, los valores de los incrementos y se calculan con base en las
derivadas parciales de la funcin del error medio cuadrtico con respecto a pesos y ganancias
respectivamente.
Para explicar el clculo del error medio cuadrtico se considerar una red Adaline y se emplear un
algoritmo de pasos descendientes aproximado, como el que utilizaron Widrow y Hoff; con este
algoritmo calculando el gradiente en cada iteracin (gradiente instantneo) y no el gradiente
verdadero, la funcin para el error medio cuadrtico es:
(2.2.13)
En la ecuacin 2.2.13 representa la salida esperada en la iteracin k y representa la salida
de la red; el error cuadrtico esperado ha sido reemplazado por el error cuadrtico en la
iteracin k, por lo tanto en cada iteracin se tiene un gradiente del error de la siguiente forma:
(2.2.14)
y
(2.2.15)
Los primeros R elementos del error son derivadas parciales con respecto a los pesos de la red,
mientras que los elementos restantes son derivadas parciales con respecto a las ganancias
Se evaluar primero la derivada parcial de con respecto a :
(2.2.16)
Donde es el i-simo elemento del vector de entrada en la k-sima iteracin, esto puede
simplificarse as:
(2.2.17)
De manera similar se obtiene el elemento final del gradiente, correspondiente a la derivada parcial
del error con respecto a la ganancia:
(2.2.18)
En esta ecuacin pueden verse las ventajas de la simplificacin del error medio cuadrtico al poder
ser calculado por medio del error en la iteracin k, y as para calcular el error se necesita solo
multiplicar el error por el nmero de entradas.
La aproximacin de encontrada en la ecuacin (2.2.14) es reemplazada en la ecuacin (2.2.5)
que define el proceso de actualizacin de pesos para el algoritmo LMS; despus de haber evaluado
las derivadas parciales el proceso de actualizacin puede expresarse como sigue:
(2.2.19)
(2.2.20)
Ahora t(k) y W(k) son trminos independientes. Las ecuaciones (2.2.19) y (2.2.20) conforman la regla
de actualizacin de parmetros empleada por una red Adaline, la rata de aprendizaje se tom
constante durante el proceso de deduccin del algoritmo.
En forma matricial el algoritmo de actualizacin para pesos y ganancias para la red Adaline, se
expresa como:
(2.2.21)
(2.2.22)
Ntese que ahora el error e y la ganancia b son vectores.
FUNCIONES

Funcin de transferencia lineal (purelin): la salida de una funcin de transferencia lineal es igual a
su entrada, a=n










En la grfica del lado derecho puede verse la caracterstica de la salida a de la red, comparada con
la entrada p, ms un valor de ganancia b, neuronas que emplean esta funcin de transferencia son
utilizadas en la red tipo Adaline.


EJEMPLO PRCTICO

Ejemplo de aplicacin a una compuerta lgica OR

1. inicialmente la neurona toma los siguientes pesos




Y tomando una funcin de activacin en escaln de un solo polo {0 1}

a. iniciamos calculando el valor ponderado de la suma de las entradas por los
pesos en la iteracin 1 (k=1)



b. Luego se compara el valor con la funcin de activacin




c. Calculando el error
Tenemos que = -

d. Los nuevos pesos quedan







1. a. Se inicia una nueva iteracin (k=2), hallamos de nuevo S



b. La comparacin con la funcin de activacin


c. El error es
Tenemos que = 0

d. El nuevo clculo de los pesos no se ve alterado por e = 0


3. a. Se inicia una nueva iteracin (k = 3)

b. La comparacin con la funcin de activacin



c. El error es
Tenemos que = 0

d. El nuevo clculo de los pesos no se ve alterado por e = 0


4. a. Iteracin con k = 4

b. La comparacin con la funcin de activacin



c. El error es
tenemos que = 0

d. El nuevo clculo de los pesos no se ve alterado por e = 0


Despus de llegar hasta la novena iteracin (k=0) y ver que el e=0 decimos que la neurona
aprendi despus de haber pasado un ciclo osea dwi/dt = 0











VENTAJAS Y DESVENTAJAS


VENTAJAS


DESVENTAJAS
La salida de datos es real.
En el aprendizaje existe una medida de
cunto se ha equivocado la red.
Existe un valor que indica la proporcin
que va afectar el gradiente.
A diferencia de Perceptrn su grfica
de error es un hiperparaboloide que
posee o bien un nico mnimo global, o
bien una recta de infinitos mnimos,
todos ellos globales, evita la gran
cantidad de problemas que da el
Perceptrn a la hora del
entrenamiento debido a que su funcin
de error (tambin llamada de coste)
posee numerosos mnimos locales.

Resuelve solo problemas de tipo
lineal.
Aprendizaje Supervisado.
No puede realizar ejercicios de
clasificacin de ms de dos opciones.


BIBLIOGRAFIA Y LINKOGRAFIA

http://www.secyt.frba.utn.edu.ar/gia/RNA.pdf
http://medicinaycomplejidad.org/pdf/redes/Adaline.pdf
http://ingenieria.udea.edu.co/investigacion/mecatronica/mectronics/redes.htm
http://proton.ucting.udg.mx/posgrado/cursos/idc/neuronales2/AntecedentesAd.htm