Red Neuronal Recurrente

1- Modelos neuronales:
Este tipo de arquitecturas se basa en la modelacin de sistemas mediante la combinacin
de mltiples neuronas artificiales, o simplemente neuronas. Estos modelos se caracterizan
por su flexibilidad de modelacin en trminos numricos. Dicha capacidad, comnmente
denominada como capacidad de aprendizaje, es un factor relevante en muchas
aplicaciones.
2- Modelo de neurona:
Una neurona es un sistema de m entradas x1(k) xm(k) y una salida y(k), y se compone de
tres elementos fundamentales:
a) La ponderacin de las entradas xj(k) por pesos escalares wj.
b) Un operador de agregacin de entradas .
c) Una funcin de activacin.

FIG 1: Diagrama neurona artificial.

3- Arquitecturas neuronales:
a) Redes feed-forward:
Este tipo de arquitecturas est compuesto de arreglos de neuronas, denominadas capas.
Se les denomina redes perceptron. Consiste en un arreglo de neuronas, de tamao igual a
la cantidad de salidas que tenga el sistema bajo anlisis. Cuando dicha estructura se
extiende a un mayor nmero de capas, se generan las redes multicapa. En ella se
distinguen una capa de entrada, una capa de salida y algunas capas escondidas, de
acuerdo a su posicin dentro de la red.
b) Redes recurrentes:
Permiten la interconexin de neuronas en cualquier sentido y la inclusin de operadores
de retardo. Generalmente, las capas de una red recurrente consisten en arreglos de
neuronas que reciben las salidas de neuronas de capas anteriores, junto con las salidas de
misma capa o de capas superiores, lo que se denomina realimentacin. Se caracterizan
por su capacidad de modelar tanto la no linealidad como las componentes dinmicas de
un sistema. El flujo de informacin en este tipo de arquitecturas puede ser asncrono, es
decir que los estados de cada neurona se actualizan de acuerdo al comportamiento
interno de cada neurona, As, la secuencia de actualizacin resulta estocstica.

FIG 2: Red neuronal de a)Capa nica b)Capa oculta

4- Redes de Jordan:
Fue la primera arquitectura recurrente derivada a partir de una red feed forward.
Presentan una topologa de capas similar a las redes feed forward, con la inclusin de
una capa de contexto que realimenta las seales de salida hacia las capas escondidas.
Existen retardos en todas las realimentaciones, adicionalmente se considera que los pesos
de las realimentaciones desde la capa de salida hacia la capa de contexto son unitarios.
-

Las neuronas de contexto reciben una copia de las neuronas de salida y de ellas
mismas.
Las conexiones recurrentes tienen un parmetro asociado (generalmente positivo y
menor que 1).
Activacin de las neuronas de contexto en tiempo t:
ci(t) = ci(t 1) + yi(t 1) , i = 1, 2, , m

La entrada total de la red es una concatenacin de las activaciones de las neuronas de

entrada y de las neuronas de contexto.
u(t) = (x1(t), , xn(t), c1(t), , cm(t))

Neuronas ocultas y de salida: Activacin sigmoidal.

Neuronas de contexto: Activacin lineal.
Las neuronas de contexto acumulan las salidas de la red para todos los instantes
anteriores.
El valor de determina la sensibilidad de estas neuronas para retener dicha
informacin.
prximo a 0 -> Estados alejados en el tiempo se olvidan con facilidad.
prximo a 1 -> Estados alejados en el tiempo se memorizan con facilidad,

FIG 3: Red neuronal de Jordan

5- Red de Elman:
Elman modifica esta arquitectura, considerando realimentaciones desde capas escondidas
hacia la capa de contexto, sin considerar realimentaciones locales.

FIG 4: Red neuronal de Elman.

-

Las neuronas de contexto reciben una copia de las neuronas ocultas de la red.
Tantas neuronas de contexto como ocultas.
No existe un parmetro asociado a la conexin recurrente.
Activacin de las neuronas de contexto:
Ci(t) = ai(t 1), para i = 1, 2, , r
El resto de las activaciones se calculan como en una red feed forward considerando
como entrada el vector total:
u(t) = (x1(t), , xn(t), c1(t), , cm(t))

Bibliografa:
-

http://www.researchgate.net/publication/228991209_Acerca_de_Modelos_Neuronales_
Redes_Neuronales_Estticas_y_Recurrentes.