Fundamentos de las redes neuronales

Modelo biolgico
La teora y modelado de redes neuronales artificiales est inspirada en la
estructura y funcionamiento de los sistemas nerviosos, donde la neurona es el
elemento fundamental.

La neurona est formada por el cuerpo de la clula o soma, en donde se aloja

el ncleo de la clula. Del cuerpo de la clula salen ramificaciones de diversas
fibras conocidas como dendritas y sale tambin una fibra ms larga
denominada axn. Las dendritas se ramifican tejiendo una tupida red
alrededor de la clula, mientras el axn se extiende generalmene un
centmetro y en algunos casos hasta un metro. Este tambin se ramifica en
filamentos y subfilamentos mediante los que establece conexin con las
dendritas y los cuerpos de las clulas de otras neuronas. A esta conexin se la
conoce con el nombre desinapsis. Cada neurona puede establecer conexin
desde con una docena de neuronas hasta con cientos de miles.
Las seales se propagan de una neurona a otra mediante una complicada
reaccin electroqumica. Las sinapsis liberan sustancias qumicas transmisoras
y entran a la dendrita, con lo cual se eleva el potencial elctrico del cuerpo de
la clula. Una vez que se rebasa un cierto lmite, se enva al axn un impulso
elctrico o potencial de accin. El impulso se difunde a travs de las ramas
del axn llegando finalmente a las sinapsis y liberando transmisores en los
cuerpos de otras neuronas. Las sinapsis que aumentan el potencial se conocen
como excitadoras y las que lo disminuyen como inhibidoras. Una de las
caractersticas ms importantes de las conexiones sinpticas es la plasticidad:
capacidad para alterar a largo plazo la intensidad de las conexiones como
respuesta a un patrn de simulacin. Las neuronas establecen tambin
conexiones con otras neuronas y a veces con grupos de ellas capaces de
migrar de un sitio a otro. Los mecanismos anteriores constituyen el
fundamento del aprendizaje en el cerebro.

Conviene, para aclarar ideas, establecer una similitud directa entre la actividad
sinptica y la actividad anloga en las redes neuronales artificiales: Las
seales que llegan a la sinapsis son las entradas a la neurona; stas son
ponderadas (atenuadas o simplificadas) a travs de un parmetro,
denominado peso, asociado a la sinapsis correspondiente. Estas seales de
entrada pueden excitar a la neurona o inhibirla (peso negativo). El efecto es la
suma de las entradas ponderadas. Si la suma es igual o mayor que el umbral
de la neurona, entonces esta se activa.

Elementos de una red neuronal artificial

Las redes neuronales artificiales (RNA) son modelos que intentan reproducir
el comportamiento del cerebro.
Una RNA est constituida por nodos, o unidades, que estn unidas mediante
conexiones. Algunas de las unidades estn conectadas al ambiente externo y
se designan como unidades de entrada o de salida segn reciban estmulos
externos o den la respuesta del sistema, respectivamente. Hay otras unidades
(neuronas) que simplemente estn conectadas a otras neuronas del sistema y
que al no tener relacin directa con la informacin de entrada ni con la de
salida del sistema, se denominan como unidades ocultas.Se conoce como capa
o nivel a un conjunto de neuronas cuyas entradas provienen de la misma
fuente ( que puede ser otra capa de neuronas) y cuyas salidas se dirigen al
mismo destino (que puede ser otra capa de neuronas).

A cada conexin se le asigna un peso numrico, wji. Este constituye el

principal recurso de memoria de largo plazo, y el aprendizaje usualmente se
realiza con la actualizacin de tales pesos.
Adems de las conexiones de entrada y de salida, cada neurona se caracteriza
en cualquier instante por un valor numrico denominado estado o nivel de
activacin aj(t), cuyo clculo est dividido en dos componentes, una lineal (funcin
de entrada Netj) y otra no lineal (funcin de activacin F).
La funcin de activacin F, determina el nuevo estado de activacin aj(t+1) de la
neurona teniendo en cuenta la entrada total calculada, Netj, y el anterior estado de
activacin aj(t). Por lo general, todas las unidades de la red utilizan la misma funcin de
activacin.
aj(t+1) = F(aj(t), Netj)

En la mayora de los casos, F es la funcin identidad, por lo que es estado de activacin

de una neurona en t+1 conicidir con el Net de la misma en t. En este caso, el parmetro
que se le pasa a la funcin de salida, f, de la neurona ser directamente el Net. El estado
de activacin anterior no se tiene en cuenta. Segn esto, la salida de una neurona j
quedara como
yj(t+1) = f(Netj)
La entrada calculada Netj se define como la suma ponderada de las salidas yn de las
neuronas conectadas a la entrada y los pesos wn asociados a cada sinapsis.
Netj = Sum (wji yi(t))
La funcin de salida fj, transforma el estado de activacin actual en una seal de
salida, yj. Dicha seal es enviada a travs de las conexiones de salida a otras unidades
de la red.
yj = fj(aj(t))
En algunos modelos, esta salida es igual al nivel de activacin de la unidad, en cuyo
caso la funcin fj es la funcin identidad.
fj(aj(t)) = aj(t)

Existen tres funciones de transferencia tpicas que determinan distintos tipos

de neuronas:
Funcin escaln : se utiliza cuando las salidas de la red son binarias.
La salida de una neurona se activa slo cuando el estado de activacin
es mayor o igual que cierto valor umbral t que representa la mnima
entrada total ponderada necesaria para provocar la activacin de la
neurona.
Funcin lineal : responde a las expresin f(x) = x. Se define un lmite
inferior -t y otro superior, t. Si la suma de las seales de entrada es
menor que que -t, la activacin se define como 0 o -1. Si la suma es
mayor que t, la activacin es 1. Para valores de entrada situada entre
ambos lmites, la activacin se define como una funcin lineal de la
suma de las seales de entrada.
Funcin sigmoidal : es la ms apropiada cuando se quiere como salida
informacin analgica. Con esta funcin, para la mayora de los valores
del estmulo de entrada (variable independiente), el valor dado por la
funcin es cercano a uno de los valores asintticos. La importancia de
esta funcin es que su derivada es siempre positiva y cercana a cero
para los valores grandes positivos o negativos; adems toma su valor
mximo cuando x es 0. Esto hace que se puedan utilizar las reglas de

aprendizaje en las cuales se usan derivadas. La expresin de esta

funcin responde a la forma

Para no tener que estar ajustando lmites y slo ajustar pesos, lo que facilita el
aprendizaje, resulta adecuado considerar la existencia de una neurona ficticia
conectada a la entrada de cada neurona, con valor de salida unidad, y o = -1, y
peso de la conexin woj = t.

La actualizacin de los estados de las unidades (evolucin de la red neuronal)

puede ser de dos tipos: modo asncrono y sncrono. En el primer caso, las
neuronas evalan su estado continuamente, segn les va llegando informacin
y de forma independiente. En el caso sncrono, los cambios se realizan
simultneamente aunque la informacin tambin llega de forma contnua. Lo
importante de todo esto es que en cada una de las unidades se efecta un
clculo local con base en las entradas que le proporcionan sus vecinas, pero
sin que sea necesario un control global en todo el conjunto de unidades. En la
prctica, la mayora de las implantaciones de RNAs son realizadas en software
utilizando el control sncrono para la actualizacin de las unidades.
Otro elemento de suma importancia en las RNAs es la regla de aprendizaje.
Biolgicamente se suele aceptar que la informacin memoriazada en el
cerebro est mas relacionada con los valores sinpticos de las conexiones
entre las neuronas que con ellas mismas; es decir, el conocimiento se
encuentra en las sinapsis. En el caso de las RNAs, se puede considerar que el
conocimiento se encuentra representado en los pesos de las conexiones entre
neuronas. Todo proceso de aprendizaje implica cierto nmero de cambios en
estas conexiones. En realidad puede decirse que se aprende modificando los
valores de los pesos de la red.

Estructura de una red neuronal artificial

Niveles o capas de neuronas
La distribucin de neuronas dentro de la red se realiza formando niveles o
capas de un nmero determinado de nuronas cada una. Como se mencion en
el apartado anterior, se pueden distinguir tres tipos de capas:
1. De entrada : es la capa que recibe directamente la informacin
proveniente de las fuentes externas a la red

2. Ocultas : son internas a la red y no tienen contacto directo con el

entorno exterior. Pueden estar interconectadas de distintas maneras, lo
que determina junto con su nmero las distintas tipologas de redes.
3. De salida : transfieren informacin de la red hacia el exterior.
Formas de conexin entre neuronas
La conectividad entre los nodos de una red est relacionada con la forma en
que las salidas de las neuronas estn canalizadas para convertirse en entradas
de otras neuronas. La seal de salida de un nodo puede ser la entrada de otra
neurona o incluso de s mismo (conexin autorrecurrente).

Cuando ninguna salida de las neuronas es entrada de neuronas del mismo

nivel o de niveles precedentes sino que estn conectadas a neuronas del
siguiente nivel, hablamos de red de propagacin hacia adelante, o
de prealimentacin o de alimentacin progresiva. La estructura es la de un
grafo dirigido aciclico (GAD). Lo interesante de que no haya ciclos es que
permite realizar el clculo uniformemente, desde las unidades de entrada hasta
las unidades de salida
Si la estructura de la red permite ciclos y conexiones con niveles anteriores, la
red es de propagacin hacia atrs.

Ahora se plantea el problema de cual es la estructura de red ptima. La

eleccin errnea de la estructura de la red provocar un absoluto fracaso en el

trabajo. Si la red elegida es demasiado pequea, el modelo no podr

representar la funcin deseada. Si se escoge una red demasiado grande,
aunque ser capaz de memorizar todos los ejemplos mediante la elaboracin
de una gran tabla de consulta, no ser capaz de generalizar bien cuando se le
presenten entradas que no haya visto anteriormente.
El problema de encontrar una buena estructura de red puede considerarse
como un problema de bsqueda. Uno de los mtodos utilizados es el del
algoritmo gentico para localizar el espacio de las estructuras de red. Pero este
espacio es demasiado grande y requiere una amplia utilizacin de CPU. Por lo
tanto es ms comn ver bsquedas de cuesta arriba mediante las que se
modifica de forma selectiva una estructura previa. Podemos empezar por una
estructura de red grande e ir reducindola o empezar por una pequea y
agrandarla. Un algoritmo que utiliza esta ltima tcnica es el algoritmo de los
azulejos(Mzard y Nadal, 1989). La idea es empezar con una sola unidad que
hace el mejor esfuerzo para producir la salida correcta en tantos ejemplos de
aprendizaje como sea posible. Se aaden otras unidades para que se hagan
cargo de los ejemplos que no pudo manejar la primera unidad. El algoritmo
aade slo las unidades necesarias para abarcar todos los ejemplos