Primer Informe Rna

Informe Redes Neuronales
REDES NEURONALES
MIGUEL ANGEL GARAY GALLARDO
ndice General
1. Historia de las Redes Neuronales
....................................................................
pg 1
2. Generalidades
..............................................................................................
2.1 Qu entendemos por Red Neuronal Artificial ?
..............................
2.1.1 Redes Neuronales de tipo Biolgico
..............................
2.1.2 Neurona Artificial .....................................................................
2.1.3 Conexiones entre Neuronas
...........................................
2.1.4 Regla de Aprendizaje
........................................................
2.1.5 Redes Neuronales para Aplicaciones Concretas ..................
2.2 Fases en la Aplicacin de Redes Neuronales ...........................................
pg
pg
pg
pg
pg
pg
pg
pg
4
4
4
5
6
7
7
7
3. Estructura de las Redes Neuronales Artificiales ...........................................

3.1 Estructuras de Conexin
.....................................................................
3.2 Tamao de las Redes
.....................................................................
pg 9
pg 9
pg 9
4. Tipos de Modelos de Redes Neuronales

........................................................
4.1 Mtodos de Aprendizaje. Clasificacin General
..............................
4.2 Aprendizaje Supervisado .....................................................................
4.2.1 Reglas de Entrenamiento Supervisado
..............................
4.2.2 Aprendizaje supervisado Basado en la Decisin .................
4.2.2.1 Regla de Entrenamiento Basada
en la Decisin ........................................................
4.2.2.2 Estructura Jerrquica DBNN
..............................
4.2.3 Redes Neuronales de Aproximacin/Optimizacin
....
4.3 Modelos No Supervisados ....................................................................
4.3.1 Reglas de Entrenamiento No Supervisado ..............................
4.3.2 Aprendizaje Competitivo ........................................................
pg 11
pg 11
pg 11
pg 11
pg 12
5. Modelos de Redes Neuronales

.....................................................................
5.1 Modelos Supervisados
.....................................................................
5.1.1 Perceptrn
.....................................................................
5.1.2 El Perceptrn Multicapa ........................................................
5.1.3 Adaline y Madaline
........................................................
5.1.4 Backpropagation .....................................................................
5.1.5 Otros Modelos .....................................................................
5.2 Modelos No Supervisados .....................................................................
5.2.1 Redes de Hopfield
........................................................
5.2.2 Los Mapas de Kohonen ........................................................
5.2.3 Redes Basadas en la Teora de la
Resonancia Adaptativa ........................................................
5.2.4 Mapas Autoorganizados de Propiedades ..............................
5.2.5 No Supervisados Competitivos ...........................................
5.2.5.1 Redes Basadas en la Teora de la
Resonancia Adaptativa
..............................
pg 20
pg 20
pg 20
pg 20
pg 21
pg 21
pg 22
pg 22
pg 22
pg 23
pg 12
pg 14
pg 16
pg 16
pg 17
pg 17
pg 26
pg 26
pg 26
pg 26
6. Aplicaciones ...........................................................................................................
6.1 Redes vs Mtodos Clsicos ....................................................................
6.2 Campos de Aplicacin
....................................................................
6.3 Aplicaciones
.................................................................................
6.3.1 Ejemplo de Consumo Elctrico ..........................................
6.3.2 Ejemplo de una Targeta de Credito
.............................
6.3.3 Ejemplo de Consumo de Gas
..........................................
6.3.4 Ejemplo Financiero
.......................................................
6.3.5 Ejemplo de Decisiones de Actuacin en el Mercado
...
6.4 Pluviometra
.................................................................................
6.4.1 Introduccin
....................................................................
6.4.2 Gestin del Alcantarillado y Pluviometra ..............................
6.4.3 Objetivos: la Prediccin a Corto Plazo
..............................
6.4.4 Las ANNs: una Herramienta de Prediccin
.................
6.4.5 Preparacin de los Datos de Lluvia
..............................
6.4.6 Construccin de un Modelo de Prediccin ..............................
6.4.7 Resultados
.....................................................................
6.4.8 Nuevos Objetivos .....................................................................
6.4.9 Conclusiones
.....................................................................
pg 28
pg 28
pg 28
pg 30
pg 30
pg 32
pg 34
pg 37
pg 39
pg 41
pg 41
pg 41
pg 42
pg 42
pg 43
pg 43
pg 45
pg 45
pg 46
7. La Tecnologa en las ANNs ..................................................................................

7.1 Simuladores Software
.....................................................................
7.2 Chips de Silicio
..................................................................................
7.3 Procesadores pticos
.....................................................................
pg 47
pg 47
pg 48
pg 48
8. Introduccin al Simulador NeuralGraphics
...........................................
pg 49
9. Conclusiones
...............................................................................................
pg 56
10. Bibliografa
...............................................................................................
pg 57
1 Historia de las Redes Neuronales

Desde el principio de la humanidad se so con el desarrollo de mquinas que puedan
imitar la capacidad de aprendizaje del hombre. Actualmente es un desafo en el que
pone todas sus miradas una parte de la comunidad cientfica.
El hombre se ha caracterizado siempre, a lo largo de su existencia, por una bsqueda
constante de nuevas vas para mejorar sus condiciones de vida. Estos esfuerzos le
han servido para reducir el trabajo en aquellas operaciones en las que la fuerza juega
un papel primordial. Los progresos obtenidos han permitido dirigir estos esfuerzos a
otros campos, como por ejemplo, a la construccin de mquinas calculadoras que
ayuden a resolver de forma automtica y rpida determinadas operaciones que
resultan tediosas cuando se realizan a mano. En la actualidad existen diversas
maneras de realizar procesos similares a los inteligentes humanos, a los que
podemos denominar Inteligencia Artificial (AI).
Estas mquinas, denominadas mquinas inteligentes, permiten implementar
fcilmente algoritmos para resolver multitudes de problemas que antes resultaban
engorrosos de solucionar. Sin embargo, se observa una limitacin importante, que
ocurre cuando el problema que se quiere resolver no admite un tratamiento
algortmico, como es el caso, de la clasificacin de objetos por rasgos comunes. Este
ejemplo demuestra que la construccin de nuevas mquinas ms verstiles requieren
un enfoque del problema desde otro punto de vista.
Los desarrollos actuales de los cientficos se dirigen al estudio de las capacidades
humanas, como una fuente de nuevas ideas para el diseo de dichas mquinas. As,
la inteligencia artificial es un intento por descubrir y describir aspectos de la
inteligencia humana que pueden ser simulados mediante mquinas. Esta disciplina se
ha desarrollado fuertemente en los ltimos aos, teniendo aplicacin en algunos
campos como visin artificial, demostracin de teoremas, procesamiento de
informacin expresada mediante lenguajes humanos... etc. Las redes neuronales son
otra forma de emular otra de las caracterstica propias de los humanos.
Partiendo que las redes neuronales se fundamentan en el sistema nervioso humano,
deberamos remontarnos a los tiempos de Galeno en los que ya se tenia un
conocimiento considerables de este. Sin embrago, los verdaderos avances en
neurologa se produjeron a partir de la segunda mitad del siglo XIX. Investigadores
ilustres de esta poca son Jackson, Ramn y Cajal y Golgi entre otros.
Durante la Segunda Guerra Mundial, el gobierno de los Estados unidos construy el
ENIAC. Se trataba de una maquina capaz de calcular tablas de artillera. Era de los
primeros ordenadores electrnicos (al unsono se crearon dos ms en Alemania e
Inglaterra para fines tambin blicos) basado en tubos de vaco y desprovisto de
partes mviles. Contena 18.000 tubos y pesaba 30 toneladas. Era capaz de realizar
20.000 multiplicaciones por minuto, es decir, era mil veces ms rpido que su
antecesor de rels. En el preciso momento en el que se cambi la utilidad del ENIAC,

en este caso, para objetivos no blicos, sali a la luz
un
fallo de diseo.
Imagen 1.1 Sala del ENIAC
Walter Pitts y Warren McCulloch intentaron explicar en 1943 el funcionamiento del

cerebro humano, por medio de una red de clulas conectadas entre s podan ejecutar
operaciones lgicas. Partiendo del menor suceso psquico (estimado por ellos): el
impulso todo/nada, generado por una clula nerviosa. El bucle "sentidos - cerebro msculos", mediante la retroalimentacin produciran una reaccin positiva si los
msculos reducen la diferencia entre una condicin percibida por los sentidos y un
estado fsico impuesto por el cerebro. Tambin definieron la memoria como un
conjunto de ondas que reverberan en un circuito cerrado de neuronas. Actualmente,
sabemos que las decisiones conscientes acerca de la verdad de las proposiciones
lgicas se producen a un nivel ms alto, y quizs participen en ellas millones de
clulas cerebrales.
En 1949, el fisilogo Donald Hebb expuso en su libro The Organitation of Behavior
[HEBB49] la conocida regla de aprendizaje. Su propuesta tenia que ver con la
conductividad de la sinapsis, es decir, con las conexiones entre neuronas. Hebb
expuso que la repetida activacin de una neurona por otra a travs de una sinapsis
determinada, aumenta su conductividad, y la haca ms propensa a ser activada
sucesivamente, induciendo a la formacin de un circuito de neuronas estrechamente
conectadas entre s.
Durante el verano de 1951, Minsky y Edmons montaron la primera mquina de redes
neuronales, compuesta bsicamente de 300 tubos de vaco y un piloto automtico de
un bombardero B-24 (en desuso por supuesto). Llamaron a su creacin "Sharc", se
trataba nada menos que de una red de 40 neuronas artificiales que imitaban el cerebro
de una rata.
Cada neurona hacia el papel de una posicin del laberinto y cuando se activaba daba
a entender que la "rata" sabia en que punto del laberinto estaba. Las neuronas que
estaban conectadas alrededor de la activada, hacan la funcin de alternativas que
seguir por el cerebro, la activacin de la siguiente neurona, es decir, la eleccin entre
"derecha" o "izquierda" en este caso estara dada por la fuerza
de sus conexiones con la neurona activada. Por ejemplo, la "rata"
completaba bien el recorrido eligiendo a partir de la quinta
neurona la opcin "izquierda" (que correspondera a la sexta), es
entonces cuando las conexiones entre la quinta y sexta se hacen
ms fuertes (dicha conexin era realizada por el piloto
automtico), haciendo desde este momento ms propensa esta
decisin en un futuro. Pero las tcnicas Skinnerianas (que eran
las que se haban puesto en funcionamiento en esta red
neuronal) no podran llevar muy lejos a este nuevo engendro, la
razn pasa porque esto, en s, no es inteligencia, pues la red neuronal nunca llegara a
trazar un plan.
Imagen 1.2 Minsky, Marvin

Despus de su Red Neuronal, Minsky escribi su tesis doctoral acerca de esta, en ella
describa "cerebros mucho mayores", exponiendo que si se realizaba este proyecto a
gran escala, con miles o millones de neuronas ms y con diferentes sensores y tipos
de retroalimentacinla mquina podra ser capaz de razonar, mas el sabia que la
realizacin de esta Red Neuronal era imposible y decidi buscar otra forma de crear
inteligencia.
En 1957, Frank Rosenblatt present al Perceptron, una red neuronal con aprendizaje
supervisado cuya regla de aprendizaje era una modificacin de la propuesta por Hebb.
La verdad es que el Perceptron fue una buena idea, y es posible que los problemas
que obtuvo fuesen provocados mas que nada por el exagerado entusiasmo de su
creador. Ms tarde, en 1969, Marvin Minsky y Seymour Paper escribieron un libro
llamado Perceptrons [MINS69], en donde definan a estos como caminos sin salida.
Tambin es verdad que indagaron en ellos y sacaron conclusiones muy curiosas e
interesantes, pero dado que ambos eran dos personalidades de peso en el mundo de
la I.A., en cuanto se public el libro, todas las investigaciones a cerca de Perceptrones
se paralizaron y anularon.
En los aos 60 se propusieron otros dos modelos, tambin supervisados, basados en
el Perceptron de Rosenblatt denominados Adaline y Madaline. En estos, la adaptacin
de los pesos se realiza teniendo en cuenta el error, calculado como la diferencia entre
la salida deseada y la dada por la red, al igual que en el Perceptron. Sin embargo, la
regla de aprendizaje empleada es distinta.
La era moderna de las redes neuronales artificiales surge con la tcnica de
aprendizaje de propagacin hacia atrs o Backpropagation. En 1977, James Anderson
desarroll un modelo lineal, llamado Asociador Lineal, que consista en unos
elementos integradores lineales (neuronas) que sumaban sus entradas. En 1982 John
Hopfield present un trabajo sobre redes neuronales en la Academia Nacional de las
Ciencias; en el cual describe con claridad y rigor matemtico una red a la que ha dado
su nombre, que viene a ser un variacin del Asociador Lineal. En este mismo ao la
empresa Fujitsu comenz el desarrollo de computadores pensantes para aplicaciones
en robtica.
En 1985, el Instituto Americano de Fsica comenz la reunin anual Neural Networks
for Computing. En 1987 la IEEE celebr su primera conferencia internacional sobre
redes neuronales. En este mismo ao se form la International Neural Network Society
(INNS) bajo la iniciativa y direccin de Grossberg en USA, Kohonen en Finlandia y
Amari en Japn. En 1988, result la unin entre la IEEE y de la INNS que produjo la
International Joint Conference on Neural Networks. Esta nueva organizacin realiz
430 artculos de los cuales 63 estaban enfocados a una aplicacin. La alternativa
europea fue la International Conference on Artificial Neural Networks que comenz su
andadura en septiembre de 1981, y actualmente est organizada por la Sociedad
Europea de Redes Neuronales. Tambin merece una referencia aparte la reunin
anual Neural Information Processing Systems celebrada en Denver (Colorado) desde
1987, y que probablemente represente el nivel ms alto de calidad desde el punto de
vista cientfico.[PRJ98].
2 Generalidades
2.1 Qu entendemos por Red Neuronal Artificial ?
Las Redes Neuronales Artificiales (ANN) son sistemas paralelos para el procesamiento de la
informacin, inspirados en el modo en el que las redes de neuronas biolgicas del cerebro
procesan esta. Es decir que se han intentado plasmar los aspectos esenciales de una neurona real
a la hora de disear una neurona artificial. Estos modelos realizan una simplificacin,
averiguando cuales son los elementos relevantes del sistema, bien porque la cantidad de
informacin de que dispone es excesiva o bien porque es redundante. Una eleccin adecuada de
sus caractersticas, ms una estructura conveniente, es el procedimiento convencional utilizado
para construir redes capaces de realizar una determinada tarea.
Es de prever que dichas ANN tengan caractersticas similares a las del cerebro:
Sean robustas y tolerantes a fallos
Sean flexibles. El cerebro se adapta a nuevas circunstancias mediante el aprendizaje.
Puedan trabajar con informacin borrosa, incompleta, probabilstica, con ruido o
inconsistente.
Sean altamente paralelas. El cerebro est formado por muchas neuronas interconectadas
entre si y es, precisamente el comportamiento colectivo de todas ellas, lo que caracteriza su
forma de procesar la informacin.
El punto clave de las ANNs es la nueva estructuracin de estos sistemas para el procesamiento
de la informacin. A partir de esta informacin como ejemplo, las ANN aprenden. Aprender en
sistemas biolgicos involucra la modificacin de la interconectividad entre las neuronas; este
concepto tambin es cierto para las ANNs.
Los campos de aplicacin de las ANNs crecen por momentos, por ejemplo, reconocimiento de
patrones, clasificacin de datos, predicciones,... Su ventaja ms destacada es la de solucionar
problemas que con las tcnicas convencionales seran demasiado complejos.
Las redes neuronales, en su inicio eran una simulacin de los sistemas nerviosos biolgicos. De
este modo una primera clasificacin de los modelos de ANNs puede ser basndonos en su
similitud con la realidad biolgica: modelos de tipo biolgico y aquellos dirigidos a
aplicaciones.
2.1.1 Redes Neuronales de tipo Biolgico

El cerebro humano contiene aproximadamente 12 billones de clulas nerviosas o neuronas.
Cada neurona tiene de 5600 a 60000 conexiones dendrticas provenientes de otras neuronas
mientras que en el sistema nervioso hay 10 14 sinapsis; teniendo cada neurona ms de 1000 a la
entrada y a la salida. Es importante destacar que aunque el tiempo de conmutacin de la neurona
es casi un milln de veces menor que las computadoras actuales, ellas tienen una conectividad
miles de veces superior que las actuales supercomputadoras.
La principal aplicacin de estas redes, es el desarrollo de elementos sintticos para verificar las
hiptesis que conciernen a los sistemas biolgicos.
Las neuronas y las conexiones entre ella, llamadas sinapsis, son la clave para el procesado de la
informacin. Observar la imagen 2.1:
Imagen 2.1 Neurona Biolgica

La mayora de neuronas tienen una estructura parecida a la de un rbol llamadas dendritas que
reciben las seales de entrada que vienen de otras neuronas a travs de las sinapsis.
Una neurona consta de tres partes:
1. El cuerpo de la neurona
2. Ramas de extensin (dendritas) para recibir las entradas
3. Un axn que lleva la salida de una neurona a las dendritas de otras neuronas
Imagen 2.2 Red de Neuronas

La interaccin entre dos neuronas no es del todo conocida pero el proceso del traspaso de
informacin es modelado como una regla de propagacin representada por la red u(.). Mientras
que la neurona puede ser modelada como una simple funcin escaln f(.).
2.1.2 La Neurona Artificial

Si se tienen N neuronas, podemos ordenarlas arbitrariamente y designarlas como unidades. Su
trabajo es simple y nico, y consiste en recibir las entradas de las clulas vecinas y calcular un
valor de salida, el cual es enviado a todas las clulas restantes.
Imagen 2.3 Neurona Artificial

Se conoce como capa o nivel a un conjunto de neuronas cuyas entradas provienen de la misma
fuente (que puede ser otra capa de neuronas) y cuyas salidas se dirigen al mismo destino (que
puede ser otra capa de neuronas). De esta manera podemos destacar tres tipos de unidades:
-
Las unidades de entrada reciben seales desde el entorno (son seales que
proceden de sensores o de otros sectores del sistema).
Las unidades de salida envan la seal fuera del sistema (son seales que pueden
controlar directamente potencias u otros sistemas). Las neuronas de las capas
ocultas pueden estar interconectadas de distinta manera, lo que denomina, lo que
determina con su nmero, las distintas tipologas de redes neuronales.
Las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro
del sistema (son seales que no tienen contacto con el exterior).
Imagen 2.4 Caracterizacin de un grupo de Neuronas
2.1.3 Conexiones Entre Neuronas

Las conexiones que unen a las neuronas que forman una red neuronal artificial, tienen asociado
un peso, que es el que hace que la red adquiera conocimiento.
Consideremos yi como el valor de salida de una neurona i en un instante dado. Una neurona
recibe un conjunto de seales que le dan informacin del estado de activacin de todas las
neuronas con las que se encuentra conectada. Cada conexin (sinapsis) entre la neurona i y la
neurona j est ponderada por un peso wje. Normalmente, de forma simplificada, se considera
que el efecto de cada seal es aditivo, de tal forma que la entrada neta que recibe una neurona
(potencial postsinptico) netj es la suma del producto individual por el valor de la sinapsis que
conecta ambas neuronas:
N
net j w ji yi
i
Esta regla muestra el procedimiento a seguir para combinar los valores de entrada a una unidad
con los pesos de las conexiones que llegan a esa unidad y es conocida como regla de
propagacin.
2.1.4 Regla de Aprendizaje.

Al igual que el funcionamiento de una red depende del numero de neurones de las que disponga
y de como estn conectadas entre si, cada modelo dispone de sus propias tcnicas de
aprendizaje. En el caso de las redes neuronales artificiales, se puede considerar que el
conocimiento se encuentra en los pesos de las conexiones entre neuronas. Todo proceso de
aprendizaje implica cierto nmero de cambios en estas conexiones. En realidad puede decirse
que se aprende modificando los valores de los pesos de la red.
2.1.5 Redes Neuronales para aplicaciones concretas

Debido a que el conocimiento sobre el sistema nervioso en general no es completo se han de
definir otras estructuras y funcionalidades distintas a las vistas en las de tipo biolgico. Estas
son sus principales caractersticas:
Auto-organizacin y Adaptatividad. Ofrecen procesos robustos y adaptativos ya que utilizan
algoritmos de autoaprendizaje y autoorganizacin.
Procesado no lineal. Proporciona una gran capacidad de aproximar, clasificar y inmunidad
frente al ruido.
Procesador paralelo. Se usan un gran nmero de clulas con un alto nivel de
interconectividad.
Los campos de aplicacin son el procesado de seal y el de imagen.
2.2 Fases en la aplicacin de Redes Neuronales

Las aplicaciones del mundo real deben cumplir dos tipos diferentes de requisitos en el
procesado, por eso, podemos distinguir dos fases: fase la de aprendizaje o entrenamiento
y la fase de prueba.
En la fase de entrenamiento se trata de determinar los pesos usando un conjunto de datos para
definir el modelo neuronal. Una vez entrenado este modelo en la fase de prueba, se procesarn
los patrones que constituyen la entrada habitual de la red, analizando as las prestaciones finales
de la red.
Fase de prueba. Los parmetros de diseo de la red neuronal se han obtenido unos patrones
representativos de las entradas, a los que denominamos patrones de entrenamiento.
Segn el tipo de red, y en funcin de las ecuaciones dinmicas de prueba, los resultados pueden
ser calculados de una vez o adaptados iterativamente. Para validar el diseo, una vez calculados
los pesos, se comparan los valores de las neuronas de la ltima capa con la salida deseada.
Fase de aprendizaje. Una caracterstica bsica de las ANNs es su capacidad de aprender.
Aprenden por su actualizacin o cambio de los pesos sinpticos que caracterizan a las
conexiones. Los pesos se adaptan de acuerdo a la informacin extrada de los patrones de
entrenamiento nuevos que se van presentando.
10

Segn el tipo de entrenamiento, una posible clasificacin de las ANNs es:
Redes Neuronales
FIJO
Red de Hamming
Red de Hopfield
NO SUPERVISADO
Mapa de
Caractersticas
Aprendizaje
Competitivo
SUPERVISADO
Perceptrn
Basadas en Decisin
ADALINE (LMS)
Perceptrn Multicapa
Modelos Temporales
Dinmicos
Modelos Ocultos de
Markov
11
3 Estructura de las Redes Neuronales Artificiales

Los aspectos ms caractersticos de las estructuras de redes son: la estructura de conexin, el
tamao de la red y la eleccin entre ACON y OCON.
3.1 Estructuras de conexin

Una red neuronal se determina por la neurona y la matriz de pesos. El comportamiento
de la red depende en gran medida del comportamiento de la matriz de pesos. Existen
tres tipos de capas de neuronas: la de entrada, la de salida y las ocultas. Entre dos
capas de neuronas existe una red de pesos de conexin, que puede ser de los
siguientes tipos:
- Conexin hacia delante: es la de red de Conexin en la cual, los datos de las
neuronas de una capa inferior son propagados hacia las neuronas de la capa superior.
- Conexin hacia atrs: esta Conexin realiza la operacin inversa a la Conexin hacia
delante, es decir, los datos de las neuronas de una capa superior son llevados a otra
de capa inferior.
- Conexin lateral: un ejemplo tpico de este tipo de Conexin es el ganador toma
todo, que cumple un papel importante en la eleccin del ganador.
- Conexin de retardo: es la conexin en la cual se le incorporan unos elementos de
retardo para implementar modelos dinmicos y temporales, es decir, modelos que
precisa memoria.
Puede darse el caso que las redes sean de una capa, y su modelo de pesos sea hacia
atrs o bien multicapa hacia delante. Como tambin es posible, conectar varias redes
de una sola capa para dar lugar a redes ms grandes.
3.2 Tamao de las redes

El tamao de las redes depende del nmero de capas y del nmero de neurona
ocultas por capas.
Para conocer el nmero de capas de neuronas, a menudo se cuenta a partir del
nmero de capas de pesos, debido a que en una red multicapa existen una o ms
capas de neuronas ocultas.
El nmero de neuronas ocultas est directamente relacionado con las capacidades de
la red, debido a que un comportamiento correcto de la red viene determinado por el
nmero de neuronas de la capa oculta.
Eleccin entre ACON y OCON
Tpicamente, cada nodo de salida se usa para representar una clase.
La eleccin entre una arquitectura All-Class-in-One-Network (ACON) o One-Classin-One-Network (OCON), depende de las necesidades de nuestra aplicacin, debido
a que cada arquitectura posee diferentes caractersticas. La aproximacin ACON se
caracteriza por tener todas las clases reconocidas dentro de una super red, en cambio,
la aproximacin OCON se caracteriza por tener una subred para cada salida. En
algunos casos es ventajoso descomponer la super red de ACON en varias subredes
ms pequeas. Por ejemplo, una red de 36 salidas se puede descomponer en 12
subredes, cada una responsable de tres salidas.
Las dos estructuras difieren claramente en tamao y rapidez. Aunque el nmero de
subredes en la estructura OCON es relativamente largo, cada subred individual tiene
12

un tamao menor que la red ACON. Esto se puede explicar con las figuras 3.1 y 3.2 de
la pgina siguiente:
13
Imagen 3.1 e Imagen 3.2 Redes Supervisadas i No Supervisadas

La conclusin a la que se llega, es que la estructura OCON parece ser que aventaja a
la ACON en la rapidez de reconocimiento y entrenamiento, cuando el nmero de
clases es grande.
14
4 Tipos de modelos de Redes Neuronales

4.1 Mtodos de aprendizaje. Clasificacin general.
La clasificacin general sera la siguiente:
1- Aprendizaje Supervisado.
1.1- Basadas en la decisin.
1.2- De Aproximacin/Optimizacin.
2- Aprendizaje No Supervisado.
2.1- Entrenamiento Competitivo.
2.2- Redes asociativas de pesos fijos.
Todos estos mtodos de aprendizaje, necesitan unas reglas de entrenamiento
especficas para cada uno de ellos. Ahora pasaremos a comentar los diferentes tipos
de entrenamiento.
4.2 Aprendizaje supervisado.

En el aprendizaje supervisado (aprender con un maestro), la adaptacin sucede
cuando el sistema compara directamente la salida que proporciona la red con la salida
que se deseara obtener de dicha red.
Existen tres tipos bsicos: por correccin de error, por refuerzo y estocstico.
En el aprendizaje por correccin de error el entrenamiento consiste en presentar al
sistema un conjunto de pares de datos, representando la entrada y la salida deseada
para dicha entrada (este conjunto recibe el nombre de conjunto de entrenamiento). El
objetivo es minimizar el error entre la salida deseada y la salida que se obtiene.
El aprendizaje por refuerzo es ms lento que el anterior. No se dispone de un ejemplo
completo del comportamiento deseado pues no se conoce la salida deseada exacta
para cada entrada sino que se conoce el comportamiento de manera general para
diferentes entradas. La relacin entrada-salida se realiza a travs de un proceso de
xito o fracaso, produciendo este una seal de refuerzo que mide el buen
funcionamiento del sistema. La funcin del supervisor es ms la de un crtico que la de
un maestro.
El aprendizaje estocstico consiste bsicamente en realizar cambios aleatorios de los
valores de los pesos y evaluar su efecto a partir del objetivo deseado.
4.2.1 Reglas de entrenamiento Supervisado.

Las redes de entrenamiento supervisado han sido los modelos de redes ms desarrolladas desde
inicios de los diseos de redes. Los datos para el entrenamiento estn constituidos por varios
pares de patrones de entrenamiento de entrada y de salida. El hecho de conocer la salida implica
15

que el entrenamiento se beneficia de la supervisin de un maestro. Dado un nuevo patrn de
entrenamiento, por ejemplo, (m+1)- simo, los pesos sern adaptados de la siguiente forma:
wij( m 1) wij( m ) wij( m )
Se puede ver un diagrama esquemtico de un sistema de entrenamiento Supervisado

en la siguiente figura:
Imagen 4.1 Entrenamiento Supervisado
4.2.2 Aprendizaje supervisado basado en la Decisin.

En la regla de entrenamiento basada en la decisin, se actualizan los pesos slo
cuando se produce un error en la clasificacin. Esta regla de entrenamiento es
localizada y distributiva, adems comprende el aprendizaje reforzado y la subred
correspondiente a la clase correcta y el entrenamiento antirreforzado en la subred
ganadora.
Puesto que el lmite de decisin depende de la funcin discriminante x, w , es
natural ajustar el lmite de decisin ajustando el vector de los pesos w tanto en la
direccin del gradiente de la funcin discriminante (es decir, entrenamiento reforzado)
o en la direccin contraria (entrenamiento antirreforzado), ms adelante definiremos
estos tipos de entrenamiento.
w x, w
donde es una tasa de entrenamiento positiva.

El vector gradiente de la funcin con respecto a w se denota:
x, w

x , w
,...,
w
w N
w1
4.2.2.1 Regla de entrenamiento basada en la decisin.
16
Supongamos que S x (1) ,..., x ( M )
es un conjunto de patrones de entrenamiento,
cada uno corresponde a una de las L clases i , i 1,..., L . Cada clase se modela
por una subred con funcin discriminante, digamos, x, wi i 1,..., L . Supongamos que
el patrn de entrenamiento m-simo x (m ) se sabe que pertenece a la clase i y
x ( m ) , w (jm ) x ( m ) , wl( m ) , l j
Esto es, la clase ganadora para el patrn es la clase (subred) j-sima.
1. Cuando j=1, entonces el patrn x (m ) es clasificado correctamente y no se
necesita
ninguna actualizacin.
j
i
2. Cuando
, esto es, x (m ) es mal clasificado, entonces se realiza lo
siguiente:
( m 1)
wim x, wi
Entrenamiento reforzado: wi
( m 1)
w mj x, w j
Entrenamiento antirreforzado: w j
En la regla de entrenamiento reforzado, el vector de pesos w se mueve a lo largo de la

direccin positiva del gradiente, as que la funcin del valor discriminante aumentar,
aumentando la posibilidad de la seleccin del futuro patrn. El entrenamiento
antirreforzado mueve w a lo largo de la direccin negativa del gradiente, as que el
valor de la funcin discriminante disminuir, disminuyendo as la posibilidad de su
futura eleccin.
x, wl z T wl
Entonces el gradiente en la frmula de actualizacin, es simplemente
z
w
Que nos lleva a la regla del perceptrn lineal.
Funcin de base lineal. Una funcin discriminante RBF es una funcin de radio
entre el patrn y el centroide, x wl :
x, wl
x wl
17

Se usa para cada subred l. As que el centroide wl ms cercano al patrn
actual es el ganador. Al aplicar la frmula del entrenamiento basado en la
decisin a la ltima ecuacin y notando que x, w x w , las siguiente
reglas de entrenamiento se pueden derivar:
( m 1)
wi( m ) x w (jm )
Entrenamiento reforzado: wi
( m 1)
w (jm ) x w (jm )
Entrenamiento antirreforzado: w j
Funcin de Base Elptica. La versin bsica de RBF de las DBNN (Redes

Neurales Basadas en la Decisin) discutidas anteriormente se basa en asumir
que el espacio de caractersticas es uniformemente normalizado en todas
direcciones. En la prctica, de todas formas, distintas caractersticas pueden
tener distintos grados de importancia dependiendo en el modo que sean
medidos. Esto lleva a la adopcin de funciones discriminantes elpticas ms
verstiles. En la prctica y para la mayora de las aplicaciones, la funcin
discriminante EBF se convierte en:
N
x, wl lk x k wik i
2
k 1
4.2.2.2 Estructura jerrquica DBNN.

Si una subred se modela como una red de una sola capa, esta red ser inadecuada en
general para tratar con lmites de decisin complejos. Para obtener una flexibilidad
mxima para tratar con lmites de decisin no lineales, se utiliza una estructura
jerrquica DBNN. La DBNN se caracteriza por su funcin de base, as como por la
estructura jerrquica. La DBNN combina la regla de aprendizaje del perceptrn y la
estructura jerrquica.
La funcin de base. Para dar consciencia al esquema de ndices de la estructura
jerrquica, etiquetamos el nivel de subred por el ndice l y la etiqueta del nivel de
subnodo por el ndice k l . De una forma ms elaborada, la funcin discriminante
para la subred l se denota por ( x, wl ) . Para el nivel ms bajo, la funcin
discriminante para el subnodo l se denota por i x, wkl donde el entero
k l 1,..., k l , y k l denota el nmero de subnodos de la subred l.
Las funciones de base ms comunes, para los subnodos incluyen unas
funciones de base lineales LBFs (Linear Basis Functions), funciones de base
radiales RBF (Radial Basis Functions), y funciones de base elpticas EBF (Elliptic
Basis Function).
Hay diferentes estructuras como son:
18

- Nodo Oculto DBNNs
Una aproximacin sencilla es la estructura de nodo oculto dibujada en la figura. En la
estructura de nodo oculto, la funcin discriminante no lineal se modela por una suma de
varios nodos ocultos. Por ejemplo, un modelo de dos capas se puede representar cada
subred. En este caso, una subred consiste en mltiples nodos ocultos, cada uno
representado por una funcin i x, wkl . La funcin discriminante de la subred es una
combinacin lineal de los valores de los subnodos. La funcin discriminante de este tipo,
con la apropiada funcin de base, puede aproximar cualquier funcin. Esto permite que la
estructura adquiera una potencia de aproximacin universal para acomodar casi cualquier
lmite de decisin complejo.
-Subcluster DBNNs.
Constituyen una alternativa a usar la suma escalada de los pesos de los nodos
en la estructura de los nodos ocultos. Esta nueva alternativa usa la aproximacin
de el ganador se lleva todo (winner-take-all). Esto es, slo el peso superior ms
representativo tiene un peso de l y todos los dems tienen peso cero.
Para la estructura jerrquica del subcluster, introducimos las nociones del
ganador local y ganador absoluto. El ganador local es el ganador de entre los
subnodos dentro de la misma subred. El ganador local de la subred l est
indexada por s l , esto es
sl arg max l x, wl
Un patrn se clasifica dentro de la clase j-sima si la subred j-sima es la
ganadora absoluta.
-Algoritmo:
Supongamos que varios subclasificadores se usan para representar una clase
con s i , s j , etc, representando los ganadores locales. Supongamos que el patron
x (m ) debe pertenecer a la clase i , pero la subred j-sima se selecciona como
la ganadora absoluta. Cuando i , esto es x (m ) se clasifica mal, entonces se
actualiza lo siguiente:
( m 1)
wsi( m ) x, wsi
Aprendizaje reforzado: wsi
( m 1)
wsj( m ) x, wsj
Aprendizaje no reforzado: wsj
En otras palabras, el aprendizaje antirreforzado se aplica al subclasificado que gana

localmente dentro de la subred que gana de manera absoluta; y el aprendizaje reforzado
se aplica al ganador local dentro de la clase ganadora. Esto es, estas estructuras
jerrquicas se pueden acomodar para clasificar lmites de decisin complejos,
actualizndose nicamente los sublasificadores seleccionados en las subredes.
19

Imagen 4.2 Subcluster DBNNs
4.2.3 Redes Neuronales de Aproximacin/Optimizacin.

La formulacin basadas en la aproximacin se pueden ver como una
aproximacin/regresin para el conjunto de datos entrenados. Los datos para el
entrenamiento se dan en pares de entrada/maestro, que denotaremos por
X , T x1, t1,..., xm, tm , donde M es el nmero de patrones de entrenamiento.
Los valores deseados en los nodos de salida correspondientes a los patrones de
entrada x (m ) los llamaremos maestros. El objetivo del entrenamiento de la red es
encontrar los pesos ptimos para minimizar el error entre los valores del maestro y las
salidas de respuesta actual. Un criterio popular es minimizar los errores cuadrticos
medios entre el maestro y la salida actual. Para adquirir una capacidad de
aproximacin no lineal, se usan frecuentemente las redes multicapa, junto con el
algoritmo de Backpropagation.
La funcin que representa el modelo es funcin de las entradas y de los pesos:
y x, w , si asumimos que hay una nica salida. En la formulacin bsica del
modelo de aproximacin, el procedimiento implica el encontrar los pesos que
minimizan el error cuadrtico medio (least-squares-error) LMS como funcin de
2
energa: E x, w t x, w . El vector de pesos w se puede adaptar para ir
minimizando la funcin de energa a lo largo de la direccin de descenso del gradiente:
E x, w
x, w
t x, w
w
w
En la fase de prueba, la clula que gana a la salida es la clula que da la mxima

respuesta al patrn de entrada.
4.3 Modelos No Supervisados

La capacidad de clasificacin de la red neuronal depende del valor de los pesos sinpticos, que
pueden ser preestablecidos o entrenados adaptativamente mediante mecanismos de aprendizaje.
Una clase de modelos de entrenamiento no supervisado son las redes de pesos fijos. Un ejemplo
son las redes de Memoria Asociativa, que se usan para obtener patrones originales libres de
ruido a partir de seales incompletas o distorsionadas. La principal caracterstica de las redes
asociativas de pesos fijos es que sus pesos son preestablecidos y precalculados.
Los modelos de pesos fijos tienen aplicaciones limitadas ya que no se pueden adaptar a
ambientes cambiantes. Hay otra variedad de redes no supervisadas, llamadas Redes de
Aprendizaje Competitivo, cuyos pesos se adaptan de acuerdo con reglas de aprendizaje no
supervisadas. Estas redes, pueden aprender en ausencia de un maestro, como ya hemos
mencionado anteriormente. En otras palabras, el entrenamiento se basa nicamente en la
informacin de los patrones de entrada, no necesitan la supervisin de un maestro a la salida. La
clase de las redes de aprendizaje competitivo se compone, por ejemplo, de Red de
autoorganizacin.
20
4.3.1 Reglas de entrenamiento No Supervisado.

Para los modelos de entrenamiento No Supervisado, el conjunto de datos
entrenamiento consiste slo en los patrones de entrada. Por lo tanto, la red
entrenada sin el beneficio de un maestro. La red aprende a adaptarse basada en
experiencias recogidas de los patrones de entrenamiento anteriores. Este es
esquema tpico de un sistema No Supervisado:
de
es
las
un
Imagen 4.3 Entrenamiento no Supervisado
Ejemplos tpicos son La Regla de Aprendizaje de Hebb, y la Regla de Aprendizaje

Competitiva.
4.3.2 Aprendizaje competitivo.

Una red bsica de aprendizaje competitivo tiene una capa de neuronas de entrada y
una capa de neuronas de salida. Un patrn de entrada x es un simple punto en el
espacio real o binario de vectores n-dimensional. Los valores binarios (0 o 1) de
representacin local son ms usados en los nodos de salida. Esto es, hay tantas
neuronas de salida como nmeros de clases y cada nodo de salida representa una
categora de patrones.
Una red de aprendizaje competitivo est formada por una(s) red(es) excitadora hacia
delante y la(s) red(es) inhibidora(s) lateral(es). La red hacia delante normalmente
implementa una regla de excitacin de aprendizaje de Hebb. Esta regla consiste en
que cuando una neurona participa constantemente en activar una neurona de salida,
la influencia de la neurona de entrada es aumentada. La red lateral es inhibidora por
naturaleza. Esta red realiza la misin de seleccionar el ganador, normalmente por
medio de un mtodo de aprendizaje competitivo, de entre los que podemos resear el
esquema de winner-take-all. En un circuito winner-take-all, la neurona de salida que
da el valor ms alto se le asigna el valor total (por ejemplo 1), mientras que a las
dems se le da un valor de 0. El circuito de winner-take-all se implementa por una
red (digital o analgica). Otro ejemplo de una red lateral son los mapas de Kohonen.
Se deja que las neuronas de salida interactuen por medio de la red lateral, con lo que
el modelo se puede entrenar para guardar cierto orden topolgico.
Los procedimientos de clasificacin no supervisados se basan a menudo en algunas
tcnicas de clasificacin, que forman grupos de patrones parecidos. Esta tcnica de
clasificacin es muy til para la clasificacin. Adems, juega un papel muy importante
en las redes de aprendizaje competitivo. Para un procedimiento de clasificacin, es
21

necesario definir una distancia o medida de similaridad, para evaluar el grado de
semejanza de los patrones. Algunas de estas distancias estn en la siguiente lista, y
entre ellas la ms comn es la distancia euclidea.
1. Producto interno:
xi , x j xiT x j xi x j cos xi , x j
2. Distancia Euclidea con Pesos:
d xi , x j xi k x j k
k
Redes de aprendizaje competitivo bsicas.

Sin la supervisin de ningn maestro, las redes no supervisadas adaptan los
pesos y verifican los resultados nicamente a partir de los patrones de entrada.
Un esquema que se usa mucho para la adaptacin de los pesos es la regla de
aprendizaje competitivo, que hace que las clulas compitan por el derecho a
responder por ellas mismas por un determinado tipo de entrada. Esto se puede
ver como un sistema muy sofisticado de clasificacin, cuyo objetivo es dividir un
conjunto de patrones de entrada en un nmero de clases, tal que los patrones de
entrada en un nmero de clases tal que los patrones de la misma clase exhiben
un cierto grado de similaridad. Las reglas de entrenamiento suelen ser la regla
de Hebb para la red de propagacin y la regla de winner-take-all (WTA) para la
red lateral.
Modelo bsico de Aprendizaje.
Un sistema de este tipo consiste en redes laterales y de propagacin hacia
delante con un nmero fijo de nodos de salida, esto es, un nmero fijo de clases.
Los nodos de entrada y salida tienen valores binarios nicamente. Cuando y slo
cuando los dos, la entrada ith y la salida jth estn activadas C ij 1 ; de otra
forma xi k 1 . Dado el valor de los pesos sinpticos i con la salida j, wij, y el
estmulo k-th, una posible regla de aprendizaje es:
xi k
w
si
y
solo
si
C
ij
ij
wij nk
otros casos
0
22

donde g es una pequea constante, n k es el nmero de unidades de entradas
activas del patrn k, xi k 1 si la seal de entrada i es alta para el patrn k-th y
en otro caso xi k 0 .
Reglas de entrenamiento basadas en pesos normalizados.

Con el fin de asegurar un ambiente de competicin equitativo, las sumas de
todos los pesos que van a dar las neuronas de salida deben estar normalizados.
Si los pesos conectados a un nodo de salida j son xi k 1 , entonces
wij 1
i
xi k
w
si
j
gana
sobre
el
estmulo
k
ij
wij nk
si j pierde sobre el estimulo k

0
Entonces, si una unidad gana la competicin, cada una de sus lneas de entrada
cede una proporcin g de su peso, y la l distribuye igualmente entre las lneas de
entrada activas.
Una caracterstica importante de esta regla de entrenamiento es que la
normalizacin es incorporada en el momento de la actualizacin, de forma que la
suma de los pesos sinpticos a cualquier salida es 1.
Reglas de aprendizaje para Leaky Learning (aprendizaje dbil).

Con el fin de preveer la existencia de neuronas que no aprenden en totalidad, se usa el
aprendizaje dbil. Puesto que una neurona slo aprende si gana en algn momento, es
posible que una clula nunca gane, y por lo tanto nunca aprenda. Una forma de solucionar
este problema es que todos los pesos de la red intervengan en el entrenamiento con
distintos niveles de aprendizaje. Esto se practica en la siguiente regla de aprendizaje
dbil:
23
xi k
wij si j gana sobre el estimulo k

nk
gl
wij
g xi k w si j pierde sobre el estmulo k

ij
w n
En esta regla el parmetro g l es unas rdenes de magnitud ms pequeo que

xi k 0 . Por lo tanto, las neuronas que pierden en la competicin sufren un
aprendizaje menor que las neuronas ganadoras. Este cambio tiene la propiedad
de que las neuronas perdedoras se van desplazando hacia la regin donde yace
el estmulo actual, donde empiezan a capturar algunas unidades, superando a
las tcnicas dinmicas convencionales.
24
5 Modelos de Redes Neuronales

5.1 Modelos supervisados
5.1.1 Perceptron
Un Perceptrn unicapa no es ms que un conjunto de neuronas no unidas entre s, de manera
que cada una de las entradas del sistema se conectan a cada neurona, produciendo cada una de
ellas su salida individual: Un Perceptrn unicapa no es ms que un conjunto de neuronas no
unidas entre s, de manera que cada una de las entradas del sistema se conectan a cada neurona,
produciendo cada una de ellas su salida individual:
Imagen 5.1 Modelo de Perceptron

Como ya hemos dicho, un conjunto de neuronas no sirve para nada si previamente no le enseamos qu
debe hacer. en el Perceptrn podemos utilizar los metodos que conocemos: Supervisado, Por Refuerzo y
No Supervisado.
En el Aprendizaje Supervisado se presentan al Perceptrn unas entradas con las

correspondientes salidas que queremos que aprenda. De esta manera la red
primeramente calcula la salida que da ella para esas entradas y luego, conociendo el
error que est cometiendo, ajusta sus pesos proporcionalmente al error que ha
cometido (si la diferencia entre salida calculada y salida deseada es nula, no se varan
los pesos).
En el Aprendizaje No Supervisado, solo se presentan al Perceptrn las entradas y,
para esas entradas, la red debe dar una salida parecida.
En el Aprendizaje Por Refuerzo se combinan los dos anteriores, y de cuando en
cuando se presenta a la red una valoracin global de como lo est haciendo.
5.1.2 El Perceptrn multicapa

Esta estructura naci con la intencin de dar solucin a las limitaciones del Perceptrn
clsico o unicapa, y supuso el resurgimiento del movimiento conexionista. Como su
nombre indica, se trata de un unos cuantos (dos o tres) perceptrones unicapa
conectados en cascada, como en la imagen 5.2.
El problema de este tipo de Perceptrn est en su entrenamiento, ya que es difcil modificar
correctamente los pesos de la capa oculta (la capa 1 en el ejemplo anterior). Para poder hacer
aprender cosas a un Perceptrn de este tipo, se implement el algoritmo de BackPropagation,
que tal como su nombre indica tiene la funcin de ir propagando los errores producidos en la
capa de salida hacia atrs.
25
Imagen 5.2 Modelo de Perceptrn Multicapa
Capacidad representacional
Redes con alimentacin hacia delante (no recurrentes) y sin capas ocultas
(Rosenblatt) Cada unidad de salida es independiente de las otras ya que cada peso
afecta slo a una salida. Se puede construir cualquier multi-perceptron a partir de
perceptrones de una salida Pueden representar funciones booleanas complejas. Ej:
una funcin que detecta si ms de la mitad
de sus n entradas estn a 1, se
representan con un perceptron con todos los pesos a 1 y Slo pueden representar
funciones linealmente separables .
Un ejemplo prctico de un Perceptrn multicapa podra ser su uso en visin artificial.
Dada su capacidad para generalizar, las redes neuronales ya han demostrado su
importncia en este campo. El unico problema s la lentitud que tiene para aprender.
5.1.3 Adaline y Madaline

Este es otro de los modelos pioneros de las ANNs i el mas
simple a la hora de aproximar. se basa en el criterio del error
cuadrtico mdio line i fu introducido por Widrow. ADALINE
sigue siendo de una sola capa como el perceptron, con la
unica diferncia de la funcin de transferencia lineal (imagen
5.3)
El mtodo de entrenamiento que adopta este modelo s el de
adaaptacin a los datos i se basa en el algoritmo de
descenso del gradiente.
Imagen 5.3 Funcin de transferncia lineal
5.1.4 Backpropagation
El aprendizaje con redes de neuronas se realiza actualmente siguiendo el enfoque de
la Retropropagacin de Gradiente Backpropagation y el de los algoritmos
constructivos. El primero necesita introducir a priori el nmero y conexiones de las
unidades ocultas, y determinar los pesos por minimizacin de un costo. La red as
obtenida es eventualmente simplificada eliminando unidades y/o conexiones que
parecen intiles.
26

El principal defecto de este enfoque consiste en la bsqueda de la mejor arquitectura a
travs de prueba y error. Por otra parte, con un enfoque constructivo se aprende al
mismo tiempo el nmero de unidades y pesos, en el marco de una arquitectura que
comienza generalmente con un perceptron. La caracterstica de estos algoritmos es
que construyen una RN adaptada a cada problema particular, usando la informacin
contenida en el conjunto de aprendizaje y evitando redisear la arquitectura. El primer
algoritmo constructivo fue el algoritmo Tiling, de ah surgieron Cascade Correlation, el
algoritmo Upstart, Offset y GAL entre otros. Monoplan y NetLines son dos algoritmos
recientemente introducidos por el autor. De aqu en adelante, nuestra discusin ser
basada nicamente en los mtodos constructivos.
Una vez construida la red, sta debe ser capaz de predecir la clase de datos nuevos
que no estn presentes en el conjunto de aprendizaje. La calidad del algoritmo de
aprendizaje se traduce en la capacidad de prediccin de la RN. Esta calidad se mide a
travs del error de generalizacin, que es la proporcin de clasificaciones correctas
realizadas por la red sobre nuevos datos. Esta cantidad se mide empricamente sobre
una serie de problemas estndar (benchmarks) que sirven de prueba.
5.1.5 Otros Modelos

Dentro de los supervisados encontramos diversos modelos como los descritos
brevemente a continuacin:
Time Delay NN: Red multicapa feddforward donde las salidas de cada capa estan
retenidas durante un tiempo, conectandose todas a la vez a la siguiente capa. La
aplicacin donde ms se encuentran estas redes es en las tascas de reconociemeto
optico.
Probabilistic NN: Red de tres capas, que en su forma standar no entrena. El
aprendizaje se realiza similar a la red de Hamming. Su mayor ventaja s que no
necesita entrenamiento i la mayor desventaja que sus matrices son muy largas.
Generalized Regresion NN: Red que por lo general no necesita un entrenamiento
iterativo , se utiliza en problemas de clasificacin o estimacin de variables continuas.
5.2 Modelo No Supervisado

5.2.1 Redes de Hopfield
El modelo Hopfiel consiste de una red monocapa con N neuronas cuyos valores de salida son
binarios 0/1 -1/+1. En la versin original del modelo Discrete Hopfield, las funciones de
activacin de las neuronas eran del tipo escaln. Se trataba, por lo tanto, de una red discreta con
entradas y salidas binarias; sin embargo, posteriormente Hopfield desarroll una versin
continua con entradas y salidas analgicas utilizando neurnas de activacin tipo sigmiodal.
Una de las caractersticas del modelo de Hopfield, es que se trata de una red autoasociativa. As como, varios patrones diferentes pueden ser almacenados en la red,
como si se tratase de una memoria, durante la etapa de aprendizaje. Posteriormente,
si se presenta a la entrada alguna de las informaciones almacenadas, la red
evoluciona hasta estabilizarse, ofreciendo entonces en la salida la informacin
almacenada, que coincide con la presentada en la entrada. Si , por el contrario, la
informacin de entrada no coincide con ninguna de las almacenadas, por estar
distorsionada o incompleta, la red evoluciona generando como salida la mas parecida.
27

El funcionamiento de la red Hopfield se puede expresar en dos pasos:
En el instante inicial se aplica la informacin de entrada, la salida de las neuronas
coincide con la informacin aplicada a la entrada.
La red realiza iteraciones hasta alcanzar la convergencia (hasta que Si(t+1) sea igual a
Si(t)).
Si(t+1)=f ( ? Wji Sj(t) - ?i )
1< i< n
Donde f es la funcin de transferencia (activacin) de las neuronas de la red. En el
caso del modelo continuo existen dos funciones de activacin de tipo sigmoidal. Si se
trabaja con valores entre -1 y +1, la funcin que se utiliza es la tangente hiperblica.
f (x-?i ) = tgh ( ? ( x-?i ) )
Si el rango es entre 0 y 1, se utiliza la misma funcin que para la red Backpropagation.
f (x-?i ) = 1/(1+ e-?(x-?i))
En ambos casos, ?es un parmetro que determina la pendiente de la funcin
sigmoidal.
El proceso se repite hasta que las salidas de las neuronas permanecen si cambios
durante algunas iteraciones. En ese instante, la salida representa la informacin
almacenada por la red que mas se parece a la informacin presentada en la red.
La red Hopfield continua ofrece mas posibilidades que la discreta, ya que permite
almacenar patrones formados por valores reales (por ejemplo, imgenes en color o en
blanco y negro con diferentes tonalidades de gris) y adems facilita la resolucin de
determinados problemas generales de optimizacin.
Por ejemplo, el problema del vendedor viajero, la biparticin de grafos, el problema del
emparejamiento ponderado, en todos los casos se reduce el tiempo de resolucin.
En el caso de un reconocimiento de imgenes en una red Hopfield discreta seria mas
difcil trabajar con imgenes con tonos de grises o a colores, siendo que para una red
Hopfield continua es mas sencillo .
5.2.2 Los mapas de Kohonen

Dentro de las RNA se pueden crear dos grandes grupos en funcin del tipo de
supervisin de su aprendizaje. Si la red recibe informacin sobre si su funcionamiento
es correcto o incorrecto, basndose en alguna medida de error entre la salida de la red
y la salida deseada, entonces estamos hablando de sistemas supervisados. Si por el
contrario la red no recibe ningn tipo de informacin entonces hablamos de sistemas
no supervisados. En este ltimo grupo los modelos buscan a partir de unos datos
extraer propiedades, caractersticas, relaciones, regularidades, correlaciones o
categoras existentes en ellos. Los mapas de Kohonen que se utilizarn en este
trabajo son un tipo de red no supervisada.
Una propiedad del cerebro es que las neuronas estn ordenadas significativamente.
Esto implica que estructuras idnticas en el cerebro funcionan de forma diferente
debido
a
su
diferente
topologa
cerebral.
Otra propiedad bsica es la inhibicin lateral. Cuando una neurona se activa, sta
produce un estado excitatorio en las clulas ms cercanas y un efecto inhibitorio en las
ms lejanas. La funcin que recoge este proceso de excitacin-inhibicion en las
clulas tiene la forma de un sombrero mexicano.
28
Imagen 5.5 Funcin de Excitacin-Inhibicin
En 1982 Kohonen (Kohonen 1982, 1995) propuso el "kohonen's Feature Map", modelo
que pretenda integrar las caractersticas de los modelos biolgicos. Este nuevo
modelo consiste en una Red Neuronal de dos capas, la primera de las cuales es una
capa de entrada y la segunda es una "capa de competicin". Las clulas de ambas
capas estn conectadas entre s, de tal forma que una clula de la capa de entrada
conecta con las de la capa de competicin. Estas conexiones son ponderadas, es
decir, el estmulo excita la capa de entrada, teniendo ambos la misma dimensin.
Imagen 5.6 Mapa de Kohonen
Representaremos el estmulo mediante el vector {e1, e2,..., en}, siendo {t1, t2,..., tn} el
vector que representa la salida de la capa de competicin, representando igualmente
las conexiones entre la primera capa y la segunda mediante {m 1, m2,..., mn}. De tal
forma podramos definir la salida mediante la siguiente ecuacin:
De tal forma que cada conjunto ordenado {m1, m2,..., mn} sea una imagen que
comparamos con {e1, e2,..., en}. Por tanto, la Red deber adaptar sus parmetros para
que cada unidad est especialmente sensibilizada a un dominio de la seal de entrada
en orden regular.
Para hacer esta comparacin podemos utilizar diversas medidas de distancia, como
por ejemplo la anteriormente utilizada en la que se utiliz el producto escalar de dos
vectores, y tambin podramos utilizar la distancia eucldea entre vectores, de tal forma
si tenemos
entonces calcularemos
siendo la medida de distancia utilizada.
29
Por tanto, se trata de presentar un estmulo, el cual se propaga por la Red

dependiendo de la funcin de distancia utilizada, y finalmente consideraremos como
mejor clula (clula ganadora) a aquella que produzca menor seal en la capa de
competicin. Llegados a este punto es necesario generalizar este proceso a estmulos
similares para lo cual empleamos una regla de aprendizaje tipo Hebb, reforzando ms
aquellas unidades que hayan respondido en mayor grado al estmulo,
proporcionalmente al valor del mismo. Todo lo cual puede expresarse mediante:
donde a(t) es una funcin de "olvido" que decrece con respecto al tiempo, y una
funcin de umbral de salida G(x). Esta funcin es inversamente proporcional a la
respuesta de las clulas, ya que sta ser mxima para clulas con una respuesta
mnima y a la inversa, mnima para clulas con respuesta mxima. Por tanto,
aplicamos la funcin G a la salida de las clulas de la capa de competicin para as
poder obtener una respuesta mayor a estmulos que se aproximen ms a los
almacenados en las conexiones y viceversa.
Podemos discretizar la ecuacin anterior, para ello utilizaremos un "vecindario" Nc(Si)
de la clula c, el cual se define como el conjunto de aquellas clulas que estn a
menos de una distancia Si de c; dicha distancia es discreta, por lo que debemos definir
para cada clula una serie de conjuntos Nc(S1), Nc(S2), Nc(S3) ....
Mediante este vecindario podemos definir la ordenacin topolgica de las clulas del sistema, lo
cual equivaldra a las conexiones laterales del modelo de interaccin lateral. Los vecindarios
nos permiten definir las reglas de modificacin sinptica, lo cual confiere a este modelo cierta
similitud con el crtex cerebral.
Del mismo modo el vecindario nos permitira definir la funcin a de olvido, tanto de
forma continua como discreta, cuyo valor disminuira con la distancia a la clula i, para
la que calcularemos los nuevos pesos.
Adems la funcin G(ti) se puede hacer igual a t i cuando i pertenezca a Nc e igual a
cero en caso contrario, quedando la ecuacin anterior
para i Nc
para i Nc
Podremos, por tanto, definir un espacio alrededor de la clula ganadora, en el cual se
incrementarn las eficacias sinpticas de las clulas. Dicho incremento sera igual
para todas las clulas del vecindario y no existir dicho incremento en las clulas
externas a dicho vecindario.
30

Para evitar que los estmulos que se presenten en primer lugar tengan mayor
relevancia que los ltimos presentados, el valor a ir disminuyendo a lo largo del
tiempo, y debe cumplir las siguientes inecuaciones:
Esto mismo se aplica al vecindario, es decir, en un principio elegimos un vecindario

grande y vamos decrementndolo hasta llegar a la unidad.
Si utilizamos la distancia eucldea como medida de similaridad entre vectores la
ecuacin sera la siguiente:
Y la actualizacin de los pesos:
para i Nc
siendo en caso contrario
5.2.3 Redes basadas en la teora de la resonancia adaptativa

En los esquemas de aprendizaje competitivo no existe garanta explicita sobre la estabilidad de
los grupos de patrones de entrada durante el proceso de decrecimiento del factor de aprendizaje
en las sucesivas iteraciones. Las redes basadas en la teora de la resonancia adaptativa vienen a
solucionar este problema.
En este tipo de redes, los vectores de pesos del elemento de procesado seleccionado como
ganador slo se actualizan con los patrones de entrada se "resuenan" con estos, es decir, si son
"suficiente similares". Si no son "suficientemente similares" se genera un nuevo elemento de
procesado cuyos pesos son precisanmente los del patrn de entrada utilizado. Evidentemente se
hace necesario definir el concepto de "suficiente similaridad" que usualemente involucra un
parametro de vigilancioa que lo controla.
5.2.4 Mapas autoorganizados de propiedades

Estos Mapas Autoorganizados son redes con entrenamiento no supervisado que transforman
patrones de entrada p-dimensionales a mapas discretos q-dimensionales (usualmente q=1 o 2)
con topologa ordenada, es decir, mapas en los cuales patrones de entrada prximos
corresponden a puntos del mapa discreto prximos. Cada celda del mapa de salida est
representado por un elemento de procesado que lleva asociado un vector de pesos p-dimensional
que se modifica durante el proceso de entrenamiento.
En el proceso de entrenamiento se localiza el mejor vector de pesos (usualmente en trminos de
distancia mnima) para cada una de las entradas y se modifica para ajustarlo a dicha entrada
(usualmente este ajuste se expande para incluir los vecinos topolgicos del mejor elemento de
procesado en el mapa de salida). Cuando slo se considera el ajuste del mejor vector de pesos,
sin incluir sus vecinos topolgicos, se habla de redes de Cuantizacin del Vector de Aprendizaje,
que constituyen un caso particular de los Mapas Autoorganizados.
Los Mapas autoorganizados se han usado para generar mapas semnticos, realizar procesos de
"clustering", particionar grafos, etc. Las redes de Cuatizacin del Vector de Aprendizaje se
31

utilizan exclusivamente en procesos de "clustering" y compresin de imgenes,dado que no
conservan la tipologa de las entradas.
El tipo de esquema de aprendizaje utilizado en el cual los elementos de procesado
compiten entre ellos para ganarse la actualizacin se denomina aprendizaje
competitivo.
5.2.5 No supervisados Competitivos

5.2.5.1 Redes basadas en la teora de la resonancia adaptativa
En los esquemas de aprendizaje competitivo no existe garanta explicita sobre la
estabilidad de los grupos de patrones de entrada durante el proceso de decrecimiento
del factor de aprendizaje en las sucesivas iteraciones. Las redes basadas en la teora
de la resonancia adaptativa vienen a solucionar este problema.
En este tipo de redes, los vectores de pesos del elemento de procesado seleccionado como
ganador slo se actualizan con los patrones de entrada se "resuenan" con estos, es decir, si son
"suficiente similares". Si no son "suficientemente similares" se genera un nuevo elemento de
procesado cuyos pesos son precisanmente los del patrn de entrada utilizado. Evidentemente se
hace necesario definir el concepto de "suficiente similaridad" que usualemente involucra un
parametro de vigilancioa que lo controla.
32
6 Aplicaciones
6.1 Redes vs. Metodos clsicos
En muchas areas donde existen problemas de prediccin, clasificacin, etc, existen soluciones
que no estan basadas en redes neuronales pero que dan buenos resultados, o como mnimo
mejores que el no hacer nada.
Frente a este tipo de problemas, donde ya existe dicha solucin clsica, las redes pueden
aportar su alta no linealidad y su gran facilidad en aportar datos adicionales, tanto numricos,
como borrosos y/o subjetivos, que en tcnicas convencionales o medelos clsicos no son
tenidos en consideracin. Por lo tanto, se llega a la conclusin que la utilizacin de redes
neuronales aporta soluciones ms eficientes y seguras que las convencionales. El nico dilema
existente frente a este tipo de problemas con una solucin clsica, es la eleccin entre dos
modos distintos de utilizar las redes, es decir la utilizacin tipo a) o la tipo b).
Tipo a) Se basa en construir un red donde ya este incorporado el modelo clsico,aadir las
nuevas variables que consideremos de inters y efectuar el aprendizaje de la red de tal modo que
esta solo tenga que mejorar el resultado clsico con respecto al resultado deseado. De este modo
nos aseguramos que el resultado de la red siepre sea mejor que el resultado clsico. Solo ser
igual a la resultado clsico, en el caso que las variables adicionales no aporten nada nuevo y no
se necesario no utilizar la no linealidad de la red, dos condiciones que difcilmente se cumplen
simultneamente.
Tipo b) Se basa en construir una red sin incorporar el el modelo clsico pero aadiendo todas
las variables adicionales que sean de inters. Esto no garantiza qu el resultado sea superior al
clsico pero la experiencia acumulada hasta el momento demuestra que siempre es superior
debido a que se utiliza la no linealidad de la red y/o las nuevas variables. Si en algn problema
esto no fuera cierto, siempre podemos recurrir a la incorporacin del modelo clsico en la red
(tipo a).
6.2 Campos de aplicacin

Las ANNs han sido aplicadas a un creciente numero de problemas con una complejidad
considerable, como puede ser el reconocimiento de patrones, clasificacin de datos,
predicciones, etc.. Su ventaja ms importante est en solucionar problemas que son demasiado
complejos pata las tcnicas convencionales, como se ha explicado en el punto 3.1.
Las aplicaciones de las ANNs abarcan diversas actividades de muy diferentes campos. Estos
son:
Finanzas
Prediccin de ndices
Deteccin de fraudes
Riesgo crediticio, clasificacin
Prediccin de la rentabilidad de acciones
33
Negocios
Marketing
Venta cruzada
Campanas de venta
Tratamientos de texto y proceso de formas
Reconocimiento de caracteres impresos mecnicamente.
Reconocimiento de grficos
Reconocimiento de caracteres escritos a mano.
Reconocimiento de escritura manual cursiva.
Alimentacin
Anlisis de olor i aroma
Perfilamiento de clientes en funcin de la compra
Desarrollo de productos
Control de calidad
Energa
Prediccin del consumo elctrico
Distribucin recursos hidrulicos para la produccin elctrica
Prediccin consumo de gas ciudad
Industria manufacturera
Control de procesos
Control de calidad
Control de robots
Medicina y salud
Ayuda al diagnstico
Anlisis de imgenes
Desarrollo de medicamentos
Distribucin de recursos
Ciencia e Ingeniera
Anlisis de datos i clasificacin
Ingeniera Qumica
Ingeniera Elctrica
Climatologa
Transportes i comunicaciones
Optimizacin de rutas
Optimizacin en la distribucin de recursos
34
6.3 Aplicaciones
6.3.1 Ejemplo de consumo elctrico
AERN
CONSUMO ELECTRICO
Tipo de red. Objetivo

Clasificacin y Ayuda al proceso de toma de decisiones en la
prediccin.
demanda energtica.
Problema
Determinar la cantidad de electricidad
que se consumir maana durante
cada hora del da en funcin del tipo
de da.
DATOS CONSUMO ELECTRICO.

1.-DATOS ORIGINALES
Se han recopilado datos de varios aos de los que puede verse una breve muestra a continuacin en
"ele.raw". En este fichero encontramos la fecha, el da de la semana (1=lunes, ....), y el consumo horario
durante las 24 horas.
2.-DATOS INPUT DE LA RED.

Para el aprendizaje por parte de la red neuronal los datos originales se han procesado y se ha
creado el fichero "ele.dat", del que ofrecemos una muestra.
VARIABLES.
Variables elegidas para este estudio:
Parametrizacin en nicamente dos variables
de: 1-24) Perfil normalizado del consumo
horario durante todo el dia.
Esta parametrizacin es hallada
automaticamente por la red.
Variable a PREDECIR:
1) Consumo total.
2-25) Perfil normalizado del consumo horario
durante todo el da.
La red debe buscar la mejor parametrizacin
(ejemplo de clasificacin), para poder utilizarla
posteriormente como prediccin (ejemplo de
prediccin)
35
RESULTADOS.
Los resultados se encuentran en el

fichero "ele.tes". Las columnas 1 y 2
contienen la parametrizacin que ha
encontrado la red.
En la grafica adjunta podemos ver
esta parametrizacion obtenida por la
red. Los lunes se situan
automaticamente en la parte superior
derecha, los domingos en la inferior
izquierda, y el resto entre ellos.
Esta parametrizacion es la utilizada
para efectuar la prediccion del
consumo horario
36
6.3.2 Ejemplo de una targeta de crdito

AERN
TARJETA DE CREDITO
Tipo de red. Objetivo

Problema
Clasificacin. Ayuda al proceso de toma de
Determinar la aprobacin o no de una tarjeta
decisin en la concesin de crditos . de crdito a un cliente de un banco.
DATOS.
1.-DATOS ORIGINALES. Muestra del fichero de datos originales.

Los datos originales se han recopilado en un nuevo fichero. Cada fila representa un ejemplo para
aprender. Las variables alfanumricas se han convertido a numricas incrementando el numero
total de variables para entrenar la red a 51.
La red debe "aprender" a predecir la ltima columna del fichero "card.dat" en funcin de todas las
columnas anteriores.
VARIABLES.
Por razones de confidencialidad no se da una descripcin de 1) una variable binaria: 1 si se le
las variables utilizadas.
tiene que dar la tarjeta, 0 en caso
1-15) las 15 que el banco ha considerado relevantes. (Entre contrario.
ellas hay tanto variables numricas como alfanumricas).
RESULTADOS.
Despus de ejecutar la red los resultados se encuentran en el fichero "card.tes". A partir de
este fichero podemos construir la matriz de confusion y valorar los resultados.
Observar que los elementos de la diagonal de dicha matriz son muy superiores a los de fuera de la
diagonal, demostranto la cualidad de la clasificacion.
37
38
6.3.3 Ejemplo de consumo de gas

AERN
Tipo de red.
Prediccin.
GAS
Objetivo
Ayuda al proceso de toma de decisiones
en las previsiones de demanda de
energa.
Problema
Determinar la cantidad de gas que se
consumir maana en una ciudad, en
funcin del histrico de los ltimos das
y de las previsines meteorolgicas.
DATOS.
1.-DATOS ORIGINALES
Se han recopilado datos de consumo y variables climatolgicas de varios aos.

La red utiliza directamente como entrada el fichero de datos originales, y el tratamiento necesario de
los mismos se hace dentro del programa.
MODELO CLASICO DE PREDICCION:
El estudio de la importancia de las variables demuestra que la temperatura es la que mas
influye en el consumo. Por ello se ha construido un modelo lineal para hacer previsiones,
que luego podr compararse con los resultados de la red.
En esta grafica podemos observar la

correlacion
existente
entre
la
temperatura y el consumo. El modelo
lineal de prediccon viene descrito por
la linea roja
39
La previsin del modelo lineal se ha

comparado con nuevos datos. El
promedio del valor absoluto del error
cometido es de un 20 %
VARIABLES.
Histrico del Consumo total
Consumo total de maana.
Previsin de consumo industrial para maana y
su histrico
Temperatura y direccin del viento previstas
para maana y su histrico
RESULTADOS.
Despus de ejecutar la red y aplicarla sobre nuevos datos, los resultados se encuentran en el
fichero "gas.tes". La primera columna es la previsin y la segunda la realidad. Como puede
observarse el promedio del valor absoluto del error cometido es solo del 8%, frente al 20% del
modelo lineal.
40
41
6.3.4 Ejemplo financiero

AERN
Tipo de red.
Prediccin.
BOLSA
Objetivo
Problema
Ayuda al proceso de toma de decisionesDeterminar la rentabilidad de las
en inversin financiera.
acciones de una empresa estudiando
ciertos factores que influyen en el
comportamiento del ndice burstil de
los mercados de capitales.
DATOS.
1.-DATOS ORIGINALES Se han recopilado datos trimestrales de diversas empresas desde enero
de 1988 hasta abril de 1992. Una muestra del fichero original puede verse a continuacin.

Los datos originales se han tratado y recopilado en el fichero "fuzzy.dat", una muestra del cual
puede verse a continuacin. Cada fila representa el resultado de una empresa, donde se
mezclan tanto variables lingusticas como numricas. La red debe "aprender" a predecir la ultima
columna del fichero "fuzzy.dat" (rentabilidad normalizada) en funcin de todas las columnas
anteriores.
VARIABLES.
Lingusticas:
Numricas:
1) PG: Poltica general
5) PER: ultima cotizacin dividida
2) PE: Poltica econmica
rentabilidad del capital
3) CBMC: clima burstil en los medios de 6) C/CV: cotizacin sobre valor contable
entre
42
comunicacin
4) IB: ndice burstil
7) IPC: ndice de precios al consumo

8) TI: tasa de inters
9) P-O: Pay-out
1) R: Rentabilidad = dividendo ntegro + valor
medio derechos + diferencia de cotizacin /
cotizacin
anterior.
En la graficas adjuntas podemos ver la relacion

no lineal que se observa en los datos entre la
Rentabilidad (R) y
1) la ultima cotizacion dividida entre rentabilidad
del capital (PER)
2) la cotizacion sobre el valor contable (C/CV)
3) el Pay-out
RESULTADOS.
Despus de ejecutar la red, los resultados se

encuentran en el fichero "fuzzy.tes". Para
comprobar la "bondad" de la red deberemos
estudiar la correlacin entre la primera columna
de este fichero (rentabilidad real) con la
segunda (rentabilidad que predice la red). Esta
correlacin puede verse en el grfico adjunto.
(Nota: ambas cantidades se han normalizado).
43
6.3.5 Ejemplo de decisiones de actuacin en el mercado

AERN
Tipo de red.
Prediccin.
FUTUROS FINANCIEROS
Objetivo
Problema
Ayuda al proceso de toma de decisionesDeterminar la evolucin del precio de
de actuacin en el mercado de futuros un contrato de futuro en el da de hoy
sobre el bono nocional espaol.
en funcin de su histrico y su
comportamiento durante el dia de hoy
antes de efectuar la prediccion.
DATOS.
1.-DATOS ORIGINALES
Se han utilizado todas las transacciones de compra/venta de un determinado contrato desde
Enero de 1993 hasta Marzo de 1996. En este cuadro tenemos una muestra.

Los datos originales se han recopilado y agrupado cada media hora.
VARIABLES.
Signo de la diferencia entre el precio a la hora
Volumen negociado.
Evolucin del precio durante el da de de la prediccin y el actual.
hoy, antes de efectuar la prediccin.
Volatilidad observada.
Precios promedio, en das anteriores, a
las primeras horas de la maana y a la
hora de la prediccin.
44
RESULTADOS.
Despus del aprendizaje de la red, esta

es probada con ejemplos que nunca ha
visto.
Los
resultados
pueden
observarse en el fichero meff.tes, y se
sumarizan en la grafica adjunta. En ella
podemos observar beneficios anuales
proximos al 500% .
45
6.4 Pluviometria
SISTEMA EXPERTO BASADO EN REDES NEURONALES APLICADO A LA
PREDICCIN A CORTO PLAZO DE LA INTENSIDAD DE LLUVIA Y DE LOS
NIVELES EN LA RED DE ALCANTARILLADO
6.4.1 Introduccin
Desde hace unos aos, las nuevas tcnicas de gestin de las redes de servicios estn
siendo adoptadas tambin en la gestin de las redes de alcantarillado. La concepcin
de las redes de alcantarillado como unas redes estticas que evacuan aguas pluviales
y residuales nicamente por gravedad o con algn bombeo de ayuda esta quedando
atrs.
Las nuevas tcnicas permiten ir mucho ms all en la tarea de evacuacin efectiva de
las aguas recogidas en las reas urbanas, permitiendo conseguir ms ambiciosos
objetivos de reduccin de inundaciones, reduccin de impactos al medio ambiente de
las aguas descargadas por el sistema de saneamiento, informacin al ciudadano o
costes de las obras de infraestructura.
Estas tcnicas basadas principalmente en integracin de tecnologas ya existentes
requieren una infraestructura base: los actuadores de la red. Es decir, la colocacin de
compuertas, vlvulas, bombas, depsitos de retencin, etc., en la red de alcantarillado.
Pero para saber como actuar sobre ella, hay que contar con toda una serie de
medidores que permitan establecer las acciones adecuadas. As pues, hay que contar
con pluvimetros, limnmetros, caudalmetros, medidores de la calidad del agua, etc.
Las tecnologas informticas de computacin y comunicaciones permitirn construir
con todo ello un sistema de telecontrol. Con l, y con los criterios de actuacin
respaldados por los modelos hidrolgicos de simulacin del comportamiento de la red
ante cualquier situacin, podremos hacer una nueva y efectiva gestin del
alcantarillado.
La anticipacin a los acontecimientos nos permitir mejores actuaciones. En concreto,
el disponer de predicciones de lluvia o nivel de agua en el colector a corto plazo
permitir decidir cual es la mejor operacin de la red posible.
CLABSA, empresa que gestiona tcnicamente el alcantarillado de la ciudad de
Barcelona, ha adoptado este enfoque de explotacin de la red de alcantarillado.
6.4.2 Gestion del alcantarillado i pluviometria

Se espera del sistema de
alcantarillado que sea capaz de
recoger y evacuar toda el agua
cada en un episodio lluvioso. Por
tanto el conocimiento de la
pluviometra aparte de intervenir
en las etapas de diseo de la red,
es importante en la operacin de
46

la misma en los trminos mencionados en el apartado anterior, es decir en su
explotacin activa.
Har falta cuantificar la pluviometra de la zona, discernir si podemos distinguir
distintos tipos de lluvia por lo que se refiere a su impacto sobre el alcantarillado,
monitorizar los episodios lluviosos cuando se producen y intentar predecir su evolucin
a corto plazo en funcin de lo que ha pasado hasta el momento.
Hay pues que estudiar bien la historia pluviomtrica de que se disponga. Para las
tareas de monitorizacin y previsin es necesario disponer de pluvimetros que
suministren en tiempo real los volmenes e intensidades de lluvia al centro de control.
6.4.3 Objetivo: La prediccin a corto plazo

El objetivo que nos ocupa es el de intentar predecir los niveles de agua en los
colectors de la red a corto plazo, es decir, durante la prxima media hora.
Hemos abordado el problema con una herramienta, las redes neuronales, que
abstraen un modelo del funcionamiento de un sistema slo con presentarle una
determinada coleccin de entradas y salidas del mismo.
Con este tipo de modelos, que no estn basados en las leyes fsicas que rigen el
sistema, podemos plantearnos directamente la prediccin del nivel en un punto de la
red, dndole como entrada la evolucin del episodio lluvioso en curso. No obstante
hemos preferido, en primer lugar, abordar la prediccin de la lluvia a media hora vista
en funcin de la media hora de lluvia anterior. El motivo de tal eleccin es que ya
disponemos de modelos matemticos de escorrenta del agua por la superficie y de
transporte dentro de la red que pueden facilitarnos los niveles y caudales requeridos si
le suministramos como entrada la prediccin de la lluvia.
Se trata pues de imaginar una variable pluviomtrica que indique la evolucin de la
lluvia como una serie temporal y utilizar una red neuronal para predecir los prximos
valores de la variable en funcin de los ltimos valores disponibles.
Posteriormente hemos aplicado la misma operativa para obtener predicciones del nivel
de agua en un punto de la red en funcin de la media hora de lluvia anterior.
6.4.4 Las ANNs: Una herramienta de prediccin

El modelo "neuronal" de cmputo se puede definir como un sistema de proceso de
informacin no algortmico, no digital e intensamente paralelo. Las neuronas estn
interconectadas mediante un gran nmero de enlaces balanceados por "pesos", que
actan como "filtros graduables" de las seales de entrada para una neurona
determinada. Las conexiones y los pesos pueden ser excitatorias o tambin
inhibitorias.
Las neuronas reciben seales de entrada, que pueden ser tanto externas "INPUTS"
como internas (seales que provienen de salidas de otras neuronas). Estas se
propagan hacia las siguientes neuronas conectadas, "OUTPUTS" o seales de
"ACTIVACIN" .
En cualquier aplicacin "neuronal" existen tres fases diferenciadas: aprendizaje, test y
operacin. El proceso de aprendizaje de una red neuronal consiste simplemente en
determinar la mejor coleccin de pesos de todas las conexiones entre neuronas que
existen en la red, para conseguir una respuesta ptima al problema, modelizacin o
proceso planteado. El test nos indicar el grado de bondad de las respuestas y puede
47

originar el replanteamiento de la fase de aprendizaje. La fase de operacin consiste en
la explotacin del conocimiento adquirido durante el aprendizaje.
Podemos utilitzar las redes neuronales para diagnosticar problemas, tomar decisiones,
predecir nuevos eventos o para problemas de clasificacin.
6.4.5 Preparacin de los datos de lluvia

Antes de afrontar la modelizacin de cualquier sistema con redes neuronales hay que
asegurarse de tener una buena cantidad de datos, tanto entradas como salidas del
sistema, para poder ensear a la red a funcionar como el sistema original. No
sabremos si son suficientes o no hasta que veamos los errores de aprendizaje, pero
desde luego son necesarias tanto la cantidad como la calidad de datos.
Barcelona dispone en la actualidad y a travs de CLABSA de una red de 20
pluvimetros en su rea urbana (9.800 Ha). Algunos estn ya operativos desde 1.993
e integrados en su sistema de explotacin centralizada. Se han extrado para el
estudio 625 episodios de lluvia de los cuales se disponen registros en varios puntos de
la ciudad.
Se ha considerado un episodio lluvioso el periodo precedido y seguido de 30 minutos
sin lluvia. Estos episodios se ha discretizado en periodos de 5 minutos. La variable
pluviomtrica usada en el estudio ha sido la precipitacin 5-minutal en mm.
De todos los registros disponibles se han eliminado los que no superan los 20 l/m2
durante el episodio a efectos de no condicionar el aprendizaje de la red neuronal con
patrones de evolucin de lluvias menores, que son poco problemticas y poco
importantes de predecir.
Adems se ha hecho una preclasificacin de las lluvias en tres tipos segn la dificultad
de su evacuacin. De forma muy sinttica :
Tipo A: intensidad mxima es elevada y se llega a ella de forma brusca (durante
unos 10')
Tipo B: intensidad mxima algo menor (durante unos 20-25')
Tipo C: intensidad mxima menor llegndose a ella de forma ms lenta y
continuada
Las lluvias Tipo A son las ms usuales y a su vez problemticas en la meteorologa
mediterrnea que afecta a Barcelona. Son de origen convectivo y tambin son las
menos predecibles por su variabilidad y brusquedad. Las lluvias Tipo B son muy poco
frecuentes y no se disponen suficientes registros para poder construir un modelo con
redes neuronales. Tampoco se dispone de gran cantidad de lluvias Tipo C, pero
suficientes como para intentar modelarlas.
6.4.6 Construccin de un Modelo de Prediccin

Se ha utilizado NeuroShell, software propio de redes neuronales, el cual nos ha
facilitado el proceso de implementacin y el mtodo con el cual se ha trabajado.
Se ha utilizado para la construccin de la red el mtodo "BACKPROPAGATIONSUPERVISED
LEARNING",
ya
que
hace backtracking hacia
la entrada una vez tiene
los datos a la salida.
48

En su inicio, no se tuvieron en cuenta los diferentes tipos de lluvia que podan
producirse, desarrollando as un nico modelo para todos los casos. El proceso de test
demostr que previamente tendramos que hacer una clasificacin por tipos de lluvia.
Imagen 6.1 Mtodo de aprendizaje y clasificacin
La salida del proceso de clasificacin nos dar el tipo de red, con el cual cargaremos
un modelo
u otro, el cual habr pasado previamente el proceso de aprendizaje.
En la prediccin de precipitacin 5-minutal, la
seleccin del modelo a implementar fue
siguiendo la manera standard de crear una red
neuronal. Se cre un SLAB de entrada externa
de seis neuronas, en el que se introducen los
datos de la lluvia de la ltima media hora, un
SLAB de entrada interno de seis neuronas (que
mantiene los datos de la ltima media hora
anterior), un SLAB intermedio que sirve para la
propagacin de las entradas, y un SLAB de
salida de seis neuronas que nos dar los datos
en periodos 5-minutales de la prediccin de los
prximos 30 minutos.
Imagen 6.2 SLAB
En el proceso de aprendizaje se hicieron iteraciones de hasta 1500 pocas, pudiendo

as obtener unos pesos con un error en la salida que en la mayora de los casos no
superaba el 10% del valor de la entrada.
La prediccin de niveles de agua en el colector a travs de redes neuronales exigi un
tratamiento previo de los datos de entrada, tanto para la fase de aprendizaje como
para el test. Consisti en sustraer, al nivel de agua que efectivamente se midi en
cada periodo del episodio lluvioso, el nivel de agua medido en tiempo seco, es decir el
nivel debido a las aguas residuales.
Obviamente, para intentar esta prediccin hay que
contar con informacin sncrona de lluvia y nivel que
ser obtenida por pluvimetros y limnmetros
ubicados en la misma cuenca hidrolgica.
La red seleccionada para tal prediccin ha sido una
red no recurrente de cuatro niveles: 6-12-6-4.
Las colecciones de datos de los que se ha dispuesto
para el proceso de aprendizaje no han sido muy
numerosas, tan solo 7 episodios; y 3 para la fase de
test.
Imagen 6.3 Red no recurrente
49
6.4.7 Resultados
Antes de poder dar unos resultados aceptables, se implementaron distintos tipos de
redes con errores que superaban el error estipulado como mximo.
En la ltima implementacin con una estructura ms estable, pudimos ver que las
grficas reales y las estimadas empezaban a parecerse, con un error en las
aproximaciones que no superaba como se ha mencionado anteriormente al 10%.
Imagen 6.4 Grafica A
Imagen 6.5 Grafica B
Esta grfica es un ejemplo de lluvia de Tipo A, con entrada real (trazo fino) y salida
estimada (trazo punteado). Apreciamos como se ajustan las curvas en los picos, ya
que la red ha sido entrenada para detectar puntas, y por contra la lluvia menos intensa
no la reconoce.
En cambio, en la grfica de Tipo C, se observa que la prediccin es mejor donde no
hay picos, ya que los pesos utilizados se han calculado para lluvias suaves.
La prediccin con red neuronal de niveles de agua en el colector debidos a la

pluviometra permite obtener resultados como los que se presentan en la figura
siguiente.
El concepto de tiempo de concentracin del agua de lluvia desde su cada hasta su
llegada al punto de medida dentro del colector , es uno de los factores que es
aprendido por la red facilitndole la prediccin.
6.4.8 Nuevos Objetivos

Despus de abordar esta primera etapa de prediccin de lluvia a muy corto plazo
mediante el uso de las redes neuronales, es interesante abordar nuevos intentos de
50

prediccin siempre teniendo en cuenta la calidad y cantidad de informacin
pluviomtrica disponible.
Las lneas de trabajo que identificamos de ms utilidad son:

Prediccin pluviomtrica en la ubicacin de un pluvimetro accidentalmente fuera de
servicio: Aprovechando la dispersin espacial de los 20 pluvimetros en una rea
reducida como la ciudad de Barcelona.
Mejorar la prediccin del nivel del agua en un punto de la red de alcantarillado a
medida de que dispongamos de mas amplias colecciones de datos para el aprendizaje
o entrenamiento de la red.
Prediccin de la evolucin de un episodio lluvioso sobre la imagen del radar
meteorolgico: Mediante la extrapolacin de las ultimas imgenes recibidas.
En todas ellas hay un fondo comn y es que la coleccin sincronizada, sistemtica y
exhaustiva de los datos proporcionados por todos los sensores que realiza un sistema
de telecontrol es bsica para poder disponer de historia suficiente para asegurar un
buen aprendizaje de las redes neuronales.
No hay que olvidar que el objetivo real de todo es la ayuda efectiva a la explotacin del
alcantarillado, por tanto la fase posterior al estudio de fiabilidad es la de montar un
sistema de previsin de variables concretas realmente operativo y tan automatizado
como sea posible.
6.4.9 Conclusiones
En una primera aproximacin, es difcil abordar la prediccin de lluvia a corto plazo en funcin
de la lluvia cada hasta el momento, con una red neuronal. No basta con un modelo tan sencillo.
Es necesaria una preclasificacin de la lluvia para obtener resultados aceptables. Esta
preclasificacin puede hacerse con eficacia usando tambin redes neuronales. As pues, un
modelo basado en varias redes neuronales, no solo en una, s es vlido para la prediccin.
Los diferentes objetivos de prediccin aconsejan claramente usar , despus de
suficientes ensayos, una topologa de red u otra. No hay reglas de oro en que
podamos basarnos a priori, como menciona ampliamente la bibliografa, para discernir
que tipo de red resultar mejor. En el presente estudio, por ejemplo, las redes
recurrentes se han adaptado mejor a la prediccin de lluvia y las no recurrentes a la
prediccin de nivel.
Es interesante observar como los hietogramas de lluvia se traducen en hidrogramas
de caudal o nivel en un punto del alcantarillado. Hay un efecto suavizador de las
puntas de lluvia y un efecto de desfase temporal bastante claros. Esto favorece la
prediccin y hace que la prediccin directa de niveles en funcin de la lluvia reciente
sea mucho ms cmoda que la prediccin de la propia lluvia a corto plazo.
Las redes neuronales nos proporcionan flexibilidad en la modelizacin del sistema de
prediccin, simplicidad y eficiencia predictiva. En definitiva, si contamos con una buena
base de datos histrica con la que abordar las fases de aprendizaje y test, es
aconsejable usar modelos basados en redes neuronales para predicciones a corto
plazo. Sern de mucha ayuda para la explotacin del alcantarillado en tiempo real.
51
7 La Tecnologa en las ANNs

7.1 Simuladores Software
Si bien hemos hablado del procesamiento paralelo como una cualidad de las redes neuronales
artificiales; en la prctica se suele trabajar con monoprocesadores, en ese caso no existe
paralelismo real, pero como en la mayora de las redes simuladas no se consideran conexiones
intracapa, se puede procesar secuencialmente haciendo los clculos para una capa, luego la
siguiente, etc.
Lo ms interesante es que la propia estructura y modo de operar de las redes neuronales
artificiales las hace especialmente interesantes y fciles de implementar implementarlas sobre
multiprocesadores, algo que puede resultar bastante ms complicado cuando se trata de adaptar
algoritmos tradicionales sobre dichas mquinas.
Conociendo los fundamentos y los algoritmos de aprendizaje de las redes neuronales artificiales
y un poco de programacin, es fcil desarrollar programas especficos para simular una red
concreta en cualquier lenguaje de programacin.
Para uso general y profesional resultan muy tiles los paquetes con interfaces grficas
avanzadas.
Otra tendencia es el desarrollo de libreras para C++ o paquetes matemticos como MATLAB
MATHEMATICA; son recomendables con fines de investigacin o acadmicos por ser muy
flexibles para desarrollar o modificar algoritmos, son bastante potentes y no excesivamente
caros.
Un sistema de programacin de procesos paralelos especficamente desarrollado para simular
redes neuronales es P3 (Zipser, D.). Es un sistema modular que funciona slo sobre una
mquina Symbolics 3600 en LISP. Consta de 5 componentes, el computacional (unidades de
proceso elementales), un lenguaje de planificacin (establece las conexiones), un lenguaje de
mtodos (indica el comportamiento de las unidades de proceso), un constructor (transforma los
mtodos y el plan de conexiones en un programa ejecutable), y un entorno de simulacin, para
observar y verificar el funcionamiento de las redes.
Aceleradores Hardware
Son tarjetas que se conectan como perifricos y dan soporte hardware para emular unidades de
proceso elementales virtuales y sus interconexiones. Suelen incluir software especfico para su
programacin.
Consiguen gran aceleracin a pesar de compartir y multiplexar recursos, es decir, que no
ofrecen proceso paralelo real.
Mark III y Mark IV (Hecht-Nielsen, R.) pueden simular hasta 8.100 unidades de proceso y
417.000 conexiones. Son perifricos para mquinas VAX, logran aceleraciones cercanas a 30x.
NEP, Network Emulation Processor(Cruz-Young, C.). Tiene la ventaja de permitir la conexin
en cascada de varias emuladores para conseguir redes de gran tamao. Hasta 20 o 30
actualizaciones por segundo en una red grande. Conectable a un compatible PC.
ANZA y ANZA Plus (Hetch-Nielsen Neuro-Computing Corporation). La tarjeta ANZA combina
un procesador Motorola 60820 y un co-procesador de coma flotante (el 68881), consigue
computar 45.000 conexiones por segundo; ANZA plus llega hasta 1.500.000 de
conexiones
por segundo.el chip Delta-II Floating Point Processor (SAIC, Scientifics Applications
International Inc) . Usa tecnologa especial de coma flotante para conseguir tasas de
actualizacin de hasta 11.000.000 millones de interconexiones por segundo. Adems permite la
conexin en cascada de varios mdulos. Incluye un amplio Software y herramientas de soporte:
52

ensamblador, compilador C, y un lenguaje especfico orientado a objetos para la especificacin
de RNA.
7.2 Chips de silicio

La propia naturaleza paralela de la computacin neuronal ha llevado al desarrollo de mquinas
especficas para su implementacin: el ideal sera disponer de un procesador elemental para
simular cada unidad de proceso y de conexiones fsicas independientes que implementaran las
conexiones ponderadas tambin por Harware; esto dara lugar a simuladores extremadamente
rpidos.
Si bien el nmero de elementos de una red puede hacernos pensar que este ideal esta muy
alejado de la tecnologa actual, lo sencillo de cada unidad de proceso y de cada conexin es un
punto a favor.
ENN, Electronic Neural Network (AT&T): contiene 256 neuro-transistores y ms de 100.000
sinapto-resistores. El problema es que las conexiones quedan fijadas durante la construccin,
luego el aprendizaje de la red debe realizarse previamente con una mquina convencional. Se
est trabajando para conseguir conexiones modificables. Se est usando para comprimir imgen
de video y transportarlo sobre lnea telefnica en tiempo real.
Otros chips en desarrollo: Silicon Retina y Silicon Ear (Mead, C.), como sus nombres indican
est pensados para simular procesos de visin y odo respectivamente.
7.3 Procesadores pticos

La tecnologa ptica es muy interesante porque ofrece unas caractersticas muy
deseables para la computacin neuronal: Los procesadores pticos se componen de
muchos procesadores elementales y modo de operacin inherente paralelo.
La tecnologa ptica ofrece las siguientes ventajas:
El uso de la luz permite tener muchos canales muy juntos uno de otro sin producir
interferencias, como sucede con los cables elctricos.
Permite conexiones mucho ms pequeas que con los cables elctricos, con una densidad 4
veces mayor.
Un rayo de luz puede atravesar a otro sin producir interferencias.
Actualmente se trabaja en varias reas dentro del procesamiento ptico (spatial light
modulators, integrated opto-electronics, non-linear optical switches, phase-conjugate
resonators).
53
8 Introduccin al Simulador NeuralGraphics

Ejemplo de software sobre simulaciones de redes neuronales.
En este apartado explicamos el funcionamiento del simulador de redes
(NeuralGraphics) Este simulador lo hemos conseguido despus de una busqueda
intensiva por internet. Seguidamente pasamos a explicar su funcionamiento.
Cuando ejecutamos el programa aparece un men general como se puede ver en la
Imagen 9.1.
Imagen 9.1
En dicho men, se puede observar, podemos elegir entre:
-
Metdos de aprendizaje:
Backpropagation
Backpropagation with maps of memory
Hybrid Network
Radial Basis
Kohonen Classifier
Conjugate Gradient
Hopfield Ass Memory
Kohonen Demo
Trav Salesman Demo
Tutorial: Es una ayuda general del programa.

Licencia.
Exit.
54
Cuando seleccionamos cualquier mtodo de aprendizaje, de los citados anteriormente,

entramos en un men de similares caractersticas para:
Backpropagation
Backpropagation with maps of memory
Hybrid Network
Radial Basis
Kohonen Classifier
Conjugate Gradient
Dicho men se muestra en la imagen 9.2.
Imagen 9.2
Una vez dentro, nos pide que introduzcamos los siguientes datos:
1- Data Directory
Aqu introducimos el nombre del directorio donde se encuentran los ficheros de
datos.
2- Data File
Aqu introducimos el nombre del archivo que queremos. Los cuales se pueden
visualizar en la ventana adjunta.
3- Noise
Aqu introducimos el ruido que queremos.
4- Normalize
Aqu podemos escoger entre:
Ninguno
Energy
Stadistical
Una vez introducidos todos estos datos, nos aparece otra ventana en la que
introducimos datos topolgicos de la red (imagen 9.3). Estos son:
55
Imagen 9.3
1- Number of layers: Introducimos nmero de capas
2- Hidden Nodes: Nmero de nodos ocultos.
3- Weight File: Introducimos el archivo donde se encuentran el valor de los pesos.
Tambin tenemos la opcin de ponerlos aleatoriamente random.
Una vez introducidos todos estos datos, comienza la simulacin de la red. La que
podemos visualizar graficamente. Aqu tenemos un ejemplo de perceptron (imagen
9.4) con los siguientes datos:
-
Data Directory: Data

Data File: xor.dat
Noise: 0
Normalize: None
Number of Layers: 2
Hidden Nodes: 5
Weight file: r
Imagen 9.4
Durante la ejecucin de la simulacin podemos acceder unos iconos que estan
situados en la parte superior de la pantalla. Y estos son:
-
Test: Al que accedemos con la tecla T y en el que podemos modificar el peso de

los nodos.
56
Learning On/Off: Al que accedemos con la tecla L y con la que seleccionamos que
la red est aprendiendo o no.
Save: Al que accedemos con la tecla S. Sirve para grabar la simulacin.
Read: Al que accedemos con la tecla R. Sirve para cargar una simulacin.
Parameters: Al que accedemos con la letra P. Sirve para modificar, durante la

simulacin, ciertos parmetros como:
Learning rate
Momentum
Display energy
Hardness
Noise
Help: Ayuda sobre la ejecucin del programa.
Otros ejemplos diferentes son:

-
Kohonen Classifier.
En este ejemplo los pasos a seguir son los mismos que en el ejemplo anterior.
Pero el mtodo es diferente (imagen 9.5).
Imagen 9.5
Hopfield.
57
Imagen 9.6
El programa tambin incluye las siguientes demos:
1- Tray Salesman Demo.
Aqu introducimos los siguientes datos:
Data Directory
Data File
Imagen 9.7
2- Kohonen Demo.
Una vez dentro de la demo, al igual que en los otros simuladores, debemos introducir
los siguientes parmetros:
-
Funcin de densidad:
Elegir entre: cuadrado, triangulo y cruz
Dimensin de trabajode la Red:

Seleccionamos unas dimensiones preestablecidas de la red.
Funciones de probabilidad:
Que utiliza el programa en los ejes x e y.
58

Seguidamente mostramos las diferencias que se observan en estos 3 ejemplos:
Para los 3 ejemplos utilizamos la funcin de densidad cruz y dimensin de trabajo de
la red 10x10. Las diferencias las observamos modificando las funciones de
probabilidad.
1- Funcion Probabilidad:
Random
Random
Imagen 9.8
2Funcin probabilidad: Gausiana
Gausiana
Imagen 9.9
59
3Funcin probabilidad: Chi Squared Chi Squared
Imagen 9.10
Conclusiones.
Cuando utilizamos una funcin de probabilidad Random podemos observar que es la
que se aproxima ms a la figura real, pero se sale de los lmites. Si utilizamos
Gausiana, no se sale de los lmites, pero no se aproxima tanto como la Random. Y
finalmente, con la Chi Squared observamos que es la peor opcin de todas, ya que es
la que menos se aproxima a la figura real.
60
9. Conclusiones
61
El mundo tiene mucho que ganar con las redes neuronales, ya que las personas que
las utilizan ahora y las utilizarn en el futuro son aquellas que tienen que trabajar o
analizar datos de cualquier tipo. Gente de industria, finanzas, negocios, educacin y
ciencia cuyos problemas son complejos, laboriosos, confusos o simplemente sin
solucin con los mtodos actuales. Gente que quiere mejores soluciones y esperan
ganar un lugar estratgico.
Su habilidad para aprender mediante ejemplos las hace muy flexibles y poderosas. Adems no
es necesario crear un algoritmo para llevar a cabo una tarea especifica, esto es, no hay necesidad
de entender el mecanismo interno de la tarea. Ellas estn bien adaptadas para los sistemas de
tiempo real debido a su capacidad de respuesta rpida, la cual se debe a su arquitectura paralela.
Las Redes neuronales, con su notable habilidad para deducir significados de datos complicados
o imprecisos pueden ser usadas para extraer patrones y detectar tendencias que son demasiado
complejas para ser comprendidas por los humanos u otras tcnicas computacionales. Una red
neuronal capacitada puede ser concebida como algo que algn da le podremos realizar
preguntas como "que pasara si...".
Quizs el aspecto ms excitante de las redes neuronales es la posibilidad de dotar a estas de
conciencia. Existe un nmero de cientficos que argumentan que la concienciacin es una
propiedad mecnica y que la conciencia de las redes neuronales es una posibilidad real.
Finalmente, nos gustara afirmar que incluso las redes neuronales tienen un gran
potencial que slo obtendremos de ellas cuando las integremos al conjunto de la
Inteligencia artificial.
62
10 Bibliografa
Freeman, J.A., Skapura, D.M., "Neural Networks", Ed. Addison Wesley.
Caudill, M., Butler, Ch., "Understanding Neural Networks", MIT Press.
Widrow, J., Rumelhart, D.E., Lehr, M.A., "Neural networks: Applications in industry,
business and science", ACM communications, Vol-37, 1.994.
Hagan, Martin T, Neural Network Design, PWS Publishing Company,1996.
J.R. Hilera Gonzlez y V.J. Martnez Redes Neuronales Artificiales: Fundamentos,
modelos y aplicaciones, RA-MA, 1995.
Varios, Aprendizaje Automtico, Edicions UPC, Barcelona, CAT, 1994.
[HEBB49] D.O Hebb. The organization of Behaviour John Wiley & sons, New York,
1949.
[MINS69] M. Minsky & S. Papert, Perceptrons MIT Press, Cambridge, MA, 1969.
Webs Sites
http://www.geocities.com/SiliconValley/Campus/9756/RNA_index.htm
http://elgva1.usc.es/~antonio/rn/temas-rn.htm
http://www.gc.ssr.upm.es/inves/neural/ann2/anntutorial.html
http://boletin-fh.tid.es/bole19/art002.htm#biologico
http://www.dbai.tuwien.ac.at/marchives/
http://www.eupmt.es/cra/inform/info11.htm
http://mediapolis.es/tethys/num1/Clabsa_CAS.htm
http://www.ecm.ub.es/aern/rn0.htm
http://decsai.ugr.es/~castro/MCII/node20.html
http://www.aircenter.net
http://moon.inf.uji.es/%7Ejavi/historia/eniac.htm
63

Primer Informe Rna

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Primer Informe Rna

Încărcat de

Drepturi de autor:

Formate disponibile

Informe Redes Neuronales

MIGUEL ANGEL GARAY GALLARDO

Informe Redes Neuronales

1. Historia de las Redes Neuronales

3. Estructura de las Redes Neuronales Artificiales ...........................................

4. Tipos de Modelos de Redes Neuronales

5. Modelos de Redes Neuronales

Informe Redes Neuronales

7. La Tecnologa en las ANNs ..................................................................................

8. Introduccin al Simulador NeuralGraphics

Informe Redes Neuronales

1 Historia de las Redes Neuronales

Informe Redes Neuronales

Imagen 1.1 Sala del ENIAC

Walter Pitts y Warren McCulloch intentaron explicar en 1943 el funcionamiento del

Informe Redes Neuronales

Informe Redes Neuronales

2.1.1 Redes Neuronales de tipo Biolgico

Informe Redes Neuronales

Imagen 2.1 Neurona Biolgica

Imagen 2.2 Red de Neuronas

2.1.2 La Neurona Artificial

Informe Redes Neuronales

Imagen 2.3 Neurona Artificial

Imagen 2.4 Caracterizacin de un grupo de Neuronas

2.1.3 Conexiones Entre Neuronas

Informe Redes Neuronales

2.1.4 Regla de Aprendizaje.

2.1.5 Redes Neuronales para aplicaciones concretas

2.2 Fases en la aplicacin de Redes Neuronales

Informe Redes Neuronales

Informe Redes Neuronales

3 Estructura de las Redes Neuronales Artificiales

3.1 Estructuras de conexin

3.2 Tamao de las redes

Informe Redes Neuronales

Informe Redes Neuronales

Imagen 3.1 e Imagen 3.2 Redes Supervisadas i No Supervisadas

Informe Redes Neuronales

4 Tipos de modelos de Redes Neuronales

4.2 Aprendizaje supervisado.

4.2.1 Reglas de entrenamiento Supervisado.

Informe Redes Neuronales

wij( m 1) wij( m ) wij( m )

Se puede ver un diagrama esquemtico de un sistema de entrenamiento Supervisado

Imagen 4.1 Entrenamiento Supervisado

4.2.2 Aprendizaje supervisado basado en la Decisin.

donde es una tasa de entrenamiento positiva.

4.2.2.1 Regla de entrenamiento basada en la decisin.

Informe Redes Neuronales

Supongamos que S x (1) ,..., x ( M )

es un conjunto de patrones de entrenamiento,

En la regla de entrenamiento reforzado, el vector de pesos w se mueve a lo largo de la

Informe Redes Neuronales

Funcin de Base Elptica. La versin bsica de RBF de las DBNN (Redes

4.2.2.2 Estructura jerrquica DBNN.

Informe Redes Neuronales

En otras palabras, el aprendizaje antirreforzado se aplica al subclasificado que gana

Informe Redes Neuronales

4.2.3 Redes Neuronales de Aproximacin/Optimizacin.

En la fase de prueba, la clula que gana a la salida es la clula que da la mxima

4.3 Modelos No Supervisados

Informe Redes Neuronales

4.3.1 Reglas de entrenamiento No Supervisado.