Universidad Cat

olica de Temuco

Ingeniera Civil Informatica

Trabajo Recuperativo
Problema de Regresion
Felipe Leal
flleal2011@alu.uct.cl
29 de Junio de 2015

1.

Introducci
on

Las Redes Neuronales Artificiales son una herramienta informatica que se

han vuelto muy relevantes para generalizar a partir de una serie de datos. Pero
se requiere de una construcci
on sobre su estructura la cual esta intimamente
relacionada con las caractersticas de los datos a estudiar. A continuacion se
presenta un an
alisis obtenido a partir de una agrupacion de observaciones en un
archivo CSV.
Esto se construye a partir de la programacion en Python haciendo uso de la
librera PyBrain.

2.

Soluci
on

Se tiene un CSV con alrededor de 5400 observaciones, cuya estructura de

datos es como se muestra en la siguiente imagen:

Figura 1: Archivo dataset.csv

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Al ser leido en python los datos necesarios y configurados, se construye la

red neuronal.
Esta red neuronal estar
a estructurada particularmente por una red multicapa con backpropagation, pues es la red mas usada en muchas aplicaciones,
incluyendo la Predicci
on.
Para esto se contruye a partir de los datos, un vector asociado a los valores de entrada y uno en funcion de lo esperado. Ademas de definir seran un
70 % de los datos para entrenamiento y el 30 % restante para testeo. .

Figura 2: Codigo Python

Luego al momento de crear la red neuronal, ha de ser considerado la funcion
de activaci
on de la capa oculta y salida (f1 y f2 ), por el tipo de dato se ha
optado por tanh, creando las capas oculta y de salida con funcion de tangente
hiperbolica. Existe la posiblidad de configurarlas como sigmoide, pero al revisar
la predicci
on se puede apreciar que esta opcion no es la correcta:

Figura 3: Salida Consola

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Figura 4: Plot Datos

.
.

Figura 5: Plot R2
Al testear la configuraci
on lineal, el codigo no logra ni siquiera terminar el
entrenamiento.
Luego solo resta entrenar la red, bajo la funciones de activacion sigmoide,
para obtener una predicci
on y las metricas de rendimiento.

Universidad Cat
olica de Temuco

3.

Ingeniera Civil Informatica

An
alisis de los Resultados

Para an
alizar los resultados de las predicciones, se uso el calculo de la predicci
on en funci
on de 6 configuraciones:
1. 10 Neuronas de Entrada y 6 Neuronas en la Capa Oculta.
2. 50 Neuronas de Entrada y 25 Neuronas en la Capa Oculta.
3. 200 Neuronas de Entrada y 80 Neuronas en la Capa Oculta.
4. 1000 Neuronas de Entrada y 400 Neuronas en la Capa Oculta.
Donde se consideran las metricas de rendimiento, plot de prediccion de datos y
R2 y su tiempo de ejecuci
on

3.1.

10 Entrada; 6 Capa Oculta

Respecto de las metricas de rendimiento para esta configuracion se tiene:

FANN Metrics
MAE: 0.240270662572
MAPE: 0.205870659296
RMSE: 0.285418851769
NMSE: 1.07781372931
R-Square: 0.0512781244492
Time (s): 15.5661828518
Esta configuraci
on demora poco mas de 15 segundos en obtener una predicci
on a partir del entrenamiento, lo cual es bastante rapido. Cabe destacar que la
cantidad de observaciones es bastante reducida, lo que permite un aprendizaje
en tan poco tiempo. Esta prediccion se aprecia a continuacion en la figura[6] y
finalmente la metrica R2 : .

Figura 6: Plot Datos vs Prediccion 10-6

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Figura 7: Plot R2 10-6

3.2.

50 Entrada; 25 Capa Oculta

Respecto de las metricas de rendimiento para esta configuracion se tiene:

FANN Metrics
MAE: 0.139139962849
MAPE: 0.119643908527
RMSE: 0.172036689504
NMSE: 0.391088126691
R-Square: 0.737753757418
Time (s): 32.6625928879
Esta vez, el tiempo transcurrido es superio a 30 segundos, siendo mas eficiente que la configuraci
on anterior en relacion a la cantidad de neuronas en funcion
del tiempo que la configuraci
on anterior. Pues es mas del doble en neuronas
pero no m
as del doble en tiempo. La precision es notablemente mayor al visualizar los datos reales respecto de las predicciones. Esta prediccion se aprecia a
continuaci
on en la figura[8] y finalmente la metrica R2 en la figura[9]: .

Figura 8: Plot Datos vs Prediccion 50-25

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Figura 9: Plot R2 50-25

3.3.

200 Entrada; 80 Capa Oculta

Respecto de las metricas de rendimiento para esta configuracion se tiene:

FANN Metrics
MAE: 0.132771951985
MAPE: 0.108278475553
RMSE: 0.165831346111
NMSE: 0.363682333238
R-Square: 0.646363346716
Time (s): 20.6649198532
El tiempo de ejecucion es considerablemente menor en comparacion a la
configuraci
on [50-25], postulando esta configuracion como la mas eficiente de
los 3, esto genera dos interrogantes, Como sera su precision respecto de las anteriores? y adem
as, que ocurre al incrementar aun mas las neuronas?: .

Universidad Cat
olica de Temuco

Ingeniera Civil Informatica

Figura 10: Plot Datos vs Prediccion 200-80

Figura 11: Plot R2 200-80

Universidad Cat
olica de Temuco

3.4.

Ingeniera Civil Informatica

1000 Entrada; 400 Capa Oculta

Respecto de las metricas de rendimiento para esta configuracion se tiene:

FANN Metrics
MAE: 0.227862906372
MAPE: 0.174750249105
RMSE: 0.284308845147
NMSE: 1.00091608684
R-Square: 0.478678383486
Time (s): 97.6649069786
Esta configuraci
on tom
o mas tiempo que cualquier otra configuracion, lo
que responde a la interrogante planteada en la seccion anterior. Mas neuronas
no reduce el tiempo de ejecuci
on, como se dio en [200-80], respecto de sus graficas: .

Figura 12: Plot Datos vs Prediccion 1000-400

Figura 13: Plot R2 1000-400

Universidad Cat
olica de Temuco

4.

Ingeniera Civil Informatica

Conclusi
on

El uso de las redes neuronales para la prediccion es valioso y atractivo. A

diferencia de metodos basados en modelos tradicionales, las ANN, estan basadas
en metodos auto adaptativos en que hay pocas suposiciones. Ademas aprenden
de ejemplos y capturan relaciones funcionales sutiles entre los datos, siendo as,
muy adecuadas para los problemas en los cuales, las soluciones requieren un
conocimiento que es difcil de precisar.
Respecto de la predicci
on, se pudo apreciar que la tendencia de los tres
primeros casos, era mejorar la exactitud de las predicciones, sin embargo, la
cuarta configuraci
on demostr
o que no necesariamente el incremento de neuronas puede llevar a una mejor prediccion. Es cosa de comparar el R2 en [200-80] y
[1000-400], en donde se aprecia mayor precision para [200-80]. Ademas se haba
planteado la duda sobre si el incremento de neuronas reduca el tiempo, y esto
es cierto para algunos casos, como por ejemplo el incremento de [50-25] con 32
segundos a la cantidad de [200-80] con 20 segundos, no ha s el caso de [1000-400]
donde se arroja un tiempo en 97 segundos.
De lo testeado, la m
as precisa y eficiente es la configuracion [200-80] con
funciones de activaci
on sigmoide. Puesto que [200-80] tan es imprecisa.

Referencias
[1] Laurene Fausett, Fundamentals of Neural Networks, Pearson; 1 edition (December 19, 1993),
D. Martn, Redes Neurona[2] Antonio J. Serrano, Emilio Soria, Jose
cnica Superior d Enginyeria,
les Artificiales, Escola Te
[3] Mariusz Bernacki, Principles of training multi-layer neural network
using backpropagation, http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_
en/backprop.html,
li[4] Daniel San martin, Algoritmo Backpropagation, Universidad Cato
ca de Temuco,
[5] Guoqiang Zhang, B. Eddy Patuwo, Michael Y. Hu Forecasting with
artificial neural networks: The state of the art Graduate School of Management, Kent State University, Kent, Ohio 44242-0001, USA
[6] Jeff Heaton The Number
heatonresearch.com/node/707

of

Hidden

Layers

http://www.