Documente Academic
Documente Profesional
Documente Cultură
Julho de 2014
2
NOTA DO PROFESSOR
Esta apostila de apoio didtico utilizada para fornecer informaes bsicas de
Redes Neurais Artificiais.
Este material no tem a pretenso de esgotar, to pouco inovar o tratamento do
contedo aqui abordado, mas, simplesmente, facilitar a dinmica do estudo do tema, com
expressivo ganho de tempo e de compreenso do assunto por parte dos interessados. A
complementao do tema ocorrer atravs de exemplificaes, notas de aula, trabalhos e
discusses.
Este trabalho se baseia nas referncias, citadas na bibliografia, nos apontamentos
de aula e na experincia do autor na abordagem do assunto. Sendo esta experincia baseada
na atuao do autor aplicada aos transformadores de energia eltrica. Por se tratar de um
material didtico elaborado em uma Instituio Pblica de Ensino, permitida a reproduo
do texto, desde que devidamente citada a fonte.
Quaisquer contribuies e crticas construtivas a este trabalho sero bem-vindas.
NDICE:
01. INTRODUO 04
REFERNCIAS 29
4
1. INTRODUO
Redes neurais artificiais (RNAs) so sistemas que mimetizam o comportamento e a
estrutura do crebro humano, todavia, possuindo um conjunto muito limitado de neurnios.
Esses neurnios, por sua vez, processam paralelamente os dados e os propagam atravs de uma
complexa malha de interconexo. Analogamente ao crebro humano, as RNAs tm a capacidade
de interagir com o meio externo e adaptar-se a ele. Essas caractersticas conferem as RNAs uma
importncia multidisciplinar, razo pela qual essa ferramenta vem ganhando destaque em
diferentes reas do conhecimento, tais como engenharia, matemtica, fsica, informtica, etc.
Particularmente, na rea de transformadores, as RNAs vem sendo aplicadas na previso de
manuteno, no controle e monitoramento da operao e, como nos casos desse trabalho e
outros, na modelagem.
De acordo com diversas estruturas neurais e algoritmos de aprendizagem propostos por
vrios pesquisadores, as redes neurais possuem certas caractersticas exclusivas de sistemas
biolgicos. Sistemas de computao baseados em redes neurais tm a capacidade de receber ao
mesmo tempo vrias entradas e distribu-las de maneira organizada. Geralmente, as informaes
armazenadas por uma rede neural so compartilhadas por todas as suas unidades de
processamento. Essa caracterstica contrasta com os atuais esquemas de memria dos
computadores convencionais, onde a informao fica confinada em um determinado endereo.
Esse captulo traz alguns fundamentos e propriedades das RNAs, importantes no
desenvolvimento de seus trabalhos, comeando por um breve histrico. No existe a
preocupao de ir alm do estritamente necessrio para a compreenso da aplicao desta
ferramenta em Engenharia.
1.1 HISTRICO
propor uma lei de aprendizagem especfica para as sinapses dos neurnios. Este primeiro passo
serviu de inspirao para que muitos outros pesquisadores perseguissem a mesma idia.
Mark I Perceptron foi o primeiro neurocomputador a obter sucesso e surgiu por volta de
1957. Ele foi criado por Frank Rosenblatt, Charles Wightman e outros. Rosenblatt introduziu
uma nova abordagem para o problema de reconhecimento de padres com o desenvolvimento do
Perceptron.
Ele tambm props para o Perceptron um algoritmo para o ajuste dos pesos.
Devido profundidade de seus estudos, suas contribuies tcnicas e sua maneira moderna
de pensar, muitos o vem como o fundador da neurocomputao na forma em que encontra-se.
Por volta do mesmo perodo, Bernard Widrow e alguns colaboradores, desenvolveram um
novo tipo de elemento de processamento de redes neurais chamado de Adaline (abreviao de
Adaptive Linear Element), e mais tarde a sua generalizao multidimensional, o Madaline
(mltipla Adaline). Esta rede era equipada com uma nova lei de aprendizado, conhecida como
"Regra Delta", que depois foi generalizada para redes com modelos neurais mais elaborados.
Infelizmente, apesar do sucesso do Perceptron e do Adaline, a pesquisa em redes neurais
passou gradualmente a conviver com dois problemas fundamentais. Devido ao fato de a maior
parte das pesquisas at ento desenvolvidas ser de natureza heurstica, o primeiro problema
estava vinculado carncia de resultados tericos que justificassem a manuteno do interesse
cientfico pela rea, o que ocasionou a reduo na produo de novas idias.
O segundo problema, e talvez o de maior significado histrico, foi a expectativa exagerada
criada pelos prprios pesquisadores desta rea, no acompanhada de resultados altura, o que
agravou a queda de financiamentos para pesquisa. Em 1969, L. M. Minsky e S. A. Papert
publicaram o livro Perceptrons - An Introduction to Computational Geometry, onde os autores
argumentaram enfaticamente quanto s limitaes bsicas das redes perceptrons isoladas, a
comear pela impossibilidade de se implementar regras lgicas to simples, como o caso do ou-
exclusivo. Neste livro conceitos de matemtica moderna, tais como, topologia e teoria de grupo,
so aplicados com o objetivo de analisar as capacidades adaptativas e computacionais de
neurnios. Os autores demonstraram que a rede perceptron, apesar de ser capaz de executar as
operaes booleanas AND e OR, no capaz de executar outras operaes elementares, como
XOR (ou-exclusivo). Alm disso, esses autores no acreditavam que uma arquitetura adequada
em conjunto com um algoritmo de ajuste dos pesos pudesse ser desenvolvida de forma a superar
esta limitao.
Historicamente, a publicao deste livro paralisou, a partir de 1970, as pesquisas na rea de
redes neurais. Os pesquisadores passaram a buscar por alternativas dentro do campo da
engenharia e, principalmente, da lgica matemtica, que, na poca, encontrava-se em franca
expanso, devido s grandes conquistas realizadas na rea de computao.
Apesar do xodo generalizado, um perodo de pesquisa silenciosa seguiu-se durante
perodo de 1969 a 1982, quando poucos desenvolvimentos foram publicados devido aos fatos
ocorridos anteriormente. Entretanto, nomes como Teuvo Kohonen, Stephen Grossberg, B.
Widrow, James Anderson, Edoardo Caianiello, Kunuhito Fukushima, Igor Aleksander, entre
outros, conseguiram novamente estabelecer um campo concreto para o renascimento da rea.
Eles passaram a publicar diversas propostas para o desenvolvimento e para as aplicaes de
redes neurais. Esta retomada do interesse pela explorao das RNAs deu-se por vrios fatores,
entre os quais ressaltam-se:
Nos anos 80, muitos fatores contriburam para o ressurgimento definitivo das pesquisas em
redes neurais e, conseqentemente, permitindo a sua aplicao em sistemas reais. Os mais
importantes so:
Neste perodo, John Hopfield, renomado fsico de reputao mundial e ganhador do Prmio
Nobel, se interessou pela neurocomputao. O trabalho dele conquistou centenas de cientistas,
matemticos e engenheiros altamente qualificados para a pesquisa nesta rea. Contudo, o fato
que efetivamente colocou a rea de redes neurais como uma das prioritrias na obteno de
recursos foi o desenvolvimento de um mtodo para ajuste de parmetros de redes no-recorrentes
de mltiplas camadas. Este mtodo, baseado em um algoritmo denominado backpropagation,
tornou-se largamente conhecido aps a publicao, em 1986, do livro Parallel Distributed
Processing, por J. L. Mcclelland e D. E. Rumelhart, fazendo com que pesquisadores das mais
diferentes reas passassem a visualizar interessantes aplicaes para redes neurais artificiais.
Desde ento, vrias aplicaes tem sido mapeadas atravs de redes neurais artificiais, tais
como: reconhecimento de padres, processamento de imagens, sistemas de controle, robtica e
identificao de sistemas. Na rea especfica de transformadores de potncia, encontram-se
vrios trabalhos com aplicao de redes neurais, que mostram as diversas pesquisas que esto em
desenvolvimento nesta rea.
o centro do sistema (crebro), representado pela rede neural que recebe informaes e
toma decises;
os receptores, que convertem os estmulos do corpo ou do ambiente em impulsos
eltricos que transmitem informao para a rede neural;
os atuadores, que, por sua vez, convertem impulsos eltricos em respostas para a sada do
sistema.
Todos os estmulos do nosso ambiente causam, nos seres humanos, sensaes como dor e
calor. Os sentimentos, pensamentos, programao de respostas emocionais e motoras, causas de
distrbios mentais, e qualquer outra ao ou sensao do ser humano, no podem ser entendidas
sem o conhecimento do processo de comunicao entre os neurnios.
Os neurnios so clulas especializadas, que junto com as clulas gliais formam o sistema
nervoso.
Os neurnios so constitudos fundamentalmente por:
Corpo Celular, ou tambm conhecido como soma, a regio onde est o ncleo e a maioria
das estruturas citoplasmticas;
Dentritos (do grego dendron, que significa rvore) so prolongamentos geralmente muito
ramificados. Eles so responsveis pelo recebimento dos sinais;
Axnio (do grego axoon, que significa eixo) s possui ramificaes na extremidade. Ele
responsvel por conduzir os sinais;
Contatos Sinpticos, ou sinapses, so responsveis por transmitir as informaes de uma
clula para outra clula.
Alm destas estruturas os neurnios possuem outras, devido o seu nvel de especializao.
Dentre elas podemos citar a bainha de mielina.
Alguns neurnios tm seus axnios envolvidos por um tipo celular denominado clula de
Schwann. As clulas de Schwann determinam a formao da bainha de mielina - invlucro
lipdico que atua como isolante trmico e facilita a transmisso do impulso nervoso. Entre uma
clula de Schwann e outra existe uma regio de descontinuidade da bainha de mielina,
9
denominada ndulo de Ranvier. A parte celular da bainha de mielina, onde esto o citoplasma e
o ncleo da clula de Schwann, constitui o neurilema.
O percurso do impulso nervoso no neurnio sempre no sentido
Um impulso transmitido de uma clula a outra atravs das sinapses (do grego synapsis,
ao de juntar). A sinapse uma regio de contato muito prximo entre a extremidade do axnio
de um neurnio e a superfcie de outras clulas. Estas clulas podem ser tanto outros neurnios
como clulas sensoriais, musculares ou glandulares.
As terminaes de um axnio podem estabelecer muitas sinapses simultneas. Na maioria
das sinapses nervosas, as membranas das clulas que fazem sinapses esto muito prximas, mas
no se tocam. H um pequeno espao entre as membranas celulares (o espao sinptico ou fenda
sinptica).
Quando os impulsos nervosos atingem as extremidades do axnio da clula pr-sinptica,
ocorre liberao, nos espaos sinpticos, de substncias qumicas denominadas
neurotransmissores ou mediadores qumicos, que tem a capacidade de se combinar com
receptores presentes na membrana das clulas ps-sinptica, desencadeando o impulso nervoso.
Esse tipo de sinapse, por envolver a participao de mediadores qumicos, chamado sinapse
qumica.
a F (w p b)
Aprendizagem
Utilizao do conhecimento
Aprendizagem
Utilizao do conhecimento
As redes so treinadas com dados experimentais para aprendizagem. A qualidade dos dados
importante para o aprendizado, exercendo forte influncia no desempenho das redes. O
aprendizado uma etapa prvia e consiste em ajustes de pesos e bias de redes cujas funes de
transferncia e estrutura de neurnios tenha sido pr-definidas.
Tambm no procedimento de ajuste de modelos matemticos(regresso estatstica) a dados
experimentais h algo semelhante. Escolhe-se a forma da expresso matemtica (reta, polinmio,
...) e prossegue com um ajuste de parmetros. O critrio de ajuste o de minimizar a soam dos
quadrados dos erros entre os dados experimentais e os calculados para variveis de sada.
Uma vez treinada, a rede utilizada para reproduo (previso) de dados de sada
correspondentes a novos dados de entrada.
Essa etapa a do uso efetivo da correlao matemtica para estimar novos dados de sada
correspondentes a novas entradas.
Reaprendizado:
Sempre que novos dados estejam disponveis, o sistema nervoso pode ser submetido a um
reaprendizado. Isso corresponde a um reajuste dos caminhos da propagao dos sinais atravs
dos neurnios.
Em regresso estatstica, essa etapa corresponde a reestimao de parmetros para nova
massa de dados.
Com redes neurais, o reaprendizado corresponde a novos treinamentos da rede, incluindo-
se os novos dados experimentais.
No restante destas notas, detalham-se as estruturas que permitem a um ajuste matemtico,
seguir o padro de funcionamento do sistema nervoso. Detalham-se as estruturas de algumas
redes neurais.
onde:
p entradas de sinal
w peso
b um termo linear (bias)
F as entradas so somadas e tratadas por um a funo do neurnio, que gera a sada
a sada de sinal (nmero)
Em termos matemticos:
a F w p b
hard limit (degrau): se a sada vale 1 para entrada positiva e 0 ou -1 (simtrica) para
entrada negativa;
linear: sada proporcional ao valor de entrada (puramente linear);
sigmoidal: quando a sada uma sigmide logartimica ou tangencial.
A descrio matemtica para esse caso pode fazer uso de notao com vetores (matrizes),
uma vez que:
a F w1 p1 w2 p2 .... wg p g b F w p b
onde:
w w1 ...w2 ............wR
p p1 ... p2 ............. p R
t
Vrios neurnios podem formar uma camada, cada um deles recebendo todas as mesmas R
entradas descritas. Uma representao da camada de neurnios pode ser a seguinte:
Nesse caso, cada sinal de entrada est ligado a cada neurnio atravs de um peso. Sendo R
sinais de entrada e S neurnios, sero RxS pesos e S bias, que se agrupam em matriz de pesos e
vetores de bias. Seu relacionamento com dados de entrada e sada (igualmente organizados em
vetores) expresso por:
a F w p b
w matriz de pesos
p, a, b vetores: entradas, sadas e bias
com:
14
a1 b1
w1,1 ........w1, 2 .........w1, R a b
2 2
w2,1 ........w2, 2 .........w2, R
w a . b .
.
. .
wS ,1 ........wS , 2 .........wS , R a S bS
Essa uma estrutura tpica de rede neural. A rede envolve dados de entrada que se
propagam at uma sada, atravs de uma sucesso de aplicaes de pesos, bias e funes de
transferncia.
Para uso prtico de redes neurais, basta interpreta-las como estruturas matemticas de
matrizes. As redes neurais so seqncias de multiplicaes e somas de matrizes e aplicaes de
certas funes de transferncia.
A rede neural como estrutura matemtica de matrizes:
A1 F W1 P B1
A2 F W A B
2 1 2
.
.
.
T F WN AN 1 BN
1.5 TREINAMENTO DAS REDES E REPETIO DOS DADOS DE
ENTRADA
Para a aplicao mais comum de redes neurais, geralmente se conhecem os dados de
entrada e os dados de sada. Na notao matricial, isso significa conhecer os vetores P e T. Os
pesos e os bias para os diversos neurnios das diferentes camadas devem ser estimados da
melhor maneira possvel, de modo que a rede seja capaz de reproduzir os dados de sada com os
de entrada (associao).
Observa-se, portanto, que o uso de redes neurais se assemelha bastante ao problema de
ajuste estatstico de expresses matemticas a dados experimentais (levantamento de
correlaes). Ou seja, um mtodo matemtico deve ser usado para estimar os parmetros de uma
correlao cuja forma determinada pela estrutura da rede.
Antes de discutir como so esses mtodos matemticos, cabe lembrar um ltimo aspecto da
estrutura de redes neurais. Como use de redes est muito associado a dados experimentais,
comum trabalhar com vrias amostras.
Na coleta de dados para ajuste, o vetor P pode ser amostrado diversas vezes. Sendo Q o
nmero de amostras, resulta a matriz P de dimenses RxQ. Cada uma das Q colunas da matriz P
correspondem a uma amostragem dos dados. Com isso, tambm a cada amostra.
Para uma rede neural com uma nica camada, por exemplo, o efeito de vrias amostragens
das variveis de entrada e de sada da rede pode ser expresso atravs da representao
simplificada indicada na figura 11.
O processo de ajuste da rede neural aos dados denominado treinamento da rede neural.
Definida uma arquitetura para rede (nmero de camadas de neurnios, nmero neurnios
em cada camada e funes de transferncia de cada neurnio), sue treinamento comea com uma
atribuio de estimativas iniciais para pesos e bias.
Seguem, ento, iteraes que incluem:
Ajustar a rede significa minimizar o erro entre sada calculada e sada real. O erro mnimo
alcanado atravs de reajustes das variveis livres (pesos e bias dos neurnios). Cada execuo
do lao, cada iterao ao longo da pesquisa rumo ao mnimo (convergncia) denominada poca
de treinamento.
Os critrios matemticos que determinam as modificaes necessrias nos pesos e bias em
funo do erro de sada da rede neural so chamados regras de aprendizado da rede neural
(learning rule).Verifica-se que eles so essencialmente, mtodos de pesquisa do mnimo de uma
funo de varias variveis.
A seqncia para aplicao de redes neurais a seguinte:
Existem vrias arquiteturas, porm as mais utilizadas na anlise de dados numricos so:
Percepton
Rede Neural no linear (backpropagation).
17
Assim como o sistema nervoso composto por bilhes de clulas nervosas, a rede neural
artificial tambm seria formada por unidades que nada mais so que pequenos mdulos que
simulam o funcionamento de um neurnio.
Estes mdulos devem funcionar de acordo com os elementos em que foram inspirados,
recebendo, processando e retransmitindo informaes.
O modelo de neurnio mais simples, e que engloba as principais caractersticas de uma
rede neural biolgica, paralelismo e alta conectividade, foi proposto por McCulloch e Pitts. A
Figura 13 mostra o modelo geral do neurnio artificial, onde: x1, x2,... xn representam os sinais
de entrada; w1, w2, ... wn so os pesos ou conexes sinpticas; o bias representa o limiar de
ativao do neurnio; u a sada do combinador linear; g(u) a funo de ativao (limita a
sada do neurnio); y o sinal de sada do neurnio.
n
u Wi X i (2.1)
i 1
y g u (2.2)
18
A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos
de suas conexes so ajustados de acordo com os padres apresentados. Em outras palavras, elas
aprendem atravs de exemplos (padres).
g (u) u (2.3)
(2.4)
(2.5)
Nesse tipo de ativao (satlin), mostrada pela Figura 17 e expressa pela equao (2.6), a
sada do neurnio pode assumir valores positivos e negativos no domnio de -1 a 1, e no intervalo
{-a, a}, a sada assume o valor da funo g(u)=u.
(2.6)
Para a funo sigmide (logsig) ilustrada na Figura 18 e apresentada pela expresso (2.7),
o parmetro que define a inclinao (ganho) da funo sigmide. Nesse tipo de funo, a
sada do neurnio assumir valores reais entre 0 e 1.
1
g (u ) (2.7)
1 e u
20
1 e u
g (u ) tanh(u ) (2.8)
1 e u
2.2 CAMADAS
Arquiteturas neurais so tipicamente organizadas em camadas, com unidades que podem
estar conectadas s unidades da camada posterior.
Conforme apresentado na Figura 20, as camadas de uma rede neural so usualmente
classificadas em trs grupos:
camada de entrada;
camadas intermedirias ou ocultas;
camada de sada.
2.3 ARQUITETURA
Do ponto de vista estrutural, a arquitetura de redes neurais pode ser classificada como
esttica, dinmica ou fuzzy. Ela pode ser constituda ainda de nica camada ou mltiplas
camadas. Alm disso, algumas diferenas computacionais surgem quando se trata da maneira
com que so feitas as conexes existentes entres os neurnios. Estas conexes podem ser
estritamente no sentido de ida, no sentido de ida e volta, lateralmente conectadas,
topologicamente ordenadas ou hbridas.
As redes neurais so tambm classificadas de acordo com a arquitetura em que foram
implementadas, topologias, caractersticas de seus ns, regras de treinamento e tipos de modelos
de neurnio empregado. A seguir sero descritas as mais importantes.
So redes neurais contendo apenas uma camada de entrada e uma camada de neurnios que
a prpria camada de sada, como mostra a Figura 21. Suas principais aplicaes so em
memria associativa e no reconhecimento de padres. O Perceptron e o Adaline so exemplos
desse tipo de rede.
Este tipo de rede distingue-se da anterior pela presena de uma ou mais camadas
escondidas de neurnios. A Figura 22 mostra um exemplo de rede feedforward (multicamadas).
Nesta figura:
separados para o treinamento da rede neural, dados estes escolhidos aleatoriamente, a fim de que
a rede "aprenda" as regras associadas ao processo. O restante dos dados s apresentado rede
neural na fase de testes para verificar se as regras produzem sadas adequadas para os dados no
utilizados no treinamento (testar o grau de generalizao).
2.4.1 Aprendizado
Essa forma de aprendizado dispensa um agente externo indicando a resposta desejada para
os padres de entrada, utiliza-se, entretanto, de exemplos de coisas anlogas para que a rede
responda de maneira similar. A rede se autoorganiza em relao a alguns subconjuntos de
entrada cujos elementos possuem caractersticas similares. Os vetores do conjunto de
treinamento consistem, unicamente, de vetores de entrada. O algoritmo de treinamento modifica
os pesos da rede para produzir vetores de sada que so consistentes, isto , vetores do conjunto
de treinamento que so similares entre si produziro o mesmo padro de sada. Nesse tipo de
aprendizagem, espera-se que o sistema deva, estatisticamente, descobrir caractersticas e
particularidades marcantes da populao de entrada. Ao contrrio do aprendizado
supervisionado, no existe um conjunto priori de categorias dentro do qual os padres iro ser
classificados, mas sim o sistema quem deve desenvolver sua prpria representao do estmulo
de entrada.
Ciclo de aprendizado (poca) a apresentao de todos os pares (entrada e sada) do
conjunto de treinamento no processo de aprendizado. A correo dos pesos num ciclo pode ser
executada de dois modos (mtodos para apresentao dos dados para o treinamento):
Modo Padro, onde a correo dos pesos acontece a cada apresentao rede de um
exemplo do conjunto de treinamento. Cada correo de pesos baseia-se somente no erro do
exemplo apresentado naquela iterao;
Modo Batch, onde apenas uma correo feita por ciclo. Todos os exemplos do conjunto
de treinamento so apresentados rede, o erro mdio calculado e, a partir deste erro,
fazem-se correes nos pesos.
24
2.6.1 Backpropagation
o processo repetido para todos os vetores de entrada da rede at que o erro quadrtico
mdio das sadas da rede esteja num valor aceitvel.
2.7.4 Treinamento
Durante esta fase, o conjunto de teste utilizado para determinar o desempenho da rede
com dados que no foram previamente utilizados.
Finalmente, com a rede treinada e devidamente avaliada, ela pode ser integrada em um
sistema do ambiente de operao da aplicao.
27
Mtodo de Kolmogorov
Mtodo de Fletcher-Gloss
Mtodo de Weka
n 2 n1 1 (3.1)
onde:
2 n1 1 n 2 n2 1 (3.2)
onde:
n nc
n1 (3.3)
2
nc nmero de classes
Embora muito utilizados tais mtodos, so recomendados apenas para alguns tipos de
problemas bem comportados. Porque desconsideram atributos que possam ser relevantes para
especificao da topologia de redes PMC. Como a quantidade de dados, a complexidade do
problema, a qualidade dos dados e suas disposies no espao amostral.
29
REFERENCIAS
[01] A. P Braga, A. P. L. F. de Carvalho e T. B. Ludemir. Redes Neurais Artificiais Teoria
e Aplicaes. Rio de Janeiro: LTC, 2000.
[03] Caio C. O. Ramos, Andr N. de Souza, Lucas I. Pereira, Danilo S. Gastaldello, Maria
G. Zago e Joo P. Papa. Tcnicas Inteligentes Aplicadas na Identificao de
Consumidores Industriais Fraudadores de Energia Eltrica. The 8th Latin-American
Congress on Electricity Generation and Transmission. CLAGTEE, 2009.
[04] Fernando Jos Von Zuben. RNAs - Notas de aula. Campinas: Unicamp, 2001.
[08] Silva, Ivan Nunes da; Spatti, Danilo Hernane; Flauzino, Rogrio Andrade. Redes
neurais artificiais: para engenharia e cincias aplicadas. So Paulo: Artliber, 2010.
[09] Simon Haykin. Neural Networks and Learning Machines. 3 ed.. New York: Prentice
Hall, 2008.
[10] Spandri, Renato. Introduo a redes neurais. Controle & Instrumentao, So Paulo:
Editora Tcnica Comercial Ltda, no 43, p. 68-73, fev. 2000.