Capitolul 1

Preliminarii n calculul neuronal

CapI. Preliminarii n calculul neuronal

1. Introducere
Calculul neuronal se efectueaz pe o reea dens de noduri i conexiuni.
Aceste noduri lucreaz n mod colectiv i simultan i se numesc neuroni
artificiali, sau neuroni. Neuronii pot opera, de exemplu, ca sumatoare sau
comparatoare. De obicei, neuronii lucreaz in paralel i sunt configurai n
arhitecturi regulate. Astfel, ei pot fi organizai pe nivele ierarhice i se permit
conexiuni feedback n cadrul unui nivel sau conexiuni feedback ctre nivelele
adiacente. Puterea fiacrei conexiuni este exprimat printr-o valoare numeric
numita pondere, care poate fi modificat.
Domeniul reelelor neuronale este cunoscut i sub denumiri similare:
neuro-calcul, conexionism, procesare paralel distribuit, sisteme adaptive,
reele cu autoorganizare etc. Aceast varietate indic de fapt tot attea
perspective din care se studiaz reelele neuronale.
nc de la nceputul cercetrilor de Inteligen Artificial s-au conturat
n acest domeniu dou direcii rivale ce constituie i acum modelele dominante
(paradigmele) n Inteligena Artificial.
Paradigma logico-simbolic presupune mecanisme de reprezentare
simbolic a cunotinelor i utilizarea diferitelor modele logice pentru a
deduce noi cunotine din faptele memorate n baza de cunotine a sistemului.
De exemplu, programele care joac ah i programele inteligente (numite
Sisteme Expert) care rezolv probleme de mare complexitate dintr-un domeniu
bine conturat reprezint realizri notabile n cadrul acestei paradigme.
Paradigma conexionist a introdus un nou concept de calcul
calculul neuronal i a generat realizri concrete cunoscute sub numele de
reele neuronale artificiale (pe scurt reele neuronale).
3

Capitolul 1

Preliminarii n calculul neuronal

Reelele neuronale funcioneaz ca reelele paralele distribuite.

Caracteristica lor de baz este arhitectura. Unele reele sunt caracterizate de
comportarea lor n timp, de dinamica lor. Reelele neuronale difer ntre ele
prin modul de nvare: exist o varietate de reguli de nvare care stabilesc
cnd i cum se modific ponderile conexiunilor. n fine, reelele difer prin
viteza i eficiena de nvare.
Spre deosebire de calculatoarele convenionale, care sunt programate s
efectueze anumite lucrri, majoritatea reelelor neuronale trebuie s fie
nvate (sau instruite). Ele nva noi asocieri, noi pattern-uri, noi dependene
funcionale. Utilizatorii reelelor neuronale nu specific un algoritm care s fie
executat de ctre un anumit neuron, cum s-ar ntmpla pe o main
tradiional. n loc de aceasta, ei aleg o configuraie care li se pare cea mai
bun arhitectur, specific toate caracteristicile neuronilor i ponderile iniiale,
apoi aleg modul de instruire pentru reea. n urmtoarea faz, sunt aplicate
diferite date de intrare din care reeaua i extrage cunotine, adica nva. Ca
rezultat, reeaua acumuleaz informaie care poate fi apoi utilizat.
n cadrul modelelor conexioniste nu mai suntem obligai s furnizm
reelei neuronale un algoritm determinist de rezolvare a unei probleme.
Trebuie s-i oferim doar o mulime consistent de exemple mpreun cu o
regul de modificare a ponderilor interneuronale. Pentru fiecare exemplu
regula de instruire compar ieirea dorit (dat de exemplu) cu ieirea real a
reelei i determin o modificare a ponderilor, n conformitate cu o strategie
precizat. De regul stabilirea ponderilor este un proces iterativ.
Calculul cu reelele neuronale se situeaz ntre inginerie i inteligen
artificial. Se folosesc tehnicile matematice inginereti clasice, dar i metode
euristice specifice inteligenei artificiale.
Capacitatea reelelor neuronale de a rezolva probleme practice
complexe utiliznd o mulime (uneori restrns) de exemple le confer un
potenial de aplicabilitate extrem de larg. Spectrul aplicaiilor merge de la
sisteme de recunoatere a caracterelor (utilizate n sistemul bancar) i
recunoatere a vorbirii, pn la piloi automai i sisteme (n timp real) pentrul

Capitolul 1

Preliminarii n calculul neuronal

controlul unor procese complexe. Acest spectru este n continu extindere i se

consider c, cel puin pentru viitorul apropiat, paradigma conexionist va
polariza tot mai mult interesul cercettorilor din domeniul Intelegenei
Artificiale.
Una dintre cele mai importante caracteristici ale uniu sistem neuronal
este caracterul su adaptiv, faptul c poate s-i stabileasc parametrii de
funcionare printr-un proces de nvare bazat pe informaiile primite. Astfel de
sisteme sunt adecvate, astfel, pentru problemele ce sunt dificile sau chiar
imposibil de formalizat pentru ele existnd doar exemple de rezolvat.
Reelele neuronale au atras atenia specialitilor din numeroase
discipline. Neurobiologii sunt interesai n modelarea reelelor neuronale
biologice. Fizicienii sunt atrai de analogiile dintre reelele neuronale i
sistemele dinamice neliniare pe care le studiaz. Matematicienii sunt fascinai
de potenialul modelrii matematice aplicate n sistemele foarte mari i
complexe. Inginerii n electronic i calculatoare aplic reelele neuronale n
procesarea semnalelor i construiesc pe baza reelelor neuronale circuite
integrate inteligente. Psihologii caut n reelele neuronale structurile prototip
care modeleaz procesarea informaiei de ctre om. n fine, informaticienii
sunt interesai n posibilitile de calcul ale reelelor masiv paralele n
domeniile inteligenei artificiale, teoriei calculabilitii, modelrii i simulrii
etc.

2. Istoricul dezvoltrii reelelor neuronale

Progresele nregistrate n neurologie i psihologie au determinat apariia
unor modele matematice ale nvrii.
Istoria Reelelor neuronale Artificiale (RNA) sau, simplu, a Retelelor
Neuronale ncepe cu modelul de neuron propus de ctre McCuloch i Pitts (un
logician i un neurobiolog) n 1943. Vom numi acest model neuronal neuronul

Capitolul 1

Preliminarii n calculul neuronal

MP. Modelul MP presupune c neuronul funcioneaz ca un dispozitiv simplu,

ale crui intrri sunt ponderate. Ponderile positive sunt excitatoare iar
ponderile negative sunt inhibatoare. Dac excitaia totala, adica suma
ponderat a intrrilor, depaete un anumit prag, atunci neuronul este activat i
emite un semnal de ieire (ieirea are valoarea +1). Dac excitaia total este
mai mic dect valoarea prag, atunci neuronul nu este activat i ieirea lui se
consider a fi zero. Acetia au propus primul model formal al neuronului
punnd n eviden posibilitatea de calcul a acestuia i posibilitatea de a imita
funcionarea acestuia prin circuite electrice. Acest model include toate
elementele pentru a efectua operai logice, dar la acel nivel tehnologic era
imposibil de implementat.
Un pas important n dezvoltarea reelelor neuronale artificiale o
reprezint studiul The Organization of Behavion, 1949 n care Donald Hebb
a propus un model de nvare pentru a actualiza conexiunile neuronului,
cunoscut acum ca regula hebbian de nvare. El a formulat idea c
informaia poate fi memorat n conexiuni; astfel modelul Hebb a reprezentat
punctul de plecare n tentativele ntreprinse n deceniul urmtor de realizare a
unor reele neuronale artificiale capabile s nvee. n mod obinuit, se
consider c anul 1953 marcheaz debutul calculului neuronal.
n 1958, Frank Rosenblatt a inventat un element neural numit
perceptron. Acesta era un model probalistic pentru memorarea i organizarea
informaiei n creier, adic era conceput ca o maina instruibil capabil s
nvee s clasifice anumite patter-uri prin modificarea conexiunilor la
elementele comparatoare i reprezint primul model de reea neuronala
artificial .
La nceputul anilor 60, a fost propus ADALINE (ADAptive LINEar
combiner), un dispozitiv bazat pe regula de nvare Windrow-Hoff (Bernard
Windrow, Marcian Hoff). Regula minimiza eroarea ptratic nsumat pe
parcursul instruirii. Modelu ADALINE este n esen identic cu modelul
perceptronului. Ieirea este bipolara: +1 sau -1. ADALINE este un dispozitiv
adaptiv, n sensul c exist o procedur bine definit de modificare a

Capitolul 1

Preliminarii n calculul neuronal

ponderilor pentru a permite dispozitivului s dea raspunsuri corecte pentru o

intrare dat. El este i un dispozitiv liniar deoarece ieirea sa este o funcie
liniar (de fapt, chiar funcia identitate). Aplicaiile erau de recunoaterea
formelor, control adaptiv i previziunea vremii.
n 1964 S. Grossberg a elaborat regula de nvare autonom a
modelelor autoorganizate. nvarea competitiv a fost elaborat de T.
Kohonen n 1971 i mpreun cu J. Anderson au realizat memoriile asociative
liniare.
Primele succese ale reelelor neuronale au determinat o mare emoie n
lumea tiinific. Specialitii erau aproape unanimi n a considera c i alte
procese asociate cu inteligena i memoria uman pot fi modelate prin astfel de
reele, eventual mai complicate. n ciuda entuziasmului, mainile existente nu
permiteau abordarea unor probleme complexe. Pe de alt parte, nici schemele
de nvare nu erau suficient de dezvoltate. S-a intrat astfel ntr-o perioad de
stagnare a crei cauze erau de fapt cunoscute.
Episodul final al acestei ere a fost lucrarea lui Minsky si PapertPerceptrons, 1969- care a demonstrat limitele reelelor bazate pe
perceptroni. Astfel, un perceptron standard (elementar) nu poate distinge ntre
doua litere att de deosebite cum sunt C i T. Dificultatea este legat de
neuronii MP care sunt utilizai n acest perceptron. De asemenea, perceptronul
standard nu poate calcula valorile funciei logice sau exclusiv. Aceste
dificulti au fcut ca interesul pentru calculul neuronal s se diminueze,
majoritatea cercettorilor ndreptndu-se spre alte domenii. Domeniu reelelor
neuronale (care fcea la acea vreme parte din cibernetic) prea nchis. n
schimb se dezvolta promitor domeniul inteligenei artificiale, prelund i
sarcini pe care reelele neuronale nu puteau s le rezolve la acel stadiu.
n perioada 1965-1984, civa cercettori au reuit s dezvolte totui
cercetrile, dintre care menionm pe Werbos, care a introdus n teza lui
metoda backpropagation care face posibil instruirea reelelor neuronale cu mai
multe straturi, Grossberg a dezvoltat modelele matematice a reelelor
neuronale bazate pe ecuaii difereniale, Kunihiko Fukushima a definit o clas

Capitolul 1

Preliminarii n calculul neuronal

de reele neuronale numite neocognitroni (1980). Neocognitronul modeleaz

recunoaterea vizual a formelor prin emularea imaginilor de pe retin i
procesarea lor folosind neuroni ierarhizai pe doua nivele. Hecht-Nielson a
contribuit esenial la fundamentarea teoriei matematice a reelelor neuronale,
Carpenter a inventat teoria rezonanelor adaptive, care este aplicat n reelele
neuronale de clasificare, i Freeman care a artat experimental prima dat
existena activitii haotice n reele neuronale biologice i a propus modele
pentru explicaia acestui fenomen.
Un rol deosebit n dezvoltarea reelelor neuronale artificiale a avut T.
Sejnowski care mpreun cu Rosenberg n 1987 au dezvoltat un sistem
artificial de recunoatere i redare vocal a textelor scrise, sistem care dup un
ciclu de nvare de 8 ore a avut aptitudinile unui copil de 10 ani.
Cercetrile n domeniul memoriilor asociative au evoluat n Finlanda
(Teuvo Kohonen) i SUA (James Anderson). Stephen Grossberg i Gail
Carpenter au introdus cteva arhitecturi de reele neuronale i au dezvoltat
teoria reelelor adaptive prin rezonan, ART, ce conduce la algoritmi de
nvare nesupervizat bazat pe procese de competiie. O lucrare de referin,
aprut n perioada respectiv i care reprezint n mod sintetic i concis
reelele neuronale artificiale este articolul lui R.P. Lippman: An Introduction
to Computing with Neural Nets (1987).
Era renaterii a nceput o dat cu introducerea arhitecturii recurente
pentru memoriile asociative (John Hopfield 1982). O alta revitalizare a
domeniului provine din lucrrile lui James McClelland si David Rumelhart
(1986)- Parallel Distributed Processing, Explorations in the Microstructure of
Cognition- este descris, ntr-o manier accesibil, algoritmul de nvare al
reelelor cu mai multe nivele bazat pe idea minimalizrii unei funcii de eroare
calculate pornind de la un set de antrenare. Algoritmul este cunoscut sub
denumirea de backpropagation, provenit de la faptul c pentru
determinarea ajustrilor ce vor fi aplicate ponderilor se propag prin reea n
sens invers (de la nivelul de ieire ctre cel de intrare) un semnal de eroare.

Capitolul 1

Preliminarii n calculul neuronal

Publicarea crii a marcat statutul unei activiti de cercetare intense n

acest domeniu. n urmtorii cinci ani au fost deduse fundamentele matematice
ale teoriei reelelor neuronale funcionnd cu neuroni de tip McCulloch-Pitts
cu funcie de activare liniar continu. n locul funciei de salt determinat de
prag, se folosete o funcie continu neliniar f pentru calculul neuronului de
ieire, de obicei se folosete funcia sigmoidal
Gaussian

( x c ) 2

f ( x) e

2r 2

f ( x)

1
sau funcia
1 e ax

. Astfel s-a stabilit proprietatea de aproximare

universal a acestor reele, i au fost fcute primele pasuri n determinarea

modelelor minimale. Tot n aceast perioad au fost dezvoltate i analizate
reelele neuronale bazate pe dinamica atractoarelor de punct fix i pe modelele
de funcionare inspirate de mecanica statistic. La fel n aceast perioad au
fost dezvoltate multe modele de inspiraie psihologic avnd intenia de a
explica procesele psihologice incluznd percepia vizual, nvarea limbii,
boli mentale i altele. n aceast perioad au fost propuse multe aplicaii ale
reelelor neuronale n special n domeniul controlului i a prediciilor seriilor
de timp.
ncepnd cu anii 1986-1987, s-au iniiat multe programe de cercetare i
interesul a devenit extrem de mare. Au aprut aplicaii complexe. Au fost
fabricate chip-uri VLSI de reele neuronale.
Interesul crescnd pentru acest domeniu a dus la organizarea n 1987 a
primei conferine internaionale de reele neuronale. n prezent exist
numeroase reviste de specialitate care public articole cu caracter teoretic sau
aplicativ privind reelele neuronale i (cel putin) o revist de mare prestigiu
consacrat exclusiv acestui domeniu IEEE Transaction on Neural Networks.
Dup mijlocul anilor 90 domeniul s-a stabilizat. Ca urmare a
nelegerii mai bune a bazelor teoretice, a limitrilor i a aplicaiilor posibile sau conturat direciile de cercetare recente. n privina cercetrii fundamentale
se pot observadireciile urmtoare:

Capitolul 1

Preliminarii n calculul neuronal

1. analiza Bayesian, care se ocup cu determinarea limitelor instruirii i

aplicaiei reelelor neuronale multistrat cuneuronul McCulloch-Pitts n
cadru statistic.
2. teoria reelelor neuronale minimale pentru aproximare i clasificare.
3. combinarea

reelelor neuronale destinate pentru aproximarea i

clasificare cu alte metode printre care cel mai utilizat fiind metodele
grafice i sistemele Fuzzy.
4. analiza i construirea madelelor bio-similare cu neuroni bazai pe
modelul Hodgkin-Huxley.
5. aplicarea reelelor neuronale n domenii variate, n special n ingineria
financiar, data mining i control.
Astzi este clar c o mare parte a teorie reelelor neuronale cu neuroni
de tip McCulloch-pitts poate fi privit ca o teorie a aproximrii i regresiei
neliniare. Ca urmare cercetarea trebuie continuat n acest sens i aplicaiile
trebuie selectate conform acesteia. La fel este clar c cealalt ramur a
cercetrilor este devotat sistemelor bio-similare. n acest direcie este o
cercetare intens, ns numai cu puine rezultate fundamentale care au aprut
pn acum, datorit complexitii teoretice i experimentale ale cercettorilor.

3. Viitorul
Prin aplicaiile n rezolvarea unor probleme dificile, cum sunt cele de
estimare, identificare i predicie, a unor probleme de optimizare complexe,
reelele neuronale capat o pondere i un impact tot mai mare nu doar n tiin
sau tehnologie, ci i n domeniul mult mai sensibil al vietii sociale.
Datorit denumirii, domeniul reelelor neuronale este supus unei
supraestimri populiste. Este tentant pentru om s-i imagineze o maina care
s fie asemeni lui. Terminologia antropomorf trebuie privit cu mult
reinere.

10

Capitolul 1

Preliminarii n calculul neuronal

Putem fi aproape siguri c reelele neuronale nu vor nlocui

calculatoarele clasice. Aceasta, deoarece calculatoarele clasice sunt foarte
ieftine i eficiente pentru efectuarea calculelor numerice (procesri de text,
CAD, procesri de date).
Sunt ns domenii ntregi n care reelele neuronale devin mai avantajoase.
Cele mai interesante aplicaii sunt cele care presupun inferena de tip uman i
perceperea vorbirii i a imaginilor. Aceste aplicaii nu pot fi dect parial
rezolvate pe calculatoarele clasice.
Este de ateptat ca reelele neuronale s fie aplicate n procesarea
semnalelor i sisteme expert. Reelele neuronale nu vor nlocui aplicaiile de
inteligen artificial de pe calculatoarele clasice, ci vor oferii o tehnologie
complementar.
Neurocalculatoarele

actuale

sunt

de

multe

ori

calculatoare

convenionale care execut software de simulare a reelelor neuronale. Alte

neurocalculatoare folosesc deja componente (plci, chip-uri) dedicate. Cele
mai interesante sunt, desigur, chip-urile VLSI care implementeaz reele
neuronale. Fabricarea acestor chip-uri este deja actual. n 1986, AT&T a
fabricat primul circuit integrat de memorie neural.

11