Retele neuronale artificiale

Istoric
Ideea de a cuta n structura sistemului nervos o surs de inspiratie pentru conceptie
sistemelor de tratare a inIormatiei nu este nou. n anul 1943, n ncercarea de a explica modul n
care creierul uman realizeaz Iunctii booleene, W. McCulloch si S. Pitts, (McCulloch 43) au propus
modelarea celulei nervoase (neuronul), printr-un automat cu prag denumit neuron Iormal. Acest
model este, n linii generale, acceptat si astzi.
Progresele nregistrate n neurologie si psihologie au determinat aparitia unor modele
matematice ale nvtrii. Un astIel de model a Iost propus n 1949 de ctre D.O.Hebb. Modelul
Hebb a reprezentat punctul de plecare n tentativele ntreprinse n deceniul urmtor de realizare a
unor retele neuronale artiIiciale capabile s nvete.
n 1958 Krank Rosenblatt a publicat prima sa carte despre perceptron. Acesta era un model
probabilistic pentru memorarea si organizarea inIormatiei n creier. Un alt model de retea neural,
cunoscut ca ADALINE (Adaptive Linear Neuron) a Iost propus la nceputul anilor 60 de ctre
Bernard Windrow. Retelele realizate n aceast perioad au Iost aplicate pentru rezolvarea unor
probleme cum ar Ii recunoasterea unor structuri speciIice n electrocardiograme sau perceptia
artiIicial. Astzi se poate spune c acestea sunt aplicatii de recunoastere a Iormelor.
Primele succese ale retelelor neurale au determinat o mare emotie n lumea stiintiIic.
Specialistii erau aproape unanimi n a considera c si alte procese asociate cu inteligenta si memoria
uman pot Ii modelate prin astIel de retele eventual mai complicate.
Marvin Minskz a ntreprins o analiz lucid a posibilittilor si limitelor modelelor neurale
existente n epoc. El a demonstrat imposibilitatea principal a retelelor neuronale cu un singur strat
de a rezolva unele probleme simple. De exemplu, Iunctia logic SAU EXCLUSIV (XOR) nu poate
Ii calculat pe o astIel de retea.
A urmat apoi un deceniu de stagnare, n care putinii Iideli ai domeniului au Iost lipsiti de
Iondurile necesare unor cercetri de anvergur.
Aparitia n 1986 a crtii Parallel Distributed Processing, Explorations in the Microstructure
oI Cognition, de David Rumelhart, James Mc Clelland si grupul PDP se consider a Ii evenimentul
care a marcat relansarea cercetrilor privind modelele conexioniste. Interesul crescnd a condus la
organizarea n 1987 a primei conIerinte internationale de retele neurale. (Mai multe inIormatii
despre istoricul si evolutia RNA sunt prezentate n 'Momente importante n aparitia retelelor
neurale).
Calculul neuronal reprezint acum un domeniu de cercetare Iascinant si o provocare
intelectual si tehnologic major. Retelele neurale au modiIicat imaginea noastr asupra proceselor
de calcul si aspectelor algoritmice ale Inteligentei ArtiIiciale (IA) si au Iurnizat psihologiei un nou
model al proceselor mentale.
Prin aplicatiile n rezolvarea unor probleme diIicile, cum sunt cele de estimare, identiIicare
si predictie, a unor probleme de optimizare complexe, retelele neuronale capt o pondere si un
impact tot mai mare, nu doar n stiint si tehnologie, ci si n domeniul mult mai sensibil al vietii
sociale. Retelele neuronale pot reprezenta instrumente puternice n luarea deciziilor economice si
chiar politice.
Teoria multimilor nuantate (Iuzzy), al crui nceput poate Ii situat n 1965 prin lucrrile lui
L.A. Zadeh, reprezint un instrument matematic Ioarte puternic pentru tratarea ambiguittii de
natur nestatic si pentru modelarea rationamentului nuantat si aproximativ. Aceasta teorie a
Iurnizat calculului neuronal o serie de modele Ioarte interesante. Utiliznd multimile nuantate, se
pot realiza retele neuronale capabile s nvete din date de instruire incomplete, ambigue sau
contradictorii. Este previzibil o crestere a rolului modelelor de nvtare bazate pe utilizarea
conceptului multimilor nuantate si pe rationamentul aproximativ. Retelele neuronale bazate pe
astIel de modele vor avea un grad sporit de robustete si, desigur, un grad de inteligent sporit.
Calculul neural reprezint acum un domeniu de cercetare Iascinant si o provocare
intelectual si tehnologic major. Retelele neurale au modiIicat imaginea noastr asupra proceselor
de calcul si aspectelor algoritmice ale Inteligentei ArtiIiciale si au Iurnizat psihologiei un model al
proceselor mentale.
Prin aplicatiile n rezolvarea unor probleme diIicile, cum sunt cele de estimare, identiIicare,
de optimizare a unor probleme complexe, retelele neurale capt o pondere si un impact tot mai
mare, nu doar n stiint si tehnologie, ci si n domeniul mult sensibil al vietii sociale. Retelele
neurale pot reprezenta instrumente puternice n luarea deciziilor economice si chiar politice.
Dar, n ncheiere, trebuie mentionat c, pn n prezent, tehnicile neuronale nu sunt complet
stpnite din punct de vedere matematic, ceea ce Iace diIicil cuantiIicarea tuturor avantajelor pe
care le poate prezenta o asemenea abordare.

Retelele neurale au prezentat n ultimii ani o explozie de interes, si sunt aplicate cu succes
ntr-o Ioarte larg sIera de domenii, n arii diverse, cum ar Ii Iinantele, medicina, ingineria, geologia
si Iizica. ntr-adevr, oriunde sunt probleme de predictie, clasiIicare sau control, retelele neurale au
Iost introduse cu succes.
O Retea Neurala ArtiIiciala (RNA) (ANN - ArtiIicial Neural Network) este, n principiu, un
sistem modelat dup creierul uman, desi cteva retele neurale nu sunt chiar asa de apropiate de
structura creierului, iar altele nu au la mijloc o baz biologic a creierului. Oricum, majoritatea
retelelor neurale, au o mare similaritate cu creierul biologic. Retelele neurale s-au dezvoltat n
cadrul domeniului Inteligentei ArtiIiciale; n special, atacnd imitativ toleranta la greseli si
capacitatea de a nvta a sistemelor neurale biologice, modelnd la un nivel Ioarte jos structura
creierului (Petterson, 1996).

Analogie cu neuronul biologic
nc de la nceputul abordrii domeniului, s-a simtit nevoia unui model care s capteze
trsturile principale ele unui sistem neuronal real, n scopul de a prezenta comportri similare.
Modelul trebuie s ignore deliberat aspectele secundare, adic s Iie suIicient de simplu pentru a
putea Ii implementat.
Elementul ce st la baza creierului uman, este un anumit tip de celul, care ne permite s ne
aducem aminte, s gndim, si s putem aplica inIormatii din anumite experiente anterioare Iiecrei
actiuni pe care ncercm sa o ndeplinim. Aceste celule sunt cunoscute cu numele de neuroni,
Iiecare dintre neuroni, putndu-se conecta cu mai mult de 200.000 de astIel de neuroni. Puterea
creierului, provine exact din acest Iapt, adic din cauza numrului mare de neuroni, si a multiplelor
conexiuni dintre ei. Creierul este alctuit n principal dintr-un numr Ioarte mare (circa
10.000.000.000) de neuroni, masiv interconectati (cu o medie de cteva mii de interconexiuni
pentru Iiecare neuron n parte, desi acest lucru variaz enorm).
Fiecare neuron este o celul specializat care poate propaga un semnal electrochimic. Un
neuron prezint o structur de intrare ramiIicat (dendritele), un corp al celulei (soma), si o structura
de iesire ramiIicat (axonul). Terminatiile axonului unei celule sunt conectate cu dendritele unui alt
neuron, printr-o sinaps. Toti neuronii naturali, prezint 4 componente de baz, care sunt:
dendritele, soma, axonul si sinapsele. Pentru nceput, neuronul biologic primeste inIormatii de
intrare, de la alte surse, le combin ntr-un anumit mod, realizeaz n general o operatie neliniar
asupra rezultatului obtinut nainte, si Iurnizeaz o iesire care este de Iapt rezultatul Iinal. Figura de
mai jos ne prezint un neuron biologic simpliIicat si relatiile dintre cele 4 componente ale sale.
Cnd un neuron este activat, el genereaz prin axon un semnal electrochimic. Acest semnal
parcurge sinapsele altor neuroni, care la rndul lor vor putea avea posibilitatea s se activeze. Un
neuron se activeaz numai n cazul n care semnalul receptat de corpul celulei, prin dendrite,
depseste un anumit nivel (prag de activare).
Puterea semnalului primit de neuron (si prin urmare urmnd posibilitatea activrii) depinde
Ioarte mult de eIicacitatea sinapselor. Fiecare sinaps, contine o deschiztura, cu un neuro-
transmittor chimic care poate transmite un semnal prin respectiva deschiztur.















Unul dintre cei mai inIluenti cercettori n sistemele neurologice (Donald Hebb) a
revendicat c nvtarea const, n principal, n a alterna "tria" conexiunilor sinaptice. n concluzie,
dintr-un Ioarte mare numr de elemente simple de procesare (Iiecare crend o pondere din suma
intrrilor sale, si apoi trimitnd un semnal dac toate intrrile trec peste un anumit prag), creierul
poate executa actiuni Ioarte complexe. Desigur, o mare important o are complexitatea creierului,
care nu a Iost discutat aici, dar este interesant cum aceste retele neurale artiIiciale pot achizitiona
asemenea rezultate remarcabile utiliznd un model nu chiar Ioarte complex n comparatie cu
creierul.
Neuronul artiIicial, elementul de baz al retelelor neurale, simuleaz cele 4 Iunctii de baz
ale neuronului natural.
Trebuie precizat c sistemul neuronal biologic nu se naste cu toate cunostintele si abilittile
pe care le va putea, eventual, dobndi ulterior. n timp, are loc un proces de nvtare, n cursul
cruia se produc modiIicri att n structura retelei neuronale ct si n continutul ei, pentru a
ncorpora noi inIormatii.

Modelul neuronului artificial
Neuronul artificial
Primul model Iormal al neuronului, privit ca element de procesare a inIormatiei a Iost
propus de W. McCulloch si S. Pitts n anul 1943, (McCulloch 43). Acest model porneste de la
ipotezele urmtoare:
- Activitatea neuronului este de tipul 'totul sau nimic, adic iesirea acestuia poate Ii zero sau unu.
- Pentru activarea unui neuron este necesar ca la un moment dat cel putin una din sinapsele
(legturile) sale s Iie excitat.
- Singura ntrziere n sistemul nervos este cea sinaptic (ceea ce permite modelarea n timp discret,
cu o unitate de timp echivalent cu timpul modiIicrii valorii unei sinapse).
- Activitatea oricrei conexiuni inhibatoare determin trecerea n starea inactiv a neuronului
receptor (iesire egal cu zero).
- Structura retelei (conIiguratia conexiunilor dintre neuroni) este invariant n timp.

Neuronul artiIicial, elementul de baz al retelelor neurale, simuleaz cele 4 Iunctii de baz
ale neuronului natural. Neuronii artiIiciali sunt mult mai simpli dect neuronii biologici; Iigura de
mai jos prezint componentele de baza a unui neuron artiIicial.
De urmrit este Iaptul c intrrile sunt reprezentate cu x
ik
. Fiecare dintre aceste intrri sunt
multiplicate de cte o pondere, corespunztoare unei conexiuni, reprezentate cu w
ik
. n cel mai
simplu caz, acestea sunt nsumate, si trecute printr-o Iunctie de transIer pentru a se genera un
rezultat, care apoi va Ii Iurnizat iesirilor.
Cele 4 prti
principale
Dendrite: accept
Soma: Proceseaz
Axonul: Converteste
intrrile
Sinapsele: Reprezint contactul
electrochimic dintre














Pentru a putea prinde esenta sistemelor neurale biologice, un neuron artiIicial este deIinit,
dup cum urmeaz:
el primeste un numr de intrri (de la datele de intrare originale, sau de la iesirile altor neuroni din
reteaua neural). Fiecare intrare vine printr-o conexiune ce a Iost ntrit (sau slbit); aceste
ponderi corespund unei activitti sinaptice din neuronul biologic. Fiecare neuron are propriul si
singurul su prag. Suma ponderilor intrrilor este Iormat, iar pragul este sczut, pentru a se
compune activarea neuronului (cunoscut si sub denumirea de Potential Post-Sinaptic, sau PSP -
Post-Synaptic Potential al neuronului).
semnalul de activare este trecut printr-o Iunctie de activare (cunoscut si sub numele de Iunctie de
transIer) pentru a produce iesirea unui neuron.
Dac se utilizeaz un pas pentru Iunctia de activare (ex: iesirea neuronului este 0, dac
intrarea este mai mic ca 0, si 1, dac intrarea este mai mare sau egal cu 0) atunci neuronul
actioneaz ca un neuron biologic, descris anterior (scznd pragul din suma ponderilor si
comparnd cu 0, este echivalent n a compara suma ponderilor cu pragul). Momentan, pasul Iunctiei
este utilizat rar n retelele neurale artiIiciale. De notat este Iaptul c ponderile pot Ii negative, ceea
ce implic Iaptul c sinapsa are un eIect mai degrab inhibitoriu dect excitatoriu pentru neuron:
neuronii inhibitori se aIl n creier.

Aceasta descrie Iiecare neuron individual. Urmtoarea ntrebare este: cum trebuie s Iie
conectati neuronii? Dac retelei nu i se cunoaste viitoarea utilizare, ea trebuie s contin intrri
(care vor primi valorile variabilelor care ne intereseaz) si iesiri (cum ar Ii semnale de control sau
predictie). Intrrile si iesirile corespund, de exemplu, unor senzori sau unor nervi ai motorului, la Iel
ca cei care vin de la ochi si controleaz minile. Oricum, pot exista si neuroni ascunsi, care vor juca
un rol important n retea. Straturile de neuroni de la intrare, ascunse si de la iesire trebuie s Iie
conectate mpreun.
Desi majoritatea retelelor neurale artiIiciale sunt construite pe aceeasi structur de baz,
unele prti Iundamentale pot sa diIere Ioarte mult de la o retea la alta.

Structura unui neuron artificial
Un neuron are un set de n intrri x
j
, unde indicele j ia valori de la 1 la n, indicnd sursa
semnalului de intrare. Fiecare intrare x
j
este ponderat prin intermediul unor ponderi sinaptice,
nainte de a intra n corpul principal al elementului de procesare. Aceast pondere se noteaz cu w
j
,
astIel c, o intrare x
j
a neuronului va Ii multiplicat cu ponderea w
j
. Dac w
j
~ 0, atunci ponderea se
numeste pondere excitatoare, iar dac w
j
0, ponderea se numeste inhibatoare.
n plus, un neuron are un prag de activare (sau de excitare) precum si o valoare de prag
care trebuie atins sau depsit pentru ca neuronul s produc semnal. De asemenea, neuronul are o
Iunctie de activare I si un semnal de iesire O (iesirea Iunctiei neliniare I). Semnalul de iesire O
constituie intrarea ctre un alt neuron.
X
2
X
1
L
Intrr
i
W
1 k

W
2 k

Ponder
i
Prag

O
k

Iesire

Y
k

Atunci cnd un neuron Iace parte dintr-o retea neuronal, el este reIerit ca un nod. Pentru m
noduri ntr-o retea, n descriere se va introduce un nou indice i, necesar pentru a distinge un neuron.
Intrrile, ponderile, pragurile de activare, Iunctia neliniar, etc. se vor scrie ca: x
ij,
w
ij,
O
ij,
ij
,
I
ij,
etc.
Modelul de baz al neuronului este prezentat n Iigura urmtoare:








Functia de transIer a modelului de baz este descris de relatia:

) x w ( I O
n
1 j
ij ij i i
=
=
iar conditia de activare este:
i
n
1 j
ij ij
x w

=

unde indexul i reprezint neuronul n discutie iar j reprezint intrrile de la alti neuroni.
Acest model a Iost prezentat n 1943 de ctre Warren McCulloch si Pitts. Este modelul unui
singur neuron idealizat. Este un model Ioarte simplu, Ir nvtare si Ir adaptare si s-a constituit
blocul de baz pentru celelalte modele elaborate ulterior.
Fiecare intrare primeste un stimul x
j
care este ponderat (nmultit) cu o valoare w
ij
. Toate
intrrile ponderate sunt sumate, si, dac aceast sum egalizeaz o valoare de activare, este generat
un rspuns, prin intermediul unei Iunctii neliniare I. Iesirea este exprimat prin:
) w x ( I O
n
1 j
i ij ij i
=
=
n acest model termenii
i
si ponderile w
ij
sunt considerate ca ajunse la valoarea lor Iinal.
Dac ponderile sunt constante, atunci Iaza de nvtare a luat sIrsit.

Func(ia de activare
Scopul Iunctiei de activare, numit si neliniaritate, este de a asigura un rspuns mrginit al
neuronului. Prin aceasta, rspunsul unui neuron este conditionat, sau mrginit, ceea ce conduce la
controlabilitatea neuronului. n lumea biologic conditionarea stimulilor este Icut asupra tuturor
senzorilor de pe intrri.
Cele mai utilizate neliniaritti sunt Iunctia treapt, Iunctia ramp si Iunctia sigmoid. Aceste
neliniaritti sunt prezentate n Iigurile urmtoare:

Functia treapt.








I
i
x
j1
x
jn
.

.

.

Intrri

w
j1
w
jn
Pra
R
i
O
i
Iesire

Neliniarita
x
y
1
-1

<
+
=
0 x , 1
0 x , 1
) x ( I

x
y
1

<
+
=
0 x , 0
0 x , 1
) x ( I
Functia ramp.








Functia sigmoid.








Neliniarittile, prezentate n Iigurile de mai sus, sunt toate mrginite, ele avnd limit
inIerioar sau superioar la 1 , 2 / 1 . n retelele actuale, utilizatorul alege aceste valori.
Cea mai utilizat Iunctie neliniar este totusi Iunctia sigmoid.

Re(ele neuronale artificiale

Domeniul sistemelor modelate dup creierul uman cuprinde mai multe nume, ca de
exemplu: conexionismul, procesarea paralel distribuit, algoritmi de nvtare matematici, sisteme
naturale inteligente, neuro-procesarea si retelele neurale artiIiciale. Este o ncercare de a simula cu
un hardware specializat sau cu un soItware soIisticat, o multitudine de straturi ce cuprind elemente
simple, ce se numesc neuroni. Fiecare neuron trebuie s Iie conectat cu neuronii vecini, cu un
coeIicient de conectivitate aleator, care reprezint "tria" acestor conexiuni. nvtarea se realizeaz
ajustnd aceste trsturi ale conexiunilor, care va cauza la iesirile retelei neurale, o serie de rezultate
care vor Ii n concordant cu intrrile retelei.
Deci, o Retea Neurala ArtiIiciala este un sistem de procesare a inIormatiei, care se bazeaz
pe unele generalizri ale cunoasterii umane sau ale biologiei neurale. Fausett a Icut urmtoarele
legaturi ntre cele doua domenii:
- procesarea inIormatiei se realizeaz la nivelul unor Ioarte simple elemente numite neuroni;
- semnalele circul ntre neuroni prin conexiunile dintre ei;
- Iiecrei conexiuni dintre doi neuroni, i este asociat o pondere, care ntr-o retea neural tipica
multiplic semnalul transmis;
- Iiecare neuron, Ioloseste o Iunctie de activare (de obicei neliniar), asupra intrrilor retelei (suma
ponderilor corespunztoare semnalelor de intrare), pentru a determina iesirea retelei.

Exist trei tipuri diIerite de neuroni n cadrul unei retele neurale: neuroni de intrare (input),
neuroni de iesire (output) si n unele retele neuroni ascunsi (hidden).
- Neuronii de intrare primesc inIormatia codat de la exterior.
- Neuronii de iesire trimit semnale de iesire ctre exterior sub Iorm de rspunsuri codate.
- Neuronii ascunsi permit calcule intermediare ntre intrri si iesiri.

O retea neurala (NN - Neural Network) este caracterizat de urmtoarele elemente
particulare:
- Arhitectura - reprezint structura retelei, conexiunile retelei;

<

+
=
L
H L
H
x x , 1
) x , x ( x , x * k
x x , 1
) x ( I

x
y
1
-1
x
H
x
L

<

+
=
0 x , 0
) x , 0 | x , x * k
x x , 1
) x ( I
H
H

x
y
1
x
H
x
e 1
1
) x ( I

+
=

x
y
1
-1
- Algoritmul de nvtare - este o metod de determinare a ponderilor corespunztoare Iiecrei
conexiuni n parte;
- Functia de activare - reprezint Iunctia care ne da iesirea retelei.

Retelele neuronale artiIiciale sunt constituite din numerosi neuroni artiIiciali interconectati ntre ei.
Neuronii constituenti sunt de obicei organizati n multimi distincte numite straturi (layers). Exista
cazuri de retele neuronale particulare, avnd o topologie speciala, cnd neuronii nu sunt organizati
pe straturi bine deIinite, ci pe anumite submultimi.
O retea neuronala clasica consta dintr-o secventa de straturi de neuroni, cu conexiuni totale sau
aleatore ntre neuronii continuti n straturi succesive. ntotdeauna vom avea pentru o retea
neuronala, cel putin doua straturi de neuroni, ce au rolul de a comunica cu mediul exterior:
- un strat de intrare : care are rolul de a prelua datele de intrare x
i
, i 0, n cu termen bias x
0
1,
sau i 1,n Iara termen bias. Vectorul x (x
0
, x
1
,..., x
n
) sau x (x
1
, x
2
,..., x
n
) va Ii numit vector de
intrare al retelei neuronale.



- un strat de iesire: unde se obtin rezultatele y
j
, j 1,m Iurnizate de reteaua neuronala, ca raspuns la
vectorul de intrare prezentat la stratul de intrare si al propagarii acestor date de la stratul de intrare
catre stratul de iesire. Vectorul y (y
1
, y
2
,..., y
m
) se numeste vector de iesire al retelei neuronale.


Fig. Arhitectura generala a unei retele neuronale.

Toate celelalte straturi ale retelei neuronale, daca exista, diIerite de stratul de intrare si de stratul de
iesire vor Ii denumite straturi ascunse (hidden layers).

Obs. Cnd vom spune despre o retea neuronala ca are n straturi, nu vom lua n calcul si stratul de
intrare, ceea ce nseamna ca vom avea n - 1 straturi ascunse stratul de iesire. Neuronii din stratul
de intrare au ntotdeauna ca si Iunctie de activare Iunctia liniara, rolul lor Iiind doar de-a propaga
catre stratul succesor vectorul de intrare. Ceilalti neuroni, din celelalte straturi, pot avea orice Iunctii
de activare.

ntr-o RNA se pot distinge dou etape de Iunctionare: etapa de nvtare (antrenare) si etapa
de recunoastere (generalizare). n cazul nvtrii supervizate, n etapa de antrenare, parametrii
retelei (ponderile conexiunilor sinaptice, w
ij
) sunt ajustati pe msura prezentrii perechilor de
vectori intrare/iesire. Etapa de recunoastere const n exploatarea retelei, adic pentru date de
intrare ce nu Iigurau n lotul de antrenare, RNA oIer un rspuns la iesire. Cele dou etape de
Iunctionare se ntreptrund adesea.

Exist mai multe posibilitti de clasiIicare a retelelor neuronale, dou dintre acestea Iiind:
- dup sensul de transIer al inIormatiei se disting: retele statice si dinamice.
- dup modul de nvtate (antrenare), exist retele cu nvtare supravegheat si
nesupravegheat.

n cazul retelelor statice, datele primite din exterior tranziteaz reteaua ntotdeauna n sens
unic, de la intrare ctre iesire, de unde si denumirea de retele IeedIorward. Retelele dinamice contin
bucle de reactie, ceea ce determin o evolutie mai complex n timp.
ReIeritor la cel de-al doilea criteriu de clasiIicare, precizm c nvtarea supervizat se
desIsoar pe baza unor exemplare care comport perechi univoce intrare/iesire, cu ajutorul crora
algoritmi specializati stabilesc msura inIluentelor ntre neuroni. n cazul nvtrii nesupravegheate
are loc, de Iapt, un proces de autoorganizare a retelei, Ir a mai Ii necesar precizarea unor corelatii
intrare/iesire de tipul mentionat mai nainte.

Retelele neurale artiIiciale sunt, astIel, un instrument de analiz, inspirat din structura
paralel a creierului uman, simulnd un model de prelucrare paralel, puternic interconectat, compus
din multe elemente de procesare relativ simple. Retelele neurale artiIiciale actuale sunt Ioarte
departe de structura neural biologic si de simularea proceselor cognitive. DiIerentele existente se
reIer att la arhitectur, ct si la proprietti, de exemplu:
- retelele neurale artiIiciale nu copiaz structurile neurale biologice, ci reprezint modele mult
simpliIicate ale acestora, dup cum aIirma si T. Sejnowski "nici cele mai realiste modele ale
creierului s-ar putea s nu reuseasc evidentierea Iunctionrii tesutului nervos, studiul trebuie
realizat pe modele simpliIicate, care s contin trsturi esentiale.
- retelele neurale sunt realizate de obicei pe baza ctorva tipuri de neuroni artiIiciali, n timp ce
exist o mare varietate de neuroni biologici;
- neuronii artiIiciali sunt mai rapizi dect cei biologici.

Avantaje
Succesul covrsitor al aplicrii retelelor neurale n diverse domenii, poate Ii atribuit ctorva
Iactori:
Puterea. Retelele neurale Iolosesc tehnici Ioarte soIisticate de modelare, capabile s modeleze
Iunctii extrem de complexe. n particular, retelele neurale sunt neliniare. Pentru multi ani modelarea
liniar a Iost utilizat ca o tehnic comun n marea majoritate a domeniilor n care era necesar
modelarea, deoarece modelele liniare erau singurele strategii de optimizare cunoscute. Unde
aproximarea liniar nu este pe deplin corect (un caz Ioarte ntlnit) modelele suIer corespunztor.
Retelele neurale tin n Iru problema cursei de dimensionalitate, care d peste cap ncercrile de a
modela Iunctii neliniare cu un numr Ioarte mare de variabile.
Folosirea uoara. Retelele neurale nvat dup un anumit exemplu. Un utilizator de retele neurale
adun datele reprezentative, si apoi le invoc algoritmilor de antrenare s nvete automat structura
de date dat de utilizator. Cu toate c utilizatorul nu are cunostinte euristice despre cum se
selecteaz si se construiesc datele, cum se selecteaz o retea neural, si cum se interpreteaz
rezultatele, nivelul de cunostinte al utilizatorului pentru a lucra cu retele neurale este mult mai mic
n comparatie cu cazul n care s-ar Ii Iolosit metode de statistic traditionale.

Retelele neurale se apeleaz intuitiv, si sunt bazate pe un nivel Ioarte jos de modelare a
sistemelor biologice. n viitor, dezvoltarea acestor modele neuro-biologice vor conduce sigur la
aparitia computerelor inteligente.

Biologic, retelele neurale sunt construite ntr-un spatiu tridimensional, Iormat din
componente microscopice. Acesti neuroni par capabili s se conecteze cu vecinii Ir anumite legi
de conectare. Acest Iapt nu este adevrat n orice retea construit de om. Retelele neurale artiIiciale
sunt alctuite din neuroni artiIiciali primitivi. Aceast alctuire de neuroni, este produs crendu-se
straturi, Iiecare Iiind conectat la alt strat. Modul cum sunt conectate aceste straturi poate s varieze
de la o retea la alta. Toate retelele neurale artiIiciale au o structur si o topologie aproximativ
similar. Ctiva neuroni, vor interactiona cu lumea de aIar, prin a primi datele de intrare, iar alti
neuroni vor avea rolul de a Iurniza lumii de aIar datele de iesire. Restul neuronilor vor Ii ascunsi.











Din Iigura de mai sus, se observ ca neuronii sunt grupati n straturi. Stratul de intrare este
Iormat din neuroni care primesc date de intrare, din mediul extern. Stratul de iesire este Iormat, la
rndul su, din neuroni care vor comunica n aIara sistemului, datele de iesire. De obicei, exist
ntre aceste dou straturi un anumit numr de straturi ascunse, Iigura de mai sus prezentndu-ne o
structur simpl ce contine doar un singur strat ascuns.
n momentul n care stratul de intrare primeste date, neuronii din acest strat vor Iurniza
Iiecare cte o iesire, care va deveni o intrare pentru celelalte straturi din sistem. Procesul va
continua pn n momentul n care o anumit conditie este satisIcut sau pn n momentul n care
stratul de iesire Iurnizeaz ctre mediul exterior o iesire.
Trebuie determinat numrul de neuroni din stratul ascuns, pentru ca reteaua neural s dea
rezultate ct mai bune, deoarece, de exemplu, un neuron n minus poate genera erori. Dac se
mreste numrul de neuroni ascunsi prea mult, se va obtine o suprancrcare a retelei, iar setul de
date pentru nvtare va Ii memorat, Icnd reteaua neIolositoare n cazul n care apare un nou set de
nvtare.

Comunicarea yi tipurile de conexiuni
Neuronii sunt conectati printr-o retea, Iiecare conexiune reprezentnd pentru un neuron o intrare,
iar pentru cellalt cu care este conectat, o iesire. Aceste conexiuni sunt, de obicei, unidirectionale,
dar oricum pot Ii si bidirectionale, din cauz c poate exista conexiune si din cealalt directie. Un
neuron primeste date de intrare de la mai multi neuroni, dar poate produce numai o singur iesire,
care va Ii comunicat altor neuroni.
Strat de
intrare
Strat ascuns (pot
exista mai multe
straturi ascunse)
Strat de
iesire
Un neuron dintr-un strat poate comunica cu orice alt neuron, sau, se poate ntmpla ca acesta
s nu aib nici o conexiune. Neuronii dintr-un strat trebuie sa Iie ntotdeauna conectati cu neuronii
din cel putin un strat.

Conexiuni inter-straturi
Exista diIerite tipuri de conexiuni care se pot realiza ntre straturi, acestea Iiind denumite
conexiuni inter-straturi:
- conexiuni reali:ate in totalitate - Iiecare neuron apartinnd primului strat este conectat cu Iiecare
neuron din cel de-al doilea strat;
- conexiuni partiale - un neuron apartinnd primului strat nu este conectat cu toti neuronii de pe cel
de-al doilea strat;
- conexiuni de tip feed forward - neuronii de pe primul strat trimit datele de iesire neuronilor de pe
cel de-al doilea strat, dar ei nu pot primi intrri napoi de la neuronii de pe cel de-al doilea strat;
- conexiuni bidirectionale - este un alt tip de conectare care poate s transporte si inIormatiile de
iesire (iesirile) ale neuronilor de pe cel de-al doilea strat ctre neuronii de pe primul strat;
Conexiunile de tip Ieed Iorward si cele bidirectionale pot Ii conectate n totalitate sau doar partial.
- conexiuni ierarhi:ate - dac reteaua neural are o structur ierarhic, neuronii de pe un strat mai
de jos poate comunica numai cu neuronii de pe urmtorul strat;
- conexiuni re:onante - n acest caz, straturile prezint conexiuni bidirectionale, si ele pot trimite
mesaje n retea pn cnd o posibil conditie de stop este ndeplinit.

Conexiuni intra-straturi
n structurile mai complexe, exist comunicare chiar si ntre neuronii aIlati pe acelasi strat,
aceste situatii Iiind cunoscute sub numele de conexiuni intra-straturi. Sunt dou tipuri de astIel de
conexiuni:
- conexiuni recurente
Neuronii dintr-un strat sunt conectati total sau partial cu alti neuroni. Dup ce acesti neuroni
primesc datele de intrare de la alt strat de neuroni, ei vor comunica date de iesire de mai multe ori
ntr-un anumit timp, nainte ca lor s le Iie permis de a transmite date ctre alt strat. n general,
unele conditii ce trebuiesc realizate de ctre neuronii de pe un strat, trebuie s Iie ndeplinite nainte
ca neuronii s comunice datele de iesire ctre alt strat.
- conexiuni on-center/off surround
Un neuron dintr-un strat prezint conexiuni excitatorii cu el nsusi si cu vecinii cei mai
apropiati si conexiuni inhibitorii cu ceilalti neuroni. Ne putem imagina acest tip de conexiune ca o
grupare de neuroni competitiv. Fiecare astIel de grupare de neuroni trimite semnale excitatorii
ctre ea nssi, si ctre toti membrii gruprii, dar trimite si semnale inhibitorii ctre toti membrii
altor astIel de grupri. Dup un anumit numr de iteratii, de astIel de schimburi de semnale,
neuronii cu valoarea iesirii activ va cstiga, si i este permis s reactualizeze ponderile gruprii si
membrilor gruprii respective.
(Sunt dou tipuri de conexiuni dintre doi neuroni, conexiuni excitatorii si conexiuni
inhibitorii. n cazul conexiunilor excitatorii, iesirea neuronului ntreste posibila actiune a
neuronului cu care este conectat. Cnd conexiunea dintre doi neuroni este inhibitoare, atunci iesirea
neuronului care trimite mesajul, va reduce posibila activitate a neuronului ce primeste mesajul.)

n Iinal, mentionm c numrul neuronilor din straturile ascunse poate Ii orict de mare, ns
numeroase studii eIectuate pn n prezent, au constatat c, pentru majoritatea problemelor practice,
este suIicient Iolosirea a unuia sau dou straturi ascunse. n ceea ce priveste numrul neuronilor
din Iiecare strat, acesta depinde de problema speciIic analizat, neexistnd o procedur general de
dimensionare a unei astIel de retele.

Vorbind la modul general, o retea neuronal este o retea de comunicare, care comunic o
Iunctie de cost pentru o iesire dorit. Matematic vorbind, o retea neuronal reprezint un sistem
dinamic care poate Ii modelat prin intermediul unui set de ecuatii cu diIerente. Un astIel de sistem
depinde de valorile parametrilor ecuatiei. Mici schimbri ale parametrilor au eIect asupra stabilittii,
instabilittii (oscilatii) sau instabilitate catastroIal (haos).
Retelele neuronale sunt caracterizate prin:
1. Procesare colectiv
- programul este executat n mod colectiv
- operatiile sunt descentralizate
2. Robustete
- operatiile sunt insensibile la insuccesele repetate
- operatiile sunt insensibile la intrri partiale sau perturbate
3. nvtarea
- Reteaua realizeaz asociatii n mod automat
- Programul este creat de retea pe durata nvtrii
- Reteaua se adapteaz cu sau Ir proIesor, programatorul nu intervine.
4. Operatii asincrone: retelele neurale biologice nu posed ceas pentru sincronizarea operatiilor lor.

Formele care se aplic la intrarea unei retele neurale pot Ii completate, partial complete sau
aIectate de zgomot. O perIormant 100 a retelei nseamn c pentru Iiecare semnal de intrare
aplicat la intrarea retelei, aceasta va produce Iorma de iesire dorit. Atunci cnd se proiecteaz o
retea neural, trebuie avute n vedere urmtoarele:
1. Topologia retelei
2. Numrul de straturi n retea
3. Numrul de neuroni din Iiecare strat
4. Algoritmul de nvtare ce va Ii adoptat (numai n cazul supervizat)
5. Numrul de iteratii pentru Iiecare Iorm pe durata antrenrii
6. Numrul de calcule pe iteratie
7. Viteza de recunoastere a unei Iorme
8. PerIormantele retelei
9. Plasticitatea retelei (gradul de Iunctionalitate a retelei)
10. Capacitatea retelei (numrul maxim de Iorme ce poate Ii cunoscut de retea)
11. Gradul de adaptabilitate a retelei (ct de mult se poate adapta reteaua dup antrenare)
12. Valorile de prag ale neuronilor (acestea Iiind Iixate initial la valori Iixe: 1)
13. Valorile de activare
14. Limitarea ponderilor
15. Alegerea Iunctiilor neliniare
16. Imunitatea la perturbatii
17. Erorile stationare sau valorile Iinale ale ponderilor.

Modelul perceptronului simplu
Modelul perceptronului implementat de ctre Rosenblatt, reprezint smburele din care s-au
dezvoltat toate celelalte retele neurale. Arhitectura perceptronului standard este cea mai simpl
conIiguratie posibil a unei retele si ea permite ca nvtarea acesteia s se realizeze Iolosind un
algoritm simplu si eIicient. Acest algoritm este reprezentativ pentru o clas larg de algoritmi de
nvtare, motiv pentru care i s-a acordat o atentie special
Modelul neuronului artiIicial (McCulloch-Pitts) este un sistem n bucl deschis. Nu dispune
de nici un mecanism de a compara rspunsul actual cu cel dorit si prin urmare nu exist un proces
de ajustare a ponderilor. Nevoia de reactie a Iost rapid recunoscut, mai ales ntr-o perioad n care
teoria sistemelor se orienta ctre controlul adaptiv. Prin urmare, pornind de la modelul McCulloch-
Pitts s-a dezvoltat urmtoarea generatie de paradigme, cu nvtare si adaptare. Un astIel de model
este perceptronul.
Perceptronul este o paradigm care necesit nvtarea supervizat. El este un sistem de
recunoastere a Iormelor care recunoaste Iorme abstracte si geometrice de la niste intrri optice. El
poate Iace generalizri limitate si poate categorisi Iorme expuse la intrare. Mecanismul de nvtare
depinde de eroarea dintre tint si iesirea actual.

Perceptronul simplu
Perceptronul cu un singur strat (Syngle Layer Perceptron) este cel mai simplu model de
retea neuronal, ce necesit nvtarea supervizat si are capacitti de estimare si clasiIicare a
Iormelor de intrare.
Structura sa presupune, desigur, un singur strat de neuroni, iar mecanismul de nvtare
depinde de eroarea dintre valoarea iesirii dorite si iesirea curent.
Un perceptron monostrat cu dou intrri este schematic reprezentat n Iigura urmtoare:







unde vectorii Xx
1
, x
2
}, Ww
1
,w
2
}, reprezint vectorii de intrare si respectiv al ponderilor, iar ,
I, reprezint pragul si Iunctia de activare a acestui caz particular de perceptron (desigur c, unui caz
general i vor corespunde vectori de intrare si ponderi n-dimensionali).
Pe durata antrenrii perceptronului, Iiecare set de intrare X excit intrrile si este produs un
rspuns O. Acest rspuns este comparat cu iesirea dorit, iar eroarea rezultat este utilizat pentru
ajustarea ponderilor.
Eroarea poate Ii exprimat ca:
O T E =
unde, T este valoarea iesirii tint, iar O valoarea curent a iesirii.
Se dovedeste c, Iolosind modelul perceptronului se rezolv problema clasiIicrii multimii
unor vectori de intrare n-dimensionali, n dou clase A si B. Ecuatia:

=
=
n
1 i
i i
0 x w
determin Irontiera celor dou semispatii n R
n
, care separ elementele clasei A, de cele ale clasei
B. Pentru cazul n 2, aceast ecuatie reprezint o dreapt n planul (x1,x2), n care Iiecare vector de
intrare este reprezentat printr-un punct. n Iigura urmtoare este reprezentat separarea
semispatiilor, pentru acest caz.








Din ecuatia dreptei 0 w x w x
2 2 1 1
= + , rezult:
2 2
1
2
w
1 x
w
w
x

+

=
I
x
1
x
2
w
1
w
2

O
0 w x w x
2 2 1 1
= +
x
1
x
2
unde
2 w
1 w
panta dreptei de separatie, iar
2
w

intersectia dreptei de separatie cu axa x

2
.
Prin modiIicarea ponderilor w
1
si w
2
se modiIic pozitia dreptei n planul respectiv:
problema const n gsirea unui algoritm de nvtare, care s determine ponderile w
1
si w
2
astIel ca,
Irontiera s ajung s separe corect elementele clasiIicate, n clasele A, respectiv, B.

nvatarea
Perceptronul monostrat (Syngle Layer Perceptron) necesit nvtarea supervizat. Rolul
proIesorului n nvtarea supervizat este de supervizare. Prin proIesor se ntelege c, pe durata
nvtrii, exist un circuit aditional care compar iesirea dorit cu cea actual. Aceasta nseamn c,
atunci cnd la intrare se aplic un stimul, iesirea dorit este cunoscut apriori. Iesirea actual a
retelei neuronale si iesirea dorit sunt aplicate unui comparator care produce un semnal de eroare.
Aceast eroare este procesat n concordant cu algoritmul de nvtare, care va ncerca s
minimizeze aceast eroare ajustnd valorile ponderilor sinaptice w
ij
. Acest proces necesit un numr
mare de iteratii pn la obtinerea unei erori dorite.
Modelarea procesului de nvtare se Iace prin explicitarea evolutiei n timp a ponderilor.
Forma matricei w
ij
determin ntotdeauna topologia retelei, dac considerm c ponderile w
ij
nule
din aceast matrice Iormalizeaz lipsa unei legturi sinaptice ntre neuronii i si j. Pragul de activare
este asimilat uneori cu ponderea unei conexiuni dinspre un neuron Iormal, cu activarea constant
x
0
1 si w
0j
.
n general, schimbarea ponderilor este proportional cu semnalul de nvtare si cu stimulul
neuronului.
Prin urmare, regula de nvtare poate Ii exprimat ca:
wij(k1) wij(k) termen corector
unde k reprezint iteratia curent. nvtarea se termin cnd termenul corector este 0.

Algoritmul de nvatare
n retelele neuronale artiIiciale, descrierea modului n care ponderile conexiunilor w
ij
se
modiIic pe durata sesiunii de nvtare poart denumirea de algoritm de nvtare. Valorile Iinale ale
ponderilor w
ij
deIinesc programul retelei neuronale.
nainte de antrenarea perceptronului trebuie s se veriIice urmtoarele:
1. Se alege un set de vectori de intrare x
ij
}.
2. Se alege un set de vectori tint doriti (unul pentru Iiecare vector de intrare).
3. Se alege o valoare mic si pozitiv pentru rata de nvtare si, dac este necesar, un criteriu de
modiIicare a acesteia (inclusiv un pas de modiIicare).
4. Se selecteaz neliniaritatea (dac se alege Iunctia sigmoid se alege si Iactorul ei de ampliIicare).
5. Se decide procedura de terminare: se deIineste o valoare acceptat a erorii (poate Ii chiar nul)
pentru iesirea actual. Cnd aceast eroare este atins, procesul de nvtare este terminat. O alt
procedur de terminare poate Ii impus prin numrul de iteratii. Totusi, ultima nu garanteaz
obtinerea unor valori adecvate pentru ponderi.

Dup executarea operatiilor de mai sus algoritmul poate Ii implementat urmnd pasii :
P1. Se initializeaz ponderile si pragul de activare: se seteaz w
j
(0) si la valori mici,
aleatoare.
P2. Se aplic o Iorm de intrare X
p
si iesirea dorit corespunztoare T
p
, unde p este numrul
Iormei din set.
P3. Se calculeaz iesirea actual:

=

=
n
0 j
j j
) k ( x ) k ( w I ) k ( O
P4. Se adapteaz ponderile utiliznd relatia:
) k ( x )| k ( x ) k ( w ) k ( T | ) k ( w ) 1 k ( w + = + , pentru 1 n k 0
Iesirea dorit este atins cnd ponderile nu se mai schimb.
P5. Se repet pasii P2 - P4.

Operatii logice cu perceptroni simpli
Un perceptron simplu (Single Layer Perceptron) poate Ii privit ca:
1. O Iunctie pentru rezolvarea problemei de recunoastere a Iormelor (dou clase de Iorme).
2. O unitate binar (logic). Acelasi perceptron, Iunctie de valorile ponderilor, poate implementa
cteva Iunctii logice. Pentru n 2, pot Ii implementate Iunctiile: AND, OR, NOT. Functia XOR nu
poate Ii implementat n acest caz.


x
1
x
2
I (XOR) I (EQU) I (OR) I (AND)
0 0 0 1 0 0
0 1 1 0 1 0
1 0 1 0 1 0
1 1 0 1 1 1



n multe probleme concrete de clasiIicare (si de nvtare) intervin clase de obiecte care nu sunt
separabile liniar. Cele mai celebre, dar si mai simple probleme care nu pot Ii rezolvate de un
perceptron, sunt problemele calculrii valorilor Iunctiilor logice sau exclusiv (XOR) si de
echivalent (EQU).

x
1
0 x
2
0 w
1
x
1
w
2
x
2
0 ~ 0
x
1
1 x
2
0 w
1
x
1
w
2
x
2
w
1
~ w
1

x
1
0 x
2
1 w
1
x
1
w
2
x
2
w
2
~ w
2

x
1
1 x
2
1 w
1
x
1
w
2
x
2
w
1
w
2
~ w
1
w
2


ConIorm primei conditii, este negativ. Din inegalitatea a doua si a treia rezult
w
1
w
2
2,
iar din ultima inegalitate rezult
w
1
w
2
,
evident contradictie. Prin obtinerea acestei contradictii se arat c Iunctia de echivalent nu este
calculabil de perceptron.

Problema calculrii valorilor Iunctiei logice sau exclusiv (XOR) este reprezentat n Iigura
urmtoare.

x
x
2

(1,1) (0,1)
x
1
x
2
y
0 0 0
0 1 1
1 0 1









n exemplul de mai sus se utilizeaz un perceptron cu doi neuroni de intrare si unul de iesire
si cu dou ponderi w
1
si w
2
ce leag neuronii de intrare cu neuronul de iesire. Dac se asociaz
vectorului (1, 0) de la intrare valoarea '1 de la iesire, va rezulta c w
1
~
0. Asemntor, dac asociem Iormei (0, 1) iesirea '1 va rezulta w
2
~ 0.
Pentru Iorma de intrare (1, 1) perceptronul va da ntotdeauna rspunsul
'1, ceea ce este n contradictie cu ceea ce se doreste. Deci, este
imposibil s se gseasc valorile corecte pentru w
I
astIel nct problema
s Iie rezolvat.
Problema Iunctiei XOR poate Ii rezolvat de perceptron dac este
codat corespunztor.
Se observ dou solutii:
Se utilizeaz 3 neuroni de intrare, problema devenind:





A treia coloan de la intrare s-a obtinut prin multiplicarea primelor dou coloane. n acest Iel
problema este rezolvat, ponderile asociate Iiind w
1
1, w
2
1 si w
3
-2. DiIicultatea practic nu
const att n arhitectura retelei ct n codarea problemei de rezolvat.

Se creeaz o retea cu mai multe straturi. Pe lng cei doi neuroni de intrare si cel de iesire se
mai adaug un neuron ascuns, neuronii Iiind conectati ca n Iigura urmtoare.






Se observ c starea neuronului ascuns are o singur valoare diIerit de zero.

Perceptronul Multistrat
Limitele nvtrii Iolosind algoritmul perceptronului nu se datoreaz algoritmului nsusi, ci
sunt legate de topologia extrem de simpl a retelei utilizate, care asigur doar mprtirea spatiului
intrrilor n dou semiplane. Dac problema de nvtare necesit regiuni de decizie mai complicate,
atunci trebuie mrit complexitatea retelei.
Solutia const n utilizarea unor retele compuse din mai multi perceptroni simpli organizati
ntr-o structur ierarhic, stratiIicat. Datorit acestui tip de organizare, asemenea retele neuronale
x
1
x
2
x
3
y
0 0 0 0
0 1 0 1
1 0 0 1
1 1 1 0
w 0,6
w 0,6
1 =
0 =
w 1
w -2
w 1
poart numele de perceptron multistrat (Multi Layer Perceptron - MLP). Celulele elementare ale
MLP se numesc neuroni si se deosebesc de perceptronul deIinit de Rosenblatt, prin utilizarea unor
Iunctii de activare de tip sigmoid n locul Iunctiei treapt.
ntr-o asemenea retea, neuronii sunt organizati n straturi: un strat de intrare, un strat de
iesire si unul sau mai multe straturi ascunse (intermediare), denumite astIel deoarece ntre neuronii
acestor straturi si intrrile, respectiv iesirile retelei, nu exist legturi directe. De regul, Iiecare
neuron al unui strat este conectat cu toti neuronii din stratul imediat superior ('Iully - connected
networks) si nu admit legturi ntre neuronii ce nu apartin unor straturi consecutive. Exist, ns, si
situatii n care se Iolosesc asemenea legturi, numite 'short-cut connections, cu rolul de a ntri
inIluenta unei anumite intrri asupra iesirii RNA.
Numai neuronii din straturile ascunse si, eventual, cei din stratul de iesire realizeaz o
procesare a inIormatiei. Stratul de intrare serveste doar la distribuirea intrrilor, pe care reteaua le
preia din exterior, ctre primul strat ascuns, Ir a realiza o procesare propriu-zis a acestora.
n structura perceptronului multistrat pot exista unul sau mai multe straturi ascunse de
neuroni ntre stratul de intrare si cel de iesire. Numrul de straturi ascunse si numrul neuronilor n
straturi nu sunt Iixate. ns, numeroase studii eIectuate pn n prezent au constatat c, pentru
majoritatea problemelor practice, este suIicient Iolosirea a unu sau dou straturi ascunse. n ceea ce
peiveste numrul neuronilor din Iiecare strat, acesta depinde de problema speciIicat analizat,
neexistnd o procedur general de dimensionare a unei astIel de retele.
n unele situatii se pot rezolva probleme de nvtare complexe prin cresterea numrului de
cmpuri ascunse. n realitate, aceasta nu este o solutie universal. Pentru unele probleme este
necesar o crestere exponential a numrului de straturi pentru a obtine o crestere liniar a vitezei
de nvtare. De asemenea, exist probleme pentru care viteza de nvtare descreste cu mrimea
numrului de straturi. Mrimea complexitti retelei este, asadar, o cale problematic n abordarea
proceselor de nvtare. O cale diIerit este considerarea altor tipuri de neuroni. Acest lucru revine,
n esent, la adoptarea unor tipuri diIerite de neliniaritate n comportarea neuronilor.
Gsirea unor tipuri adecvate de neliniaritate retelelor neurale conIer Iort de calcul
superioar. Comportarea neliniar a neuronilor este esential pentru un perceptron cu mai multe
straturi. Dac Iunctia de iesire ar Ii liniar, considerarea mai multor straturi nu ar aduce nici un
avantaj se poate ntotdeauna gsi un perceptron cu un singur strat care s realizeze aceeasi Iunctie
ca si perceptronul multistrat liniar.
Utilizarea Iunctiilor de iesire neliniare de tip prag prezint un dezavantaj legat de Iaptul c
aceste Iunctii nu sunt derivabile. Prin urmare, Iunctiile de tip prag nu pot Ii utilizate pentru
determinarea ponderilor prin metode de optimizare standard. Acest neajuns poate Ii depsit
considernd Iunctii de iesire (neliniare) de tip sigmoid.
Trecerea de la un singur perceptron, la un perceptron multistrat, prin adugarea nivelelor
intermediare si nlocuirea Iunctiei treapt cu Iunctia sigmoid, conduce la arhitecturi mai robuste, cu
perIormante superioare, capabile s recunoasc Iapte mei complexe. Totodat, noua arhitectur a
perceptronului multistrat este considerat o problem de optimizare, iar cei mai Iolositi algoritmi
sunt cei de tipul retropropagare (Backpropagation sau Generalized Delta Rule).


Procesul de nvatare
1. Notiuni generale.
Cea mai semniIicativa proprietate a retelelor neuronale o reprezinta Iara nici o ndoiala capacitatea
retelelor neuronale de a nvata din mediul nconjurator si de a-si mbunatati perIormantele pe baza
acestui proces de nvatare. Reteaua neuronala nvata pe baza unui proces iterativ de ajustare a
tariilor sinaptice si eventual al nivelului de activare. Daca procesul de nvatare decurge bine, atunci
reteaua neuronala acumuleaza tot mai multe inIormatii, la Iiecare iteratie.
Evident ca atunci cnd Iolosim termenul de "proces de nvatare" ne situam ntr-o terminologie mult
prea larga, care este dependenta de mai multi Iactori. Fara a ncerca sa teoretizam prea mult putem
sa observam Ioarte simplu ca termenul de "proces de nvatare" este Iolosit n maniere total diIerite
de un psiholog sau de un proIesor atunci cnd preda. De aceea trebuie sa ncercam sa Iim mai
rigurosi n deIinirea "nvatarii" si a "procesului de nvatare", deoarece vom Iolosi de acum ncolo
Iorte des aceste notiuni. Pentru aceasta vom deIini, n contextul calculului neuronal, "nvatarea"
conIorm cu, n Ielul urmator:
Def.: Invatarea este un proces prin care parametrii retelei neuronale sunt adaptati
permanent prin intermediul unor stimuli proveniti de la mediul inconfurator caruia
ii apartine reteaua neuronala. Tipul de invatare este determinat de forma de
modificare a parametrilor retelei neuronale.
DeIinitia de mai sus contine urmatoarea secventa de evenimente:
Evenimentul 1: Reteaua neuronala primeste stimuli de la mediul nconjurator;
Evenimentul 2: Reteaua neuronala se modiIica ca raspuns la stimuli;
Evenimentul 3: Ca urmare a acestor modiIicari permanente, care aIecteaza structura sa interna,
reteaua neuronala raspunde de Iiecare data ntr-un nou mod mediului de la care vin stimuli.
Sa ncercam sa dam o Iormulare matematica acestui proces descris mai sus. Pe baza celor prezentate
anterior se poate observa Iaptul c n cadrul procesului de nvatare se modiIica taria sinaptica. De
aceea avem Iormularea matematica cea mai generala a procesului de nvatare, exprimat prin
Iormula:
(1)
w
ji
(t 1) si w
ji
(t) reprezinta noua si vechea valoare a tariei sinaptice w
ji
care uneste axonul
neuronului i de o dendrita a neuronului j.
reprezinta ajustarea aplicata tariei sinaptice w
ji
(t), la momentul t, obtinndu-se valoarea w
ji
(t
1) la momentul t 1, n urma procesului de ajustare.
Ecuatia (1) contine n mod evident eIectele Evenimentelor 1, 2 si 3 prezentate mai sus. Ajustarea
este obtinuta ca urmare a unor stimuli ai mediului nconjurator (Evenimentul 1), iar valoarea
modiIicata a tariei sinaptice w
ji
(t 1) deIineste schimbarea din reteaua neuronala, ca un rezultat al
stimulilor prezentati retelei neuronale (Evenimentul 2). Din momentul t 1 reteaua neuronala
raspunde ntr-un mod nou mediului nconjurator deoarece taria sinaptica s-a modiIicat, devenind
w
ji
(t 1) (Evenimentul 3).
Def.: Se numete algoritm de invatare, un set de reguli predefinite care solutionea:a
problema "invatarii".
Evident, pentru o anumita retea neuronala nu exista un unic algoritm de nvatare. Mai degraba
exista o multime de legi de nvatare, Iiecare dintre ele avnd o serie de avantaje si de dezavantaje.
Ceea ce Iace ca algoritmii de nvatare sa Iie diIeriti este modul de calcul al ajustarii tariei sinaptice
.
Un alt Iactor important relativ la procesul de nvatare este modul de raportare a unei retele
neuronale la mediul nconjurator. n acest context putem deIini:
Def.: Se numete paradigma de invatare, un model al mediului inconfurator in care
are loc procesul de invatare al retelei neuronale.
Pe aceasta baza, putem Iormula taxonomia Iundamentala a procesului de nvatare:

Fig. Taxonomia fundamentala a procesului de nvatare.

Paradigme de nvatare
1. nvatare supervizata
ModiIicarea tariilor sinaptice este Iacuta pe baza comparatiei dintre vectorul de iesire
obtinut la stratul de iesire si vectorul tinta , ce
reprezinta rezultatul dorit a se obtine la stratul de iesire, cnd la stratul de intrare s-a prezentat
vectorul de intrare din multimea de antrenament.
Vectorul tinta este Iurnizat de un profesor (antrenor), de unde si denumirea de nvatare
supervizata. nvatarea supervizata presupune prezentarea de catre un antrenor a unor perechi de date
de Iorma , ce Iormeaza o multime de date, numita multime de antrenament:
(3.16)
DiIerenta dintre raspunsul obtinut y si raspunsul dorit z, reprezinta eroarea si este Iolosita pentru a
modiIica tariile sinaptice, pe baza unui algoritm speciIic, numit lege de invatare.
Putem reprezenta nvatarea supervizata cu ajutorul urmatoarei diagrame :

Fig. 2.: Diagrama nvatarii supervizate.
2. nvatare nesupervizata
n cadrul nvatarii nesupervizate nu exista proIesor (antrenor). Reteaua neuronala trebuie sa Iie n
stare sa "descopere" singura modele, trasaturi, corelatii sau categorii n multimea datelor de intrare
si sa le codiIice sub Iorma unor date de iesire. Neuronii si conexiunile retelei neuronale trebuie sa
reprezinte un anumit grad de auto-organi:are (self-organi:ation).
nvatarea nesupervizata poate Ii utilizata doar atunci cnd n multimea datelor de intrare exista
redundant. Fara redundant este imposibil de a descoperi vreun model (patern) sau trasatura n
multimea datelor de intrare. Din acest punct de vedere redundanta asigura cunoasterea.
n diagrama de mai jos este reprezentata paradigma nvatarii nesupervizate.

Fig. Diagrama nvatarii nesupervizate.
n cadrul nvatarii nesupervizate nu avem la dispozitie exemple ale Iunctiei ce trebuie nvatata de
catre reteaua neuronala. Mai degraba avem inIormatii despre o masura a calitatii reprezentarii la
care trebuie sa ajunga reteaua neuronala prin procesul de nvatare, iar parametrii acesteia vor Ii
optimizati n raport cu aceasta masura. O data ce procesul de nvatare s-a terminat, si reteaua
neuronala a Iost acordata la trasaturile statistice ale datelor de intrare, ea va Ii capabila sa Iormeze
reprezentari interne care sa codiIice trasaturile datelor de intrare si de acrea n mod automat noi
clase.
Pentru ca o retea neuronala sa poata eIectua o nvatare nesupervizata putem utiliza un algoritm de
nvatare Hebbiana sau un algoritm de nvatare competitiva.
3. nvatare ntarita (reinforcement)
nvatarea ntarita poate Ii deIinita ca Iiind nvatarea on-line a unei relatii de intrare-iesire (input-
output) prin intermediul unui proces de ncercari si erori desemnate sa maximizeze un index scalar
de perIormanta numit semnal de intarire (reinIorcement signal). Idea de nvatare ntarita are la
origine studiile psihologice eIectuate asupra nvatarii animalelor.
DeIinitia care pare a Ii cea mai potrivita a Iost data de Sutton si de Barto:
Def.: Daca in urma actiunii unei retele neuronale se obtine o stare caracteri:ata ca
fiind po:itiva, atunci tendinta retelei neuronale de a produce acelasi re:ultat va
creste sau va fi intarita. Altfel, celelalte actiuni care au ca re:ultat efecte negative
vor descreste tendinta retelei neuronale de a produce acel re:ultat.


Fig. 4.: Diagrama nvatarii ntarite.
n diagrama, avem un element numit critic care are rolul semnalele primare de intarire, receptionate
de la mediul inconfurator ntr-un semnal de calitate numit semnal euristic de intarire. Ambele
semnale de ntarire sunt codiIicate prin intermediul unor scalari reali. Sistemul de nvatare este
constituit din cele trei componente normale pentru orice sistem AI (ArtiIicial Intelligence):
- elementul de invatare este responsabil de toate modiIicarile ce trebuie operate n baza de
cunostinte.
- elementul de prelucrare este responsabil de selectarea unor actiuni aleatoare pe baza unei
distributii care la rndul ei este determinata de cunostintele stocate n baza de cunostinte si
de mediul nconjurator de care apartine sistemul de nvatare.
Pe baza stimulilor de intrare de la mediul nconjurator si de la baza de cunostinte, elementul de
prelucrare va determina relatia:
intrare --> distributia relatiei actiunilor de iesire