Capitolul 2

REELE NEURONALE ARTIFICIALE

2.1. Consideraii generale
Reelele Neuronale Artificiale (RNA) sunt sisteme dinamice de
prelucrare a informaiei, formate dintr-un numr mare de neuroni
(elemente de prelucrare elementar) puternic interconectai
Dei preocuprile privind studiul reelelor neuronale dateaz din
anii 19!, interesul pentru acestea cunoate o adevrat e"plozie
#ncep$nd cu anii 19%!&
Dintre cele mai importante caracteristici ale RNA se
menioneaz'
Prelucrarea paralel care permite construirea unor ar(itecturi
deose)it de performante capa)ile s ofere rspunsuri rapide,
#n timp real*
nvarea din exemple a fenomenului pentru care se
antreneaz& +rocesul de #nvare poate fi supervizat sau
nesupervizat*
Permit modelarea unor procese complexe ale cror le,i de
funcionare sunt fie prea complicate, fie nu pot fi
al,oritmizate& +rin urmare, procesul analizat nu tre)uie
descris prin re,uli clare&
Capacitatea de a asocia datele de intrare cu setul sau
seturile de date de antrenare cu care rezoneaz cel mai
bine& Aceast caracteristic asi,ur un comportament )un
c(iar #n condiiile unor seturi de date de intrare incomplete
sau parial ,reite&
Memorarea distribuit a informaiei ceea ce asi,ur o
funcionarea relativ corect i #n situaia #n care anumii
neuroni se -defecteaz.& /iecare neuron particip la formarea
ieirilor pentru toate seturile de vectori de intrare0antrenare&
Deteriorarea unui anumit neuron #nrutete doar #ntr-o mic
msur funcionarea ,lo)al, datorit aportului distri)uit, dat
de toi ceilali neuroni valizi (desi,ur numrul de neuroni
tre)uie s fie suficient de mare)& Acest mecanism al
memorrii distri)uite a informaiei este cel care e"plic i
funcionarea corect de durat a creierului uman, #n care
celulele nervoase ce mor nu afecteaz funcia de ,$ndire #n
,eneral i totodat nu afecteaz nici noiunile memorate&
+ornind de la o mulime reprezentativ de e"emple de instruire, o
RNA construiete sin,ur al,oritmul pentru rezolvarea unei
pro)leme& Astfel, #ntr-o prim etap, numit etapa de antrenare, ea
e"tra,e informaia prezentat #n mulimea de e"emple, numit
mulime de antrenare, i o memoreaz #n ponderile cone"iunilor
dintre neuroni& 1n faza de lucru reeaua va folosi informaia
ac(iziionat #n etapa de antrenare pentru a trata situaii de aceeai
natur cu cele coninute #n mulimea de antrenare&
2apacitatea RNA de a rezolva pro)leme practice comple"e
utiliz$nd o mulime (uneori restr$ns) de e"emple, confer un
potenial de aplica)ilitate e"trem de lar,&
3pectrul aplicaiilor cuprinde'
sisteme informatice de recunoatere a caracterelor, utilizate
#n trierea corespondenei*
sisteme informatice de recunoatere a semnturilor, folosite
#n sistemul )ancar*
sistemele informatice de recunoatere a vorbirii, utilizate #n
traficul aerian*
piloi automai*
sisteme n timp real pentru controlul unor procese
complexe&
2alculul neuronal reprezint actualmente un domeniu de
cercetare fascinant i o provocare intelectual i te(nolo,ic ma4or&
RNA au modificat ima,inea noastr asupra proceselor de calcul i
aspectelor al,oritmice ale inteli,enei artificiale i au furnizat
psi(olo,iei un model al proceselor mentale&
2.2. Analogia dintre structura sistemului neros !i reelele
neuronale arti"iciale
RNA preiau caracteristicile de )az ale structurii sistemului
nervos uman alctuit, #n medie, din 1!
1!
51!
11
celule nervoase (fi,&
6&1), numite neuroni, str$ns interconectate, care sunt dispuse pe mai
multe straturi sau niveluri&
N u c l e u
D e n d r i t e
A " o n
3 i n a p s a
+ r o c e s o r
e l e m e n t a r i
+ o n d e r e a
c o n e " i u n i i s i n a p t i c e W i j
+ r o c e s o r
e l e m e n t a r j
( N e u r o n ) i ( 3 i n a p s a ) ( N e u r o n ) j
7 n f o r m a i a
d e i n t r a r

e 7 e i r e 7 e i r e
( A " o n )
7 n t r a r e
( D e n d r i t a )
/i,& 6&1& 3tructura celulei nervoase&
2elula nervoas este constituit din'
mai multe dendrite ramificate prin care recepioneaz diferite
informaii de la ali neuroni* acestea constituie intrrile #n
celula nervoas&
corpul celulei sau nucleul care realizeaz o prelucrare a
stimulilor
1
,enerai de informaiile primite i ela)oreaz
rspunsul*
un axon 8 o fi)r unic care transmite rspunsul ela)orat
ctre alte celule*
sinapse 8 ramificaii ale a"onului care realizeaz le,turi cu
ali neuroni (a"onul unei celule umane realizeaz #n medie 1!
9
le,turi sinaptice cu ali neuroni)&
7mpulsurile prezente la intrarea neuronului #l pot e"cita cea ce
face ca acesta s ,enereze un impuls ce se transmite mai departe spre
neuronii cu care este conectat& :e,turile dintre neuroni sunt
ponderate, iar fiecare neuron aplic o transformare asupra impulsului
,enerat #nainte de a-l transmite mai departe&
2.#. $odele ale neuronului arti"icial
2.#.1. Neuronul "ormal
Neuronul formal are o structur asemntoare neuronului uman&
;l este o unitate elementar de procesare care realizeaz o operaie
simpl pe un set de mrimi de intrare, reprezentate prin vectorul
( )
1
,&&& ,&&&
T
i n
x x x % , pentru a produce o mrime de ieire j
y
&
7ntrrile unui neuron artificial oarecare j sunt alctuite din
semnalele venite de la ali neuroni sau din mediul #ncon4urtor i sunt
reprezentate, #n ,eneral, prin numere reale& /iecare intrare
i
x are
asociat o valoare real , j i
w
, numit pondere sinaptic, care are rolul
de a pondera semnalul de intrare& Dac ,
!
j i
w >
atunci ponderea este
e"citatoare, iar dac ,
!
j i
w <
atunci ponderea este in(i)itoare&
1
3timul 8 2uv$nt de ori,ine latin (.stimulus.)& Definete un factor e"terior care
determin e"citaia (activarea) de scurt durat a unui or,an sau a unei funcii
)iolo,ice, care declaneaz un proces fiziolo,ic& 1n conte"tul reelelor neuronale
artificiale prin stimul se va #nele,e informaia recepionat de ctre neuronul
artificial (unitatea de procesare) prin una din cone"iunile de intrare&
<ectorul ponderilor
( ) ,1 , ,
,&&& ,&&&
T
j j j i j n
w w w & reprezint .memoria.
neuronului, iar corpul acestuia este constituit dintr-un sumator, un
pra, de activare j
T
i o funcie de activare j
f
(fi,& 6&6)&
/ u n c i a
d e a c t i v a r e

y
j
x
1
x
i
x
n
x = -
n + 1
1
w
1 , j
w
i , j
w
n , j
w = T
n + , j j 1
n e t - T
j j
2 o r p u l n e u r o n u l u i j
/i,& 6&6& 3tructura neuronului formal&
3tarea neuronului se actualizeaz periodic dup urmtorul
mecanism'
1& se determin potenialul neuronal j
net
, denumit i starea
intern sau activarea total, ca fiind suma ponderat a intrrilor
i
x , adic
,
1
n
T
j j i i
i
net w x

& %
(6&1)
6& se compar potenialul neuronal j
net
cu pra,ul de activare al
neuronului j
T
, adic se calculeaz diferena'
j j
net T
(6&6)
9& asupra e"presiei (6&6) se aplic o funcie de activare j
f
rezult$nd
valoarea ieirii neuronului respectiv'
( )
j j j j
y f net T
Dac se consider
!
j
T
, atunci ( )
j j j
y f net
&
1n ,eneral, pra,ul de activare este nenul i poate fi #ncorporat #n
vectorul ponderilor consider$nd o intrare suplimentar
1
1
n
x
+

creia i se asociaz ponderea , 1 j n j
w T
+

&
/unciile de activare pot fi liniare sau neliniare (fi,& 6&9)&
a . b . c . d . e .
F ( ) x F ( ) x F ( ) x F ( ) x F ( ) x
n e t n e t n e t n e t n e t
1
!
1
!
1
!
1
!
1 - 1
- 1
! , =
>
-
f x ( )
f x ( ) f x ( ) f x ( ) f x ( )
7dentitate
( ) f x x
?reapt
( )
1, !
!, !
x
f x
x

'
<

Ramp 3i,moid
( )
1
1
x
f x
e

+
( )
( ) t(
x x
x x
e e
f x
e e
x

+

/i,& 6&9& ?ipuri de funcii de transfer&
/uncia de activare liniar este de forma
( ) f x ax b +
Dac 1 a i ! b se o)ine funcia de activare identitate (fi,&
6&9, a)&
/uncia de activare treapt (fi,& 6&9, b)
( )
1 daca !
! daca !
x
f x
x

'
<

/uncia de activare ramp (fi,& 6&9, c), constituie o com)inaie

#ntre funciile liniar i treapt&
( ) [ ]
! daca
1 1
daca ,
6 6
1 daca
x
f x x x
x
<

+
'

>

(6&,c)
1n principiu, funcia ramp sta)ilete limitele ma"im i minim
pentru ieirea neuronului, asi,ur$nd o variaie liniar #ntre acestea pe
intervalul [ ] , &
/uncia de activare sim!id corespunde unor forme netezite ale
funciei ramp& /unciile si,moid, denumite astfel dup forma #n 3 a
reprezentrii lor ,rafice, sunt funcii continue, deriva)ile i monotone
pe #ntre, intervalul de definiie& Aceste proprieti sunt eseniale
dac se dorete aplicarea unor al,oritme de #nvare performante i
eficiente& 2ele mai rsp$ndite funcii si,moid sunt'
sim!idul l!istic (fi,& 6&9, d), numit i si,moid unipolar, care
ia valori #n intervalul (!, 1)*
( )
1
1
x
f x
e

+
(6&,d)
sim!idul tanent "iperb!lic (fi,& 6&9, e), numit i si,moid
)ipolar, care ia valori #n intervalul (-1, 1)&
( ) ( ) t(
x x
x x
e e
f x x
e e

+
(6&,e)
1n concluzie, funcionarea unui neuron j, vzut ca element de
procesare #n intervale discrete de timp, este descris de relaiile'
( ) ( )
,
1
n
T
j j i i j j j
i
T
j j j j j j
net w x T T
y f net f T

& %
& %
unde' [ ]
1
,&&&, ,&&&
T
i n
x x x % este vectorul de intrare*
j
T
8 pra,ul corespunztor neuronului*
j
f
8 funcia de activare (treapt, si,moid etc&)&
Modelul McCullochPitts 'MCP(, reprezint primul model
formal al neuronului i a fost propus de ctre @& Ac2ulloc( i 3&
+itts #n anul 199& 1n cadrul acestui model, at$t intrrile, c$t i ieirea
sunt de tip )inar, iar funcia de activare este funcia treapt&
+rin urmare, funcionarea A2+ este descris de relaiile'
( )
1
1, !
!, altfel
n
i i
i
net w x T
net
y f net

'

!bs& /iind vor)a de un sin,ur neuron s-a renunat la indicele j

care-l desemneaz&
Acest model are meritul istoric c a pus #n eviden o structur
simpl, la care relaia funcional intrare-ieire este codificat su)
forma unor valori numerice corespunz$nd ponderilor& :a acea dat
rm$nea #ns desc(is pro)lema sta)ilirii unui al!ritm de antrenare
pentru determinarea valorilor acestor ponderi&
2.#.2. Neuronul clasi"icator sau )erce)tronul
+ornind de la modelul A2+, psi(olo,ul Rosen)latt a introdus, #n
anul 19=%, noiunea de perceptron sau neuron clasificator&
+erceptronul este asemntor neuronului A2+ (fi,& 6&) i a fost
dezvoltat din dorina de a modela funcia de percepie vizual a
retinei&

y
j
x
1
x
i
x
n
x = -
n + 1
1
1
w
1
w
i
w
n
w = T
n + 1 j
n e t - T
j j
/i,& 6&& Aodelul perceptronului&
;cuaiile de funcionare ale perceptronului sunt ecuaiile (6&B) ale
modelului A2+& Deose)irea provine din faptul c de aceast dat
intrrile sunt valori reale i nu valori )inare de tipul 1 sau !& /uncia
de activare este tot de tipul treapt i, prin urmare, ieirea este )inar&
;voluia perceptronului este descris de'
( )
1
1, !
!, altfel
n
T
i i
i
net w x T
net
y f net

'

& %
(6&C)
#n care'
( )
1
1 1
,&&& ,&&& , 1
T n
i n n
x x x x #
+
+
% este vectorul de intrare e"tins
care include i intrarea aferent pra,ului'
( )
1
1 1
,&&& ,&&& ,
T n
i n n
w w w w T #
+
+
& - vectorul ponderilor e"tins
care include i pra,ul T
;cuaia
!
T
net & % (6&%)
este ecuaia unui (iperplan care #mparte spaiul vectorilor (punctelor)
de intrare #n dou re,iuni de decizie& Astfel, vectorii aflai #n partea
pozitiv caracterizai de
!
T
net > & % (6&9)
aparin clasei A, iar vectorii situai #n partea ne,ativ caracterizai de
!
T
net < & % (6&1!)
aparin clasei D&
+entru a dezvolta modelul matematic i al,oritmul de
instruire0antrenare, se efectueaz o normalizare de semn a vectorilor
de intrare not$nd'
daca
daca
$
%

'

% %
*
% %
(6&11)
1n aceste condiii, (iperplanul !
T
net & * corespunztor
ecuaiei (6&%) separ clasele A i D dac i numai dac e"ist
ine,alitatea'
!
T
$ % > & * * (6&16)
"efiniie' Dac pentru dou clase de o)iecte reprezentate prin
vectori din spaiul
n
#
e"ist un (iperplan de separare,
atunci cele dou clase se numesc liniar separa)ile&
De e"emplu, pentru nE6 ecuaia
1 1 6 6
!
T
w x w x T + & *
definete o dreapt #n planul ( )
1 6
, x x care-l #mparte #n dou re,iuni
de decizia A i D (fi,& 6&=)&
2 l a s a $
x
1
x
6
2 l a s a %
D r e a p t a d e
d e c i z i e
/i,& 6&=& 3epararea planului #n zone de decizie&
+ro)lema care se pune const #n ,sirea unui al,oritm de
#nvare care s determine vectorul ponderilor & astfel #nc$t
frontiera s a4un, s separe corect elementele celor dou clase& 2u
alte cuvinte, ieirea neuronului s fie y E1 sau y E!, dup cum
intrarea aparine clasei A sau clasei +&
Rspunsul la aceast pro)lem a fost dat, #ntr-o prim etap, de
ctre Rosen)latt& Al,oritmul propus de acesta, cunoscut su)
denumirea de al#oritmul standard de antrenare a perceptronuli,
modific valorile ponderilor ori de c$te ori la intrarea reelei este
prezentat o confi,uraie (form sau pattern) incorect clasificat&
+rocedura de instruire este o metod iterativ de #nvare
supervizat care are ca o)iectiv minimizarea distanelor punctelor
eronat clasificate fa de (iperplanul de separare&
3e consider c mulimea de antrenare, numit i mulimea de
e"emple, este constituit din m perec(i de forma '
( ) ( ) ( )
1 1
, ,&&&, , ,&&&, ,
& & m m
d d d * * *
#n care d& este rspunsul corect, adic'
1
!
&
&
&
daca $
d
daca %

'

*
*
Notm cu ( ) ' & mulimea vectorilor (punctelor) din setul de
antrenare clasificai eronat de ctre vectorul pondere & curent, adic'
{ }
( ) 0 !
T
' < & * & * (6&19)
Dac ( )
&
' * & , atunci eroarea de clasificare
&
e este dat de
distana punctului corespunztor vectorului
&
* , la (iperplanul de
decizie $ definit de ecuaia'
!
T
& *
(6&1)
adic
( , )
& &
e ( ) * (6&1=)
!bservaii%
1& 3e reamintete faptul c ecuaia unui (iperplan oarecare F, care
trece prin punctul
!
* i este perpendicular pe vectorul U este'
( )
!
!
T
U * * (6&1B)
6& 1n ipoteza c 1 U , distana de la punctul corespunztor unui
vector oarecare
G
*
la (iperplanul F este dat de'
( )
G G
!
, ( )
T
( ) * * * U (6&1C)
2ompar$nd relaia (6&1) cu (6&1B) rezult c (iperplanul de
separare $ trece prin ori,ine i este perpendicular pe vectorul
ponderilor& +rin urmare, #n ipoteza c 1 & , eroarea de clasificare,
definit de relaia (6&1=), este'
( ) ( , ) !
T T T
& & & & &
e ( ) * & * & * & * (6&1%)
1n sta)ilirea formei finale a relaiei (6&1%) s-a inut seama de
faptul c ( )
&
' * & , adic !
T
&
< & *
1n concluzie, scopul al,oritmului de antrenare este de a
determina vectorul ponderilor & pentru care suma'
( )
( )
T
'
+

*
& & *
(6&19)
este minim&
Deoarece
( )
1
1 1
,&&& ,&&& ,
T n
i n n
w w w w T #
+
+
& , rezult c'
1
'
n
+ # #
+

iar pentru determinarea minimului se folosete o metod de ,radient&
Astfel, pornind de la o estimare iniial
!
& a vectorului ponderilor
se ,enereaz un ir de vectori
1 6
, ,&&&, ,&&&
t
& & & folosind relaia de
recuren'
1 t t t +
+ & & & (6&6!)
#n care
t t
& , (6&61)
sunt coreciile la pasul t&
1n relaia (6&61), specific metodelor de ,radient,

este o
valoare pozitiv, numit rata sau viteza de #nvare, care reprezint
mrimea deplasrii fa de
t
& #n direcia dat de
t
, & 1n cazul unei
pro)leme de minimizare, direcia de deplasare este direcia de
co)or$re, adic direcia contrar ,radientului& +rin urmare'
( )
( )
t
t
+
+

& &
&
, &
&
(6&66)
Av$nd #n vedere c
( )
( )
T
'
+

*
& & *
i in$nd cont de re,ula
de derivare a produsului scalar
( )
T

% - -
%
, rezult c'
( )
( )
t t
t
'
+
+ c

* & &
&
, *
&
(6&69)
#n care
{ }
0 !
T
t t
' < * & * este mulimea vectorilor0punctelor
clasificate eronat de ctre vectorul curent al ponderilor
t
& &
1n concluzie, coreciile ponderilor sunt direct proporionale cu
vectorii clasificai eronat&
+entru a simplifica al,oritmul, la fiecare pas se consider toate
e"emplele din mulimea de antrenare i se modific ponderile doar #n
cazul e"emplelor clasificate eronat conform urmtoarelor re,ului'
(i) dac pentru un e"emplu ( ) ,
& &
d % perceptronul se activeaz
c$nd ar tre)ui s rm$n inactiv, adic dac 1
&
y i !
&
d ,
atunci se reduc ponderile cu o valoare proporional cu
&
% *
(ii) dac pentru un e"emplu ( ) ,
& &
d % perceptronul nu se
activeaz dei ar tre)ui s o fac, adic dac !
&
y i 1
&
d ,
atunci se cresc ponderile cu o valoare proporional cu
&
% &
3intetiz$nd cele dou re,uli rezult urmtoarea e"presie ,eneral
pentru corecia ponderilor'
( )
t & & &
d y & % (6&6)
iar relaia (6&6!) devine
( )
1 t t & & &
d y
+
+ & & % (6&6=)
adic'
( )
, 1 , ,
1,
i t i t & & & i
w w d y x i n
+
+ (6&6B)
respectiv
( )
1, 1 1 , 1 n t t t & & & n
w T T d y x
+ + + +
+ (6&6C)
!bservaii%
1& Dac
& &
d y , adic e"emplul a fost clasificat corect, atunci
conform relaiei (6&6) ponderile nu se modific&
6& 1n teoria dezvoltat
1
1
n
x
+
i, #n conformitate cu relaia (6&6C)
pra,ul se modific adu,$nd sau scz$nd pe

la valoarea
anterioar& 1n unele variante ale al,oritmului corecia pra,ului se
face cu o cantitate proporional cu valoarea lui, #n sensul sta)ilit
de re,ulile anterioare, adic'
( ) ( ) ( )
1
1
t t & & t & & t
T T d y T d y T
+
+ + (6&6%)
9& <iteza de #nvare ( ) !,1 & H valoare prea mare a lui

poate
conduce la omiterea unui vector de ponderi corect, #n timp ce o
valoare prea mic poate mri e"cesiv timpul de calcul&
& 2iclul de operaii care vizeaz parcur,erea tuturor e"emplelor #n
vederea modificrii ponderilor poart numele de epoc&
=& 1n cazul #n care mulimea de antrenare este constituit dintr-un
numr de e"emple liniar separa)ile, al,oritmul de antrenare al
perceptronului este conver,ent #ntr-un anumit numr de epoci,
adic va identifica un vector al ponderilor care clasific corect
toate e"emplele&
&l#oritmul de antrenare al perceptronului
,asul 1' 7niializeaz ponderile ( ,! i
w
) i valoarea pra,ului de activare
!
T la momentul ! t cu valori aleatoare mici, de o)icei #n
intervalul I-!,1* !,1J&
,asul 6' 3electeaz valoarea vitezei de #nvare ( ) !,1
,asul 9' ?esteaz conver,ena&
.AC/
toate e"emplele au fost clasificate corect, adic
1,
& &
y d & m , respectiv -!nt!r.+r!areE!
ATUNCI
3top
ALTFEL
3eteaz -!nt!r.+r!areE! i trece la pasul
,asul ' +entru fiecare e"emplu 1, 6,&&&, & m repet
&1& 2alculeaz ieirea real ,enerat de perceptron
, ,
1
n
T
& t t & i t i t
i
y w x T

& %
&6& 2ompar
, & t
y
cu
&
d
.AC/
, & t &
y d
ATUNCI
7ncrementeaz -!nt!r.+r!are i modific ponderile,
respectiv pra,ul conform relaiilor'
( )
, 1 , ,
1,
i t i t & & & i
w w d y x i n
+
+
( ) ( ) ( )
1
1
t t & & t & & t
T T d y T d y T
+
+ +
,asul =' Repet de la pasul 9
'xemplu
3e consider perceptronul cu trei intrri i setul de = e"emple
prezentate #n fi,ura 6&B& +entru acest perceptron se ale, aleator
valorile iniiale ale ponderilor' 1,!
!,1 w
* 6,!
!,1 w
* 9,!
!,1 w
, valoarea
de pra, !
!, !6 T
i valoarea vitezei de #nvare
!, =
&
! , 1

! , 1

! , 6

i e i r e

! , 6
! ,
! , 9
! , =
! , 1
! ,
! , 9
! , =
! , 1
! , 9
! ,
! , =
!
!
1
1
1
x
1
x
1
w
1
w
6
w
9
x
6
x
6
x
9
x
9
?
7 e i r e

/i,& 6&B& ;"emplu de perceptron i mulimea de antrenare&

+entru e"emplul 1 ieirea perceptronului se determin astfel'
( ) ( )
9
,! !
1
1
!,1 !,1 !,1 !,1 !,1 !, 6 !, !6 !, !6
!, !6 1
i i
i
net w x T
y f net f

+ +

Deoarece ieirea furnizat de perceptron

1
1 y , este diferit de
cea dorit
1
1 d , e"emplul este clasificat ,reit, iar ponderile vor fi
modificate conform relaiilor'
[ ]
[ ]
[ ]
[ ]
1,1 1,! 1 1 1
6,1 6,! 1 1 6
9,1 9,! 1 1 9
1 ! 1 1 !
!,1 !, != !, !=
!,1 !, != !, !=
!, !1 !, !1 !
!, !6 !, !1 !, !1
w w d y x
w w d y x
w w d y x
T T d y T
+
+
+
+
+entru e"emplul 6 ieirea perceptronului este'
( )
9
6 ,1 1
1
!, !!= 1
i i
i
y f w x T f

_


,

Deoarece aceasta este diferit de cea dorit

6
! d , e"emplul
este clasificat ,reit i, prin urmare, ponderile vor fi modificate
rezult$nd'

( ) [ ]
( ) [ ]
( ) [ ]
[ ]
1,6 1,1 6 6 1
6,6 6,1 6 6 6
9, 6 9, 6 6 6 9
6 1 6 6 1
1 !, != !,1 !, !=
1 !, != !, != !
1 ! !, != !, !=
!, !1 !, !!= !&!!=
w w d y x
w w d y x
w w d y x
T T d y T
+
+
+
+
1n mod similar, pentru e"emplul 9 ieirea perceptronului este'
( )
9
9 ,6 6
1
!, ! !
i i
i
y f w x T f

_


,

Deoarece aceasta este diferit ieirea dorit

9
1 d , e"emplul
este clasificat ,reit, iar ponderile vor fi modificate astfel'
( ) [ ]
( ) [ ]
( ) [ ]
[ ]
1,9 1,6 9 9 1
6,9 6,6 9 9 6
9,9 9,6 9 9 9
9 6 9 9 6
6 !, != !&6 !,1=
6 ! !, 6 !, 6
6 !, != !,1= !,1
!, !!= !&!!6= !, !!C=
w w d y x
w w d y x
w w d y x
T T d y T
+ +
+ +
+ +
+ +
+entru e"emplul , ieirea perceptronului este'
( )
9
,9 9
1
!,19C= 1
i i
i
y f w x T f

_


,

Deoarece aceasta este identic cu cea dorit

1 d , e"emplul
este clasificat corect, iar ponderile nu se modific& +rin urmare'
[ ]
[ ]
[ ]
[ ]
1, 1,9 1 1,9
6, 6,9 6 6,9
9, 9,9 9 9,9
9 9 9
!,1=
!, 6
!,1
!, !!C=
w w d y x w
w w d y x w
w w d y x w
T T d y T T
+
+
+
+
+entru e"emplul =,ieirea perceptronului rezult'
( )
9
= ,
1
!, 61C= 1
i i
i
y f w x T f

_


,

1ntruc$t aceasta este identic cu cea dorit

=
1 d , e"emplul este
clasificat corect, iar ponderile nu se modific& +rin urmare'
[ ]
[ ]
[ ]
[ ]
1,= 1, 1 1,
6,= 6, 6 6,
9,= 9, 9 9,
=
!,1=
!, 6
!,1
!, !!C=
w w d y x w
w w d y x w
w w d y x w
T T d y T T
+
+
+
+
1n acest stadiu s-a #nc(eiat o epoc dar, pentru c nu toate
e"emplele au fost clasificate corect, se reia procesul de modificare al
ponderilor, adic se efectueaz un nou ciclu& +rocesul se repet p$n
c$nd toate e"emple sunt clasificate corect&
Limitele )erce)tronului
1n numeroase pro)leme concrete de clasificare intervin clase de
o)iecte care nu sunt liniar separa)ile& +rin urmare, utilizarea
perceptronului ca atare este sever limitat& H analiz a limitrilor
perceptronului a fost efectuat de cercettorii AinsKL i +apert #n
19B9& ;i furnizeaz cele)rul e"emplu care evideniaz limitrile
perceptronului i anume pro)lema #nvrii ta)elei de adevr a
funciei lo,ice /0# (ta)elul 1)&
?a)elul 1& /uncia lo,ic /0#

1 6
! ! !
! 1 1
1 ! 1
1 1 !
x x /0#
2onsider$nd un perceptron cu dou intrri (fi,& 6&C) i funcia de
activare standard
1 daca - !
! daca - !
net T
y
net T

'
<

(6&6%)
al,oritmul de antrenare nu va putea determina valorile
1
w ,
6
w i T
astfel #nc$t ieirea perceptronului s furnizeze valorile funciei /0#&
w
1
x
1
x
6
w
6
T
y
/i,& 6&C& 3tructura perceptronului cu dou intrri
1ntr-adevr, reprezent$nd #n plan cele patru puncte
corespunztoare celor patru vectori de intrare posi)ili ai
perceptronului se o)serv c nu e"ist nici o dreapt av$nd ecuaia'
1 1 6 6
! w x w x T + (6&69)
care s separe cele dou clase de o)iecte (cele a cror ieire este 1,
respectiv cele care au ieirea !)&
+entru a putea s rezolve pro)lema, reeaua neuronal artificial
ar tre)ui s realizeze separarea planului #n trei re,iuni de decizie (fi,&
6&%)&
( ! , ! )
( ! , 1 )
( 1 , 1 )
( 1 , 1 )
R
i e i r e a 1
1
#
6
i e i r e a !
#
6
i e i r e a !
x
1
x
6
/i,& 6&%& 3epararea planului #n re,iuni de decizie multipl
H astfel de partiionare poate fi realizat folosind o reea cu mai
multe straturi denumit perceptronul multistrat sau multi la(er
perceptron M)P #n terminolo,ia en,lezeasc&
2.0. 1tructuri ale RNA
2.0.1. 1tructura general2 !i clasi"ic2ri ale RNA
2ele prezentate #n para,raful precedent evideniaz faptul c
limitele perceptronului nu sunt datorate al,oritmului de instruire, ci
structurii foarte simple a acestuia, care asi,ur doar #mprirea
spaiului intrrilor #n dou semiplane& +rin urmare, utilizarea RNA #n
rezolvarea pro)lemelor reale necesit creterea comple"itii
topolo,iei acestora&
1n ,eneral RNA sunt formate din neuroni (structuri elementare
de procesare) le,ai prin c!nexiuni sinaptice (cile de transmitere a
informaiei #ntre neuroni caracterizate de anumite p!nderi) or,anizai
pe straturi succesive& 1n fi,ura 6&9 este prezentat structura tipic a
unei RNA cu patru straturi&
y
1
y
m
x
6
x
1
x
n
7 n t r r i
7 e i r i
3 t r a t u l a s c u n s
3 t r a t u r i a s c u n s e
3 t r a t u l d e
i n t r a r e
3 t r a t u l d e
i e i r e
&
& & &
&
& & &
&
& & &
/i,& 6&9& Ar(itectura tipic a unei RNA&
+rimul strat, numit stratul de intrare, este format din neuroni
liniari care nu realizeaz nici un proces de calcul& Rolul lui este acela
de a diri4a componentele
1
,&&&, ,&&&,
i n
x x x ale vectorului de intrare %
ctre neuronii de calcul din primul strat& Mltimul strat de prelucrare
este stratul de ieire i poate fi constituit din unul sau mai muli
neuroni& 1n ,eneral, topolo,ia unei reele neuronale poate cuprinde
unul sau mai mute straturi intermediare, numite i straturi ascunse&
:e,turile dintre straturile RNA se realizeaz prin cone"iuni
sinaptice p!nderate& 1n cazul structurii prezentat #n fi,& 6&9 fiecare
neur!n dintr-un strat este leat cu t!i neur!nii din stratul urmt!r i
e"ist le,turi doar #ntre straturile consecutive H astfel de structur se
numete c!mplet c!nectat i corespunde clasei de RNA numit
A:+ (Aulti :aLer +erceptron), adic perceptronul multistrat&
3tructura RNA este descris complet de matricele p!nderil!r
c!nexiunil!r dintre dou straturi consecutive, ale cror elemente
indic influena pe care ieirea neuronului i din stratul inferior o are
asupra activrii neuronului j din stratul urmtor& 2a i in cazul
perceptronului clasic, ponderile pozitive au caracter e"citatoriu,
ponderile ne,ative au caracter in(i)itoriu, iar ponderile nule indic
a)sena cone"iunii #ntre cei doi neuroni& ;vident, cu c$t valoarea
a)solut a ponderii este mai mare, cu at$t influena neuronului i
asupra neuronului j este mai pre,nant&
Ansam)lul ponderilor constituie memoria RNA, adic parametrii
ce caracterizeaz, #ntr-o manier a)solut, procesul modelat de
reeaua neuronal artificial& +rin urmare, antrenarea reelei necesit
o strateie de ajustare a ponderilor, respectiv un al,oritm de
antrenare sau #nvare #n cadrul cruia se prezint reelei neuronale un
numr de exemple formate din perec(i (intrare 8 ieire dorit), ale
cr!r atribute sunt cun!scute i reprezentative pentru procesul
modelat& Acestea formeaz mulimea de antrenare&
3tructura prezentat #n fi,ura 6&9, prezint urmtoarele
proprieti, specifice unei lar,i cate,orii de reele neuronale'
(i) fiecare neuron acioneaz independent de ceilali neuroni
din acelai strat (ieirea neuronului depinde numai de
semnalele ce se aplic pe cone"iunile sale sinaptice de
intrare)*
(ii) activarea fiecrui neuron depinde numai de inf!rmaii cu
caracter l!cal (informaia prelucrat de neuron provine
numai de pe cone"iunile adiacente, nefiind necesar
cunoaterea strilor neuronilor care nu au le,turi directe
cu neuronul considerat)*
(iii) numrul mare de c!nexiuni e"istente asi,ur un ,rad
ridicat de rezervare i uureaz reprezentarea distri)uit a
informaiei&
+rimele dou proprieti permit funci!narea eficient a RNA 1n
paralel, iar ultima proprietate le confer ! sensibilitate redus fa
de p!sibilele perturbaii, respectiv caliti de enerali2are ,reu de
o)inut cu sistemele clasice de calcul&
Clasi"icarea reelelor neuronale poate fi fcut pe )aza mai
multor criterii care in cont de tipul parametrilor de intrare, modul de
#nvare, e"istena le,turilor de reacie invers, numrul de straturi
etc&
$3 -lasificarea #4$ 1n funcie de tipul parametril!r de intrare
1n funcie de tipul parametrilor de intrare reelele neuronale sunt'
reele cu intrri binare5
reele cu intrri reale* #n acest caz, valorile parametrilor de
intrare tre)uie mapate (scalate) #n domeniul I-1, 1J&
-lasificarea reelel!r neur!nale pe ba2a m!dului de 1nvare
:e,ea de #nvare a unei RNA este o relaie care specific modul
#n care se modific toate sau numai o parte din ponderile unui neuron
ca rspuns la semnalele de intrare i valorile furnizate de funcia de
activare0transfer& Aceast relaie permite reelei s #nvee, adic s se
adapteze la e"emplele furnizate, or,aniz$ndu-i informaia privind
topolo,ia i ponderile care se modific #n mod dinamic pe parcursul
procesului de #nvare&
1n funcie de modul de #nvare se distin, dou tipuri de reele
neuronale'
reele neuronale artificiale cu nvare supervizat*
reele neuronale artificiale cu nvare nesupervizat&
1n cazul instruirii supervizate reeaua prime6te at7t datele
(vect!rii) de intrare dintr-un set sau mulime de instruire, c7t 6i
datele de ie6ire c!respun2t!are (rspunsuri c!recte sau rspunsuri
d!rite)& Dup fiecare e"emplu, reeaua compar propria-i ieire cu
rspunsurile corecte, corecteaz diferenele i #ncearc din nou,
proced$nd #n mod iterativ p$n c$nd eroarea rspunsului de ieire
a4un,e su) nivelul impus& Aetoda de antrenare supervizat mai
poart denumirea de 1nvare neadaptiv&
1n cazul instruirii nesupervizate, reeaua dispune de datele de
intrare, dar nu mai prime6te nici ! inf!rmaie privind ie6irea c!rect&
1n sc(im), dup fiecare #ncercare i se d o not 8 un scor de
performan 8 care cuantific corectitudinea rezultatului& Reeaua se
or,anizeaz numai #n funcie de intrare, deci se autoor,anizeaz,
,rup$nd setul de vectori de antrenare #n zone (clustere) pe )aza unui
concept de similitudine& Din aceast cauz, instruirea nesupervizat
mai poart denumirea de aut!!rani2are sau 1nvare adaptiv&
8e meni!nea2 faptul c 1nvarea nesupervi2at este calitativ
superi!ar 1nvrii supervi2ate3
+e )aza celor dou criterii menionate 8 tipul parametrilor de
intrare i modul de #nvare se poate realiza clasificarea prezentat #n
fi,ura 6&1!& #n care se evideniaz ase dintre modelele RNA mai des
#nt$lnite&
R e e a
F o p f i e l d
R e e a
F a m m i n ,

2 l a s i f i c a t o r
2 a r p e n t e r -
N r o s s ) e r ,
+ e r c e p t r o n
+ e r c e p t r o n
m u l t i n i v e l
R e e l e
O o ( o n e n

1 n v a r e
s u p e r v i z a t

1 n v a r e
n e s u p e r v i -
z a t

1 n v a r e
n e s u p e r v i -
z a t

1 n v a r e
s u p e r v i z a t

7 n t r r i
) i n a r e

7 n t r r i
r e a l e

R e e l e n e u r o n a l e a r t i f i c i a l e
/i,& 6&1!& 2lasificarea RNA&
Reelele cu #nvare supervizat, cum ar fi reeaua Fopfield i
perceptronii sunt utilizate mai ales ca memorii asociative sau ca
structuri de clasificare& Reelele cu #nvare nesupervizat, cum ar fi
(rile cu auto-or,anizare Oo(onen, sunt folosite mai ales pentru
formarea confi,uraiilor de memorii asociative&
Aceast clasificare este departe de a indica toate modelele
neuronale e"istente, clasificarea fc$ndu-se i pe )aza altor criterii&
-lasificarea #4$ pe ba2a leturil!r de reacie invers
Mn al treilea criteriu de clasificare se refer la existena sau
absena leturil!r de reacie invers #ntre neuronii din diversele
straturi ale reelei& Astfel, se distin, patru tipuri de RNA'
RNA ne3uclate (reele feedforPard)& 1n asemenea reele
inf!rmaia circul 1ntr-un sinur sens, de la intrare ctre ie6ire& :a
un moment dat, starea unui neuron depinde numai de starea din
acelai moment a neuronilor de la care primete semnale (fi,& 6&11,
a)& RNA ne)uclate sunt structuri statice, folosite cu precdere pentru
rezolvarea unor pro)leme de clasificare sau de identificare a
proceselor statice& Din aceast cate,orie fac parte reelele de tipul
perceptr!n multistrat, a crei ar(itectur a fost prezentat anterior&
j
&
j
&
a .
b .
i
i
+
+
,
,
/i,& 6&11& 2lasificarea reelelor neuronale pe )aza
e"istenei0ine"istenei reaciei inverse'
a 8 RNA ne)uclate (feedforPard)* b 8 RNA )uclate (feed)acK)&
RNA 3uclate (reele feed)acK) sunt acele reele ale cror
,rafuri de cone"iuni conin cicluri* circulaia inf!rmaiei are loc de
aceast dat 1n ambele sensuri (intrare-ieire, respectiv ieire-intrare),
astfel #nc$t starea neuronilor la un moment dat este determinat de
starea curent i de starea la momentul anterior (fi,& 6&11, b)& +rin
urmare, RNA )uclate au proprietile unor sisteme dinamice* ele sunt
utilizate ca memorii asociative i pentru identificarea sau controlul
sistemelor dinamice& Mn e"emplu de reea )uclat #l constituie
reelele Fopfield&
RNA de ti) mi4t este o reea ce folosete at$t le,turi
feedforPard c$t i le,turi feed)acK& H reea (i)rid, care folosete
at$t le,turi feedforPard c$t i le,turi feed)acK este reeaua
Fammin, &
RNA de ti) celular ')las2( constau din neuroni artificiali
numii celule, or,anizai #ntr-o plas )idimensional, neuroni care
comunic direct doar cu ali neuroni aflai #n imediata vecintate a
lor& Neuronii neconectai se pot influena unul pe cellalt indirect din
cauza propa,rii semnalelor #n timpul procesului de antrenare& Mn
e"emplu de astfel de reea este reeaua Oo(onen&
-lasificarea #4$ pe ba2a numrului de straturi ascunse
Mn alt criteriu de clasificare a RNA are #n vedere numrul de
neur!ni din reea& Din acest punct de vedere se distin,'
RNA cu un singur strat& 1n acest caz stratul unic 4oac rol
du)lu intrare-ie6ire3 ?otodat, a)sena altor straturi impune ca aceste
RNA s ai) o t!p!l!ie buclat& 1n aceast cate,orie se #nscriu
reelele Fopfield, precum i variante ale acestora, care se deose)esc
#n funcie de modul de conectare a neuronilor& Reele cu un sin,ur
strat sunt folosite pentru completarea modelelor, filtrarea unor
semnale sau rezolvarea unor pro)leme de optimizare*
RNA cu dou2 straturi. 1n acest caz, primul strat este stratul de
intrare, iar al doilea cel de ieire, nee"ist$nd un strat ascuns& Reelele
din aceast cate,orie sunt folosite cu precdere ca reele
clasificat!are3 1n funcie de topolo,ia lor, se distin, RNA
feedforPard (fi,& 6&16) i RNA (i)ride feedforPard-feed)acK (fi,&
6&19)&
y
1
y
6
y
n
x
6
x
1
x
n
x
6 y
6
x
1 y
1
x
n y
n
/i,& 6&16& RNA cu dou straturi de
tip feedforPard&
/i,& 6&19& RNA cu dou straturi de
tip (i)rid&
RNA multistrat. Reelele din aceast cate,orie pot avea, #n
principiu, un numr nelimitat de straturi3 ?oate straturile, cu
e"cepia primului i ultimului, sunt straturi ascunse& 3tructura
,eneral a unei asemenea RNA a fost prezentat #n fi,ura 6&9&
Aa4oritatea RNA multistrat utilizate #n diverse aplicaii practice fac
parte din cate,oria reelelor feedforPard (ne)uclate), iar rsp$ndirea
cea mai mare o are perceptr!nul multistrat3 +rincipalele aplicaii ale
acestui tip de reea au #n vedere pro)leme de clasificare precum i de
apro"imare euristic a unor funcii matematice&
2.0.2. 5erce)tronul multistrat $L5
3e consider o reea neuronal artificial de tip A:+ cu un
sin,ur strat ascuns (fi,& 6&1) i se fac notaiile'
i
n - numrul neuronilor de pe stratul de intrare*
j
n
- numrul neuronilor de pe stratul ascuns*
&
n - numrul neuronilor de pe stratul de ieire*
[ ] & - matricea ponderilor neuronilor de pe stratul ascuns ale crei
elemente ji
w
sunt ponderile cone"iunilor sinaptice dintre
neuronul j de pe stratul ascuns i neuronul i de pe stratul de
intrare*
[ ] 6 - matricea ponderilor neuronilor de pe stratul de ieire ale crei
elemente &j
v
sunt ponderile cone"iunilor sinaptice dintre
neuronul & de pe stratul de ieire i neuronul j de pe stratul
de ascuns*
e
n - numrul de e"emple, adic numrul de perec(i ( ) ,
m m
d %
care alctuiesc mulimea de antrenare*
( ) m
&
y - ieirea neuronului & de pe stratul de ieire c$nd la intrare se
prezint e"emplul m*
( ) m
j
y - ieirea neuronului j de pe stratul ascuns c$nd la intrare se
prezint e"emplul m*
1
1
6
i
j
1
n
j
n
&
n
i
x
1
y
1
x
i
y
n &
x
n i
&
%
-
6
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
/i,& 6& 1& Reea A:+ cu un sin,ur strat ascuns
2.0.2.1. Algoritmul 3ac7)ro)agation 8 +5. Regula delta
generali9at2
+erceptronii multistrat cu mai multe ieiri i funcii de transfer
si,moidale se mai numesc i reele bac&pr!paati!n& Denumirea
provine de la al,oritmul de #nvare utilizat de aceste structuri i
anume al!ritmul bac&pr!paati!n 9 -P sau al!ritmul de
pr!paare 1nap!i a er!rii, respectiv al!ritmul retr!pr!parii
introdus de Rumel(art i mem)rii ,rupului .,arallel (istributed
,r!cessin. +D+ #n 19%B& Acest al,oritm poate depi limitrile
perceptronului enumerate de AinsL i +apert #n 19B9 i a fost
considerat un mare succes care a contri)uit la relansarea calculului
neuronal #n 7A&
Al,oritmul -P urmrete minimizarea erorii ptratice printr-o
metod de ,radient& Din acest motiv funciile de activare sau transfer
ale neuronilor tre)uie s fie continue i deriva)ile pe tot domeniul de
definiie, cerine satisfcute de funciile si,moidale i funcia liniar&
:a fel ca i #n cazul perceptronilor, ,enerarea unei reele A:+
cuprinde dou etape'
etapa de nvare #n care, pe )aza mulimii de antrenare, se
sintetizeaz ponderile i valorile pra,urilor de activare ale
neuronilor*
etapa de testare, #n care reeaua este utilizat pentru a clasifica
mulimi de forme necunoscute, dar similare celor din mulimea de
antrenare&
Al,oritmul )acKpropa,ation de #nvare al reelelor A:+ const
#n urmtorii doi pai'
1) parcur#erea direct a reelei, de la intrri spre ieiri, #n care se
determin ieirile ,enerate de reea pentru e"emplele din
mulimea de antrenare*
6) parcur#ere napoi a reelei, de la ieiri spre intrri, #n care
ieirile calculate se compar cu ieirile dorite pentru fiecare
e"emplu i se determin eroarea care, printr-un proces de
propa,are #napoi, este utilizat la actualizarea ponderilor&
:e,ea de antrenare sau re,ula de modificare a ponderilor poart
denumirea re#ula delta #eneralizat i este descris de urmtoarele
trei propoziii'
(i) +entru fiecare e"emplu ( ) , , 1,
m m e
m n % d din mulimea de
antrenare corecia ponderii dintre neuronul j i neuronul i din
stratul precedent este proporional cu un termen de eroare
( ) m
j

asociat neuronului j, adic'
( ) ( ) m m
ji j i
w y (6&9!)
#n care'

este rata de #nvare*

( ) m
i
y - ieirea neuronului i din stratul precedent&
(ii) Dac neuronul j se afl #n stratul de ieire (fi,& 6&1=,a) termenul
de eroare este proporional cu diferena dintre valoarea dorit i
cea furnizat de reeaua neuronal i se calculeaz cu relaia'
( ) ( )
( ) ( ) ( ) ( ) Q m m m m
j j j j
d y f net (6&91)
#n care'
( )
( ) ( ) m m
j j
d y este diferena dintre valoarea dorit i cea
furnizat de reeaua neuronal pentru e"emplul m*
( )
( ) Q m
j
f net - derivata funciei de activare a neuronului j #n
raport cu potenialul su neuronal
( ) m
j
net corespunztor
e"emplului m considerat*
(iii) Dac neuronul j se afl #n stratul ascuns (fi,& 6&1=,b) fiind le,at
prin cone"iunile sinaptice &j
v
cu neuronii din stratul de ieire,
termenul de eroare este proporional cu suma ponderat a
termenilor de eroare asociai neuronilor de ieire i se calculeaz
cu relaia'
( )
( ) ( ) ( ) Q m m m
&j j j &
&
v f net
_


,

(6&96)
#n care
( ) m
&
se determin cu relaia precedent (6&91) aplicat
neuronilor & de pe stratul de ieire&
i
j
y
i
w
j i
y
j * d
j
*
j
( ) m
( ) m ( ) m ( ) m
i
&
j
y
i
w
j i
v
& j
y
j
y
&
* d
j
* d
&
*
j
*
&
( ) m
( ) m
( ) m
( ) m
( ) m
( ) m
( ) m
a) ))
/i,& 6&1=& Aplicarea re,ulii delta #n funcie de poziia neuronului'
a) neuronul se afl pe stratul de ieire
)) neuronul se afl pe stratul ascuns
Dup cum se poate o)serva, erorile
( )
( ) ( ) m m
j j
d y , identificate
la ieire, sunt transmise #napoi ctre intrare pentru a corecta
ponderile sinaptice dintre straturile succesive cu valori proporionale
cu aceste erori&
Re,ulile enunate se refer numai la ponderile neuronale fr a
se specifica nimic despre pra,urile ce se pot asocia fiecrui neuron
din straturile de prelucrare& Aceast formalizare nu e"clude utilizarea
pra,urilor care pot fi tratate ca ponderi ale cone"iunilor cu un neuron
din stratul precedent av$nd ieirea 81&
2.0.2.2. Antrenarea $L5
H reea neuronal de tip A:+ poate fi antrenat pentru
apro"imarea unei funcii
'
i &
n n
F # #
sau pentru asocierea,
respectiv clasificarea formelor de intrare&
+rocesul de antrenare const #n modificarea iterativ a ponderilor
i pra,urilor neuronilor de pe straturile de prelucrare #n scopul
minimizrii funciei de performan a reelei& Aceasta poate fi'
A)aterea ptratic parial'
( )
( )
6
( ) ( ) ( )
1
,
&
n
m m m
& &
&
+ d y

& 6 (6&99)
A)aterea ptratic medie parial'
( )
( )
6
( ) ( ) ( )
1
1
,
&
n
m m m
& &
&
&
+ d y
n

& 6 (6&9)
A)aterea ptratic total'
( )
( )
6
( ) ( )
1 1
,
e &
n n
m m
& &
m &
+ d y



& 6 (6&9=)
A)aterea ptratic medie total'
( )
( )
6
( ) ( )
1 1
1
,
e &
n n
m m
& &
e &
m &
+ d y
n n



& 6 (6&9B)
1n ,eneral funcia de performan utilizat este a)aterea ptratic
medie multiplicat, din considerente de simplificare a e"presiilor de
calcul, cu factorul
1
6
&
7mplementarea al,oritmului se poate efectua #n dou moduri'
(i) modul incremental 'incremental mode( #n care coreciile
ponderilor se efectueaz dup fiecare e"emplu, iar funcia de
performan este a)aterea ptratic medie parial*
(ii) modul #lobal 'batch mode( #n care coreciile ponderilor se
efectueaz dup ce toate e"emplele din mulimea de
antrenare au fost prezentate reelei, adic la sf$ritul unei
epoci, iar funcia de performan este a)aterea ptratic
medie total&
Determinarea matricelor ponderilor
G
&
i
G
6
care asi,ur
minimul funciei de performan se efectueaz impun$nd condiiile'
!* !, 1, , 1, , 1,
i j &
ji &j
+ +
i n j n & n
w v



(6&9C)
Acestea conduc la un sistem de ecuaii neliniare care se rezolv
iterativ printr-o metod de ,radient&
2.0.2.2.1. $etoda gradientului descendent
2ea mai simpl metod de determinare a unui punct de e"trem
local
G
x
pentru funcia ( ) y f x const #n anularea derivatei
( )
Q
!
df
f x
dx
(6&9C)
1n cazul unei funcii neliniare, cu o form comple", rezolvarea
direct a ecuaiei (6&9C) nu este posi)il i din acest motiv se recur,e
la o metod iterativ& Astfel, pentru a determina minimul se pornete
de la o apro"imaie iniial
!
x i se ,enereaz un ir de apro"imaii
succesive folosind relaia de recuren'
( )
Q
1
t
t t t t
x x
df
x x x f x
dx

+

(6&9%)
care definete aa numita metod a ,radientului descendent&
1n aceast relaie

este un parametru pozitiv utilizat pentru a

amplifica sau atenua deplasarea #n lun,ul direciei ( )
Q
df
f x
dx
& 1n
cazul unor valori mari punctul de minim poate fi depit, iar #n cazul
unor valori prea mici apropierea de punctul de minim cutat poate
deveni prea lent&
1n cazul al,oritmului )acKpropa,ation pentru care funcia de
performan, al crei minim este cutat, depinde de mai multe
varia)ile (ponderile cone"iunilor sinaptice ji
w
i &j
v
) relaia de
recuren (6&9%) se aduce la forma vectorial #nlocuind derivata cu
,radientul& Rezult, astfel, urmtoarele relaii, specifice metodei
,radientului descendent, pentru determinarea ponderilor
cone"iunilor sinaptice ale neuronilor de pe stratul ascuns'
( )
1 t t t
+
+
& & & (6&99,a)
respectiv ale celor de pe stratul de ieire'
( )
1 t t t
+
+
6 6 6 (6&99,))
#n care

este viteza de #nvare&

2.0.2.2.2. $etoda Ne:ton de ordinul II
1n metoda ,radientului descendent procesul de cutare a
punctului de minim al funciei de performan a reelei A:+ const
#n deplasarea dup direcia anti,radientului pe o lun,ime
proporional cu rata de #nvare

a crei valoare este selectat #n

mod ar)itrar de ctre utilizator& H conver,en mai rapid a
procesului iterativ de calcul ctre punctul de minim cutat este
posi)il atunci c$nd se cunosc detalii suplimentare privind funcia
( ) y f x , detalii care s permit estimarea unei valori optime
pentru viteza de #nvare

&
/iind cunoscut o estimare oarecare
t
x a punctului de e"trem
cutat se pune pro)lema determinrii coreciei
t
x astfel #nc$t
1 t t
x x x x
+
+ s constituie soluia pro)lemei, adic '
( ) ( ) ( )
Q Q Q
1
!
t t
f x f x x f x
+
+ (6&!)
1n acest sens, se dezvolt #n serie ?aLlor ( ) f x #n 4urul punctului
t
x i se rein termenii p$n la ordinul 7& Rezult'
( ) ( ) ( ) ( )
Q
t
t t x x
f x f x x f x f x x

+ + (6&6)
Aplic$nd acestei e"presii operatorul de derivare i admi$nd c noua
apro"imare
1 t t t
x x x x
+
+ este soluia cutat se o)ine'
( ) ( ) ( ) ( ) ( )
R Q Q R
1
!
t t
t t t t
x x x x
f x x f x f x f x x x
+

+ +
(6&9)
din care rezult relaia de recuren'
( )
( )
1
Q
QQ
t
t t
t
f x
x x
f x
+

(6&)
2ompar$nd relaia (6&) cu relaia (6&9%) din metoda
,radientului descendent rezult c
( )
R
1
t
f x
reprezint o estimare a
vitezei de #nvare #n punctul
t
x &
1n cazul unei funcii de mai multe varia)ile '
n
f # # ,
( ) y f % relaia (6&) capt forma vectorial'
( ) ( )
1
1 t t t t
f

+
1
]
% % ; % % (6&=)
#n care'
[ ]
1 6
, ,&&&,
T
n
x x x % *
( )
t
; % este matricea (esian, iar ( )
t
f % ,radientul funciei
#n punctul
t
% % &
Adaptarea metodei NePton de ordinul 77 la antrenarea reelelor
A:+ conduce la urmtoarele relaii de recuren pentru modificarea
ponderilor'
( ) ( )
1
1 t t t t

+
1
]
& & ; & E & (6&B,a)
( ) ( )
1
1 t t t t

+
1
]
6 6 ; 6 E 6 (6&B,))
Mtilizarea relaiilor (6&B) #n cadrul procesului de antrenare a
unei reele neuronale de tip A:+, impune vectorizarea matricelor
& i 6 , adic transformarea acestora #n vectori de forma'

11 1 1
,&&&, ,&&&, ,&&&,
i j j i
T
n n n n
w w w w
1

]
&
respectiv
11 1 1
,&&&, ,&&&, ,&&&,
j & & j
T
n n n n
v v v v
1

]
6
Dup cum se poate o)serva adaptarea ponderilor se realizeaz
folosind viteze de #nvare distincte pentru fiecare pondere, care, #n
plus, se modific de la o iteraie la alta&

2.0.2.2.#. $etoda gradientului con<ugat
Aetodele de ,radient con4u,at utilizate #n pro)lemele de
determinare a unui punct de e"trem al unei funcii de mai multe
varia)ile '
n
f # # , pornesc de la o apro"imaie iniial
!
% i
determin un ir de apro"imaii succesive prin deplasarea #n n pai
dup n direcii ; con4u,ate&
Dup cum este cunoscut, doi vectori ,
n
# % - care satisfac
relaia

!
T
% -
(6&C)
se numesc canonic con4u,ai&
Relaia (6&C) se poate scrie i su) forma'
!
T
n
% I - (6&%)
#n care
n
I este matricea unitate de ordinul n&
Neneraliz$nd, dac pentru o matrice oarecare ; de ordinul n,
vectorii ,
n
# % - satisfac relaia
!
T
% ; -
(6&9)
atunci acetia se numesc ; con4u,ai&
+entru a determina minimul funciei ( ) ' ,
n
f # # y f %
folosind metoda ,radientului con4u,at, se pornete din punctul iniial
!
% i se ale,e deplasarea
!
% #n sensul anti,radientului& +entru
simplificarea e"punerii deplasarea % se va nota cu -& +rin
urmare, ( )
! ! !
f % - % &
1n continuare procesul de cutare se desfoar #n n pai, dup n
direcii ; con4u,ate,conform relaiei'
( )
1 1 t t t t
f
+ +
+ - % - (6&=!)
#n care'
1 t t t t t t t

+
+ + % % % % - este o apro"imaie
intermediar, iar
t
un scalar care se determin astfel #nc$t vectorii
1 t +
- i
t
- s fie ; con4u,ai, adic'
1
!
T
t t +
- ; - (6&=1)
Av$nd #n vedere relaia (6&=!) relaia (6&=1) devine'
( )
( )
1
1
!
T
t t t t
T
T
t t t t t
f
f

+
+
1 +
]
1 +
]
% - ; -
% ; - - ; -
(6&=6)
din care rezult'
( )
1
1
T
T
t t t t t
f

+
1
1
]
]
- ; - % ; - (6&=9)
+entru a utiliza metoda ,radientului con4u,at la antrenarea
reelelor neuronale de tip A+: funcia f este #nlocuit cu funcia de
performan, iar vectorul % cu vectorul U format prin vectorizarea
simultan a matricelor ponderilor sinaptice & i 6, adic'
11 1 1 11 1 1
,&&&, ,&&&, ,&&&, , ,&&&, ,&&&, ,&&&,
i j j i j & & j
T
n n n n n n n n
w w w w v v v v
1

]
U
7mplementarea acestei metode implic rezolvarea urmtoarelor
dou pro)leme suplimentare'
./ 0electarea vitezei de nvare
t

H metod de determinare a unei valori pentru rata de #nvare

t

const #n apro"imarea variaiei funciei de performan #n raport cu

printr-un polinom de ,radul 77, adic'

( )
6
+ $ % - + + (6&=)
din care, prin anularea derivatei, rezult valoarea optim
G
6
%
$
(6&==)
1n cadrul fiecrui pas de calcul, coeficienii $, % i - se
determin evalu$nd funcia de performan #n trei puncte distincte,
astfel'
pentru ! rezult
1 t t t
+ U U - U , respectiv
1 1
( ) - + + U (6&=B,a)
pentru !&= rezult
6
!&=
t t
+ U U - , respectiv
6 6
1 1
( )
6
$ % - + + + + U (6&=B,))
pentru 1 rezult
9 t t
+ U U - , respectiv
9 9
( ) $ % - + + + + U (6&=B,c)
Rezolv$nd sistemul de ecuaii format din relaiile (6&=B,a,),c) se
o)in coeficienii $, % i -, iar din relaia (6&==) valoarea vitezei de
#nvare&
2/ 0electarea matricei $ pentru calculul factorului
t

Aatricea ; din e"presia (6&=9) a factorului

t
ar putea fi
Fessianul funciei de performan +& ?otui, pentru reducerea
timpului de calcul se evit calculul matricei Fessian& 1n acest sesns,
dezvolt$nd #n serie ?aLlor ,radientul ( )
1 t
+ :
+
i adopt$nd o serie
de ipoteze simplificatoare se poate demonstra c'
( ) ( )
1
0
t t t t
+ +
+
1
]
; - U U (6&=C)
1nlocuind relaia (6&=C) #n (6&=9) rezult'
( ) ( )
{ }
( ) ( ) ( )
1
1
1 1

T
t t t t
T
t t t
+ +
f + +

+
+ +
1
1
]
]
1 1
] ]
- U U
% U U
(6&=%)
2.0.#. Reele neuronale arti"iciale =o,onen
Reelele neuronale Oo(onen numite (ri de trsturi cu auto-
or,anizare, sunt inspirate din modul #n care este or,anizat corte"ul
cere)ral care, dup cum este cunoscut, are rolul de a coordona
funciile or,anismului& ;l poate fi asemuit cu o p$nz su)ire, de
#ntindere relativ mare (apro"imativ !,= m
6
), pliat astfel #nc$t s
poat ocupa suprafaa din interiorul craniului, pe care se realizeaz o
proiecie deformat a #ntre,ului corp uman& +entru a asi,ura
coordonarea funciilor or,anismului #n scopul asi,urrii unitii
funcionale a acestuia i al adaptrii la mediu, corte"ul sau scoara
cere)ral posed proprieti topolo,ice0or,anizatorice remarca)ile&
De e"emplu, zona corespunztoare m$inii se afl l$n, zona
corespunztoare )raului i aa mai departe&
+ornind de la aceste o)servaii, Oo(onen a pus )azele teoriei
(rilor de trsturi cu auto-or,anizare, care sunt reele neuronale
artificiale cu #nvare nesupervizat i cu ieiri continue, cunoscute i
ca reele neuronale 1ohonen&
Auto-or,anizarea se definete ca fiind capacitatea unui sistem de
a descoperi i #nva structura datelor de intrare c(iar i atunci c$nd
nu e"ist informaii referitoare la aceast structur& /r a i se
specifica rspunsul corect pentru fiecare e"emplu prezentat la
intrare, reeaua neuronal artificial cu auto-or,anizare #nva
sin,ur& 2u alte cuvinte, ea descoper trsturi caracteristice ale
datelor de intrare pe care le or,anizeaz i le memoreaz #ntr-o
manier specific& 1n acest conte"t, setul sau mulimea de antrenare
conine numai mrimile de intrare
&
% i nu perec(i de tipul intrare
8 ie6ire d!rit ( ) ,
& &
d % &
7nformaiile privind trsturile specifice mulimii datelor de
antrenare sunt sintetizate #n cursul procesului de #nvare
nesupervizat i sunt memorate #n vectorii cone"iunilor sinaptice ale
cror componente nu mai reprezint ponderile ci componentele aa
numiilor vect!ri pr!t!tip& /iecare neuron al reelei artificiale
corespunde unui prototip, iar ieirea definete relaia dintre intrarea
curent i aceste prototipuri memorate&
+articularitatea reelelor Oo(onen este aceea c neuronii nu mai
sunt aezai pe straturi (de intrare, de ieire i ascuns), ci #n nodurile
unei plase )idimensionale de dimensiune ( m & ) (fi, 6&1B), numit
,rila suport&
1n aceast structur e"ist cone"iuni doar #ntre intrarea
[ ]
1 6
, ,&&&,
T
n
x x x % i fiecare neuron, prin intermediul vectorilor
1, , ,
,&&& ,&&& 1, 6,&&&
T
j j i j n j
w w w j m & 1
]
& , iar ponderile le,turilor
dintre neuroni ,rilei suport nu au nici o relevan& /iecare neuron
este asociat unei clase, motiv pentru care se utilizeaz i termenul
neur!n clas, i este caracterizat de'
vectorul
1, , ,
,&&& ,&&& 1, 6,&&&
T
j j i j n j
w w w j m & 1
]
& numit
vector prototip asociat*
poziia sa pe ,rila suport, adic coordonatele
x
r i y
r
&
1
&
n
7 n t r a r e
x
1
x
6
x
n
m
/i,& 6& 1B& 3tructura unei reele neuronale Oo(onen&
7nteraciunea dintre neuroni depinde de distana dintre acetia&
Distana dintre doi neuroni r i s poate fi definit ca fiind distana
euclidian'
( ) ( ) ( )
6 6
,
x x y y
d r s r s r s +
sau distana Aan(attan'
( , )
x x y y
d r s r s r s +
& (6&B!)
:a #nceputul procesului de antrenare al reelei, componentele
, i j
w
ale vectorilor prototip sunt iniializate aleator urm$nd a fi
adaptate #ntr-o manier care s asi,ure faptul c neuronii apropiai
din punct de vedere topolo,ic, s fie sensi)ili la intrri apropiate&
Astfel, dup iniializarea aleatoare a valorilor ponderilor , i j
w
,
reelei i se prezint la intrare c$te un e"emplu , 1, 6,&&&,
m e
m n % din
mulimea de antrenare, care este comparat cu toi vectorii prototip
1, 6,&&&,
j
j m & &
#n scopul determinrii neuronului c$ti,tor&
Acesta este neuronul al crui vector prototip este cel mai apropiat de
vectorul
m
% prezentat la intrare, adic neuronul
G j
care satisface
relaia'
G
minS T, 1, 6,&&&,
j j
j
d d j m &
(6&B!)
#n care
( )
6
,
1
, 1, 6&&&,
n
j i i j
i
d x w j m &

& (6&B1)
Dup ce a fost determinat c$ti,torul competiiei, are loc
procesul de actualizare a ponderilor& 1n acest sens, se utilizeaz
conceptul de vecintate& <ecintatea unui neuron j, notat ( ) ; j este
format din acei neuroni pentru care distana dintre ei i neuronul j nu
depete o valoare presta)ilit& <ecintatea unui neuron depinde de
tipul de distan utilizat& +entru e"emplificare, #n fi,ura 6&1C sunt
prezentate vecintatea de dimensiune 6 a unui neuron #n situaia
utilizrii distanei euclidiene (6&1C, a), respectiv a distanei
Aan(attan (6&1C, b)&
Actualizarea ponderilor se face utiliz$nd relaia'
( ) ( ) , G
ij ij i ij
w w j j x w +
(6&B6)
unde'

este viteza de #nvare*

( ) , G j j 8 funcia de #nvecinare definit de relaia'
( )
( ) 1, dac G
, G
!, altfel
j ; j
j j


'

(6&B9)
+entru a eficientiza procesul de antrenare, valoarea vitezei de
#nvare i a funciei de #nvecinare sunt modificate #n timp folosind #n
acest sens relaiile'
( ) , ! 1 t t

< (6&B)
i
( )
( )
( )
6
, G
, G, e"p
6
dist j j
j j t
t
_

,
(6&B=)
unde ( ) , ! 1 t t

< &
+rocesul de antrenare se #nc(eie atunci c$nd ponderile ataate
tuturor neuronilor nu se mai modific semnificativ&
a .
b .
/i,& &1C& <ecintate de dimensiune 6 #n cazul utilizrii'
a 8 distanei euclidiene* b 8 distanei Aan(attan&
Dup prezentarea unui numr suficient de vectori de intrare, neuronii
clas din reea vor evidenia ,rupri de puncte su) forma unor nori
sau clustere care partiioneaz spaiul de intrare& 2u alte cuvinte
reeaua #ncearc s proiecteze ,rila suport #n spaiul de intrare astfel
#nc$t fiecare vector de antrenare s fie c$t mai apropiat de un
prototip, iar ,rila suport s fie c$t mai puin posi)il deformat&