Sunteți pe pagina 1din 10

Reelele neuronale

n reelele neuronale informaia nu mai este memorat n zone bine


precizate, ca n cazul calculatoarelor standard, ci este memorat difuz n
toat reeaua. Memorarea se face stabilind valori corespunztoare ale
ponderilor conexiunilor sinaptice dintre neuronii reelei.
Un alt element important, care este, probabil, principalul
responsabil pentru succesul modelelor conexioniste, este capacitatea
reelelor neuronale de a nva din exemple. n mod tradiional, pentru a
rezolva o problem, trebuie s elaborm un model (matematic, logic,
lingvistic etc.) al acesteia. poi, pornind de la acest model, trebuie s
indicm o succesiune de operaii reprezent!nd algoritmul de rezolvare a
problemei. "xist, ns, probleme practice de mare complexitate pentru
care stabilirea unui algoritm, fie el #i unul aproximativ, este dificil sau
c$iar imposibil.
n acest caz, problema nu poate fi abordat folosind un calculator
tradiional, indiferent de resursele de memorie #i timp de calcul
disponibil.
%aracteristic reelelor neuronale este faptul c, pornind de la o
mulime de exemple, ele sunt capabile s sintetizeze n mod implicit un
anumit model al problemei.
&e poate spune c o reea neuronal construie#te singur algoritmul
pentru rezolvarea unei probleme, dac i furnizm o mulime
reprezentativ de cazuri particulare (exemple de instruire).
'nteligena artificial, ca si in cazul inteligenei biologice se
dob!nde#te printr(un proces continuu si de durata de nvare, de aceea
problema nvrii ocup un loc important in cercetarea ma#inilor auto(
instruibile (mac$ine learning).
)rin nvarea automata se nelege studiul sistemelor capabile sa(#i
mbunteasc performantele, utiliz!nd o mulime de date de instruire.
&istemele cu inteligen artificiala obi#nuite au capaciti de
nvare foarte reduse sau nu au de loc. 'n cazul acestor sisteme
cunoa#terea trebuie sa fie programat in interiorul lor. *ac sistemele
conin o eroare ,ele nu o vor putea corecta, indiferent de cate ori se
executa procedura respectiv. )ractic aceste sisteme nu(si pot mbuntii
performanele prin experien si nici nu pot nva cuno#tine specifice
domeniului, prin experimentare. proape toate sistemele cu inteligent
artificial sunt sisteme deductive. ceste sisteme pot trage concluzii din
cunoa#terea ncorporat sau furnizat, dar ele nu pot sa genereze singure
noi cuno#tine.
)e msura ce un sistem cu inteligena artificial are de rezolvat
sarcini mai complexe, cre#te #i cunoa#terea ce trebuie reprezentat n el
(fapte, reguli, teorii). n general un sistem funcioneaz bine, n
concordan cu scopul fixat prin cunoa#terea furnizat, dar orice mi#care
in afara competentei sale face ca performanele lui s scad rapid. cest
fenomen este numit si fragilitatea cunoa#terii.
Una din direciile de cercetare in privita ma#inilor instruibile este
modelarea neuronal . Modelarea neuronal dezvolt sisteme instruibile
pentru scopuri generale, care pornesc cu o cantitate mic de cuno#tine
iniiale. stfel de sisteme se numesc reele neuronale sisteme cu auto(
organizare sau sisteme conexioniste.
Un sistem de acest tip consta dintr(o reea de elemente
interconectate de tip neuron, care realizeaz anumite funcii logice
simple.
Un astfel de sistem nva prin modificarea intensitii de
conexiune dintre elemente, adic sc$imb!nd ponderile asociate acestor
conexiuni. %unoa#terea iniial ce este furnizat sistemului este
reprezentat de caracteristicile obiectelor considerate si de o configuraie
iniial a reelei.
&istemul nva construind o reprezentare simbolica a unei mulimi
date de concepte prin analiza conceptelor si contraexemplelor acestor
concepte. ceasta reprezentare poate fi sub forma de expresii logice,
arbori de decizie, reguli de producie sau reele semantice.
'storia +eelelor ,euronale rtificiale (+,) sau, simplu, a
+eelelor ,euronale, ncepe cu modelul de neuron propus de ctre
Mc%ulloc$ si )itts (un logician si un neurobiolog) n -./0. #i este numit
acest model neuronal, neuronul M).
Modelul M) presupune c neuronul funcioneaz ca un dispozitiv
simplu, ale crui intrri sunt ponderate. )onderile pozitive sunt
excitatoare iar ponderile negative sunt in$ibitoare. *ac excitaia total,
adic suma ponderata a intrrilor, dep#e#te un anumit prag, atunci
neuronul este activat si emite un semnal de ie#ire (ie#irea are valoarea
1-). *ac excitaia total este mai mica dec!t valoarea prag, atunci
neuronul nu este activat #i ie#irea lui se consider a fi zero.
2ebb (-./.) a propus un mecanism calitativ ce descrie procesul
prin care conexiunile sinaptice sunt modificate pentru a reflecta
mecanismul de nvare realizat de neuronii interconectai atunci c!nd
ace#tia sunt influenai de anumii stimuli ai mediului.
+osenblatt (-.34, -.3.) a propus un dispozitiv numit perceptron.
)erceptronul este bazat pe interconectarea unei mulimi de neuroni
artificial #i reprezint primul model de reea neuronal artificial
5ernard 6idro7 a propus un model neuronal numit *8'," si
o reea cu elemente de acest tip numit M*8',". *8',"
reprezint acronimul *ptive 8inear ,euron sau *ptive 8',ear
"lement. M*8'," este un acronim pentru Multiple(*8',".
Modelul *8'," este n esena identic cu modelul
perceptronului. 'e#irea este bipolar9 1- sau :-. *8'," este un
dispozitiv adaptiv, in sensul ca exista o procedura bine definita de
modificare a ponderilor pentru a permite dispozitivului sa dea rspunsuri
corecte pentru o intrare data.
+eelele neuronale permit rezolvarea unor probleme complicate,
pentru care nu avem un algoritm secvenial dar posedm unele exemple
de soluii. nv!nd din aceste exemple (faza de instruire), reeaua va fi
capabila sa trateze cazuri similare (faza de lucru).
%alculatoarele obi#nuite sunt, desigur, instrumente extrem de
adecvate in rezolvarea unui spectru larg de probleme matematice,
#tiinifice, inginere#ti. %alculatoarele #i dovedesc limitele in domenii in
care omul exceleaz, cum ar fi percepia si nvarea din experien.
ntr(un calculator obi#nuit elementul esenial este procesorul,
caracterizat de viteza mare de lucru. 'n creier, elementele individuale de
proces sunt celulele nervoase (neuronii). "le sunt mai simple si mai lente
dec!t un procesor de calculator, ins sunt foarte numeroase. %onexiunile
dintre neuroni sunt la fel de importante ca si ace#tia. 'nteligena si
procesele memoriei rezid in ntreaga reea de celule si nu in neuronii
individuali.
%ortexul cerebral este o reea neuronala naturala . ; astfel de reea
neuronala are capacitatea de a g!ndi, nva, simi #i de a(#i aminti.
+eelele neuronale artificiale sunt reele de modele de neuroni
conectai prin intermediul unor sinapse a<ustabile. =oate modelele de
reele neuronale se bazeaz pe interconectarea unor elemente simple de
calcul dintr(o reea dens de conexiuni.
>iecare unitate de proces este capabil s execute doar calcule
simple, dar reeaua, ca ntreg, poate avea caliti remarcabile in
recunoa#terea formelor, rezolvarea problemelor pentru care nu posedam
un algoritm, nvarea din exemple sau din experiena.
)aralelismul nalt si capacitatea de nvare reprezint
caracteristicile fundamentale ale reelelor neuronale
%alculul neuronal implic doua aspecte fundamentale9 nvarea si
reprezentarea cunoa#terii.
+eelele neuronale ac$iziioneaz cunoa#terea prin instruire.
; reea neuronala este instruita daca aplicarea unei mulimi de
vectori de intrare va produce ie#irile dorite. %unoa#terea pe care reeaua
neuronala o dob!nde#te este memorat de sinapsele neuronale, mai
precis, n ponderile conexiunilor dintre neuroni.
Muli dintre algoritmi de instruire pot fi considerai ca av!ndu(#i
originea in modelul de nvare propus de ctre *onald 2ebb(-./.).
*onald propune un model al sc$imbrilor conexiunilor sinaptice dintre
celulele nervoase. %onform modelului lui 2ebb, intensitatea conexiunii
sinaptice dintre doi neuroni (ponderea conexiunii) cre#te de cate ori ace#ti
neuroni sunt activai simultan de un stimul al mediului. cest mecanism
este cunoscut de regula lui 2ebb de nvare.
*ac ?
i
este activarea neuronului i si exista o legtura sinaptic
intre neuroni i si <, atunci, in concordana cu legea lui 2ebb, intensitatea
conexiunii lor sinaptice este afectata de9
7
i<
@c ?
i
?
<
,
unde c este un coeficient de proporionalitate adecvat ce reprezint
constanta de instruire. ceasta lege apare ca natural in muli algoritmi de
nvare. n plus, exist argumente neuro(biologice care spri<in ipoteza
c stimulii mediului cauzeaz modificri sinaptice.
cest mecanism este un model de nvare nesupervizat n care
drumurile neuronale des utilizate sunt intensificate (ntrite). cest model
poate explica fenomenele de obi#nuin si de nvare prin repetare.
; reea neuronal artificial care folose#te o nvare $ebbiana va
determina o cre#tere a ponderilor reelei cu o cantitate proporionala cu
produsul nivelurilor de exercitare neuronale.
>ie 7
i<
(n) ponderea conexiunii de la neuronul i la neuronul <
nainte de a<ustare si 7
i<
(n1-) ponderea acestei conexiuni dup a<ustare.
8egea 2ebb de nvare se va scrie in acest caz sub forma9
7
i<
(n1-) @ 7
i<
(n) 1 c ?
i
?
<
,
unde ?
i
este ie#irea neuronului i (intrarea neuronului <) iar ?
<
este
ie#irea neuronului <.
; variant a acestei legi de nvare este legea $ebbian a
semnalului. n concordan cu aceast lege modificarea ponderilor este
dat de9
7
i<
(n1-) @ 7
i<
(n) 1 c &(?
i
) &(?
i
) ,
unde & este o funcie sigmodal.
Un alt tip de nvare este nvarea competitiv. n acest caz, mai
muli neuroni concureaz la privilegiul de a(#i modifica ponderile
conexiunilor, adic de a fi activai.
Aplicaii ale Reelelor Neuronale
REELE NEURONALE N PROBLEME DE CONTROL I DE
MODULARE A SISTEMELOR
%ontrolul automat si modelarea sistemelor dinamice (liniare sau
neliniare) constitue o aplicaie ma<or a reelelor neuronale. "ste cunoscut
faptul ca un sistem dinamic este descris de ecuaii difereniale care, in
funcie de complexitatea sistemului, au adesea o rezolvare laborioasa.
*e#i ma<oritatea reelelor neuronale sunt statice, un proces dinamic
poate fi modelat in timp discret oferind reelei exemple de instruire
const!nd n intrri si ie#iri trecute ale procesului. +eeaua este capabil sa
nvee transformarea neliniar f, unde
?(A)@f(x) , x @ Bu(A(-), u(A(C),D, u(A(n
u
),?(A(C),D, ?(A(n
?
)E
=
,
in care x(u) si ? sunt, respectiv, intrarea si iesirea sistemului. ;rdinele
dinamice n
u
si n
?
ale sistemului trebuie sa fie cunoscute a priori sau
trebuie estimate din setul se date.
)roblema identificrii sistemului neliniar implic at!t estimarea c!t
#i aproximarea erorilor. n cazul proceselor liniar, funcia devine
$iperplanul
?(A)@b
-
u(A(-)1b
C
u(A(C)1D1b
nu
u(A(n
u
) : a
-
?(A(-):a
C
?(A(C)D(a
n?
?(A(n
?
).
*escrierea complet a sistemului este dat de gsirea pantelor ((a
i
) si b
i
.
)entru exemplificare, se considera un proces dinamic simplu dar
real, reprezentat n figur. "ste un sistem de ordinul unu care conine o
neliniaritate tip arctg, are o constant de timp = F -Gs si un c!#tig A F C.
>uncia de transfer este deci H(A) F f(u(A(-), H(A(-)).
u ?

>igura. 4. )roces dinamic de ordinul unu
; modelare eficient a sistemului de mai sus const intr(o
combinaie de optimizare liniar si una neliniar. ; prim abordare
porne#te cu alegerea centrilor si a dispersiei prin metoda neliniar a
perceptronului multistrat, urmat de calcululul ponderilor prin optimizare
liniar (metoda matricei pseudo(inverse). doua cale folose#te mai nt!i
optimizarea liniar obi#nuita a centrilor, a dispersiei I #i a ponderilor,
G.-.G0 z(-
-( G..G/4 z(-
arctan!"
dup care algoritmul perceptronului va produce o acordare fin a soluiei
obinute.
lgoritmul combinat de optimizare este urmtorul9
- &elecia centrilor #i a dispersiei prin grupare, folosind metoda celui
mai apropiat vecin.
C ;ptimizarea liniar a ponderilor.
0 *ac performanele sunt satisfctoare, stop. *ac nu, se continu
cu parametri iniiali ai reelei.
/ +eactualizarea centrilor #i a dispersiei prin optimizarea neliniar.
3 ;ptimizarea liniara a ponderilor.
J &e merge la pasul / pan la obinerea convergenei in timpul
minim.
PRELUCR#RI DE IMA$INI CU REELE NEURONALE
)roprietile de baz ale reelelor neuronale, anume faptul ca sunt
aproximatori universali #i ca au o capacitate de predicie deosebit, #i
gsesc utilizarea imediat in cadrul altor domenii, cum ar fi: prelucrarea
de imagini, recunoa#terea formelor vizuale(scris #i amprente) sau
recunoa#terea vorbirii.
>iltrarea zgomotelor, accentuarea #i detecia contururilor,
segmentarea imaginii #i extragerea caracteristicilor sunt cele mai
importante operaii de procesare. *e#i metodele clasice de prelucrare
satisfac ma<oritatea aplicaiilor exista te$nici $ibride de tipul
segmentare/clasificare, pentru care metodele conexioniste ofer
performante superioare in raport cu rata de recunoa#tere #i cu timpul de
calcul.
'mplementarea se poate realiza cu reele neuronale celulare, care
sunt circuite analogice neliniare ce permit o implementare K8&', reelele
celulare put!nd efectua prelucrri paralele de semnal in timp real. "cuaia
de ie#ire a unui nod oarecare reprezint un filtru bidimensional, neliniar #i
invariant n spaiu.
; aplicaie foarte util este recunoa#terea on line a semnturilor
grafologice cu a<utorul unui neurocalculator. &e pot folosi drept
caracteristici coordonatele planare #i presiunea stiloului, extrase cu
a<utorul unei tabele grafice. &unt luate n consideraie variabilitatea
semnaturilor corecte, precum si semnaturile false.
SISTEM E%PERT CU REEA NEURONALA MULTISTRAT
; ar$itectur reprezentativ de sistem expert bazat pe o reea
neuronala . multistrat instruit cu algoritmul propagrii inverse a fost
propus n. lgoritmul de instruire accept forme de instruire pe interval,
ceea ce face posibil #i nvarea cu intrri irelevante #i ie#iri posibile. Un
utilizator al sistemului poate defini tipurile de intrri #i ie#iri (real, ntreg,
scalar, mulime), ca si modul lor de codificare (virgul mobil, binar,
unar).
Intrrile i ieirile expert
n proiectarea particular a sistemelor expert, este necesar s se
aleag intrrile si ie#irile expert care vor gsi o rezolvare optim a
problemei aplicative. diferite posibiliti de intrri #i ie#iri expert, astfel
nc!t diferite moduri de codificare s respecte necesitile aplicaiilor
particulare.
& considerm un sistem expert neuronal cu un numr de intrri
(simptome) #i ie#iri (diagnostice). cestea pot fi variabile de tip real
(ntreg), scalar cu valori definite de utilizator #i mulime. Un exemplu de
sistem expert de diagnostic medical simplu poate avea urmtorii
parametri9
',=+L+': *U+"+" *" MN=:scalar din (,U, *)
="M)"+=U+: real din B0J, /CE
'"O'+'9 5;89 scalar din (&,=;&, +"%", ,M',,
M+'))
',%)%'=="_*"_MU,%9 scalar din (,U, *)
M"*'%='"9 mulime din (*+;)&U+', &)'+',,
)",'%'8',)
Kalorile intrrilor #i ie#irilor intr(un sistem expert neuronal sunt
codificate de valori analogice ale straturilor neuronilor de intrare #i ie#ire
utiliz!nd virgula flotant, codurile binare #i unare. =ipul real codificat
binar este, de fapt, de tip ntreg.
%odificarea n virgul flotant necesit numai un neuron. n
codificarea unar #i binar exist, in general, mai muli neuroni cu dou
stPri ((- #i -) conform definiiei de tip. Kaloarea unui tip arbitrar este mai
nt!i transformatP la o valoare numeric denumitP index. "valuarea
indexului este ilustratP in =abelul -, pentru valori de diferite tipuri, date
pentru exemplul de mai sus.
=ip Kaloare 'ndex Kirgul mobil %od binar %od unar
+eal 04 04
(-/0
( (
ntreg 04 C ( (-, -,(- (
&calar grip - - -,- (-, (-, (-, -
Mulime *ropsuri
penicinina
0/Q 0/Q
-,(-, - (-, (-, (-, (-,
(-, -, (-,(-
=abelul -. "xemple de codificPri
Un expert #i formuleaz cuno#tinele sub form de exemple tipice
de inferene. ; inferen este o perec$e compus dintr(un vector de intrri
tipice #i vectorul corespunztor al ie#irilor obi#nuite prin rspunsurile
expertului la aceste intrPri. *e exemplu, in medicin, documentaia
medical despre pacieni poate fi luat ca bazP pentru crearea unei
mulimi de exemple tipice de inferen. n acest caz, intrrile corespund
cu rezultatele examinrilor medicale si ie#irile sunt diagnosticele ori
recomandPrile medicamentoase date de doctor. )entru exemplul de la
seciunea J.0. mulimea exemplelor de inferen poate lua urmPtoarea
form9
R B (,U, 04.J), (M+')S, *, R*+;)&U+', &)'+',L,T)
B (*, 0Q.C), (,M',S, *, R)",'%'8',LT ) ), ...,
B (,U, necunoscut), (&S,S=;&, ,U, R&)'+',ST ) E T
5aza de cuno#tine a sistemului expert neuronal propus este o reea
neuronal multistrat. pare, insP, problema codificrii valorilor irelevante
#i necunoscute ale intrPrilor #i ie#irilor expert. )entru a nelege
importana acestei probleme, s considerPm un sistem expert medical cu
3G de intrPri reprezent!nd rezultatele tuturor examinPrilor medicale. n
caz particular, multe dintre acestea sunt irelevante pentru determinarea
diagnosticului final (de exemplu, razele U nu sunt necesare in stadiul de
diagnozP a anginei).
)entru a rezolva aceastP problemP de codificare, putem crea mai
multe exemple de inferen substituind toate valorile posibile pentru
intrri #i ie#iri irelevante. cest proces conduce, in general, la o cantitate
mare de date #i este dificil de realizat. *e aceea vom generaliza neuronul
clasic la un neuron interval Kaloarea irelevantP sau c$iar necunoscutP a
unei intrPri sau ie#iri expert este codificatP utiliz!nd ntregul interval de
stare a neuronilor.
>ie B(-, -E acest interval. Kaloarea cunoscutP este codificatP de un
singur punct din interval dupP procedura de codificare descrisP anterior.
n acest fel, obinem mulimea alctuit din forme de instruire interval.
>orma de instruire interval este compusP din vectorul stPrilor de
intrare interval ale neuronului #i din vectorul corespunzPtor al stPrilor
interval de ie#ire. n exemplul nostru, utiliz!nd . tipul natural de
codificare, forma de instruire interval este9
R ( B-,-E, B(-V -- B(-,-E ,U
B(-,-E) necunoscut
( B -,-E, B(- (-E, B(-(-E, B(- (-E, &L,L=;&
B-.-E, B(-,(-E, ,U
B(- -E, B-,-E, B(- -E ) T aspirin
Funcia neuronului interval
&e introduce predicatul >) cu neuronul ca parametru, care este
adevPrat dacP #i numai dacP acest neuron este un neuron de ie#ire care
codificP ie#irea expert in virgulP flotantP. n aceastP abordare, se iau n
consideraie intrPrile interval Ba
<
, b
<
E, < i , ale neuronului i. )otenialul
intern de interval BxV , ?] #i starea intervalului Ba
i
, b
<
] (ie#irea) pentru acest
neuron sunt date de9

?
i
>)(i)
a
i
@ ;
&
i
(x
i
) , n rest
#i
?
i
")(')
b
i
@
&
i
(?
i
), in rest,
Unde
Algoritmul de instruire.
&e consider mulimea de instruire {('
A
;
A
) A=-,D,},
unde '
A
este vectorul intervalelor de intrare #i ;
A
este vectorul de ie#ire
dorit corespunztor intervalelor de ie#ire ale reelei B
Av
, 5
Av
E, v indic
neuronul de ie#ire relevant. %onsider!nd Ba
v
('
A
), b
v
('
A
)E drept starea
intervalului actual neuronului de ie#ire v pentru intrarea reelei '
A
.
*efinim funcia de eroare parial "
A
drept o sum de diferene
dintre ie#irea dorit #i cea actual:
"A@-C((a
v
('
A
)(
Av
)
C
1(b
v
('
A
)(5
Av
)
C
).
>uncia erorii totale " a reelei neuronale multistrat cu privire la
ntreaga mulime de instruire este suma funciilor erorilor pariale:
,
"@"
A
.
W@-
Minimizarea erorii se face dup metoda gradientului.
*up ce reeaua neuronal a fost construit se poate verifica dac
baza de cuno#tine neuronal creat este capabil sa deduc concluziile
noastre. Kerificarea poate fi fcut cu a<utorul unei mulimi de test.