4.

MODELUL NEURONAL
4.1 Referinte cronologice in dezvoltarea modelelor neuronale Istoria reelelor neuronale nu este att de noua pe cat s-ar crede. Ca model al creierului uman acestea au costituit, inca din epoca primului calculator electronic, o prima i promitoare cale de cercetare n domeniul inteligenei artificiale. Astfel, cronologic, acest domeniu a cunoscut interesante momente de referin. Sintetizam acest istoric in tabelul de mai jos.
Anul
1943 1949

Autorii
McCulloch i Pitts Donald Hebb (prima contribuie la teoria reelelor neuronale) Minsky ,1954

Contribuii
Modelul formal al neuronului elementar. Nu s-a implementat la vremea respectiva din motive tehnologice Regula de nvare hebiana - prima schem de nvare prin actualizarea conexiunilor neuronului. S-a stabilit ca informaia este stocat n conexiuni i a postulat tehnica invarii, care a avut un impact profund n dezvoltarea ulterioar a domeniului. Construirea i testarea primelor neurocomputere. Acestea sunt capabile s adapteze automat conexiunile. Inventarea perceptronului. Acesta este un sistem instruibil, capabil s nvee s clasifice forme concrete prin modificarea conexiunilor la elementele de intrare. Aceasta idee s-a impus, constituind metoda de baz, utilizat i astzi, n cadrul algoritmilor de nvare a mainilor. Apare dispozitivul cunoscut ca ADALINE (for ADAptive LINEar combiner), acesta consacrand de fapt o nou metod de nvare numita regula de nvare Widrow-Hoff. Regula are particularitatea c minimizeaz suma erorilor ptratice pe timpul antrenrii reelei n procesul de clasificare a formelor. Extensia MADALINE (for Many ADALINES) include o serie de aplicaii pentru recunoaterea formelor, previziunea vremii, controlul adaptiv.

Anii '50

Frank Rosenblatt, 1958

Bernard Widrow i Marcian Hoff, 19601962

Anii '60 Nils Nilson, 1965

Anii '70 constituie perioada de laten n domeniul reelelor neuronale, fiind marcai de preocupri sporadice ale unor autori.

Marvin Minsky i Seymour Papert, 1969 Sun -Ichi Amari, 1972,1977 Kunihito Fucushima Tuevo Kohonen i James Anderson, 1977 Stephen Grossberg i Gail Carpenter, 1974 John Hopfield, 1982,1984 Kohonen, 1982 James McClelland i David Rumelhart, 1986

Prima monografie despre nvarea mainilor, prezentand o sintez a realizrilor i formularea limitelor inerente ale procesului de invare a mainilor prin modificarea conexiunilor. Insuficiena teoremelor de existen a mainilor instruibile cu modele neuronale de tip layered networks, in gsirea unor scheme eficiente de nvare. Se manifesta primul impas serios n dezvoltarea reelelor neuronale. Cercetrile n acest domeniu intr ntr-o faz de stagnare i datorit insuficienei mijloacelor de calcul din epoca respectiv. Se public lucrarea n care se arat limitele privind capacitatea de nvare de tip layered learning, statuand astfel insuficiena clasei de reele de tip perceptron. Problematica va fi rezolvat abia n anii '80. Studiul nvrii n reele neuronale, elemente de prag, teoria matematic a RN. Dezvolt o clas de arhitecturi neuronale denumite cognitron i neocognitron (Fucushima i Miyaka, 1980) Cercetri cu privire la memoria asociativ

Introduc o serie de arhitecturi neuronale i formuleaz concepte dezvoltnd teoria reelelor adaptive rezonante. (ART) Relanseaz cercetrile in domeniu prin introducerea arhitecturii de reea neuronal recurent pentru memoriile asociative. Formuleaz proprietile de calcul ale unei reele cu elemente total conectate. Reelele cu nvare nesupervizat. Apare lucrarea de referin despre procesarea paralel distribuit. ncepand cu anul 1986 apar programe de cercetare n domeniul RN. Se contureaz noua disciplin- neurocomputing. Apar numeroase aplicaii practice cu sisteme neuronale. Apar implementri hardware integrace.

Anii '80 sunt anii de renatere a cercetrilor n domeniul RN, bazat pe acumulrile tehnologice dar i pe dezvoltarea unor teorii anterioare.

4.2 Principii de functionare

Reelele neuronale artificiale (RNA) au ca punct de inspiraie structura sistemului nervos al fiinelor. Studiul acestora a aprut o dat cu primele noiuni de I.A. n ncercarea de a reproduce n sistemele artificiale procese mentale superioare (vorbirea, raionarea) recunoaterea scenelor sau procese psiho-motorii bazate pe reflexe necondiionate i/sau condiionare (mersul, notul, condusul unui autovehicul etc.). Unitatea de baz a sistemului nervos este neuronul care poate fi modelat din punct de vedere al proceselor biofizice, dup mai multe teorii [1] . Neuronul artificial este o copie mult simplificat a originalului biologic. Asemnarea este mai mare n ceea ce privete structura funcional de principiu i mai puin adevrat n ceea ce privete procesele fizice care au loc. n principiu, un neuron ndeplinete dou funcii majore: comunicarea (transmiterea) informaiei; prelucrarea local a informaiei. Astfel un neuron artificial este un procesor elementar fiind organizat dup arhitectura unui sistem MISO (Multiple Input/Single Output) cu n circuite de intrare (input) caracterizate de ponderile asociate Wn, un circuit de nsumare (), un bloc functional de activare (F) precum i o ieire (out). Structura unui astfel de neuron artificial este reprezentat n figura 4.3. W1
input 1 input 2

W2 Wn
:

net

out

input n

Figura 4.3
Proprietile neuronului capt o valoare deosebit n structuri de tip reea. Modelul matematic asociat neuronului artificial avnd structura din figura 4.3 este urmtorul:

net =

inp i Wi
i =1

out = F(net)
Problema cea mai delicat la modelarea neuronului o constituie stabilirea funciei de activare F, care n general este neliniar putnd s fie funcia sign, o simpl funciei treapt (prag):

1, x t F(x) = 0, a ltfel

F(x) 1

functie prag
x

sau o funcie ceva mai complicat, cu rol de a permite de variaia valorii de ieire a neuronului pe un domeniu continuu limitat, indiferent de valoarea net, cum este:

F(x) = 1/1+e-x , ceea ce implic

out = 1/1+ e-net (0,1)

Alte funcii de activare utilizate sunt: F(x)=tanh(x), sau F(x)=(2/1+e-x)-1. Ultima restrnge domeniul valorii de ieire out la intervalul (-1, 1).
F(x) = (2/1+e-x )-1 F(x) = 1/1+e-x 1

x x -1

funcie sigmoidal
A. Arhitectura general a unei reele neuronale artificiale Neuronii pot fi conectai n diferite moduri pentru a forma o reea neuronal. Reelele neuronale artificiale au o arhitectur inspirat din modul de conectare a neuronilor din sistemul nervos al organismelor vii. Astfel, un model uzual de topologie consider neuronii organizai n mai multe straturi, aa nct reelele neuronale multistrat constituie un model de baz al sistemelor neuronale. Similitudinea cu organismele vii nu este singurul motiv de adoptare a modelului multistrat. Motivul de baz al acestei complicaii arhitecturale este datorat faptului c de cele mai multe ori arhitecturile mai simple se dovedesc incapabile de a rezolva probleme sau clase de probleme practice. Schema unei topologii multistrat este particularizat n figura 4.4.
y1 . . . . . Ieiri . . . . . ym

x1 . . . . Intrari . . . . . xn

strat de intrare

primul strat ascuns

al doilea strat ascuns

strat de ieire

straturi intermediare (ascunse)

Figura 4.4
Topologia sau arhitectura efectiv a RN este determinat de schema concret de conexiune ntre neuronii reelei (de altfel RN sunt cunoscute i sub denumirea de modele conexioniste1). Astfel, pe baza schemei generale multistrat se pot imagina diferite variante de arhitecturi, unele fiind modele consacrate, cum sunt:
1

Pentru RN sunt de asemenea consacrate i demersurile de modele de prelucrare paralel distribuit, sistem neuromorfe, sisteme neurodinamice, calculatoare neuronale (sau neurocalculatoare). 3

 reele neuronale cu propagare (reacie) nainte (feed forward) - atunci cnd nu exist

conexiuni ntre neuronii aceluiai strat (ca n figura 4.4); (a nu se confunda cu noiunea de propagare napoi - backpropagation care se refer la modul de nvare al acestor reele prin propagarea napoi a erorii); reelele de tip neuronii asociativi bidirecionale (MAB) -fiecare neuron (din straturile intermediare) poate avea o legtur cu el nsui, iar dou straturi imediat alturate sunt complet interconectate; modelul de reea autoasociativ al lui Hopfield La rndul lor reelele neuronale cele mai uzuale - de tip feed forward pot fi: total conectate (TC) - caracterizate prin faptul c un nod (neuron) dintr-un anumit nivel are cmpul de recepie provenind de la ntreg nivelul precedent (vezi figura 4.5a); local conectate (LC) - cmpul de recepie al unitilor neuronale din nivelele ascunse (intermediare) const dintr-o anumit poriune a nivelului anterior (vezi figura 4.5b). Reea de tip TC
1 2 3

Reea de tip LC strat i+1

1 2 3

strat i+1

strat i

2 3 cr 1

6 cr2

strat i

Acelai cmp de recepie (reacie) pentru fiecare neuron al nivelului i+1

cr 3

cr - cmpuri de reacie (nu neaprat disjuncte)

(a) Figura 4.5

B. Proprieti ale reelelor neuronale

(b)

Toate aplicaiile recente sau mai vechi ale reelelor neuronale artificiale se bazeaz pe paradigma conexionist, care a introdus un nou concept de calcul - calculul neuronal - tinznd s reproduc ct mai fidel procesele mentale ale creierului uman, acestea se bazeaz n primul rnd pe funcia de memorare la nivel de reea. Particularitile de baz ale modelelor neuronale n procesul de memorare prin nvare/antrenare/instruire sunt: n RN informaia nu mai este memorat n zone bine precizate (ca n cazul calculatoarelor standard) ci este memorat difuz n toat reeaua, pe baza stabilirii valorilor corespunztoare ale ponderilor conexiunilor sinaptice dintre neuronii reelei; rezolvarea unei probleme specifice cu modelul conexionist nu mai necesit elaborarea unui model logico-formal i a unui algoritm pentru rezolvarea acestuia (ca n abordrile tradiionale), ci recurge la nvarea din exemple predefinite - proces numit instruire, nvare sau antrenare a reelelor neuronale (practic RN i construiete singur algoritmul pentru problema propus - sintetiznd n mod implicit un anumti model al acestuia). Pe baza acestor dou concepte, reelele neuronale au succes n rezolvarea unor probleme practice complexe, ce nu pot fi abordate cu modelele clasice deterministe. Spectrul aplicaiilor RNA cuprinde urmtoarele domenii: recunoaterea formelor (caractere tiprite, vorbire);
4

controlul automat (procese industriale, robotic, piloi automai etc); sisteme expert.

Caracteristicile cele mai importante ale reelelor neuronale artificiale sunt: Capacitatea de a nva Fr a utiliza programe puternice, RN pot fi antrenate pe baza unui set de intrri (i eventual cu ieiri dorite) pentru a rezolva problemele pentru care au fost proiectate. Algoritmii de antrenare a reelelor neuronale se mpart n dou categorii: supervizai i nesupervizai. a) nvarea supervizat - se bazeaz pe filozofia ncercare i eroare care se realizeaz prin algoritmul de propagare napoi (backpropagation). Aceast tehnic de antrenare (instruire) a reelei neuronale presupune pentru fiecare vector de intrare cte un vector de ieire reprezentnd rspunsul care se dorete s-l dea reeaua, cnd se prezint la intrare vectorul de intrare. mpreun, cei doi vectori asociai formeaz o pereche de antrenament. Numrul de perechi de antrenament necesare depinde de tipul i complexitatea problemei. b) nvarea nesupervizat - nu necesit vectori de antrenament i nici operaii de compunere i propagare napoi a erorilor, n procesul de determinarea a rspunsului ideal (ca n cazul nvrii supervizate). Setul de antrenament const numai din vectori de intrare, care, pe parcurs sunt grupai n clase ce determin aceleai ieiri. Altfel spus, aplicndu-se unul din vectorii de intrare sau un vector suficient de apropiat de acesta (din aceeai clas) reeaua va produce aceeai ieire. Trebuie menionat c nu exist nici o posibilitate de anticipare (nainte de antrenament), a vectorului de ieire asociat de reea unei clase din setul vectorilor de antrenament. Tehnica nvrii nesupervizate se apropie mai mult de modul de nvare ntr-un sistem biologic.
1)

2) Capacitatea de generalizare a RN. O dat antrenat pentru o anumit problem, o reea neuronal este capabil s dea rspunsuri corecte i pentru intrri diferite de cele cu care a fost antrenat, dar nu mult diferite de acestea. Este important faptul c RN artificiale generalizeaz n mod automat, ca o consecin a structurii lor i nu cu ajutorul inteligenei umane implementat ntr-un program de calcul. 3) Capacitatea de sintez. Cnd sunt confruntate cu informaii complexe sau pariale, precum i cu zgomote sau intrri irelevante, RN artificiale pot lua decizii sau trage concluzii. De exemplu, o reea pentru recunoaterea caracterelor, antrenat cu seturi distorsionate ale literei A, va avea ca rezultat la ieire litera corect, chiar dac la intrare i se prezint versiuni distorsionate ale acesteia. Deci reeaua este capabil s sintetizeze o situaie cu care nu s-a mai confruntat. Algoritmul de propagare napoi (backpropagation) Acest algoritm este specific tehnicii de nvare supervizat a reelelor de tip feedforward cu oricte nivele, dar poate fi aplicat i reelelor cu feedback. Algoritmul de propagare napoi are doi pai importani: forward i backward. a) Pasul forward - propagarea intrrii spre ieire, nivel cu nivel. se aplic intrarea din perechea de antrenament la intrarea reelei (inp); n prealabil, ponderile reelei (Wi) sunt iniializate cu valori aleatoare mici; se calculeaz valorile (net) pentru fiecare neuron din primul nivel, ca sume ponderate ale intrrilor n neuronul respectiv:

netj = inp i Wi ,
i =1

j = nr. neuron

se aplic funcia de activare pentru fiecare neuron din primul nivel stabilind ieirile fiecrui neuron al acestui nivel outj = F (netj); ieirile neuronilor din primul nivel servesc ca intrri n neuronii nivelului imediat urmtor procesul se repet nivel cu nivel pn se ajunge la nivelul de ieire i se determin valorile ieirii reelei (output). b) Pasul backward - ajustarea efectiv a ponderilor reelei. Principiul acestei etape se bazeaz pe: output - ieirea calculat a reelei; inp. - intrarea reelei; W - setul ponderilor reelei; tp - ieirea dorit (impus). Se stabilesc urmtoarele relaii:

output = f (W, inp); c = err (tp, output) - o funcie de eroare; deci Se pune condiia c 0 , adic: c = err (tp, f (w, inp)) err (tp, f(w, inp)) = 0 (ecuaie n w). Ecuaia obinut este de fapt un sistem de ecuaii neliniare n w, care nu se rezolv exact ci cu ajutorul unor metode iterative (cum sunt metoda gradientului, a lui Newton combinat cu cea a gradientului sau Fridman. Etapa n care se realizeaza evaluarea ntregului set de perechi de antrenament de ctre reea se numete epoc de antrenament. Probleme ce pot apare la antrenarea reelelor feedforword folosind algoritmul de propagare napoi. Dei foarte rspndit n aplicaiile practice algoritmice backpropagation are urmtoarele probleme: Convergena nu are n general un grad corespunztor (numrul de iteraii pentru determinarea soluiei fiind mase), uneori metodele iterative fiind divergente; Paralizarea reelei - n urma unui proces ndelungat de antrenament, ponderile reelei pot s ajung la valori foarte mari, ceea ce conduce la valori net ale neuronilor, de asemenea foarte mari. Valorile net astfel rezultate determinc valori OUT=F(net) aproape de asimptota orizontal, deci n zona cu derivat foarte mic (tinznd ctre zero) a funciei de activare. Minimul local Algoritmul de propagare napoi folosete metoda gradientului (gradient descent) pentru a ajusta ponderile astfel nct suprafaa funciei de eroare este parcurs spre minimul global. n cazul problemelor mai complexe, suprafaa funciei de eroare este neregulat i prezint o mulime de minime locale. n acest caz se poate ca reeaua s se stabilizeze ntr-un astfel de minim local i antrenarea eueaz. Referine bibliografice 1. Gheorghe V, Popescu A, Introducere in bionica, Editura Stiintifica, Bucuresti, 1990.