1.

Reele neuronale artificiale

1.1.Modele ale calculului
Modelul matematic. Conceptul de calculabilitate presupune definirea prealabil a instrumentelor disponibile, adic a unui set de funcii primitive evident calculabile i a unor de reguli de compunere. Toate funciile care se obin din cele primitive folosind regulile de compoziie vor fi de asemenea calculabile. Astfel, David Hilbert a introdus conceptul de funcie primitiv recursiv ca fiind o funcie care poate fi construit din funcia zero i funcia succesor utiliznd compunerea, proiecia i un numr determinat de iteraii (recursie primitiv). Dup descoperirea de ctre Wilhelm Ackerman a unei funcii calculabile care nu este primitiv recursiv a aprut conceptul de funcie general recursiv, acest formalism introducnd un operator echivalent cu consultarea unui tabel infinit. O alternativ a definiiei matematice a conceptului de calculabilitate a fost dat de Alonzo Church sub forma calculului. Faptul c o funcie general recursiv poate fi exprimat cu formalismul -calculului, a fost artat de Chuch i Kleene (1936). A aprut astfel teza lui Church conform creia funciile calculabile sunt funcii general recursive i despre care, recent, David Deutsch afirm c trebuie considerat ca un principiu fizic. Modelul logico-operaional maina Turing. Modelul introdus de Alan Turing este un model operaional, mecanic al calculabilitii. O main Turing const dintr-o band infinit pe care simbolurile pot fi memorate i citite. Un cap de citire-scriere se deplaseaz ctre stnga sau dreapta n funcie de starea intern care este actualizat la fiecare pas. Teza lui Turing afirm c funciile calculabile sunt acelea care se pot calcula cu acest tip de dispozitiv. Turing a demonstrat echivalena cu calculabilitatea in sensul lui Church. Modelul calculatorului. Primele dispozitive de calcul electronic au aprut n anii 30-40. Konrad Zuse a construit la Berlin ntre 1938 i 1944 mainile de calcul Z1 i Z3 care erau programabile dar nu universale. Acestea puteau executa o secven de instruciuni dar nu puteau realiza iteraii. O alt main din acea perioad, Mark I construit la Harward putea executa un numr finit de iteraii dar nu putea implementa cicluri while, adic putea calcula funcii recursive dar nu general recursive. Se pare c prima main universal a fost construit la Manchester care putea acoperi toate funciile calculabile folosind programe cu salturi condiionate. Automatele celulare. Principala problem n realizarea consensului asupra arhitecturii unui calculator universal a fost definirea arhitecturii minimale care s garanteze universabilitatea. John von Neumann a studiat automatele
1

celulare care proceseaz simultan datele. Comunicarea i coordonarea ntre celulele de calcul este realizat prin anumii algoritmi i convenii. S-a demonstrat c orice funcie Turing calculabil poate fi calculat de asemenea de m automate celulare unidimensionale. Automatele celulare constituie un prim model de calcul paralel masiv. Modelul biologic reele neuronale. Reelele neuronale au fost inspirate de fiziologia neuronilor i constau dintr-o structur ierarhic multistratificat care se deosebete de automatele celulare prin aceea c n comunicare nu sunt implicate doar uniti imediat vecine ci oricare dou uniti de procesare pot fi conectate. Parametri necesari funcionrii unei reele neuronale trebuie determinai n mod adaptiv. Reelele neuronale artificiale au fost inspirate de sistemul biologic i preiau, adapteaz, metodele specifice pentru procesarea informaiei surprinztor de elegant i care au aprut ca un rezultat al unei evoluii ndelungate a soluiilor descoperite de natur pentru operarea ntr-un mediu nedeterminist, nesigur.

1.2.Reele neuronale artificiale.

n cazul reelelor neuronale artificiale (RNA) funciile primitive sunt plasate n nodurile reelei i regulile de compunere sunt date implicit de modelul de interconectare a nodurilor, de modul sincron sau asincron n transmiterea informaiei i de prezena sau absena ciclurilor. 1.1.1.Reele de funcii primitive n figura 1 este reprezentat un neuron abstract cu n intrri, intrarea i transmind o valoare real xi . Funcia primitiv f care constituie corpul neuronului abstract transform suma ponderat a intrrilor ntr-o mrime de ieire bine determinat. Ponderile wi sunt asociate conexiunilor ntre intrri i corpul neuronului. x1

w1 x2 w2 f f(w1x1+...+wnxn)

w xn n Figura 1. Reprezentarea unui neuron abstract

Dac concepem o RNA ca o reea n ale crei noduri sunt plasate funcii primitive, atunci se pot construi modele diferite generate de diverse moduri de alegere a funciilor primitive, a modelului de interconectare i a
2

temporizrii transmisiei informaiei. Un model funcional al unui RNA este ilustrat n fig. 2. w1 f2 x1 w7 w4 w2 w6 (x1,x2,x3) f4 f1 x2 w9 w2 w8 f3 x3 w3 Figura 2. Un exemplu de RNA Nodurile implementeaz funciile primitive f1 , f 2 , f 3 , f 4 . Conexiunilor le corespund ponderi notate cu w . Alegeri diverse ale valorilor ponderilor pot conduce la diverse funcii de ieire = ( x1 , x2 , x3 ) . Expresia funciei definit de aceast reea este: ( x1 , x2 , x3 ) = f 4 ( w6 f1 ( w2 x2 ) + w8 f 3 ( w5 f1 ( w2 x2 ) + w3 x3 + w9 f 2 ( w1 x1 )) + w7 f 2 ( w1 x1 )) . Funcia implementat de o reea neuronal va fi numit funcie de reea. n definirea unui RNA urmtoarele trei elemente sunt eseniale: structura intern nodurilor, topologia reelei, algoritmul de nvare aplicat pentru determinarea ponderilor. 1.1.2.Funcii de reea clasice Un exemplu clasic de utilizare a modelului RNA poate fi regsit n aproximarea unei funcii reale de un argument real folosind ca funcii primitive polinoame sau funcii trigonometrice. Astfel, aproximarea unei funcii F prin seria Taylor ntr-o vecintate a punctului x0 este

F ( x) = a0 + a1 ( x x0 ) + a 2 ( x x0 ) 2 + ... + a n ( x x0 ) n + ... unde constantele a 0 , a1 ,... depind de valoarea funciei F i cele ale derivatelor sale n x0 . Reinnd doar n termeni din suma ce definete seria i considernd funciile primitive f i ( z ) = z i , i = 0,1,..., n , obinem reeaua

din fig. 3. care calculeaz F p ( x) = a 0 + a1 ( x x0 ) + ... + a n ( x x0 ) n . Parametrii reelei sunt a 0 ,..., a n . Aceste ponderi pot fi calculate direct pentru acest caz analitic calculnd primii n + 1 termeni din dezvoltarea n serie
3

Taylor a lui F n jurul lui x0 , dar pot fi determinate i cu un algoritm de nvare aa cum se face de obicei n cazul unei RNA generale.
x 1 1 1 1 1 a0 z
2

a1 + a2 an

-1 x0

-1 -1 -1

Figura 3. Aproximarea polinomial S presupunem c funcia F este dezvoltat ca o serie Fourier, adic
F ( x) = (ai cos(ix) + bi sin(ix) ) .
i =0

sin k0 k1 x k2 kn d2 sin dn d0 sin d1 sin w2 wn w0 w1 + F(x)

Figura 4. Aproximare cu o reea Fourier Considernd ca funcii primitive funciile f i ( x) = sin( x + d i ) , nu mai este necesar s implementm explicit n reea i funcia cosinus (pentru c, de exemplu, cu d 0 = / 2 avem sin( x + / 2) = cos( x) i atunci calculul funciei aproximante F f ( x) = wi sin(k i x + d i )
i =0 n

poate fi implementat de reeaua din fig. 4.

4

Diferena esenial ntre o serie Taylor sau Fourier i o RNA const n faptul c funcia ce trebuie aproximat nu este dat explicit ci implicit printr-o mulime de exemple perechi intrare-ieire, adic funcia este cunoscut doar n anumite valori ale argumentelor i dorim s o generalizm ct mai bine posibil cu ajutorul unei reele de funcii. Pentru aceasta se va ncerca ajustarea optim a parametrilor reelei pentru a cuprinde deplin informaia disponibil astfel c dup aceast etap s folosim reeaua pentru a estima funcia pentru valori noi ale argumentului. Aceast sarcin de ajustare optim a parametrilor reelei este realizat de algoritmul de nvare.