REELE NEURONALE ARTIFICIALE

Capitolul 1 Noiuni de baz ale calculului neuronal

Reelele neuronale artificiale (limba englez: Artificial Neural Networks ANN) au ca referin sistemul nervos uman, att ca model de organizare ct i de funcionare. Capacitatea fiinelor umane de a percepe i memora informaii noi prin intermediul unui proces de nvare a motivat cercettorilor n domeniu dorina de a dezvolta un sistem artificial, capabil s ndeplineasc anumite funcii, pe baza unui proces de instruire (antrenare) i nu pe baza unei programri algoritmice. Sistemul nervos uman este constituit dintr-o multitudine de uniti funcionale de baz, interconectate, numite neuroni. Reelele neuronale artificiale, la rndul lor, sunt realizate prin interconectarea unui numr de uniti elementare de prelucrare a informaiei care se numesc neuroni artificiali. Acetia, aranjai i lucrnd n paralel, formeaz un strat al reelei neuronale. O ANN poate avea unul sau mai multe straturi de neuroni. Unitatea elementar de prelucrare a informaiei ntr-o reea neuronal artificial are structura general prezentat n figura II. 1 [Ayoubi, 1996b].
w y

Regula de nvare

Operator de intrare f(u,w)

Funcie de activare (x)

Fig. II. 1 Structura general a neuronului artificial

Neuronul artificial realizeaz funcia de proiecie (transformare) a datelor de la intrare ctre ieire prin intermediul a trei componente: operatorul de intrare, funcia de activare i regula de nvare.

63

REELE NEURONALE ARTIFICIALE

Operatorul de intrare msoar diferenele dintre intrrile neuronului ce formeaz un vector cu P componente u i o form memorat ntr-un vector Pdimensional w, cel mai adesea fiind folosite produsul scalar i norma vectorial euclidian:
x = w i u i = w T u sau
i =1 P

x = u w 2,

(II. 1)

unde

reprezint operatorul de transpunere vectorial, u = [u1 K u i K u P ]T reprezint vectorul mrimilor de intrare ale neuronului, iar w = [ w1 K w i K w P ]T reprezint vectorul ponderilor neuronului.

Funcia de activare modeleaz dependena dintre ieirea y i starea x a neuronului. n general, funcia de activare este neliniar. Cel mai des folosite tipuri de funcii de activare pentru neuronul artificial sunt: - funcia liniar:
y = (x) = x ;

(II. 2)

- funcia tangent hiperbolic:

y = tanh( x ) = e ( x ) e ( x ) e ( x ) + e ( x )

(II. 3)

- funcia sigmoid:
y = sig ( x ) = 1 1+ e
( x )

(II. 4)

- funcia limitator:
1, x 1 y = x , x < 1 ; 1, x 1

(II. 5)

- funcia Gauss:
y = G ( x c) = e ( x c ) ;
2

(II. 6)

- funcia limitator hard cu dou stri:

64

REELE NEURONALE ARTIFICIALE

0, x < 0 y= . 1, x > 0

(II. 7)

n aceste expresii, este un parametru care se numete valoare de prag sau deplasament. Semnificaia biologic a acestui parametru este valoarea ce trebuie depit de starea intern a neuronului pentru ca acesta s devin activ. Matematic, deplasamentul realizeaz o translare a mrimii de activare a neuronului pe direcia axei absciselor. Capacitatea reelelor neuronale artificiale de a nva const n proprietatea acestora de a-i modifica parametrii (ponderile i valorile de prag ale neuronilor) pe baza datelor de intrare folosite n faza de antrenare (nvare). Aceast proprietate se realizeaz prin intermediul regulii de nvare. Aceasta trebuie s exprime totalitatea modificrilor efectuate la nivelul reelei neuronale, modificri care induc acesteia, n final, comportamentul dorit. Modificrile ce se efectueaza sunt: adaptri ale parametrilor ANN, crearea sau distrugerea unor conexiuni ntre neuronii ANN, schimbarea tipului funciei de activare a unui (unor) neuron (neuroni). Antrenarea ANN poate fi [Bishop, 1995; Haykin, 1994]: - antrenare supervizat: se determin acele valori ale ponderilor i deplasamentelor neuronilor reelei care conduc la minimizarea unei anumite funcii criteriu; cea mai folosit funcie criteriu este de tipul erorii medii ptratice dintre ieirea actual y a reelei i ieirea dorit y d a acesteia, corespunztoare unui vector de intrare cunoscut. Vectorul de eroare este e = y y d . n figura II. 2 este prezentat, schematic, principiul antrenrii supervizate a unei ANN. - antrenarea nesupervizat: este o manier de antrenare a ANN mai apropiat de procesul de nvare realizat de fiinele umane n comparaie cu antrenarea supervizat; acest tip de nvare are drept scop gsirea acelor valori ale parametrilor reelei neuronale care s verifice urmtorul criteriu de consisten:

65

REELE NEURONALE ARTIFICIALE

aplicarea unui anumit vector de intrare sau al altuia suficient de similar cu primul trebuie s produc aceeai form la ieirea reelei neuronale. Antrenarea ANN, supervizat sau nesupervizat, poate fi realizat: - secvenial: la intrarea reelei neuronale se aplic vectorii succesiv, parametrii ANN fiind modificai dup fiecare vector de intrare aplicat; - n bloc: parametrii reelei neuronale sunt modificai dup ce au fost aplicai la intrarea sa toi vectorii setului de antrenare.
u RNA y

+ Procedura de antrenare e yd

Fig. II. 2 Principiul antrenrii supervizate a unei reele neuronale artificiale

Pentru rezolvarea unei probleme practice cu ajutorul ANN, trebuie parcurse urmtoarele dou etape: - antrenarea ANN: n aceast etap sunt determinate valorile parametrilor reelei neuronale care induc acesteia comportamentul dorit; - evaluarea ANN: n aceast etap, este evaluat ieirea reelei neuronale corespunztor mrimilor de intrare specifice problemei de rezolvat, reeaua neuronal avnd o comportare fix, corespunztoare valorilor parametrilor si, determinai n etapa de antrenare. Reelele neuronale artificiale sunt utile n ceea ce privete aplicarea lor n domeniul controlului automat datorit urmtoarelor proprieti [Haykin, 1994]: - sunt sisteme neliniare , proprietate datorat funciei de activare neliniar, n general, a neuronilor artificiali; aceasta face ca ANN s fie aplicabile la modelarea sistemelor dinamice neliniare; - realizeaz o prelucrare paralel, distribuit a informaiei datorit structurii lor; aceasta permite o implementare paralel a ANN, ceea ce conduce la o

66

REELE NEURONALE ARTIFICIALE

prelucrarea rapid a informaiei; - au capacitatea de a nva i de a se adapta: o reea neuronal nva s reproduc la ieirea sa valori corespunztoare datelor din setul de antrenare; o reea neuronal antrenat n mod adecvat este capabil s generalizeze (realiznd fie o interpolare, fie o extrapolare) atunci cnd are la intrare valori ce nu sunt cuprinse n setul de antrenare; de asemenea, reelele neuronale artificiale pot fi adaptate on-line; - sunt sisteme multivariabile deoarece prelucreaz informaii de la mai multe intrri i pot avea una sau mai multe ieiri; aceast proprietate permite folosirea ANN n analiza sistemelor multivariabile. Au fost publicate o serie de lucrri n care se arat c o reea neuronal cu propagare nainte a intrrii poate aproxima cu o precizie arbitrar de bun, orice funcie continu [Cybenko, 1989]. Acest rezultat a condus la o intens folosire a ANN n scopul modelrii sistemelor neliniare , caz n care se dorete ca ieirea reelei neuronale s reproduc ct mai bine ieirea sistemului dinamic supus analizei. De asemenea, pornind de la capacitatea lor de a aproxima orice funcie continu, ANN au fost intens aplicate i n recunoaterea de forme. n acest caz, reelele neuronale artificiale sunt folosite pentru a aproxima suprafee neliniare de separare ntre clase. n scopul identificrii proceselor dinamice neliniare, tipurile de reele neuronale folosite uzual sunt [Isermann, et al., 1997]: reeaua Perceptron Multistrat (limba englez: Multi-Layer Perceptron MLP); reeaua neuronal cu funcii de baz radiale (limba englez: Radial Basis Functions RBF). Uzual, reelele neuronale folosite n scopul identificrii sistemelor dinamice neliniare conin dou straturi:

67

REELE NEURONALE ARTIFICIALE

- un strat de intrare (intern): conine neuroni avnd funcie de activare neliniar; mrimile de intrare ale reelei reprezint mrimi de intrare ale neuronilor acestui strat; - un strat de ieire: conine un neuron cu funcie de activare liniar (relaia (II. 2)) ce are drept mrimi de intrare mrimile de ieire ale stratului de intrare i a crui mrime de ieire reprezint mrimea de ieire a reelei. Considernd c la intrarea reelei se aplic un vector P-dimensional u = [u1 K u i K u P ]T , atunci se poate scrie:
y(u ) = O + w iO i (u , w iH , iH ) ,
i =1 M

(II. 8)

unde M reprezint numrul de neuroni din stratul de intrare, y reprezint mrimea de ieire a reelei, O i w iO reprezint deplasamentul i, respectiv, ponderile neuronului din stratul de ieire, iar iH , i = 1, M i w iH , i = 1, M reprezint deplasamentele i, respectiv, vectorii ponderilor neuronilor din stratul de intrare. Relaia (II. 8) reprezint, de fapt, o sum ponderat de funcii de baz i (u ) , fiecare din aceste funcii de baz fiind realizat de ctre un neuron din stratul de intrare al reelei. Structura general a unei reele neuronale artificiale cu un strat intern, folosit pentru identificare este prezentat n figura II. 3 [Isermann, et al., 1997], fiind totodat schematizate i cele dou tipuri de neuroni enumerate anterior. Independent de modul n care sunt alei neuronii stratului intern al reelei, se observ din relaia (II. 8) c ieirea aproximat de reeaua neuronal este o combinaie liniar de ponderi asociate neuronului stratului de ieire, aceste ponderi putnd fi determinate eficient, n faza de antrenare a reelei neuronale, printr-o procedur de estimare de tip cele mai mici ptrate. De asemenea, din relaia (II. 8) se poate observa c ieirea reelei neuronale depinde de ponderile i deplasamentele neuronilor stratului de intrare prin intermediul funciilor de baz care, n mod necesar, trebuie s fie neliniare, att timp ct se dorete aproximarea unei funcii neliniare (modelarea unui sistem dinamic neliniar). n felul acesta, ieirea reelei va fi neliniar n ponderile i deplasamentele

68

REELE NEURONALE ARTIFICIALE

neuronilor stratului de intrare folosindu-se, pentru adaptarea acestora, n faza de antrenare, una din urmtoarele strategii: strategia bazat pe cunotine apriorice folosit n cazul reelelor neuronale cu funcii de baz radiale; strategia bazat pe algoritmi de optimizare neliniar de tip gradient cum este algoritmul de propagare napoi a erorii n cazul reelelor de tip MLP. n cazul reelelor neuronale de tip MLP, funciile de baz folosite sunt de tipul:
i (u, w iH , iH ) = g(( w iH ) T u + iH ) ,

(II. 9)

n care funcia g(.) este o funcie monoton cresctoare, difereniabil, de exemplu de tip sigmoid (relaia (II. 4)) sau tangent hiperbolic (relaia (II. 3)). O proprietate important a reelelor de tip MLP este aceea c problema ndimensional de aproximare este redus la simpla calculare a sumei ponderate a funciilor de baz de tipul exprimat n relaiile (II. 9). Acest lucru este realizat prin intermediul produsului scalar ( w iH ) T u , care poate fi interpretat ca o proiecie a datelor de intrare n reeaua neuronal pe vectorul ponderilor stratului intern. n felul acesta, fiecare neuron din stratul intern realizeaz o funcie de baz unidimensional i determin comportarea neliniar numai pe direcia dat de vectorul ponderilor asociat lui. Aceste direcii se determin printr-o procedur de optimizare neliniar. Astfel de cutare a direciilor optime se recomand n situaiile n care spaiul de intrare este de dimensiune mare i o reducere eficient a dimensiunii este absolut necesar. Pentru probleme de dimensiune medie sau redus a spaiului de intrare, recomandate sunt reelele de tip RBF care au funciile de baz de tipul:
i ( x, w i( h ) ) = g (|| x c i ||i ) ,

(II. 10)

n care || . || i simbolizeaz o norm ponderat oarecare i c i sunt centrii funciilor de baz. Cele mai folosite reele de tip RBF sunt cele cu funciile de baz de tip Gauss:

69

REELE NEURONALE ARTIFICIALE

1 ( x c i ) T i ( x c i ) )=e 2

g (|| x c i || i

(II. 11)

n care elementele matricii i reprezint inversul deviaiilor standard ale funciilor de tip Gauss, de regul aceasta fiind de forma:
i = diag( 1
2 1

, K,

1 2 n

).

(II. 12)

Toate deviaiile standard i toi centrii asociai fiecrui neuron din stratul intern reprezint parametrii stratului intern care, formal, se pot scrie sub forma unui vector de ponderare w iH , aa cum apare n relaia (II. 8), deplasamentele iH fiind considerate nule.
Neuroni interni z1 u1 u2 Neuron de ieire y
z1 O y

z2

uP

zM

w1O w2
O

z2

wMO zM u1 u2 wM1H wM2

H

MH zM

u1 u2 uP

cM u-cM ||.|| zM

wMP uP

MLP

RBF

Fig. II. 3 Tipuri de ANN cu un strat intern folosite n identificare

n cazul reelelor neuronale de tip RBF, fiecare neuron este caracterizat de centrul su, ci , argumentul funciei de activare a neuronului fiind distana dintre datele de intrare i centru. n acest fel, fiecare neuron este asociat unei anumite zone din spaiul intrrilor, a crei dimensiune este dat de deviaiile standard. Atta timp ct toate zonele spaiului de intrare din care au fost colectate datele trebuie acoperite de ctre mcar un neuron, reelele neuronale de tip RBF nu se recomand problemelor cu spaiul de intrare de dimensiune mare.

70

REELE NEURONALE ARTIFICIALE

Pe de alt parte, interpretarea parametrilor stratului intern drept centri i deviaii standard, permite o analiz mai profund i alegerea mult mai bun a numrului de neuroni necesari, n comparaie cu alegerea direciilor de proiecie (corespunztoare neuronilor stratului intern) foarte abstracte, corespunztoare reelelor de tip MLP. Aceast observaie conduce la urmtoarea abordare privind antrenarea (nvarea) reelelor de tip RBF, abordare ce evit folosirea unui algoritm de optimizare neliniar: parametrii stratului intern sunt determinai euristic, apelnd la tehnici de grupare care se aplic direct asupra datelor de intrare; se determin ponderile stratului de ieire printr-o metod de optimizare de tip cele mai mici ptrate liniare (de regresie liniar). Astfel, timpul necesar antrenrii unei reele de tip RBF este cu cteva ordine de mrime mai redus dect n cazul antrenrii unei reele neuronale de tip MLP. n cele ce urmeaz, discuia se restrnge la trei tipuri de reele neuronale artificiale dovedite a avea calitatea de aproximatori universali i anume reelele neuronale de tip Perceptron multi-strat, reelele neuronale cu legturi funcionale i reelele neuronale cu funcii de baz radiale.

71