5

REELE CU FUNCII DE
ACTIVARE RADIALE

5.1. STRUCTURA REELEI

Algoritmul de propagare napoi deriv din tehnicile de optimizare de tip stochastic. O alt abordare const n a privi proiectarea i instruirea reelelor neuronale ca o problem de optimizare a curbelor ntr-un spaiu multidimensional. n acest caz nvarea se reduce la gsirea suprafeei care se potrivete cel mai bine cu mulimea de instruire. Neuronii de pe nivelul ascuns produc o mulime de funcii folosite pentru reprezentarea vectorilor de intrare, numite funcii radiale. Aceste reele se mai numesc i RBF (Radial Basis Functions) i sunt alctuite din neuroni aranjai pe trei nivele: n neuroni la intrare, K neuroni ascuni i m neuroni la ieire. n 1990 s-a demonstrat c, la fel ca reelele feedforward cu propagare napoi, reelele RBF pot aproxima orice funcie continu, orict de bine. Spre deosebire de reelele feedforward, reelele RBF nva rapid dar sunt

90 lente n utilizare. Structura unei astfel de reele este prezentat n figura 5.1.
x1 x2
M M M M
Nivel intrari

c11

1 h1 2
M M M

w11

M M M
Nivel iesiri s

y1 y2

y1 S y2 S
M M M M ym S

out1 out2

xn

k
Nivel ascuns

ym

outm

Nivel Iesiri normalizate

Figura 5.1. Structura reelei RBF Ieirea h( x ) a neuronilor de pe nivelul ascuns d un rspuns semnificativ doar pentru un interval de valori ale lui x , numit domeniul receptiv al neuronului. Mrimea acestui interval este determinat de parametrul . Notnd x = ( x1 , L , x n ) = vectorul de intrare
T

u i = (u i1 , L , u iK ) = vectorul ponderilor ctre al i -lea neuron ascuns i = parametrul pentru al i -lea neuron ascuns z i = ieirea neuronului ascuns i

91 avem n 2 (x j u kj ) T (x u k ) (x u k ) = exp j =1 z k = hk ( x u k ) = exp 2 k k2 .

Vectorul u k va reprezenta centrul unitii ascunse k . Ieirea neuronului i , corespunztoare semnalului de intrare x , este
yi = wik hk ( x u k ) wi 0 , i { 1, 2, L, m}
k =1 K

unde w = (wik )i =1,n, k =0, K

este matricea ponderilor conexiunilor

dintre nivelul ascuns i cel de ieire iar este norma euclidian. Se poate lucra cu ieirile normalizate

yi =

yi

y
j =1

.
j

Domeniul receptiv al celui de-al i -lea neuron ascuns este determinat de centrul su u i i de parametrul i . La reelele studiate anterior, acest domeniu era determinat de conexiuni i nu de forma funciei de activare. Se pot folosi i alte funcii de activare, dar numai cele gaussiene h( x) = exp x 2 / 2 sunt radiale, adic produc o

92 valoare semnificativ doar pentru argumentele aflate n vecintatea lui 0 ; vom lucra n continuare cu aceste funcii.

5.2. INSTRUIREA REELEI

Parametri care trebuie nvai n procesul de instruire sunt centri u k ai neuronilor ascuni, ponderile w ale conexiunilor ctre nivelul de ieire i lrgimile k Considerm separat. a) Determinarea simultan a parametrilor Eroarea medie ptratic asociat mulimii de antrenament este
E (u , , w) = 1 L El (u, , w) L l =1

ale cmpurilor receptoare.

mulimea

de

antrenament

{(x , d ), L, (x
1 1

, dL .

)}

Parametri de control pot fi determinai n dou moduri: simultan sau

cu 1 m l El (u, , w) = d i yil 2 i =1

K 1 m l = d i wik hk x l u k wi 0 2 i =1 k =1

93 Aplicarea unei metode de tip gradient pentru minimizarea erorii ptratice impune calcularea derivatelor pariale
E l = d il y il wi 0

El = d il yil hk x l u k = z k d il yil wik El u kj =

2
m l i l i k l k ik

) ( ) h ( x u ) = (d y )w = u
( ) (
i =1 kj m

2 k i =1

(dil yil ) wik hk ( x l uk

2
m
2 k i =1

) (x

l j

u kj =

(dil yil ) wik z k (x lj ukj )

m hk x l u k El l l = = d i yi wik k k i =1

3 k i =1

(d
m

l i

yil wik hk x l u k

) (x
n j =1

l j

u kj
2

3 k i =1

(d il yil ) wik z k
m

xl uk

Calcularea parametrilor u, w, folosind o metod de tip gradient se poate efectua cu urmtorul algoritm.

94
Pasul 1. Iniializarea parametrilor

Matricele u, w i vectorul se iniializeaz cu valori mici aleatoare Se fixeaz valoarea admisibil pentru eroare, numrul maxim IT de prelucrri pentru mulimea de instruire i constanta de instruire c .
Pasul 2. Se iniializeaz numrul prelucrrilor: t := 1 Pasul 3. Se pregtete instruirea reelei: E := 0, l := 1 Pasul 4. Se actualizeaz parametri, folosind perechea de instruire

(x , d ) :
l l

wik := wik c

El (u, , w) , i { 1, 2, L , m}, k {0, 1, L , K } wik

k { 1, 2, L , K }, j { 1, 2, L , n} k { 1, 2, L , K }

u kj := u kj c

El (u, , w) , u kj El (u, , w) , k

k := k c

Pasul 5. Se cumuleaz eroarea: se calculeaz El , apoi E := E + El Pasul 6. Dac l < L , se prezint urmtoarea form de instruire

( l := l + 1 ) i se merge la Pasul 4. n caz contrar, dac E < sau t < IT algoritmul se oprete iar n caz contrar se ncepe

95 o nou prelucrare a mulimii de instruire: t := t + 1 i se merge la Pasul 3.

b) Determinarea separat a parametrilor

n acest caz activitatea de instruire presupune trei operaii distincte pentru determinarea parametrilor, care se desfoar n ordinea: determinarea centrilor u k R n , k { 1, L, K } 1, L, K } determinarea lrgimii cmpurilor receptive k , k { determinarea ponderilor conexiunilor dintre nivelul ascuns i cel de ieire: wik , i { 1, L, m}, k {0, 1, L, K } .
b.1) Determinarea centrilor

Centri reprezint vectori din mulimea datelor de intrare, pe baza crora se partiioneaz domeniul de intrare n cmpuri receptive, fiecruia corespunzndu-i un neuron ascuns. Dac mulimea de antrenament nu este prea mare, se poate considera c fiecare dat de 1, L, K }. n intrare este un centru; deci K = L, u k = x k , k { cazul cnd mulimea de antrenament este mare, se pune problema partiionrii vectorilor de intrare

x1 , L, x L

K < L clase.

Rezolvarea acestei probleme se poate face n dou moduri, dup cum

96 numrul K al claselor este cunoscut sau nu. Astfel de algoritmi vor fi discutai la nvarea nesupervizat.
b.2) Determinarea lrgimii cmpurilor receptive

Valorile parametrilor k

controleaz modul n care este

partiionat mulimea datelor de intrare. Obiectivul este ca aceast mulime s fie acoperit ct mai uniform cu domenii receptive. Valori mici ale lui pot face ca anumite date s nu aparin nici unui cmp receptiv, pe cnd valorile mari pot determina apartenena unui vector de intrare la mai multe domenii receptive. Exist mai multe modaliti de determinare a parametrilor : pentru fiecare neuron ascuns se calculeaz distana medie dintre centrul su u k i centrul celor V vecini ai si cei mai apropiai i se atribuie aceast valoare lui k se ia k ca fiind d (u k , u j ) unde [0.5, 1] iar u j este centrul cel mai apropiat de u k .
b.3) Determinarea ponderilor conexiunilor ctre nivelul de ieire

Dup determinarea centrilor i a lrgimii cmpurilor receptive, matricea w se poate determina cu algoritmul urmtor
Pasul 1. Se prezint la intrare vectorul x x1 , L, x L

} i

ieirea

97 dorit d {d1 , L, d m } .
Pasul 2. Se calculeaz ieirile h din stratul ascuns. Pasul 3. Se calculeaz ieirile y i se ajusteaz ponderile w :

wik (t + 1) = wik (t ) + c(d i y i ) x k

Pasul 4. Se repet paii anteriori pentru fiecare pereche de instruire Pasul 5. Se repet paii anteriori pn cnd eroarea este suficient de

mic. Regula de modificare a ponderilor de la Pasul 3 este de fapt regula Widrow-Hoff. Se pot folosi i alte reguli, de exemplu cea a perceptronului. Algoritmul de instruire a lui w se refer la un singur nivel iar formele corespunztoare neuronilor din stratul ascuns sunt liniar separabile n cazul cnd fiecare clas este format dintr-o singur form. Conform teoremei perceptronului, algoritmul de instruire a lui w converge ctre minimul global iar convergena este mult mai rapid dect n cazul instruirii prin propagarea napoi a erorii.