Retele cu functii de baza radiale (retele RBF)

Radial Basis Function NN

Arhitectura / Structura 1 M

Strat iesire
RN cu 3 straturi , dar numai
2 niveluri de unitati functionale: W
Strat ascuns
Radial units K
Unitati ascunse:
Potentialul de activare = distanta dintre C
vectorul de intrare si cel al ponderilor Strat de
corespunzatoare unitatii ascunse intrare
1 N
Unitati de iesire:
Potentialul de activare = suma ponderata (MLP)

OBS: unitatile ascunse nu au asociat

prag de activare

RBF Functii de activare

Functiile de activare pentru unitatile ascunse au simetrie radiala:

O unitatile ascunsa genereaza un semnal de iesire semnificativ doar pentru vectori
de intrare suficient de apropiati de centroidul sau
Ex:

Obs.: parametrul controleaza largimea graficului;

defineste zona de atractie a centroidului
(zona in care percepe stimulul de intrare)

Functia de activare pentru unitatile de iesire este, de regula, liniara: f(x)=x

RBF Functionare
Calculul valorilor de iesire:

X N K M Y

C W

Matricea centrilor:

xn

RBF Functionare
y1 yM
Calculul valorilor de iesire:
Matricea centrilor:

K
... k ...

C
c1k c2k cnk cNk
xn

x1 ... ... xN
Vectorii Ck pot fi interpretati ca prototipuri (centroizi) ai datelor de intrare;
- doar vectorii de intrare similari cu vectorul de ponderi asociat unitatii ascunse
poate activa unitatea ascunsa corespunzatoare
- pentru un vector de intrare dat, semnalul produs de retea este determinat de catre
unitatile ascunse al caror centru este suficient de apropiat de vectorul de intrare
RBF Functionare
Fiecare unitate ascunsa este sensibila
la semnalele de intrare provenite dintr-o
regiune a spatiului de intrare aflata in
vecinatatea centrului. Aceasta regiune
este denumita camp receptiv
(zona de atractie)
Dimensiunea campului receptiv depinde de
Prin urmare, fiecare neuron din stratul ascuns
defineste un camp receptiv / regiune de atractie,
definit de centroid si raza de raspandire a sa
x2

x1

RBF Capacitatea de reprezentare

Retelele RBF sunt aproximatori universali:

Teorema
O retea cu N intrari si M iesiri poate aproxima orice functie definita pe RN, cu valori in
RM, cu o acuratete care depinde de numarul de unitati ascunse

Obs.: Retelele RBF isi au originea in tehnicile de interpolare exacta a functiilor

RBF Functionare
In general, daca datele de intrare sunt raspandite uniform in intregul spatiu de
variatie, atunci campurile receptive ale unitatilor ascunse trebuie sa asigure o
acoperire uniforma a spatiului de intrare
O buna acoperire a spatiului de intrare asigura o buna capacitate de aproximare

RBF Functionare
Valori prea mici sau prea mari ale largimii functiilor radiale conduc la acoperiri
inadecvate
RBF Functionare
Valori prea mici sau prea mari ale largimii functiilor radiale conduc la acoperiri
inadecvate

RBF Functionare
Rezultate obtinute pentru o problema de interpolare
RBF Functionare
Rezultate obtinute pentru o problema de interpolare

RBF Functionare
Rezultate obtinute pentru o problema de interpolare
RBF Capacitatea de reprezentare
Exemple (caz particular) : retea RBF pentru reprezentarea lui XOR
2 unitati de intrare
4 unitati ascunse
1 unitate de iesire Centrii: Ponderi:
u.a. 1: (0,0) w1: 0
u.a. 2: (1,0) w2: 1
u.a. 3: (0,1) w3: 1
u.a. 4: (1,1) w4: 0

Functie de activare:
g(u)=1 if u=0
g(u)=0 if u<>0

Obs.: Aceasta abordare nu poate fi aplicata pentru probleme generale de aproximare, ci doar in cazul
interpolarii exacte (in care valorile de intrare sunt limitate si conoscute in totalitate).

RBF Aplicatii

Retelele RBF sunt aplicate pentru clase de probleme similare celor pentru care sunt
aplicate retelele feed-forward cu functii sigmoidale:

Aproximare

Clasificare

Predictie
RBF Antrenare
Parametri determinati in etapa de invatare:

Centrii (prototipurile) corespunzatoare unitatilor ascunse

Largimile campurilor receptive (parametrii functiilor de activare cu simetrie radiala)
Ponderile asociate conexiunilor dintre nivelul ascuns si cel de iesire

Variante de antrenare:

Antrenarea separata a parametrilor (Antrenarea hibrida, Haykin, 1999):

centri, largimi, ponderi

Antrenarea simultana a tuturor parametrilor (similara algoritmului BackPropagation

doar regulile de ajustare ale centrilor se modifica)
Obs: aceleasi dezavantaje ale algoritmului BackPropagation

RBF Antrenare

A. Antrenare separate (Antrenarea hibrida)

Se realizeaza in doua etape:

1. Etapa nesupervizata, care are ca scop determinarea (estimarea) centrilor in jurul

carora se grupeaza cel mai bine (pe baza unui criteriu de eroare) vectorii lotului de
antrenare (nu conteaza iesirea dorita)

2. Etapa supervizata = determinarea ponderilor w din stratul de iesire, care se face

astfel incat sa se minimizeze eroarea intre iesirea dorita si cea reala
RBF Antrenare

Se da setul de antrenare: {(x1,d1 xL,dL)}

A1. Estimarea centrilor

cazul K = L (nr de centri = nr de exemple),

Ck=xk (vezi exemplul cu XOR)

cazul K < L : centri sunt stabiliti prin

- selectie aleatoare din setul de antrenare

- metode de estimare a desnsitatilor de probabilitate, cum ar fi modelarea

spatiului de parametric prin GMM (Gaussian Mixture Model)

- utilizand o metoda de grupare (clustering)

RBF Antrenare

Algoritm de grupare a datelor (clustering):

Se urmareste identificarea a K clase in setul de date de antrenare {X1 L} astfel
incat datele din fiecare clasa sa fie suficient de similare pe cand datele din clase
diferite sa fie suficient de diferite

Fiecare clasa va avea un reprezentant (ex: media datelor din clasa) care va fi
considerat centrul clasei

Algoritmii pentru determinarea reprezentantilor clasei sunt cunoscuti sub numele de

algoritmi partitionali de grupare (realizeaza o partitionare a spatiului de intrare)

Algoritm clasic: K-means, Basic Isodata

RBF Antrenare

K-means:

Se porneste de la centri initializati

aleator

Proces iterativ:
Se asigneaza datele la clase folosind
criteriul distantei minime (sau a celui
mai apropiat centru)

Se recalculeaza centrii ca fiind medii

ale elementelor asignate fiecarei
clase

RBF Antrenare

K-means:

Se porneste de la centri initializati

aleator

Proces iterativ:
Se asigneaza datele la clase folosind
criteriul distantei minime (sau a celui
mai apropiat centru)

Se recalculeaza centrii ca fiind medii

ale elementelor asignate fiecarei
clase
RBF Antrenare
K-means:
Ck = ( rand(min (min, max) ), k =1...K sau Ck este initializat cu un
element selectat aleator din setul de date
REPEAT
FOR i = 1, L
Determina clasa k(i) astfel incat d(X i, C k(i)) <= d(X i, C k)
Asigneaza X i clasei k(i)
Calculeaza
C k = media elementelor ce au fost asignate clasei k
nu s-au mai efectuat modificari ale centrilor

Obs: Centrii nu sunt (de regula) vectori din setul de antrenare

Numarul de clase trebuie cunoscut de la inceput.

RBF Antrenare

Algoritm de clustering varianta incrementala

Numarul de centri nu este cunoscut de la inceput, se determina adaptiv

Pas1: Se porneste cu un numar mic de centri initializati aleator

Pas2: Se parcurge setul de antrenare:

Daca exista un centru suficient de similar cu data de intrare atunci componentele

centrului respectiv se modifica pentru a asigura asimilarea datei de intrare in clasa
aferenta centrului.

Daca data de intrare este diferita de toti centrii atunci este adaugat un nou centru
(unitate ascunsa in RN) care este initializat chiar cu data de intrare analizata.
RBF Antrenare

Algoritm de clustering varianta incrementala

RBF Antrenare

Reguli de estimare a largimilor campurilor receptive ( )

 RBF Antrenare

A2. Estimarea ponderilor conexiunilor dintre nivelul ascuns si cel de iesire:

Problema este echivalenta cu cea a antrenarii unei retele cu un singur nivel de unitati
functionale liniare

Variante:
Aplicarea metodelor din algebra liniara (rezolvarea unui sistem de ecuatii liniare)

Aplicarea algoritmului Widrow-Hoff (gradient negative, ca la ADALINE)

RBF Antrenare

Tehnica hibrida are un dezavantaj major:

Selectarea centrilor stratului ascuns nu tine cont de valorile dorite la iesire.

Centrii reprezinta o buna aproximare a vectorilor de intrare relative la un criteriu
de similaritate (calculat in acest spatiu), insa nu exista nicio garantie ca aceasta
aproximare corespunde scopului final de disciminare a vectorilor. Altfel spus, nu
exista nicio legatura intre procesul de determinare a centrilor si scopul de asociere
intre spatiul de intare si cel de iesire
RBF Antrenare

B. Antrenarea globala a retelei RBF

Proces de adaptare simultana (in paralel) a parametrilor retelei = determinarea in

acelasi timp a centrilor, razelor de actiune si a ponderilor RN, tinand cont de eroarea
de la iesire.

Exista mai multe abordare:

1. Determinarea centrilor si a ponderilor pe baza metodei celor mai mici patrate

ortogonale (Orthogonal Least Squares)

2. Metoda bazata pe algoritumul gradientului negative (similara antrenarii MLP)

RBF Antrenare

B1. Orthogonal Least Squares (LS):

Obs.: costisitoare din punct de vedere computational, necesita inversarea unei matrice
Etapa1: Selectie incrementala a centrilor astfel incat eroarea de iesire sa fie minimizata
cat mai mult
Noul centru este ales astfel incat sa fie ortogonal pe spatiul generat de catre
centrii deja selectati (se foloseste metoda de ortogonalizare Gram-Schmidt)

Etapa2: Ponderile stratului de iesire se determina prin regresia contine

termen de regularizare):

Solutia:
wridge = (XTX + In)-1 XT y
daca 0 atunci wridge wLS clasic
daca atunci wridge 0
RBF Antrenare
B2. Antrenarea simultana a tuturor parametrilor prin BackPropagation
Se utilizeaza algoritmul de gradient negativ, pentru minimizarea erorii patratica medie la
iesirea retelei, intre valoarea reala si cea dorita

Adaptarea tuturor parametrilor se face conform algoritmului de gradient negativ: