Reele Kohonen

n continuare sunt abordate reelelele cu autoorganizare care spre deosebire de modelele

convenionale sunt caracterizate de faptul c ieirea corect nu poate fi definit a priori. Dei n
acest fel nu poate fi definit o msur a erorii de aplicare a intrrilor n ieiri, procesul de
nvare determin parametrii reelei pentru o anumit funcie dorit.
Astfel de reele cu autoorganizare au fost considerate cu ocazia prezentrii algoritmului de
clustering nesupervizat cnd caracterele clusterelor i apartenena unui vector la un cluster nu
erau cunoscute sau impuse ci erau rezultatul unui proces de nvare.
A B
f
a
1
Fig. 1. Partiionarea spaiului de intrare al funciei B A f : .
Vectorii care se prezint ca intrri ntr-o reea cu autoorganizare constituie mediul nconjurtor
sau contextul n care funcioneaz reeaua. Fiecare vector de intrare provoac o adaptare a
parametrilor care constituie o reprezentare intern a mediului. ntr-o reea cu autoorganizare
etapele de nvare i exploatare se interptrund. Cea mai studiat clas de reele cu
autoorganizare sunt reelele Kohonen. Atunci cnd o reea neuronal este antrenat i exploatat,
intrrile fac parte din spaiul de intrare. Structura acestui spaiu este determinant pentru succesul
antrenrii i exploatrii reelei neuronale. S presupunem c reeaua neuronal aproximeaz o
funcie B A f : , R A . Mulimea de definiie A poate fi acoperit de o reea Kohonen (v.
fig.1) astfel nct dac un vector de intrare este ales dintr-o regiune
1
r , doar o unitate a reelei
devine activ. O partiionare n astfel de regiuni a spaiului de intrare se mai numete hart a
spaiului de intrare. Reelele Kohonen nva s realizeze hri ale spaiului de intrare prin
autoorganizare.
Aceste concepte se bazeaz pe analogia cu sistemele biologice. Se tie de exemplu c anumite
zone din cmpul vizual al fiecrui ochi are corespondene n regiuni din lobul occipital.
Descoperirile actuale din medicin susin ideea potrivit creia creierul o construiete n primul
rnd o reprezentare topologic a lumii. ntr-o astfel de reprezentare topologic, relaiile spaiale
exterioare sunt aplicate n relaiile spaiale similare n cortex.
Elementul distinctiv al reelelor l constituie definiia vecintii unei uniti de calcul. Reelele
Kohonen sunt structuri multidimensionale n form de gril n ale cror noduri sunt plasate
uniti de calcul. Unitile au conexiuni ctre anumite uniti vecine.
1.Algoritmul de nvare
S presupunem c trebuie cartografiat spaiul n -dimensional i dispunem de o structur liniar
de uniti Kohonen, numerotate de la 1 la m ca n fig 2. Fiecare unitate este dotat cu o intrare n -
dimensional i calculeaz excitaia corespunztoare. Cele n componente ale intrrii sunt trimise
ctre fiecare unitate prin arce ponderate, unitii i fiindu-i asociat vectorul n -dimensional de
ponderi
i
w .
Catografierea urmrete ca fiecare unitate s se specializeze ntr-o zon distinct a spaiului de
intrare n sensul c dac o intrare aparine unei regiuni pe care s-a specializat o unitate, atunci
acea unitate s furnizeze excitaia maxim.
...
w
m
1 2 3
w
1
x
vecinatatea de raz 1 a unittii 2
w
2
w
3 m-1
w
m
Fig.2. Unitai de calcul conectate liniar
O unitate Kohonen calculeaz distana euclidian ntre propriul vector de ponderi
i
w i intrarea
curent x . Vecintatea ) , ( r i N de raz r a unitii i din reea este format din toate unitile
situate la cel mult r poziii fa de i . n exemplul din fig. 2, vecintatea de raz 2 pentru
unitatea 4 este mulimea unitilor 2, ( ) 5 , 4 , 3 ,6 iar cea de raz 1 pentru unitatea 1 m este
mulimea unitilor ( ) m m m , 1 , 2 . De asemenea, nvarea reelelor Kohonen, folosete o
funcie de vecintate ) , ( k i care este o msur a intensitii cuplrii ntre celula i i k . Un
exemplu de funcie de vecintate este

=
) , ( , 0
) , ( , 1
) , (
r k N i
r k N i
k i .
Algoritm 1. Instruirea unei reele Kohonen.
Start: Vectorii de ponderi n -dimensionali
m
w w ,...,
1
sunt iniializai cu valori aleatoare. Se
alege o raz iniial r , o constant de nvare i o funcie de vecintate ) , ( k i .
Pas 1: Se alege un vector de intrare din setul de antrenare folosind o distribuia de
probabilitate dorit peste spaiul de intrare.
Pas 2: Se alege unitatea k pentru care excitaia este maxim, adic pentru care distana ntre
i
k
w este minim, adic
w w
i k
, m i ,..., 1 = .
Pas 3: Se actualizeaz vectorii de ponderi dup regula
) )( , (
i i i
w w w + = k i , m i ,..., 1 = .
Pas 4: Dac numrul maxim de iteraii permis a fost atins atunci stop. n caz contrar, se
modific i conform planificrii prestabilite i se reia pasul 1.
Interpretarea regulii de actualizare este c noul vector de ponderi este mai apropiat de vectorul de
intrare (v. fig. 3). Dar, tot aceast regul, are ca efect atragerea cu att mai puternic a vectorilor
de ponderi cu ct acetia sunt mai apropiai de unitatea unde s-a nregistrat minimul. Intuitiv, am
putea privi o reea Kohonen ca o plas elastic care tinde s se muleze pe configuraia fizica a
intrrilor. Coordonatele nodurilor plasei sunt date de vectorii de ponderi iar topologia plasei este
cea a reelei unitilor de calcul.
w
i
curent
w
i
nou

-w
i
( i,k)( -w
i)
Fig. 3. Atragerea vectorului de ponderi de ctre vectorul de intrare.
n alte accepii, funcia de vecintate verific condiia 1 ) , ( = k i dac k i = dar poate fi funcie
descresctoare n raport cu distana unitii i fa de unitatea k . Ca efect, unitile care sunt mai
apropiate de unitatea ctigtoare (i mai ales cea ctigtoare) i schimb ponderile ntr-o
msur mai mare dect cele ndeprtate i aceasta este modalitatea de considerare a informaiei
topologice.
Dac intrrile au fost alese n mod uniform n spaiul de intrare, atunci la sfritul procesului de
nvare este de ateptat s obinem o distribuire uniform a vectorilor de ponderi n acest spaiu.
Raza vecintii este sczut conform unei planificri i are ca efect contracia vecintii. De
asemenea, funcia de vecintate are valori planificate din ce n ce mai mici pe msur ce procesul
de nvare avanseaz i ca urmare influena unei uniti asupra unitilor vecine descrete.
Constanta de nvare este de asemenea redus treptat i deci la nceput se vor face corecii mari
i din ce n ce mai mici ctre sfritul procesului de nvare. Planul de descretere a valorilor
funciei i ale constantei de nvare permite organizarea rapid a reelei n etapa iniial i
reglarea fin a adaptrii reelei la vectorii de intrare n perioada final a antrenrii. Dac
descreterea lui merge pn la valoarea 0 = atunci procesul este oprit.
O alegere tipic pentru funcia ([HK93]) este
2
2
2
) , (
) , (

k i dist
e k i

= ,
unde ) , ( k i dist este distana ntre unitile i i k n reeaua de ieire. Parametrul are o
descretere monoton n raport cu timpul t (iteraia curent). Alegeri uzuale pentru ) (t =
sunt
t
t
1
) ( = sau

= t t) ( , cu ] 1 , 0 ( .
Un exemplu de funcionare a algoritmului de nvare Kohonen este prezentat n fig. 4 n acre un
punct al liniei poligonale din interiorul triunghiului corespunde unei unitai de calcul. Domeniul
de intrare este triunghiul n care se afl linia poligonal. Dup realizarea nvrii, punctele sunt
distribuite astfel nct fiecare unitate corespunde unei regiuni din spaiul de intrare i pentru
punctele din acea regiune ea va fi singura care se activeaz.
Fig. 4. Trasarea unei reele Kohonen liniare n interiorul unui triunghi.
0 20 100
1000 10000 25000
Fig. 5. Configuraii ale vectorului de ponderi n diferite stadii de nvare.
Acelai exemplu rulat pentru reea Kohonen cu mai multe uniti este artat n diverse stadii de
nvare n fig. 5. La sfritul procesului de nvare (iteraia 25000) raza vecintii a devenit
nul, constanta de nvare ia o valoare foarte mic, iar ponderile unitilor formeaz o aa-zis
curb Peano.
Un alt exemplu n care unitile reelei Kohonen sunt pe o gril bidimensional este artat n fig.
6. Vecinii unei uniti sunt punctele din gril incluse n ptratul de latura 1 2 r uniti
elementare ale grilei (pai) centrat n unitatea curent (v. fig. 7 pentru cazul r=2).
Fig. 6. Maparea unui unui ptrat ntr-o reea bidimensional.
i
j
Fig. 7. Vecintate ) 3 ), , (( j i N centrat n nodul ) , ( j i al grilei i 2.
Analiza convergenei
n continuare sunt prezentate cteva elemente pentru nelegerea intuitiv a conceptului de
convergen i stabilitate a procesului de nvare.
Fie pentru nceput cazul elementar cnd reeaua Kohonen are exact o unitate iar domeniul de
intrare este intervalul ] , [ b a . Algoritmul de nvare va conduce la o pondere situat n mijlocul
intervalului ] , [ b a . Regula de nvare n acest caz este
) (
1 1
+ =
n n n
x x x
unde
1 n
x este valoarea curent a ponderii,
n
x cea actualizat n pasul n, iar care este un
numr aleator n ] , [ b a . Pentru ] 1 , 0 ( , dac ) , (
0
b a x atunci ] , [ b a x
n
, 1 ) ( n .
Valoarea medie x a lui x este mrginit. nlocuind pe n cu argumentul continuu t, obinem c
valoarea medie a derivatei lui x n raport cu t este nul
0 =
dt
dx
deoarece n caz contrar x ar putea depi intervalul ] , [ b a . Dar
( )
|
.
|

\
|

+
= = x
b a
x
dt
dx
2

i rezult c
2
b a
x
+
= .
Efectul mrimii vecintaii
Asupra formei funciei de vecintate nu s-a fcut nici o ipotez dect c 1 ) , ( = k i pentru k i =
i 0 ) , ( = k i pentru k i . Dac este considerat sub alt form care s reflecte o vecintate mai
ampl dect un punct, atunci apar mici dezechilibre la capetele unei reele unidimensionale sau
n colurile uneia bidimensionale. Efectul unei funcii de vecintate asupra strii stabile se poate
constata din exemplul n care

=
=
=
.c.c. 0
1 2 / 1
1
) , ( k i
k i
k i
Dac o reea Kohonen este antrenat cu aceast funcie, valorile medii ale ponderilor
1
x i
2
x
sunt -1/4 i 1/4 i nu mpart domeniul de intrare ] 1 , 1 [ n segmente egale.
Cuplarea puternic a unitilor favorizeaz concentrarea ponderilor unitilor n jurul centrelor
vecintailor. O tendin oarecum contrar se manifest la periferia distribuiei care atrage /
ntinde reeaua (v. fig. 8). Aceast tendin contrabalanseaz aglomerarea spre centrul reelei a
unitilor. Av\nd ]n vedere aceste comportamente, este bine s se nceap antrenarea cu o funcie
de vecintate care cupleaz puternic unitile, ca apoi spre sfritul antrenrii, cuplarea s fie
redus treptat. Pe de alt parte, o concentrare exagerat a ponderilor ctre centrul distribuiei
poate fi atenuat chiar din start prin iniializarea ponderilor cu valori mici.
Fig. 8. Hart bidimensional deformat
n rezumat, pentru asigurarea unui comportament convergent pentru o reea Kohonen
multidimensional sunt necesare:
o funcie de vecintate adecvat;
o bun iniializare pentru ponderile unitilor;
o planificare a rcirii nvrii care s nu conduc la terminarea prematur a nvrii.

Dimensionarea reelelor Kohonen
O alt problem de proiectare este dimensionarea reelelor Kohonen. Adesea, cnd datele de
intrare sunt vectori n -dimensionali acestea s-ar putea nlocui cu date de dimensiune mai mic.
Astfel, dac datele de antrenare sunt puncte pe o sfer tridimensional, o reea Kohonen
bidimensional poate oferi rezultate mai bune dect una tridimensional.
Dimensiunea efectiv a setului de date de intrare poate fi determinat experimental prin
msurarea variaiei numrului de puncte aflat la distan mai mic dect un 0 > dat, cnd
este crescut sau descrescut treptat. Astfel, s presupunem c datele de intrare sunt aproape
coplanare n spaiul tridimensional i selectm aleator un punct din datele de intrare. Calculm
apoi ) ( N numrul de puncte din setul de date care se afl fa de la o distan mai mic[ sau
ult egal cu . Dac acest numr ) ( N urmeaz o lege de forma
2
) ( N atunci vom opta
pentru o reea Kohonen bidimensional. De obicei se reprezint grafic )) ( log( N n funcie de
) log( iar limita pantei dreptei de regresie cnd 0 este aa-numita dimensiune fractal a
setului de date.
n [410] s-a artat experimental c este adecvat ca dimensiunea reelei Kohonen s fie ct mai
apropiat de dimensiunea fractal a datelor.
Aplicaii ale reelelor Kohonen
Aproximarea funciilor echilibrarea bagetei
Fie R d c b a f ] , [ ] , [ : o funcie continu i { } ] , [ ], , [ / )) , ( , , ( d c y b a x y x f y x P = graficul
acesti funcii. Mulimea P este o suprafa n
3
R pe care dorim s o aplicm pe o reea Kohonen
bidimensional. Reeaua Kohonen planar i distribuie unitile, de fapt ponderile acestora,
pentru a acoperi domeniul P . nvarea se realizeaz prin alegerea de triplete ntr-un domeniu
nchis n P , eventual ntr-o zon preferenial de exploatare a funciei f . Exploatarea reelei
Kohonen instruite se face astfel. S presupunem c pentru o pereche ) , ( y x ne intereseaz o
valoare aproximativ pentru ) , ( y x f . Pentru aceasta, se determin o unitate de coordonate ) , ( j i
din reeaua bidimensional pentru distana euclidian ntre ) , ( y x i ( )
) , (
2
) , (
1
,
j i j i
w w este minim n
raport cu celelalte uniti, unde ( )
) , (
3
) , (
2
) , (
1
, ,
j i j i j i
w w w este vectorul de ponderi corespunztor
unitii (i,j). Valoarea aproximativ a lui ) , ( y x f este tocmai valoarea nvat adic componenta
) , (
3
j i
w a celui mai apropiat vector de ponderi. Reeaua Kohonen lucreaz ca un tabel de valori
pentru f . Densitatea argumentelor n acest tabel poate fi variabil i va fi dictat de tipul de
aplicaie. n plus, utilizarea unui tabel de vectori este o soluie n general mai rapid dect
evaluarea direct a funciei dac expresia ei analitic se cunoate. Avantajul este i mai evident
cnd expresia ei analitic nu se cunoate dar sunt disponibile exemple de intrare ieire care vor
fi folosite n nvare. O reea Kohonen instruit pentru o astfel de sarcin i poate continua
instruirea dac s-au produs schimbri n setul de antrenare la care trebuie s se adapteze.
O aplicaie fizic spectaculoas este echilibrarea baghetei (v. fig. 1). Sistemul const dintr-o
baghet care se poate roti cu un unghi n jurul punctului de fixare ntr-un plan perpendicular pe
crucior. Deplasarea cruciorului se poate face pe durata interseciei ntre platforme n planul n
care se mic bagheta.

f
Fig. 1. Sistemul pentru echilibrarea baghetei.
Meninerea n echilibru a baghetei se face prin deplasarea cruciorului la stnga / dreapta
aplicnd o for f a crei mrime este o funcie de unghiul [RMS90]
dt
d
f

+ = sin ) ( ,
unde i sunt constante. Pentru a folosi o reea Kohonen pentru aproximarea lui f se
consider = x , dt d y / = i y x y x f + = sin ) , ( i se procedeaz ca mai sus, reea
furniznd o aproximare a lui ) , ( y x f pentru o pereche ) , ( y x dat.