ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016

pag.1
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016

8.7 Arhitectura reelei neurale artificiale

O reea neural simpl const din aranjarea unui grup de neuroni ntr-un singur
strat (figura 1):

Figura 1: Reea neuronala simpl cu N intrri(X1, X2, XN) i K ieiri (Y1, Y2, YK)

Aceasta are N intrri i K ieiri. Fiecare intrare se aplic tuturor celor K

neuroni. Vectorul de ieire va rezulta din aplicarea funciei de activare produsului
scalar al matricei ponderilor W cu vectorul de intrare X:

(
S = W T X Y = f (S ) = f W T X ) (1)

x1 w11 w21 ... wK 1

x2 w12 w22 ... wK 2
X = W = (2)
... ... ... ... ...
xN w1N w2 N ... wKN

Perceptronul cu 3 straturi este o reea cu un strat de intrare, un strat de ieire i

un strat intermediar (ascuns). n general, cele mai utilizate arhitecturi de reele
neuronale sunt cele feed-forward multistrat (figura 2):
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.2
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016

Fig. 2: Reea neural feed-forward multi strat

Reelele multistrat nu asigur o cretere a puterii de calcul n raport cu reelele

cu un singur strat dac nu e prezent o funcie de activare neliniar ntre straturi.
S-a demonstrat (Funahashi, 1989) c o reea (posibil infinit) cu un singur strat
ascuns este capabil c aproximeze orice funcie continu.
De asemenea, aplicnd teorema Stone-Weierstrass n domeniul reelelor
neuronale, s-a demonstrat c acestea pot calcula anumite expresii polinomiale: dac
exist dou reele care calculeaz exact doua funcii f1, respectiv f2, atunci exist o
reea mai mare care calculeaz exact o expresie polinomial de f1 i f2.

Cea mai utilizat reprezentare de structur pentru o arhitectur de reea neuronal este
perceptronul multistrat MLP (multilayer perceptron), figura 3:
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.3
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016
Figura 3. Perceptronul multistrat MLP (multilayer perceptron)

Nodurile din stratul de intrare au o singur intrare, iar ieirile acestora merg la
stratul ascuns (hidden layer) care nu este accesibil. O reea neuronal trebuie instruit,
adic se d un set de date de intrare i ieirile scop (target).
Prin operaia de instruire, ieirea actual a reelei neuronale se compar cu
scopul i n funcie de eroarea aceasta, se modific ponderile, operaia repetndu-se
pentru toate seturile de intrare de test. n operaia de instruire se folosete o funcie
cost dependent de eroarea de instruire la fiecare pas. Cea mai utilizat funcie de
cost Ep, se refer la suma ponderat a erorilor de instruire pentru fiecare set de date de
instruire, de forma
m
Ep = ( yi ti ) Wp
2
(3)
i =1
unde: m este numrul de seturi de date pentru instruirea reelei,
Wp este o pondere care arat calitatea setului de date, cu valori cuprinse n
domeniul 0<W1.

O aplicaie n cadrul unei reele neurale include operaiile (figura 4):

Fig. 4: Structura unei aplicaii cu reele neurale

Preprocesarea ofer o micorare a timpului de calcul al reelei neurale,

deoarece aceasta va primi date prelucrate, ca de exemplu: filtrarea semnalelor,
extragerea de trsturi, transformata Fourier rapid, serii predictive de timp, etc.
Postprocesarea transform ieirile decodificate ale reelei neurale ntr-o form
corespunztoare unei aplicaii, ca de exemplu reescalarea semnalului de ieire.
Alegerea unei soluii de implementare a unei reele neurale necesit operaiile:
a) alegerea unei structuri de calcul de tip paralel sau secvenial. Procesarea
secvenial este mai uor de implementat, este mai simpl, dar este mai
lent. Procesarea n paralel este mai scump, dar mult mai rapid.
b) alegerea soluiei software sau hardware de implementare. O soluie
software este mai flexibil, dar o soluie hardware este mai rapid.
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.4
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016
c) alegerea modului de interpretare software, standard, accelerator, etc.
Proiectarea unei reele neurale poate s duc la obinerea unui produs care are
performane deficitare, ca de exemplu:
reeaua neural are o eroare final de instruire mare, simptom care se
poate datora faptului c s-au ales greit parametrii algoritmului de
instruire i procesul de instruire este slab convergent;
se obin performane inadecvate pentru setul de date de test dup
instruirea reelei, simptom care poate fi cauzat de complexitatea prea
mare a reelei neurale;
viteza inadecvat de procesare, simptom care se poate datora alegerii
unor algoritmi prea complicai pentru preprocesare i postprocesare.

Un neuron poate fi interpretat analogic (exist realizri tehnologice care includ

512 neuroni ntr-un circuit integrat) sau numeric, la care informaiile se pot transmite
n paralel sau n serie. Exist procesoare neurale, care includ multiplexoare,
procesoare numerice de semnale DSP, registre, etc. cu care se poate realiza o structur
feedforward sau backforward pentru reele neurale.
Pentru reele neurale de tip multistrat MLP, cel mai utilizat algoritm de instruire se
bazeaz pe metoda propagrii inverse, care impune o funcie prag continuu derivabil,
de forma:
1
f ( net ) = (4)
1 + e K net
unde k definete lrgimea funciei i care acioneaz ca un control al amplificrii.
Parcurgerea etapelor de calcul pentru instruirea unei reele neurale necesit
urmtoarele operaii: iniializarea ponderilor, evaluarea ieirilor pentru fiecare strat i
adaptarea ponderilor folosind relaia:

w ji ( t + 1) = w ji ( t ) + pj Opi + [w ji ( t ) w ji ( t 1)] (5)

unde:
- wij(t) reprezint ponderile de la nodul i la nodul j la momentul de timp t,
este un coeficient de amplificare,
- pj este termenul erorii de instruire pentru imaginea p n nodul j,
- Opi - ieirea actual a reelei neurale, iar este un coeficient de moment n
variaia succesiv a ponderilor.

8.7.1 Alte tipuri de reele neurale

a) Reele Kohonen cu autoorganizare, au dou straturi: unul de intrare i unul de

ieire. Toate intrrile sunt conectate la toate nodurile de ieire, care pot avea
numai conexiuni laterale cu nodurile imediat vecine, fig. 5. Reelele Kohonen
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.5
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016
sunt cu autoorganizare, de tip feedforward i cu instruire nesupervizat. Aceste
reele se folosesc pentru gruparea datelor de intrare. De exemplu o reea
Kohonen este instruit pentru datele care definesc funcionarea unei pompe i
la ieirea reelei se obine o diagram. La apariia unor defecte la pomp apare
o alt diagram.

Noduri ieire

16 fire de la
fiecare nod de
intrare

Noduri intrare

Fig. 5. Reea Kohonen

b) Reele neurale cu funcii de baz radiale (Radial Basic Function RBF).

Aceste reele sunt o alternativ la reelele de tip MLP, avnd avantajul c n unele
aplicaii pot fi mai uor instruite, clasificare de imagini, discriminare, prognoze etc. n
stratul ascuns al reelei RBF, fiecare neuron are ca intrri toate ieirile de la stratul de
intrare. Un neuron conine o basic function, fig. 6, care are ca parametrii centrul
i limea. Structura unui neuron din stratul ascuns al reelei RBF este dat n figura
8. Generalizarea reelelor neuronale bazate pe funcii radiale reprezint capacitatea de
interpolare a RNA vizavi de datele de test. RNA-RBF poate sa solicite mai muli
neuroni, dar antrenarea acestora necesita mai puin timp dect in cazul perceptronului.
Explicaia acestui fapt este urmtoarea: ieirile neuronilor sigmoidali ai stratului
ascuns sunt semnificative pentru regiuni largi ale spaiului de intrare in timp ce
neuronii bazai pe funcii radiale rspund doar la regiuni relativ mici din spaiul de
intrare. In consecina, RNA-RBF se comporta mai bine cnd sunt disponibili mai
muli vectori de antrenament.
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.6
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016

Fig. 6 Reea neurala cu funcii de baz radiale

n fig. 6 prin "d" se noteaz:

d= (x C )
2
i i

Structura unei reele de tip RBF, fig. 7, are ieirea descris de ecuaia:
n
y = wiRi ( x ) + w0 (6)
i =1
unde:
=[Ci1, Ci2, , Cin] este centrul domeniului receptor i Ri
T
- wi sunt ponderile, C i
funciile:
Ri ( x) = ( u Ci ), Ci R n (7)
unde:
- are o valoare maxim n origine, deci numai n vecintatea vectorului Ci, care este
numit centrul lui Ri(x).

O RNA-RBF prezint structural trei starturi:

- stratul de intrare sau stratul senzorial
- stratul ascuns care furnizeaz funcii care constituie o baza pentru vectorii de
intrare; aceste funcii poarta denumirea de funcii radiale;
- stratul de ieire alctuit din neuroni cu funcie de activare liniara.
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.7
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016
Fig. 7 Structura unei reele de tip RBF

Clasa cea mai general de funcii radiale de baz conine funcii gausiene de
forma:

(
Ri (n ) = exp
u i ci)2


(8)
2 * cj

Pentru alegerea funciilor de baz se poate folosi o reea Kohonen, care
printr-o instruire nesupervizat pentru un set de date de intrare determin la ieire
clustere care sunt utilizate pentru a defini basis function centers

c) Reele Hopfield.
Aceste reele constau dintr-un numr de noduri, fiecare conectat unul cu altul,
deci o reea complet interconectat, fig. 8. O reea Hopfield admite numai intrri cu
dou stri (0;1) sau bipolar (-1;1). Ieirea reelei este starea neuronilor n stare stabil,
n regim staionar. Instruirea unei reele Hopfield se face prin asigurarea ponderilor
pentru conexiuni, n iniializarea reelei cu imaginea cunoscut i n iterarea calculelor
pentru ponderi pn la convergen.
RNA de tip Hopfield poate fi vazuta ca o memorie asociativa sau ca o
memorie adresabila prin continut, a crei funcie principala este regsirea tiparelor
stocate in memorie ca rspuns la prezentarea unui tipar incomplet sau contaminat cu
zgomot.

Interconexiuni
Nodurile reelei
neurale

Fig. 8 Reea neural Hopfield

Fiecare tip de reea neural are avantaje i dezavantaje, fiind adecvate deci pentru o
anumit clas de aplicaii.
ANALIZA STATISTICA A ECOSISTEMELOR Noiembrie 2016
pag.8
U.P.B.
Fac. tiina &Ingineria Materialelor
Cat. Procesarea Materialelor i S9
MASTER I Ecometalurgie
Dan Constantinescu/2016
8.7.2 ALGORITMI DE ANTRENARE

Exist reelele neuronale au capacitatea de a nva, ns modalitatea concret

n care se realizeaz acest proces este dat de algoritmul folosit pentru antrenare. O
reea se consider antrenat dac aplicarea unui vector de intrare conduce la obinerea
unei ieiri dorite, sau foarte apropiate de aceasta.
Antrenarea const n aplicarea secvenial a diferii vectori de intrare i
ajustarea ponderilor din reea n raport cu o procedur predeterminat. n acest timp,
ponderile conexiunilor converg gradual spre anumite valori pentru care fiecare vector
de intrare produce vectorul de ieire dorit.
Exist dou tipuri importante de nvare:
supervizat
nesupervizat.
nvarea supervizata presupune aplicarea unei perechi vector de intrare
vector de ieire dorit. Dup aplicarea unei intrri, se compar ieirea calculat cu
ieirea dorit, dup care diferena este folosit pentru modificarea ponderilor cu
scopul minimizrii erorii la un nivel acceptabil. Acest tip de antrenare d rezultate
bune, ns nu are corespondent n lumea vie, unde nu exist mecanism de instruire
care s compare ieirile dorite cu cele reale i s propage coreciile n reeaua de
neuroni. Totui, s-a pus n eviden un proces de auto-organizare a creierului.
n nvarea nesupervizat, mulimea de instruire const numai n vectori de
intrare iar scopul algoritmului este producerea de vectori de ieire consisteni, adic
dou semnale foarte apropiate vor produce rspunsuri identice sau foarte
asemntoare. Astfel, vectorii similari sunt grupai n clase, proces numit i
clusterizare.
Analiznd comparativ modelul neuronului real (biologic) si neuronului
artificial se pot face urmtoarele observaii:
Din punct de vedere al implementrii este practic imposibil si chiar
ineficient ca modelul artificial al neuronului sa copieze exact
comportamentul si structura celui biologic;
RNA sunt proiectate pentru rezolvarea unor probleme specifice si deci
arhitectura si trsturile RNA depind de problema pe care trebuie sa o
rezolve
Un neuron real produce la ieire o secven de impulsuri i nu o
anumita valoare cum este cazul celui artificial.
Unele celule nervoase biologice efectueaz o nsumare neliniara a
intrrilor. Pot exista chiar operaii logice (si, sau, nu) efectuate la
nivelul dendritelor
Ieirile neuronilor nu se modifica in mod sincron si nu toi au acelai
tip de ntrziere
Cantitatea de substana transmitoare (mediator chimic) eliberata la
nivelul sinapsei poate sa varieze intr-un mod imprevizibil. Fenomenul
este aproximat grosier prin intermediul funciei de activare.