MODELAREA CU REELE NEURALE ARTIFICIALE

STRUCTURA UNEI REELE NEURALE.

Elementul de baz al unei re\ele neurale este neuronul. Privit ca un sistem , neuronul
este de tip MISO , pentru c are un numr n de intrri si o iesire .
Schematic, un neuron este reprezentat printr-un element de nsumare E a intrrilor x
i

si printr-o functie de activare f , avnd pragul u ( fig. 1) .


Fig. .1

Acest model al unui neuron este de tip feedforward , mrimea de iesire y fiind definit
prin relatia:
y = f(w
0
x
0
+ w
1
x
1
+ ... + w
n
x
n
)=f |
.
|

\
|

=
n
0 i
i ix W =f(net)


unde prin x
0
s-a notat intrarea cu ponderea W
0
=1.
Se noteaz cu :
2
( )
n 2 1
x ,... x , x x = vectorul intrrilor
( )
n 2 1
w ,... w , w w= vectorul ponderilor
Functia de activare permite transformri complexe ale intr`rilor. Se utilizeaz` ca
func\ie de activare : functia treapt (Heaviside), functia sigmoidal, etc.
Functia treapt :
f
h
(u)=

s
>
0 u pentru 0
0 u pentru 1

Cea mai utilizat structur pentru o arhitectur de reea neuronal este perceptronul
multistrat MLP (multilayer perceptron),:


Nodurile din stratul de intrare au o singur intrare, iar ieirile acestora merg la stratul
ascuns care nu este accesibil. O reea neuronal trebuie instruit, adic se d un set de date de
intrare i ieirile scop (target). Prin operaia de instruire, ieirea actual a reelei neuronale se
compar cu scopul i n funcie de eroarea aceasta, se modific ponderile, operaia repetndu-
se pentru toate seturile de intrare de test. n operaia de instruire se folosete o funcie cost
dependent de eroarea de instruire la fiecare pas. Cea mai utilizat funcie de cost E
p
, se
refer la suma ponderat a erorilor de instruire pentru fiecare set de date de instruire, de
forma:
( )

=
=
m
i
p i i p W t y E
1
2
,

3
unde m este numrul de seturi de date pentru instruirea reelei, W
p
este o pondere care arat
calitatea setului de date, cu valori cuprinse n domeniul 0<Ws1.



Fig. 3

Preprocesarea ofer o micorare a timpului de calcul al reelei neurale, deoarece
aceasta va primi date prelucrate, ca de exemplu: filtrarea semnalelor, extragerea de trasaturi,
transformata Fourie rapid, serii predictive de timp, etc. Postprocesarea transform ieirile
decodificate ale reelei neurale ntr-o form corespunztoare unei aplicaii, ca de exemplu
rescalarea semnalului de ieire.
Alegerea unei soluii de implementare a unei reele neurale necesit operaiile:
a) alegerea unei structuri de calcul de tip paralel sau secvenial. Procesarea
secvenial este mai uor de implementat, este mai simpl, dar este mai lent.
Procesarea n paralel este mai scump, dar mult mai rapid.
b) alegerea soluiei software sau hardware de implementare. O soluie software este
mai flexibil, dar o soluie hardware este mai rapid.
c) alegerea modului de interpretare software, standard, accelerator, etc.
Proiectarea unei reele neurale poate s duc la obinerea unui produs care are
performane deficitare, ca de exemplu:
4
- reeaua neural are o eroare final de instruire mare, simptom care se poate
datora faptului c s-au ales greit parametrii algoritmului de instruire i procesul
de instruire este slab convergent;
- se obin performane inadecvate pentru setul de date de test dup instruirea
reelei, simptom care poate fi cauzat de complexitatea prea mare a reelei neurale;
- viteza inadecvat de procesare, simptom care se poate datora alegerii unor
algoritmi prea complicai pentru preprocesare i postprocesare.
Un neuron poate fi interpretat analogic (exist realizri tehnologice care includ 512
neuroni ntr-un circuit integrat) sau numeric, la care informaiile se pot transmite n paralel
sau n serie. Exist procesoare neurale, care includ multiplexoare, procesoare numerice de
semnale DSP, registre, etc. cu care se poate realiza o structur feedforward sau backforward
pentru reele neurale.
Pentru reele neurale de tip multistrat MLP, cel mai utilizat algoritm de instruire se
bazeaz pe metoda propagrii inverse, care impune o funcie prag continuu derivabil, de
forma:
f net
e
K net
( ) =
+

1
1

unde k definete lrgimea funciei i care acioneaz ca un control al amplificrii. Parcurgerea
etapelor de calcul pentru instruirea unei reele neurale necesit urmtoarele operaii:
iniializarea ponderilor, evaluarea ieirilor pentru fiecare strat i adaptarea ponderilor folosind
relaia:
w t w t O w t w t
ji ji pj pi ji ji
( ) ( ) [ ( ) ( )] + = + + 1 1 q o o ,
unde w
ij
(t) reprezint ponderile de la nodul i la nodul j la momentul de timp t, q este un
coeficient de amplificare, o
pj
este termenul erorii de instruire pentru imaginea p n nodul j, O
pi

- ieirea actual a reelei neurale, iar o este un coeficient de moment n variaia succesiv a
ponderilor.
5
O reea neural de tip MLP este cu instruire supervizat, adic se nva s i modifice
ponderile astfel nct ieirile acesteia s coincid cu scopul (target). Exist i reele cu
instruire nesupervizat, la care nu exist un target, unde o reea nva s recunoasc orice
imagine patern n datele de intrare i care sunt prezentate n continuare.

5.2. STRUCTURI DE ARHITECTURI DE REELE NEURALE
Cele mai utilizate structuri de reele neurale sunt de tip perceptron multristrat MLP,
cu instruire supervizat i de tip feedforward. Dintre alte tipuri de reele neurale se
reamintesc:
a) Reele Kohonen cu autoorganizare, au dou straturi: unul de intrare i unul de
ieire. Toate intrrile sunt conectate la toate nodurile de ieire, care pot avea numai conexiuni
laterale cu nodurile imediat vecine, fig. 6.4. Reelele Kohonen sunt cu autoorganizare, de tip
feedforward i cu instruire nesupervizat. Aceste reele se folosesc pentru gruparea datelor de
intrare clustering. De exemplu o reea Kohonen este instruit pentru datele care definesc
funcionarea unei pompe i la ieirea reelei se obine o hart. La apariia unor defecte la
pomp apare o alt hart.

4

b) Reele neurale cu funcii de baz radiale (Radial Basic Function RBF). Aceste
reele sunt o alternativ la reelele de tip MLP, avnd avantajul c n unele aplicaii pot fi mai
Noduri intrare
16 fire de la
fiecare nod de
intrare
Noduri ieire
6
uor instruite, clasificare de imagini, discriminare, prognoze etc. n stratul ascuns al reelei
RBF, fiecare neuron are ca intrri toate ieirile de la stratul de intrare. Un neuron conine o
basic function, fig. , care are ca parametrii centrul i limea. Structura unui neuron din
stratul ascuns al reelei RBF este dat n fig. :




Fig.
n fig.. prin "d" s-a notat:
( )

=
2
i i C x d
Structura unei reele de tip RBF, fig., reteaua are iesirea descris de ecuaia:
( ) 0
1
w x R w y
n
i
i i + =

=

unde w
i
sunt ponderile,
C
T
i
=[C
i1
, C
i2
, , C
in
] este centrul domeniului receptor i R
i
funciile:
( )
n
i i i R C C u x R e = , ) (
unde (.) are o valoare maxim n origine, deci numai n vecintatea vectorului Ci, care este
numit centrul lui R
i
(x).
7


Fig.

Clasa cea mai general de funcii radiale de baz conine funcii gausiene de forma:
( )
( )
|
|
|
.
|

\
|
=


j
i i
i
c
n R
c u
o * 2
exp
2

Pentru alegerea funciilor de baz se poate folosi o reea Kohonen, care printr-o
instruire nesupervizat pentru un set de date de intrare determin la ieire clustere care sunt
utilizate pentru a defini basis function centers
c) Reele Hopfield. Aceste reele constau dintr-un numr de noduri, fiecare conectat
unul cu altul, deci o reea complet interconectat, fig. . O reea Hopfield admite numai intrri
cu dou stri (0;1) sau bipolar (-1;1). Ieirea reelei este starea neuronilor n stare stabil, n
regim staionar. Instruirea unei reele Hopfield se face prin asigurarea ponderilor pentru
conexiuni, n iniializarea reelei cu imaginea cunoscut i n iterarea calculelor pentru ponderi
pn la convergen.

8


Fig.

Dintre alte tipuri de reele neurale se menioneaz reelele neurale recurente (folosite
n special pentru aplicaii de prognoz), reele neurale autoasociative (de tip forward i cu
instruire nesupervizat) i reele cu cuantizare vectorial (de tip feedforward i cu instruire
supervizat). Fiecare tip de reea neural are avantaje i dezavantaje, fiind adecvate deci
pentru o anumit clas de aplicaii.

REEA NEURAL PENTRU PREDICIA STRII UNUI PROCES DE
FERMENTAIE

Deoarece nu exist relaii matematice care s defineasc reaciile, determinarea
modelelor bioreactoarelor i msurarea indirect a unor parametri privind variabilele de stare
ale acestuia necesit utilizarea reelelor neurale, care pot fi folosite n regim de predicie.
Astfel, cu ajutorul reelelor neurale se poate estima starea bioreactorului, se pot prezice
valorile variabilelor de ieire, ca productivitate, calitate, etc.
Ca exemplu de utilizare a unei reele neurale industriale pentru estimarea strii
procesului de fermentaie i pentru predicia unor variabile, se consider un proces de
fermentaie la care nu pot fi msurai toi parametrii tehnologici i deci se utilizeaz o reea
neural pentru estimarea i predicia variabilelor de stare ale acestuia.
Interconexiuni
Nodurile reelei
neurale
9
Estimarea i predicia biomasei notat cu x, i msurat n g/l la momentul actual de
timp t , notat x(t), i la momente viitoare de timp t+1, t+2, t+3, reprezentnd ieirile reelelor
neurale. Semnalele de intrare ale reelei neurale pentru predicia biomasei x(t) reprezint
mrimi care se pot msura, respectiv:
-concentraia de oxigen dizolvat DO(t), transmis de alte dou intrri prin elemente de
ntrziere, DO(t-1), DO(t-2).
-concentraia de oxigen Rq(t) (respiratory quotant) transmis n mod identic la nc dou
intrri ale reelei, Rq(t), Rq(t-1) i Rq(t-2).
-concentraia ethanolului la ieire Eq, %, transmis n mod identic la nc trei intrri ale reelei
neuronale, Eq(t), Eq(t-1), Eq(t-2).
-viteza de alimentare a substratului F
IN
, cm
3
/l, transmis la fel la trei intrri, F
IN
(t), F
IN
(t-1),
F
IN
(t-2).
deasemenea, la dou intrri ale reelei neuronale se transmit valorile precedente ale
concentraiei de biomas,la momente anterioare de timp x(t-1) i x(t-2).
Rezult c la intrarea reelei neurale se aplic 14 semnale de intrare, iar la ieire este
un singur semnal, concentraia de biomas x(t). n concluzie, pentru predicia biomasei x(t), s-
a folosit o reea neuronal cu 14 semnale de intrare (deci 14 noduri de intrare), 10 noduri n
stratul ascuns i un nod n stratul de ieire, pentru x(t). Pentru instruirea reelei s-a folosit
metoda propagrii inverse.







Configurare Analiz Comunicaii
Depanare Conducere
Memorare
date
Procesare Extragere
texturi
Reea
neural


De la
camera video
SCP

Fig.6.9
CP
10








n aceast aplicaie s-a folosit o reea neural cu peste 800 de noduri n stratul de
intrare (care de exemplu reprezint 32 de grupri S), 20 de neuroni de ieire pentru
identificarea a 20 tipuri de obiecte de pe band i o ieire pentru obiecte necunoscute.
Blocul de evaluare a rezultatelor este bazat pe un sistem expert n care se folosesc
informaii curente introduse de ctre operatorul uman, privind unele caracteristici ale
deeurilor analizate. n practic se observ c n timp ce crete numrul de tipuri de obiecte
care trebuie sortate, din care motiv rmn cca. 15% obiecte neidentificate, eroarea de
identificare este de cca.1%.
Reprezentarea numeric a imaginilor necesit vehicularea unui volum mare de date
prin canale de comunicaie cu band limitat i memorarea unui volum mare de date. Din
acest motiv a aprut ideea de a memora date comprimate pentru imagini, adic date mai puin
corelate ntre ele. Comprimarea datelor este posibil deoarece imaginile naturale conin date
redundante ntre elemente (pixeli) ai imaginii. Transformarea codificat a imaginii reprezint
o imagine obinut prin coeficieni de transformare.
O metoda convenional de clasificare a subimaginilor const n sortarea dup energia
AC a acestora. Indicele de energie AC reprezint o msur a activitii unei subimagini i este
definit prin relaia:

11
energia AC = - energia DC + ( )

=
1
0
1
0
2
,
M
u
M
v
v u x

unde x(u,v) este imaginea bidimensional de dimensiune finit. Indicele DC definete nivelul
de intensitate al fondului, iar indicele AC reprezint energia total din care se scade energia
DC. Rezult c subimaginile cu un fond uniform au un indice AC redus, iar subimaginile cu
detalii numeroase au o valoare mare a indicelui AC. Printr-o metod convenional de
clasificare, o imagine este sortat i clasificat dup valoarea indicelui AC, obinndu-se
subimagini, care n continuare sunt prelucrate dup acelai criteriu.
UTILIZAREA REELELOR NEURALE PENTRU MODELAREA PROCESELOR
NELINIARE, CU APLICAIE LA REACTOARE DE TRATARE A REZIDUURILOR
n reactoarele pentru tratarea reziduurilor se obine un anumit pH la ieire prin
adugarea de acid sau de baze n funcie de compoziia iniial a reziduurilor. Pentru
optimizarea procesului din reactor este necesar obinerea modelului matematic al acestuia, de
exemplu pentru reducerea consumului de energie. n domeniul identificrii i al conducerii
adaptive a proceselor, reelele RBF au o utilizare mai extins deoarece acestea pot fi utilizate
mpreun cu alte tipuri de reele neurale i cu sisteme cu logic fuzzy.
n exemplul prezentat n continuare se utilizeaz reele neurale de tip RBF pentru
modelarea unui proces neliniar, deci pentru aproximarea unei funcii neliniare. ns deoarece
la reelele tip RBF alegerea centrelor este o problem dificil, pentru rezolvarea acesteia se
folosesc reele Kohonen cu autoorganizare. Pentru m - intrri i o ieire, funcia neliniar se
definete prin:

f(x) =
0
+ ( )

=

m
i
i i c x
1
|

12
unde u este o funcie neliniar, ||.|| este norma euclidian,
i
sunt ponderi, ie{1,m}, iar c
i
sunt
centrele reelei RBF. Deci, este necesar o reea cu un nod de ieire care realizeaz o nsumare
a semnalelor de la stratul ascuns care implementeaz funciile neliniare. Funciile neliniare pot
fi de diferite tipuri i alegerea acestora nu este crucial n gsirea unui model, ns un rol
hotrtor l are alegerea centrelor. La nceputul utilizrii reelelor RBF, ca centre s-au folosit
date de intrare, care ns nu dau rezultate satisfctoare n asigurarea convergenei. Alte
metode pentru alegerea centrelor sunt: algoritmul celor mai mici ptrate ortogonale i
algoritmul gruprii mediilor k standard. Recent s-a propus utilizarea reelelor Kohonen cu
autoorganizare pentru obinerea centrelor, ceea ce se justific prin faptul c centrele trebuie s
fie corespunztore datelor de intrare.
Funcia neliniar u se alege de tip gausian, parametrii creia se aleg dup criterii
statistice, deoarece au o mare importan n precizia de aproximare a funciei neliniare.
Schema bloc de interconectare a celor dou reele neurale este prezentat n fig. 6.9. n figura
6.10 se prezint un exemplu de funcie neliniar, ntre concentraia C ntr-un reactor i debitul
F de neutralizant.



Figura 6.9

13


Fig 6.10

Alegerea numrului de centre se face experimental prin efectuarea de simulri pentru
mai multe variante utiliznd pachete de programe, n final rezultnd un numr optim de centre
pentru fiecare aplicaie. n multe aplicaii numrul de centre este de cca. 10-15.

6.6. UTILIZAREA REELELOR NEURALE N PLANIFICAREA I
CONDUCEREA PROCESELOR SECVENIALE
Un exemplu de proces secvenial este problema vizitrii a n puncte de lucru,
cunoscndu-se distanele ntre acestea. Fiecare punct de lucru (staii de epurare) este conectat
cu oricare punct. Problema const n vizitarea fiecrui punct de lucru o singur dat, astfel
nct lungimea traseului s fie minim. Pentru rezolvarea acestei probleme se folosete o hart
de n*n neuroni, care formeaz o reea Hopfield. Liniile reprezint locurile care trebuie
vizitate, iar coloanele ordinea n care fiecare loc este vizitat pe un traseu, fig. 6.11. Ponderile
reprezint distanele, iar sumele reprezint scopul optimizrii. Pentru a verifica consistena
soluiilor este necesar utilizarea unui algoritm de verificare a consistenei.



1 2 3 4 5
14
a
-

b
-

c
-

d
-

e
-

Fig.6.11

Reelele neurale ofer mai multe soluii de rezolvare a problemelor complexe de
automatiyare, dar au dezavantajul principal c nu ofer o soluie unic, fiind necesare mai
multe ncercri experimentale.