Documente Academic
Documente Profesional
Documente Cultură
NEURONALE LINIARE
Nicoleta Liviana Tudor
Departamentul Tehnologia Informaiei, Matematic, Fizic
Universitatea Petrol-Gaze din Ploieti, Romnia
ltudor@upg-ploiesti.ro
Rezumat: Articolul trateaz problema procesrii semnalelor n reele neuronale cu uniti de calcul liniare i include
o analiz a metodelor de reprezentare a funciilor booleene.
ADALINE (Adaptive Linear Neuron or later Adaptive Linear Element) reprezint un tmodel de reea neuronal
liniar cu un strat de neuroni, dezvoltat de Bernard Widrow i Ted Hoff la Universitatea Stanford, n 1960. Modelul
folosete neuroni McCullochPitts i include ponderi, valori pentru polarizare i funcie de calcul al sumei ponderate
a intrrilor. Diferena dintre Adaline i perceptronul standard, al lui McCulloch-Pitts const n modul de realizare a
nvrii, n care ponderile sunt ajustate conform sumei ponderate a intrrilor. Exist, de asemenea, o extensie a
reelelor neuronale liniare, i anume reeaua Madaline.
n timpul antrenrii, parametrii pondere i polarizare ai unei reele neuronale sunt actualizai ntr-un proces continuu
de simulare a mediului n care reeaua este generat.
O unitate de calcul generic conine dou pri: o funcie de procesare care reduce argumentele la o singur valoare i
ieirea unitii dat de funcia de activare, avnd un singur argument de intrare.
Cuvinte cheie: procesarea semnalelor, reea neuronal, uniti liniare, reprezentarea funciilor booleene.
Abstract: This paper addresses the problem of signal processing in neural network with linear units and includes an
analysis of the representation of Boolean functions.
ADALINE (Adaptive Linear Neuron or later Adaptive Linear Element) is a single layer neural network. It was
developed by Bernard Widrow and Ted Hoff at Stanford University in 1960. It is based on the McCullochPitts
neuron and consists of a weight, a bias and a summation function. The difference between Adaline and the standard
perceptron (McCulloch-Pitts) is that in the learning phase the weights are adjusted according to the weighted sum of
the inputs. There also exists an extension of linear neural network known as Madaline.
Learning is a process when free parameters (weights and bias levels) of a neural network are adapted and adjusted
through a continuing process of stimulation by the environment in which the network is embedded.
Generic computing units are split into two functional parts: an integration function reduces the arguments to a single
value and the output or activation function produces the output of this node taking that single value as its argument.
Keywords: signal processing, neural network, linear units, representation of Boolean functions.
1. Introducere
Reelele neuronale liniare sunt asemntoare cu reelele de perceptroni, diferena fiind dat
de funcia de activare, care este liniar. Acest fapt permite ca ieirile unei reele liniare s poat
lua orice valoare, n timp ce ieirea unui perceptron este limitat la dou valori: 0 sau 1 [1].
Principalele diferene ntre reelele liniare i perceptroni constau n modul de interpretare a
ieirii reelei i n algoritmul de nvare. Perceptronii pot rezolva probleme de decizie (de
exemplu probleme de clasificare), iar reelele liniare sunt destinate n special rezolvrii
problemelor de aproximare [2].
O funcie f : R R: este liniar dac:
x = a * x1 + b * x2 f ( x ) = a * f ( x1) + b * f ( x2 ), pentru orice x, x1, x2.
Reelele neuronale liniare pot rezolva numai probleme liniar separabile.
n categoria reelelor uninivel, cu funcii de transfer liniare, se ncadreaz reelele
ADALINE (ADAptive LINear Element), respectiv MADALINE (Multiple ADAptive LINear
Element), introduse de Widrow i Hoff. Astfel de reele pot fi utilizate pentru rezolvarea
problemelor de algebr boolean, pentru reprezentarea funciilor liniare continue, principalele
aplicaii fiind regresia liniar i filtrarea liniar a semnalelor, etc.
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011
13
i = .
.
i
d
w
1
w2
= .
.
w
d
i1
w1
semnale
de
intrare
procesare
id
wd
funcie de
transfer
semnale
de
ieire
polarizare
w 1 * i1 + w 2 * i2
d
14
w
j =1
ij
+...+
wT * i
w d * id + b
+
(1)
n = ij + b = i + b
j =1
-
(2)
o funcie multiplicativ
n = ij b
(3)
j = 1, d
Procesarea semnalelor de intrare pentru modelul M-P al unui neuron artificial, este
reprezentat n figura 2.
Intrri
excitatoare
procesare
activare
funcie de
transfer
semnale
de
ieire
inhibitoare
Figura 2. Modelul M-P pentru o unitate elementar
Se poate utiliza o unitate M-P pentru realizarea unor funcii logice (cu ieiri 0 i 1).
Parametrii modelului M-P pot fi considerai [4]:
- valoarea de prag (notat Prag);
- suma intrrilor excitatoare activate (notat Iex);
- suma intrrilor inhibitoare activate (notat Iin).
Neuronul se activeaz (se aprinde) cnd ieirea = 1 sau poate s nu se activeze, cnd ieirea
= 0. Ieirile unei uniti M-P se pot determina astfel (Tabelul 1):
Tabelul 1
Iex
Iex
Iex
Iex
Iex
Prag
Prag
< Prag
< Prag
Iin
Iin = 0
Iin > 0
Iin = 0
Iin > 0
Ieire
1 aprindere ( activare)
0 neactivare
0 neactivare
0 neactivare
n concluzie, neuronul se aprinde numai dac suma intrrilor excitatoare activate este
valoarea Prag i nu exist intrri inhibitoare activate.
Exemplu: Reprezentarea funciilor logice AND i OR, cu ajutorul modelului M-P (figura 3a
i figura 3b).
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011
15
AND
i1
i1
1
1
0
0
i1 AND i2
Prag = 2
i2
Toate Iin = 0
i2
1
0
0
1
Iex
Iex = Prag = 2
Iex = 1 < 2
Iex = 0 < 2
Iex = 1 < 2
Ieire
1
0
0
0
OR
i1
i1
1
1
0
0
i1 OR i2
Prag = 1
i2
Toate Iin = 0
i2
1
0
0
1
Iex
Iex = Prag = 1
Iex = 1
Iex = 0 < 1
Iex = 1
Ieire
1
1
0
1
O alt variant a modelului M-P modificat [4], n care rolul intrrilor inhibitoare este
diminuat, funcioneaz astfel (Tabelul 2):
Tabelul 2
Intrri
Iex - Iin Prag
Iex Iin < Prag
Ieire
1 aprindere ( activare)
0 neactivare
i1
w1
.
.
id
procesare
wd
polarizare
a=0
sau
a=1
Prag
n = w ji j + b Prag ieirea a = 1
(4)
j =1
d
(5)
j =1
3. Funcii de activare
Funciile de activare (transfer) transform semnalul de activare a reelei n semnal de ieire.
n funcie de caracteristicile dorite ale semnalelor de ieire, se pot folosi anumite tipuri de
funcii de activare [1].
Funciile squash sunt funcii periodice (precum sin i cos), care se formeaz prin adugarea
sau multiplicarea valorii funciei sau variabilei cu o constant i pot restrnge valorile
semnalelor de ieire la anumite intervale sau mulimi.
Funcia sigmoid (logistica) i-a mprumutat denumirea de la litera greceasca sigma:
- se folosete n diverse domenii precum reele neuronale artificiale, biologie, calcul
probabilistic;
- este util, ca funcie de distribuie cumulativ, n studiile demografice;
- este folosit n modelarea funciilor de cretere [7].
f : R (0,1) , f ( n ) =
unde
1
1+ e
n ,
(6)
f : R R, f ( n ) =
1+ a * e
(7)
b * n
b
1+ a * e
b* n
b* n
+b b
a *b*e
= a *b * e
=
2
b*n
b*n 2
(1 + a *e
)
(1+ a * e
)
b*n
b
b*n 2
(1 + a *e
)
= b* f (n) - b* f 2 ( n) =
= b* f (n) ( 1 - f (n) )
(8)
Dac ieirea reelei este f ( n ) , atunci ea poate fi exprimat n funcie de derivata funciei
sigmoid, n relaia urmtoare:
f (n) =
n
b * f ( n ) *(1 - f ( n ) )
(9)
17
4. Reele liniare
Reeaua liniar cu un singur neuron folosete o funcie de activare liniar
folosete funcia purelin, n mod implicit).
( w j ) j = 1, d
(n Matlab se
(figura 5).
i1
procesare
w1
.
.
id
a
f
wd
1 Polarizarea b
Figura 5. Reea liniar cu un neuron
w i
j =1
j j
= wT
a = f (n) = f ( wT i + b)
(10)
4.1 Generalizare
Fie o reea liniar cu un strat cu S neuroni i d intrri (figura 6). Atunci vectorul de activare
al stratului respectiv se poate determina conform relaiei:
d
nk =
w
j =1
i + bk , k = 1 ,..., S
k j j
n =W i +b
(11)
(12)
18
a1
n1
w1, 1
i1
wS, 1
.
.
.
1
.
.
w1, d
b1
.
.
nS
id
aS
f
wS, d
1
bS
(13)
wT i
unde i = ( i j ) j = 1, d , w = ( w j ) j =1, d .
Pentru
w 1 * i1 + w 2 * i2 + b = 0
(14)
Pentru d = 3, ecuaia w i + b = 0 reprezint un plan, iar pentru mai multe intrri, ecuaia
reprezint un hiperplan.
Pentru cazul d =2, dreapta de decizie w 1 * i1 + w 2 * i2 + b = 0 delimiteaz cele dou regiuni
de clasificare, corespunztoare semiplanelor pozitive ( a > 0) i negative ( a < 0) (figura 7).
i2
T
w i+b=0
a>0
T
-b/w2
a<0
i1
0
-b/w1
19
Pentru fiecare intrare aplicat, se calculeaz ieirea reelei i se compar cu ieirea int
(dorit). Eroarea se calculeaz ca o diferen ntre ieirea int i ieirea curent. De exemplu,
eroarea la pasul j (j = 1,...,m) reprezint o msur a distanei dintre ieirea produs de reea a j i
ieirea dorit t j :
ej = t j aj
(15)
Antrenarea reelei vizeaz minimizarea erorii medii ptratice pentru setul de antrenare
(media ptratelor diferenelor):
m
m
2
mse = 1 e = 1 ( t i ai ) 2 ,
(16)
m i =1
m i =1 i
d
S
unde ai = f (ni ) = f ( wij p j + bi ), i = 1,..., S , t j , a j ( j = 1,..., m) R
j =1
a
1
1
0
0
b
1
0
1
0
e1 , , em ;
- dac eroarea (parametrul goal) este atins (goal = met) sau numrul maxim de epoci a fost
realizat, antrenarea se oprete;
- altfel, antrenarea trece la urmtoarea epoc .
Observaie: Dac se atinge scopul propus (parametrul goal), atunci reeaua este convergent
i produce ieirile dorite pentru toi vectorii de intrare.
6. Concluzii
Acest articol prezint modul de procesare a semnalelor ntr-o reea neuronal liniar i un
studiu de caz pentru rezolvarea problemelor de algebr boolean.
Este prezentat modelul unitilor McCulloch-Pitts, conform cruia intrrile neuronilor pot fi
inhibitoare i excitatoare. Procesarea semnalelor n reele neuronale liniare presupune existena
a dou procese importante: formarea unui semnal de activare a reelei i transformarea
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011
21
BIBLIOGRAFIE
1. ANDERSON, JAMES: Neural models with cognitive implications. In LaBerge &
Samuels, Basic Processes in Reading Perception and Comprehension Models. Hillsdale.
Erlbaum, 1977, pp. 27-90.
2. DUMITRESCU, HARITON COSTIN: Reele neuronale. Teorie i aplicaii. Editura
Teora, Bucureti, 1996, 460 p.
3. KRSE, BEN; PATRICK VAN DER SMAGT: An introduction to Neural Networks.
University of Amsterdam. Netherlands, 1996, 135 p.
4. MOISE, ADRIAN: Reele neuronale pentru recunoaterea formelor. Editura MATRIX
ROM, Bucureti, 2005, 309 p.
5. MATLAB Online Help, version 7.1. 2005
6. ROJAS, RAL: Neural Networks A Systematic Introduction. Springer-Verlag, Berlin, 1996.
7. SCHALKOFF, ROBERT: Pattern Recognition Statistical. Structural and Neural
Approaches. John Wiley & Sons, New York, 1992.
8. WIDROW; STERNS: Adaptive Signal Processing. New York, Prentice-Hall, 1985.
9. WIDROW; WINTER: Neural Nets for Adaptive Filtering and Adaptive Pattern
Recognition. Computer 21, 1988, pp. 25-39.
10. YU HEN HU; JENQ-NENG HWANG: Handbook of Neural Network Signal Processing.
Electrical Engineering & Applied Signal Processing Series. CRC Press. 2001, 408 p.
22