Sunteți pe pagina 1din 10

PROCESAREA SEMNALELOR N REELE

NEURONALE LINIARE
Nicoleta Liviana Tudor
Departamentul Tehnologia Informaiei, Matematic, Fizic
Universitatea Petrol-Gaze din Ploieti, Romnia
ltudor@upg-ploiesti.ro
Rezumat: Articolul trateaz problema procesrii semnalelor n reele neuronale cu uniti de calcul liniare i include
o analiz a metodelor de reprezentare a funciilor booleene.
ADALINE (Adaptive Linear Neuron or later Adaptive Linear Element) reprezint un tmodel de reea neuronal
liniar cu un strat de neuroni, dezvoltat de Bernard Widrow i Ted Hoff la Universitatea Stanford, n 1960. Modelul
folosete neuroni McCullochPitts i include ponderi, valori pentru polarizare i funcie de calcul al sumei ponderate
a intrrilor. Diferena dintre Adaline i perceptronul standard, al lui McCulloch-Pitts const n modul de realizare a
nvrii, n care ponderile sunt ajustate conform sumei ponderate a intrrilor. Exist, de asemenea, o extensie a
reelelor neuronale liniare, i anume reeaua Madaline.
n timpul antrenrii, parametrii pondere i polarizare ai unei reele neuronale sunt actualizai ntr-un proces continuu
de simulare a mediului n care reeaua este generat.
O unitate de calcul generic conine dou pri: o funcie de procesare care reduce argumentele la o singur valoare i
ieirea unitii dat de funcia de activare, avnd un singur argument de intrare.
Cuvinte cheie: procesarea semnalelor, reea neuronal, uniti liniare, reprezentarea funciilor booleene.
Abstract: This paper addresses the problem of signal processing in neural network with linear units and includes an
analysis of the representation of Boolean functions.
ADALINE (Adaptive Linear Neuron or later Adaptive Linear Element) is a single layer neural network. It was
developed by Bernard Widrow and Ted Hoff at Stanford University in 1960. It is based on the McCullochPitts
neuron and consists of a weight, a bias and a summation function. The difference between Adaline and the standard
perceptron (McCulloch-Pitts) is that in the learning phase the weights are adjusted according to the weighted sum of
the inputs. There also exists an extension of linear neural network known as Madaline.
Learning is a process when free parameters (weights and bias levels) of a neural network are adapted and adjusted
through a continuing process of stimulation by the environment in which the network is embedded.
Generic computing units are split into two functional parts: an integration function reduces the arguments to a single
value and the output or activation function produces the output of this node taking that single value as its argument.
Keywords: signal processing, neural network, linear units, representation of Boolean functions.

1. Introducere
Reelele neuronale liniare sunt asemntoare cu reelele de perceptroni, diferena fiind dat
de funcia de activare, care este liniar. Acest fapt permite ca ieirile unei reele liniare s poat
lua orice valoare, n timp ce ieirea unui perceptron este limitat la dou valori: 0 sau 1 [1].
Principalele diferene ntre reelele liniare i perceptroni constau n modul de interpretare a
ieirii reelei i n algoritmul de nvare. Perceptronii pot rezolva probleme de decizie (de
exemplu probleme de clasificare), iar reelele liniare sunt destinate n special rezolvrii
problemelor de aproximare [2].
O funcie f : R R: este liniar dac:
x = a * x1 + b * x2 f ( x ) = a * f ( x1) + b * f ( x2 ), pentru orice x, x1, x2.
Reelele neuronale liniare pot rezolva numai probleme liniar separabile.
n categoria reelelor uninivel, cu funcii de transfer liniare, se ncadreaz reelele
ADALINE (ADAptive LINear Element), respectiv MADALINE (Multiple ADAptive LINear
Element), introduse de Widrow i Hoff. Astfel de reele pot fi utilizate pentru rezolvarea
problemelor de algebr boolean, pentru reprezentarea funciilor liniare continue, principalele
aplicaii fiind regresia liniar i filtrarea liniar a semnalelor, etc.
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

13

Reelele liniare cu un singur nivel au aplicabilitate limitat deoarece [3]:


- pot rezolva doar probleme simple de clasificare (probleme liniar separabile);
- pot aproxima doar dependene simple.
Aceste limitri, ale reelelor liniare, pot fi depite prin includerea nivelelor ascunse, care
trebuie s aib funcii neliniare de transfer.
Funciile de activare liniare sunt utile la implementarea reelelor cu un strat i, n special, la
implementarea reelelor feed-forward, pentru procesarea semnalelor de activare ale ultimului strat.
n reele liniare, se folosete regula de nvare LMS (Least Mean Squares), care este mai
puternic dect regula de nvare a perceptronului. Regula Widrow-Hoff se poate aplica numai
reelelor liniare cu un singur strat, fiind o metod de optimizare local.
Modelul reelelor neuronale artificiale presupune existena a dou procese importante:
1. formarea unui semnal de activare a reelei, prin procesarea valorilor semnalelor de intrare;
2. transformarea semnalului de activare ntr-un semnal de ieire, folosind funcii de transfer
liniare.
S considerm c pentru o unitate singular, semnalele de intrare i ponderile sunt
reprezentate prin vectorul coloan i de dimensiune d , respectiv vectorul ponderilor notat w .
Procesarea semnalelor ntr-o reea neuronal cu o unitate singular este ilustrat n figura 1.
i
1
i2

i = .
.

i
d

w
1
w2

= .
.

w
d

i1

w1

semnale
de
intrare

procesare

id

wd

funcie de
transfer

semnale
de
ieire

polarizare

Figura 1. Procesarea semnalelor pentru o unitate singular

2. Procesarea semnalelor de intrare


Activarea unei reele neuronale ( n ), cu o unitate singular, se poate realiza astfel [2]:
-

folosind suma ponderat a intrrilor (i a polarizrii b )

w 1 * i1 + w 2 * i2
d

14

w
j =1

ij

+...+

wT * i

w d * id + b
+

(1)

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

o funcie aditiv fr ponderi (suma intrrilor)


d

n = ij + b = i + b

j =1
-

(2)

o funcie multiplicativ
n = ij b

(3)

j = 1, d

o funcie relaional n = max{i j b}, j = 1,..., = max{i j b}, j = 1,...d

o funcie j polinomial, etc.

2.1 Uniti McCulloch-Pitts


Un tip particular de uniti elementare este reprezentat de modelul unitilor McCulloch-Pitts
(M-P), propus n 1943. n conformitate cu modelul M-P, intrrile neuronilor pot fi [4]:
- inhibitoare;
- excitatoare.

Procesarea semnalelor de intrare pentru modelul M-P al unui neuron artificial, este
reprezentat n figura 2.

Intrri
excitatoare

procesare

activare

funcie de
transfer

semnale
de
ieire

inhibitoare
Figura 2. Modelul M-P pentru o unitate elementar

Se poate utiliza o unitate M-P pentru realizarea unor funcii logice (cu ieiri 0 i 1).
Parametrii modelului M-P pot fi considerai [4]:
- valoarea de prag (notat Prag);
- suma intrrilor excitatoare activate (notat Iex);
- suma intrrilor inhibitoare activate (notat Iin).

Neuronul se activeaz (se aprinde) cnd ieirea = 1 sau poate s nu se activeze, cnd ieirea
= 0. Ieirile unei uniti M-P se pot determina astfel (Tabelul 1):
Tabelul 1
Iex
Iex
Iex
Iex

Iex
Prag
Prag
< Prag
< Prag

Iin
Iin = 0
Iin > 0
Iin = 0
Iin > 0

Ieire
1 aprindere ( activare)
0 neactivare
0 neactivare
0 neactivare

n concluzie, neuronul se aprinde numai dac suma intrrilor excitatoare activate este
valoarea Prag i nu exist intrri inhibitoare activate.
Exemplu: Reprezentarea funciilor logice AND i OR, cu ajutorul modelului M-P (figura 3a
i figura 3b).
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

15

AND
i1

i1
1
1
0
0

i1 AND i2

Prag = 2

i2
Toate Iin = 0

i2
1
0
0
1

Iex
Iex = Prag = 2
Iex = 1 < 2
Iex = 0 < 2
Iex = 1 < 2

Ieire
1
0
0
0

Figura 3a. Realizarea funciei AND folosind modelul M-P

OR
i1

i1
1
1
0
0

i1 OR i2

Prag = 1

i2
Toate Iin = 0

i2
1
0
0
1

Iex
Iex = Prag = 1
Iex = 1
Iex = 0 < 1
Iex = 1

Ieire
1
1
0
1

Figura 3b. Realizarea funciei OR folosind modelul M-P

O alt variant a modelului M-P modificat [4], n care rolul intrrilor inhibitoare este
diminuat, funcioneaz astfel (Tabelul 2):
Tabelul 2
Intrri
Iex - Iin Prag
Iex Iin < Prag

Ieire
1 aprindere ( activare)
0 neactivare

Un exemplu de neuron care realizeaz o sum ponderat a intrrilor, urmat de o detecie de


prag neliniar este WLIC-T (Weighted Linear Input Combination with Threshold = combinaie
liniar a intrrilor ponderate cu prag: Figura 4).

i1

w1

.
.
id

procesare
wd

polarizare

a=0
sau
a=1
Prag

Figura 4. Unitate WLIC-T

Caracteristicile unei uniti WLIC-T sunt urmtoarele [10]:


- realizeaz o combinaie liniar a intrrilor ponderate;
- realizeaz o detecie de prag;
- ieirea se formeaz printr-un proces neliniar;
- funcionarea unui astfel de neuron se exprim astfel:
16

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

n = w ji j + b Prag ieirea a = 1

(4)

j =1
d

n = w ji j + b < Prag ieirea a = 0

(5)

j =1

3. Funcii de activare
Funciile de activare (transfer) transform semnalul de activare a reelei n semnal de ieire.
n funcie de caracteristicile dorite ale semnalelor de ieire, se pot folosi anumite tipuri de
funcii de activare [1].
Funciile squash sunt funcii periodice (precum sin i cos), care se formeaz prin adugarea
sau multiplicarea valorii funciei sau variabilei cu o constant i pot restrnge valorile
semnalelor de ieire la anumite intervale sau mulimi.
Funcia sigmoid (logistica) i-a mprumutat denumirea de la litera greceasca sigma:
- se folosete n diverse domenii precum reele neuronale artificiale, biologie, calcul
probabilistic;
- este util, ca funcie de distribuie cumulativ, n studiile demografice;
- este folosit n modelarea funciilor de cretere [7].
f : R (0,1) , f ( n ) =

unde

1
1+ e

n ,

(6)

este activarea reelei neuronale, iar ieirea reelei este f ( n ) .

O generalizare a funciei sigmoid este funcia:


1

f : R R, f ( n ) =

1+ a * e

(7)

b * n

unde parametrul b = ctigul (se multiplic derivata funciei f cu b ).


Derivata funciei f este:

f ' (n) = f (n) =


n

b
1+ a * e

b* n
b* n
+b b
a *b*e
= a *b * e
=
2
b*n
b*n 2
(1 + a *e
)
(1+ a * e
)

b*n

b
b*n 2
(1 + a *e
)

= b* f (n) - b* f 2 ( n) =

= b* f (n) ( 1 - f (n) )

(8)

Dac ieirea reelei este f ( n ) , atunci ea poate fi exprimat n funcie de derivata funciei
sigmoid, n relaia urmtoare:
f (n) =
n

b * f ( n ) *(1 - f ( n ) )

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

(9)

17

Studiul funciilor de activare folosite n reele neuronale vizeaz determinarea aproximativ


a domeniului de valori ale ieirilor reelei, n cazul de fa, determinarea valorilor derivatei
funciei sigmoid generalizate.

4. Reele liniare
Reeaua liniar cu un singur neuron folosete o funcie de activare liniar
folosete funcia purelin, n mod implicit).

Intrrile sunt reprezentate prin vectorul coloan

( w j ) j = 1, d

(n Matlab se

( i j ) j =1, d , iar vectorul ponderilor este

(figura 5).

i1

procesare

w1

.
.
id

a
f

wd

1 Polarizarea b
Figura 5. Reea liniar cu un neuron

Activarea neuronului este

w i
j =1

j j

= wT

+ b , iar ieirea este dat de relaia

a = f (n) = f ( wT i + b)

(10)

4.1 Generalizare
Fie o reea liniar cu un strat cu S neuroni i d intrri (figura 6). Atunci vectorul de activare
al stratului respectiv se poate determina conform relaiei:
d

nk =

w
j =1

i + bk , k = 1 ,..., S

k j j

n =W i +b

(11)
(12)

unde n = ( nk ) k = 1, S , W = ( wk j ) k = 1, S , j =1, d , i = ( i j ) j = 1, d , b = ( bk ) k =1, S .

18

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

a1

n1

w1, 1

i1
wS, 1
.
.
.

1
.
.

w1, d

b1

.
.
nS

id

aS
f

wS, d
1

bS

Figura 6. Reea liniar cu d intrri i S neuroni

Vectorul semnalelor de ieire este a :


a = f ( n ) = f (W i + b ) , unde a = ( ak ) k =1, S .

(13)

4.2 Dreapta de decizie


Reelele liniare au o regiune de decizie care este determinat de vectorii de intrare, pentru
care activarea n este zero.
Pentru o reea liniar cu un singur neuron, ecuaia

wT i

= 0 indic dreapta de decizie,

unde i = ( i j ) j = 1, d , w = ( w j ) j =1, d .
Pentru

d =2, aceast ecuaie reprezint o dreapt:

w 1 * i1 + w 2 * i2 + b = 0

(14)

Pentru d = 3, ecuaia w i + b = 0 reprezint un plan, iar pentru mai multe intrri, ecuaia
reprezint un hiperplan.
Pentru cazul d =2, dreapta de decizie w 1 * i1 + w 2 * i2 + b = 0 delimiteaz cele dou regiuni
de clasificare, corespunztoare semiplanelor pozitive ( a > 0) i negative ( a < 0) (figura 7).

i2
T

w i+b=0

a>0
T

-b/w2
a<0

i1
0

-b/w1

Figura 7. Drepta de decizie pentru o reea liniar cu 2 intrri

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

19

Dreapta de decizie intersecteaz axa orizontal (O i1 ) n punctul de coordonate (- b / w 1 , 0):


i2 = 0 w 1 * i1 + b = 0 i1 = - b / w 1
Intersecia dreptei de decizie cu axa vertical (O i2 ) este dat de punctul de coordonate
(0, - b / w 2 ): i1 = 0 w2 * i2 + b = 0 i2 = - b / w 2

4.3 Eroarea ptratic medie


Fie o reea liniar cu un strat cu S neuroni i d intrri.
Ca i regula de nvare a perceptronului, algoritmul LMS (least mean square) este un
exemplu de antrenare supervizat [6], n care exist un set de antrenare reprezentat de m perechi
de intrri cunoscute i ieiri dorite (ieiri target):
( i1 , t1 ), ( i2 , t2 ), . . . , ( im , tm ),
S
unde i j ( j = 1,..., m) Rd , iar t j ( j = 1,..., m) R

Pentru fiecare intrare aplicat, se calculeaz ieirea reelei i se compar cu ieirea int
(dorit). Eroarea se calculeaz ca o diferen ntre ieirea int i ieirea curent. De exemplu,
eroarea la pasul j (j = 1,...,m) reprezint o msur a distanei dintre ieirea produs de reea a j i
ieirea dorit t j :

ej = t j aj

(15)
Antrenarea reelei vizeaz minimizarea erorii medii ptratice pentru setul de antrenare
(media ptratelor diferenelor):
m
m
2
mse = 1 e = 1 ( t i ai ) 2 ,
(16)
m i =1
m i =1 i
d

S
unde ai = f (ni ) = f ( wij p j + bi ), i = 1,..., S , t j , a j ( j = 1,..., m) R
j =1

n Matlab, funcia de performan a erorii este mse (mean squared error).


Algoritmul LMS (least mean square) de antrenare a unei reele liniare ajusteaz ponderile i
pragurile (polarizrile) pentru a minimiza aceast eroare medie. Scopul antrenrii este de a
minimiza numrul de puncte care nu sunt clasificate corect.

5. Probleme de algebr boolean


Reelele liniare pot rezolva probleme liniar separabile, precum reprezentarea funciilor
booleene.
n Matlab, antrenarea unei reele liniare poate utiliza funciile adapt sau train (trains sau
trainb), ambele actualiznd ponderile i polarizrile conform regulii de nvare Widrow-Hoff
(learnwh) [5].
Exemplu. Se poate proiecta o reea neuronal liniar pentru realizarea funciei logice NAND
(AND Negat), iar pentru antrenare se poate folosi algoritmul de antrenare Widrow-Hoff.

Funcia logic NAND se folosete n diverse aplicaii:


- n circuitele electronice, ca semnale logice de intrare. Se produc semnale de ieire conform
regulilor funciilor logice AND/NOT i OR/NOT;
20

n logica matematic (NAND este cunoscut sub denumirea de funcie Sheffer).


Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

Funcia NAND cu dou intrri a i b se poate reprezenta (tabelul 3):

a
1
1
0
0

b
1
0
1
0

Tabelul 3. Funcia NAND


a AND b
a NAND b = NOT (a AND b)
1
0
0
1
0
1
0
1

Algoritmul de antrenare Widrow-Hoff determin [8]:


- valorile modificate ale ponderii (derivata ponderii dW) pentru un neuron, o intrare (p) i o
eroare (e)
>>dw = lr * e * p' % p' este transpusa lui p
- valorile actualizate ale polarizrii (derivata biasului db) pentru o anumit rat de nvare
(parametrul lr), conform regulii de nvare:
>>db = lr * e
Funcia de performan a reelei liniare este mse (mean squared error):
>>t; % ieirea int
>>a = sim(net, p); % ieirea determinat de reea
>>e = t - a
>>perf = mse(e)
Algoritmul LMS (Least Mean Squares) - algoritmul Widrow-Hoff se bazeaz pe minimizarea
erorii medii ptratice. Pentru o reea liniar cu un set de antrenare avnd m perechi (intrri i
ieiri dorite), antrenarea reelei cu algoritmul LMS converge la soluia final, dup parcurgerea
pailor (epocilor):
- pentru fiecare vector de intrare pi (i = 1, ,m) se actualizeaz ponderile i pragurile;
- se calculeaz ieirile ai produse de reea i se compar cu ieirile Targets t i ;
- se calculeaz eroarea instantanee [9]:
(17)
ei = t i - ai , unde i = 1, , m
- se folosete regula Widrow-Hoff pentru a calcula variaia ponderilor;
- se calculeaz eroarea ptratic medie pentru valorile

e1 , , em ;

- dac eroarea (parametrul goal) este atins (goal = met) sau numrul maxim de epoci a fost
realizat, antrenarea se oprete;
- altfel, antrenarea trece la urmtoarea epoc .

Observaie: Dac se atinge scopul propus (parametrul goal), atunci reeaua este convergent
i produce ieirile dorite pentru toi vectorii de intrare.

6. Concluzii
Acest articol prezint modul de procesare a semnalelor ntr-o reea neuronal liniar i un
studiu de caz pentru rezolvarea problemelor de algebr boolean.
Este prezentat modelul unitilor McCulloch-Pitts, conform cruia intrrile neuronilor pot fi
inhibitoare i excitatoare. Procesarea semnalelor n reele neuronale liniare presupune existena
a dou procese importante: formarea unui semnal de activare a reelei i transformarea
Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011

21

semnalului de activare ntr-un semnal de ieire, folosind funcii de transfer liniare.


Studiul de caz prezint modul de reprezentare a funciilor booleene folosind reele neuronale
liniare i antrenate cu regula de nvare Widrow-Hoff.

BIBLIOGRAFIE
1. ANDERSON, JAMES: Neural models with cognitive implications. In LaBerge &
Samuels, Basic Processes in Reading Perception and Comprehension Models. Hillsdale.
Erlbaum, 1977, pp. 27-90.
2. DUMITRESCU, HARITON COSTIN: Reele neuronale. Teorie i aplicaii. Editura
Teora, Bucureti, 1996, 460 p.
3. KRSE, BEN; PATRICK VAN DER SMAGT: An introduction to Neural Networks.
University of Amsterdam. Netherlands, 1996, 135 p.
4. MOISE, ADRIAN: Reele neuronale pentru recunoaterea formelor. Editura MATRIX
ROM, Bucureti, 2005, 309 p.
5. MATLAB Online Help, version 7.1. 2005
6. ROJAS, RAL: Neural Networks A Systematic Introduction. Springer-Verlag, Berlin, 1996.
7. SCHALKOFF, ROBERT: Pattern Recognition Statistical. Structural and Neural
Approaches. John Wiley & Sons, New York, 1992.
8. WIDROW; STERNS: Adaptive Signal Processing. New York, Prentice-Hall, 1985.
9. WIDROW; WINTER: Neural Nets for Adaptive Filtering and Adaptive Pattern
Recognition. Computer 21, 1988, pp. 25-39.
10. YU HEN HU; JENQ-NENG HWANG: Handbook of Neural Network Signal Processing.
Electrical Engineering & Applied Signal Processing Series. CRC Press. 2001, 408 p.

22

Revista Romn de Informatic i Automatic, vol. 21, nr. 3, 2011