CURS 2

PERCEPTRONUL
Perceptronul
Filtrul liniar
Arhitectura perceptronului
Este construit n jurul unui neuron nelinear
(cu funcia de activare nelinear- funcia
treapt / signum).
Hiperplanul de decizie:
a)- linear separabile, b) neseparabile
linear
Este util n clasificarea de pattern-uri liniar
separabile (separabile printr-o dreapt/ un
hiperplan), deci n probleme de clasificare cu 2
clase);
Un singur perceptron poate reprezenta funciile
booleene AND, OR, NAND, NOR- (important,
pentru c orice funcie boolean se poate
reprezenta ca o combinaie a acestora);
Pentru XOR (figura b de mai sus) e nevoie de
mai muli perceptroni.
Algoritmul de antrenare al
perceptronului
Scop: determinarea vectorului w.
1.Dac exemplul x(t) este clasificat corect de w(t), w(t)
rmne nemodificat.
2.Altfel:
w(t+1)=w(t)-(t)*x(t), dac w
T
(t)x(t)>0 i x(t) C
2
;
w(t+1)=w(t)+(t)*x(t), dac w
T
(t)x(t)0 i x(t) C
1
.
((t) este parametrul de nvare (>0)- controleaz procesul
de nvare).
Teorema de convergen a
perceptronului
Dac mulimile de vectori de antrenare H
1
i
H
2
(pentru C
1
, respectiv C
2
) sunt linear
separabile, perceptronul converge dup n
0
iteratii (n
0
n
max
determinat de parametri
dependeni de H
1
, H
2
):
w(n
0
)= w(n
0
+1)=...
(pentru o rat de nvare suficient de mic)
Operatorul logic AND
AND, OR, NOT: se pot modela cu un
perceptron.
Limitri
Dac exemplele nu sunt linear separabile,
este posibil ca perceptronul s nu
convearg.
O soluie a acestei probleme este dat de
regula Delta: aceasta converge ctre o
aproximaie optim a vectorului de ponderi
int chiar dac exemplele de antrenare nu
sunt linear separabile.
Regula Delta
Folosete gradient descendent pentru o
cutare n spaiul vectorilor pondere
posibili (pentru a gsi ponderile ce se
potrivesc cel mai bine cu exemplele de
antrenare);
Util pentru spaii de ipoteze cu parametri
continui;
Este baza pentru algoritmul
Backpropagation (perceptronul multistrat).
Ieirea unui perceptron fr aplicarea
pragului:
O msur a erorii de antrenare a unei
ipoteze w, relativ la exemplele de
antrenare:
(D este mulimea de exemple de antrenare)

=
D d
d d
o t w E
2
) (
2
1
) (

= x w x o * ) (
Regula Bayes:
w care minimizeaz E precedent este i
cea mai probabil ipotez fiind dat setul de
date de antrenare
Eroarea n funcie de w
Cutarea unui minim global pe
suprafaa E
Gradientul E n raport cu w:
Direcia celei mai abrupte coborri:

x
x
x
x
x
x
= \

n
w
E
w
E
w
E
w E ,..., , ) (
1 0
) (

\ w E
Dup efectuarea calculelor se obine:

A + w w w
) (

\ = A w E w g
i
i
w
E
w
x
x
= A g

= A
D d
id d d i
x o t w * ) ( g
Algoritm (Regula Delta- gradient
descendent)
Iniializeaz aleator w
i
;
Calculeaz ieirea pentru toate exemplele;
Calculeaz .
Modific w
i
.
i
w A
Poate s piard minimul global, s se
blocheze ntr-un minim local.
Alternativa: gradient descendent stocastic;
acesta modific ponderile dup fiecare
exemplu de antrenare.
Remarci
Att regula Delta ct i regula de antrenare a
perceptronului pot fi folosite la nvarea
ponderilor unui perceptron, DAR:
Regula Delta actualizeaz w pe baza erorii
calculat pentru combinaia linear a intrrilor
FR aplicarea PRAGULUI;
Regula de nvare a perceptronului
actualizeaz ponderile pe baza erorii calculate
pentru ieirea trecut prin funcia treapt (deci
DUP aplicarea PRAGULUI).
Proprieti de convergen
Regula de nvare a perceptronului
converge ntr-un numr finit de iteraii spre
ipoteza w care clasific perfect datele de
antrenare, dac acestea sunt linear
separabile;
Regula Delta converge asimptotic spre
ipoteza de eroare minim (posibil n timp
infinit), indiferent de linear separabilitatea
datelor.
Filtrul liniar
Este similar perceptronului, dar funcia de
transfer este linear (nu mai folosim
funcia treapt), deci ieirea poate fi orice
valoare (nu doar 0/1 ca la perceptron).
La fel ca perceptronul, poate rezolva doar
probleme de clasificare cu clase linear
separabile.
Antrenare
Cu regula Delta. (Ieirea este o combinaie
linear de intrri i w, deci eroarea este
dependent de w, deci putem folosi
gradient descendent n spaiul vectorilor
de ponderi.)