Invatare automata

Universitatea Politehnica Bucuresti

Anul universitar 2016-2017

Adina Magda Florea

 Curs Nr. 4

Reele neurale
Reele neurale - introducere
Reele neurale artificiale
Reele neurale Hopfield

2
 1. Reele neurale - Introducere
(Artificial Neural Networks)
RN (ANN) - mulime de elemente de
prelucrare neliniar care opereaz n paralel
i care sunt legate ntre ele n structuri ce
seamn cu reelele neuronale biologice.
Model inspirat din reelele neuronale din
creierul uman.
Denumiri: reele neurale, modele conexioniste,
sisteme neuromorfice, modele de calcul
distribuit.

3
 1.1 Caracteristici
Sunt formate dintr-un numr mare de elemente de
prelucrare simple, identice; din punct de vedere
funcional aceste elemente sunt asemntoare
neuronilor din creierul uman
Elementele de prelucrare sunt conectate prin legturi;
fiecare legatura are asociat o pondere ce codific
cunotinele retelei neuronale
Controlul funcionrii este paralel i distribuit
Sunt capabile s nvee prin modificarea automat a
ponderilor; pot realiza deci achiziia automata a
cunotinelor.

4
 1.2 De ce ANN?
Capacitate de invatare din exemple
Auto-organizare: o RN poate sa-si creeze propria
organizare sau reprezentare a informatiei primita pe
parcursul invatarii
Operare in timp real: odata invatata functioneaza
repede i execut prelucrari in paralel
Grad mare de robustete si toleranta la defecte:
defectarea unui anumit numar de noduri sau legaturi nu
afecteaza, in general, comportarea si performanta
retelei.

5
 1.3 Scurt istoric
1943 - McCulloch, Pitts - model simplu (binary
devices with fixed thresholds)
1960 - Rosenblatt
- perceptron - (feed-forward ANN)
- enunta si demonstreaza teorema de
convergenta a perceptronului
1960 - Widrow, Hoff - ADALINE (ADAptive LInear
Element)- dispozitiv electronic analogic- folosea ca
regula de invatare Least-Mean-Squares (LMS)
1969 - Minsky, Papert - au demonstrat limitarile
perceptronului
1970 - Retele neurale ca memorii adresabile prin
continut
6
 Scurt istoric (cont.)
1970 - RN s-au cam abandonat
1980 - Cercetari reluate
1982 - Hopfield - functia de energie - a pus in
evidenta notiunea de memorie ca o multime de
atractori dinamici stabili - recurrent networks
1986 - Rumelhart - perceptroni multinivel, retele
backpropagation (feed-forward networks)
1988 - Grossberg si Carpenter in 1988 - algoritmi de
rezonanta - retele ART (Adaptive Resonance
Theory)
1988 - Anderson si Kohonen (independent) - tehnici
asociative
7
 Scurt istoric (cont.)
1980 - Neocognitron
1988 Retele de convoluie
1998 - Imbunatatiri ale reelelor de convoluie
2003 Retele de convolutie varianta modern:
Datorat lui Behnke si apoi
lui Simard, Steinkraus, Platt

8
1.4 Modelul neuronului uman

9
 Poza de la PENN
School of Medicine

http://mail.med.upenn.edu
/~hessd/Lesson2.html

Neuronul Purkinje.
Structurile ramificate ce
pornesc din corpul sferic
al celulei sunt dendrite.
Culorile reprezinta
potentialul membranei
(sus)si concentratia
ionilor de calciu (jos) in
timpul propagarii
semnalului prin
dendrite.

1
 Modelul neuronului uman (cont.)
Creierul are 1010 neuroni. 1 neuron primeste intrari de la 105 sinapse 1016 sinapse

Componentele unui neuron Sinapse

11
 1.5 Modelul neuronului artificial
McCulloch, Pitts (1943) au propus un model
simplu al neuronului, cu intrari binare

12
 Modelul neuronului artificial (cont.)
X0=
-1
x1
w1
w2
x2 , y

xn wn f(x) = 1 - daca x 0
0 - in caz contrar
y = f (i=1,nwixi - ) y = f (i=0,nwixi)
wi reprezinta intensitatea legaturii (conexiunii) de la intrarea xi
care poate fi vazut ca o conexiune cu un neuron
Daca f > 0 excitare
Daca f < 0 inhibare
Daca f = 0 nu exista sinapsa intre neuroni
- valoarea de prag peste care neuronul se activeaza
13
 2. Reele neurale artificiale

Modelul unei ANN este caracterizat de:

Topologia retelei
Caracteristicile elementelor de prelucrare
(noduri / neuroni)
Regulile de actualizare / modificare
(invatare) a ponderilor
Sensul de propagare a semnalelor de
activare prin retea

14
 2.1 Caracteristici ANN
Tipul de invatare: supervizat, nesupervizat, fara invatare
Sensul de propagare a semnalelor
Feed-forward networks - un singur sens
Recurrent networks conexiuni ciclice (numite retele
recurente)
Regulile de actualizare a ponderilor (invatare)
Mapare asociativa: reteaua invata sa produca anumite
valori ale intrarilor/iesirilor pentru sabloane particulare
aplicate la intrare (regasire sabloane distorsionate, memorie
adresabila prin continut)
Detectarea regularitatilor: reteaua invata sa raspunda
anumitor propietati particulare ale sabloanelor de intrare;
fiecare iesire are o anumita semnificatie

15
 Caracteristici ANN (cont.)
Numarul de straturi sau niveluri
Tipul intrarilor si al iesirilor: intreg, real
Tipul functiei de transfer (activare)
limitator logica nivel sigmoid
f f 1
f
1
1

t t t

t = i=1,nwixi -

f(t) = 1 / (1 + e-t) f(t) = (et - e-t) / (et + e-t)

16
 2.2 Exemple
x1
y1
x2
N Intrari y2 M Iesiri

... ...
yM
xN

Hopfield network
Multi-layer network

17
2.3 Un exemplu simplu de invatare

18
Un exemplu simplu de invatare

19
 Poate sa invete?
Invata un template pt fiecare forma
Nu poate invata fome care nu au un template

20
 3. Reele neurale Hopfield
1986 Hopfield a propus un model de RN ca o teorie
a memoriei
Caracteristici:
Reprezentare distribuita. O data este stocata ca un
sablon de activare a unui set de elemente de prelucrare. In
plus, diverse date pot fi stocate sub forma de sabloane
diferite, utilizind aceeasi multime de elemente de
prelucrare.
Control asincron, distribuit. Fiecare element de
prelucrare (nod/neuron) ia decizii numai pe baza
informatiilor locale. Aceste informatii locale converg spre
sinteza solutiei globale.

21
 Reele neurale Hopfield
Caracteristici:
Memorie adresabila prin continut. In retea pot fi
stocate un anumit numar de sabloane. Pentru regasirea
unui sablon, este suficient sa se specifice numai o parte a
acestuia, iar reteaua gaseste automat intreg sablonul.
Toleranta la defecte. Daca o parte din elementele de
prelucrare lucreaza incorect sau se defecteaza, reteaua
continua sa functioneze corect.

22
 3.1 Caracteristici reele Hopfield
Problema: Sa se memoreze un set de M sabloane xis
(x1xN), s=1,M, astfel incat daca se da un sablon li
reteaua sa raspunda producand sablonul care este cel
mai apropiat de li , deci cel mai apropiat xis
Posibilitate: calcul serial(conventional) - memorarea
sabloanelor xis si scrierea unui program care sa
calculeze distanta Hamming
N

i i
[ x
i 1
s
(1 l ) (1 x s
i )li ] s = 1,M

si alegem xis pentru care aceasta distanta este minima

23
Caracteristici reele Hopfield (cont.)
Cum se poate face acelasi lucru cu o RN?
Construim o reea pe baza valorilor abloanelor xis
Antrenare retea Hopfield - scaderea energiei starilor pe care trebuie
sa le memoreze - stari memorate - minime locale
Reteaua converge la o stare memorata pe baza unei descrieri partiale
a starii
atractori
bazine de atractie

Memorie adresabila prin continut si nu foarte sensibila la erori

24
3.2 Structura reelei Hopfield

x'1 x'2 x'N-1 x'N

Intrari la mom. t+1

...
1 2 N-1 N

x1 x2 xN-1 xN Intrari
Intrari(la la
momentul 0) t
momentul

25
 Structura reelei Hopfield
wij = wji, intrari binare, functia de transfer
limitator
Intrari +1 si 1
f(xi) = 1 daca jwijxj > i , -1 in caz contrar
Intrari +1 si 0
f(xi) = 1 daca jwijxj > i, 0 in caz contrar

26
 3.3 Reea Hopfield
Utilizare:
memorat asociativ ieirea reprezint coninutul
cutat
clasificator ieirea comparat cu unul dintre cele
M exemple
Procedura de relaxare paralel: cutare n spaiul
strilor. O configuratie de intrare va folosi reeaua ca
s ajung ntr-un minim local, starea cea mai
apropiat.

27
 Reea Hopfield
Exista doua moduri de actualizare a iesirilor:
sincron si asincron
Abordarea sincrona necesita un ceas central si este potential
sezitiva la erori de timing.
In modul asincron se poate proceda in doua feluri:
- la fiecare interval de timp se selecteaza aleator un neuron si
se actualizeza
- fiecare neuron isi actualizeaza independent iesirea cu o
anumita probabilitate la fiecare unitate de timp.
Cele doua posibilitati sunt echivalente (cu exceptia distributiei
intervalelor de actualizare). Prima este potrivita pentru
simularea cu un control centralizat iar cea de a doua este
potrivita pentru unitati hardware independente.

28
 Algoritmul de relaxare paralela a retelei Hopfield
1. Calculul ponderilor initiale
M

x S
x Sj i j i, j 1, N
wij
i
S 1

0 i j i, j 1, N

2. Initializeaza reteaua cu sablonul

necunoscut

xi (t0 ) li i 1, N

3. repeta pana la convergenta (xj(tk+1) =xj(tk))

n
x j (t ) f( wij xi (t )) j 1, n
k 1 i1 k

4. xj xj este sablonul cautat

sfarsit
29
 3.4 Limitari
Dou limitri majore:
(1) numrul de abloane ce pot fi stocate i regsite
este limitat:
memoria adresat poate conine elemente incorect
regsite
clasificate neidentificri
Hopfield a artat c acest comportament apare destul
de rar dac numrul de clase M 0.138*N
(2) - un ablon poate fi instabil dac are multe valori
identice cu un alt ablon n exemple.
ablon instabil reeaua converge spre o stare diferit de
cea asociat ablonului

30
 3.5 Motivarea alegerii ponderilor
Caz simplu: un singur ablon xi (M=1) pe care vrem s-l
memorm.
Condiia ca reteaua s fie stabil: x f( n w x ) j 1, N
j ij i
i1
Acest lucru este adevrat dac wij proporional cu xixj
deoarece xi2 =1.
1
wij xi x j
N
Se observ c dac un numr de intrri din ablonul de intrare
( 1/2) sunt greite, ele vor fi depite n suma intrrilor i
f(...) va genera corect xj (exista 2 atractori).
O configuratie initiala apropiata (in termeni de distanta
Hamming) de xj se va relaxa la xj.

31
Motivarea alegerii ponderilor (cont.)
1 M S S
Caz cu mai multe sabloane (M) wij xi x j
N S 1

Regula lui Hebb

Stabilitatea unui sablon particular xpj

Conditia de stabilitate este f(h jp ) x pj
unde hpj al neuronului j pentru sablonul p este:
p N p 1 N M S S p p 1 N M S S p
h j wij xi ( x x ) * x x j ( x x ) * x
i 1 N i 1 S 1 i j i N i 1 S 1 i j i
S p
p 1 N p2 p 2
x j xi x j xip 1
N i1
32
 3.6 Functia de energie
O funcie a configuraiei ni a sistemului. Putem s ne
imaginm aceast funcie ca descriind nite suprafee.
Proprietatea fundamental a funciei de energie este aceea c
descrete ntotdeauna, pe msur ce sistemul evolueaz aa
cum s-a specificat.
Atractorii (abloanele memorate) sunt minime locale pe
suprafeele de energie.
1
H w ni n j wii = 0
2 ij ij

F. de energie care minimizeaza o masura in starile stabile

permite un mod alternativ de calcul al ponderilor, valorile
obtinute fiind cele date de regula lui Hebb.

33
 Functia de energie (cont.)
Cazul unui singur sablon: dorim ca functia de energie sa fie
minima daca suprapunerea de valori intre configuratia retelei
si valoarea unui sablon memorat xi este maxima. Astfel
alegem:
2
1 N
H ni xi
2 N i 1

unde factorul 1/(2*N) este luat pentru a obtine 1/N in formula,

altfel se poate lua 1/2.
Cazul cu mai multe sabloane: xis - minime locale pentru H
prin insumarea peste toate sabloanele:
2
1 M N s
H
2 N s 1 i 1
ni i
x

34
 Functia de energie (cont.)
Inmultind se obtine:

1 M N s
N 1 1 M s s
H ni xi n j x j xi x j ni n j
2 N s 1 i 1 j 1
s

2 i , j N s 1

ceea ce reprezinta aceeasi formula ca cea initiala a energiei considerind wij

dupa regula lui Hebb.
Aceasta abordare este utila in cazul in care se doreste utilizarea retelei ca
un dispozitiv de aflare a solutiei optime (solutie de cost minim).
Daca putem scrie o functie de energie o carui minim satisface conditia
de solutie optima a problemei, atunci se poate dezvolta acesta functie si
identifica ponderile wij drept coeficientii factorilor de forma ninj.
Se pot intalni si alti termeni. Constantele nu sunt o problema (se ignora),
coeficientii termenilor de forma ni (liniari) se considera valorile de prag ale
neuronilor sau legaturi de la un neuron x0. Termenii de forma ninjnk - nu
discutam.
35
 3.7 Aplicatii de optimizare
Identificarea ponderata a grafurilor (bipartite)
Fie o multime de N puncte (N par) si distantele dij intre fiecare
pereche de puncte. Sa se lege punctele in perechi a.i. un punct sa
fie legat cu un singur alt punct si sa se minimizeze lungimea
totala a legaturilor.
Problema nu este NP
Se modeleaza problema cu o retea Hopfield
Vom folosi 0/1 in loc de +1/-1
Se asociaza un neuron nij , i<j fiecarei perechi de puncte din
problema => N(N-1)/2 neuroni.
Fiecare solutie candidat corespunde unei stari a retelei cu nij=1
daca exista legatura intre i si j si 0 in caz contrar (in solutie).
Problema revine la a gasi un mod de specificare a ponderilor
wij,kl intre unitati.
36
 Identificarea ponderata a grafurilor
Intr-o retea simetrica (Hopfield) cu N(N-1)/2 neuroni exista
N(N-1)[N(N-1)-2]/8 conexiuni.
Dorim sa minimizam lungimea totala a legaturilor

respectand restrictia, pt. orice i =1,N L d ij nij

N i j

n
j 1
ij 1

Aceasta restrictie spune ca fiecare nod din graf trebuie sa fie

conectat cu exact un singur alt nod.
Definim nij=nji pt. j<i si luam nii=0.
Deoarece este dificil sa impunem restrictia de la inceput,
adaugam functiei de energie un termen de penalizare care
este minimizat daca restrictia este satisfacuta.

37
 Identificarea ponderata a grafurilor (cont.)
Functia totala de cost este:

H d ij nij ij
(1 n ) 2

i j 2 i j

termeni constanti - se ignora

coeficienti ai termenilor liniari (nij) valoarea de prag a unui
neuron
coeficienti ai termenilor patratici (nij * nkl) valorile wij,nk

Comparand cu relatia initiala, se observa ca d ij este pentru

neuronul nij si restul de termeni din relatie indica faptul ca nij
primeste intrari cu activarea - de la celelalte unitati care au legatura
cu i sau j. n
x j f( wij xi )
i1
In general, wij,kl = - ori de cate ori ij are un index in comun cu kl;
altfel wij,kl = 0 .
38
 Identificarea ponderata a grafurilor (cont.)
Interpretarea valorilor
Contributia dij la a lui nij reflecta faptul ca, fara restrictia impusa,
lungimea minima totala ar fi minimizata la 0 (nici o legatura).
Cealalta contributie la , care este -, contracareaza acest lucru
astfel incat un numar pozitiv de legaturi sa fie admise.
Inhibitia mutuala - reprezentata de wij,kl descurajeaza configuratii
cu mai mult de o legatura de la sau spre un neuron.
Cum se alege ?
Cam de aceeasi marime cu dij tipice aceeasi prioritate de
satisfacere a restrictiei cat si de a avea legaturi scurte.
mica solutii cu putine legaturi (violeaza restrictia de toate leg)
mare nu cele mai scurte legaturi dar satisface restrictia
se modifica pe msur ce se relaxeaz reeaua: intai mic (relaxez
restr.) apoi gradual mai mare (fortez restrictia).
Grafuri bipartite: legaturi numai dij cu iS1 si j S2
39
 Problema comis-voiajorului
Hopfield i Tank [1985, 1986]
Se modeleaza problema cu o retea Hopfield
Oraele, cu distanele dij ntre ele
Dac sunt N orae, se aleg N x N neuroni
nia = 1 dac i numai dac oraul i este parcurs n pasul a

i\a 1 2 3 4
A 1
B 1
C 1
D 1
40
 Problema comis-voiajorului (cont.)
Lungimea total a unui traseu este (de fapt este lungimea
tuturor traseelor posibile, dac toi neuronii ar fi activi):
1
L
2 ij ,a
d ij nia n j ,a 1

ija {ija | i 1,..., N , j 1,..., N , i j , a 1,..., N }

2 restrictii:
1) a nia 1 i = 1, N 2) i nia 1 a = 1, N
Funcia de cost se adauga la L doi termeni de
penalizare care sunt minimizai dac restriciile sunt
satisfcute
1
H
2
d n
ij , a
ij ia n j ,a 1 [ (1 nia ) (1 nia ) ]
2

2 a i
2

i a
41
 Problema comis-voiajorului (cont.)
ponderi pentru
conexiunile intre
perechi de neuroni de
pe o coloana si intre dijd ij ddijij

perechi de neuroni de - -
pe o linie (pt. a satisface
restrictiile) si threshold
- /2 - -

ponderi dij intre ceilalti -

neuronii (de ex dintr-o

coloana si neuronii de
pe coloana dinainte si
de dupa)
42