APLICAII ALE

REELELOR NEURONALE

Obiectivele disciplinei

Aprofundeaz principiile fundamentale i

tehnicile sistemelor bazate pe reele neuronale
Aprofundeaz principalele modele de reele
neuronale i aplicaiile acestora

Introducere. Domenii de aplicabilitate

Reelele neuronale au fost aplicate cu succes la un spectru larg de aplicatii pentru prelucrarea intensiv a datelor.
Lista de mai jos se bazeaz pe exemple de succes din lumea real. Acesta ofer o imagine de ansamblu a domeniilor
de aplicare a problemelor pe care le pot aborda RNA.
Financiar

Predicia stocurilor de marf

Acordarea creditelor bancare

Predicia falimentelor

Evaluarea proprietilor

Detecia fraudelor

Prognoze de pre

Prognoze ale unor indicatori economici

Medical

Diagnosticul medical

Estimarea costului tratamentelor

Marketing i vnzri

Prognoza vnzrilor
Educational

Predicia performanelor studenilor

Managementul resurselor umane

Selecia i Angajare personalului

Planificarea angajailor
Bioinformatic

structura proteinei secundare

secvenierea ADN

Introducere. Domenii de aplicabilitate

tiin

Exploatarea datelor

Optimizarea stocurilor de vnzare cu amnuntul

Predicia fluxului financiar

Energie

Predicie
Clasificare
Detecia schimbrilor
Analiza seriilor de timp

Analiz operaional

Recunoaterea formelor
Identificarea compuilor chimici
Modelarea sistemelor fizice
Evaluarea ecosistemelor
Identificarea polimerilor
Recunoaterea genelor
Procesarea semnalelor: Filtrarea neuronal
Analiza sistemelor biologice
Prognoza nivelului stratului de ozon

Prognoza ncrcrii de sarcin

Prognoza cererii de energie
Estimarea ncrcrii pe termen lung i scurt

Alte domenii

Pariuri sportive
Pronosticuri curse de cini i cai
Prognoza meteo
Implementare de jocuri (jocul de table)
Estimarea produciei agricole

Istoric

1943 neuronul McCulloch-Pitts

1949 Legea lui Hebb
1958 Perceptronul (Rosenblatt)
1960 Adaline (Widrow, Huff)
1969 Limitrile reelelor neuronale (Minsky, Papert)
1972 Reele Kohonen, memorii asociative
1982 Reeaua Hopfield, problema satisfacerii constrngerilor
1986 Backpropagation (Rumelhart, Hinton, McClelland)
1988 Neocognitron, recunoaterea characterelor (Fukushima)

Aplicaii ale RNA

Recunoaterea scrisului de mn

Cifrele sunt digitizate, normalizate i centrate ntr-o

matrice de dimensiune fix (ex. 28x28) a cror
elemente sunt nuane de gri (0,... 255)
Fiind dat un vector x=[0, 1, 0, ..., 78, 45, 56, 0,..., 0]784
care reprezint o nou cifr (neutilizat nc), se pune
problema crei clase de cifre zecimale i aparine x?

Aplicaii ale RNA

Detecia facial

http://www.cs.nyu.edu/yann/research/cface

Aplicaii ale RNA

Detecia i recunoaterea obiectelor

http://www.cs.nyu.edu/yann/research/norb

Clasificare

Presupunem c o fabric de procesare fructe trebuie s sorteze

automat mai multe tipuri de fructe:

p anumite preprocesri fircare fruct este caracterizat printr-un vector

al trsturilor x=[x1,x2] unde prima component este luminozitatea i
cea de-a doua lungimea

Definiie

RNA denumite uneori procesoare paralel distribuite,

neurocomputere sau modele conexioniste sunt o
ncercare de a simula structura i funciile creierului
specifice organismelor vii.
Se poate spune c RNA este un sistem de procesare a
semnalelor compus dintr-un numr mare de
procesoare elementare numite neuroni artificiali sau
noduri care coopereaz pentru rezolvarea unor
probleme.

Retele neuronale

Probleme corect formulate. Presupunem c se dorete ncadrarea venitului familiei unui

student n dou categorii: categoria 1 (nu primete burs) i categoria 2 (primete burs)

Date de
intrare

Algoritm =
descriere a
metodei

Venit
If venit>1000 then Clasa 1
else Clasa 2

Rezultat
Clasa 1 sau
Clasa 2

Retele neuronale

Probleme incorect formulate

Exemple: (1000, Clasa1), (500,
Clasa 1),(5000,Clasa 2)
Date de
intrare

Venit

Sistem adaptiv
(incorporeaza un
modul de
invatare/evolutie)

Rezultate
Clasa 1 sau
Clasa 2

Modelul este extras de catre sistemul adaptiv pe baza

exemplelor

Retele neuronale
Metodele de rezolvare a problemelor incorect - formulate se caracterizeaz
prin:

Abilitatea de a extrage modele din exemple

Adaptabilitate la probleme cu caracter dinamic
Robustete la erori (zgomot) in datele de intrare
Capacitatea de a furniza rezultate intr-un interval rezonabil de timp
(chiar daca rezultatele sunt aproximative dar acceptabile dpdv practic)

Domeniul care se ocupa cu dezvoltarea unor astfel de tehnici este denumit

computational intelligence sau soft computing

Retele neuronale
Directii

Instrumente

Sursa de inspiratie

Calcul neuronal

Retele neuronale artificiale

Creierul uman

Calcul evolutiv

Algoritmi evolutivi

Evolutia naturala

Calcul fuzzy

Sisteme fuzzy

Rationament uman
i limbaj natural

Principii de baza
Dpdv functional:
retea neuronala artificiala = sistem adaptiv capabil sa furnizeze
raspunsuri pentru o problema dupa ce a fost antrenata pentru
probleme similare

Exemple
Data de
intrare

Retea neuronala =
Sistem adaptiv
(antrenabil)

Raspuns

Principii de baza
Dpdv structural:
Retea neuronala = ansamblu de unitati functionale simple
(neuroni) interconectate
Unitate functionala = model foarte simplificat al neuronului
biologic
Retea neuronala artificiala = model foarte simplificat la
creierului

Principii de baza

Preocuparea pentru reelele neuronale artificiale, a fost motivat de

recunoaterea faptului c modul n care calculeaz creierul fiinelor vii este
complet diferit de cel al calculatoarelor numerice convenionale
Spre deosebire de mainile von Neumann, unde exist o unitate de procesare
care execut instruciunile stocate n memorie n mod serial, numai o
instruciune la un moment dat, reelele neuronale utilizeaz n mod masiv
paralelismul
Fiind modele simplificate ale creierului uman, ele dein capacitatea de a
nva, spre deosebire de calculatoarele convenionale, care rmn totui mai
eficiente pentru sarcinile bazate pe operaii aritmetice precise i rapide
Reelele neuronale nu dispun de uniti de procesare puternice, dimpotriv,
acestea sunt caracterizate printr-o simplitate extrem, ns interaciunile lor
pe ansamblu produc rezultate complexe datorit numrului mare de
conexiuni

Modelul biologic

Pentru a nelege mai bine aceast abordare, trebuie precizat modul de funcionare al sistemului
nervos
Constituienii structurali ai creierului sunt neuronii, conectai prin sinapse
Se estimeaz c n cortexul uman exist circa 10 miliarde de neuroni i 60 de trilioane de sinapse

Modelul biologic
Cum lucreaza un neuron ?

Fiecare neuron are un singur axon i mai multe (10-20) de dendrite

Primeste semnale de intrare prin dendrite

Semnalele de intrare genereaza diferente de potential pe membrana celulara

Diferenta de potential se propaga pana la conul axonal

De-a lungul axonului este transmis un tren de impulsuri electrice

Synapse
Axon

Soma
Dendrites

Synapse

Dendrites
Axon

Soma
Synapse

Modelul biologic

Neuronii nu se ating n mod direct, ci sunt separai prin

spaii numite sinapse
Acestea sunt uniti structurale i funcionale
elementare care mediaz interaciunile dintre neuroni
Tipul cel mai rspndit de sinaps este sinapsa chimic.
Astfel, o sinaps convertete un semnal electric
presinaptic ntr-un semnal chimic (ioni de sodiu i
potasiu) i apoi din nou ntr-un semnal electric
postsinaptic

Modelul biologic. Propagarea semnalelor

Se consider c o sinaps este o conexiune simpl care poate impune excitare

sau inhibare, dar nu ambele, neuronului receptor
Ambele efecte sunt locale; ele se propag pe o distan mic n corpul celulei
i sunt nsumate la nivelul axonului
Dac suma potenialelor de excitare depete un anumit prag, atunci
neuronul este activat i transmite un impuls mai departe
Cea mai important trstur a reelei neuronale biologice este plasticitatea
Ca rspuns la stimulrile primite, la nivelul conexiunilor se produc schimbri
pe termen lung, astfel nct conexiunile care ajut la obinerea de rezultate
pozitive sunt ntrite, iar cele care determin rezultate nedorite sunt slbite
De asemenea, neuronii pot forma n timp noi conexiuni cu ali neuroni
Aceste mecanisme stau la baza capacitii de adaptare a creierului la stimulii
primii, pe care o numim n mod convenional nvare

Analogia ntre reelele neuronale

biologice i cele artificiale

Modelul biologic
Calculator (vonNeumann)
Unul sau cateva procesoare
de viteza mare (ns) si cu putere
de calcul mare
Una sau cateva magistrale de
comunicare de viteza mare
Memorie accesata prin adresa
Componenta ce incorporeaza
cunoasterea este separata de
cea destinata efectuarii
calculelor
Adaptabilitate redusa

Creier uman

Un numar mare (1011) de unitati

functionale de viteza relativ mica
(ms) cu putere de calcul limitata
Numar foarte mare (1015) de
conexiuni de viteza limitata
Memorie cu caracter asociativ
Cunostintele sunt stocate in
sinapse
Adaptarea se realizeaza prin
modificarea conexiunilor

Reele neurale artificiale

Funcioneaz n acelai fel fiind o main proiectat pentru a modela

felul n care creierul rezolv o anumit problem sau execut o funcie
cu un anumit scop; reeaua este de obicei implementat folosindu-se
componente electronice sau simulat printrun program
Definiie
Simon Haykin consider c o reea neuronal este un procesor masiv
paralel, distribuit, care are o tendin natural de a nmagazina cunotine
experimentale i de a le face disponibile pentru utilizare
Ea se aseamn cu creierul n dou privine:

Cunotinele sunt cptate de reea printr-un proces de nvare

Cunotinele sunt depozitate nu n unitile de procesare (neuroni), ci n
conexiunile interneuronale, cunoscute drept ponderi sinaptice

Algoritm de nvare

Metoda utilizat pentru a executa funcia de nvare se numete

algoritm de nvare, care are ca scop acela de a modifica ponderile
sinaptice ale reelei ntr-un mod sistematic pentru a atinge
obiectivul dorit de proiectare
Printre numeroasele proprietai interesante ale unei reele
neuronale, cea mai semnificativ este abilitatea acesteia de a nva
prin intermediul mediului nconjurtor, i prin aceasta s-i
mbunteasc performanele; creterea performanelor are loc n
timp i conform cu unele reguli prestabilite
O reea neuronal nva printr-un proces iterativ de ajustri aplicate
conexiunilor i pragurilor sale sinaptice
n mod ideal, reeaua devine mai inteligent dup fiecare iteraie
a procesului de nvare

nvarea

nvarea: un proces prin care parametrii variabili ai

unei reele neuronale se adapteaz prin continua
stimulare din partea mediului n care este inclus
Tipul de nvare este determinat de modul n care au
loc schimbrile parametrilor
nvarea n contextul unei reele neuronale se
caracterizeaz prin urmtoarele elemente:

Reeaua neuronal este stimulat de un mediu

Reeaua neuronal sufer schimbri datorit acestor
stimulri
Reeaua neuronal rspunde n mod diferit mediului datorit
schimbrilor care au aprut n structura sa intern

Caracteristici

Caracteristicile cele mai importante ale reelelor

neuronale sunt:

Capacitatea de a nva Reelele neuronale artificiale nu necesit

programe puternice, ci sunt mai degrab rezultatul unor
antrenamente asupra unui set de date. Reelele neuronale
artificiale au un algoritm de nvare, dup care ponderile
conexiunilor sunt ajustate pe baza unor modele prezentate. Cu
alte cuvinte, reelele neuronale nva din exemple, la fel cum
nva copiii s recunoasc un obiect pe baza mai multor instane
ale acelui tip de obiect
Capacitatea de generalizare: Dac au fost instruite
corespunztor, reelele sunt capabile s dea rspunsuri corecte i
pentru intrri diferite fa de cele cu care au fost antrenate, atta
timp ct aceste intrri nu sunt foarte diferite
Capacitatea de sintez: Reelele neuronale artificiale pot lua
decizii sau trage concluzii cnd sunt confruntate cu informaii
afectate de zgomot, irelevante sau pariale

Semnale de ieire

Semnale de intrare

Arhitectura tipic a unei reele neuronale

artificiale

Strat intermediar
Strat de intrare

Strat de ieire

Neuronul este un element de calcul

simplu. Diagrama unui neuron
Semnale de intrare
x1
x2

xn

Ponderi

Semnale de ieire
Y

w1
w2

wn

Neuron

Y
Y

Neuronul calculeaz suma ponderat a intrrilor i o

compar cu o valoare de prag, . Astfel neuronul
utilizeaz urmtoarea funcie de transfer sau de
activare:
n

X xi wi
i 1

1, if X
Y
1, if X

Acest tip de funcie se numete funcia semn (sign).

Funcii de activare

Funcii de activare

Poate un singur neuron nva o sarcin?

In 1958, Frank Rosenblatt introduce un algoritm

de nvare pentru a antrena o reea neuronal
simpl: perceptron.
Perceptronul este cea mai simpl form de reea
neuronal. El const dintr-un singur neuron cu
ponderi ajustabile i un limitator hard.

Neuronul artificial. Modelul McCullochPitts

Warren McCulloch i Walter Pitts (1943) au propus un

astfel de model, care rmne pn n prezent fundamentul
structural pentru majoritatea reelelor neuronale
Intrri
x1
w1

Sumator
liniar

Limitare
Hard

w2

x2

Ieire
Y

Prag

Perceptronul

Iniial, cnd au aprut reelele neuronale, scopul acestora era de a efectua

clasificri.
Se pune problema determinrii automate ponderilor, n cazul n care
neuronului i erau prezentate mai multe obiecte, mpreun cu clasa creia i
aparineau acestea
Rezolvarea a fost adus de Frank Rosenblatt (1960), care a imaginat un
algoritm de nvare pentru aa-numitul perceptron simplu, o reea cu un
singur neuron.
O reea de neuroni McCulloch-Pitts cu un singur strat de intrare care
alimenteaz un strat de ieire se numete Perceptron.
n

X xi wi
i 1

1, daca X 0
1, daca X 0

Functia semn : Y

1, daca X 0
0, daca X 0

Functia prag : Y

Reprezentare. Interpretarea ponderilor

Binar: 0 nu, 1 da
Bipolar: -1 nu, 0 necunoscut, 1 da
Reprezentarea bipolar este superioar
w0 = -1, w1 = 1, w2 = 1

0 = -1 + x1 + x2 or x2 = 1 x1

DA
x1
NU

x2

Limit de decizie

Modelarea unei probleme simple. Clasificare

x1 = este cald

x2 = plou

x0

2.5

x0 = pragul
x1

x2

-2

Separarea liniar

Cazul cel mai simplu

0

AND

OR

XOR

Probleme liniar separabile

Cu ajutorul perceptronului pot fi nvate de exemplu funcii

binare elementare, precum I, SAU etc.
Pe abscis i ordonat sunt reprezentate valorile celor dou
intrri, iar culoarea cercurilor reprezint rezultatul operaiei (alb =
0, negru = 1)

Retele neuronale

39

Probleme liniar separabile

Perceptronul mparte planul n dou regiuni de decizie (datorit pragului funciei

de activare); n cazul n-dimensional, spaiul soluiilor va fi divizat tot n dou
regiuni de un hiperplan
Acestea sunt probleme liniar separabile
Aici poate fi observat i utilitatea pragului: n lipsa acestuia, hiperplanul separator
ar trece ntotdeauna prin origine, ceea ce nu este de dorit n orice situaie

Retele neuronale

40

Probleme liniar separabile

n general scopul perceptronului este s clasifice intrrile

x1, x2, . . ., xn n dou clase A1 i A2
Spaiul intrrilor, n-dimensional, este mprit n dou de
un hiperplan definit de ecuaia:
n

xi wi 0
i 1

Retele neuronale

41

x2

x2
Clasa A1
1

1
Clasa A2

x1

x1

2
x1w1 + x2w2 = 0
(a) Percepton cu dou intrri.

x3

x1w1 + x2w2 + x3w3 = 0

(b) Percepton cu trei intrri.

Retele neuronale

42

Cum nva perceptronul?

Pentru a nva o anumit problem, n cazul
perceptronului se fac mici ajustri ale ponderilor
pentru a reduce diferena dintre ieirile reale i cele
dorite ale perceptronului. Ponderile se iniializeaz
cu valori aleatoare, n mod uzual ntre [0.5, 0.5],
apoi se actualizeaz pentru a obine ieirea dorit
pentru exemplele de antrenare care sunt prezentate
intrrii reelei.

Dac la iteraia p, ieirea real este Y(p) i ieirea

dorit este Yd (p), se poate calcula eroarea:

e( p) Yd ( p) Y ( p)

unde p = 1, 2, 3, . . .

Iteraia p reprezint aici cel de-al p-lea exemplu de

antrenare prezentat perceptronului.
Dac eroarea, e(p), este pozitiv trebuie crescut
ieirea perceptronului Y(p), iar dac este negativ ,
trebuie sczut aceast ieireY(p).

Regula de nvare a perceptronului

wi ( p 1) wi ( p) xi ( p ) e( p)
Unde p = 1, 2, 3, . . .
este rata de nvare, o constant pozitiv
subunitar
Regula de nvare a perceptronului a fost propus de
ctre Rosenblatt in 1960. Utiliznd aceast
regul se poate deduce algoritmul de antrenare a
perceptronului utilizat n scopuri de clasificare.

Algoritmul de nvare al perceptonului

Pas 1: Iniializare
Se iniializeaz ponderile w1, w2,, wn i
pragul cu numere aleatoare n intervalul
[0.5, 0.5].
Dac eroarea, e(p), este pozitiv, este
nevoie se creterea ieirii perceptonului Y(p),
dac este negativ, trebuie sczut ieirea
Y(p).
Retele neuronale

46

Algoritmul de nvare al perceptonului

Pas 2: Activarea
Se activeaz perceptonul prin aplicarea intrrilor
x1(p), x2(p),, xn(p) i a ieirii dorite Yd (p). Se
calculeaz ieirea real la iteraia p = 1
n

Y(p) prag xi (p) wi (p)

i1

unde n este numrul intrrilor perceptonului i prag este

funcia de activare.

Retele neuronale

47

Algoritmul de nvare al perceptonului

Pas 3: Actualizare (nvare) ponderi

Actualizarea ponderilor perceptonului

wi ( p 1) wi ( p ) wi ( p )

unde wi(p) este corecia ponderilor la iteraia p.

Corecia ponderilor este calculat dup regula delta

wi ( p ) xi ( p ) e( p )

Pas 4: Iteraia
Se crete p cu 1 i se revine la pasul 2 pn la convergena procesului .

Retele neuronale

48

Exemplu de nvare. Funcia I

Eroare

w1

w2

Yd

0
1
0
1

0
0
0
1

0.3
0.3
0.3
0.2

0.1
0.1
0.1
0.1

0
0
1
0

0
0
1
1

0.3
0.3
0.2
0.3

0.1
0.1
0.1
0.0

0
0
1
1

0
1
0
1

0
0
0
1

0.3
0.3
0.3
0.2

0.0
0.0
0.0
0.0

0
0
1
1

0
0
1
0

0.3
0.3
0.2
0.2

0.0
0.0
0.0
0.0

0
0
1
1

0
1
0
1

0
0
0
1

0.2
0.2
0.2
0.1

0.0
0.0
0.0
0.0

0
0
1
0

0
0
1
1

0.2
0.2
0.1
0.2

0.0
0.0
0.0
0.1

0
0
1
1

0
1
0
1

0
0
0
1

0.2
0.2
0.2
0.1

0.1
0.1
0.1
0.1

0
0
1
1

0
0
1
0

0.2
0.2
0.1
0.1

0.1
0.1
0.1
0.1

0
0
1
1

0
1
0
1

0
0
0
1

0.1
0.1
0.1
0.1

0.1
0.1
0.1
0.1

0
0
0
1

0
0
0
0

0.1
0.1
0.1
0.1

0.1
0.1
0.1
0.1

Intrri

x1

x2

0
0
1
1

Ieire
dorit

Ieire
real

Ponderi
iniiale
wweights
w2
1

Epoca

Prag: = 0.2; Rata de nvare: = 0.1

Ponderi
finale

49

Exemple: Perceptonul cu 2 intrri

Cel mai simplu caz este cel cu 2

intrri:
Ieirea este o funcie de x1, x2:

y F

x w
i 1

Funcia de activare F poate fi

liniar sau neliniar. Dac se

consider funcia de activare:

Ieirea reelei poate fi 1 sau +1 n

funcie de intrare

Retele neuronale

Reeaua se poate utiliza n

probleme de clasificare: ea poate
decide care dintre modelele de
intrare aparine uneia dintre cele
dou clase. Dac intrarea total
este pozitiv, atunci modelul
respectiv aparine clasei1, altfel
clasei 2
50

Exemple: Perceptonul cu 2 i 3 intrri

Separarea dintre cele dou clase este efectuat de o dreapt

cu ecuaia:
w1x1+w2x2+=0x
2

x1

Retele neuronale

51

Probleme neseparabile liniar

Foarte multe probleme sunt ns liniar neseparabile, de exemplu funcia

XOR nu poate fi nvat de un perceptron simplu
Minsky i Papert (1969) au demonstrat limitrile serioase ale reelelor de
tip perceptron n aceste situaii i c sunt imposibile generalizrile globale
pe baza exemplelor nvate local

Retele neuronale

52