3.

2 REELE NEURONALE
Studiul reelelor neuronale a fost inspirat de ncercri de simulare a sistemului biologic
neural. Ceierul uman este format n principal din celule nervoase numite neuroni. Un
neuron este format din: corpul neuronului (soma), dentrite i axon. Neuronul colecteaz
semnale de la ali neuroni vecini printr-o structur de conexiuni, numite dendrite.
Neuronul transmite apoi semnale, ca rezultat al activitii electrico-chimice interioare din
corpul neuronului, prin intermediul axonului, care se divide n mii de ramuri. La captul
fiecrei ramuri exist o structur numit sinaps, care proceseaz semnalul transmis prin
axon, transformndu-l ntr-un efect eletric care inhib sau excit activitatea de la axon la
neuronul care este conectat. Neurologii au descoperit faptul ca creierul uman nva
schimbnd intensitatea legturii sinaptice ntre neuroni pn la o stimulare repetat de
acelai impuls.

Figura 3- 1: Structura unui neuron

(Sursa: Prof. Dan Glea, Florin Leon, Curs de inteligen artificial, Universitatea
Tehnic Gh. Asachi Iai, Facultatea de Automatic i Calculatoare)
Analog cu modul n care i desfasoara activitatea creierului uman, functioneaza i o reea
neuronal. O reea neuronal este un procesor masiv paralel, distribuit, care are o
tendin natural de a nmagazina cunotine experimentale i de a le face disponibile

pentru utilizare. Reelele neuronale sunt caracterizate de o

simplitate extrem, ns

interaciunile lor pe ansamblu produc rezultate complexe datorit numrului mare de

conexiuni. Ele se aseamn cu creierul uman prin dou caracteristici:
Cunotinele sunt cptate de reea printr-un proces de nvare;
Cunotinele sunt depozitate nu n unitile de procesare (neuroni), ci n
conexiunile interneuronale, cunoscute drept ponderi sinaptice.
Sintetic vorbind, reelele neuronale reprezint sisteme neprogramate (nealgoritmice)
de procesare adaptiv a informaiei. Ele nva din exemple i se comport ca nite
cutii negre, modul de procesare a informaiei fiind neexplicit.
Deci cea mai important caracteristic a reelelor neuronale este abilitatea de a nva prin
intermediul mediului nconjurtor, i prin acesta s i mbunteasc performanele,
creterea performanelor avnd loc n timp i conform unor reguli prestabilite. nvarea
se realizeaz printr-un proces iterativ de ajustri aplicate conexiunilor i pragurilor
sinaptice. Astfel, reeaua devine mai inteligent dup fiecare iteraie a procesului de
nvare.
n cazul reelelor neuronale, nvarea este definit ca un proces prin care parametrii
variabili ai unei reele neuronale se adapteaz printr-un proces continuu de stimulare din
partea mediului n care este inclus. Tipul de nvare este determinat de modul n care au
loc schimbrile parametrilor.
O reea neuronal se caracterizeaz prin trei elemente:
1. Modelul neuronului
2. Arhitectura reelei
3. Algoritmul de antrenare
1.

Modelul neuronului

Un neuron este o structur simpl care cuprinde

O mulime de conexiuni de intrare
Un nivel de activare
O funcie de activare
O valoare de ieire

 O valoare rezidual
O mulime de conexiuni de ieire

Figura 3- 2: Structura unui neuron

Dan Glea, Florin Leon, Curs de inteligen artificial, Universitatea

Tehnic Gh. Asachi Iai, Facultatea de Automatic i Calculatoare)
(Sursa: Prof.

unde xi intrrile
wi ponderile sinaptice
f funcia de activare
valoare prag (nivel de activare)
y ieirea

y f wi xi
i 1

Ponderea sinaptic reprezint o valoare real ce corespunde unei valori de intrare, care
determina influena intrrii respective asupra nivelului de activare a neuronului.
La nceput, funciile de activare erau funcii liniare. Dar acestea prezentau neajunsul c
puteau fi folosite doar pentru a rezolva probleme liniar separabile. n prezent, se
utilizeaz funcii de activare neliniare.

2.

Arhitectura reelei

O reea neuronal const n aranjarea unui grup de neuroni n unul sau mai multe straturi.
Astfel exist:
- reele neuronale simple: neuronii sunt aranjai ntr-un singur strat
- reele neuronale multistrat: neuronii sunt aranjai pe mai multe straturi; n acest
caz vom avea un strat de intrare, unul sau mai multe straturi intermediare, i un
strat de ieire
Reele multistrat nu asigur o cretere a puterii de calcul n raport cu reelele cu un singur
strat dac nu prezint o funcie de activare neliniar ntre starturi
3.

Algoritmul de antrenare

Reelele neuronale au capacitatea de a nva i acest lucru se realizeaz prin algoritmi de

nvare. Exist mai muli algoritmi de nvare printre care cei mai cunoscui sunt:
a) Algoritmul back-propagation(algoritmul delta generalizat) este cel mai cunoscut i
utilizat algoritm de nvare supervizat i se bazeaz pe minimizarea diferenei
dintre ieirea dorit i ieirea real.
b) nvarea cu ntrire: n acest caz exist un critic care indic nivelul de
corectitudine al rspunsului; aceast metod ia n considerare problema n
ansamblu
c) nvarea hebbian: ideea central este de a modifica ponderea unei conexiuni
proporional cu produsul intrrii i ieirii conexiunii respective:

wi yxi
d) Algoritmul Kohonen: acest tip de nvare se mai numete i nvingtorul ia tot
deoarece la un moment dat este actualizat doar vectorul ponderilor care
aproximeaz cel mai bine intrarea curent x.
Avantajele reelelor neuronale
- sunt utile n rezolvarea unor probleme dificile cum sunt cele de estimare,
identificare i predicie, sau de optimizare.
- datorita capacitii de a rezolva probleme complexe, acestea au o larg
aplicabilitate.

- o alternativ a tehnicilor convenionale, care sunt adesea limitate datorit

ipotezelor privind normalitatea, linearitate, independena variabilelor etc.
- poate surprinde mai multe tipuri de relaii ceea ce permite utilizatorului s
modeleze fenomene relativ uor i ntr-un timp scurt
Dezavantajele reelelor neuronale:
- funcioneaz ca nite cutii negre, utilizatorul nu trebuie dect s introduc
datele iniiale i s atepte outputul
- aplicarea lor poate s dureze mai mult datorit procesului de nvare se poate
ajunge la nvare exagerat(overtraining): apare atunci cnd se obin modele
false datorit variaiilor setului de date pe baza cruia a fost construit modelul.

APLICAII ALE REELELOR NEURONALE

Ca i n cazul arborilor de decizie, reelele neuronale creeaz un model predictiv pentru
unul sau mai multe variabile dependente(int) pe baza unor variabile factori
(predictoare).
nainte de a crea modelul, baza de date va fi mprit n 3 subgrupe (subeantioane):
- un eantion-training: pe baza cruia se va realiza de fapt modelul
- un eantion cu elemente excluse: care va fi utilizat pentru a valida modelul
- un eantion de testare: pe care va fi aplicat modelul
Variabilele luate n considerare n crearea modelului sunt:
- variabila dependent: Ai achiziionat un plan personal de investiii?
- variabila factor: Numrul de copii
- covariaiile ntre variabilele: Vrsta, Regiunea, Suntei cstorit?, Avei
main?, Deinei un cont de economii?, Deinei un cont curent?, Avei
ipotec?, Venit.
Iniial vor fi create doar eantionul-training i cel cu elemente excluse. Astfel, primul
conine 71.7% din eantionul iniial, iar al doilea 28.3% din acesta.

Tabelul 4- 1: Divizarea setului de date

n continuare este prezentat tabelul cu informaii despre reeaua care cuprinde variabilele
incluse n model, numrul straturilor ascunse i al unitilor care fac parte din acesta,
informaii privind stratul final.
Tabelul 4- 2: Informaii privind reeaua

Dup crearea modelului i aplicarea lui asupra elementelor excluse, se constat c

procentul valorilor previzionate incorect este de doar 5.3% n eantionului-training, n
timp ce n cel al elementelor excluse este de 25.9%.

Tabelul 4- 3: Rata clasificrii greite

Cross entropy error este o funcie pe care reeaua urmrete s o minimizeze. n aceast
situaie, algoritmul de estimare s-a oprit datorit faptului c a fost atins numrul maxim
de epoci. De obicei, indicat ar fi ca algoritmul s se opreasc atunci cnd eroarea nu
mai scade. Deci aici ceva nu a mers bine pe parcursul antrenrii reelei. Astfel rezultatele
obinute sunt redate n tabelul de mai jos.
Tabelul 4- 4: Clasificarea unitilor pe baza modelului obinut

Dup cum se poate vedea, procentul clasificrii corecte n eantionul-training este de

94.7%, n timp ce n cel cu elemente excluse, clienii bncii sunt clasificai corect doar n
proporie de 74.1%. Avnd n vedere aceste rezultate, putem afirma c modelul este
optimist, adic rata clasificrii corecte este mai mare n cazul eantionului-training fa

de cea obinut pentru eantionul cazurilor excluse. De fapt modelul obinut este
aproximativ corect pentru 3 din 4 cazuri. Acest lucru mpreun cu modalitatea de oprire a
algoritmului indic faptul c s-ar putea s avem de-a face cu o reea antrenat excesiv
(overtrained), adic modelul obinut nu este corect datorit variaiilor aleatore ale
cazurilor din eantionul-training.
n aceasta situaie, sunt reconstruite cele dou eantioane, iar o parte din eantionultraining este reinut pentru a crea eantionul de testare a modelului. Astfel cazurile din
baza de date vor fi mprite dup cum urmeaz:
Tabelul 4- 5: Restructurarea eantioanelor

De aceast dat, modelul prezint mbuntiri:

- funcia erorii este mai mic
- algoritmul de estimare se oprete datorit faptului c funcia eroare nu mai scade
- procentul clasificrii incorecte n cele trei eantioane este destul de apropiat
Tabelul 4- 6: Rata clasificrii greite

Aceste rezultate indica faptul c reeaua era ntr-adevr antrenat excesiv i

introducerea unui eantion de date pentru testarea modelului a determinat o mbuntire
a acestuia. Acest lucru se observ i n tabelul de clasificare, ratele clasificrii fiind mai
apropiate n cele trei eantioane dect n primul caz.

Tabelul 4- 7: Clasificarea unitilor dup respecificarea modelului

Pentru a putea aprecia ntr-adevr dac modelul obinut pe baza unei reele neuronale este
bun i pentru a-l putea compara cu alte modele, trebuie analizat curba ROC a modelului.
Aceasta ofer o imagine a sensibilitii i specificului pentru toate punctele extreme
posibile. Graficul conine dou curbe corespunztoare celor dou categorii ale variabilei
dependente, acestea fiind simetrice fa de o dreapt cu panta de 45o. Aria suprafeei de
sub curbe reprezint probabilitatea ca situatia previzionat, de a aparine acelei categorii
sa fie mai mare pentru un caz ales aleator din acea categorie dect pentru un caz ales
aleator care nu face parte din categoria respectiv.

Figura 4- 1: Curba ROC nainte

de respecificarea modelului

Figura 4- 2: Curba ROC dup

respecificarea modelului

Figura 4- 3: Aria suprafeei de sub curbe

Pentru un client care are un PEP ales aleator i unul care nu are un PEP ales i el aleator,
avem o probabilitate de 0.986 ca probabilitatea previzionat pentru un client cu PEP s
fie mai mare pentru un client cu PEP dect unul fr PEP. Se constat c aceste arii nu
difer foarte mult dup respecificarea modelului.
Un alt grafic care indic ct de bun este modelul este curba cumulative gains care
arat procentul din numrul total de cazuri dintr-o categorie dat n funcie de un anumit
procent din numrul total de cazuri.

Figura 4- 4: Curba cumulative gains

nainte de respecificarea modelului

Figura 4- 5: Curba cumulative gains

dup respecificarea modelului

Astfel n cazul categoriei celor care au un PEP primul punct de pe grafic indic faptul c
dac aplici reeaua pentru un set de date se va ajunge la concluzia ca primele 10% din
cazurile alese aleator conin aproximativ 20% din toate cazurile care aparin categoriei
celor are au un PEP, pentru 20% vom avea aproximativ 40% de clieni care au PEP.
Pentru 100% vom avea 100%.
Pentru a stabili procentul acceptabil trebuie s inem cont de costul erorilor de tip I i de
tip II.
Costul erorii de tip I: Costul clasificrii unui client cu PEP ca i un client fr PEP
Costul erorii de tip II: Costul clasificrii uni client fr PEP ca i un client cu PEP
Dac suntem interesai de clienii cu PEP atunci vom micora eroare de tip I, dac suntem
interesai de cei fr PEP, vom micora eroarea de tip II. nainte de respecificarea
modelului pentru 50% din clienii alei aleator, aproximativ 90% aparin celor care au un
PEP. Dup respecificarea acestuia procentul este de aproximativ 96%.

Importanta variabilelor independente este o msur a influenei diferitelor valori ale

variabilelor independente asupra modelului reelei. Importana normalizat este dat de
raportul procentual dintre valorile importanei i cea mai mare valoare a acesteia.
Figura 4- 6: Importana variabilelor
independente nainte
de respecificarea modelului

Figura 4- 7: Importana variabilelor

independente
dup respecificarea modelului

n primul caz, variabilele care au cea mai mare influena asupra faptului c un client are
un PEP sau nu sunt Numrul de copii?, Venit?, Suntei cstorit?, Avei ipotec?. n a
dou varianta, variabilele cele mai importante sunt aceleai, doar c influena lor este mai
redus dect n primul caz.
Utiliznd o reea neuronal s-a obinut un model care poate fi utilizat n previzionarea
probabilitii ca un client s aib un PEP. Aceast metod permite o testare mai riguroas
a modelului(innd cont ca setul de date este mprit n trei eantioane dintre care unul
este folosit pentru a testa validitatea modelului).