Universitatea POLITEHNICA din Bucureti

FACULTATEA DE ENERGETIC
060042 Bucureti, Splaiul Independenei, nr. 313, sector
6

Proiect la
Aplicatii ale tehnicilor de inteligenta artificiala

BUCURETI, 2015

Din cazurile existente in baza de date, folosim aproximativ 2/3 pentru antrenarea re elei
neuronale i 1/3 pentru testarea ei.
RNA este de tip perceptron multistrat, cu un strat ascuns. Folosim toolbox-ul neural networks
din MATLAB pentru configurare i antrenare.

1. Metoda Levenberg-Marquardt
La fel ca la metodele quasi-Newton, algoritmul Levenberg-Marquardt a fost proiectat
pentru atinge o viteza de antrenare de ordinul doi, fara a fi necesara calcularea matricei
Hessiene. Cand functia de performanta are forma unei sume de patrate (caracteristic pt.
retelele cu transmitere inainte), atunci matricea Hessiana poate fi aproximata astfel: H = J T J,
iar gradientul poate fi calculat astfel: g = J T e , unde J este matricea Jacobiana care contine
primele derivate ale erorilor retelei (adica a functiei de performanta) in raport cu ponderile si
deplasarile, iar e este vectorul erorilor retelei. Matricea Jacobiana poate fi calculata printr-o
tehnica standard de propagare inversa (care este mult mai putin complicata decat calcularea
matricii Hessiene). Algoritmul Levenberg-Marquardt foloseste aceasta aproximare pt.
matricea Hessiana, intr-o recurenta asemanatoare cu metoda Newton:

5 neuroni pe stratul ascuns

Performanta 3.5*10-7, indeplinita dupa 5 iteratii.

-15 neuroni pe stratul ascuns

Performanta 3.84*10-7, indeplinita dupa 1 iteratie.

-25 neuroni pe stratul ascuns

Performanta 3.42*10-7, indeplinita dupa 2 iteratii.

2. Metoda back-propagation gradient descendent

Algoritmul back-propagation este cel mai cunoscut i utilizat algoritm de nvare
supervizat. Numit i algoritmul delta generalizat, el se bazeaz pe minimizarea diferenei
dintre ieirea dorit i ieirea real, prin metoda gradientului descendent. Se definete
gradientul unei funcii F(x,y,z,...) drept:

Gradientul ne spune cum variaz funcia n diferite direcii. Ideea algoritmului este
gsirea minimului funciei de eroare n raport cu ponderile conexiunilor. Eroarea este dat
bineneles de diferena dintre ieirea dorit i ieirea efectiv a reelei. Cea mai utilizat
funcie de eroare este cea a celor mai mici ptrate. Dac avem n setul de antrenare K modele
iar reeaua are N ieiri, atunci:

unde kny este valoarea dorit pe ieirea n a reelei pentru modelul k, iar Okn este ieirea
efectiv a reelei.
O rat de nvare mic determin o convergen lent a algoritmului, pe cnd una prea
mare poate cauza eecul (algoritmul va sri peste soluie)

5 neuroni pe stratul ascuns

Performanta 0.457*10-3 atinsa dupa 1000 de iteratii.

-15 neuroni pe stratul ascuns;

Performanta 0.356*10-3 atinsa dupa 1000 de iteratii.

-25 de neuroni pe stratul ascuns

Performanta 4.98*10-3 atinsa dupa 1000 de iteratii.

3. Metoda gradient conjuga

Algoritmul de baza al propagarii inverse ajusteaza ponderile in directia celei mai abrupte
descresteri (care este gradientul negativ). Aceasta este directia in care functia de performanta
descreste cel mai rapid. Facem observatia ca, desi functia descreste cel mai rapid in lungul
gradientului negativ, aceasta nu duce neaparat la cea mai rapida convergenta. Algoritmii cu
gradient conjugat realizeaza o cautare in lungul directiilor conjugate, care duce in general
- la o convergenta mai rapida decat directiile celor mai abrupte descresteri. In aceasta
sectiune, vom prezenta patru variante diferite ale algoritmilor cu gradient conjugat.
-

25 neuroni pe stratul ascuns

Performanta 3.23*10-7 atinsa dupa 48 de iteratii.

-15 neuroni pe stratul ascuns

Performanta 3.7*10-7 atinsa dupa 26 iteratii.

-5 neuroni pe stratul ascuns

Performanta 3.65*10-7 atinsa dupa 35 de iteratii.

Concluzii:

Levenberg-Marquardt
In urma simulari metodei Levenberg-Marquardt se observa ca performata obtinuta se
obtine dupa 5 iteratii la 5 neoroni pe stratul ascuns, o iteratie pentru 15 neuroni pe stratul ascuns
si 2 iteratii pentru 25 de neuroni pe stratul ascuns.
Back-propagation
In cazul metodei Back-propagation performanta se obtine dupa 1000 de iteratii indiferent
de numarul de neuroni pe stratul ascuns, cu o valoare maxima la 25 de neuroni.
Gradient conjugat
In cazul acestei metode se obtine o valoare aporximativa a performatei dar in cazul a 5
neuroni pe statul ascuns se obtine dupa 35 de iteratii, la 15 neuroni, la 26 de iteratii si la 25 de
neuroni la 48 de iteratii.
Ca o comparatie a metodelor simulate se observa ca cele mai multe iteratii necesare
pentru obtinerea performantei este in cazul metodei Back-propagation si cele mai putine iteratii
necesare sunt in cazul metodei Levenberg-Marquardt.