Documente Academic
Documente Profesional
Documente Cultură
Se consider problema:
Metoda gradientului.
Ideea metodei gradientului, cunoscut i ca metoda pasului descendent a lui Cauchy, emis de A.L.
Cauchy n secolul XIX(1847) se bazeaz pe o aproximaie de ordinul I, liniar, f (x)L a dezvoltrii
n serie Taylor pentru funcia criteriu f (x) . Fiind repede admis ca una dintre cele mai frecvent
utilizate metode de optimizare, datorit mai ales uurinei de utilizare pentru probleme de
dimensiuni mici. Totui odat cu dezvoltarea tehnicii de calcul metoda a fost eclipsat de
alte metode iterative mult mai complicate din punct de vedere algoritmic, dar
mai eficiente computaional. Virtual, orice metod de minimizare a funciilor suficient de netede
i are originea n metoda gradientului.
Se pune:
x k 1 x k k s k
(1)
n principiu, vectorul s este astfel ales nct prin deplasarea din x n direcia s , s se obin cel
puin n prima faz a deplasrii o descretere a valorii funciei de minimizat f.
O dat stabilit direcia de deplasare sk, pasul k se alege astfel nct:
k
Prin urmare:
Figura 1
f ( x k 1 ) f ( x k )
f ( x 0 ) f ( x 1 ) f ( x 2 ) ...
xk
x k 1 x k k s k
sk
(2)
cu condiia ca
f ( x k ) 0 .
f ( x k )
Caracteristic acestei metode este faptul c dou direcii de deplasare consecutive sunt
perpendiculare! ntr-adevr, dat direcia sk, lungimea pasului k al deplasrii se afl, aa cum s-a
mai spus, minimiznd funcia unidimensional:
g ( ) f ( x k s k ) , 0
i 1
i 1
f ( x1 , x 2 ,..., x n ) c0 ci xi xi2 c0 cx x
c (c1 , c 2 ,..., c n )
2. Testarea convergenei.
Criteriile cele mai frecvent utilizate pentru aprecierea unei metode de
calcul se refer la precizia rezultatelor, viteza de convergen a procedeului
iterativ, timpul de calcul, volumul necesar de memorie a calculatorului. Primele
dou criterii - precizia i viteza de convergen - sunt cele mai importante, dar
ele nu pot permite o ordonare univoc a tuturor metodelor de calcul, ntruct
estimarea vitezei de convergen a unei metode rmne valabil numai pentru
o clas de probleme, dar nu i pentru altele.
Decizia cu privire la acceptarea unei iterate xk ca o aproximaie adecvat a soluiei se bazeaz pe dou teste:
- dac irul xk este convergent;
- dac xk satisface condiiile suficiente de optimalitate.
k 1
f f
Se observ c aceste teste au un caracter relativ i sunt potrivite pentru valori ale lui xk sau ale lui f k
ndeprtate de zero. La valori ale lui xk sau ale lui f k apropiate de zero este necesar ca testele s aib un
caracter absolut. De exemplu:
x k x k 1 x
f
k 1
k n
f f
k
k n
x
sau x x
k
k n
f
sau f f
Dac se utilizeaz derivatele atunci testul satisfacere a condiiilor suficiente capt forma mai simpl:
sk s
Se poate ntmpla ca, din cauza unei nefericite alegeri a aproximaiei iniiale x0 sau a
structurii funciei de minimizat sau din faptul c paii succesivi sunt perpendiculari, procesul
iterativ, dei convergent, s fie foarte lent. Mai precis, dac hipersuprafeele de nivel au o oarecare
excentricitate zig zagul procesului iterativ amendeaz convergena,deoarece n acest caz
direcia gradientului este mult diferit de direcia ctre minim .n asemenea situaii, timpul de calcul
poate atinge valori nepermis de mari. Vom evita acest inconvenient limitnd din start numrul
iteraiilor posibil de efectuat.
START
k=0
k=k+1
NU
BLOCUL O
Sunt verificate criteriile de
oprire ale procesului de calcul?
DA
Se cerceteaz dac ultima aproximaie
calculat poate constitui o aproximare
acceptabil pentru soluia problemei
de minimizare
STOP
Figura 2
Metoda Newton.
n cadrul metode gradientului, pentru stabilirea direciei de coborre am utilizat numai partea
liniar a dezvoltrii n serie Taylor. Dac funcia obiectiv este difereniabil i permite ca pe lng
vectorul gradient f(x) s construim relativ simplu hessianul, putem utiliza pentru minimizarea
funciei metode de ordinul doi, care se bazeaz pe aproximarea cuadratic a funciei obiectiv. Cum
aproximarea ptratic constituie o mai bun aproximare n raport cu cea liniar, este de ateptat ca
aceste metode s sporeasc eficiena procedurilor de calcul.
Metoda Newton necesit evaluarea inversei matricei Hessian, lucru care este foarte costisitor din
punct de vedere numeric. Prima i una din cele mai importante scheme de construcie a inversei
matricei Hessian a fost propus de Davidon (1959). Metoda a fost mai trziu modicat i
mbuntit de Fletcher i Powell (1964), algoritmul propus de ei ind cunoscut sub numele de
algoritmul Davidon-Fletcher-Powell (DFP). O alt variant este cunoscut sub numele BroydenFletcher-Goldfarb-Shanno (BFGS).
Metoda Newton folosete o aproximaie ptratic f (x)P, rezultnd pentru dezvoltarea n serie
n jurul unui punct xk expresia:
f (x)P= f(xk)+
(x-xk)+
(x-xk)T
(x-xk)
(1)
(x-xk)
(2)
Pentru ca punctul de optim x* s asigure extremul aproximaiei ptratice f (x)P este necesar
anularea gradientului acestei expresii pentru x = x*,rezult:
(x*- xk)=0
Considernd c matricea Hessian
(3)
x*- xk=
-1
(4)
Aceast relaie atest faptul c adoptnd n procesul de iteraie un vector de direcie pk definit de
relaia:
pk =
-1
(5)
, avem:
(6)
-1
(7)
Dac se adopt
(cu respectarea condiiei > 0) i se pstreaz direcia pk din (5), atunci
procesul iterativ este descris de relaia:
xk+1 = xk
-1
(8)
care reprezint metoda Newton cu pas variabil (sau metoda Newton generalizat).
Metodele Newton au avantajul ca aproximeaz funcia criteriu mult mai exact dect
metodele de gradient, asigur o aproximare mai bun a soluiilor prin deplasrile pe direcia pk din
(5) i deci permit obinerea unei convergene mai rapide a procesului iterativ dect n cazul
metodelor de gradient.
n schimb, dup cum s-a mai menionat, calculul matricei Hessian - la fiecare iteraie - este
foarte laborios i necesit un mare numr de operaii aritmetice, ceea ce face ca la metodele Newton
numrul de operaii aritmetice pe iteraie s fie mult mai ridicat dect la metodele de gradient,
reducndu-se astfel eficiena metodelor Newton. De aceea au fost cutate metode de calcul care sa
convearg aproape ca metodele Newton, fr a necesita numrul mare de operaii pe iteraie pe care
l implic metodele Newton.