2.

Metode de calcul pentru optimizarea fr restricii

Problemele de optimizare ntlnite n practic sunt probleme cu restricii, dar metodele
de calcul pentru optimizarea fr restricii sunt importante prin faptul c pot fi folosite cu
succes dup transformarea problemelor de optimizare cu restricii n probleme de optimizare
fr restricii (transformare din categoria c - TR, menionat n paragraful 1.2.3).
2.1. Principalele categorii de metode de calcul
Dup cum se tie, n cazul funciilor f(x) de o singur variabil, x fiind deci scalar,
condiiile necesare i suficiente de extrem se stabilesc prin intermediul primei derivate
f ( x) = df ( x) / dx i a celei de a doua derivate f ( x) = d 2 f ( x) / dx 2 .
Condiia necesar pentru un extrem (maxim sau minim) este anularea primei derivate
f ( x) = 0
(2.1)

reprezentnd condiia de staionaritate.

Pentru un maxim, condiiile necesare i suficiente sunt f ( x) = 0 mpreun cu condiia
de concavitate
f ( x) < 0 ,
(2.2)
iar pentru un minim condiiile necesare i suficiente sunt f ( x) = 0 mpreun cu condiia de
convexitate
f ( x) > 0 .
(2.3)
*
Condiia de staionaritate este ndeplinit n punctul optim x , iar condiia de
convexitate este ndeplinit n jurul acestui punct.
Condiiile menionate sunt valabile pentru funcii f(x) cel puin de gradul doi; aceste
condiii nu sunt valabile pentru funcii de gradul nti, liniare, de forma f(x) = ax + b, ntruct
la acestea rezult f ( x) = a i deci prima derivat nu depinde de variabila x. Datorit acestui
fapt, metodele de programare neliniar (folosite pentru optimizarea funciilor criteriu neliniare
f(x), unde x este un vector) nu pot fi folosite pentru rezolvarea problemelor de programare
liniar, cu funcii criteriu i restricii liniare.
n cazul optimizrii funciilor criteriu f(x) de variabil vectorial, principalele categorii
de metode de calcul se disting dup faptul c unele fac apel la primele derivate, altele necesit
derivatele prime i secunde, iar o a treia categorie nu necesit nici determinarea primelor
derivate, nici a derivatelor secunde; cele trei categorii de metode aproximeaz dezvoltarea n
serie Taylor a funciei f(x) prin reinerea unui numr diferit de termeni.
Metodele din prima categorie pot fi denumite metode de gradient sau metode bazate pe
prima variaie, metodele din a doua categorie pot fi denumite metode Newton sau metode
bazate pe a doua variaie, iar metodele din a treia categorie sunt denumite metode de cutare
direct sau metode directe, ntruct asigur optimizarea apelnd numai la valorile funciei
criteriu.
Pentru o funcie scalar derivabil f(x) de variabil vectorial x, f : n , vectorul
gradient (vector linie n-dimensional), care constituie o direcie, i are o importan esenial n
optimizare, reprezint prima derivat i se poate nota prin f ( x), f x sau prin f (x) , fiind
definit prin derivatele pariale ale funciei, respectiv:
f ( x) f ( x)
f ( x)
(2.4)
L
f ( x) f x f ( x) =

x2
xn
x1
2-1

ntr-un punct x1, gradientul f ( x 1 ) indic direcia n care, pornind din punctul x1, are
loc cea mai abrupt cretere a funciei criteriu f(x).
De fapt, orice vector n-dimensional p poate servi ca direcie n spaiul n . Astfel, dac
se d punctul x n i direcia p (cu p 0 ), atunci punctul
y = x+ p

(2.5)

pentru variaii ale scalarului ntre 0 i descrie o raz care pornete din punctul x pe
direcia p, iar pentru variaii ale scalarului ntre i + descrie toat dreapta care trece
prin x i coincide cu direcia p.
Importana gradientului pentru optimizare rezid i n faptul c pentru o anumit
direcie dat p, produsul scalar

< f x , p > = f xT p

(2.6)

exprim viteza de variaie a funciei f de-a lungul direciei p. Astfel, n analiza matematic se
demonstreaz c pentru o funcie f(x) derivabil n punctul x are loc relaia [Cl79]
f ( x + p) f ( x)
= f xT p ,
(2.7)
lim
0

expresia (2.7) fiind denumit derivat Gateaux.

Presupunnd c optimizarea urmrete maximizarea unei funcii criteriu concave f(x),
relaia (2.7) permite s se demonstreze c dac f(x) este derivabil n punctul x i exist o
direcie p pentru care
< f x , p > = f xT p > 0 ,

(2.8)

atunci exist > 0 astfel nct pentru orice valoare 0 < se obine
f ( x + p) > f ( x) ,

(2.9)

deci pe direcia p are loc creterea funciei criteriu i apropierea de maxim. Astfel, din (2.7) i
(2.8) se obine
f ( x + p) f ( x)
(2.10)
lim
>0
0

i din definiia limitei rezult c trebuie s existe > 0 astfel nct pentru orice 0 i
cuprins ntre i + s se obin
f ( x + p) f ( x)
> 0.
(2.11)

Se constat c dac se aleg valori pozitive care verific inegalitatea (2.11), relaia (2.9) este
demonstrat. Toate direciile care satisfac condiia (2.8) asigur creterea funciei f(x) i deci
apropierea de maxim.
Expresiile (2.8) i (2.9) atest faptul c gradientul indic totdeauna spre maxim; n
punctul maxim x * , gradientul este nul, deci:

f ( x * ) f ( x * ) = 0 .

(2.12)

Relaia (2.8) arat c unghiul dintre vectorii fx i p trebuie s fie mai mic de 90.
Dac n locul maximizrii unei funcii concave, optimizarea urmrete minimizarea unei
funcii criteriu convexe f(x), atunci direciile p trebuie alese dintre direciile care asigur
condiia
< f x , p > = f xT p < 0
(2.13)
ntruct n acest caz se va obine
f ( x + p ) < f ( x) ,

(2.14)
2-2

deci pe direcia p are loc descreterea funciei f(x) i apropierea de minim.

Relaia (2.13) arat c unghiul dintre vectorii fx i p trebuie s fie mai mare de 90, deci
unghiul dintre vectorii fx i p trebuie s fie mai mic de 90 pentru a se asigura descreterea
funciei f(x).
Rezult astfel c direcia gradientului fx indic totdeauna spre maximul unei funcii
concave, iar direcia fx indic totdeauna spre minimul unei funcii convexe.
Din considerentele expuse rezult deosebita importan a gradientului pentru
desfurarea procesului iterativ descris de relaiile de forma (1.54), respectiv
x k +1 = x k + k p k .

(2.15)

Astfel, presupunnd ca iteraia se gsete n punctul x k , atunci n cazul maximizrii

unei funcii concave direcia p a urmtoarei deplasri, spre punctul x k +1 , trebuie aleas dintre
direciile care satisfac condiia (2.8) n raport cu gradientul fx, adic f xT p > 0 , iar n cazul
minimizrii unei funcii convexe direcia p a urmtoarei deplasri trebuie aleas dintre
direciile care satisfac condiia (2.13) n raport cu gradientul fx, adic f xT p < 0 .
Derivatele secunde intervin n expresia matricei Hessian, care se obine din gradient
printr-o nou derivare n raport cu vectorul x. Notnd matricea Hessian cu H(x), f (x) sau fxx,
rezult
2 f
2 f
2 f
L

2
x1 x 2
x1 x n
2x1
2 f
2 f
f
L
(2.16)
H ( x) f ( x) f xx = x x
x2 xn
x 22

2 1
M
M
M

2M
2
2
f
f
f

L
x n x1 x n x 2
x n2
Calculul matricei f (x) - la fiecare iteraie a procesului de cutare a optimului - este
deosebit de laborios i de aceea cele mai multe dintre metodele folosite n practic evit acest
calcul.
n anumite probleme chiar determinarea gradientului poate fi sensibil mai complicat
dect determinarea valorii funciei (uneori gradientul nu poate fi exprimat analitic); n
asemenea cazuri, se prefer metodele de cutare direct, ilustrate n paragraful 2.5.
2.2. Metode de gradient

Ideea metodei gradientului, emis de A.L. Cauchy n secolul XIX [Cau47] se bazeaz
pe o aproximaie de ordinul I, liniar, f ( x) L a dezvoltrii n serie Taylor pentru funcia
criteriu f (x) . O asemenea aproximaie pentru dezvoltarea n jurul unui punct de maxim x *
are aspectul
f ( x) L = f ( x * ) + f ( x * ) T ( x x * ) ,
(2.17)
unde s-a folosit notaia f (x) pentru gradient.
Dezvoltarea complet n serie Taylor a funciei criteriu f (x) n jurul lui x * conduce la
expresia
1
f ( x) = f ( x* ) + f ( x* )T ( x x* ) + ( x x* )T f ( x* )( x x* ) + O[( x x* )3 ] , (2.18)
2
unde prin f"(x) s-a notat matricea Hessian din (2.16), iar restul O[( x x * ) 3 ] grupeaz toi

2-3

ceilali termeni ai dezvoltrii. Definind diferena

J = f ( x) f ( x * )

(2.19)

ca variaia funciei criteriu i notnd prin

x = x x*

(2.20)

variaia variabilei vectoriale, din (2.18) se obine:

1
J = f ( x * ) T x + x T f ( x * )x + O[x 3 ] .
(2.21)
2
Adoptnd aproximaia liniar din (2.17), se obine prima variaie descris prin:
1 J = f ( x * ) T x .

(2.22)

n punctele de maxim sau minim prima variaie este nul - avnd n vedere condiia de
staionaritate (2.12) - i (2.21) devine
1
J = x T f ( x * ) x + O[x 3 ] ,
(2.23)
2
termenul preponderant n aceast expresie reprezentnd-o doua variaie:
1
(2.24)
2 J = x T f ( x * ) x .
2
Pentru ca punctul x * s asigure un maxim al funciei criteriu este necesar ca a doua
variaie s fie negativ - ntruct, conform cu (2.19), J < 0 asigur relaia f ( x) < f ( x * )
care definete un maxim n punctul x * - deci este necesar condiia:
1
2 J = x T f ( x * ) x < 0 .
(2.25)
2
Ca urmare, valorile proprii ale matricei Hessian trebuie s fie negative.
n practic se folosesc diferite variante de metode de gradient. Una din cele mai
utilizate este aa numita metod a celei mai mari pante sau a celei mai abrute coborri, n
ipoteza c optimul cutat este un minim. Aceast metod pornete de la ideea de a adopta n
relaia x k +1 = x k + k p k (2.15), o direcie p dat de

p = f x f (x)

(2.26)

ntruct astfel se asigur n mod simplu satisfacerea condiiei (2.13) de deplasare spre minim,
deoarece rezult
n

f xT p = f xT f x = f x2i < 0

(2.27)

i =1

avnd n vedere i (1.49).

Din (2.15) i (2.26) rezult c procesul iterativ de cutare a minimului este definit de
relaia
x k +1 = x k k f ( x k )
(2.28)
unde k > 0 .
Diversele subvariante ale metodei celei mai mari pante se deosebesc prin tehnica
alegerii valorii pasului k [Cl79].
Pe lng metoda celei mai mari pante se folosesc i alte variante de metode de gradient,
la unele dintre aceste variante procesul iterativ de cutare a minimului fiind descris de relaii
de forma
x k +1 = x k k Fk f ( x k ) .
(2.29)

2-4

Comparnd (2.15) cu (2.29) se constat c vectorul direciei p k are expresia

p k = Fk f ( x k ) ,

(2.30)

deci, pentru a obine din (2.30) relaia (2.26), care definete metoda celei mai mari pante, este
necesar ca pentru Fk s se adopte matricea unitate.
Pentru asigurarea relaiei (2.13), matricea simetric Fk - determinat la fiecare iteraie trebuie s satisfac anumite condiii.
Compararea diverselor variante de metode de gradient, din punct de vedere al eficienei,
ca i compararea diferitelor categorii de metode de calcul, reprezint o problem dificil. n
primul rnd, compararea se poate efectua numai pe baza unuia sau mai multor criterii, iar n
practic este necesar considerarea simultan a mai multor criterii, dintre care unele conduc la
rezultate contradictorii.
Criteriile cele mai frecvent utilizate pentru aprecierea unei metode de calcul se refer la
precizia rezultatelor, viteza de convergen a procedeului iterativ, timpul de calcul, volumul
necesar de memorie a calculatorului. Primele dou criterii - precizia i viteza de convergen sunt cele mai importante, dar ele nu pot permite o ordonare univoc a tuturor metodelor de
calcul, ntruct estimarea vitezei de convergen a unei metode rmne valabil numai pentru
o clas de probleme, dar nu i pentru altele. De aceea este indicat ca proiectantul de optimizri
s dispun de un bagaj ct mai vast de metode de calcul i de rezultate concrete obinute n
aplicarea fiecrei metode la anumite clase de probleme.
n cadrul procesului iterativ (2.15), alegerea direciei p k determin viteza de convergen, iar alegerea pasului k influeneaz puternic volumul de calcul la fiecare iteraie.
2.3. Metode Newton

Metoda gradientului se bazeaz pe aproximarea liniar f(x)L din (2.17) a dezvoltrii n

serie Taylor a funciei criteriu f(x), deci pe cea mai grosier aproximaie.
Metoda Newton folosete o aproximaie ptratic f(x)P, rezultnd pentru dezvoltarea n
serie n jurul unui punct x k expresia
1
(2.31)
f ( x) P = f ( x k ) + f ( x k ) T ( x x k ) + ( x x k ) T f ( x k )( x x k )
2
conform cu o relaie analoag cu (2.18) (relaia (2.18) a fost scris pentru dezvoltarea n jurul
punctului de optim x * , iar relaia (2.31) - pentru dezvoltarea n jurul punctului x k , considerat
apropiat de punctul optim x * ).
Pentru ca punctul de optim x * s asigure extremul aproximaiei ptratice f(x)P este
necesar anularea gradientului acestei expresii pentru x = x * , condiie de tipul (2.12).
Calculnd gradientul expresiei (2.31) se obine
d f ( x) P
(2.32)
f ( x ) P =
= f ( x k ) + f ( x k ) ( x x k )
dx
i anulnd valoarea gradientului pentru x = x * rezult:
f ( x k ) + f ( x k ) ( x * x k ) = 0 .

(2.33)

Considernd c matricea Hessian f ( x * ) este inversabil, din (2.33) se obine:

x * x k = [ f ( x k )]1 f ( x k )

(2.34)

Aceast relaie atest faptul c adoptnd n procesul de iteraie un vector de direcie p k

definit de relaia

2-5

p k = [ f ( x k )]1 f ( x k )
se obine o deplasare ctre punctul optim x * .
Astfel, presupunnd deocamdat c n (2.15) se adopt
k = 1,

(2.36)

relaia (2.15) devine

x k +1 = x k + p k ,

(2.37)

(2.35)

iar din (2.34) i (2.35) rezult

x* x k = p k ,

(2.38)

nlocuirea expresiei p k din (2.38) n (2.37) conducnd la relaia

(2.39)
x k +1 = x k + x * x k = x * .
Evident, rezultatul din (2.39) nu este exact, ntruct toate expresiile anterioare au fost
obinute pe baza aproximaiei ptratice f(x)P, dar el atest c deplasarea din xk pe direcia p k
din (2.35) se efectueaz ctre punctul optim x * . nlocuind (2.35) n (2.37) se obine metoda
Newton clasic de calcul:
x k +1 = x k [ f ( x k )]1 f ( x k ) ,
(2.40)
corespunztoare valorii k = 1 din (2.36).
Dac extremul este un maxim, direcia p k din (2.35) va satisface condiia (2.8), iar dac
extremul este un minim - va satisface, condiia (2.13).
Astfel, facnd abstracie de indicele superior k al iteraiei, cu expresia lui p din (2.35) se
obine
f xT p f ( x) T p = f ( x) T [ f ( x)]1 f ( x) .
(2.41)
n apropierea unui maxim valorile proprii ale matricei Hessian f (x) sunt negative cum a rezultat din (2.25) - i deci condiia (2.8) este satisfcut, iar n cazul unui minim
valorile proprii sunt pozitive i ca urmare este satisfcut condiia (2.13).
Dac se adopt
(2.42)
k 1
- spre deosebire de (2.36) - (cu respectarea condiiei > 0) i se pstreaz direcia p k din
(2.35), atunci procesul iterativ este descris de relaia
x k +1 = x k k [ f ( x k )]1 f ( x k )
(2.43)
care reprezint metoda Newton cu pas variabil (sau metoda Newton generalizat).
Metodele Newton au avantajul ca aproximeaz funcia criteriu mult mai exact dect
metodele de gradient, asigur o aproximare mai bun a soluiilor prin deplasrile pe direcia
p k din (2.35) i deci permit obinerea unei convergene mai rapide a procesului iterativ dect
n cazul metodelor de gradient.
n schimb, dup cum s-a mai menionat, calculul matricei Hessian - la fiecare iteraie este foarte laborios i necesit un mare numr de operaii aritmetice, ceea ce face ca la
metodele Newton numrul de operaii aritmetice pe iteraie s fie mult mai ridicat dect la
metodele de gradient, reducndu-se astfel eficiena metodelor Newton. De aceea au fost
cutate metode de calcul care sa convearg aproape ca metodele Newton, fr a necesita
numrul mare de operaii pe iteraie pe care l implic metodele Newton. Unele dintre
metodele respective, care au n prezent o utilizare din ce n ce mai larg, sunt menionate n
paragraful urmtor.

2-6

2.4. Metodele direciilor conjugate

Aceste metode folosesc o aproximare ptratic a funciei criteriu fr s implice calculul

explicit al matricei Hessian la fiecare iteraie, iar informaia necesar aferent acestei matrice
este obinuta n decursul ctorva iteraii, ceea ce micoreaz mult efortul de calcul la fiecare
iteraie, fr ca precizia aproximrii funciei criteriu s scad sensibil.
Fiind dat o matrice simetric A n n -dimensional, direciile reprezentate de vectorii
n-dimensionali p1, p2, ..., pm - cu m n - se numesc A-conjugate dac vectorii p i (i = 1, 2, ...,
m) sunt liniar independeni i dac satisfac relaia
T

pi A p j = 0

(2.44)

pentru i j , cu i = 1, 2,..., m; j = 1, 2, ..., m.

Sistemul vectorilor p1, p2, ..., pm este liniar independent - fiind un sistem ortogonal n
metrica definit de matricea A - i ca urmare punctul
m

y = i pi

(2.45)

i =1

descrie un subspaiu m-dimensional atunci cnd scalarii i iau valori de la la + .

Pornind de la un punct x1 dat i cu valoarea m dat, cu m n , se consider punctul
m

y 1 = x1 + i p i .

(2.46)

i =1

Pentru variaii arbitrare ale scalarilor i se obine o varietate liniar m-dimensional, rezultat
din translarea subspaiului m-dimensional.
Dac m = n - i acesta este cazul care prezint cel mai mare interes - atunci punctul x1 i
cele n direcii A-conjugate genereaz o varietate n-dimensional care coincide cu n , ntruct
vectorii celor n-direcii A-conjugate sunt liniari independeni.
Se poate demonstra [Bri05] c dac se adopt o funcie criteriu ptratic, atunci
maximul (sau minimul) funciei pe varietatea menionat, care coincide cu n , poate fi
determinat numai n n pai, verificnd cte o singur dat fiecare din cele n direcii Aconjugate, ordinea verificrii fiind indiferent.
Construirea direciilor conjugate pentru minimizarea unei funcii ptratice a fost
propus de W.C. Davidon [Cl79], care a elaborat "algoritmul cu metric variabil", ideea
fiind dezvoltat de R. Fletcher i M.J.D. Powel [Cl79], rezultnd metoda de calcul cunoscut
sub denumirea "algoritmul Davidon-Fletcher-Powell" (DFP).
Algoritmul propus de Davidon a introdus o metric variabil n relaiile iterative ale
metodei celei mai mari pante, n locul expresiei (2.28) fiind folosit relaia
x k +1 = x k k S k f ( x k ) ,
(2.47)
unde matricea Sk, de dimensiune n n este actualizat la fiecare iteraie printr-o relaie
recursiv. Se constat c dac n locul matricei Sk din (2.47) s-ar introduce matricea unitate, se
obine (2.28). De fapt, n algoritmul lui Davidon se noteaz
d k +1 = k S k f ( x k ) ,
(2.48)
iar formula recursiv pentru obinerea matricei Sk, care asigur construirea direciilor
conjugate, are aspectul
T

S k = S k 1

S k 1 q k q k S k 1

(2.49)

q k S k 1 q k

unde q k = f ( x k ) f ( x k 1 ) . n calitate de matrice iniial S0 se alege de regul matricea

2-7

unitate.
Din (2.43), (2.47), (2.48) i (2.49) se constat c algoritmul DFP construiete la fiecare
iteraie o aproximaie a matricei Hessian, bazat pe informaia obtinut prin intermediul
gradientului. La fiecare iteraie se alege pentru k valoarea care minimizeaz funcia

f [ x k S k f ( x k )] ,

(2.50)

considerat ca funcie de o singur variabil [Cl79], f(x) fiind funcia criteriu.

Metoda direciilor conjugate poate fi utilizat i la minimizri de funcii criteriu care nu
sunt ptratice, ntruct pentru funciile convexe aproximarea ptratic este bun, indeosebi n
apropierea punctului de minim.
Rezultatele teoretice ale algoritmului DFP au fost generalizate la o clas de algoritmi cu
metric variabil [Cl79].
O variant interesant de construire a direciilor conjugate a fost propus de Fletcher i
Reeves [Cl79], care au elaborat metoda gradientului conjugat att pentru minimizarea
funciilor ptratice, ct i pentru minimizarea funciilor care nu sunt ptratice. n cadrul
acestei variante direciile conjugate sunt generate prin intermediul relaiei

p k +1 = f ( x k +1 ) +

f ( x k +1 ) T f ( x k +1 ) k
p ,
f ( x k ) T f ( x k )

(2.51)

pentru direcia iniial (care pornete din punctul x0) adoptndu-se

p 0 = f ( x0 ) .
O alt caracteristic a metodei gradientului conjugat const n faptul c gradienii, la
diverse iteraii, sunt ortogonali, adic

< f ( x i ), f ( x j ) > = 0

(2.52)

pentru i j conform cu (1.55).

ntruct la algoritmul DFP apare necesitatea memorrii matricei Sk, n n -dimensional,
pentru problemele de dimensiuni mari, metoda gradientului conjugat apare mai indicat,
necesitnd numai memorarea gradientului curent f ( x k ) i a direciei curente p k pentru
generarea noii direcii p k +1 , conform cu (2.51).
O variant a metodei gradientului conjugat este reprezentat de metoda gradientului
conjugat scalat [Cl79], menionat n observaia din paragraful 3.2.
2.5. Metode de cutare direct

Metodele de cutare direct (sau metodele directe) pot oferi numai soluii aproximative
ale problemelor de optimizare, dar n schimb asigur convergena pentru orice punct ales
iniial, n timp ce metodele care folosesc gradientul, matricea Hessian sau o aproximaie a
acesteia asemenea metode sunt denumite uneori metode indirecte pot oferi soluii exacte,
dar necesit un punct iniial bine ales.
n cazul metodelor indirecte, folosirea indicaiilor date de gradient (sau de gradient i de
matricea Hessian), de exemplu, pentru determinarea unui maxim, poate fi comparat cu o
ascensiune spre un vrf de munte care este vizibil n timpul urcuului, iar folosirea metodelor
directe poate fi considerat analoag cu o ascensiune n condiii de lips de vizibilitate a
vrfului (de exemplu pe cea), cnd singurele informaii de care dispune cel care caut vrful
se refer la sesizarea faptului c urc sau coboar [Cl79].
Ilustrarea metodelor directe poate fi uor fcut prin intermediul unei funcii de o
singur variabil f(x), variabila x fiind deci scalar; o asemenea cutare a extremului este
denumit "de-a lungul unei drepte" (n limba engleza, "along a line"), deoarece variabila x ia

2-8

valori n 1 , deci pe o dreapt.

Presupunnd c se cunoate intervalul de variaie (a mrimii x) n care se gsete
extremul - de exemplu, se tie c ntre 0 i 1 exist un maxim, funcia f(x) fiind concav cutarea direct poate fi efectuat prin mai multe metode.
n Fig. 2.1 este ilustrat aplicarea metodei dichotomiei (njumtirii intervalului).
Metoda prevede alegerea a dou valori x = x1 i x = x 2 n jurul centrului intervalului,
respectiv n jurul valorii x = 0.5, cele dou valori fiind apropiate ntre ele, deci diferind cu o
valoare mic ; se compar valorile funciei f(x1) i f(x2) i dac rezult, de exemplu
f ( x1 ) > f ( x 2 )
(2.53)
ca n Fig. 2.1, atunci poate fi eliminat intervalul x x 2 (haurat n Fig. 2.1), ntruct funcia
este concav i maximul se va gsi ntre 0 i x2.
Se aleg apoi alte dou valori x = x3 i x = x4 n jurul centrului intervalului rmas (dintre
0 i x2), separate tot prin , i se compar valorile f(x3) i f(x4) ale funciei criteriu; dac
rezult, de exemplu
f ( x4 ) > f ( x3 )
(2.54)
ca n Fig. 2.1, atunci poate fi eliminat i intervalul (haurat) x x3 ntruct maximul se va
gsi n domeniul x > x3 respectiv n intervalul rmas nehaurat
x3 < x < x 2 .
(2.55)
Se continu succesiv cu centrri de perechi de valori x, comparaii ale valorilor funciei
i njumtirii de interval, pn la obinerea unui interval foarte mic n care se gsete punctul
de optim x * , deci pn la obinerea soluiei aproximative cu o toleran admis.
Neglijnd valoarea a distanei dintre perechile de puncte i avnd n vedere c prin
dou testri ale valorilor funciei criteriu se asigur o njumtire a fiecrui interval, rezult
c dup n testri intervalul In care rmne de explorat are expresia aproximativ:

I n 1/ 2n / 2

(2.56)

Alte metode de cutare de-a lungul unei drepte (de exemplu, metoda Fibonacci i
metoda seciunii de aur) au o eficien sensibil superioar, reducerea intervalului iniial fiind
mai rapid [Ray73].
Metodele de cutare de-a lungul unei drepte au o importan deosebit i n cutarea
extremului unei funcii criteriu de variabil vectorial, ntruct dup alegerea direciei p k din
cadrul procesului iterativ (2.15), determinarea valorii k se efectueaz prin gsirea
extremului unei funcii de variabil
scalar de-a lungul direciei p k , f(x)
dup cum s-a ilustrat i prin (2.50).
ncercri de a organiza cutarea
direct a punctului de optim, fr
determinarea gradientului, au fost
fcute i n cazul funciilor criteriu de

variabil vectorial, fiind elaborate

diferite strategii de explorare. n cadrul

celei mai simple strategii fiecare
variabil (component, a vectorului x)
este succesiv modificat pn se
x3 x4 x* x1 x2
1 x
obine un extrem - de exemplu, un 0
Fig. 2.1
maxim - al funciei criteriu pe direcia

2-9

variabilei respective, trecndu-se apoi la modificarea variabilei urmtoare [Cl79]; procesul

este oprit cnd nu se mai obin creteri ale funciei criteriu pe direciile niciunei variabile.
O strategie elaborat de Hooke, Jeeve i Wood [Cl79] prevede executarea dintr-un
punct a unui "pas de explorare", reprezentnd modificarea variabilelor cu o mic variaie
pozitiv prestabilit; dac se constat, o apropiere de optimul funciei criteriu, de exemplu, de
un maxim, atunci punctul obinut devine o "nou baz" - spre deosebire de punctul de plecare
reprezentnd "vechea baz" - din care se efectueaz pai de lucru pe direciile tuturor
variabilelor (constituind un pas n-dimensional), pe fiecare direcie paii fiind proporionali cu
diferenele valorilor variabilei respective n noua i vechea baz.
Dac pasul n-dimensional de lucru asigur apropierea de maxim, urmeaz un nou pas de
explorare .a.m.d. Dac pasul de lucru nu asigur creterea funciei criteriu are loc anularea
lui i executarea unui nou pas de explorare.
Dac n direcia unei variabile pasul iniial de explorare nu determin o apropiere de
maxim, atunci se efectueaz un pas negativ de explorare pe aceeai direcie; n cazul cnd se
obine o apropiere de maxim, acest pas ramne valabil, dar dac nici pasul negativ nu
marcheaz creterea funciei criteriu, atunci pe direcia respectiv nu se mai execut nici un
pas de explorare.
O alt strategie, elaborat de Powell [Cl79], folosete direcii conjugate i converge n
n iteraii spre optimul unei funcii criteriu ptratice.
Strategia elaborat de Nelder i Mead a fost numit "metoda simplex" [Cl79], ntr-un
spaiu n-dimensional un numr de n + 1 puncte formnd un "simplex". Pentru ilustrare, se
consider cazul minimizrii unei funcii criteriu f(x) n care variabila vectorial x are dou
componente, x1 i x2, deci dependena f ( x1 , x 2 ) poate fi reprezentat ntr-un spaiu 3 .
ntruct asemenea reprezentri sunt dificile, se prefer intersecia corpului care reprezint
dependena f ( x1 , x 2 ) cu o serie de plane paralele cu planul ( x1 , x 2 ) , prin intersecie rezultnd n fiecare plan cte o curb de valori constante ale funciei criteriu, numit i "curb de
nivel". Proiectnd diferitele curbe de nivel n planul variabilelor ( x1 , x 2 ) se obine o imagine
de tipul celei din Fig. 2.2, n care punctul M (de coordonate x1* , x 2* ) corespunde minimului,
deci
f ( x1* , x 2* ) = min f ( x1 , x 2 ) ,
(2.57)
iar valorile constante C1, C2, C3, C4 - ale funciei criteriu pe diferitele curbe de nivel - sunt din
ce n ce mai mici pe msura apropierii de punctul M, deci
C1 > C 2 > C 3 > C 4 .
(2.58)
ntruct n n un "simplex" se
realizeaz cu n + 1 puncte, n planul 2
din Fig. 2.2 un simplex va fi realizat cu 3
puncte, avnd forma unui triunghi. Se
pornete de la un simplex iniial, de
exemplu, I1, J1, K1 din Fig. 2.2 i apoi se
caut nlocuirea punctului cu cea mai
mare valoare a funciei criteriu f(x) - deci
cel mai deprtat de minim - de exemplu,
punctul I1, cu un alt punct de pe direcia
I 1O1 , unde O1 se gsete la jumtatea
distanei dintre J1 i K1; n cazul unui
numr mai mare de dimensiuni, punctul
O1 este centroidul tuturor vrfurilor

x2
Kf

M
O

If

C4
Jf

K1

L1

O1

2 - 10

C2

C1

J1

x1

I1
0

C3

Fig. 2.2

rmase ale simplexului, dup eliminarea vrfului I1.

Stabilind, printr-un algoritm adecvat de verificare a valorilor funciei criteriu, punctul de
pe direcia I 1O1 care urmeaz s nlocuiasc punctul I1 - de exemplu, punctul L1 - se formeaz
un nou simplex cu punctele J1, K1, L1 continundu-se operaiile de construire a unei noi
direcii pentru nlocuirea punctului cel mai deprtat de minim (din cadrul noului simplex)
printr-un punct de pe noua direcie.
Cnd se ajunge n apropierea minimului M, simplexul are aspectul definit de punctele If,
Jf, Kf, cu direcia IfO pentru nlocuirea punctului If printr-un nou punct; n Fig. 2.2, punctul O
coincide cu M, ceea ce evident nu este obligatoriu.
Unele metode de cutare direct nu realizeaz o explorare prin stabilirea unui algoritm
de elaborare a traseului, ca n cazurile menionate anterior, ci selecteaz n mod aleator
punctele n care se determin valoarea funciei criteriu.
Dac punctele respective acoper complet gamele de variaie estimate pentru toate
variabilele de care depinde funcia criteriu, asemenea metode de cutare direct cu selectare
aleatoare a punctelor de explorare sunt ncadrate n clasa metodelor denumite "Monte Carlo".
n cadrul acestor metode, punctul n care a rezultat valoarea extrem a funciei criteriu este
considerat ca optim. De fapt, dup o prim explorare se poate stabili dac optimul este
localizat ntr-o anumit zon restrns din cadrul celei considerate iniial i se poate calcula
probabilitatea apropierii de optim, urmnd apoi succesiv noi explorri aleatoare alternnd cu
noi reduceri ale zonei.
Elemente de calcul statistic intervin i n alte aspecte ale rezolvrii problemelor de
optimizare, nu numai n selectarea aleatoare a punctelor explorate. Astfel, n unele cazuri
nsi alegerea direciilor de cutare p k din (2.15) are un caracter aleator, rezultnd metode
aleatoare de cutare - prin procedee iterative - a optimului [Cl79]. n alte cazuri, nsi
variabilele de care depinde funcia criteriu (sau unii parametri care intervin n aceast funcie)
sunt variabile aleatoare. n asemenea cazuri, optimizarea urmrete gsirea unui extrem al
valorii medii a funciei criteriu, iar metodele de calcul folosite n acest scop sunt uneori
denumite metode de programare stochastic [Cl79].

2 - 11