.l.dr.ing.

Florin Ostafi
fostafi@ac.tuiasi.ro
Tehnicideoptimizareclasice

y Utilengsireapunctelordeextrempentrufunciicontinueiderivabile
y Metodeanalitice utilizareacalcululuidiferenialngsireapunctuluide
extrem
y Limitri
Limitri practicaimplicfunciiobiectivcarenusuntcontinuei/sau
practica implic funcii obiectiv care nu sunt continue i/sau
derivabile
y Staulabazadezvoltriimajoritiitehnicilornumerice

y Acestcapitol:
y Condiiinecesareisuficientepentrugsireasoluieioptimepentru
Condiii necesare i suficiente pentru gsirea soluiei optime pentru
y funciideunasaumaimultevariabilefrrestricii
y funciidemaimultevariabilecurestriciiegalitatesau/iinegalitate
1.Optimizareafunciilordeovariabil

Definiii
1. Punctul x* senumetepunctdeminimglobalpentruf
p g p f dac f ( x*)) f ( x)
pentrutoatepuncteleadmisibilex (pentrutoatepunctelecesatisfac
restriciileproblemei).
2. Dac pentru orice x x* arelocinegalitateastrict,minimulesteunic.
2 Dacpentruoricex are loc inegalitatea strict minimul este unic
3. Dacinegalitateaarelocpentrutoix dintrovecintateadmisibilaluix
x*,atuncix* senumeteminimlocal.

Observaii
y Oriceminimglobalesteiminimlocal;reciprocanuesteadevrat.
Oi i i l b l i i i l l i d
y Sepotdadefiniiiasemantoareipentrupuncteledemaxim.
y Extremeleuneifunciipotfinetede
Extremele unei funcii pot fi netede sauunghiulare.
sau unghiulare
y Extremelesepotaflantrunpunctdininterioruldomeniuluiadmisibil,pe
frontieradomeniului,sauntrunpunctdediscontinuitate.
1.Optimizareafunciilordeovariabil

y x6 - maxim global pe intervalul [x1, x9]

y x8 - minim global pe acelai interval
y x1, x8 - minime locale unice
y toate punctele intervalului [x3, x4] - minime locale neunice
y x2, x5, x6, x9, - maxime locale
y x7 - punct ded inflexiune
i fl i ( este punct de
(nu d extrem local)
l l)
y x6 - extrem unghiular
1.Optimizareafunciilordeovariabil
Condiianecesardeextrem
y Dac f :[a, b] \ areunpunctdeextremrelativnx=x*,a < x* < b idac
funciaestederivabilnx=x*, atunci f ( x*) = 00.
funcia este derivabil n x=x* atunci (1 1)
(1.1)

Observaii:
1
1. Condiianecesardeextremnuoferinformaiipentrucazulncarederivatanu
Condiia necesar de extrem nu ofer informaii pentru cazul n care derivata nu
existnx=x* (vezifigura).

f ( x * +h) f ( x*))
Pant negativ lim = m+ ( poz.) sau m+ (neg.)
h0 h

Depinde dac h se apropie de

Pant pozitiv zero prin valori pozitive sau
negative

Derivat nedefinit n x=x*

Sursa: Singiresu S. Rao, Engineering optimization. Theory
and practice, John Wiley & Sons, 2009
1.Optimizareafunciilordeovariabil
Observaii (continuare):
2. Condiianecesardeextremnuoferinformaiipentrucazulncarepunctul
deextremseaflnunuldincapeteleintervaluluidedefiniieafunciei;n
p ;
acestcaz
f ( x * +h) f ( x*)
lim
h0 h
existdoarpentruvaloripozitive(saunegative)aleluih derivatanueste
definitlacapeteleintervalului.
3. N t t
Nutoatepunctelencareseanuleazprimaderivatsuntpunctedeextrem
t l l i d i t t t d t
(vezifigura).

Punctstaionar(critic)
Punct staionar (critic) x nuestepunctde
x* nu este punct de
punctncarese extrem senumete
anuleazprimaderivat punctdeinflexiune

Sursa: Singiresu S. Rao, Engineering optimization. Theory

and practice, John Wiley & Sons, 2009
1.Optimizareafunciilordeovariabil

Condiiisuficientedeextrem
y Spresupunemcf(x) arederivatecontinuedeoriceordini
f (x*) = f ( x*) = ... = f (n1) ( x*) = 0, f (n) (x*) 0.

i
i. x* estepunctdeminimpentru dac f (n) ( x*) > 0 i n estepar;
este punct de minim pentru f dacin este par;

ii. f (n) ( x*) < 0

x* estepunctdemaximpentruf dacin estepar;

iii. x* nuestepunctdeextremdacn esteimpar(x* punctdeinflexiune).

Demonstraiasefaceplecnddelaaproximareafunciilorpebazadezvoltriinserie
Taylor,considerndrestuldupntermeni:
h2 hn1 (n1) hn (n)
f ( x * +h) = f ( x*) + hf ( x*) + f ( x*) + ... f ( x*) + f ( x * +h), 0 < < 1 (1.2)
2! (n 1)! n!

Exerciiu
1.1.Ssedeterminevalorileminimeimaximealefunciei f (x) = 12x5 45x4 + 40x3 + 5.
2.Optimizareafunciilordemaimultevariabilefrrestricii

Chestiunipreliminare
1. Formeptratice
y f (x1, x2 ,..., xn )
Ofuncieden variabilesenumeteformptraticdac
n n
f ( x1, x2 ,..., xn ) = qij xi x j = xT Qx, Qnxn = [qij ], x = [ x1, x2 ,..., xn ]T (2.1)
i =1 j =1
y FrapierdegeneralitateasepresupunecmatriceaQ estentotdeauna
simetric;dacnu,Q poatefinlocuitcumatriceasimetric(Q + Q T)/2 carenu
schimb valoarea formei ptratice
schimbvaloareaformeiptratice.
y Definiii:
OmatriceQ estepozitivdefinit(Q>0) x Qx > 0, x 0
T
y

y O i Q estepozitivsemidefinit(Q0)
OmatriceQ ii id fi i (Q 0) Q 0,
xT Qx 0 x ii x 0 a..
xT Qx
Q =0
y OmatriceQ estenegativdefinit(Q<0) xT Qx < 0, x 0
y OmatriceQ estenegativsemidefinit(Q0) xT Qx 0, x i x 0 a.. xT Qx = 0
y xT Qx
OmatriceQ estedesemnnedefinitdacestepozitivpentruunelevalorialelui
x inegativpentrualtevalorialelui x.
y Proprieti:
y Omatriceestepozitivdefinitdactoatevalorilepropriisuntpozitive
y Omatricediagonalestepozitivdefinit elementelediagonalesuntpozitive
2.Optimizareafunciilordemaimultevariabilefrrestricii

Formeptratice(continuare)
y Verificareapozitivitiiuneimatrice
y Definiii
y Unminor deordink aluneimatriceA esteprincipal dacseobineprin
eliminareaaceloraink liniiicoloane(notaiek);
y U
Unminorprincipaldominantdeordink
i i i ld i td di k almatriceiA
l t i i A esteunminorprincipal
t i i i l
obinutprineliminareaultimelornk liniiicoloane(notaieDk);
y Omatriceestepozitivdefinit Dk > 0 pentrutoiminoriiprincipali
dominani;
y Omatriceestenegativdefinit (1)k Dk > 0 pentrutoiminoriiprincipali
dominani;
y Omatriceestepozitivsemidefinit k 0 pentrutoiminoriiprincipali;
y Omatriceestenegativsemidefinit (1)k k 0 pentrutoiminoriiprincipali;
y Dacnusuntemnunadinsituaiiledemaisus,matriceaestedesemn
D t di it iil d i ti t d
nedefinit.

Obs Negativitatea unei matrice Q sepoateverificaprinstudiereapozitivitii

Obs.Negativitateauneimatrice se poate verifica prin studierea pozitivitii
matriceiQ.
2.Optimizareafunciilordemaimultevariabilefrrestricii

Exerciii
2.1.Ssearatecmatricea
1 4 6
Q = 4 2 1
6 1 6

estedesemnnedefinit.

2 2 S se determine semnul formei ptratice

2.2Ssedeterminesemnulformeiptratice

f (x1, x2 , x3 ) = 3x12 + 6x1x3 + x22 4x2 x3 + 8x32.

2.Optimizareafunciilordemaimultevariabilefrrestricii
2. AproximareafunciilorpebazadezvoltriinserieTaylor
f ( x): \n \ estededouoriderivabilnraportcutoateargumentelentro
vecintateapunctuluix0
1 2
f ( x) = f ( x ) + ( x x ) f ( x ) + ( x x0 )T H( x0 )( x x0 ) + e( x, x0 ) x x0
0 0 T 0
(2.2)
0
2
lim e( x, x ) = 0 Aproximaredeordin2
2
xx0 f 2 f
""
f x1 x 1
2
x1 xn
f ( x ) 2 f ( x)
(2 3)
(2.3) f ( x ) = = # ; H ( x) = = " "" " (2.4)
x x 2
f xn 2 f f
2
""
matricea Hessian x n x1 x n2
gradientul funciei
dacderivateledeordinul2sunt
continue, H estesimetric
x x0 = h, h \ n , || h ||2 = 1
h
2 Aproximare
f ( x + h) = f ( x ) + h, f ( x ) + h, H ( x )h + e( x , h)2 deordin2
(2.5)
2
o()
f ( x + h) = f ( x ) + h, f ( x ) + o(), lim =0 Aproximaredeordin1 (2.6)
0
2.Optimizareafunciilordemaimultevariabilefrrestricii

3. Funciiconvexeiconcave
Ofuncief(x) senumeteconvex dacpentruoriceperechedepuncte
x1 = [ x1(1) x2(1) ... xn(1) ]T , x2 = [ x1(2) x2(2) ... xn(2) ]T
t t i , 0 1,
ipentrutoi
i 1
f (x2 + (1 ) x1 ) f ( x2 ) + (1 ) f ( x1 ). (2.7)

ncazulfunciilorconcave seschimbsemnulinegalitii;evident,ofuncief(x)
esteconcav dac f(x) esteconvex.
Dac inegalitatea este strict, funciile se numesc strict convexe.
Dacinegalitateaestestrict,funciilesenumescstrictconvexe.
OfuncieesteconvexdacmatriceaHessianestepozitivdefinitsaupozitiv
semidefinit.
O funcie este concav dac matricea Hessian este negativ definit sau negativ
OfuncieesteconcavdacmatriceaHessianestenegativdefinitsaunegativ
semidefinit.
Unpunctdeminimlocalaluneifunciiconvexeestepunctdeminimglobal
2.Optimizareafunciilordemaimultevariabilefrrestricii
Funciiconvexeiconcave(continuare)

Funcieconvexdeovariabil Funcieconcavdeovariabil Funcieconvexpeoregiunei

concavpeoaltregiune

Funciidedouvariabile:a)convex;b)concav

Sursa: Singiresu S. Rao, Engineering optimization. Theory and practice, John Wiley & Sons, 2009
2.Optimizareafunciilordemaimultevariabilefrrestricii
C di i
Condiianecesardeextrem
d
f ( x): \n \
Dacfunciaareunpunctdeextremnx=x* iderivateleparialeale
lui f(x) existn
luif(x) exist n xx* atunci
f ( x*) = 0. x* punctcritic(staionar) (2.8)
generalizeazcondiiacunoscut(anulareaderivatei)dincazulfunciilordeo
singurvariabil.
i i bil

Condiiisuficientedeextrem

Condiiasuficientcapunctulcriticx* sfiepunctdeextremlocalestecamatricea
Hessianafuncieif(x) evaluatnx* sfie:
i. ( *) >0)iatuncix* estepunctdeminimlocal;
pozitivdefinit(H(x*)
ii. negativdefinit(H(x*) <0)iatuncix*estepunctdemaximlocal;
H(x*) estedesemnnedefinit,atuncix*
DacH(x*)
Dac este de semn nedefinit atunci x* estepuncta(prezintmaximnraport
este punct a (prezint maxim n raport
cuanumitevariabileiminimnraportcualtele),numaidacdet H(x*) 0.
DacH(x*) estesemidefinit (H(x*) 0 sauH(x*) 0),nusepotfaceaprecieri
asupranaturiipunctuluicritic.
f ( x*) = 0
ncazulfunciilorconvexecondiiaestecondiiedeminimglobal
2.Optimizareafunciilordemaimultevariabilefrrestricii

Exempludepuncta
Seconsiderfuncia f (x, y) = x y .
2 2

f
x 2x 0
f ( x, y) = = = x* = 0,, y* = 0
f 2 y 0
y

2 f 2 f
2
x xy 2 0
H = =
2
f 2
f 0 2

y x y 2

H estedesemnnedefinit punctul [ 0 0] estepuncta

T
2.Optimizareafunciilordemaimultevariabilefrrestricii

Exempludepuncta(continuare)
ncazuluneifunciidedouvariable,
punctulacorespunde:
unuiminimsaumaximrelativalfunciei
unui minim sau maxim relativ al funciei
nraportcuvariabila x (ntimpce
cealaltefixatlay*)
unuimaximsauminimrelativalfunciei
nraportcuvariabilay (cealaltfiind
fixatla x*)

Seobservc:

f(x,y*)=f(x,0) areunminimrelativ

f(x*,y)=f(0,y)
f( ,y) f( ,y) areunmaximrelativ
Sursa: Singiresu S. Rao, Engineering optimization.
Theory and practice, John Wiley & Sons, 2009
2.Optimizareafunciilordemaimultevariabilefrrestricii

Exerciiu

2.3.Ssedeterminepunctelecriticealefunciei

f (x1, x2 ) = x13 + x23 + 2x12 + 4x22 + 6

issestabileascnaturalor.
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
1. Formulareaproblemei

S se gseasc x = [ x1 , x2 ,..., xn ] care

T
Ssegseasc minimizeaz f ( x )
careminimizeaz
curespectarearestriciilor:
g j ( x ) = 0,
0 j = 1,...,
1 m, m n (3.1)

2. Metodasubstituiei
Seexprimm variabilefunciedecelen-m variabilermase dinconstrngerile
egalitate.

Problemasetransformntroproblemdeextremizarefrrestricii.
Dezavantaj:ncelemaimulteaplicaiidinpractic,restriciilesuntneliniarei
devine imposibil eliminarea unor variabile
devineimposibileliminareaunorvariabile.

Exerciiu
3.1.Ssegseascdimensiunileuneicutiidevolummaximcesepoatenscrie
ntrosferderazunitar.
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
3. MetodamultiplicatorilorLagrange
Principiu
Seintroducvariabilesuplimentare multiplicatoriLagrange(cteunulpentru
fiecarerestricie) problemasereducelaunadeextremliber;
Sevapresupunectoatefunciilecareintervinauderivatedeordinulunu
continuepentreguldomeniucareprezintinteres.

Funcia sintetic a lui Lagrange (lagrangeanul)

FunciasinteticaluiLagrange(lagrangeanul)
m
L( x, ) = f ( x ) + j g j ( x ) (3.2)
j =1

L( x , ) = f ( x ) + T g ( x ) = [1 ,..., m ]T g = [ g1 ,..., g m ]T (3.3)

Exerciiu

p f ( x, y ) = kx 1 y 2
3.2.Ssegseascpunctelecriticealefuncieicurestricia
g
g ( x, y ) = x 2 + y 2 a 2 = 0.
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
MetodamultiplicatorilorLagrange(continuare)

Condiianecesardeextrem

T1.Fiefunciilescalaref(x), gj(x), j = 1,...,m, m<n, definitepeRn,cu derivatelede

ordinulunucontinuepeX
p Rn i S X submulimeadefinit

{
S = x; x X , g j ( x ) = 0, j = 1,..., m . } (3.4)

Presupunemcx* S iexistovecintateV(x*) astfelnct f(x*) f(x) pentru

oricexSV(x*).
Dacranguljacobianului J ( x ) = g / x npunctulx* estem,atunciexistm
numerereale1,...,m ,nutoatenule,pentrucare
m
f ( x*) + j g j ( x*) = 0 (3.5)
j =1

Obs. L( x* , *) = g ( x* ) = 0 (3.7)
(3.6) x L( x* , ) = 0
m
j g j ( x*) = 0 f ( x* ) = L( x* ) (3.8)
j =1
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate

MetodamultiplicatorilorLagrange(continuare)
Observaii
FolosindmultiplicatoriiLagrange,problemadeextremcurestriciise
transform ntr o problem cu extrem liber dar nu pentru funcia obiectiv f(x)
transformntroproblemcuextremliber,darnupentrufunciaobiectivf(x),
cipentrufunciasinteticL(x).
Rezolvareaproblemeiimpunesoluionareaunuisistemden+m ecuaiicun
necunoscutex im necunoscute;
dincondiianecesardeextremseexprimxi nfunciedemultiplicatorii
j ;
xi seintroducnecuaiileceexprimrestriciile seobine unsistemde
m ecuaiicunecunoscutelej.
Rezolvareaanaliticesteposibildoarntrunnumrlimitatdecazuri;
seapeleazlaprocedurinumerice.
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
MetodamultiplicatorilorLagrange(continuare)
suficientedeextrem
Condiii

T2.Fiefunciilescalaref(x), gj(x) carendeplinesccondiiiledinT1inplusau

derivatedeordinul2continuen x* iS X submulimeadefinitde(3.4).Dacexist
( )
\ p caresatisfacecondiianecesardeextrem(3.6)i
y T H x [ L( x*, *)] y > 0, y Y , Y = { y / y T g j ( x*) = 0, j = 1,..., m, y 0} (3.9)
H x [ L( x , )] L( x , )
(undeestematriceaHessianalagrangeanuluinraportcux)
atuncix* este punctdeminimlocaltare1 afunciei f pedomeniul S.

f f( ) gj(x)
T3.Fiefunciilescalaref(x), ( ) carendeplinesccondiiiledinT1ifunciasintetic
f
aluiLagrange(3.2)pseudoconvex2 nx* .
Atuncicondiianecesardeextrem(3.6)esteisuficientpentruca x* sfiepunct
d i i l b l l i f peS.
deminimglobalalui S

1. Minimullocaltaresatisfacecondiiastrictf (x*) < f (x) nvecintatearespectiv;

x X 0
x 0
2. Funciafestepseudoconvexndacestedifereniabilni
x X , f ( x) < f ( x0 ) ( x - x0 )T f ( x0 ) < 0
 3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
Condiii suficiente de extrem (continuare)

f * sfiepunctdeminimrelativpentruf(x)
T4.Ocondiiesuficientpentrucax*
d f d l f( ) esteca
formaptraticQ,definitca
n n
2L
Q = dxi dx j (3 10)
(3.10)
i =1 j =1 xi x j

n x = xx* sfiepozitivdefinitpentrutoatevalorileluidx
evaluatnx
evaluat s fie pozitiv definit pentru toate valorile lui dx pentrucaresunt
pentru care sunt
satisfcuterestriciile.

Observaii. n n
2L
Q = ( x*, *)dxi dx j
1. Dacestenegativdefinitpentrutoate
i =1 j =1 xi x j

variaiileadmisibiledx, x* vafipunctdemaximrelativpentruf(x).
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
Condiiisuficientedeextrem(continuare)
2. Hancock condiianecesarpentrucaformaptraticQ definitanteriorsfie
pozitiv (negativ) definit pentru toate variaiile admisibile dx estecardcinile
pozitiv(negativ)definitpentrutoatevariaiileadmisibiledx este ca rdcinile
polinomuluidefinitmaijossfiepozitive(negative):

L11 z L12 " L1n g11 g 21 " g m1

L21 L22 z " L2 n g12 g 22 " g m 2 2L
Lij = ( x*, *)
# xi x j
Ln1 Ln 2 " Lnn z g1n g 2 n " g mn (3.11)
=0 g
g11 g12 " g1n 0 0 0 gij = i ( x*)
x j
g 21 g 22 " g2n 0 0 0
...
g m1 gm2 " g mn 0 0 " 0 Polinom de ordin (n-m) n z

3. Dacunelerdcinisuntpozitiveialtelenegative,punctulx* nuestepunct
deextrem
Exerciiu
Exerciiu
f ( x ) = x12 + x2 2
3.3.Ssegseascpuncteledeextremalefuncieicurestricia
g1 ( x ) = 2 x1 + x2 2 = 0.
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
MetodamultiplicatorilorLagrange(continuare)
InterpretareamultiplicatorilorLagrange
Seconsiderurmtoareaproblem:
S id bl
min f ( x ), g ( x ) = b sau g ( x ) = b g ( x ) = 0, b = const. (3.12)
x

Condiianecesar: f g
+ = 0, i = 1,..., n (3.13)
xi xi
g =0 (3 14)
(3.14)
x*, * soluiasistemului(3.13)+(3.14);f *=f (x*)
Neintereseazefectuluneimicivariaiiaconstrngeriiasupravaloriioptimea
( f l df l b asupraff *)
ffuncieiobiectiv(efectuluneimicimodificrialuib
b
n
g
(3.12) db dg = 0 db = dg = dxi (3.15)
i =1 xi
f g f g g f / xi
(3.13) + = = 0 (3.16) = (3.17)
xi xi xi xi x i
n
1 f df n
f
(3.17)+(3.15) db =
i =1 xi
dxi =

(3.18) df = dxi
(3.19)
i =1 xi
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
InterpretareamultiplicatorilorLagrange(continuare)

df df *
(3.17) = , * = , df * = * db (3.20)
db db

* aratsensibilitatealuif
ibili l i f nraportcub
b (ctdestrns
( d estelegatrestricia
l i i
depunctuldeoptim):
* > 0
odescretereincrementalaluibducelaovaloareminimmaimicafuncieif
(df < 0);* poatefiinterpretatdreptctigmarginaln f * datoratnspririi
constrngerii;
l t i t l l i b f vacretespreoaltvaloareoptim
laocretereincrementalaluib, t lt l ti (df > 0);
0)
* poatefiinterpretatdreptcostmarginalnf * datoratrelaxriiconstrngerii.
* < 0
o cretere incremental a lui b ducelaovaloareminimmaimicafunciei
ocretereincrementalaluib duce la o valoare minim mai mic a funciei f
(df < 0),deciavemctigmarginalnf * datoratrelaxriiconstrngerii;
laodescretereincrementalaluib,f * vacretespreoaltvaloareoptim
(df > 0);
0);vaapreauncostmarginal
p g nff * datoratnspririiconstrngerii.
p g
3.Optimizareafunciilordemaimultevariabilecu
restriciiegalitate
InterpretareamultiplicatorilorLagrange(continuare)
= 0 oschimbareaconstrngeriinuareniciunefectasupravaloriiminimea
* o schimbare a constrngerii nu are niciun efect asupra valorii minime a
funciei;nacestcazoptimizareafuncieif curestriciag = 0ducelaacelaipunctde
minimcaalfuncieifrrestricii.

neconomieicercetrioperaionale,multiplicatoriiLagrangesuntcunoscui
subnumeledepreuridereferinaleconstrngerii(shadowprices) indic
schimbareavaloriioptimeafuncieiobiectivlaschimbareacuounitatea
p
membruluidreptalconstrngerii.

Exerciiu
f ( x ) = 2 x1 + x2 + 10
3.4.Ssegseascmaximulfuncieicurestricia
g ( x ) = x1 + 2 x2 2 = 3.

Ssestudiezeefectulschimbriimembruluidreptalrestricieiasupravalorii
maximeafunciei.
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
1. Formulareaproblemei

S se gseasc x = [ x1 , x2 ,..., xn ] care

T
Ssegseasc minimizeaz f ( x )
careminimizeaz
curespectarearestriciilor:
g j ( x ) 0,
0 j = 1,...,
1 m (4 1)
(4.1)

R t i iil d ti i
Restriciiledetipinegalitatesepottransformanrestriciiegalitate:
lit t tt f t i ii lit t

g j ( x ) + y j 2 = 0, j = 1,..., m yj variabileauxiliare (4.2)

y vectorulvariabilelorauxiliare
l i bil l ili
Reformulare

Ssegseasc x = [ x1 , x2 ,..., xn ] careminimizeaz f ( x )

T

curespectarearestriciilor:
G j ( x , y ) = g j ( x ) + y j 2 = 0, j = 1,..., m (4.3)
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
ProblemasepoaterezolvafolosindmetodamultiplicatorilorLagrange:
m m m
L( x , y, ) = f ( x ) + j G j ( x , y ) = f ( x ) + j y j + j g j ( x )
2
(4.4)
j =1 j =1 j =1

Condiianecesardeextrem
L f m g j
(4.5) ( x, y, ) = ( x) + j ( x ) = 0, i = 1,..., n
xi xi j =1 xi n+2m ecuaii
L n+2m necunoscute
(4.6) ( x , y , ) = g j ( x ) + y j 2 = 0, j = 1,..., m
j
L
(4.7) ( x , y, ) = 2 j y j = 0, j = 1,..., m x*, *, y*
y j

(4.6)asigurcgj(x) 0
sunt satisfcute
suntsatisfcute
Din(4.7)rezult:
j =0 restricia jesteinactiv, decipoatefiignorat;
restr.inactiv estesatisfcutstrictnpunctuldeoptim;
restricieactiv satisfcutcaegalitatenpunctuldeoptim.

yj = 0 restricia j esteactiv (gj = 0)npunctuldeoptim;

4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
mprimrestriciilendousubmulimi,J1 iJ2,undeJ1 + J2 mulimeatuturor
restriciilor:
J1 mulimeaindicilorrestriciiloractive; j J1 y j = 0
(4.8)
J2 mulimeaindicilorrestriciilorinactive. j J2 j = 0
Ecuaiile(4.5),(4.6)serescriu:
Ecuaiile (4 5) (4 6) se rescriu:

f g
+ j j = 0, i = 1,..., n n+p+(m-p) ecuaii (4.9)
xi jJ1 xi
n+m necunoscute (4.10)
g j ( x ) = 0, j J1
p nr.restr.active
g j ( x ) + y j 2 = 0,, j J 2 (4.11)

Pp.cprimelep restriciisuntactive (4.9)devine:

f g g g
= 1 1 + 2 2 + ... p p i = 1,..., n (4.12)
xi xi xi xi

f = 1g1 + 2g 2 + ... + pg p (4 13)
(4.13)
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
Vomartac,ncazuluneiproblemedeminimizare,multiplicatoriiLagrange
corespunztorirestriciiloractivetrebuiesfiepozitivi.

Pp.dourestriciiconvexeactive(p = 2)npunctuldeoptim.
(4.13) f = 1g1 + 2g 2 (4.14)

VomspunecunvectorS senumetedirecieadmisibil(fezabil)dacdeplasareacuun
passuficientdemicpedireciaS nuducelaprsireadomeniuluiadmisibil(domeniul
delimitat de restricii) vezifigura.
delimitatderestricii) vezi figura
Pentruofunciesuficientdeneted,direciaadmisibilS satisfacerelaia:
S T g j < 0

Sursa: Singiresu S. Rao,

Engineering optimization.
Theory and practice,
practice John
Wiley & Sons, 2009
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate

Dacrestriciaesteliniarsauconcav(vezifigurile),oricevectorcesatisfacerelaia S T g j 0
reprezintodirecieadmisibil.

Sursa: Singiresu S. Rao, Engineering optimization. Theory and practice, John Wiley & Sons, 2009

Interpretareageometricadirecieiadmisibile:unghiuldintrevectorulS ivectorii
constrngerilorestemaimarede90,cuexcepiaconstrngerilorliniare sauconcave,cnd
acesta poate ajungela90
acestapoate ajunge la 90..
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
ConsidermS odirecieadmisibilnpunctuldeoptim
) S T f = 1 S T g1 + 2 S T g 2
((4.14) (4.15)
S T g1 < 0, S T g 2 < 0 (4.16)

(4 15) + (4 16) dac

(4.15)+(4.16) dac 1>0,
>0 2>0,cantitatea
>0 cantitatea S T f trebuiesfiepozitiv.
trebuie s fie pozitiv
f indicdireciagradientului(cretereafuncieiestemaximpeaceastadirecie)
S T f > 0
S T f reprezintcomponentaincrementuluiluif pedireciaS;dac
valoareafuncieicretedacnedeplasmdealunguldirecieiS.
l f i i t d d l d l l di i i S

Dac1>0,2>0,nusepoategsiodireciendomeniuladmisibildea
lungulcreiafunciasdescreascmaimult.
Deoareceampresupuscpunctulncaresuntrespectaterelaiile(4.16)
estepunctuldeminim
p multiplicatorii
p 1
i2 trebuiesfiepozitivi.
p
Rezultatulpoatefiextinsncazulncareexistm restricii.
ncazuluneiproblemedemaximizare,multiplicatoriiLagrangetrebuies
fi
fienegativi.
ti i
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate

Exerciiu

4.1.Seconsiderurmtoareaproblemdeoptimizare:
min f ( x1 , x2 ) = x12 + x2 2
x1 + 2 x2 15
1 xi 10; i = 1, 2

x = [1,7]T
Ssedeterminecondiiilecetrebuiesatisfcutedenpunctuldedirecia
S = [ s1 , s2 ]T dacS este

S T f 0
direcieutilizabil()
S T g1 0, S T g 2 0
direcieadmisibil()
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
3. CondiiidetipKuhn Tucker
Condiiile(deduseanterior) cetrebuiesatisfcutenpunctuldeminimx* :
f g j
+ j = 0, i = 1,..., n (4.17)
xi jJ1 xi
(4.18)
j > 0, j J1
CondiiileKuhn Tucker(KT)nusuntisuficiente(ngeneral)
nproblemeledeprogramareconvex (4.17)i(4.18)suntcondiiinecesareisuficiente
deminimglobal
g
Dacsetulderestriciiactivenuestecunoscut,condiiileKTdevin:
f m g
+ j j = 0, i = 1,..., n
xi j =1 xi
j g j = 0, j = 1,..., m
(4.19)
g j 0,
0 j = 11,..., m
j 0, j = 1,..., m
Obs.
bl t d i i d t i iil t d ti l g j 0 j trebuies
Dacproblemaestedemaximizaresaudacrestriciilesuntdetipul,
D t b i
fienonpozitivi;
g j 0 j trebuiesfienonnegativi.
Dacproblemaestedemaximizarecu,
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
4. Condiiideregularitate(constraintqualification)
Ssegseasc x = [ x1 , x 2 ,..., x n ]T careminimizeaz f ( x ) curespectarearestriciilor:
g j ( x ) 0, j = 1,..., m
(4.20)
hk ( x ) = 0, k = 1,..., p
m p

CondiiileKT: f + j g j + k hk = 0
j =1 k =1

j g j = 0,
0 j = 1,...,
1 m
g j 0, j = 1,..., m (4.21)

hk = 0, k = 1,..., p
j 0, j = 1,..., m
j ik multiplicatoriLagrangeasociairestriciilorinegalitate,respectivegalitate

T5 (necesitatea).Fiex*osoluieadmisibilaproblemei(4.20),undefunciilef, g, h sunt
g j ( x*), j J1 hk ( x*), k = 1, 2,..., p
derivabilei,nplus,isuntliniar
independeni.Dacx*estepunctdeoptimatunciexist*i*a..(x*, *, *) s
satisfac(4.21).
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
Condiiideregularitate(continuare)
g j ( x*), j J1 hk ( x*), k = 1, 2,..., p
Cerinacaisfieliniarindependenise
numetecondiiederegularitate.
numete condiie de regularitate
Dacaceastcondiienuestesatisfcutnpunctuldeoptim,sistemul(4.21)poate
aveasaunusoluie.
E t difi il d ifi t dii d l it t f ti *
Estedificildeverificatcondiiaderegularitatefratix*.
Condiiilederegularitatesuntsatisfcutentotdeaunanurmtoarelecazuri:
C1.Toaterestriciilesuntliniare;
C2.Constrngerileinegalitatesuntconvexe,constrngerileegalitatesuntliniareiexistcel
x
puinunvectoradmisibilcareseaflstrictninterioruldomeniuluiadmisibil,adic
g j ( x ) < 0, j = 1, 2,..., m i hk ( x ) = 0, k = 1, 2,..., p
CondiianecesarKT(T5)permiteidentificareapunctelorcarenusuntoptime
Avndunpunctadmisibilcaresatisfacecondiiilederegularitate,sepoateutilizaT5pentru
aartacpunctulrespectivnuesteoptimaldacnusatisfacecondiiileKT(4.21).
Pedealtparte,dacpunctulsatisfacecondiiileKT,nusepoatespunecesteoptimal
(trebuiesatisfcutocondiiesuficient).
Exerciiu.4.2.Seconsiderurmtoareaproblem: min f ( x) = 1 x 2 , 1 x 3.
Ssearatecpunctuldeoptim x =3satisfacecondiiiledinteormaT5.
Ssearatecsoluiaadmisibilx =2 nupoatefisoluieoptim.
 4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
Exemplu
4.3.Seconsiderurmtoareaproblemdeminimizare:
min f ( x1 , x2 ) = ( x1 1) 2 + x2 2 (e1)

g1 ( x1 , x2 ) = x13 2 x2 0 (e2)

g 2 ( x1 , x2 ) = x13 + 2 x2 0 (e3) Domeniu

admisibil
Ssedeterminedacsuntverificatecondiiilederegularitate
icondiiileKTnpunctuldeoptim.
Rezolvare.Seobserv(dinfig.)c(0,0)estepunctuldeminimal
problemei Ambele restricii sunt active n punctul de optim
problemei.Ambelerestriciisuntactivenpunctuldeoptim.
3 x12 0 3 x12 0
g1 ( x*) = = g 2 ( x *) = =
2 (0,0) 2 2 (0,0) 2
de regularitate nu sunt satisfcute deoarece g1(x
Condiiilederegularitatenusuntsatisfcutedeoareceg
Condiiile (x*)) i
i
g2(x*) nusuntliniarindependeni.
CondiiileKT:
2 + 1 0 + 2 0 = 0 (e4)
0 + 1 (2) + 2 2 = 0 (e5) 2 x1 2 2 Domeniuladmisibilicurbedenivel
D i l d i ibil i b d i l
f ( x*) = = 0 alefuncieiobiectiv
1 > 0 (e6) 2 x2 (0,0)
2 > 0 (e7)
Sursa: Singiresu S. Rao, Engineering
Deoarece(e4)nuestesatisfcuti(e5)esteadevratipentru optimization. Theory and practice,
John Wiley & Sons, 2009
valorinegativeale1=2,condiiileKTnusuntsatisfcuten
punctuldeoptim.
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
5. Condiiisuficientedeextrem

T6. Seconsiderproblema(4.20)ipresupunemcfunciaobiectivesteconvex,
restriciileinegalitatesuntconvexeirestriciileegalitatesuntliniare.
( , *,,
Dacexist(x*, *)) caresatisfaccondiiileKT(4.21),atuncix*
( ) estepunctde
p
minim.

Exerciiu

x* = [1 5]T
4.4.Ssearate cestepunctdeminimpentruproblema
min f ( x1 , x2 ) = x12 x2 curestriciile x1 + x2 = 6, x1 1 0, x1 + x2 26
2 2

Observaii
naplicaiilepractice,condiiilederegularitateseverificngeneral;dacfuncia
estederivabil,unpunctcesatisfacecondiiileKTestecandidatpentruoptim.
d i bil if di iil K T did i
DacsuntverificatecondiiileT6,unpunctKTdevinepunctdeminimglobal;
condiiiledinT6suntdificildendeplinit(esuficientsavemorestricieegalitate
neliniar.
l
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
6. Condiiinediferenialedeextrem(detippuncta)
Trateazsituaiilencarefunciaobiectivirestriciilenusuntderivabile.
Seconsiderproblemacurestriciiinegalitate(4.1)inplusxS (mulimeaS poatefi
folositpentruaimpunerestriciisuplimentarevariabilelor spreexemplux]).
Seconstruietelagrangeanulasociatproblemei
g g p L( x , ) = f ( x ) + T g ( x )
(x*,*) esteunpunctapentruL(x, ) relativlaS dacpentruoricexS\n i
pentruorice \m, 0 avem
x* , ) L( xx* , * ) L( x, * )
L( x
(L(x, *) areunminimpe S nx*,iarL(x*,) areunmaximn* pentru 0)

( , ) estepunctdetipapentruL
T7.Dac(x*,*) p p p relativlaS,atuncix
, * estepunctdeminim
p
nproblemacurestriciiinegalitate.
Obs.
Nuexistpresupunerideconvexitateasuprafunciilor,nicicondiiideregularitate;
Nu exist presupuneri de convexitate asupra funciilor nici condiii de regularitate;
T7furnizeazdoarcondiiisuficiente;potexistaproblemecurestriciiinegalitatencarenu
existpunctadarcareaupunctdeminim.
Dac problema este cu restricii mixte, se pstreaz rezultatele dar se redefinete
Dacproblemaestecurestriciimixte,sepstreazrezultateledarseredefinete
lagrangeanulcafiind
L( x , ,) = f ( x ) + T g ( x ) + T h( x )
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
7. Condiiideextremcenecesitderivatedeordin2

T8(necesitatea).Seconsiderproblema(4.20),cux\n i f, gj ,hp dedouori

g j ( x*), j J1 , hk ( x*), k = 1, 2,..., p
derivabile.Fiex*unpunctadmisibililiniar
independeni.Condiiilenecesarecax* sfiepunctdeminimlocalsunt:
1. Exist*i* a..(x*, *, *) ssatisfaccondiiileKT(4.21);
2. y T H x [ L( x*, *, *)] y 0, y Y (4 22)
(4.22)

{
unde Y = y / y T g j ( x*) = 0, j J1 ; y T hk ( x*) = 0, k = 1,..., p } (4.23)

H x [ L( x*, *, *)] matriceaHessianaL(x,,) nraportcux n (x*, *, *)

L( x, , ) = f ( x ) + T g ( x ) + T h( x )

Exerciiu
4 5 Se consider problema min f ( x1 , x2 ) = ( x1 1) 2 + x2 2 cu restricia x1 + x2 0.
2
4.5.Seconsiderproblemacurestricia 0
x* = [0 0]T
Sseverificedacpunctulpoatefipunctdeminim.
4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
7. Condiiideextremcenecesitderivatedeordin2(continuare)
DacunpunctsatisfaceT8,devinepunctKTicandidatpentruminimlocal;
Pentruaartacestentradevrpunctdeminimtrebuiessatisfaccondiii
suficiente;
evident,dacsuntndeplinitecondiiileT6,punctulKTestepunctdeminim
globaldarcondiiiledinT6suntprearigide;
T9propunecondiiisuficientecepresupunderivatedeordin2.
T9(suficiena). Condiiile suficiente ca x*sfiepunctdeminimlocaltarepentru
T9 (suficiena). Condiiilesuficientecax s fie punct de minim local tare pentru
problema(4.20),unde f, gj ,hp dedouoriderivabilesunt:
1. Exist*i* a..(x*, *, *) ssatisfaccondiiileKT(4.21);
2. y H x [ L( x*, *, *)] y > 0,
T
y Y (4.24)

unde Y = { y / y T g j ( x*) = 0, j J11 ; (4.25)

y T g j ( x*) 0, j J12 ; y T hk ( x*) = 0, k = 1,..., p; y 0}
J11 = { j / g j ( x*) = 0, j * > 0}, J12 = { j / g j ( x*) = 0, j * = 0}

J11 J12 = J1 mulimeaindicilorrestriciiloractive

4.Optimizareafunciilordemaimultevariabilecu
restriciiinegalitate
7. Condiiideextremcenecesitderivatedeordin2(continuare)
Observaii
ComparndteoremeleT8iT9seobservcsuficienanuimpunemultecondiiinoi
fadenecesitateinusuntnecesareniciunfeldealtepresupuneriasuprafunciilor:
Inegalitatea(4.22)trebuiesfiestrict;
g ( )
Vectorii y nutrebuiesfieortogonalipevectoriirestriciilornx* pentrutoate
restriciileactive.

Exerciiu
1
min f ( x1 , x2 ) = ( x1 1) 2 + x2 2
4.6.Seconsiderproblemacurestricia x1 + x2 2 0.
5
x* = [0 0]T
Ssearatecpunctulestepunctdeminimlocaltare.