8th International Conference on Microelectronics and Computer Science, Chisinau, Republic of Moldova, October 22-25, 2014

O metod bazat pe funcii de

complementaritate pentru optimizarea ptratic
Vasile MORARU1, Sergiu ZAPOROJAN1, Dumitru STOIAN 2,
1
Universitatea Tehnic a Moldovei, 2Universitatea de Stat Alecu Russo din Bli
moraru@mail.utm.md, zaporojan_s@yahoo.com, dmitrii.stoian@gmail.com

Abstract n lucrarea de fa problema de programare ptratic strict convex cu restricii inegaliti

liniare, utiliznd o abordare a multiplicatorilor Lagrange, se reduce la rezolvarea unei probleme cu
constrngeri simple. n urma unor transformri convenabile cu funcii neliniare de complementaritate ultima
problem se reduce la rezolvarea unui sistem de ecuaii netede cu ajutorul metodei Newton, asigurnd o
viteza ptratic de convergen local.
Cuvinte cheie programare ptratic, problema dual, multiplicatorii Lagrange, metoda Newton, funcii
neliniare de complementaritate.

I. INTRODUCERE
n lucrarea de fa se consider problema de programare
ptratic cu restricii liniare:
1

f ( x) = x T Hx + g T x min
(1)
2

referitor la : Ax b,

unde vectorul x n este variabil iar matricea H nn ,

vectorul g n , matricea A mn i vectorul b m
sunt mrimi cunoscute. Simbolul T arat operaia de
transpunere. Vom presupune c rang ( A) = m iar H este o
matrice simetric i pozitiv definit:
x T Hx > 0, x n , x 0 .
Problema minimizrii funciilor ptratice convexe
supuse constrngerilor liniare apare frecvent n multe
aplicaii reale din inginerie, fizic, economie, inteligen
artificial, analiz structural, VLSI design, suportul
mainilor vectoriale, administrarea portofoliilor, teoria
grafurilor .a. Multe tehnici de optimizare neliniar se
bazeaz pe rezolvarea subproblemelor de programare
ptratic de tipul (1). O bibliografie complet referitoare la
problemele generale de programare ptratic poate fi
gsit n [1], lucrare care conine peste 1000 (o mie) de
referine!
Una din cele mai rspndite tehnici de rezolvare a
problemelor de optimizare sunt metodele primal-duale
bazate pe utilizarea condiiilor de optimalitate KarushKuhn-Tucker [2-5].
Investigaia noastr este motivat de faptul c, n cazul
funciilor ptratice strict convexe, problema (1) poate fi
transformat, folosind dualitatea Lagrange, ntr-o problem
de programare ptratic cu constrngeri simple. La rndul
su aceast problem se reduce la rezolvarea unui sistem de
ecuaii netede, utiliznd tehnica propus n lucrrile [6,8],
bazat pe fuciile de complementariate. O funcie
: se numete funcie de complementaritate
dac mulimea soluiilor ecuaiei (a, b) = 0 coincide cu
mulimea soluiilor sistemului: ab = 0 , a 0, b 0 [7].

Vom arta c putem reduce rezolvarea problemei

considerate (1) la rezolvarea unui sistem de ecuaii
neliniare convenabil alctuit doar din m ecuaii cu m
necunoscute. Acest lucru ne confer un mare avantaj n
cazul rezolvrii problemelor de programare matematic n
dimensiuni mari.
Este bine cunoscut din literatura de specialitate c
rezolvarea problemei de programare ptratic (1) referitor
la variabilele primale xi , i = 1,2, K n este echivalent cu
rezolvarea problemei duale (2) referitor la variabilele duale
i , i = 1,2, K , m :
1 T

B d T min
2

referitor la : 0,

(2)

unde

B = AH 1 AT mm ,
d = AH 1 g + b m .
Menionm c n presupunerele de mai sus matricea
AH 1 AT este o matrice pozitiv definit.
Fie multiplicatorul Lagrange

* = (1* , *2 ,K, *m )T m
soluia optim a proplemei duale (2). Atunci soluia optim
a problemei considerate (1) poate fi obinut astfel
x * = H 1 ( AT * g )
ceea ce este echivalent cu rezolvarea urmtorului sistem de
ecuaii liniare fa de x:
Hx = AT * g .

II. STRATEGIA FUNCIILOR DE

COMPLEMENTARITATE PENTRU REZOLVAREA
EFICIENT A PROBLEMEI DUALE
Problema dual (2) este o problem de programare
ptratic cu restricii simple. Vectorul * m este o
soluie optim pentru problema (2) daca i numai dac
exist multiplicatorul Lagrange z * m , care verific
relaiile algebrice Karush-Kuhn-Tucker [2]:

476

8th International Conference on Microelectronics and Computer Science, Chisinau, Republic of Moldova, October 22-25, 2014

AH 1 AT * AH 1 g b z * = 0,

(* ) T ( AH 1 AT * AH 1 g b) = 0,

* 0, z * 0.

(3)

Rezolvarea sistemului de ecuaii (3) poate fi realizat,

utiliznd funciile neliniare de complementaritate [6,8],
definite astfel:
1
u ( y ) = y 2 max(0, y ) = ( y 3 + y y 2 ,
2
1
2
v( y ) = y min(0, y ) = ( y 3 y y 2 ).
2
Funciile u ( y ) i v( y ) definite mai sus satisfac
urmtoarelor proprieti:
1.
= 0, y 0,
u( y) =
> 0, y > 0,
< 0, y < 0,
v( y ) =
= 0, y 0.
2. Funciile u ( y ) i v ( y ) sunt de de dou ori continuu
difereniabile pentru y .

3. u ( y ) = 0 i v ( y ) = 0 dac i numa dac

respectiv

d
u( y) = 0 ,
dy

d
v( y ) = 0 pentru orice y 0 .
dy

d
u ( y1 )

dy1

0
U ( y ) =

F ( y ) p = 0

d
d
v( y ) =
u ( y ) v( y ) = 0
dy
dy

avem:

AH 1 AT V ( y ) p = U ( y ) p

Introducem y = ( y1 , y 2 , K, y m )T vectorul variabilelor

y i , i = 1,2, K m

definim

De unde

[AH

operatorii

(5)

AT V ( y ) p V ( y ) p =

= [U ( y ) p ]T V ( y ) p =

U ( y ) i V ( y ) : m m :

= [V ( y )U ( y ) p ]T p = 0

u ( y1 )
v( y1 )

u( y2 )
v( y 2 )
U ( y) =
, V ( y) =
M
M

u( y )
v( y )
m
m

deoarece V ( y)U ( y) = O mmn .

Pe de alt parte,

0 = AH 1 AT V ( y ) p V ( y ) p V ( y ) p

Cu ajutorul funciilor u ( y i ) i v ( y i ) , bazndu-ne pe

proprietile 1-4 prezentate mai sus, sistemul KarushKuhn-Tucker (3) poate fi transformat n urmtorul sistem
echivalent de 2 m ecuaii neliniare netede cu 2 m
necunoscute:

2
2

> 0,

unde > 0 cea mai mic valoare proprie a matricei

AH 1 AT . Astfel V ( y ) p = 0 . Din (5) rezult c i

U ( y ) p = 0 .
Prin

urmare,

u ( y s ) = 0 . Dac

AH 1 AT d U ( y ) = 0,

V ( y ) = 0.

dac

v ( y s ) 0 rezult

v ( y s ) = 0 rezult c

p s = 0 i
u ( y s ) 0 i

p s = 0 .Deci

Aa cum = V ( y ) , obinem urmtorul sistem din m

ecuaii tot cu attea necunoscute y1 , y 2 , K, y m :

AH 1 AT V ( y ) U ( y ) = AH 1 g + b

v( y1 )
L
0
0

dy
1

v( y 2 ) L
0
0
.
V =
dy
2

M
M
O
M

L
v
y
0
0
(
)
m

dy
m

Matricea Jacobian a funciei-vector

F ( y ) = AH 1 AT V ( y ) U ( y ) AH 1 g b ,
utiliznd notaiile de mai sus poate fi scris astfel
F ( y ) = AH 1 AT V ( y ) U ( y ) .
Teorem. Dac matricea H este pozitiv definit i
rang ( A) = m n atunci matricea jacobian F ( y ) este
nedegenerat n vecintatea soluiei sistemului (4).
Demonstraia este asemntoare celei din lucrarea [6]

pentru orice y 0 .
auxiliare

u( y2 ) L
0
,
dy 2

M
O
M

d
0
L
u ( y m )
dy m

Fie orice p m . Atunci din

4.

u( y)

d
d
u ( y i ) , respectiv
v( y i ) , i = 1,2, K , m :
dyi
dyi

(4)

Notm prin U ( y ) i V ( y ) matricele diagonale de

p s = 0, s = 1,2, K , m ,
adic rang ( F ( y )) = m. Teorema este demonstrat.
Astfel sistemul de ecuaii (4) poate fi rezolvat cu ajutorul
metodei Newton, avnd viteza supraliniar de convergen
n vecintatea soluiei.

dimensiune m m cu elementele

Fie y (k ) aproximaia curent a soluiei y * . Atunci

477

8th International Conference on Microelectronics and Computer Science, Chisinau, Republic of Moldova, October 22-25, 2014

aproximaia y ( k +1) se obine n urma rezolvrii sistemului

de ecuaii liniare:
F ( y ( k ) )( y y ( k ) ) = F ( y ( k ) ) ,
sau, n form desfurat, a sistemului:

[AH

1 T

A V ( y ( k ) ) U ( y ( k ) ) ( y y ( k ) ) =
1 T

= AH A V ( y

(k )

) + U ( y (k ) ) .

Soluia optim * a problemei duale (2) este limita

irului

{ }= {V ( y }.
( k +1)

( k +1)

Fie y * = ( y1* , y 2* , K , y m* ) T soluia sistemului de ecuaii

(4). Atunci
* = ( AH 1 AT ) 1 (U ( y * ) + AH 1 g + b) .
De aici rezult soluia optim a problemei considerate (1):
1

vedea [1-6,10]). Procedura propus const n reducerea

problemei de optimizare ptratic cu restricii inegaliti
afine la o problema echivalent n variabile duale care are
doar constrngeri simple. Sistemul Karush-Kuhn-Tucker
pentru problema dual permite rezolvarea problemei de
programare ptratic cu restricii simple n dimensiuni
mari. Elementul principal l constituie utilizarea funciilor
de complementaritate u (x) i v(x) [4 ] cu ajutorul crora
se realizeaz reducerea problemei la un sistem n
dimensiuni convenabile, care poate fi efectiv soluionat cu
metoda Newton. Notm c metoda propus este efectiv n
cazul rezolvrii problemelor de programare ptratic
convex n dimensiuni mari n care numrul constngerilor
este cu mult mai mic dect numrul varibilelor decizionale.

x = H (A V ( y ) g)
Metoda descris n aceast lucrare a fost implementat n
cod MAPLE i testat pe un ir de probleme din [9].
*

Exemplul 1. (Problema nr. 21 [33, p. 44]).

f ( x) = 0.01x12 + x 22 100 min

referitor la :

x1 2,

10 x1 x 2 10.

x* = (2 0) T , f ( x * ) = 99.96.
Exemplul 2. (Problema nr. 35 [9, p. 58]).
f ( x) = 2 x12 + 2 x 22 + x32 + 2 x1 x 2 + 2 x1 x3

8 x1 6 x 2 4 x3 + 9 min

referitor la :

x1 x 2 2 x3 3.

4 7 4 T
1
) , f ( x* ) =
3 9 9
9
Exemplul 3. (Problema nr. 76 [9, p. 96]).
1
1
f ( x) = x12 + x 22 + x32 + x 42 x1 x3 + x3 x 4
2
2
x1 3 x 2 + x3 x 4 min
x* = (

referitor la :
x1 2 x 2 x3 x 4 5,
3 x1 x 2 2 x3 + x 4 4,
x 2 + 4 x3

3
.
2

x* = (0.2727273 2.090909 - 0.26E - 10 0.5454545)T ,

f ( x * ) = 4,6818181.
III. CONCLUZII
n aceast lucrare noi suntem interesai de rezolvarea
numeric a problemelor de optimizare ptratic convex cu
restricii inegaliti afine. De-a lungul anilor au fost
propuse i ameliorate diferite metode de rezolvare (a se

478

REFERENCES
[1] N.I.M. Gould, Ph. L. Toint, A Quadratic
Programming Bibliography. Numerical Analysis
Group Internal Report 2000-1 Rutherford Appleton
Laboratory,
Chilton,
England,
2003.
http://www.optimizationonline.org/DB_4TML/2001/02/285.html.
[2] J.-B. Hiriart-Urruty, Optimisation et analyse
convexe. Presses Universitaires de France. 1998.
[3] Th. F Coleman., J. Liu, An interior Newton method
for
quadratic
programming.
Mathematical
Programming, Ser. A85, 1999, pp.491-523.
[4] V. Moraru, An Algorithm for Solving Quadratic
Programming Problems. Computer Science Journal
of Moldova, vol.5, No.2, 1997,pp.223-235.
[5] M.C
Bazaraa.,
C.M.
Shetty,
Nonlinear
Programming. Theory and Algorithms. John
Wiley&Sons, Inc. 1993.
[6] V. Moraru., Dm. Stoian. Newtons Method for
Solving Quadratic Programming Problems with
Simple Constraints. 7th International Conference on
Microelectronics and Computer Science, Chiinu,
Republic of Moldova, September 22-24, 2011.
pp.185-187.
[7] M.C.Ferris, Ch. Kanzow, Complementary and
related problems: A survey. 1998.
[8] V. Moraru, A Smooth Newton Method for Nonlinear
Programming Problems with Inequality Constraints.
Computer Science Journal of Moldova, vol. 20, no.
2(56), 2011 (n curs de apariie).
[9] W. Hock, K. Schittkowski, Test Examples for
Nonlinear Programming Codes. Lecture Notes in
Economics and Mathematical Systems, Vol. 187,
Springer-Verlag, Berlin / Heidelberg / New York,
1981.
[10] N.I.M. Gould, Ph. L. Toint. A quadratic
programming page. Quadratic programming codes.
http://www.numerical.rl.ac.uk/people/nimg/qp/qp.ht
ml
Lucrarea este realizat n cadrul Proiectului
bilateral Romnia Republica Moldova 2013-2014
ASDEC: Argumentarea structurilor pentru suportul
deciziilor cu constrngeri normative.