10.

Optimizacin no lineal sin restricciones

Carmen M. Garca Lpez
Francisco R. Villatoro
10. Optimizacin no lineal
Conceptos bsicos
Principios y teoremas para la bsqueda de
ptimos globales
Optimizacin sin restricciones en dimensin 1
Optimizacin sin restricciones en dimensin >
1
Modelos con restricciones de igualdad
Condiciones de Kuhn-Tucker
Algoritmos numricos bsicos
Conceptos bsicos
Problema general de programacin no lineal (PNL):
maximizar o minimizar z=f(x
1
,x
2
,...,x
n
) (objetivo)
S.A.
g
1
(x
1
,x
2
,...,x
n
) /= / b
1
g
2
(x
1
,x
2
,...,x
n
) /= / b
2
... (restricciones)
g
m
(x
1
,x
2
,...,x
n
) /= / b
m
Problema de programacin no lineal no restringido: PNL sin
restricciones
Regin factible: conjunto de puntos que satisfacen las restricciones.
Solucin ptima de un PNL tipo minimizar: punto de la regin factible
x* que satisface f(x) f(x*) para todo x de la regin factible.
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Extremos locales
Para un PNL, un punto factible x= (x
1
,x
2
,...,x
n
) es un mximo
(mnimo) local si para un suficientemente pequeo, cualquier
punto factible x= (x
1
,x
2
,...,x
n
) verificando |x
i
-x
i
| < satisface
f(x) () f(x)
Un punto que es un mximo o mnimo local se llama extremo
local o relativo
Funciones cncavas y convexas (I)
Una funcin f (x
1
,x
2
,...,x
n
) es una funcin estrictamente
convexa (cncava) en un conjunto convexo S si para
cualesquiera x, x S distintos
f(cx+(1-c)x) < (>) cf(x)+(1-c)f(x)
para 0 < c < 1.
Teorema 1
Se considera un PNL con regin factible S convexa. Entonces si el
problema es de maximixacin (minimizacin) y la funcin f es
estrictamente cncava (convexa) en S, entonces cualquier mximo
(mnimo) local del PNL es una solucin ptima de este problema.
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Funciones cncavas y convexas(II)
Teorema 2
Si f(x) existe para cualquier x en un conjunto convexo S, entonces
f(x) es una funcin convexa (cncava) en S si y slo si f(x) () 0
para todo x de S
Teorema 3
Si f (x
1
,x
2
,...,x
n
) tiene derivadas parciales de segundo orden
continuas para cada punto x= (x
1
,x
2
,...,x
n
) de un conjunto convexo
S, entonces f(x) es una funcin estrictamente convexa (cncava)
en S si y slo si su matriz Hessiana es definida positiva (negativa)
en S
Funciones cncavas y convexas (III)
Teorema
Supongamos A simtrica.
A es definida positiva si y slo si det(H
k
)>0 para k=1,2,,n
A es semidefinida positiva si y slo si det(H
k
)0 para k=1,2,,n
A es definida negativa si y slo si signo(det(H
k
))=(-1)
k
para k=1,2,,n
A es semidefinida negativa si y slo si signo(det(H
k
))=(-1)
k
0 para
k=1,2,,n
A es indefinida si det(A)0 y A no cumple ninguna de las afirmaciones
anteriores
n k
a a a a
a a a a
a a a a
a a a a
H
kk k k k
k
k
k
k
K
K
M M M M
K
K
K
2 , 1 ,
3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
=
|
|
|
|
|
|
.
|

\
|
=
|
|
|
|
|
|
.
|

\
|
=
nn n n n
n
n
n
a a a a
a a a a
a a a a
a a a a
A
K
M M M M
K
K
K
3 2 1
3 33 32 31
2 23 22 21
1 13 12 11
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Principios y teoremas para la
bsqueda de ptimos globales.
Teorema de Weierstrass (condicin suficiente de solucin)
Sea el problema general de programacin matemtica:
optimizar F(x) definida en DR
n
sujeto a xS,
si X=DS es compacto (cerrado y acotado) y no vaco, y la funcin
objetivo es continua, entonces dicha funcin posee un mximo y
un mnimo global en X.
Teorema local-global
Si F es continua y X convexo entonces:
Si F es cncava en X entonces todo mximo local es global
Si F es convexa en X entonces todo mnimo local es global
Adems si F es estricta, el ptimo es nico
Optimizacin sin restricciones en
dimensin 1
Maximizar o minimizar f(x) f continua en [a,b]
Para encontrar la solucin ptima de este problema buscamos
primero todos los mximos (o mnimos) locales. La solucin
ptima ser el mximo local (o mnimo) con el mayor (o menor)
valor de f(x). Si a=- b= el problema puede no tener
solucin.
Hay tres tipos de puntos que pueden ser mximo o mnimos
locales:
Puntos estacionarios de f: a<x<b y f(x)=0
Puntos donde no existe f(x)
Puntos extremos del intervalo [a,b]
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Optimizacin sin restricciones en
dimensin 1
Teorema
Si f(x0)=0 y f(x0)<(>)0 entonces x0 es un mximo (mnimo)
local.
Teorema
Si f(x0)=0 y
1. Si la primera derivada no nula en x0 de f es de orden impar
entoces x0 no es un extremo local
2. Si la primera derivada no nula de f en x0 es positiva y de orden par
entonces x0 es un mnimo local
3. Si la primera derivada no nula de f en x0 es negativa y de orden
par entonces x0 es un mximo local
Mtodos numricos para dimensin
1
Mtodo de bsqueda directa
Identificar el intervalo de incertidumbre que incluye el ptimo a
identificar
Reducir el tamao del intervalo de incertidumbre hasta encontrar el
ptimo
Mtodo de bsqueda de puntos crticos
Si la funcin objetivo es derivable, tratamos de localizar los puntos
en los que se anula la derivada utilizando por ejemplo el mtodo de
Newton
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Mtodos numricos para dimensin
1
Bsqueda dicotmica (para mximos)
Para funciones unimodales sobre un intervalo [a,b] (funciones para
las que existe un punto x* en [a,b] tal que f es creciente en [a,x*]
y decreciente en [x*,b])
Definir dos puntos x1, x2 simtricamente con respecto a a y b de modo
que los intervalos [a,x2] y [x1,b] se superpongan en un intervalo de
longitud .
Evaluar f(x1) y f(x2)
1. Si f(x1) > f(x2), x* debe estar entre a y x2
2. Si f(x1) < f(x2), x* debe estar entre x1 y b
3. Si f(x1)=f(x2), x* debe estar entre x1 y x2
Repetir el proceso en el intervalo en el que se encuentra x* hasta que
sea suficientemente pequeo
Mtodos numricos para dimensin
1
Mtodo de Newton
Para resolver la ecuacin g(x) = 0, g derivable
Elegir un valor inicial x
(0)
Calcular para k=0,...
Terminar cuando |x
(k+1)
-x
(k)
| <
Si g es continua el mtodo converge cuadrticamente
cuando x
(0)
est suficientemente prximo a una raz simple
de g.
( ) ( )
( )
( )
( )
( )
k
k
k k
x g
x g
x x
'
1
=
+
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Optimizacin sin restricciones en
dimension>1
Maximizar o minimizar f (x
1
,x
2
,...,x
n
)
S. A. (x
1
,x
2
,...,x
n
)R
n
Suponemos que existen las derivadas parciales de primer y
segundo orden de f y que son continuas.
Teorema
Si x* es un extremo local del PNL entonces para i=1,...,n se
verifica
es decir, x* es un punto estacionario
Un punto estacionario que no es extremo local es un punto de
silla.
0
) (
*
=

i
x
x f
Optimizacin sin restricciones en
dimension>1
Teorema
Si x* es un punto estacionario de f y H
k
(x*)>0, k=1,2,...,n
(menor principal de orden k de la matriz hessiana de f)
entonces x* es un mnimo local para el PNL.
Teorema
Si x* es un punto estacionario de f y H
k
(x*) tiene el mismo
signo que (-1)
k
k=1,2,...,n entonces x* es un mximo local para
el PNL.
Teorema
Si x* es un punto estacionario de f, H
n
(x*) 0 y no se satisfacen
las hiptesis de los teoremas anteriores, entonces x* es un
punto de silla para el PNL.
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Mtodo del gradiente
Vlido para optimizar funciones que son
diferenciables continuamente dos veces.
Idea: generar puntos sucesivos en la direccin del
gradiente de la funcin
Mtodos:
Mtodo de Newton
Mtodo del descenso ms rpido
Mtodo de Newton
Resolver utilizando el mtodo de Newton el sistema de
ecuaciones
Mtodo de Newton para sistemas
Para resolver la ecuacin F(X)=0, F con derivadas parciales de
primer orden
Elegir un valor inicial X0
Calcular
Repetir hasta que || X(k)-X(k-1) || <
( ) ( ) ( )
( )
( )
( )
k k k k
X F X JF X X
1 1 +
=
( ) 0 = X f
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Mtodo del ascenso ms rpido
Para maximizar f(X)
Elegir X(0)
Calcular
X(k+1) =X(k)+t(k)f(X(k))
siendo t(k) la solucin del problema
maximizar f(X(k)+tf(X(k)))
S.A. t 0
Repetir hasta que || X(k+1)-X(k)|| <
Modelos con restricciones de igualdad
Optimizar f(x
1
,x
2
,...,x
n
) sujeto a g
i
(x
1
,...,x
n
)=b
i
, i=1,...,m (m<n)
Pueden utilizarse dos tcnicas:
Sustitucin: se despejan variables en las restricciones y se
sustituyen en la funcin objetivo. Este mtodo puede dar lugar a
errores si se consideran puntos en los que la funcin objetivo o las
restricciones no estn definidas
Mtodo de Lagrange: se construye una funcin sin restricciones de
modo que los ptimos de la funcin original se encuentran en los
puntos crticos de la funcin de Lagrange
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Multiplicadores de Lagrange.
Lagrangiano: incluye una nueva variable
i
(multiplicador
lagrangiano) por cada restriccin g
i
:
Condicin necesaria de optimizacin: encontrar los puntos
crticos del lagrangiano (x*, *)
( ) ( ) ( ) ( )

=
=
m
i
i n i i n
b x x g x x f x L
1
1 1
, , , , , K K
m j g b
L
n j
x
g
x
f
x
L
j j
j
m
i
j
i
i
j j
, , 1 , 0
, , 1 , 0
1
K
K
= = =

= =

Multiplicadores de Lagrange.
Teorema (Cond. Necesaria)
Si el rango del jacobiano de las restricciones en x* es m (cond. de
regularidad) y x* es un ptimo local del problema, entonces existe un
* tal que (x*, *) es punto crtico de la funcin de Lagrange.
Teorema (Cond. Suficiente)
Sea (x*, *) un punto crtico de la funcin de Lagrange. Entonces
Si F es cncava en X y X es un conjunto convexo, entonces x* es
mximo global del problema original
Si F es convexa en X y X es un conjunto convexo, entonces x* es
mnimo global del problema original
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Condicin suficiente de optimizacin
Construimos la matriz y las matrices que resultan de quitarle
a esa matriz las ltimas p filas y columnas p=0,1,...,n-m-1.
Para cada punto crtico obtenemos las matrices A
0
,A
1
,...,A
n-m-1
:
Si el signo del determinante de A
p
coincide con (-1)
m
para todo p,
el punto crtico es un mnimo local estricto del problema
Si el signo del determinante de A
p
coincide con (-1)
n-p
para todo p,
el punto crtico es un mximo local estricto del problema
( ) ( ) ( )
|
|
|
|
|
|
.
|

\
|

=
|
|
|
|
|
|
.
|

\
|

=
n
m m
n
n g
n n
n
x
g
x
g
x
g
x
g
x x J
x
L
x x
L
x x
L
x
L
x L Hess
L
M M
L
K
L
M M
L
1
1
1
1
1
2
2
1
2
1
2
2
1
2
, , , ,
(

H J
J
T
g
g
0
Bsqueda de mnimos
Si la funcin no es cncava ni convexa, los puntos ptimos pueden
estar en el interior o en el contorno de la regin factible.
Si la funcin es cncava, los mnimos slo pueden alcanzarse en el
contorno de la regin factible si sta es convexa y compacta.
Si la funcin es convexa, el mnimo puede estar en un punto interior o
en el contorno. Se puede utilizar el siguiente procedimiento aunque sin
garantas de alcanzar la solucin ptima:
Determinar el mnimo local sin restricciones:
si satisface las restricciones, ste es el mnimo global
En otro caso, consideramos una restriccin y resolvemos el problema
con el mtodo de sustitucin o de Lagrange. Si el mnimo calculado de
esta forma satisface las restricciones: ptimo global, si no, se aade
una nueva restriccin y se repite el proceso
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Condiciones de Kuhn-Tucker.
Maximizar f(x
1
,x
2
,...,x
n
)
S.A. g
1
(x
1
,x
2
,...,x
n
) b
1
g
2
(x
1
,x
2
,...,x
n
) b
2
...
g
m
(x
1
,x
2
,...,x
n
) b
m
Slo son aplicables si las funciones g
i
satisfacen la condicin de
regularidad:
Restricciones linealmente independientes: continuas y los
gradientes en la solucin ptima forman un sistema de vectores
linealmente independiente
Condiciones de Kuhn-Tucker.
Para un problema de maximizacin, si x*=(x*
1
,...,x*
n
) es una
solucin ptima entonces x* debe satisfacer las resticciones del
problema y adems deben existir los multiplicadores
1
,
2
,...,
m
tales que
( ) ( )
( ) | |
m i
m i x g b
n j
x
x g
x
x f
i
i i i
m
i
j
i
i
j
, , 2 , 1 , 0
, , 2 , 1 , 0 *
, , 2 , 1 , 0
* *
1
K
K
K
=
= =
= =

10. Optimizacin no lineal sin restricciones

Carmen M. Garca Lpez
Francisco R. Villatoro
Condiciones de Kuhn-Tucker.
Para un problema de minimizacin, si x*=(x*
1
,...,x*
n
) es una
solucin ptima entonces x* debe satisfacer las resticciones del
problema y adems deben existir los multiplicadores
1
,
2
,...,
m
tales que
( ) ( )
( ) | |
m i
m i x g b
n j
x
x g
x
x f
i
i i i
m
i
j
i
i
j
, , 2 , 1 , 0
, , 2 , 1 , 0 *
, , 2 , 1 , 0
* *
1
K
K
K
=
= =
= =

Condiciones de Kuhn-Tucker.
Maximizar f(x
1
,x
2
,...,x
n
)
S.A. g
i
(x
1
,x
2
,...,x
n
) b
i
, i=1,...,m
x
j
0, j=1,...,n
Si x*=(x*
1
,...,x*
n
) es una solucin ptima del problema anterior
entonces x* debe satisfacer las restricciones del problema y adems
deben existir los multiplicadores
1
,
2
,...,
m,

1,

2,
.
n
tales que
( ) ( )
( ) | |
( ) ( )
n j
m i
n j x
x
x g
x
x f
m i x g b
n j
x
x g
x
x f
j
i
m
i
j
j
i
i
j
i i i
m
i
j
j
i
i
j
, , 2 , 1 , 0
, , 2 , 1 , 0
, , 2 , 1 , 0 *
* *
, , 2 , 1 , 0 *
, , 2 , 1 , 0
* *
1
1
K
K
K
K
K
=
=
= =
(
(

= =
= = +

=
=

10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Condiciones de Kuhn-Tucker.
Minimizar f(x
1
,x
2
,...,x
n
)
S.A. g
i
(x
1
,x
2
,...,x
n
) b
i
, i=1,...,m
x
j
0, j=1,...,n
Si x*=(x*
1
,...,x*
n
) es una solucin ptima del problema anterior
entonces x* debe satisfacer las restricciones del problema y adems
deben existir los multiplicadores
1
,
2
,...,
m,

1,

2
,
.

n
tales que
( ) ( )
( ) | |
( ) ( )
n j
m i
n j x
x
x g
x
x f
m i x g b
n j
x
x g
x
x f
j
i
m
i
j
j
i
i
j
i i i
m
i
j
j
i
i
j
, , 2 , 1 , 0
, , 2 , 1 , 0
, , 2 , 1 , 0 *
* *
, , 2 , 1 , 0 *
, , 2 , 1 , 0
* *
1
1
K
K
K
K
K
=
=
= =
(
(

= =
= =

=
=

Condiciones suficientes
Si f es una funcin cncava y g
i
son funciones convexas, los
puntos que satisfacen las condiciones de Kuhn-Tucker son
soluciones ptimas del problema de maximizacin.
Si f es una funcin convexa y g
i
son funciones convexas, los
puntos que satisfacen las condiciones de Kuhn-Tucker son
soluciones ptimas del problema de minimizacin.
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Algoritmos numricos bsicos.
Mtodos de penalizacin y barrera
Funciones de penalizacin: fuerzan la convergencia hacia la
regin factible (algoritmo de punto exterior)
Funciones de barrera: fuerzan a permanecer dentro de la
regin factible (algoritmo de punto interior)
Mtodo de penalizacin
Para aproximar la solucin de un problema de optimizacin no
lineal del tipo:
Optimizar f(x
1
,x
2
,...,x
n
) sujeto a g
i
(x
1
,...,x
n
)=b
i
, i=1,...,m
se considera la solucin del problema sin restricciones
Optimizar f(x)+P(p,x) donde
con p>0 si el problema es minimizar y p<0 si el problema es
maximizar
Al obtener el valor ptimo de la funcin de penalizacin se
cumplir que si |p| tiende a infinito entonces g
i
(x) tiende a b
i
.
( ) ( ) ( )

=
=
m
i
i i
b x g p x p P
1
2
,
10. Optimizacin no lineal sin restricciones
Carmen M. Garca Lpez
Francisco R. Villatoro
Algoritmo de penalizacin
Para el problema de minimizacin
Elegir una secuencia por ejemplo 1,10,10
2
, 10
3
,....
Para cada p
k
encontrar un mnimo local x
k
de f(x)+P(p
k
,x)
Terminar cuando P(p
k
,x
k
)/ p
k
sea suficientemente pequeo
{ }
k
p
Mtodo de las direcciones factibles.
Para resolver maximizar z=f(x) S.A. Ax b, x 0:
Elegir x
0
solucin factible.
Sea d
0
solucin de maximizar z= f(x
0
)d S.A. Ad b,
d 0
Elegir x
1
=x
0
+t
0
(d
0
-x
0
) siendo t
0
la solucin de maximizar
f(x
0
+t
0
(d
0
-x
0
)), 0 t
0
1
Continuar generando puntos x
2
,x
3
,... hasta que x
k
y x
k-1
estn suficientemente prximos.