Cursillo ..

CURSILLO DE OPTIMIZACIÓN: Caso Diferenciable
CURSILLO DE OPTIMIZACIÓN:
Caso Diferenciable
ALFI JIMÉNEZ
GERMÁN ALVARADO
24 Y 25 de Septiembre de 2009
Temas a Tratar
Optimización en Rn
Topologı́a en Rn
Existencia de Soluciones
Matrices Definidas Positivamente
Máximos Locales Interiores y Extremos
Optimización con Restricciones de Igualdad
Optimización con restricciones de desigualdad
Convexidad y Optimización
Basado en el libro: A First Course in Optimization Theory
De Rangarajan K. Sundaram
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Temas a Tratar
Topologı́a en Rn
Problema de Optimización
Un problema de optimización es un problema donde los valores de

una función dada f : Rn → R son maximizados o minimizados
sobre un conjunto dado D ⊂ Rn .
Problema de Optimización
Un problema de optimización es un problema donde los valores de

una función dada f : Rn → R son maximizados o minimizados
sobre un conjunto dado D ⊂ Rn .
La función f es llamada función objetivo y el conjunto D el

conjunto restricción. Esto se representa
Max f (x) sujeto a x ∈ D

o
Min f (x) sujeto a x ∈ D
Elementos que Intervienen
La función f (x) (Continua o no - derivable).

Elementos máximos y mı́nimos.
Conjunto D (acotado o no, convexo o no).


Objetivos de la Teorı́a de Optimización
Identificar condiciones que toda solución a un problema de

optimización debe satisfacer, éstas son, las condiciones
necesarias para un punto óptimo.
Identificar condiciones para que todo punto que las cumpla
sea una solución, éstas son, las condiciones suficientes para
puntos óptimos.
Identificar condiciones para la unicidad de la solución.
Identificar condiciones sobre la función f (x) y sobre el
conjunto D, para que existan soluciones.

puntos óptimos.

puntos óptimos.

puntos óptimos.
Puntos Máximos y Mı́nimos
El punto x0 ∈ D es un máximo global de f (x) sobre D, si para

todo x ∈ D, se tiene que f (x) ≤ f (x0 ).
Puntos Máximos y Mı́nimos
El punto x0 ∈ D es un máximo global de f (x) sobre D, si para

todo x ∈ D, se tiene que f (x) ≤ f (x0 ).
El punto x0 ∈ D es un mı́nimo global de f (x) sobre D, si para

todo x ∈ D, se tiene que f (x) ≥ f (x0 ).
Casos de Puntos Optimos
Máximo
Mínimo
Máximo
a b
@ D
Mínimo
a b
H L
@ D
Mínimo
@ D
@ D
Resultado
Resultado
Sea (−1)f = −f la función cuyo valor en x es −f (x). Ası́:
Resultado
Resultado
i. x0 es un máximo de f (x) sobre D si y sólo si x0 es un mı́nimo de

−f (x) sobre D.
Resultado
Resultado

−f (x) sobre D.
ii. z0 es un mı́nimo de f (x) sobre D si y sólo si z0 es un máximo de

−f (x) sobre D.
Prueba Gráficamente
Resultado
Resultado

−f (x) sobre D.
ii. z0 es un mı́nimo de f (x) sobre D si y sólo si z0 es un máximo de

−f (x) sobre D.
Prueba Gráficamente
Distancia y Norma Euclidianas
Distancia y Norma Euclidianas

Sean x = (x1 , x2 , . . . , xn ) y y = (y1 , y2 , . . . , yn ) dos puntos en Rn ,
entonces la distancia entre ellos se define por:
q
d(x, y) = (x1 − y1 )2 + (x2 − y2 )2 + · · · + (xn − yn )2
v
u n
uX
= t (xi − yi )2 .
i=1
Y la norma como la distancia del punto al origen

q
||x|| = x12 + x22 + · · · + xn2
v
u n
uX
=t xi2 .
i=1
Sucesiones en Rn
Sucesión
Una función f : N → Rn tal que:
f (1) = a1 , f (2) = a2 ,...,f (k) = ak ,...,
se denomina una sucesión.
Sucesiones en Rn
Sucesión
f (1) = a1 , f (2) = a2 ,...,f (k) = ak ,...,
Usualmente se escriben de la forma

a1 , a2 , . . . , ak , . . . , o, (ak ), o, ak = f (k).
Sucesiones en Rn
Sucesión
f (1) = a1 , f (2) = a2 ,...,f (k) = ak ,...,

a1 , a2 , . . . , ak , . . . , o, (ak ), o, ak = f (k).
La sucesión (xk ) se dice que converge al lı́mite L si la distancia
entre xk y L tiende a cero a medida que k tiende a infinito.
Sucesiones en Rn
Sucesión
f (1) = a1 , f (2) = a2 ,...,f (k) = ak ,...,

a1 , a2 , . . . , ak , . . . , o, (ak ), o, ak = f (k).
Es decir:
Si k → ∞ entonces d(xk , L) → 0.
Sucesiones en Rn
Sucesión
f (1) = a1 , f (2) = a2 ,...,f (k) = ak ,...,

a1 , a2 , . . . , ak , . . . , o, (ak ), o, ak = f (k).
Es decir:
Si k → ∞ entonces d(xk , L) → 0.
Resultado
Si una sucesión converge, lo hace a un único lı́mite.
Topologı́a en Rn
Bolas Abiertas
Una bola abierta de centro x0 ∈ Rn y radio r > 0 es el conjunto de
puntos que se encuentran a una distancia menor que r de x0 , es
decir
Br (x0 ) = {x ∈ Rn : d(x0 , x) < r }.
Topologı́a en Rn
Bolas Abiertas
Una bola abierta de centro x0 ∈ Rn y radio r > 0 es el conjunto de
puntos que se encuentran a una distancia menor que r de x0 , es
decir
Br (x0 ) = {x ∈ Rn : d(x0 , x) < r }.
H L
x0-r x0 x0+r
x0
bolas abiertas en R y en R2
Topologı́a en Rn
Bolas Cerradas
Una bola cerrada de centro x0 ∈ Rn y radio r > 0 es el conjunto
de puntos que se encuentran a una distancia menor o igual que r
de x0 , es decir
Br (x0 ) = {x ∈ Rn : d(x0 , x) ≤ r }.
Topologı́a en Rn
Bolas Cerradas
Una bola cerrada de centro x0 ∈ Rn y radio r > 0 es el conjunto
de puntos que se encuentran a una distancia menor o igual que r
de x0 , es decir
Br (x0 ) = {x ∈ Rn : d(x0 , x) ≤ r }.
@ D
x0-r x0 x0+r
x0
bolas cerradas en R y en R2
Topologı́a en Rn
Conjuntos Abiertos y Cerrados

Un subconjunto S de Rn se dice abierto si para todo s0 ∈ S, existe
r > 0 tal que
Br (s0 ) ⊂ S.
Topologı́a en Rn
Conjuntos Abiertos y Cerrados

Un subconjunto S de Rn se dice abierto si para todo s0 ∈ S, existe
r > 0 tal que
Br (s0 ) ⊂ S.
Un subconjunto A de Rn se dice cerrado si Rn \ A es abierto.
S S
....... ....... ....... ....... . ...................................................
....... ...... ....... ......
...... .....
.. ..
..... .... ..... ......... ..........
.. .... ... ...
.... .......................... .
... .. ..... .
r·
... .
.... .... ... .. .... ... .......S1 ....
.
. . .
r·
.. .... .... S ... .. ... ...... ... ...
... ...... 0 ... . ....... .. .....
.
..
. ....... . ... ..
..
..................
.
...................... ..
.. .
. .. ...
... .. ... ...
....... ....... ....... ...... ....... ..
................ . .
.... ... .......
. ............................. ..
... ....... ...
......
....
.
..
. . ...
... ... ... ....
... .... ... .....
. ....... ... . .......
..
Conjunto Abierto Conjunto ni abierto ni cerrado

Topologı́a en Rn
Propiedades de los conjuntos Cerrados
Resultado
Un subconjunto A de Rn es cerrado si y sólo si toda sucesión de
puntos del conjunto A que sea convergente, converge a un punto
de A.
Topologı́a en Rn
Propiedades de los conjuntos Cerrados
Resultado
Un subconjunto A de Rn es cerrado si y sólo si toda sucesión de
puntos del conjunto A que sea convergente, converge a un punto
de A.
S
...................................................
....... · ......
......
x0
·· ......
....
.
...
x1
··
xn .•
...
..
.
...
..
. ...
x
...
.
.. ...
.. ..
.
. ..
.
... ...
.....
............................................................
... ........
. .
......
.
....
...
... ...
. ....... ...
Topologı́a en Rn
Conjuntos Acotados y Compactos
Un subconjunto A de Rn es acotado si existe una constante

positiva M tal que para todo a ∈ A, kak < M.
Un subconjunto A de Rn es compacto si es cerrado y acotado.

y y
....... ....... ....... .. M ... ....... ....... ....... ...
....... .. ..... ..... ....
.. ... ..... .. .....
..... .. ..... .... ..
. .
..
............
.... ............ .....
.
...
...
. . . ...
..........A
... M .. ........ ... ... .
. .
... .. ..... ..... .....
.
.
. ... .
.. .... .
....... y = 1 .
........ x ....
... .. ... ....... ........
... .
.....
.. ... ...
.. ....................... . . . . . .
...
..........
................. .
..
.. ..
...
.. ..
..
...
.. .A ............ ...........................
..
... .
....
x ... x ..
.
.. .. ...
... . ... .
.. ... .. ...
... . ... .
... ..... ... .....
...... . ...... .
.
....... ..... .
....... .....
. .
....... ....... ..... ....... ....... .....
Topologı́a en Rn
Función Continua
Una función f : A ⊆ Rn → R es continua en a ∈ A si:
lı́m f (x) = f (a).

x→a
Y continua en A si es continua en todos sus puntos.
Informalmente, la continuidad se puede describir diciendo que el

valor de los vecinos a un punto son muy cercanos al valor del
punto por la función.
Teorema de Weierstrass
Resultado
Sean D ⊆ Rn un subconjunto compacto y f : D → R una función
continua. Entonces, f toma valores máximos y mı́nimos en D.
Teorema de Weierstrass
Resultado
Sean D ⊆ Rn un subconjunto compacto y f : D → R una función
continua. Entonces, f toma valores máximos y mı́nimos en D.Es
decir, existen m, M ∈ D tales que para todo x ∈ D,
f (m) ≤ f (x) ≤ f (M).
...
y
f (M). . . . . . . . . . . . . . . ......
...
... .....
... ...
.. ...
... ....
... .
.
..
...
..
...
.
.
.
...
... .
.. .. ... .
... .. ...
.. .. y = f (x) .... .
.. .. .. .
.. ... .
..
.
... ... .
.. ...
... ... .
... ...
..... ........ .
. . . . . . . . ....... .
f (m) . .
. .
m M x
Ejemplo 1
Sean D = R y f (x) = x 3 . Se tiene que f (x) es continua sobre D,

pero D no es compacto (no es acotado). Además, f (D) = R,
luego f (x) no tiene ni máximos ni mı́nimos sobre R.
Ejemplo 2
Sean D = (0, 1) y f (x) = x 2 + 1. Se tiene que f (x) es continua

sobre D, pero D no es compacto (no es cerrado). Ası́, el Teorema
de Weierstrass no garantiza la existencia de máximos ni de
mı́nimos sobre D.
H
0
L1
Ejemplo 3
Sean D = (−2, 2) y f (x) = x 2 + 1. El Teorema de Weierstrass no

garantiza la existencia de valores extremos, pero f (x) toma un
valor mı́nimo en x = 0.
H
-2
L2
Ejemplo 4
(
1 si x∈ (0, 2)
Sean D = (0, 4) y f (x) =
2 si x∈ [2, 4)
D no es compacto, f (x) no es continua sobre D, por tanto no

aplica el Teorema de Weierstrass, sin embargo hay infinitos
máximos y mı́nimos.
H L4
Ejemplo 5
Sean D = [−1, 1] y f (x) = x 3 . La función f (x) es continua sobre

D, D es compacto luego el Teorema de Weierstrass asegura la
existencia de puntos extremos. De hecho, en x = −1, f (x) toma
su valor mı́nimo y en x = 1 toma su valor máximo.
2
-2
@
-1
D1 2
-1
-2
La forma cuadrática asociada a la matriz simétrica A de orden n

es el polinomio multivariado
qA (X ) = X T A X
donde X T = (x1 , x2 , . . . , xn ).
En particular, para n = 2:

a11 a12
sean A = , X = (x, y )
a21 a22

a a x
entonces, qA (X ) = XT A X = (x, y ) 11 12
a12 a22 y

T a x + a12 y
qA (X ) = X A X = (x, y ) 11
a12 x + a22 y
= a11 x 2 + a12 xy + a12 xy + a22 y 2
= a11 x 2 + 2a12 xy + a22 y 2
Para n = 3:
 
a11 a12 a13
Sean A = a21 a22 a23  , X = (x, y , z)
a31 a32 a33
entonces,
qA (X ) = X T A X
= a11 x 2 + a2 y 2 + a33 z 2 + 2a12 xy + 2a13 xz + 2a23 yz.
La forma cuadrática correspondiente a la matriz

5 −3
A=
−3 8
está dada por
qA (x, y ) = 5x 2 − 6xy + 8y 2 .
La forma cuadrática correspondiente a la matriz

5 −3
A=
−3 8
está dada por
qA (x, y ) = 5x 2 − 6xy + 8y 2 .
La forma cuadrática correspondiente a la matriz diagonal

 
−3 0 0
A =  0 2 0
0 0 1
está dada por

qA (x, y , z) = −3x 2 + 2y 2 + z 2 .
La función
q(x, y , z) = 4x 2 − 2y 2 + z 2 − 2xy + 4yz
corresponde a la forma cuadrática generada por la matriz

 
4 −1 0
A = −1 −2 2
0 2 1
Matrices Definida Positiva y semi definida positiva
Sean A una matriz simétrica de orden n y qA (X ) su forma

cuadrática asociada.
Entonces, A y qA son llamadas:
semidefinida positiva si para todo X ∈ Rn , qA (X ) ≥ 0,
definida positiva si para todo X ∈ Rn , X 6= 0, qA (X ) > 0.

La matriz identidad de orden 2 es definida positiva.

1 0 x
qI (x, y ) = (x, y ) = (x, y )(x, y ) = x 2 + y 2 .
0 1 y
Si (x, y ) 6= (0, 0), entonces, x 2 + y 2 > 0.
En general la matriz identidad de orden n es definida

positiva.

0 1
La matriz A = no es definida positiva ni
1 0
semidefinida positiva.
qA (x, y ) = 2xy .
Si x > 0, y > 0, entonces, qA (x, y ) = 2xy > 0.
Si x > 0, y < 0, entonces, qA (x, y ) = 2xy < 0.

1 0
La matriz A = es semidefinida positiva.
0 0
qA (x, y ) = x 2 . Pero esto puede ser cero sin necesidad de ser
el punto (0, 0).
De hecho, si (x, y ) = (0, 1) 6= (0, 0), entonces, qA (0, 1) = 0.
Ası́, la matriz no es definida positiva sino semidefinida
positiva.
Matrices Definida Negativa y semi definida negativa

cuadrática asociada. Entonces, A y qA son llamadas:
semidefinida negativa si para todo X ∈ Rn , qA (X ) ≤ 0,
definida negativa si para todo X ∈ Rn , X 6= 0, qA (X ) < 0.
Matrices Definida Negativa y semi definida negativa

semidefinida negativa si para todo X ∈ Rn , qA (X ) ≤ 0,
definida negativa si para todo X ∈ Rn , X 6= 0, qA (X ) < 0.

−1 −1
La matriz A = es no definida negativa.
−1 −1
qA (x, y ) = −x 2 − 2xy − y 2 = −(x + y )2 < 0.


−1 0
La matriz A = es definida negativa.
0 −1
qA (x, y ) = −x 2 − y 2 = −(x 2 + y 2 ) < 0.
Toda matriz diagonal con entradas positivas es definida

positiva y toda matriz diagonal con entradas negativas es
definida negativa.
Matriz Indefinida

indefinida si existen X , Y ∈ Rn tales que:
qA (X ) < 0 y qA (Y ) > 0.
Matriz Indefinida

indefinida si existen X , Y ∈ Rn tales que:
qA (X ) < 0 y qA (Y ) > 0.

0 1
La matriz A = es indefinida.
1 0
qA (x, y ) = 2xy .
Si x > 0, y > 0, entonces, qA (x, y ) = 2xy > 0.
Si x > 0, y < 0, entonces, qA (x, y ) = 2xy < 0.

1 2
La matriz A = es indefinida.
2 3
qA (x, y ) = x 2 + 3y 2 + 4xy .
Si (x, y ) = (1, 1), entonces, qA (1, 1) = 8 > 0.

Si (x, y ) = (3, −1), entonces, qA (3, −1) = 0 = 0.
Si (x, y ) = (3, −2), entonces, qA (3, −2) = −3 < 0.
Resultado
Si A es una matriz simétrica, entonces,
la matriz es definida positiva (resp. definida negativa) si y sólo si

todos sus valores propios son positivos (resp. negativos ),
la matriz es semidefinida positiva (resp. semidefinida definida

negativa) si y sólo si todos sus valores propios son no negativos
(resp. negativos ),
la matriz es indefinida si y sólo si tiene al menos un valor propio

positivo y al menos un valor propio negativo.
Sea
 
a11 a12 a13 · · · a1n
a12 a22
 a23 · · · a2n 

A = a13 a23
 a33 · · · a3n 

 .. .. .. .. .. 
 . . . . . 
a1n a2n a3n · · · ann
Una matriz simétrica n × n. Por el k-ésimo menor principal de
A se entiende el determinante

a11 a12 a13 · · · a1k

a12 a22 a23 · · · a2k

∆k = a13 a23 a33 · · · a3k

.. .. .. .. ..
. . . . .

a1k a2k a3k · · · akk
 
1 −2 3
Si A = −2 5 7
3 7 8
entonces,

1 −2 3
1 −2
∆1 = 1, ∆2 =
, ∆3 −2 5 7 .
−2 5
3

7 8
 
1 −2 3
Si A = −2 5 7
3 7 8
entonces,

1 −2 3
1 −2
∆1 = 1, ∆2 =
, ∆3 −2 5 7 .
−2 5
3

7 8

11 2
Si B =
2 5
entonces,

11 2
∆1 = 11, ∆2 = .
2 5
Resultado
Sean A una matriz simétrica de orden n y ∆k su k-ésimo
menor principal, 1 ≤ k ≤ n. Entonces:
Si para 1 ≤ k ≤ n, se cumple que ∆k > 0, entonces A es

definida positiva,
Si para 1 ≤ k ≤ n, se cumple que (−1)k ∆k > 0, entonces
A es definida negativa.
Resultado
Sean A una matriz simétrica de orden n y ∆k su k-ésimo
menor principal, 1 ≤ k ≤ n. Entonces:
Si para 1 ≤ k ≤ n, se cumple que ∆k > 0, entonces A es

definida positiva,
Si para 1 ≤ k ≤ n, se cumple que (−1)k ∆k > 0, entonces
A es definida negativa.

2 −2
Si A = , entonces,
−2 8

2 −2
∆1 = 2 > 0, ∆2 = = 12 > 0.
−2 8
Por tanto, A es definida positiva.

2 −2
Si A = , entonces,
−2 8

2 −2
∆1 = 2 > 0, ∆2 = = 12 > 0.
−2 8
Por tanto, A es definida positiva.

−2 1
Si A = , entonces,
1 −8

−2 1
∆1 = −2 < 0, ∆2 = = 15 > 0.
1 −8
Por tanto, A es definida negativa.
Gradiente
Vector Gradiente
Sea f (x1 , x2 , . . . , xn ) una función de varias variables. Por el

gradiente ∇f de f (x) se entiende el vector formado con las
derivadas parciales de f (x), es decir:

∂f ∂f ∂f
∇f (x) = (x), (x), . . . , (x)
∂x1 ∂x2 ∂xn
Gradiente
Ejemplos
Si f (x, y ) = x 2 y 3 , entonces,

∂f ∂f
∇f (x) = (x), (x) = (2xy 3 , 3x 2 y 2 ).
∂x ∂y
Gradiente
Ejemplos
Si f (x, y ) = x 2 y 3 , entonces,

∂f ∂f
∇f (x) = (x), (x) = (2xy 3 , 3x 2 y 2 ).
∂x ∂y
Si f (x, y , z) = xe yz , entonces,

∂f ∂f ∂f
∇f (x) = (x), (x), (x) = (e yz , xze yz , xye yz ).
∂x ∂y ∂z
Gradiente
Matriz Hessiana
Si f (x) = f (x1 , x2 , . . . , xn ) es una función de n variables y

∂f ∂f ∂f
∇f (x) = ( ∂x1
(x), ∂x2
(x), . . . , ∂xn
(x))
su correspondiente vector gradiente. Entonces, por el Hessiano de

f (x) se entiende la matriz simétrica
∂2f ∂2f ∂2f

 
∂x12 ∂x1 ∂x2 ··· ∂x1 ∂xn
 
 ∂2f ∂2f ∂2f 
 ∂x ∂x
2 1 ∂x22
··· ∂x2 ∂xn 
 2
Hf = 
 .  = D (f )
 .. .. .. ..
 . . . 

∂2f ∂2f ∂2f
∂xn ∂x1 ∂xn ∂x2 ··· ∂xn2
Gradiente
Ejemplo
Si f (x, y ) = xe yz , entonces, ∇f (x) = (e yz , xze yz , xye yz ).

Ası́,
ze yz ye yz
 
0
Hf = ze yz
 xz 2 e yz xe yz + xyze yz 
ye yz xe + xyze yz
yz xy 2 e yz
Gradiente
Ejemplo
Si f (x, y , z) = x 2 + y 2 + z 2 − xy + yz − xz, entonces,
∇f (x, y , z) = (2x − y − z, 2y − x + z, 2z + y − x).
Ası́,
 
2 −1 −1
Hf = −1 2 1
−1 1 2
Máximo Local
Un punto x ∈ D ⊂ Rn es un máximo local de una función f

definida sobre D si existe r > 0 tal que f (x) ≥ f (y ) para todo
y ∈ D ∩ B(x, r ).
Un punto x ∈ D ⊂ Rn es un máximo local no restringido o

máximo local interior de una función f definida sobre D si existe
r > 0 tal que B(x, r ) ⊂ D y f (x) ≥ f (y ) para todo y ∈ B(x, r ).
Gráfica
Condiciones de Primer Orden
Resultado
Si x ∗ es un máximo local no restrigido de f sobre D y f es
diferenciable en x ∗ , entonces
Df (x ∗ ) = 0.
Resultado
Si x ∗ es un máximo local no restrigido de f sobre D y f es
diferenciable en x ∗ , entonces
Df (x ∗ ) = 0.
Nota: El resultado sólo provee condiciones necesarias pero no

suficientes para ser máximo local interior.
Ejemplos
Sean f (x) = x 3 y D = R.
Ası́,
f 0 (x) = 3x 2 = 0 ⇔ x = 0.
El punto (0, 0) es candidato para ser máximo o mı́nimo local, pero
f 0 (x) = 3x 2 ≥ 0 para todo x ∈ R, luego f (x) es creciente en todo
su dominio. Luego, (0, 0) no es ni máximo ni mı́nimo.
Condiciones de Segundo Orden
Las condiciones de primer orden no distiguen entre máximos ni

mı́nimos locales.
Resultado
Sean f (x) una función escalar definidaen Rn que tiene primeras y
segundas derivadas continuas sobre D ⊂ Rn y x ∗ un punto interior
de D, entonces:
Si f tiene un máximo local en x ∗ , entonces D 2 f (x ∗ ) es
semidefinida negativa.
Si f tiene un mı́nimo local en x ∗ , entonces D 2 f (x ∗ ) es
Las condiciones de primer orden no distiguen entre máximos ni

mı́nimos locales.
Resultado
Sean f (x) una función escalar definidaen Rn que tiene primeras y
segundas derivadas continuas sobre D ⊂ Rn y x ∗ un punto interior
de D, entonces:
Máximos Locales Estrictos
Un máximo local x ∗ de f sobre D es un máximo local estricto si

existe r > 0 tal que f (x ∗ ) > f (y ), para todo y ∈ B(x ∗ , r ) ∩ D, con
y 6= x ∗ .

y 6= x ∗ .
Observaciones

y 6= x ∗ .
Observaciones
Las condiciones de primer y segundo orden no aseguran que
los puntos crı́ticos sean óptimos globales.

y 6= x ∗ .
Observaciones
Las condiciones de primer y segundo orden no aseguran que
los puntos crı́ticos sean óptimos globales.
Las condiciones de segundo orden no son equivalencias.
Condiciones de Segundo Orden: Versión Mejorada
Resultado
Suponga que f tiene primeras y segundas derivadas continuas
sobre D ⊂ Rn y que x ∗ es un punto interior de D, entonces:
Si Df (x ∗ ) = 0 y D 2 f (x ∗ ) es definida negativa, entonces x ∗ es
un máximo local estricto de f en D.
Si Df (x ∗ ) = 0 y D 2 f (x ∗ ) es definida positiva, entonces x ∗ es
un mı́nimo local estricto de f en D.
Resultado
Resultado
Resultado
Puntos Frontera
Un punto x0 ∈ Rn es punto frontera del subconjunto D de Rn si

toda bola abierta B(x0 , r ) intersecta a D y a su complemento
Rn \ D. Es decir, para todo r ∈ R,
B(x0 , r ) ∩ D 6= ∅, y B(x0 , r ) ∩ (Rn \ D) 6= ∅.
Puntos Frontera
Resultado
Si f : D ⊂ Rn → R es una función continua en D un conjunto
compacto, entonces, los puntos óptimos de f sobre D ocurren en
el interior de D o en su frontera.
Ejemplo
Optimizar f (x) = 4x 3 − 5x 2 + 2x sobre D = [0, 1].
Como D es compacto y f es continua sobre D, se cumplen las

condiciones de primer orden garantizando la existencia de máximos
y mı́nimos para f (x) sobre D.
Ya que f 0 (x) = 12x 2 − 10x + 2 = 0 tiene por solución x = 21 y

x = 13 , se tendrá que los puntos óptimos estarán en el conjunto de
puntos crı́ticos unido el conjunto de los puntos extremos, es decir:
A = {1/2, 1/3} ∪ {0, 1} = {0, 1/3, 1/2, 1}.

Como f 00 (x) = 24x − 10 se tiene que:
f 00 12 > 0 y f 00 31 > 0.

1
Se tiene por las condiciones de segundo orden que: x = 2 es un
mı́nimo local y x = 13 es un máximo local.
Adicionalmente, como:
1
= 14 ; f 1 7

f (1) = 1; f (0) = 0; f 2 3 = 27
Entonces f (x) se maximiza globalmente en x = 1 y se minimiza

globalmente en x = 0.
Ejemplo
Sea f (x) = x 4 con D = R. Como D no es compacto no aplican las

condiciones de primer orden. Sin embargo, es posible determinar
por inspección de la gráfica que f (x) tiene un mı́nimo global en
x = 0.
Ya que, f 0 (x) = 4x 3 = 0 en x = 0 y se tiene que f 00 (0) = 0 lo cual

quiere decir que f 00 (0) no es definida positiva (es semidefinida
positiva) lo cual no garantiza la existencia de mı́nimos locales
estrictos.
Sea g : Rn → Rp tal que:
g (x1 , x2 , . . . , xn ) = (g1 (x1 , x2 , . . . , xn ), . . . , gp (x1 , x2 , . . . , xn ))
entonces  
∇g1
∇g2 
D(g ) =  . 
 
 .. 
∇gp
es una matriz p × n, y ρ(D(g )) denota el rango de dicha matriz.
Nota: El rango de una matriz es el número de filas

linealmente independientes.
Teorema de Lagrange
Resultado
Sean f : Rn → R (función objetivo) y gi : Rn → R para
i = 1, 2, . . . , k funciones con derivadas continuas (funciones
restricciones).
Si x ∗ es un máximo o mı́nimo local de f sobre el conjunto
D = U ∩ {x/gi (x) = 0, para todo i = 1, 2, . . . , k},
U ⊂ Rn abierto y ρ(D(g (x ∗ ))) = k, entonces, existe un vector

λ∗ = (λ∗1 , λ∗2 , . . . , λ∗k ) ∈ Rk tal que:
k
X
D(f (x ∗ )) + λ∗i D(gi (x ∗ )) = 0.
i=1
Observaciones
El Teorema de Lagrange sólo provee condiciones necesarias

para óptimos locales que cumplen la condición que
ρ(D(g (x ∗ ))) = k.
La condición ρ(D(g (x ∗ ))) = k afirma que todas las
restricciones son linealmente independientes, lo cual equivale a
afirmar que todas las restricciones son absolutamente
necesarias para el problema. Es decir, no hay recurrencia en
las restricciones.
La condición ρ(D(g (x ∗ ))) = k se denomina restricción de
cualificación.
Observaciones

ρ(D(g (x ∗ ))) = k.
las restricciones.
cualificación.
Observaciones

ρ(D(g (x ∗ ))) = k.
las restricciones.
cualificación.
Ejemplo: Las condiciones del Teorema de Lagrange son

necesarias pero no suficientes.
Dada la función objetivo f (x, y ) = x 3 + y 3 , sobre la región
D = {(x, y ) ∈ Rn /g (x, y ) = 0}.
Sea el punto (x ∗ , y ∗ ) = (0, 0) un punto en D y λ∗ = 0

(multiplicador de Lagrange).
Ya que D(g (x, y )) = (1, −1) para todo (x, y ) ∈ D, se tiene que:
ρ(D(g (0, 0))) = 1.
Como D(f (x, y )) = (3x 2 , 3y 2 ), entonces,
D(f (x ∗ , y ∗ )) = D(f (0, 0)) = (0, 0).

Finalmente, se cumple que:
Df (x ∗ , y ∗ ) + λ∗ Dg (x ∗ , y ∗ ) = (0, 0) + 0(1, −1) = (0, 0).
Ası́, las condiciones de Lagrange se satisfacen en (0, 0), lo cual

podrı́a hacer pensar que (0, 0) es un máximo o mı́nimo local. Pero
de hecho se tiene que:
f (0,001, 0,001) = 2(0,001)3 > 0

f (−0,001, −0,001) = −2(0,001)3 < 0
donde, (0,001, 0,001), (−0,001, −0,001) son elementos de D. Y

por la continuidad de f (x, y ) sobre R2 (en particular en D)
sededuce que (0, 0) no es un mı́nimo local sobre D para f .
Ejemplo
Maximizar f (x, y ) = −y sobre
D = {(x, y ) ∈ R2 /g (x, y ) = y 3 − x 2 = 0}.
De y 3 = x 2 , se deduce que para todo (x, y ) ∈ D, y ≥ 0.
Además, y = 0 si y sólo si x = 0.
Se observa que f (x, y ) = −y toma un valor máximo en

f (x, y ) = −y = 0, es decir que el punto (0, 0) es máximo global de
f sobre D.
De Dg (0, 0) = (−2x, 3y 2 ) = (0, 0) y ρ(Dg (0, 0)) = 0 < 1.

Ası́, no se cumple la condición de cualificación y es posible que no

se cumpla el Teorema de Lagrange. Como Df (x, y ) = (0, −1), se
tiene:
Df (0, 0) + λ∗ Dg (0, 0) = (0, −1) + λ∗ (0, 0)

= (0, −1) + (0, 0)
= (0, −1)
6= (0, 0),
lo cual confirma que no existe multiplicador de Lagrange en este

caso.
Teorema de Kuhn-Tucker
Resultado
Sean f : Rn → R y hi : Rn → R funciones C 1 , i = 1, . . . , l.
Supóngase que x ∗ es un máximo local de f sobre el conjunto
D = U ∩ {x ∈ Rn /hi (x) ≥ 0, i = 1, 2, . . . , l},

donde U es un conjunto abierto en Rn . Sean E ⊂ {1, . . . , l} el
conjunto de restricciones efectivas en x ∗ , y hE = (hi )i∈E .
Supóngase además que ρ(DhE (x ∗ )) = |E |,
entonces:
Resultado
existe un vector
λ∗ = (λ∗1 , λ∗2 , . . . , λ∗l ) ∈ Rl
tal que se cumple:

Resultado
existe un vector
λ∗ = (λ∗1 , λ∗2 , . . . , λ∗l ) ∈ Rl
tal que se cumple:

KT-1 λ∗i ≥ 0 y λ∗i hi (x ∗ ) = 0, para i = 1, . . . , l.
Resultado
existe un vector
λ∗ = (λ∗1 , λ∗2 , . . . , λ∗l ) ∈ Rl
tal que se cumple:

KT-1 λ∗i ≥ 0 y λ∗i hi (x ∗ ) = 0, para i = 1, . . . , l.
Pl
KT-2 Df (x ∗ ) + ∗ ∗
i=1 λi Dhi (x ) = 0.
Todas las posibilidades
min max
hi (x) ≤ 0 λi ≥ 0 λi ≤ 0
hi (x) ≥ 0 λi ≤ 0 λi ≥ 0
Nota: Los multiplicadores asociados a restricciones no efectivas

son nulos, mientras que los asociados a efectivas pueden serlo o no.
Ejemplo 1
Sean f : R → R y g : R → R funciones definidas por f (x) = x 3

y g (x) = x respectivamente. Considerar el problema de maximizar
f sobre el conjunto D = {x ∈ R|g (x) ≥ 0}.
Si x ∗ = λ∗ = 0 se satisface el Lagragiano
f 0 (x ∗ ) + λ∗ g 0 (x ∗ ) = 0.
La cualificación de restricción se satisface en x ∗ , ya que, para todo

x ∈ R, g 0 (x) = 1.
Si las condiciones de el Teorema de Kuhn-Tucker fueran
suficientes, x ∗ = 0 serı́a un máximo local.
Ejemplo 2
Sean f : R2 → R y h : R2 → R funciones definidas por

f (x, y ) = −(x 2 + y 2 ) y h(x, y ) = (x − 1)3 − y 2 , respectivamente.
Considerar el problema de maximizar f sobre el conjunto
D = {(x, y ) ∈ R2 |(x − 1)3 ≥ y 2 }.

Observese que:
La función f se maximiza donde x 2 + y 2 = |(x, y )|2 se
minimiza.
Como (x − 1)3 ≥ y 2 ≥ 0 los valores mı́nimos serán en (1, 0).
La restricción es efectiva en (1, 0), y f se maximiza en él,
Ejemplo 2

D = {(x, y ) ∈ R2 |(x − 1)3 ≥ y 2 }.

Observese que:
minimiza.
Ejemplo 2

D = {(x, y ) ∈ R2 |(x − 1)3 ≥ y 2 }.

Observese que:
minimiza.
Ejemplo 2...continuación
En este máximo global de f sobre D se tiene

Dh(x ∗ , y ∗ ) = (3(x ∗ − 1)2 , 2y ∗ ) = (0, 0)
de donde, ρ(Dh(x ∗ , y ∗ )) = 0 < 1.
Df (x ∗ , y ∗ ) = (−2x ∗ , −2y ∗ ) = (−2, 0).
No existe λ ≥ 0 tal que
Df (x ∗ , y ∗ ) + λDh(x ∗ , y ∗ ) = (0, 0).
Las conclusiones del Teorema de Kuhn-Tucker fallan pero

fué posible maximizar la función f .

Dh(x ∗ , y ∗ ) = (3(x ∗ − 1)2 , 2y ∗ ) = (0, 0)
de donde, ρ(Dh(x ∗ , y ∗ )) = 0 < 1.
Df (x ∗ , y ∗ ) = (−2x ∗ , −2y ∗ ) = (−2, 0).
Df (x ∗ , y ∗ ) + λDh(x ∗ , y ∗ ) = (0, 0).


Dh(x ∗ , y ∗ ) = (3(x ∗ − 1)2 , 2y ∗ ) = (0, 0)
de donde, ρ(Dh(x ∗ , y ∗ )) = 0 < 1.
Df (x ∗ , y ∗ ) = (−2x ∗ , −2y ∗ ) = (−2, 0).
Df (x ∗ , y ∗ ) + λDh(x ∗ , y ∗ ) = (0, 0).


Dh(x ∗ , y ∗ ) = (3(x ∗ − 1)2 , 2y ∗ ) = (0, 0)
de donde, ρ(Dh(x ∗ , y ∗ )) = 0 < 1.
Df (x ∗ , y ∗ ) = (−2x ∗ , −2y ∗ ) = (−2, 0).
Df (x ∗ , y ∗ ) + λDh(x ∗ , y ∗ ) = (0, 0).

Convexidad de Conjuntos
Un subconjunto D ⊂ Rn es convexo si para todo par de puntos

x, y ∈ D y para todo escalar λ ∈ [0, 1] se tiene que el punto
λx + (1 − λ)y
es un punto en D.
Convexos No Convexos
Convexidad y Concavidad de Funciones
Sean D un subconjunto convexo y f : D ⊂ Rn → R una función.
El subgrafo de f y el epigrafo de f están definidos por

sub f = {(x, y ) ∈ D × R|f (x) ≥ y }
epi f = {(x, y ) ∈ D × R|f (x) ≤ y }
Gráficas
Una función f : D → R es cóncava si sub f es un conjunto

convexo y es convexa si epi f es un conjunto convexo.
Una función f : D → R es cóncava si sub f es un conjunto

convexo y es convexa si epi f es un conjunto convexo.
2.0 0.5
1.5 0.0
1.0 -0.5
0.5 -1.0
0.0 -1.5
-0.5 -2.0
-2 -1 0 1 2 -2 -1 0 1 2
Resultado
Una función f : D → R es cóncava si y sólo si para todo par de
puntos x, y ∈ D y para todo λ ∈ (0, 1) se cumple que
f [λx + (1 − λ)y ] ≥ λf (x) + (1 − λ)f (y ).
Análogamente, una función f : D → R es convexa si y sólo si para

todo par de puntos x, y ∈ D y para todo λ ∈ (0, 1) se cumple que
f [λx + (1 − λ)y ] ≤ λf (x) + (1 − λ)f (y ).
Funciones Convexas Concavas

Convexidad Estricta y Concavidad Estricta de Funciones
Una función f : D → R se dice ser estrictamente cóncava si para

todo par de puntos x, y ∈ D y para todo λ ∈ (0, 1) se cumple que
f [λx + (1 − λ)y ] > λf (x) + (1 − λ)f (y ).
Similarmente, una función f : D → R se dice estrictamente

convexa si para todo par de puntos x, y ∈ D y para todo
λ ∈ (0, 1) se cumple que
f [λx + (1 − λ)y ] < λf (x) + (1 − λ)f (y ).

Resultado
Una función f : D → R es cóncava en D si y sólo si la función
−f es convexa en D. Respectivamente con concavidad y
convexidad estrictas.
Resultado
Una función f : D → R es cóncava en D si y sólo si la función
−f es convexa en D. Respectivamente con concavidad y
convexidad estrictas.
fHxL
-fHxL
Convexidad: Continuidad y Diferenciabilidad de Funciones
Resultado
Sea f : D → R una función cóncava. Entonces, si D es un
conjunto abierto, f es continua en D. Si D no es abierto, f es
continua sobre el interior de D.
Convexidad: Continuidad y Diferenciabilidad de Funciones
Resultado
Sea f : D → R una función cóncava. Entonces, si D es un
conjunto abierto, f es continua en D. Si D no es abierto, f es
continua sobre el interior de D.
Resultado
Sea D un conjunto convexo y abierto en Rn , y sea f : D → R
una función cóncava. Entonces, la derivada Df es continua en
todos los puntos donde exista.
Convexidad y Diferenciabilidad de Funciones
Resultado
Sea f : D → R una función y D ⊂ Rn un conjunto abierto y
convexo. Entonces,
f es cóncava en D si y sólo si D 2 f (x) es una matriz
semidefinida negativa para todo x ∈ D.
f es convexa en D si y sólo si D 2 f (x) es una matriz
semidefinida positiva para todo x ∈ D.
Si D 2 f (x) es definida negativa para todo x ∈ D, entonces, f
es estrictamente cóncava en D.
Si D 2 f (x) es definida positiva para todo x ∈ D, entonces, f
es estrictamente convexa en D.
Resultado
convexo. Entonces,
Resultado
convexo. Entonces,
Resultado
convexo. Entonces,
Resultado
Sean D ⊂ Rn un subconjunto convexo y f : D → R una función
cóncava. Entonces,
Todo máximo local de f es un máximo global.
El conjunto de maximizadores de f en D es vacı́o o un
conjunto convexo.
Si f es estrictamente cóncava, entonces, el conjunto de
maximizadores de f en D es vacı́o o unitario.
Resultado
conjunto convexo.
Resultado
conjunto convexo.
Resultado
Sean D ⊂ Rn un conjunto convexo y f : D → R una función
diferenciable y cóncava en D. Entonces, x ∗ es un máximo global
de f en D si y sólo si Df (x ∗ ) = 0.
Teorema de Kuhn-Tucker bajo Convexidad
Resultado
Sean U ⊂ Rn un conjunto abierto y convexo y f : U → R una
función C 1 cóncava. Para i = 1, 2, . . . , l, sean hi : U → R
funciones C 1 cóncavas. Supóngase que existe algún x ∈ U tal que
hi (x) > 0, i = 1, 2, . . . , l
Entonces, x ∗ maximiza f sobre
D = {x ∈ U|hi (x) ≥ 0, i = 1, 2, . . . , l}
si y sólo si existe λ∗ ∈ Rl tales que
Df (x ∗ ) + li=1 λ∗i Dhi (x ∗ ) = 0,
P
Pl
λ∗ ≥ 0, ∗ ∗
i=1 λi hi (x ) = 0.
Teorema de Kuhn-Tucker bajo Convexidad
Resultado
Sean U ⊂ Rn un conjunto abierto y convexo y f : U → R una
función C 1 cóncava. Para i = 1, 2, . . . , l, sean hi : U → R
funciones C 1 cóncavas. Supóngase que existe algún x ∈ U tal que
hi (x) > 0, i = 1, 2, . . . , l
Entonces, x ∗ maximiza f sobre
D = {x ∈ U|hi (x) ≥ 0, i = 1, 2, . . . , l}
si y sólo si existe λ∗ ∈ Rl tales que
Df (x ∗ ) + li=1 λ∗i Dhi (x ∗ ) = 0,
P
Pl
λ∗ ≥ 0, ∗ ∗
i=1 λi hi (x ) = 0.
GRACIAS
GRACIAS
GRACIAS
GRACIAS
GRACIAS
GRACIAS
Puntos Frontera
y
S
.............................................................
....... .......
......
.
...... ..... ...............
......
.. ........
..... ................ .... ..... ....
...
..
. ..
.. ..
...... ... ...
.. ..... ... .... x ....
r ·
... .
.
... ... ... ... ......... 2 ...
r ·
.. ..... .. ... ...... ... .
.. ... ......... 0 ...
.
. x ....... .. ...... .
....... .. .......
... ......... . ...........
.. .....
.. ...
...... .
.
............... . .
... .
...
.. .....
... ......
...
.... ..........................................................................
..
...
.. ......
..
... .....
.. . ....
...... ...... .
x
Retorno
conjuntos: no convexos
Retorno
conjuntos: convexos
Retorno
2 2
1 1
0 0
-1 -1
-2 -2
-2 -1 0 1 2 -2 -1 0 1 2
Figura: Epigrafo-Subgrafo
Retorno
Funciones Cóncavas y Convexas
2.0 0.5
1.5 0.0
1.0 -0.5
0.5 -1.0
0.0 -1.5
-0.5 -2.0
-2 -1 0 1 2 -2 -1 0 1 2
Figura: Convexa Cóncava
Retorno
Máximo de f
a x0
H L
Retorno
Funciones Cóncavas y Convexas
Retorno
Resultado 1: Prueba
Si x0 es un máximo de f (x), entonces, para todo x ∈ D,
f (x) ≤ f (x0 ).
Multiplicando por (−1)
−f (x) ≥ −f (x0 ),
luego x0 es un mı́nimo de −f sobre D.
De igual forma la otra parte.

Retorno
Resultado 1: Gráfica
Máximo de f
f HxL
Mínimo de f
a x0 z0 b
Máximo de -f
-f HxL
Mínimo de -f
Retorno

Cursillo ..

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Cursillo ..

Încărcat de

Drepturi de autor:

Formate disponibile

CURSILLO DE OPTIMIZACIÓN: Caso Diferenciable

Un problema de optimización es un problema donde los valores de

Un problema de optimización es un problema donde los valores de

La función f es llamada función objetivo y el conjunto D el

Max f (x) sujeto a x ∈ D

Elementos que Intervienen

La función f (x) (Continua o no - derivable).

Elementos que Intervienen

La función f (x) (Continua o no - derivable).

Elementos que Intervienen

La función f (x) (Continua o no - derivable).

Objetivos de la Teorı́a de Optimización

Identificar condiciones que toda solución a un problema de

Objetivos de la Teorı́a de Optimización

Identificar condiciones que toda solución a un problema de

Objetivos de la Teorı́a de Optimización

Identificar condiciones que toda solución a un problema de

Objetivos de la Teorı́a de Optimización

Identificar condiciones que toda solución a un problema de

Puntos Máximos y Mı́nimos

El punto x0 ∈ D es un máximo global de f (x) sobre D, si para

Puntos Máximos y Mı́nimos

El punto x0 ∈ D es un máximo global de f (x) sobre D, si para

El punto x0 ∈ D es un mı́nimo global de f (x) sobre D, si para

Casos de Puntos Optimos

Casos de Puntos Optimos

Casos de Puntos Optimos

Casos de Puntos Optimos

Casos de Puntos Optimos

Casos de Puntos Optimos

i. x0 es un máximo de f (x) sobre D si y sólo si x0 es un mı́nimo de

i. x0 es un máximo de f (x) sobre D si y sólo si x0 es un mı́nimo de

ii. z0 es un mı́nimo de f (x) sobre D si y sólo si z0 es un máximo de

i. x0 es un máximo de f (x) sobre D si y sólo si x0 es un mı́nimo de

ii. z0 es un mı́nimo de f (x) sobre D si y sólo si z0 es un máximo de

Distancia y Norma Euclidianas

Y la norma como la distancia del punto al origen

Usualmente se escriben de la forma

Usualmente se escriben de la forma

Usualmente se escriben de la forma

Usualmente se escriben de la forma

Conjuntos Abiertos y Cerrados

Conjuntos Abiertos y Cerrados

Conjunto Abierto Conjunto ni abierto ni cerrado

Propiedades de los conjuntos Cerrados

Propiedades de los conjuntos Cerrados

Conjuntos Acotados y Compactos

Un subconjunto A de Rn es acotado si existe una constante

Un subconjunto A de Rn es compacto si es cerrado y acotado.

Una función f : A ⊆ Rn → R es continua en a ∈ A si:

lı́m f (x) = f (a).

Y continua en A si es continua en todos sus puntos.

Informalmente, la continuidad se puede describir diciendo que el

f (m) ≤ f (x) ≤ f (M).

Sean D = R y f (x) = x 3 . Se tiene que f (x) es continua sobre D,

Sean D = (0, 1) y f (x) = x 2 + 1. Se tiene que f (x) es continua

Sean D = (−2, 2) y f (x) = x 2 + 1. El Teorema de Weierstrass no

D no es compacto, f (x) no es continua sobre D, por tanto no

Sean D = [−1, 1] y f (x) = x 3 . La función f (x) es continua sobre

La forma cuadrática asociada a la matriz simétrica A de orden n

La forma cuadrática correspondiente a la matriz

La forma cuadrática correspondiente a la matriz

La forma cuadrática correspondiente a la matriz diagonal