OPTIMIZACIN PARA INGENIEROS

(Notas de clase)





Instructores:
Luis Zerpa
Juan Colmenares












Enero 2004


1
ndice General




1. OPTIMIZACIN.............................................................................................................................. 3
2. Mathematical Optimization Problem or Mathematical Program...................................................... 4
2.1. Formulacin General de un Problema de Optimizacin........................................................... 4
2.2. Programacin Nolineal (Non Linear Programming NLP) ....................................................... 5
2.2.1. Caractersticas de los problemas que trataremos mayormente en el curso....................... 5
2.2.2. Tipos de Problemas Nolineales......................................................................................... 6
2.2.3. Algoritmos Iterativos y Convergencia .............................................................................. 8
3. Bibliografa ....................................................................................................................................... 9
4. Funciones de una variable............................................................................................................... 10
4.1. Continuidad de una funcin en un nmero ............................................................................. 10
4.2. Teoremas sobre Continuidad .................................................................................................. 11
4.3. Continuidad en un Intervalo.................................................................................................... 11
4.4. Diferenciabilidad y Continuidad............................................................................................. 12
5. Derivada de una Funcin ................................................................................................................ 13
6. Valores Mximos y Mnimos de una Funcin de una Variable...................................................... 13
6.1. Extremos Relativos ................................................................................................................. 13
6.2. Extremos Absolutos ................................................................................................................ 16
6.2.1. Extremos Absolutos en un Intervalo............................................................................... 16
6.2.2. Procedimientos para determinacin de extremos absolutos en intervalo cerrado: ......... 16
7. Funciones Crecientes y Decrecientes y Criterio de la Primera Derivada ....................................... 18
7.1. Criterio de la Primera derivada para Extremos Relativos....................................................... 18
7.1.1. Procedimiento para Determinar Extremos Relativos...................................................... 19
7.2. Criterio de la Segunda Derivada ............................................................................................. 19
8. Formula de Taylor (Brook Taylor 1685 1731) ............................................................................ 19
8.1. Polinomio de Taylor................................................................................................................ 20
9. Funciones de Varias Variables (Campos Escalares)
1
R R
n
..................................................... 20
9.1. Continuidad de Campos Escalares.......................................................................................... 20
9.2. Operaciones sobre Funciones Continuas ................................................................................ 20

2
9.3. Gradiente................................................................................................................................. 21
9.4. Formula de Taylor en Varias Variables .................................................................................. 22
9.5. Extensin de los Criterios de Existencia de Mximo y Mnimos ........................................... 23
10. Formas Cuadrticas..................................................................................................................... 24
10.1. Propiedades de las formas cuadrticas................................................................................ 25
10.2. Mtodos de clasificacin de formas cuadrticas................................................................. 26
10.2.1. Mtodo de los menores principales............................................................................. 26
10.2.2. Mtodo de los autovalores: ......................................................................................... 26
11. Funciones Convexas ................................................................................................................... 27
11.1. Caracterizacin alternativa de las funciones convexas. ...................................................... 28
11.1.1. Criterios de la primera y segunda derivada................................................................. 29



3
1. OPTIMIZACIN

La mayora de los problemas en el mundo real tienen varias soluciones y algunos tienen infinitas
soluciones. El propsito de la optimizacin es encontrar o identificar la mejor solucin posible, entre
todas las soluciones potenciales, para un problema dado, en trminos de algn o algunos criterios de
efectividad o desempeo.

Existen numerosas estrategias de optimizacin que van desde sofisticados procedimientos
matemticos (tanto analticos como numricos) hasta la simple pero inteligente aplicacin de la
aritmtica.

Asumiendo que un problema de optimizacin est definido de alguna manera, una clasificacin
general de los mtodos de optimizacin es la siguiente:

Mtodos Analticos: Uso del clculo diferencial
(insuficiente para problemas no lineales).

Mtodos Numricos: Algoritmos
(Procedimientos iterativos)
(Sobre esto se centra nuestro curso).

Otros: Mtodos grficos, mtodos experimentales, estudio de casos.

Casi siempre nuestro inters en la optimizacin se centra en la solucin de problemas reales, los
cules deben ser representados matemticamente. La optimizacin de la representacin matemtica de
procesos reales presenta 2 tipos de dificultades:

1. Formulacin del modelo matemtico (representatividad)
(Funcin a ser optimizada funcin objetivo)

2. Tcnica de Solucin:

- Existencia de varios extremos locales y globales.
- Se suponen que los coeficientes y variables del modelo (funcin objetivo) no son
variables aleatorias.
- Errores de redondeo de la aritmtica punto flotante.












4
2. Mathematical Optimization Problem or Mathematical Program

Maximizacin o minimizacin de funciones algebraicas de una o ms variables. La seleccin de
las variables estarn restringidas por ecuaciones o inecuaciones algebraicas llamadas restricciones, de
forma tal que el objetivo no es encontrar el mejor valor posible sino el mejor valor permitido por las
restricciones.

2.1. Formulacin General de un Problema de Optimizacin

Encontrar ( )
n

L L L
,
1
tal que

se maximice o minimice ( )
n 1
f ,...,

sujeto a restricciones:

( )
i n 1 i
b g

'

,...,


en forma vectorial,

Encontrar x
r
tal que
Max min ( ) x f
r

Sujeto a ( )
i i
b x g

'

r

( ) S x x
donde
x x n

r r
,...,
1



La rama de la matemtica aplicada que resuelve este tipo de problemas se denomina
Programacin Matemtica(Mathematical Programming).

( ) x f
r
es referida como funcin objetivo, una solucin posible al problema antes formulado se
denomina solucin ptima u ptimo.

La optimizacin computacional es una herramienta fundamental en los procesos de toma de
decisiones.







donde m i ,..., 1
i
b es escalar
g y f ,
i i
son reales
S dominio de f

5
Figura 1 Tipos de Programacin Matemtica


2.2. Programacin Nolineal (Non Linear Programming NLP)

NLP: Conjunto de tcnicas para optimizar funciones nolineales sujetas a restricciones de igualdad
o desigualdad. Tanto las funciones como las restricciones pueden ser de una o ms variables.

El curso trata fundamentalmente de programacin no lineal.


2.2.1. Caractersticas de los problemas que trataremos mayormente en el curso

Funciones objetivo y restricciones continuas con sus primeras derivadas parciales tambin
continuas (suaves)
1


Inecuaciones estrictas no son permitidas (< >) solo se permiten restricciones , e .

El problema debe ser determinstico.


1
Esto garantiza que pequeos cambios en x
r
conlleve a pequeos cambios en valores asociados

6
Todas las variables deben ser reales, ninguna puede tomar nicamente valores enteros.
(Continuous Programming).

S dominio de f y g
i
sea una regin conectada.


2.2.2. Tipos de Problemas Nolineales

Sin restricciones y con restricciones


Tamao de los Problemas
Una forma de medir la complejidad de los problemas es en funcin del nmero de variables o del
nmero de restricciones.

Pequea Escala: 5 variables y restricciones.

Escala intermedia: de 5 a 100 variables y restricciones.

Gran Escala: ms de 100 y quizs 1000 variables y restricciones.


Esta clasificacin no es rgida pero refleja las diferencias de los enfoques de solucin para cada
tipo de problema.

Pequea Escala: Resuelto a mano

Mediana Escala: Computador Personal o Servidor de Propsito General

Gran Escala: Mainframe para clculo cientfico (cray) y se explota la estructura del problema.
Algoritmos paralelos.

En el curso se estudiarn la teora y los mtodos que permiten efectivamente la solucin de la ms
amplia variedad de problemas (pequea y mediana escala principalmente). A pesar de que un gran
nmero de algoritmos han sido propuestos para la solucin del problema general de optimizacin no
lineal, slo unos pocos han demostrado ser efectivos cuando se aplican a problemas de gran escala.

No existe un mtodo general de optimizacin no lineal en el sentido como es SIMPLEX para
problemas lineales. (Se tienen ms de 50 aos trabajando en la solucin de problemas lineales).

Ninguno es tan superior para ser clasificado como la panacea universal de la NLP.







7
Esto hace que sea un amplio y fructfero campo de investigacin, el cual avanza segn el siguiente
algoritmo:

Figura 2 Avance de la Programacin nolineal


En NLP:

Si una estrategia no presenta prueba de convergencia, esta puede ser efectiva, e.g. EGO y DIRECT.

Ms an la garanta de convergencia de un algoritmo NLP para un caso especial no ofrece, en
muchos casos, mayor entendimiento con relacin a la creacin de estrategias efectivas para problemas
ms complejos.

Criterios de Comparacin de Algoritmos

1. Nmero de evaluaciones de la funcin objetivo
2. Confiabilidad (xito en alcanzar la solucin)
3. Rapidez
4. Tiempo de Preparacin del usuario (sobre parametrizacin)
5. Precisin de la solucin
6. Grado de satisfaccin de las restricciones
7. Dificultad












8
2.2.3. Algoritmos Iterativos y Convergencia

La mayora de los algoritmos de NLP son iterativos.

x
n
x x x x K
2 1

Solucin ptima

En programacin lineal existe una secuencia de longitud finita para alcanzar la solucin.

En NLP la secuencia generalmente no alcanza la solucin ptima sino que converge hacia ella.

En problemas no lineales se determina una solucin lo suficientemente cercana a la ptima.

La teora de algoritmos iterativos se divide en:

1. Diseo del Algoritmo
2. Convergencia Global: Anlisis de convergencia global (si eventualmente converge)
3. Convergencia Local: Anlisis de convergencia local (la razn a la cual el algoritmo
converge en la Solucin ptima).

Una buena teora es mejor que miles de corridas

Esto da una idea de la tratabilidad de los problemas mediante un anlisis simple lo cual es muy
importante.

Un enfoque experimental tambin es posible, pero no ha habido suficiente tiempo para recopilar tal
evidencia debido a la aparicin frecuente de nuevos y mejores Algoritmos de Programacin Nolineal.

reas de Aplicacin de Programacin Nolineal

- Ingeniera
- Programacin de produccin, Pronstico, Control de Inventario, Control de Calidad,
Control de Procesos, Mantenimiento, Diseo, Estimacin de Presupuesto.


Optimizacin en el ICA


Termociencia (Integer Programming)

Caracterizacin de Yacimientos (History Matching)

Diseo ptimo de Fracturamiento Hidrulico

Optimizacin Integrada Subsuelo Superficie


A
n

l
i
s
i
s

y

D
i
s
e

p
t
i
m
o

d
e

S
i
s
t
e
m
a
s

C
o
m
p
l
e
j
o
s


9

3. Bibliografa

b David Luenberger. Linear and nonlinear Programming. 2
nd
Ed. Addison-Wesley

b Donald Simmons. Nonlinear Programming for Operations Research. Prentice-Mall.

b David Himmelblan. Applied Nonlinear Programming. McGraw-Hill.

b Panos Papalambros y Douglas Wilde. Principles of Optimal Design. Cambridge.





10
4. Funciones de una variable

4.1. Continuidad de una funcin en un nmero

Se dice que f es continua en el nmero a si y solo si las siguientes 3 condiciones se satisfacen:

i. ( ) a f existe

ii. ( ) x f
a x
lim
existe

iii. ( ) ( ) a f x f
a x

lim


Si al menos una de estas 3 condiciones no se cumple se dice que f es discontinua en a.

Claramente, la nocin geomtrica de un salto en la grfica de la funcin es sinnimo de
discontinuidad, por ejemplo,



( )
( )( )
( )

'

x si
x si
x
x x
x f
1 ; 2
1 ;
1
; 1 3 2

Discontinuidad removible










( )
2
1

x
x f Discontinuidad Esencial









11





( )

'

3 2
3 3
si x
si x x
x f





4.2. Teoremas sobre Continuidad

Teorema: Si f y g son continuas en a entonces:

g f i + ) es continua en a
g f ii) es continua en a
g f iii ) es continua en a
g f iv ) es continua en a suponiendo que ( ) 0 a g

Teorema: Una funcin polominal es continua en todo nmero

Definicin: Se dice que una funcin es continua en un nmero a, si f est definida en algn
intervalo abierto que contiene en a y si para cualquier 0 > existe un > 0 tal que:

( ) ( ) < < a x que siempre a f x f

4.3. Continuidad en un Intervalo

Definicin:

Continuidad por la derecha

Se dice que f es continua por la derecha del nmero a si y solo si satisface las siguientes
condiciones:

( ) existe a f i )

( )
+
a x
existe x f
ii
lim
)
( ) ( )
+

a x
a f x f
iii
lim
)


12
Continuidad por la izquierda

Se dice que f es continua por la izquierda del nmero a si y solo si,

( ) existe a f i )


( )

a x
existe x f
ii
lim
)


( ) ( )

a x
a f x f
iii
lim
)


Definicin: Una funcin cuyo dominio incluye el intervalo cerrado [ ] b a, se dice que es continua
en [ ] b a, si y solo si es continua en el intervalo abierto ( ) b a, , as como es continua por la derecha de a
y continua por la izquierda de b.







Definicin: f es continua en [ ) b a, si y solo si es continua en ( ) b a, y continua por la derecha de a.

Definicin: f es continua en ( ] b a, si y solo si es continua en ( ) b a, y continua por la izquierda de
b.


4.4. Diferenciabilidad y Continuidad

La continuidad de una funcin no implica la diferenciabilidad de dicha funcin en ese nmero.

Ej.
( ) x x f










a b

13
Sin embargo, la diferenciabilidad si implica la continuidad.


Teorema: Si una funcin es diferenciable en x
1
, entonces f es continua en x
1
.


5. Derivada de una Funcin

( )
( ) ( )
x
x f x x f
x
x f

0
lim
'

la pendiente de la recta tangente a ( ) x f en el punto ( ) ( ) x f x, .


6. Valores Mximos y Mnimos de una Funcin de una Variable

La derivada puede utilizarse para determinar los puntos donde la tangente es horizontal (derivada =
0).

6.1. Extremos Relativos


Definicin: La funcin f se dice que tiene un valor mximo relativo en c, si existe un
intervalo abierto que contenga a c sobre el cual est definida la funcin f tal que
( ) ( ) x f c f para toda x en este intervalo.

C = C =




14
Definicin: La funcin f se dice que tiene un valor mnimo relativo en c, si existe un
intervalo abierto que contenga a c sobre el cual f est definido tal que
( ) ( ) x f c f para toda x en este intervalo.

Ej.
cc




Dnde Localizar los Posibles Valores Extremos?


Teorema: Si ( ) x f existe para todos los valores de x en el intervalo abierto ( ) b a, y si f tiene un
extremo relativo en c, donde b c a < < , si ( ) c f ' existe, ( ) 0 ' c f .

Interpretacin Geomtrica




Extremos Relativos








Si f es una funcin diferenciable, los nicos lugares posibles para puntos extremos es donde
( ) 0 ' x f .





( ) ( ) 0 ' ' c f y existe c f
C = C =

15
Sin embargo, ( ) x f ' puede ser cero y no obstante en ese valor f no tiene un valor extremo
(Punto de Silla).


Ej. ( ) ( )
3
1 x x f ( ) ( )
2
1 3 ' x x f

( ) 0 1 ' f







Ms an f puede tener un extremo relativo en un nmero y f puede no existir all.

Ej. ( ) 1 x x f

En Resumen,

Si una funcin est definida en un nmero c es una condicin necesaria, pero no suficiente, para
que f tenga un extremo relativo en c que ( ) 0 ' c f que ( ) c f ' no exista.



Definicin: Si c es un nmero en el dominio de la
funcin f y si ( ) 0 ' c f ( ) c f ' no existe, entonces
c se llama nmero crtico de f.








16
6.2. Extremos Absolutos

Frecuentemente estamos en una funcin definida en un intervalo dado, y deseamos encontrar el
valor mayor o menor de la funcin en el intervalo. Estos intervalos pueden ser cerrados, abiertos o
cerrados a un extremo y abierto en otro.

El valor mximo absoluto es el mayor valor dentro del intervalo, y el valor mnimo absoluto es el
mnimo valor de la funcin dentro del intervalo.

6.2.1. Extremos Absolutos en un Intervalo

Definicin: La funcin f se dice que tiene un valor mximo absoluto en un intervalo, si existe algn
nmero c en el intervalo tal que ( ) ( ) x f c f para toda x en el intervalo. En tal caso ( ) c f es el valor
mximo absoluto de f en el intervalo.

Definicin: La funcin f se dice que tiene un valor mnimo absoluto en un intervalo si existe algn
nmero cen el intervalo tal que ( ) ( ) x f c f para toda x en el intervalo. En tal caso ( ) c f es el valor
mnimo absoluto de f en el intervalo.

Valor extremo absoluto es un mnimo o mximo absoluto de funcin en el intervalo.

Tambin se puede hablar de extremo absoluto de una funcin cuando no se especifica ningn
intervalo.

Definicin: Se dice que ( ) c f es el extremo mximo absoluto de la funcin f si c est en el
dominio de f y si ( ) ( ) x f c f para toda x en el dominio de la funcin.

Definicin: ( ) c f se dice que es un mnimo global de la funcin f si c al dominio de f y si
( ) ( ) x f c f x Dominio de f.


Teorema del Valor Extremo
Si una funcin f es continua en el intervalo cerrado [ ] b a, , entonces f tiene un valor mximo
absoluto y un valor mnimo absoluto en [ ] b a, .

Un extremo absoluto de una funcin en un intervalo cerrado debe ser un extremo relativo o ser un
valor de la funcin en un extremo del intervalo.

6.2.2. Procedimientos para determinacin de extremos absolutos en intervalo cerrado:

1. Identificar valores de la funcin en los nmeros crticos de f en [ ] b a,
2. Encontrar ( ) a f y ( ) b f
3. El mayor de estos es el mximo absoluto y el menor es el mnimo absoluto



17
Teorema de Rolle (Michel Rolle 1652-1719)

Sea una funcin f continua en un intervalo cerrado [ ] b a, , diferenciable en el intervalo ( ) b a, abierto
y sean ( ) 0 a f y ( ) 0 b f , existe al menos un nmero c entre a y b donde ( ) 0 ' c f .


c a b c a b


Debe notarse que puede haber ms de un nmero en el intervalo abierto ( ) b a, para el cual la
derivada es cero.

a
b
c
1
c
2
a
b
c
1
c
2


Teorema del Valor Medio (uno de los teoremas ms importantes del clculo diferencial e integral).

Sea f una funcin continua tal que:
i. es continua en el intervalo cerrado [ ] b a,
ii. es diferenciable en el intervalo abierto ( ) b a, .
entonces existe un nmero c en el intervalo abierto ( ) b a, tal que:


( )
( ) ( )
a b
a f b f
c f

'








f(c)
a b c
R
T
R
S
f(c)
a b c
R
T
R
S
La tangente R
T
es
paralela a la secante R
S


18
7. Funciones Crecientes y Decrecientes y Criterio de la Primera Derivada

Definicin: Una funcin definida en un intervalo se dice que es creciente en ese intervalo si y solo
si:
( ) ( )
2 1
x f x f < siempre que
2 1
x x < donde
1
x y
2
x son nmeros del intervalo

Definicin: Una funcin definida en un intervalo se dice que es decreciente en ese intervalo si y
solo si:
( ) ( )
2 1
x f x f > siempre que
2 1
x x < donde
1
x y
2
x son nmeros del intervalo

Si una funcin es creciente o decreciente en un intervalo, entonces se dice que f es montona.

Teorema: Si una funcin continua en el intervalo cerrado [ ] b a, y diferenciable en el intervalo
abierto ( ) b a, .

i. Si ( ) 0 ' > x f para toda x es creciente en el intervalo
ii. Si ( ) 0 ' < x f para toda x es decreciente en el intervalo


7.1. Criterio de la Primera derivada para Extremos Relativos

Si una funcin continua en el intervalo abierto ( ) b a, que contiene un nmero c y f es
diferenciable, excepto, posiblemente en c ( ) ( ) existir no puede c f .

Si c es un extremo entonces:

( ) 0
1
> x f donde c x <
1

( ) 0 '
2
< x f donde
2
x c <

en este caso c es un mximo relativo

Ej.

f = 0
f < 0
f > 0
f = 0
f < 0
f > 0

f = 0
f < 0 f > 0
f = 0
f < 0 f > 0

Mximo Relativo Mnimo Relativo





19
7.1.1. Procedimiento para Determinar Extremos Relativos

1. Encontrar nmeros crticos ( ) ( ) ( ) ' 0 ' no x f x f
2. Aplicar criterio de la primera derivada


7.2. Criterio de la Segunda Derivada

Sea c un nmero crtico de una funcin en la cual ( ) 0 ' c f y f existe para todos los valores de x
en algn intervalo abierto que contenga a c. Entonces si ( ) c f ' ' existe y,

i. Si ( ) f c f , 0 ' ' < tiene un valor mximo relativo en c.
ii. Si ( ) , 0 ' ' f c f > tiene un valor mnimo relativo en c.

Ntese que si ( ) 0 ' ' c f nada puede concluirse.

Teorema: Sea una funcin continua en el intervalo I que contiene al nmero c. Si ( ) c f es un
extremo relativo de f en I y es el nico, entonces ( ) c f es un extremo absoluto de f en I. Adems,

i. Si ( ) c f es un mximo relativo es un mximo absoluto
ii. Si ( ) c f es un mnimo relativo es un mnimo absoluto.



8. Formula de Taylor (Brook Taylor 1685 1731)

Ciertas funciones pueden ser aproximadas por polinomios y el polinomio puede ser usado cuando
la diferencia es pequea.

Teorema: Sea f una funcin tal que f y sus n primeras derivadas son continuas en el intervalo
cerrado [ ] b a, . Adems, ( ) x f
n 1 +
existe para toda x en el intervalo abierto ( ) b a, . Entonces hay un
nmero en el intervalo abierto ( ) b a, tal que,

( ) ( )
( )
( )
( )
( )
( )
( )
( )
( )
( )
1
1
2
! 1
,
! ! 2 ! 1
'
+
+

+
+ + +

+ +
n
n
n
n
a b
n
f
a b
n
f
a b
a f
a b
a f
a f b f

L

si ( ) ( ) ( )( ) a b f a f b f n + 0 [Teorema del Valor Medio]








20
8.1. Polinomio de Taylor
( ) ( )
( )
( )
( )
( )
( )
( )
( )
n
n
a
a x
n
f
a x
a
f a x
a
f a f x n + + + +
! ! 2 ! 1
2
K

Residuo
( )
( )
( )
( )
( ) a x entre est donde a x
n
f
x Rn
n
n
y
! 1
1
1

+
+

+


Es buena aproximacin cuando a x y cuando n es grande (relativamente grande).



9. Funciones de Varias Variables (Campos Escalares)
1
R R
n


9.1. Continuidad de Campos Escalares

Definicin: Sea la funcin R u f y sea u a
r
. Decimos que f es continua en a
r
si dado
cualquier nmero positivo , podemos hallar otro nmero positivo tal que,

Si ( ) ( ) < < a f x f entonces u x a x
r r r r
, ,



i. Si ( ) a f est definida
ii. Si ( ) x f
a x
r
r r

lim
existe si esta falla entonces existe una discontinuidad
esencial.
iii. Si ( ) ( ) a f x f
a x

r
r r
lim
si esta falla entonces existe una discontinuidad
evitable.

Si f es continua en cada punto de u, decimos que f es continua en u.

9.2. Operaciones sobre Funciones Continuas

Si f y g son continuas en a entonces:

g f y g f g f + , son continuas
g f es continua, si ( ) 0 a g






21
9.3. Gradiente

Recordando:

Derivada direccional: Razn de cambio en una direccin dada por un vector unitario u
v
.


Derivadas Parciales: Son derivadas direccionales pero especiales las direcciones son las de los
ejes coordenados.

L , ,
y
f
x
f

Definicin: Si
n
R u R u f , : , la derivada de f en un punto u x
0
r
es el vector cuyos
componentes son las derivadas parciales de f en
0
x
r
.

A esto se le llama GRADIENTE

( )
( ) ( ) ( )

,
_

n
x
x f
x
x f
x
x f
x f
0
2
0
1
0
0
, , , L


Definicin: Sea
n
R u R u f , : y u x
r
. Sea h
r
un vector que h
r
sea adecuadamente pequea
de modo que u h x +
r
r
, decimos que f es diferenciable en x
r
si existe el f en x
r
y una funcin real
( ) h definida para esos valores de h
r
tales que:

( ) ( ) ( ) ( )
( ) 0
0
lim

+ +
h
h
h h h x f x f h x f
r
r r
r r r
r r
r
r

Teorema: Si
n
R u R u f , : , es diferenciable en x
r
entonces es continua en x
r
.

El recproco es falso: Una funcin puede ser continua sin ser diferenciable.



Teorema: (Condicin de suficiencia de diferenciabilidad).

Si
n
R u R u f , : posee derivadas parciales continuas en u x
0
r
entonces f es diferenciable en
0
x .


22
Sin embargo, una funcin puede ser diferenciable en un punto sin que sus derivadas parciales sean
continuas, en dicho punto.

Definicin: Decimos que una funcin es de clase C
k
en
n
R u y escribimos ( ) u C f
k
, si todas
sus derivadas parciales de orden k existen y son continuas en u.
Si ( ) u C f
k
esto implica la continuidad de las derivadas de orden menor en u.


9.4. Formula de Taylor en Varias Variables

( ) ( )
( )
( ) ( )
( )
( ) L
r r
+

+

j x x
x x
x f
x x x x
x
x f
x f x f
j
j i
j i
h
j
h
i
oj j
j
h
j
0
0
2
0
1 1
0
1
0
! 2
1


En una notacin ms convencional y compacta donde:

,
_

n
x
f
x
f
f , ,
1
L es el gradiente y,


2
2
2
2
1
2
2
2
2
2
2
1 2
2
1
2
2 1
2
2
1
2
n n n
n
n
x
f
x x
f
x x
f
x x
f
x
f
x x
f
x x
f
x x
f
x
f

L
L
L

es la matriz Hessiana

la formula de Taylor de varias variables es,
( ) ( ) ( ) ( ) ( ) ( ) K
r r r r r r r
+ + +
0 0 0 0 0
! 2
1
x x x x x x x f x f x f
T T



Los trminos de mayor orden no se escriben por su complejidad y porque no sern necesarios en
nuestro trabajo en no linear programming.










23
9.5. Extensin de los Criterios de Existencia de Mximo y Mnimos

- Los puntos crticos son aquellos donde 0 f o no existe.
- Alguna medida de positividaddel Hessiano nos dir si es un mximo o un mnimo.

Por qu no resolver el problema?




Porque es ms complejo que los mtodos que vamos a estudiar







Teorema de Weierstrass (Extensin del teorema de Valor Extremo):

Una funcin continua f, definida en un conjunto compacto S cerrado y acotado (definido y no se va
a infinito) tiene un mnimo y un mximo en S.


0
0
0
2
1

n
x
f
x
f
x
f
M

24
10. Formas Cuadrticas

A pesar que en ingeniera, economa y estadstica la mayora de los problemas son representados
(frecuentemente de forman no apropiada) por modelos lineales y resuelto por mtodos lineales, los
modelos cuadrticos y tcnicas cuadrticas estn en segundo lugar.

Definicin: Una forma cuadrtica es cualquier campo escalar ( ) R R
n
, definido para todo x en R
n

que sigue la siguiente forma:

( )
j i ij
h
j
h
i
x x a x q
1 1

r
donde R a
ij
puede ser cero ........................................... (*)

Una forma cuadrtica no incluye ningn trmino lineal.

Ej. ( )
2
2 2 1
2
1 2 1
8 4 7 , x x x x x x q + + funcin cuadrtica


Notacin Matricial

Cualquier forma cuadrtica puede ser expresada como:

( ) Ax x x q
t
donde a
ij
son elementos de la matriz A y son los coeficientes en (*).
Es claro que:

( )
j i ji ij i j ji j i ij
x x a a x x a x x a + + para todo i j

Por lo tanto una forma cuadrtica puede ser representada equivalentemente por muchas matrices A
o conjuntos de coeficientes a
ij
.

Sin embargo, para una forma cuadrtica ( ) x q
r
dada existe solo una matriz simtrica (cuadrada tal
que D = D
t
) que satisface ( ) x D x x q
t
r r r
cuyos elementos estn definidos por:

( )
2
ji ij
ji ij
a a
d d
+
para todo i y j

Ej. ( )
2
2 2 1
2
1 2 1
, cx x bx ax x x q + +
( ) [ ]
2
1
2 1 2 1
2 /
2 /
,
x
x
c
b
b
a
x x Dx x x x q
t






25
Ej. Si
1
2
8
2

A
( )
( ) [ ]
2
1
2 1 2 1
2
2 2 1
2
1
2
2 1 2 2 1
2
1 2 1
1 3
3 2
,
6 2 8 2 2 ,
x
x
x x x x q
x x x x x x x x x x x x q

+ +


10.1. Propiedades de las formas cuadrticas

Definicin: La forma cuadrtica ( ) x D x x q
t
r r r
es definida positiva si ( ) 0 > x q
r
para todo 0 x
r
en
n
.

Definicin: La forma cuadrtica ( ) x D x x q
t
r r r
es semidefinida positiva si ( ) 0 x q
r
para todo
n
X , pero ( ) x q
r
no es definida positiva.

Definicin: La forma cuadrtica ( ) x D x x q
t
r r r
es definida negativa si ( ) 0 < x q
r
para todo 0 x
r
en
n
.

Definicin: La forma cuadrtica ( ) x D x x q
t
r r r
es semidefinida negativa si ( ) 0 x q
r
para todo
n
X , pero ( ) x q
r
no es definida negativa.


La matriz D (nica y simtrica) de una forma cuadrtica definida positiva es definida positiva.


Si no satisface ninguna de las cuatro definiciones anteriores se dice que la forma cuadrtica es
indefinida. Esto es si ( ) 0
1
> x q
r
y ( ) ( ) x q x q
r r
< 0
2
es indefinida, donde
1
x
r
y
n
R x
2
r
.

Ej: ( )
2
2
2
1 2 1
10 , x x x x q + es definida positiva

( ) ( )
2
2
2
1 2 1
10 , x x x x q + es definida negativa

( ) ( )
2
3 2 1 3 2 1
2 2 , , x x x x x x q + es semidefinida positiva porque q(2,1,0) = 0




Propiedad: Si ( ) x q
r
es definida positiva (o semi definida positiva) entonces ( ) x q
r
es definida
negativa (o semi definida negativa) y viceversa.





26
Lema: (I MPORTANTE!!!) til en Quadratic Programming.

Sea D una matriz simtrica de n n definida positiva (negativa). Entonces:

a)
1
D existe
b)
1
D es definida positiva (negativa)
c)
t
A D A es semidefinida positiva (negativa) para cualquier matriz n m A .


10.2. Mtodos de clasificacin de formas cuadrticas

10.2.1. Mtodo de los menores principales
Sea ( ) x D x x q
t
r r r
una forma cuadrtica, con D matriz simtrica. Sean |D
1
|, |D
2
|,, |D
n
| los n menores
principales de la matriz D , donde

es decir, los n determinantes de las n submatrices de D formadas por las i primeras
filas y las i primeras columnas, para i = 1 n.




Entonces:
a) ( ) x q
r
es definida positiva si y slo si todos los menores principales de D son positivos (|D
1
| > 0,
|D
2
| > 0,, |D
n
| > 0).
b) ( ) x q
r
es definida negativa si y slo los menores principales de D alternan de signo empezando
por negativo (|D
1
| < 0, |D
2
| > 0,, |D
n
| con el signo de (-1)
n
).
c) Si los n-1 primeros menores principales son todos positivos y el ltimo |D
n
| = 0, entonces ( ) x q
r

es semidefinida positiva.
d) Si los n-1 primeros menores principales alternan de signo empezando por negativo y el ltimo
|D
n
| = 0, entonces ( ) x q
r
es semidefinida negativa.
e) Si |D
n
| = |D| 0 y los criterios a) y b) no se verifican, entonces ( ) x q
r
es indefinida.
f) Si |D
i
| 0 para i = 1,2,n-1, |D
n
| = |D| = 0 y los criterios c) y d) no se verifican, entonces ( ) x q
r

es indefinida.

10.2.2. Mtodo de los autovalores:
Sea ( ) x D x x q
t
r r r
una forma cuadrtica, con D matriz simtrica. Sean
1
,
2
,
n
los n autovalores de
la matriz D. Entonces:
a) ( ) x q
r
es definida positiva si y slo si
i
> 0 i.
b) ( ) x q
r
es definida negativa si y slo si
i
< 0 i.
c) ( ) x q
r
es semidefinida positiva si y slo
i
0 i, siendo al menos un
j
= 0.
d) ( ) x q
r
es semidefinida negativa si y slo
i
0 i, siendo al menos un
j
= 0.
e) ( ) x q
r
es indefinida si y slo si algn
i
> 0 y algn
j
< 0.


D D
d d
d d
D
d D
n

22 21
12 11
2
11 1

27

11. Funciones Convexas

Estamos particularmente interesados en la optimizacin de este tipo de funciones sobre los
llamados conjuntos convexos.

Definicin: Un conjunto X en ( )
n n
R es convexo si y slo si para dos puntos cualquiera
1
x
r
y
2
x
r

en X y cualquier valor escalar o 1 , el punto ( )
2 1
1 x x x
r r r
+ tambin est dentro de X.


x
1
x
2
x
2
x
1
Convexo No Convexo
x
1
x
2
x
1
x
2
x
2
x
1
x
2
x
1
Convexo No Convexo



Ej. Una esfera, un tringulo, el espacio R
n
, una lnea recta y un punto son conjuntos convexos. Un
hiperplano tambin es un conjunto convexo.

Definicin: Una funcin escalar ( ) x f
r
es una funcin convexa definida sobre un conjunto convexo
X en E
n
si para dos puntos cualquiera X en x y x
2 1
r r
.

( ) ( ) ( ) ( ) ( )
2 1 2 1
1 1 x f x f x x f
r r r r
+ + donde 1 0



a c b
A
B
a c b
A
B


Las funciones convexas tienen una caracterizacin geomtrica simple e informativa.





( ) ( ) ( )
( ) ( ) b a f BC
b f a f AC


+
+
1
1

28


Teorema: Cualquier funcin lineal ( ) x c x f
t
r r r
es tanto cncava como convexa.

Teorema: Si ( ) x f
r
es convexa ( ) x f
r
es cncava (y viceversa).

Teorema: La suma de 2 o ms funciones convexas (cncavas) es convexa (cncava)

Teorema: Cualquier forma cuadrtica semidefinida positiva ( ) Dx x x q
t

r
donde D es simtrica, es
una funcin convexa en todo E
n
. Si es definida positiva es estrictamente convexa.

Teorema: Cualquier forma cuadrtica semidefinida negativa ( ) Dx x x q
t

r
donde D es simtrica, es
una funcin cncava en todo E
n
. Si es definida negativa es estrictamente cncava.


Dada una funcin cuadrtica representada como ( ) ( )
0
c x c x q x f
t
+ +
r

es convexa o cncava si ( ) x q es convexa o cncava.

A que se parece?

Al desarrollo de Taylor

( ) ( ) ( ) ( ) ( ) ( )( )
0 0 0 0 0 0
2
1
x x x x x x x x f x f x f
t t
+ +
r r r r r r r


Teorema: Si la funcin ( ) x f
r
est definida y es convexa sobre un conjunto convexo X en E
n
, luego
cualquier mnimo local (con restriccin) de ( ) x f
r
en X es un mnimo global en X.

Idem para mximo-concava

Tiene una implicacin importante: el primer extremo identificado es la solucin deseada.


Teorema: Si una funcin ( ) x f es convexa (cncava) sobre un conjunto X compacto y convexo
(cerrado y limitado) en E
n
entonces al menos un mximo (mnimo) global se encuentra sobre el borde
de X.

11.1. Caracterizacin alternativa de las funciones convexas.

En general es necesario determinar si una funcin es convexa. Hasta ahora se han derivado
resultados para funciones lineales y cuadrticas.

Para cierta cantidad de funciones (no tan complejas) de algunas variables es posible determinar su
convexidad mediante una prueba de la segunda derivada.


29
11.1.1. Criterios de la primera y segunda derivada

Teorema: Supongamos que ( ) x f
r
tiene primeras derivadas parciales continuas. Luego ( ) x f
r
es
cncava sobre alguna regin R en E
n
si y slo si

( ) ( ) ( ) ( )

+ x x x f x f x f
t
r r r r r


similarmente, ( ) x f
r
r
es convexa sobre alguna regin R en E
n
si y slo si

( ) ( ) ( ) ( )

+ x x x f x f x f
t r r r r r


Aqu se requiere que un hiperplano que es tangente en algn punto

x a una hipersuperficie
cncava debe estar enteramente sobre ella.


Convexa
x
*
x
Cncava
x
*
x
P
l
a
n
o

t
a
n
g
e
n
t
e
P
la
n
o

t
a
n
g
e
n
t
e
Convexa
x
*
x
Cncava
x
*
x
P
l
a
n
o

t
a
n
g
e
n
t
e
Cncava
x
*
x
P
l
a
n
o

t
a
n
g
e
n
t
e
P
la
n
o

t
a
n
g
e
n
t
e



Teorema: Sea ( ) x f
r
una funcin
2
C (segundas derivadas parciales existen y son continuas).
Entonces ( ) x f
r
es cncava (convexa) sobre una regin R en E
n
si y slo si su Hessiano es definido o
semi definido negativo (positivo) para toda x
r
de la regin R .

Teorema de Schwartz
Si ( ) y x f ,
r
es tal que
y x
f
y
y
f
x
f

2
, son continuas en un entorno de un punto ( )
0 0
, y x ,
entonces ( )
0 0
2
y x
x y
f

existe y se cumple que ( ) ( )

0 0
2
0 0
2
, , y x
y x
f
y x
x y
f

(Debido al teorema de Schwartz)

Como la matriz Hessiano es simtrica la definicin definida y semidefinida positiva para formas
cuadrticas es aplicable directamente.

Una funcin puede ser convexa o concava y su Hessiano puede desaparecer en algunos
puntos (matriz de ceros).