Control optimo

(Demostraci on del principio del maximo)

*
David Abel Barraza Salguero
**
1 de marzo de 2013
Resumen
Este documento no intenta ser un copia del libro de referencia, sino m as bien una explicaci on detallada e
interpretacion de la condicion del primer orden del Control

Optimo. Se han desarrollado las pasos omitidos
por los autores del texto para un mayor entendimiento de la demostraci on del principio del m aximo. La
notaci on usada aqu es la misma que la del libro referido para evitar confusiones.
Denimos primero el problema al que nos enfrentamos:
Max V =

T
0
f (t, y, u) dt
s.a.

y = g (t, y, u)
y (0) = y
0
(dado)
y (T) = y
T
(libre)
u(t) t [0, T]
El Hamiltoniano de dicho problema es:
H (t, y, u, ) = f (t, y, u) + (t) g (t, y, u) (1)
Una vez denida la base, nos apoyaremos de ella para generar una condicion llamada principio del maximo
para hallar las sendas de las variables de estado, coestado y control.
Para ello generamos un articio utilizando la ecuacion

y = g (t, y, u) que mantendra su igualdad en todo los
perodos [0, T].
Construimos (t)
_

y g (t, y, u)
_
= 0 para obtener:

T
0
(t)
_
g (t, y, u)

y
_
dt = 0 (2)
Ya que (2) es cero en todo t, entonces puede ser sumada a V sin alterar su valor. Deniremos el nuevo valor
como W:
W =

T
0
f (t, y, u) dt +

T
0
(t)
_
g (t, y, u)

y
_
dt
=

T
0
_

_
H(t,y,u,)
..
f (t, y, u) + (t) g (t, y, u) (t)

y
_

_dt (3)
En (3) puede ser reemplazo el Hamiltoniano (1). De ello se obtiene:
W =

T
0
_
H (t, y, u, ) (t)

y
_
dt (4)
=

T
0
H (t, y, u, ) dt

T
0
(t)

ydt (5)
*
Basado en el libro Optimizacion din amica y teora economica de Bonifaz y Lama, Primera edicion corregida, Universidad
del Pacco (2010). La intencion es explicar de manera mas detallada la demostracion de como hallar las condiciones de primer
orden para el control optimo.
**
Actualmente estudiante de Economa en la PUCP.
1
Vemos que el procedimiento que seguimos ha buscado internalizar el Hamiltoniano a partir de una condicion
inicial como (2). Se utilizo la igualdad de la ecuacion de movimiento de la variable de estado para todo t como
articio para lograrlo.
El termino

T
0
(t)

ydt de (5) debe ser tratado como una integral por partes. Recordemos dicho apartado.
Integral por partes:
Para derivar el producto de dos funciones w(t) y v (t) hacemos uso de la condicion:
d (wv)
dt
= v
dw
dt
+ w
dv
dt
(6)
De (6) multiplicado por dt obtenemos:
d (wv) = vdw + wdv (7)
Despejando wdv de (7) e integrando en ambos miembros:

wdv =

d (wv)

vdw
= wv

vdw (8)

Utilizando el mismo principio para el termino

T
0
(t)

ydt podemos asignarles valores a w y dv, y diferenciando
e intregrando ambos respectivamente tenemos:
w = (t) dw =

dt
dv =

ydt v = y
Reemplazando en (8) obtenemos de manera analoga:

T
0
(t)

ydt = ((t) y)|
T
0

T
0
y

dt
= (T) y
T
(0) y
0

T
0
y

dt (9)
Ahora, reemplazando (9) en (5) obtenemos una forma mas desarrollada que antes:
W =

T
0
H (t, y, u, ) dt (T) y
T
+ (0) y
0
+

T
0
y

dt
=

T
0
_
H (t, y, u, ) + y

_
dt (T) y
T
+ (0) y
0
(10)
Para poder llegar a establecer una condicion que sirva para hallar las sendas optimas que cumplan las condi-
ciones del principio del maximo, debemos suponer que hay una innidad de sendas posibles cercanas a aquellas
que cumplen la condicion de optimalidad. Sean u

(t),

(t) y y

(t) las sendas optimas. Supondremos una

senda auxiliar z (t) para la variable de control que representa curvas cercanas a u

(t). Por ello las sendas

factibles estan denidas como:
u(t) = u

(t) + z (t) (11)

donde es un n umero bastante peque no.
Hecemos lo mismo con la variable de estado y:
y (t) = y

(t) + h(t) (12)

donde h(t) es la senda auxiliar de la variable de estado y.
Por otra parte, si suponemos que T y y
T
son libres
1
, podemos tambien suponer valores factibles para ambos
terminos:
T = T

+ T (13)
1
Debemos tener en cuenta que podemos manipular a conveniencia la terminologa referida a libre y dado. Ello nos servira para
expresar determinada condicion de transversalidad para distintos contextos de T y y
T
.
2
y
T
= y

T
+ y
T
(14)
Denimos tambien una variable de error D() como la diferencia entre un W suboptimo y el W

optimo
2
:
W (t, y, u, ) =

+T
0
_
H (t, y

(t) + h(t) , u

(t) + z (t) , ) + [y

(t) + h(t)]

_
dt . . .
(T

+ T) [y

T
+ y
T
] + (0) y
0
(15)
W

(t

, y

, u

) =

T
0
_
H (t

, y

, u

) + y

_
dt (T) y
T
+ (0) y
0
(16)
entonces:
D() = W (t, y, u, ) W

(t

, y

, u

) < 0 (17)
=

+T
0
_
H (t, y

(t) + h(t) , u

(t) + z (t) , ) + [y

(t) + h(t)]

_
dt . . .
(T

+ T) [y

T
+ y
T
] + (0) y
0

T
0
_
H (t

, y

, u

) + y

_
dt . . .
+(T) y
T
(0) y
0
(18)
Para poder operar y compactar (18) debemos hacer uso una regla conocida. Esta es la Regla de Leibnitz
que nos permite resolver integrales denidas en cuyos lmite superior o inferior se encuentra una funcion
de alguna de las variables del integrando.
Regla de Leibnitz
3
:
Dada la integral denida:
F (t, c) =

b
a
f (c, t) dt
La derivada con respecto a c (tambien denida como Regla de Leibnitz) es igual a:
dF
dc
=

b
a
f (c, t)
c
dt (19)
La derivada con respecto a b es igual a:
dF
db
= f (t, c)|
t=b
= f (b, c) (20)
Si el lmite superior de la integral dependiera de la variable c:
F (t, c) =

b(c)
a
f (c, t) dt
La derivada con respecto a c se obtiene a partir de las propiedades (19) y (20):
dF
dc
=

b(c)
a
f (c, t)
c
dt + f (b (c) , c)
db
dc

Nota: Veamos que en (18) debemos minimizar la brecha entre el valor suboptimo y optimo de W. Dado que
la diferencia es negativa la primera derivada de D() sera un ejercicio de minimizar la funcion. Entonces
hacemos D

() = 0.
2
Es claro que esta diferencia es negativa ya que W () estara por debajo de W

() por ser suboptimo.

3
Este apartado fue extrado ntegramente del libro Optimizacion dinamica y teora economica de Bonifaz y Lama, Primera
edicion corregida, Universidad del Pacco (2010).
3
Haciendo uso de la Regla de Leibnitz entonces podremos calcular (21) que es la parte en azul de la ecuacion
(18):
F (t, ) =

+T
0
_

_
H
_
_
_t,
y(t,)
..
y

(t) + h(t),
u(t,)
..
u

(t) + z (t),
_
_
_+
y(t,)
..
[y

(t) + h(t)]

_
dt (21)
dF
d
=

+T
0
_
H
y
h(t) +
H
u
z (t) + h(t)

_
dt +
_
H + y

_
t=T
T (22)
Recurriendo nuevamente a (18), vemos que falta derivar un tramo de color rojo de dicha ecuacion. Esta
separacion se hizo por motivos didacticos nada mas. Juntando ambas derivadas obtenemos D

() que es
justamente lo que deseamos calcular:
D

() =
dF
d

d {(T

+ T) [y

T
+ y
T
]}
d
=

+T
0
_
H
y
h(t) +
H
u
z (t) + h(t)

_
dt +
_
H +

_
t=T

T . . .
(T) y
T

$
$
$
$
$$
(T) y
T
T (23)
En la ecuacion (23) podemos ver unos terminos en azul. Si resolvemos la parte
_
y

_
t=T
= y
T

(T), nos damos

cuenta que aquellos terminos son iguales. Es por ello que podemos cancelarlos
4
. Entonces obtenemos:
D

() =

+T
0
_
H
y
h(t) +
H
u
z (t) + h(t)

_
dt + [H]
t=T
T (T) y
T
(24)
Evaluando (24) en 0 (o sea D

(0) = 0):
D

(0) =

0
__
H
y
+

_
h(t) +
H
u
z (t)
_
dt + [H]
t=T

(T

) y
T
= 0 (25)
decimos que:
u(t) = u

(t)
y (t) = y

(t)
T = T

y
T
= y

T
Si consideramos que el tiempo al nal de las sendas esta predeterminado (por lo que no es libre, y se dene el
lmite superior del funcional como un n umero dado) entonces T = 0; por lo que:
[H]
t=T
T = 0
Si el problema de optimizacion dinamica deja libre el valor terminal de la variable de estado, entonces
y
t
no sera cero por lo que debe cumplirse necesariamente que:
(T) = 0
para que (T) y
T
= 0.
Para que D

(0) sea efectivamente cero se debe cumplir algo mas:

H
y
+

= 0 (26)
H
u
= 0 (27)
4
Para hacer uso del corte diagonal para cancelar terminos utilizamos el siguiente codigo L
A
T
E
X en el pre ambulo:
\usepackage{cancel}
De esa forma podremos hacer uso del paquete cancel a lo largo del documento y en todas sus variantes.
4
Y siempre se cumplira la igualdad de la ecuacion de movimiento de la variable de estado para todo t:

y = g (t, y, u) =
H

(28)
Finalmente, obtuvimos la condicion de primer orden (29) que nos da las sendas optimas y resuelve el problema
de optimizacion dinamica para un valor nal de la variable de estado y
T
libre y un T
0
nal dado.
_

_
H
u
= 0
H

=

y ecuacion de movimiento de la variable de estado
H
y
=

ecuacion de movimiento de la variable de coestado

(T) = 0 condicion de transversalidad para y
T
libre
(29)
5