Optimizacin Dinmica - Control ptimo.

Implementaciones en Mathematica y Maple

Jorge Mauricio Oviedo
1



Resumen: El presente trabajo tiene por objetivo integrar los
principios matemticos de la teora del Clculo de Variaciones y el
control ptimo con programaciones computacionales en Softwares
algebraicos. Para llevar a cabo dicha tarea se presenta una revisin
terica de tales tpicos de una manera clara y accesible sin por ello
perder rigurosidad en su tratamiento. Se brindan adems rutinas de
programacin en Mathematica 5.2 y Maple 10 que automatizan la
tarea de resolucin de dichos problemas. De esta manera, se logra
cumplir el fin de fomentar el uso de tales mtodos cuantitativos
minimizando el esfuerzo de aprendizaje y resolucin. Se incluyen
adems aplicaciones a la teora Econmica.




Palabras clave: Ecuaciones Diferenciales, Calculo de Variaciones, Control ptimo,
Optimizacin, Ecuacin de Euler, Condiciones de Transversalidad.

1
joviedo@eco.unc.edu.ar
1.- Motivacin

A lo largo de la vida uno aprende a valorar la utilidad de realizar planes para el futuro.
Las decisiones presentes afectan las posibilidades de eleccin futura haciendo que ciertas
oportunidades estn o no dentro del rango de eleccin ms adelante. De esta manera las
elecciones presentes afectan nuestro bienestar a los largo de todo ese horizonte de
planeacin.
Sin embargo, la cuestin clave que emerge de esta reflexin es la interdependencia de las
decisiones presentes y futuras. De no ser as, el problema planeacin a lo largo del tiempo
es trivial en el sentido que todo lo que uno necesita hacer es elegir lo mejor en cada
instante del tiempo sin importar las repercusiones de tal decisin en el futuro.
Transcribiendo estas ideas de una manera algebraica podemos decir lo siguiente:
En un problema de optimizacin esttica el objetivo es hallar el valor de una variable que
maximice una cierta funcin, es decir:

max ( )
x
F x (a)

si dicha funcin es continuamente diferenciable se verificar que F(x*)=0 donde x* es
un valor que maximiza F.
Una generalizacin hacia un problema de mltiples periodos discretos involucra la
eleccin de ciertas cantidades x
t



1
max ( , )
t
n
t
x
i
F t x
=

(b)

Siguiendo con el supuesto de que F es continuamente diferenciable se tendrn las
siguientes condiciones necesarias de primer orden:

1
2
1
2
(1, ) 0
(2, ) 0
( , ) 0
N
x
x
x N
F x
F x
F N x
=
=
=

De donde emerge claramente que dicho sistema de ecuaciones no denota ningn tipo de
interdependencias por lo que cada ecuacin puede ser resuelta independientemente de las
dems. De esta manera, el problema es trivial y no marca ningn tipo de dinmica en la
eleccin de las variables. Obsrvese como stas reglas algebraicas coinciden con las
reflexiones hechas en prrafos anteriores.

El problema se transforma verdaderamente dinmico cuando las decisiones presentes no
solo afectan este instante si no tambin el futuro venidero. Algebraicamente sera el caso
de:


1
1
{ }
1
max ( , , )
N
t t
n
t t
x
i
F t x x
=

(c)

luego las condiciones de primer orden sern:

1 1
2 2
1 1
1 0 2 1
2 1 3 2
1 2 1
1
(1, , ) (2, , ) 0
(2, , ) (3, , ) 0
( 1, , ) ( , , ) 0
( , , ) 0
N N
N
x x
x x
x N N x N N
x N N
F x x F x x
F x x F x x
F t x x F t x x
F N x x

+ =
+ =
+ =
=


Ntese como el valor de x
0
debe ser fijado de antemano par determinar el valor de x
1
. Se
aprecia con nitidez la interdependencia del sistema periodo a periodo. Las variables no
pueden elegirse independientemente una de otras. Estamos pues frente a un problema de
optimizacin dinmico.

Para generalizar los problemas (c) y (d) al caso de horizonte de planeacin contino se
deben hacer algunas consideraciones previas:
Primero tngase presente que el anlogo continuo a la sumatoria es una integral y en
segundo lugar que la solucin ptima ser una funcin continua de t, x(t), en reemplazo
de la secuencia de valores anterior:
1
( )
0
0
( ( ), )
sujetoa (0)
t
t
Max F t t dt
=

x
x
x x


Al igual que en (c) el mismo resulta ser no dinmico dado que el integrando solo depende
de las elecciones contemporneas de x. Para lograr el equivalente dinmico de un
problema en horizonte temporal continuo, se debe hacer aparecer una derivada de la
variable de eleccin en el integrando. Dicho dependencia de la tasa de crecimiento es el
puente que comunica ntertemporalmente las decisiones tomadas transmitiendo as
dinmica al sistema continuo.


1
( )
0
0
( ( ), ( ), )
sujetoa (0)
t
t
Max F t t t dt
=

x
x x'
x x


Este planteo corresponde al tratamiento clsico del Clculo de Variaciones
2
.


2
Vease Oviedo [2005] para una discusin sobre las condiciones necesarias para resolver ste problema.


2.- El problema del Control ptimo

Si bien el problema anterior puede resolverse por el mtodo clsico del Clculo de
Variaciones, el mismo puede ser generalizado para considerar situaciones mas especificas
en donde por ejemplo se consideren ciertas restricciones
3
sobre las derivadas de la
funcin buscada.
El espritu del Control ptimo descansa en la manera ptima de gobernar la evolucin de
un cierto sistema dinmico. De sta manera partimos de un sistema dinmico que
evoluciona ntertemporalmente en un periodo de tiempo [t
0
, t
1
] por medio de una
ecuacin de estado (ecuacin diferencial de primer orden) que describe la dinmica
evolutiva de una cierta variable x(t) llamada variable de estado desde una condicin
inicial x
0
. Dicha evolucin del sistema depende de una cierta funcin u(t) sobre la cual se
tiene cierto control (de ah que se llame a sta variable, variable de control) y se intenta
con ella lograr influir en la evolucin de x(t) de modo tal que haga mximo un funcional.
Dicho funcional est compuesto por una integral definida cuyo integrando depende tanto
de la evolucin intertemporal de las variables de estado, de la de control como del tiempo
mismo en su versin mas general
4

En otras palabras lo dicho anteriormente puede plantearse as:


1
0
( )
0 1 0 1
( ( ), ( ), )
sujeto a: '( ) ( , ( ), ( )),
, , ( ) fijo; ( ) libre
t
t u t
Max f x t u t t dt
x t g t x t u t
t t x t x t
=

(1)

Donde f y g se suponen continuamente diferenciables en todos sus argumentos, mientras
que u(t) es permitido ser continua a trozos y x(t) continuamente diferenciable.
Los problemas de Control ptimo, pueden tener mltiples variables de estado y de
control. Cada variable de estado evoluciona de acuerdo a una ecuacin diferencial de
primer orden. El nmero de controles puede ser mayor, menor o igual que el nmero de
variables de estado.

Transformaciones de un problema de Clculo de Variaciones en uno de Control
ptimo:

Supongamos que se posee el siguiente problema:
1
0
( )
0
( ( ), '( ), )
sujetoa (0) =

x
t
t
t
Max f x t x t t dt
x x

y se lo desea transformar en uno de Control ptimo. La clave consiste en definir el
control como la tasa de cambio del la variable de estado de la siguiente manera:

3
No negatividad, o pertenecer a un cierto conjunto de restricciones
4
Ntese como u(t) influye directamente en el funcional (por medio de la dependencia directa del
integrando de u(t), e indirectamente por medio del efecto que sta posee sobre la variable x(t), va la
ecuacin de estado, de la cual el funcional tambin depende.

1
0
( )
( ( ), ( ), )
sujetoa: '( ) ( ) =

t
t u t
Max f x t u t t dt
x t u t



Si bien todo problema variacional puede transformarse en uno de Control, el
procedimiento inverso no siempre es posible
5
y he aqu una de las ventajas de este
mtodo. Ahora bien en la medida que la ecuacin diferencial permita ser resuelta para
u(t) en trminos de x(t) e x(t) y t, podra llevarse a cabo dicha sustitucin en el
integrando. As teniendo el siguiente problema de Control:

1
0
( )
0 1 0 1
( ( ), ( ), )
sujetoa: '( ) ( , ( ), ( )),
, , ( ) fijo; ( ) libre
t
t u t
Max f x t u t t dt
x t g t x t u t
t t x t x t
=

En la medida que sea posible despejar u de g:

1
'( ) ( ( ), ( ), ) ( ) ( '( ), ( ), )

= = x t g x t u t t u t g x t x t t

Sustituyendo en el integrando u por su igual:

1
0
1
( )
{ ( ), [ '( ), ( ), ], }

t
t x t
Max f x t g x t x t t t dt

1
0
( )
( ( ), '( ), )

x
t
t t
Max f x t x t t dt

Con lo cual se tiene ahora un problema de Clculo de Variaciones.
6


3.- El principio del Mximo

El problema ms simple de Control ptimo, a diferencia del de Clculo de Variaciones,
involucra un punto terminal libre de la variable de estado. El punto de partida es el
mtodo de optimizacin esttica con multiplicadores de Lagrange. Sin embargo a
diferencia de este tipo de problemas, la restriccin dada por la ecuacin de estado debe
cumplirse para cada instante de tiempo lo que sugiere la construccin de una funcin
continua (t) que acte como un multiplicador intertemporal. As:

5
Esto sucede especialmente cuando las variables de control estn sujetas a ciertas restricciones adicionales
no contempladas en un problema de variacional.
6
Vale aclarar que adicionalmente se requiere que las funciones u(t) deben ser continuas en todo el
horizonte de planeacin [a, b] y no solamente continuas a trozos para que dicha conversin de problema de
Control a Variacional sea factible.



1 1
0 0
[ ( ), ( ), )]. { )( [ ( ), ( ), ] '( ))}
t t
t t
L f x t u t t dt t g x t u t t x t dt = + (



Donde (t) es el multiplicador de Lagrange asociado con la restriccin de la ecuacin de
moviendo de (1). Debido a que existen continuas restricciones, por cada momento del
tiempo en [t
0
, t
1
], entonces el multiplicador de Lagrange tambin ser continuo. El valor
de (t) es llamado variable de coestado o multiplicador de Lagrange dinmico
7
. Dado
que cada una de las restricciones, g(.) x, es igual a 0, cada uno de los productos, [g(.)
x] (t), tambin son iguales a 0. Se sigue que la suma de todas estas restricciones
tambin es igual a 0:


1
0
{ ).( [ ( ), ( ), ] '( ))} 0
t
t
t g x t u t t x t dt ( =

Para encontrar las condiciones de primer orden en un problema esttico, tendramos que
maximizar L con respecto a x(t) y u(t) para t desde 0 a T. El problema con este
procedimiento es que no sabemos la derivada de xcon respecto a x. Para evitar este
problema, podemos reescribir el lagrangeano integrando x(t) (t) por partes para obtener:


1
0
0 0 1 1
( [ ( ), ( ), ] ). [ ( ), ( ), ] ' ) ( )) ) ( ) ) ( )
t
t
L f x t u t t t g x t u t t t x t dt t x t t x t = + ( + ( + ( (

(2)

Consideremos ahora una familia de controles de comparacin, u*(t) + ah(t), donde u* es
el control ptimo, h es una funcin fija por el momento y a un parmetro. Llamando
y(t, a), [t
0
,t
1
] a la variable de estado generada por la ecuacin de movimiento acorde al
control. Asumiendo que y(t,a) es una funcin suave en ambos argumentos. Acorde a la
definicin de los controles de comparacin, a = 0 provee el camino ptimo de x.
Adicionalmente todos los controles de comparacin satisfacen las condiciones iniciales:

y(t, 0) = x*(t) y(t
0
, a) = x
0

Con las funciones u*, x* y h fijas el valor del funcional de (1) depende nicamente de a.
Es decir:

1
0
( ) [ ( , ( , ), *( ) ( )]
t
t
J a f t y t a u t ah t dt = +

Usando (2) se tiene que:


7
Siguiendo un paralelo con el caso esttico, ste multiplicadores dinmico pueden ser interpretado como
un precio sombra: (t) es el precio o el valor de una unidad extra de x en el momento t en unidades de la
funcin objetivo al momento 0.
1
0
1 1 0 0
( ) [ ( , ( , ), *( ) ( )) ( ) ( , ( , ), *( ) ( ))
( , ) '( )] ( ) ( , ) ( ) ( , )
t
t
J a f t y t a u t ah t t g t y t a u t ah t
y t a t dt t y t a t y t a

= + + + +
+ +

Dado que u* es el control que maximiza (1), la funcin J(a) alcanza dicho mximo en
a = 0. En consecuencia J(0) = 0, por lo que diferenciando con respecto a a y evaluando
en a = 0 resulta luego de agrupar trminos:

1
0
1 1
'(0) [( ') ( ) ] ( ) ( , 0) 0
t
x x a u u a
t
J f g y f g h dt t y t = + + + + =

donde f
x
, g
x
y f
u
, g
u
denota la derivada parcial de la funcin f, g con respecto a sus
segundo y tercer argumentos respectivamente; y y
a
es la derivada parcial de y con
respecto a su segundo argumento a. Ahora dado que dicho resultado debe mantenerse
para toda funcin de perturbacin h (primer trmino) y dado tambin que el estado
terminal de la variable de estado x es libre de variar (segundo trmino), deben darse las
siguientes condiciones para anular la derivada primera de J:

'( ) [ ( , *, *) ( ) ( , *, *)]
x x
t f t x u t g t x u = +

( , *( ), *( )) ( ) ( , *( ), *( )) 0
u u
f t x t u t t g t x t u t + =

1
) 0 t ( =

Para resumir, hemos demostrado que si las funciones u* y x* resuelven (1), entonces
existe una funcin continuamente diferenciable (t) tal que u*, x*, simultneamente
satisfacen:

1.- la ecuacin de estado

0 0
'( ) ( , ( ), ( )), ( ) x t g t x t u t x t x = =

2.- la ecuacin del multiplicador:

1
'( ) [ ( , ( ), ( )) ( ) ( , ( ), ( ))], ( ) 0
x x
t f t x t u t t g t x t u t t = + =

3.- la ecuacin de optimalidad:

( , ( ), ( )) ( ) ( , ( ), ( )) 0
u u
f t x t u t t g t x t u t + =

El dispositivo algebraico para recordar o generar stas condiciones (similar al caso de
resolver un problema de optimizacin no lineal esttico es decir, formar el lagrangeano,
diferenciar, etc.) es el Hamiltoniano:

( , ( ), ( ), ( )) ( , , ) ( , , ) H t x t u t t f t x u g t x u +


ya que del mismo pueden obtenerse las condiciones de necesarias para resolver (1)

0
'
'
H
u
H
x
H
x

Las condiciones anteriores son denominadas el Principio de Maximo y su razn de ser
obedecen a que en su versin ms general (no abordadas en estas notas) las variables de
control suelen estar sujetas a un conjunto de restricciones adicionales (desigualdad,
igualdad etc., que en general pueden exprearse por u ) por lo que las condiciones
anteriores del Hamiltoniano suelen escribirse as:

( , , , )
'
'
u
Max H x u t
H
x
H
x

De esta manera el procedimiento para resolver un problema de Control es la siguiente:

1.- Optimizar el Hamiltoniano con respecto a u obteniendo los controles ptimos en
funcin de y x:

( , , , ) *( , , )
u
Max H x u t u x t

2.- Substituir el valor del control u en el sistema de ecuaciones diferenciales de primer
orden de modo tal que solo queden dos variables a resolver: x y . Deben usarse las
condiciones iniciales y terminales (transversalidad):

( )
( )
0 0 1
'( ) , *( , , ),
*( )
'( ) , *( , , ),
*( )
( ) , ( ) 0
H
t x u t x
x
x t
H
x t x u t x
t
x t x t

= =

3.- Con los valores ptimos de x y regresar a las soluciones de u halladas en el paso 1
para obtener los valores ptimos definitivos de los controles

( ) *( ) * , *( ), ( ) u t u t x t t =

En general resolver de manera analtica el paso 2 suele ser difcil y muchas veces
imposible por lo que suele optarse por anlisis grafico-cualitativo en la medida que el
Hamiltoniano sea autnomo (que no dependa explcitamente del tiempo) pues esto
habilita a construir diagramas de fases.

El principio del mximo tambin es vlido para el caso de mltiples controles y mltiples
variables de estado. As en el caso de n variables de control y m de estado se tiene:

1
0
( )
0 1 0 1
( ( ), ( ), )
sujeto a: '( ) ( , ( ), ( )),
, , ( ) fijo; ( ) libre
t
t u t
Max f t t t dt
t t t t
t t t t
=

x u
x g x u
x x


Donde:

x(t) = [x
1
(t), x
2
(t), , x
m
(t)]
u(t) = [u
1
(t), u
2
(t), , u
n
(t)]
g(t) = [g
1
(t), g
2
(t), , g
m
(t)]
x(t
0
) = [x
1
(t
0
), x
2
(t
0
), , x
m
(t
0
)]

Con lo que las condiciones necesarias para resolver ste problema son ahora:

( , , , )
'
'
Max H t
H
H

u
x u

x
x

Siendo el Hamiltoniano:

( , ( ), ( ), ( )) ( , , ) ( , , )
T
H t t t t f t t + x u x u g x u

Donde ()
T
denota el operador transponer de modo que resulte un producto interno entre el
vector de lambdas y el vector de restricciones.
Ntese como ahora existen n controles, m estados y m multiplicadores y ahora el sistema
de ecuaciones diferenciales que arroja el Principio del mximo contiene 2m variables.


4.- Condiciones de Segundo Orden

Los siguientes son una serie de teoremas que garantizan que bajo ciertas situaciones las
condiciones del principio del Mximo aseguran la resolucin del problema de Control en
el sentido que las mismas dejan de ser slo necesarias para ser tambin suficientes

Teorema de Mangasarian: Si f y g son cncavas en x y u en el intervalo [t
0
, t
1
] y si
(t) 0 en [t
0
, t
1
], entonces las condiciones del Principio del Mximo resultan tambin
ser suficientes para resolver el Problema de control. Alternativamente sucede lo mismo
en el caso que f sea cncava y g convexa en x y u y (t) 0 en [t
0
, t
1
].

Existe adems una condicin suficiente ms dbil que la anterior pero se basa en la
definicin de Hamiltoniano Maximizado y que es la siguiente:

Sea u = U(t, x, ) el valor del control que maximiza el Hamiltoniano,

( , , , ) ( , , ) ( , , ) = + H t x u f x u t g t x u

donde la notacin U(t, x, ) refleja la dependencia del valor maximizado de u con
respecto a los parmetros del problema, el Hamiltoniano Maximizado se define ahora
como:

0
( , , ) max ( , , , )
( , ( , , ), ) ( , ( , , ), )


=
= +
u
H x t H x u t
f x U t x t g x U t x t


Teorema de Arrow: Si H
0
(t, x, ) es una funcin cncava de x para un dado en el
intervalo [t
0
, t
1
], entonces las condiciones del principio de Mximo resultan ser
suficientes para el Problema de Control.



5.- Condiciones de Transversalidad

Existen tres variantes
8
para este problema general en donde solo se dan las condiciones
iniciales mientras que las terminales pueden tomar algunos de los siguientes casos:

a) Punto terminal fijo: Aqu la variable de estado esta forzada a terminar en un
valor especfico al fin del horizonte de planeacin

1 1 1 1
( ) , , fijos x t x t x =


8
El lector interesado en ver condiciones de transversalidad mas generales o combinacin de las mismas en
el mismo problema puede consultar Kamien-Schwartz [pginas 143-150]. Las demostraciones de las
condiciones aqu expuestas, como las de las ms generales, pueden encontrarse en dicho texto.
b) Lnea terminal Horizontal: Aqu la variable de estado esta forzada a terminar en
un valor especfico pero el fin del horizonte de planeacin es libre de variar
arbitrariamente
1 1 1
( ) , , libre x t x t =
:
c) Superficie Terminal: Aqu la variable de estado como el tiempo terminal son
libres de variar simultneamente pero no de una manera libre sino que estn
ligados por una relacin funcional que las restringe.

1 1
( ) ( ) x t t =

De acuerdo al problema en cuestin para la optimalidad del mismo deben verificarse
ciertas condiciones acerca de cmo las variables del problema atraviesan el estado
final del sistema. En estos casos la condicin de transversalidad planteada anteriormente
debe ser sustituida por:

a) Punto Terminal Fijo:

1 1
( ) x t x =

b) Lnea Terminal Horizontal:

1
[ ] 0
t t
H
=
=

c) Superficie Terminal
1
[ '] 0
t t
H
=
=

Adems si el tiempo terminal es fijo y todas las variables estn truncadas verticalmente,
entonces las condiciones de transversalidad son:

1 1
1 min min 1
( ) 0, , ( ) ( ) 0
t t
t x x x x t =

Finalmente para un problema con tiempo terminal mximo permisible las condiciones de
transversalidad sern:

1 1
1 max 1 max
[ ] 0 ( )[ ] 0
t t t t
H t t t t H
= =
=


6.- Horizonte Infinito

En donde ahora se trata de una integral impropia pues uno de sus lmites es infinito.
Como primer requisito se necesita que la misma sea convergente.

0
( )
0 1 0 1
( ( ), ( ), )
sujeto a: '( ) ( , ( ), ( )),
, , ( ) fijo; lim ( ) libre
t u t
t
Max f x t u t t dt
x t g t x t u t
t t x t x t

Para abordar este problema se modifican las condiciones de transversalidad del siguiente
modo:

lim 0
t
H

=

Si adems se permitiese a la variable x(t) variar libremente en el lmite a infinito se
requerir agregar esta nueva condicin de transversalidad
9
:

lim ( ) 0
t
t

=

Similarmente en el caso de que la variable de estado estuviese sujeta a un valor mnimo la
condicin ser:

min
lim ( ) 0, lim ( )[ ( ) ] 0
t t
t t x t y

=



7.- Hamiltoniano de Valor Corriente

Dadas las ventajas en materia de resolucin y la posibilidad de usar el anlisis grafico-
cualitativo cuando se presenta un integrando y una ecuacin de movimiento autnoma
(independiente del tiempo de manera explcita), uno siempre desea tratar con un
problema autnomo. A su vez, en muchas ocasiones sucede que la nica aparicin
explicita del tiempo es a travs de un factor de descuento continuo por lo que se ha
tratado de eliminar el tiempo de una manera muy sencilla como se expone a
continuacin.
En tales circunstancias, aparicin del tiempo en forma explcita nicamente en el factor
de descuento continuo, se intenta transformar el problema original en un problema
alternativo de carcter puramente autnomo que preserva la esencia del problema original
y permite su recuperacin. Esta transformacin da origen a lo que se denomina
Hamiltoniano de Valor Corriente que se expone a continuacin.

La funcin integrando f a veces contiene un factor de descuento fd definido como


9
Vale aclarar que dicha condicin de transversalidad ha generado cierta controversia entre los estudiosos
de tales problemas. Sin embargo, en la medida que el integrando del funcional objetivo (f(.)) este
actualizado por un factor de descuento, dicha condicin es indudablemente necesaria. La duda se plantea
cuando no existe tal factor de descuento.
t
fd e

=

Tal funcin puede ser expresada como f(t,y,u) = G(t,y,u) fd, entonces el problema de
control ptimo es

1
0
( )
0 1 1
( , ( ), ( ))
. . ( , ( ), ( ))
( ) , ( ) libre, , , dados
( )
t
t
t t
Max G t t t e dt
s t t t t
t t t
t

=
=

u
0 0
x u
x' g x u
x x x x
u


Por definicin, el Hamiltoniano adopta la forma

( , , , ) ( , , , ) ( ) ( , , , )
t
H t G t e t t

= + y u x u g x u

Ahora bien, el Principio del Mximo exige la diferenciacin de H con respecto a u y x,
sumado a que la presencia del factor de descuento aade complejidad, un artificio
conveniente es definir un nuevo Hamiltoniano librado de dicho factor, llamado
Hamiltoniano de valor corriente (H
c
).
Este nuevo concepto del H
c
debe acompaarse con el multiplicador de valor corriente
m(t) definido de la siguiente manera:

( ) ( ) ( ) ( )
t t
t t e t t e

= = m m

El H
c
. puede ser escrito como

( , , ) ( ) ( , , )
t
C
H He G t t t

= + x u m g x u

Lo que implica que

t
C
H H e



El principio del Mximo revisado
Al elegir trabajar con H
c
en vez de H, deben revisarse todas las condiciones obtenidas
anteriormente.
La 1 condicin del Principio del Mximo consistente en maximizar H respecto de u para
cada momento del tiempo esencialmente no cambia, solo sustituyendo H por H
c
ya que el
trmino exponencial es constante para cualquier t dado comprobndose la maximizacin
en el mismo u particular.
La condicin revisada se simplifica a

0 1
, [ , ]
C
Max H t t t

u


Dado que

( , , )
c
H H
t

= =

g y u
m


la nueva ecuacin de movimiento para la variable de estado original cambia por

c
H
=

x'
m


La nueva ecuacin de movimiento para la variable

C
H

= +

m m
x


Las condiciones de transversalidad revisadas para el caso de una lnea vertical terminal
son:
1
1
( )
t
t e

= m 0

Resumiendo el Principio del Mximo revisado establece las siguientes condiciones
necesarias en funcin del Hamiltoniano de Valor Corriente.


'( )
( )
t
C
C
c
Max H e H
H
t
H
t

= +

u
m m
x
x'
m

Junto a las siguientes condiciones iniciales y de transversalidad respectivamente:

1
0
1
( )
( )
t
t
t e

=
=
1
x x
m 0



8.- Control optimo con restricciones


Al igual que en el caso de Calculo de variaciones, aqu tambin pueden presentarse
problemas de control optimo con restricciones. De esta manera el problema puede
formularse como sigue:

1
0
( )
0 0 1
( , ( ), ( ))
. . ( , ( ), ( ))
( ( ), ( ), )
( ) , ( ) libre, , dados
( )
t
t t
Max f t t t dt
s t t t t
t t t
t T x t
t
=
=
=

u
0
x u
x' g x u
b B x u
x x y
u


donde b es un vector de constantes conocidas. Para su resolucin se requiere formular
una nueva funcin lagrangeana, con tantos nuevos multiplicadores como componentes
tenga el vector de restricciones b, de la siguiente manera:

( , , , ) ( , , ) ( )[ ( , , )] L t H t t u t = + x u x u b B x

y las condiciones de optimalidad ahora sern

1
'( )
( ( ), ( ), )
( ) ( , ( ), ( ))
( )
L
L
t
L
t t t
L
t t t t
t

= =

= =

=
0
u

x
b B x u 0

x' g x u

0


De igual modo tambin puede definirse una funcin lagrangeana de valor corriente
modificando los multiplicadores y multiplicndolos por e
t
y aplicar el principio de
mximo revisado igual que en el caso anterior en donde solo se observaran diferencias en

'( )
C
L
t

= +

m m
y

ya que el resto de las condiciones sern:

'( )
( ( ), ( ), )
( )
C
c
c
c
Max L
L
t
L
t t t
L
t

= +

= =

u
m m
x
b B x u 0

x'
m


9- Ejemplos y Aplicaciones:

Bsicamente en materia de ejemplos y aplicaciones del Clculo de Variaciones, podemos
destacar dos tipos de los mismos:

Ejercicios de carcter cuantitativo: que partiendo de datos explcitos en particular
buscan resolver un problema concreto, determinado y especfico

Ejercicios de carcter cualitativo: stos en base a datos generales en donde no se
especifican ni se detallan los datos del problema de manera explicita si no simplemente se
confieren ciertas caracteres generales, comunes a un amplio rango de problemas
parecidos, buscan encontrar patrones de solucin comunes a todos ellos. En economa es
ampliamente usado este tipo de aplicaciones en donde por ejemplo el investigador no
persigue determinar la trayectoria ptima de consumo para un agente determinado que
posee unas preferencias explicitas y particulares, si no que conociendo ciertas
caractersticas en comn de todos los agentes, se trata de determinar los patrones de
conducta comunes a todos ellos en su trayectoria ptima. Esto es de gran importancia
pues simplemente con saber ciertas cualidades de las funciones de Utilidad o produccin
de los agentes y firmas, es posible en muchos casos develar el esquema comn de
comportamiento de los agentes sin necesidad de conocer con exactitud tales funciones.

A continuacin mostramos ejemplos de cada una de sas clases de problemas:

Ejemplo 1

Considrese el siguiente problema de optimizacin Dinmica:

1
0
max ( ) ( )
2
sujeto a: ' 1 , (0) 1. ( )
x u dt I
x u x II
+
= =

De la Funcin Hamiltoniana:

2
( , , , ) (1 ) H t x u x u u = + + ,

las condiciones necesarias son:

2
1 2 0, 2 0, ( )
' 1, (1) 0, ( )
' 1 , (0) 1.
u uu
x
H u H III
H IV
x u x


= = =
= = =
= + =



Resolviendo (IV) queda:

1 . t =

Luego

2(1 ) 0,
uu
H t = para 0 1 t . Tambin por (III),

1/ 2 1/ 2(1 ) u t = =

Sustituyendo sta ltima expresin en (II) resulta:

2
' 1 1/ 4(1 ), (0) 1. x t x = =

Integrando y usando las condiciones de contorno resulta la solucin final:

( ) 1/ 4(1 ) 5/ 4,
( ) 1 ,
( ) 1/ 2(1 ).
x t t t
y t t
u t t
= +
=
=



Aplicaciones a Economa:

Consideremos una Economa cerrada en la que solo existe un nico bien, de tal forma que la
produccin final se puede dedicar tanto al consumo como a la inversin. El capital K se
deprecia a una tasa constante y la poblacin crece a una tasa n. Toda la poblacin trabaja,
de manera que la poblacin y el trabajo L son idnticos. El supuesto de economa cerrada
quiere decir que no se puede pedir prestado de mercados extranjeros, por lo que el ahorro
debe ser igual a la inversin (en una economa abierta, la diferencia entre ahorro e inversin
es igual a la balanza por cuenta corriente.). El ahorro es igual a la produccin total,
Y=F(K,L), menos el consumo, C (en este modelo tampoco hay gobierno por lo que no hay
impuestos ni ahorro pblico). La inversin bruta es igual a la inversin neta, K

, mas la
depreciacin, K. Tenemos pues que la restriccin de la economa cerrada requiere:

( , )
t t t t t
K F K L C K =

La que expresada en trminos per-capita resulta
10
:

( ) ( ) k f k c n k = +

Los consumidores maximizan su utilidad dada por el funcional:


10
Suponiendo que la funcin de produccin es homognea de grado uno, se dividen ambos miembros por L
con lo que resulta la expresin all expuesta.
0
( ( )) ( )
t
V u c t L t e dt

asumiendo que u(c)>0 y u(c)<0 y que u(c) satisface las condiciones de Inada, u(c)
cuando c 0 y u(c) 0 cuando c . Teniendo en cuenta que L crece a una tasa n
positiva y con una adecuada eleccin de la unidad (L en cero es igual a uno), es posible
presentar el problema de la siguiente manera:

( )
0
( ( ))
n t
V u c t e dt

Se asume > n para acotar la funcin de utilidad V cuando c es constante.
De esta manera los agentes resolveran este problema para hallar su consumo ptimo:


( )
( )
0
max ( ( ))
: ( ) ( )
n t
c t
V u c t e dt
st k f k c n k

=
= +

Construyendo el Hamiltoniano respectivo, resulta:

( )
(.) ( ) ( ( ) ( ) )
n t
H e u c f k c n k

= + +

Las condiciones de primer orden son:

( )
0 '( ) 0 ( )
( '( ) ) ( )
lim 0 ( )
n t
c
k
t t
t
H e u c a
H f k n b
k c

= =
= =
=



Tomando logaritmos y derivadas de (a) y substituyendo en (b) obtenemos:

''( )
'( )
'( )
u c c c
f k
u c c


=





El lado izquierdo de la condicin de optimalidad de los agentes constituye la ganancia por
posponer consumo presente hacia el futuro (es la productividad marginal neta del capital) y el
lado derecho es el costo de posponer tal consumo ya que representa el costo por consumir
en el futuro y el resto de la expresin en el parntesis es una medida de la perdida de utilidad
por consumir de una manera no constante en el tiempo, costo que es penalizado por la
naturaleza cncava de la funcin de utilidad (a mayor concavidad mayor es la perdida de
utilidad por no consumir de manera estable a lo largo del tiempo). As, la condicin de
optimalidad sugiere que la trayectoria maximizadota de utilidad se consigue cuando se logran
compensar beneficios con costos de intercambiar consumo presente por futuro.

Obsrvese como la expresin anterior junto con la condicin de transversalidad (c),
determinan completamente la dinmica del capital y el consumo del modelo. Ntese adems
como esta condicin es independiente de la funcin de Utilidad y produccin de los agentes,
por lo tanto la condicin anterior es un patrn verificable para todo agente de la economa.



10.- Implementaciones en Maple y Mathematica


En Maple:
Aqu se pretende disear una rutina de programacin que sea lo suficientemente sencilla
de usar y que sea capaz de tratar la mayor gama posible de problemas. Para ello se
expone a continuacin dos programas escritos en Maple que permite resolver tales
problemas descrito en secciones precedentes.

Control ptimo: Caso General
restart:
Hamilton := proc(f,g,u,x,l,ICs) local
a,b,H,eq1,eq2,eq_1,eq_2,eqd_1,eqd_2,control,sys:

H:= f+l[1]*g:
a:=libreIII(H,u):
eq1:=eval(diff(H,l),a[1]):
eq2:=eval(diff(-H,x),a[1]):
eq_1:= eval(eq1,[x[1]=x[1](t),l[1]=l[1](t)]):
eq_2:= eval(eq2,[x[1]=x[1](t),l[1]=l[1](t)]):
eqd_1:= diff(x[1](t),t)=eq_1:
eqd_2:= diff(l[1](t),t)=eq_2:
sys:= {eqd_1,eqd_2}:
b:=dsolve(sys union ICs,{x[1](t),l[1](t)}):
control:=eval(eval(a[1],[x[1]=x[1](t),l[1]=l[1](t)]),b):
control union b;
end:





Sintaxis

Hamilton(F(u, x, t), g(u ,x, t),[x],[y],[l]);

donde:
F(u,x.t) es el integrando
g(u,x.t) la restriccin del estado
u: la variable de control
x: la variable de estado del sistema
t: tiempo


Control ptimo en tiempo Terminal Fijo

> restart:
HamiltonII := proc(f,g,u,x,l,ICs) local
a,b,H,eq1,eq2,eq_1,eq_2,eqd_1,eqd_2,control,sys:

H:= f+l[1]*g:
a:=libreIII(H,u):
eq1:=eval(diff(H,l),a[1]):
eq2:=eval(diff(-H,x),a[1]):
eq_1:= eval(eq1,[x[1]=x[1](t),l[1]=l[1](t)]):
eq_2:= eval(eq2,[x[1]=x[1](t),l[1]=l[1](t)]):
eqd_1:= diff(x[1](t),t)=eq_1:
eqd_2:= diff(l[1](t),t)=eq_2:
sys:= {eqd_1,eqd_2}:
b:=dsolve(sys union ICs,{x[1](t),l[1](t)}):
control:=eval(eval(a[1],[x[1]=x[1](t),l[1]=l[1](t)]),b):
control union b;
end:








Sintaxis

HamiltonII(F(u, x, t), g(u ,x, t),[x],[y],[l],{x(0=a),x(T)=b });

donde:
F(u,x.t) es el integrando
g(u,x.t) la restriccin del estado
u: la variable de control
x: la variable de estado del sistema
t: tiempo
a: el valor del estado inicial del sistema
b: el valor del estado final del sistema en el periodo T


Supongamos que deseamos resolver el siguiente problema de Control ptimo con Maple:
1
2
0 ( )
( )
sujeto a: '( ) ( ) ( ),
(0) 1, (1) 0.
u t
Max u t dt
x t x t u t
x x
= +
= =

Los comandos sern:
Hamilton(u^2,x+u,[u],[x],[l],{x(0)=1,x(1)=0});



Si a su vez no queremos especificar las condiciones iniciales terminales como fijas, se
puede utilizar el siguiente comando para resolverlo en forma general sin especificar las
constantes de integracin dadas por las respectivas condiciones de transversalidad
apropiadas a cada caso:

HamiltonII(u^2,x+u,[u],[x],[l]);


Con cuyos resultados y las condiciones de transversalidad apropiadas al problema en
particular pueden resolverse un sistema de ecuaciones comunes por medio del comando
Solve



Control ptimo con Mathematica
A similitud del apartado anterior, se procede aqu a la implementacin del Principio del
Mximo en Mathematica. Se mostrarn dos programas: el primero el caso general en
donde no se hace mencin a las condiciones de transversalidad y el segundo en donde se
trata el caso de tiempo terminal fijo.
Caso General




De esta manera se crea un nuevo comando llamado Hamilton que devuelve las
trayectorias ptimas de las variables de control, estado y coestado sin especificar las
condiciones de transversalidad del problema por lo que las soluciones contendrn las
constantes de integracin pertinentes al problema en cuestin las que luego podrn ser
obtenidas mediante la especificacin de las condiciones de transversalidad apropiadas al
problema en tratamiento con ayuda del comando Solve.
La sintaxis de Hamilton se expone a continuacin:





Sintaxis

Hamilton[H(u[t], x[t], l[t], t), {u[t]},{ x[t]}, { l[t]}, t,];

donde:
H(u[t], x[t], l[t], t es la funcin Hamiltoniana
u[t]: la variable de control
x[t]: la variable de estado
l[t]: Multilplicador de lagrange dinmico
t: tiempo


Ejemplo 1



Tiempo Terminal Fijo
Ahora se muestra el cdigo de programacin que resuelve de manera completa el
problema de Control en caso de tiempo terminal fijo:



Como se observa con las rutinas anteriores se crea un nuevo comando llamado
HamiltonTF cuya sintaxis se detalla seguidamente:

HamiltonTF[H(u[t], x[t], l[t], t), {u[t]},{ x[t]}, { l[t]}, t, {0,T}, {x[0]},
{x[T]}];

donde:
H(u[t], x[t], l[t], t es la funcin Hamiltoniana
u[t]: la variable de control
x[t]: la variable de estado
l[t]: Multilplicador de lagrange dinmico
t: tiempo
{0,T}: Intervalo de tiempo
{x[0}, {x[T]}: Condiciones Iniciales y terminales de la variable de estado en 0 y T
respectivamente


Ejemplo 2
Supongamos que se desea resolver el siguiente problema con tiempo terminal fijo:

4
2
0 ( )
( )
sujeto a: '( ) ( ) ( ),
(0) 5, (4) 7.
u t
Max u t dt
x t x t u t
x x
= +
= =

Observacin: Si bien todos los ejemplos mostrados fueron tratados para una sola
variable de control y estado, la generalidad de los cdigos de programacin permite la
utilizacin de n variables de control y m de estado.
BIBLIOGRAFA

Bellman, Richard (1957): Dynamic Programing Princeton University Press. Princeton, New
Jersey.
Cerd Tena, Emilio (2001): Optimizacin Dinamica. Prentice Hall. Espaa.
Alpha Chiang. "Elements of Dynamic Optimization", McGraw-Hill, 1992
Intriligator, Michael D (1971). Mathematical optimization and economic theory.
Prentice-Hall.
Morton I. Kamien and Nancy L. Schwartz, (1991),Dynamic Optimization: The
Calculus of Variations and Optimal Control in Economics and Management, (2nd ed.) by
North Holland: New York.
Oviedo, Jorge Mauricio, 2006: Notas de Optimizacin Dinmica: Calculo de
Variaciones Documentos de trabajo N 7. Departamento de Estadstica y Matemtica.
Facultad de Ciencias Econmicas. Universidad Nacional de Crdoba.
Stokey, Nancy and Lucas, Robert (1987): Recursive Methods in Economic Dynamic
Harvard University Press.