SEMANA 12:

OPTIMIZACIN DINMICA EN TIEMPO

DISCRETO: PROGRAMACIN DINMICA I

Lecture Notes on Dynamic Programming, Bergin, UC Davis.

Aldo Ramrez
aframire@ulima.edu.pe
2016
INTRODUCCIN

Veremos que la teora de control ptimo se puede desarrollar a partir del

principio de optimalidad de Bellman (sin usar el principio del mximo de
Pontryagin)
Sin embargo, por un lado, el mtodo de Bellman es intrnsecamente
recursivo y su finalidad es encontrar la forma del valor ptimo o funcin
valor. Por otro lado, el mtodo de Pontryagin, pone el nfasis en
encontrar las trayectorias de las variables de control que conducen a
este valor ptimo.
La teora de control ptimo puede derivarse a partir del principio de
optimalidad de Bellman; sin embargo, la ecuacin diferencial que se
debe resolver para obtener la funcin valor necesita derivadas parciales.
Esto es lo que se conoce como una ecuacin diferencial parcial
(complicado fuera de nuestro alcance)
Esta es la razn por la que el desarrollo en tiempo continuo se hizo a
partir del principio del mximo.

2
INTRODUCCIN

Consideremos nicamente una variable de estado x y una de control

u. Sean:
F = {ft : D R | D R2, t = 0, ..., T},
G = {gt : E R | E R2, t = 0, ..., T}

Dos familias de funciones de clase C2(doblemente diferenciable y

continua) y sean
x : {0, ..., T + 1} R,
u : {0, ..., T} R,
Dos funciones.
Sean x(t) = xt y u(t) = ut, las variables donde x es la variable de estado
y u la de control.
Sea V T+1 una funcin con dominio e imagen en R, de clase C2.

3
INTRODUCCIN

La estructura general del problema de programacin dinmica es

escoger u y x que resuelvan:
T
max f k xk , uk
k 0

sujeto a
xk+1 = gk(xk, uk), k = 0, ..., T,
x0 y xT+1 dados
La funcin valor es:

T
Vt xt max f k xk , uk
k t

4
INTRODUCCIN

Esta funcin valor representa el mximo a partir del periodo:

t {0, ..., T}
El principio de optimalidad de Bellman se expresa con lo que
usualmente se conoce como ecuacin de Bellman, que es:
Vt xt max f t xt , ut Vt 1 xt 1

Aqu el mximo es con respecto al control ut sujeto a xt+1 = gt(xt, ut) y

xt dado.
Con esta ecuacin se reduce el problema original de T periodos a
una sucesin de problemas de dos periodos. Este enfoque permite
resolver el problema comenzando por el ltimo periodo y luego
procediendo recursivamente hacia atrs.

5
INTRODUCCIN

La ecuacin es vlida a pesar de que se carezca de soluciones

interiores; sin embargo, si stas existen, se tiene el siguiente resultado.
Teorema
Si uy x resuelven el problema y adems suponemos una solucin
interior, entonces se satisfacen:

f t dVt g t
0
ut dxt 1 ut
dVt f t dVt 1 g t

dxt xt dxt 1 xt

En donde: xt 1 gt xt , ut
t {0, ..., T 1}

6
1. UN PROBLEMA TPICO
Veamos el problema de crecimiento ptimo (modelo Cass-Koopmans) desde el
punto de vista de un Planificador Social. Recordemos que en el modelo de
Solow la tasa de ahorro es exgena y no hay preferencias (utilidad). Este modelo
ptimo del crecimiento agrega las preferencias de las familias, y deriva una tasa
ptima de ahorro. La utilidad se maximiza por el agente representativo, dada la
tecnologa existente.
Las Preferencias se pueden describir:
U(ct), t=0,
La utilidad se asume tiempo-separable, es decir, la utilidad marginal del
consumo de hoy depende slo del consumo de hoy. Cuando las familias evalan
la utilidad en el futuro, la descuentan por un factor constante <1 y se asume
que el consumo futuro no se valora tanto como el consumo actual.
El objetivo es maximizar el actual valor presente descontado de la utilidad futura:

U c
t 0
t
t

7
1. UN PROBLEMA TPICO
Veamos la tecnologa. Se produce usando el capital como input:
yt=f(kt)
Podramos tambin incluir el trabajo como factor productivo. Utilizaremos kt para
representar el capital disponible al principio del perodo t; este es el capital que
fue acumulado en el perodo anterior.
La acumulacin de capital ocurre con la inversin y el ahorro. La ley del
movimiento para el stock de capital es:

kt 1 kt 1 it
Donde it es la cantidad de gasto de inversin en el transcurso de un perodo.
La depreciacin es representada por , y es la faccin del stock de capital
existente que se declara obsoleta (deprecia) cada perodo.
Asumiremos inicialmente que la depreciacin es 100% (lineal ya que kt
desaparece, por eso ms fcil):
=1

8
1. UN PROBLEMA TPICO
El gasto de inversin y el gasto de consumo provienen de la produccin corriente,
as que la restriccin de recursos para el planificador social es:
ct+it=f(kt)
Combinando esto con la ley de movimiento, nuestra restriccin es:
ct+kt+1=f(kt)
Con depreciacin de 100%, el stock de capital disponible en un perodo se deriva
completamente del ahorro en el perodo anterior. Por lo tanto es conveniente
tratar kt+1 como el nivel de ahorro en el perodo t.
El problema del planificador social puede ser escrito como:

max
ct , kt 1 t 0
U ct
t

t 0
sujeto a
ct+kt+1=f(kt)
El planificador social elige el consumo y el ahorro en cada perodo para
maximizar la utilidad de la familia representativa. La solucin es una secuencia
de las variables ct y kt+1 por todos los perodos t {0, ..., }

9
1. UN PROBLEMA TPICO

Encontrar una secuencia infinita de variables es una tarea

complicada pero afortunadamente este problema tiene una
estructura recursiva: el problema para el planificador social
en cada perodo es igual al que hizo frente el perodo
pasado o al que enfrentar en el perodo prximo
Caracterizaremos la solucin por una funcin llamada regla
de poltica, que dice cul es la opcin ptima en funcin del
estado actual de la economa. En este caso encontraremos
una regla para elegir ct y kt+1 en funcin de kt la que se
aplica en cada perodo.

10
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.1 Condiciones necesarias

max U ct
t
ct , kt 1 t 0 t 0
sujeto a
ct+kt+1=f(kt)
Para desarrollar una cierta intuicin sobre la naturaleza recursiva del problema,
es til primero considerar una versin del problema para un horizonte finito.
Asumamos que morimos en un perodo terminal T. Entonces podemos usar
como solucin para el problema del horizonte infinito una solucin del problema
de horizonte finito, tal que T .
El problema ahora se puede escribir sustituyendo la restriccin en la funcin
objetivo, eliminando el consumo como variable de decisin:

T
maxT
kt 1 t 0
U f (kt ) kt 1
t

t 0

11
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.1 Condiciones necesarias
Con esta nueva sumatoria:

T
maxT
kt 1 t 0
U f (kt ) kt 1
t

t 0

Veamos una parte de la misma que incluye todos los trminos posibles de kt+1:

... tU f (kt ) kt 1 t 1U f (kt 1 ) kt 2 ...

Si derivamos esta expresin con respecto a kt+1 (control) tenemos:

tU ' f (kt ) kt 1 1 t 1U ' f (kt 1 ) kt 2 f ' kt 1 0

12
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.1 Condiciones necesarias
Simplificando:

U ' f (kt ) kt 1 U ' f (kt 1 ) kt 2 f ' kt 1

sta es una condicin necesaria de primer orden (CPO) que se aplica a todos los
perodos antes del perodo final. Describe la naturaleza de la decisin
intertemporal acerca de si debo consumir o ahorrar.

Dice que aumentar el consumo hasta el punto en donde una unidad adicional
de consumo del perodo actual haga que la ganancia en la utilidad de hoy no
exceda la prdida de utilidad del prximo perodo (si aumentamos el consumo
en el perodo corriente disminuimos capital y por lo tanto producto y consumo en
el siguiente perodo)

13
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.1 Condiciones necesarias
La Condicin:

U ' f (kt ) kt 1 U ' f (kt 1 ) kt 2 f ' kt 1

No aplica al perodo terminal. En el ltimo perodo de vida no

tiene sentido ahorrar, sino que por el contrario se consume
todo lo producido:
kT+1=0
Esta es conocida como la condicin de frontera (condicin
de transversalidad) del problema.

14
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.2 Un caso especial

Ahora veamos una funcin objetivo especfica para simplificar el anlisis:

U(ct)=ln(ct)

Y una funcin de produccin de Cobb-Douglas:

f(kt)=kt

El problema (Brock-Mirman) es ahora:

t kt 1
T
max
kt 1 t 0

t 0
t
ln k

Donde
ct= kt - kt+1

15
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.2 Un caso especial
El problema:

t kt 1
T
maxT
kt 1 t 0

t 0
t
ln k

Extendemos la suma:

... t ln kt kt 1 t 1 ln kt1 kt 2 ...
Derivamos con respecto a kt+1 e igualamos a cero:

t
1
kt kt 1
1 t 1

1
kt 1 kt 2
k 1
t
1 0

Simplificando tenemos:
1 kt11


kt kt 1 kt 1 kt 2
sta es una ecuacin en diferencias de segundo orden que es difcil de resolver.
La transformaremos a una de primer orden usando un cambio de variable.

16
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.2 Un caso especial
Necesitamos una variable zt que definimos como la tasa de ahorro en t:

kt 1
zt
kt

Primero multiplicamos la expresin por kt+1/ kt+1 :

1 kt11 kt 1


kt kt 1 kt 1 kt 2 kt 1
Queda:
kt 1 kt1


kt kt 1 kt 1 kt 2

Invertimos la expresin:
kt1 kt 2 kt kt 1


kt 1 kt 1

17
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.2 Un caso especial
La simplificamos:

kt 2 kt
1 1
kt 1 kt 1
Usamos la definicin de zt= kt+1/ kt :

1
1 zt 1 1
zt
Queda:
1
zt 1 1
zt

Esta es ya una Ecuacin en diferencias de primer orden pero para resolverla es

mejor usar un mtodo recursivo Podemos resolver esta EDO con lo aprendido?
Para resolver esto no debemos olvidar la condicin de transversalidad, es decir
que el ahorro en el ltimo perodo sea cero o zT=0.

18
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.3 Resolviendo recursivamente
Comencemos con la condicin de transversalidad zT=0, por tanto si:

1
zt 1 1 (1)
zt
Entonces:
1
zT 1
zT 1 (2)

La condicin zT=0 :
1
0 1
zT 1
Por lo tanto:

(3)
zT 1
1

19
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.3 Resolviendo recursivamente
Recordemos la Ecuacin (2):

1
zT 1
zT 1

Si iteramos (2) hacia atrs otro perodo:

1
zT 1 1 (4)
zT 2

20
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.3 Resolviendo recursivamente
Como ya conocemos zT-1 entonces reemplazamos (3) en (4):

1
1
1 zT 2
Encontramos zT-2=0 :

1
zT 2
1 1
As, encontramos tambin que:
1 1
zT 3
1 1
2
Finalmente:

2
2 3
zT 1 zT 2 zT 3
1 1 1
2 2 3

21
2. PROBLEMA DETERMINSTICO DE HORIZONTE FINITO
2.3 Resolviendo recursivamente
Cul es el patrn?

2
2 3
zT 1 zT 2 zT 3
1 1 1
2 2 3

Entonces tenemos que: T t

zt i 1
T t

i 0

Esto es slo una razn o cociente, se aproxima a algn punto fijo o converge?
Tomemos Lmite cuando T se aproxima a infinito (cuaderno), interpretar kt+1

T t

kt 1
lim zt lim i 1
z kt 1 kt
T T t kt

T
i

i 0
22
2. PROBLEMA DETERMINSTICO DE HORIZONTE INFINITO
Formulacin Recursiva

max U ct
t
ct , kt 1 t 0 t 0
sujeto a
ct+kt+1=f(kt)
En general no podemos resolver un problema de horizonte infinito con el
mtodo de tomar lmite a una solucin cuyo perodo final T .
Esto porque no podemos intercambiar los operadores de maximizacin y de
lmites:
T T
max lim
T
U c lim max U c
t 0
t
T
t 0
t

Entonces, cuando el Horizonte es Infinito, el enfoque adecuado es el recursivo

(Programacin Dinmica)

23