TEORIA POLITICA MONETARIA

Econ. Juan Carlos Prez Ticse.

INTRODUCCIN A LA PROGRAMACIN DINMICA
Qu tipo de problema queremos resolver?
Queremos resolver un problema de optimizacin dinmica al cual llamaremos
problema secuencial (PS).

t r (x t , ut )
t=0

S.a
x t+1 =g ( x t ,u t )
ut ( x t ) ,t=0,1,2,
x 0 X dado
Donde:
1.

r ( x t ,u t ) : funcin de retorno.
r ( x t ,u t ) : X Rn R
0, >

2.

3.

x t : vector de variables de estado

4.

ut

5.

g ( xt ,u t ) : funcin que describe la evolucin de las variables de estado

: factor de descuento

: vector de variables de control

x t Rn
ut R m

(funcin de transicin o ley de movimiento)

g ( xt ,u t ) : x Rn x
6.

( x t ) : es una correspondencia que describe las posibilidades de la variable de

control cuando la economa se encuentra en el estado
: x Rm

{x} rsub {t}

7. X: es el espacio de los valores que puede tomar la variable de estado

(x R n)
8.

x 0 : el valor inicial de la variable de estado (estado inicial).

Bellman indica que el problema secuencial tiene propiedad recursiva donde se eligen
en base a ecuaciones funcionales que muestran decisiones ptimas, las que se repite
periodo a periodo (de aqu su carcter recursivo).
Esto permite transformar el problema secuencial en un problema funcional (PF).

Funcin valor
V (x 0) que indica el valor mximo de la

1. Se define una funcin valor

funcin objetivo para cada

V ( x0 ) =mx

t=0

t r ( xt ,ut )

x0 0

{ut }

x1

2. Por ejemplo: en t=1 se tiene

V ( x1 ) =mx

t =1

t 1 r ( x t , u1 )

{ut }

Bellman (1974) transform la funcin objetivo del problema secuencial en una

ecuacin funcional:

V ( x0 ) =mx

t=0

t r ( xt ,ut )

}
{ut }

mx {r ( x 0, u0 ) + r ( x 1, u1 ) + 2 r ( x 2, u2 ) }
{ut }
mx {r ( x 0, u0 ) + [r ( x1, u1 ) + r ( x 2, u2 ) ]}
{ut }

{ut }

V ( x0 ) =mx { r ( x 0, u0 ) + V ( x1 ) }

Esta ecuacin es una ecuacin funcional, es decir es una ecuacin cuya solucin
es una funcin (funcin valor).
Al reemplazar la ecuacin de Bellman en el problema secuencial se obtiene el
problema funcional (para t).
V ( xt )=mx {r ( x 0, u 0 ) + V ( g( x t , ut ) ) }

S. a
ut ( x t ) , t=0,1,2

{ut }

x 0 X dado
1. El problema de infinitos periodos (problema secuencial) se ha convertido en un
problema de dos periodos.
2. Se est utilizando o explotando la recursividad del problema secuencial.
3. Ahora el problema consiste en encontrar la funcin que resuelve el problema
funcional, es decir, la funcin valor ptima. Proceso de transformacin del
problema secuencial al problema funcional.
Problem
a
secuenc
Se
Solucin del
problema
funcional
Teorema de
equivalencia

Problem
a
funcion
Se
Problema
de punto
fijo
Por el
teorema del
punto fijo
SOLUCIN

(Principio de
Solucin del
problema
funcional
E

Encontrar el punto fijo del operador

en cada (x)

[V(x)]=V(x) se encuentra la funcin valor

Resolviendo paso a paso el

problema de maximizacin del
Se encuentra la
el
funcin
ptimo

Cada (x): conjunto de todas las funciones acotadas.

Principio de optimlidad
Bellman propuso un principio el cual permita encontrar una relacin entre la solucin
del problema secuencial y el problema funcional a este principio se le conoce como el
principio de optimalidad:
Teorema I
La solucin V del problema funcional evaluado en
en el problema secuencial usando el estado inicial es

x 0 , brinda el valor del supremo

x 0 . Una secuencia

{ut }t=0

alcanza el supremo si solo si esta secuencia satisface

V ( xt )=r ( x t , u t ) + V ( x t +1 )
Cuatro proposiciones juntas establecen condiciones bajo las cuales la solucin del
problema secuencial y del problema funcional coincide exactamente.
~
Proposicin 1: establece que la funcin del supremo V para el problema secuencial
~
satisface el problema funcional, adems V puede tener otras soluciones.
Proposicin 2: establece lo inverso de manera parcial del problema funcional al
problema secuencial. Es parcial porque se impone una condicin de acotamiento esta
proposicin impide que la ecuacin funcional tenga otras soluciones porque no
cumplen la condicin de transversalidad fuerte. La nica solucin que cumple dicha
~
condicin es V .
Proposicin 3: muestra que si

{ut }t=0 es una secuencia que alcanza el supremo en el

problema secuencial entonces satisface

V ( xt )=r ( x t , u t ) + V ( x t +1 ) para :
Solucin del
Problema
funcional

~
V V
Solucin del
Problema
secuencial

{ut }t=0
Proposicin 4: establece que cualquier secuencia
que satisface
~
V ( xt )=r ( x t , u t ) + V ( x t +1 ) para
V V
y que tambin satisface una condicin de
acotamiento; entonces tambin alcanza el supremo en el problema secuencial.
Definiciones:

1. Dinmica factible desde

en X

.R

x 0 : es una sucesin de estados y controles

para el problema secuencial si:

ut (x t )

para todo t=0, 1, 2,...

2. ( x 0 ) : conjunto de todas las dinmicas factibles desde

t =0

x t+1 =g ( x t ,u t )

y
x0

{ t=0 }

( x 0 ) :

Tal que

ut (x t ) , t=0,1,2, }

3. plan factible desde

x 0 : es una sucesin de controles

4. plan ptimo desde

x 0 : es un plan factible

{(ut )}t =0

{(u t )}t=0
que permite alcanzar el

supremo del problema secuencial.

5. Cabe mencionar que un plan factible determina unvocamente una dinmica
factible. Por tanto un plan ptimo

{( xt ,ut ) }t=0

La hiptesis 1 asegura que

x0 X

determina una dinmica ptima

las proposiciones anteriores estn basadas en tres hiptesis.

Hiptesis 1: r(x): r(x)

vaco

{(u t )}t=0

para todo
( x0 )

x X

conjunto de dinmicas factibles desde

x0

no es

esto indica que todos los planes factibles pueden ser evaluados

usando r(x, u) y

t r ( x t ,u t )

en el problema secuencial

t=0

podra tomar tres

valores: un numero finito, deseamos que esta funcin objetivo est acotada es decir que

la sumatoria infinita tenga un valor finito

t r ( x t ,u t )
t=0

sea +

para que se

elimine esta posibilidad se restringe el conjunto de dinmicas factibles de tal forma que
dicha sumatoria est acotada superiormente.
Hiptesis 2: funcin objetivo
Para todo

X, existe M x 0 R

x0

la dinmica factible

{( xt ,u t)}t=0,1,2,

tal que

desde

t r ( x t ,u t )
t=0

x0

M x 0 para toda

no obstante, la funcin objetivo

suma infinita an puede tomar, para ciertas dinmicas factibles el valor de- .
Donde la hiptesis 3 busca acotar dicha dinmicas
Por tanto esta hiptesis 2, implcitamente asume que para toda dinmica factible desde
x 0 la suma infinita existe y es finita. La forma ms comn para garantizar la
hiptesis anterior es utilizando lo que en la literatura econmica se conoce como
condicin de NO-PONZI en todos los casos la idea es siempre restringir el conjunto de
las dinmicas factibles, de tal forma que el retorno est acotado.
Tpicamente esta condicin toma la forma de una restriccin al endeudamiento de los
agentes y es, por lo tanto una restriccin del problema que el agente optimizador lleva
en consideracin (esta condicin no debe confundirse en la condicin de
transversalidad)
Hiptesis 3: funcin objetivo
Para todo

x0

un M x 0 R

X existe una dinmica factible

{( xt ,u t)}t=0,1,2,

tal, que la sucesin de sumas parciales

satisface M x 0

sn }

desde

x0

s n= t r ( x t , ut )
t =0

s n para todo n

Ojo: hacer este supuesto utilizando todas las dinmicas factibles es ms restrictivo y no
se cumplir para la funcin de utilidad logartmica ni para la funcin de utilidad CES
con parmetros <1
Las hiptesis 1,2 y 3 tienen como nico fin garantizar la existencia de un valor finito
para el supremo del problema secuencial. Ahora es claro que si r es acotada y
[ 0,1 ] entonces las condiciones 2 y 3 se cumplen.

Segn las condiciones anteriores podemos definir la funcin

~
V :x R

, donde:

~
V ( x 0 ) = r ( x t , ut )
t

t=0

~
Es decir V ( x 0 ) es el valor supremo del problema secuencial llamamos a la funcin
~
V la funcin valor del problema.

Las relaciones entre problema secuencial y el problema funcional nos dan las siguientes
4 proposiciones que sustentan el principio de optimalidad.

Proposicin 1 (Del problema secuencial al problema funcional)

La estrategia de demostracin tiene dos pasos: el primero es encontrar la relacin entre
~
la funcin supremo V y la ecuacin funcional para dos valores iniciales distintos
x1 y

x 0 . El segundo consiste en unir el resultado del paso 1 para

1. Evaluando
Como

x 1 ; sea > 0,uo x 0 y

~
V ( x1 )

x 1 ( t=1 )

x1 y

x0 .

x 1=g ( x0 , u0 )

es el valor supremo del problema secuencial con valor inicial

entonces

existe

una

dinmica

factible

desde

x 1 , {( x 1 ,u 1) , ( x 2 ,u 2) , } tal que por la propiedad del supremo:

V ( x 1 )
t 1 r ( x t ,u t ) ~
t =1

Se sabe que

{( x 0 , u0 ) , ( x1 , u1 ) , } ( x 1)

y que por la propiedad del supremo:

~
V ( x 0 ) t r ( x t , ut )
t =0

~
t1
V ( x 0 ) r ( x0 , u0 ) + r ( x t , ut )
t =1

~
~
V ( x 0 ) r ( x0 , u0 ) + V ( x 1 )
~
~
V ( x 0 ) r ( x0 , u0 ) + V ( g ( x 0 , u0 ) )
Para pasar de la segunda a la tercera lnea se utiliza la ecuacin:

V ( x 1 )
t 1 r ( x t ,u t ) ~
t =1

Como la ltima ecuacin es verdad para todo

> 0 y u0

es cualquier elemento

de r ( x 0 ) entonces tenemos que:

~
~
V ( x 0 ) r ( x0 , u0 ) + V ( g ( x 0 , u0 ) ) , u0 ( x 0 )
Como la ecuacin anterior se cumple para todo u0 , entonces:
~
V ( x0 )

r ( x 0 ,u0 ) + ~
V ( g ( x 0 ,u0 ) ) }
{
u0 ( x 0 )

Generalizando para todo t:

~
V (x)

V ( g ( x , u ) ) } .. ( I )
{ r ( x ,u )+ ~
u (x)

2. Evaluando en

x 0 : Sea

> 0,

entonces por definicin del supremo,

pertenece una dinmica factible desde:

x 0 { ( x 0 , uo ) , ( x 1 , u1 ) , } Tal que:

~
V ( x 0 ) t r ( x t , ut ) +
t =0

~
~
V ( x 0 ) r ( x 0 , uo ) + V ( x 1 ) +

Como es arbitrario entonces:

~
~
V ( x 0 ) r ( x 0 , uo ) + V ( g ( x0 , u0 ) )
~
V ( x0 )

r x ,u + ~
V ( g ( x 0 , u0 ) ) }
u0 ( x 0 ) { ( 0 0 )

Generalizando para todo t:

~
V ( x0 )

r ( x ,u )+ V ( g ( x , u ) ) } ( II )
{
u ( x )

3. Uniendo resultados uniendo las ecuaciones ( I )

y ( II ) se tiene:

V (g ( x , u) )} V ( x )
V ( g ( x , u)) }
{r ( x , u ) +~
{r ( x , u ) + ~
u (x)
u (x)
Por tanto:
~( )
~

V x=
r ( x ,u ) + V ( g ( x ,u ) ) } ( III )
{
(
)
u x
Lo cual indica que la funcin supremo o funcin valor es una solucin de la
ecuacin funcional (problema funcional).
~
La proposicin 1 nos indica que V es una solucin del problema funcional,
pero nos indica que sea la nica con el fin de asegurar que esta sea la nica
solucin del problema funcional se impone una restriccin adicional condicin
de transversalidad fuerte.
La siguiente proposicin nos da un converso parcial de la anterior y las
condiciones bajo las cuales se cumple una de las afirmaciones del principio de
optimalidad.
Proposicin 2 (del problema funcional al problema secuencial)
Segn la hiptesis 1,2 y 3,

resuelve el problema funcional y si adems se cumple

la condicin de transversalidad fuerte:

lim t V ( x t ) =0
t

x0 X

Para todo
es decir, V

y dinmica factible

{ ( x t , ut ) }

desde

( x 0 ) , entonces ~
V =V

resuelve el problema secuencial.

Primero demostraremos que

es la funcin suprema

~
V . La estrategia de

demostracin tiene dos pasos: el primero es demostrar que para toda dinmica factible
desde x 0 se cumple que:

V ( x0 ) t r ( xt ,u t )
t=0

El segundo es demostrar que para todo

desde

x 0 de modo que:

V ( x o ) t r ( x t ,u t ) +
t=0

> 0,

existe una dinmica factible

{ x t , ut }

Ambos pasos aseguran que V

Paso 1a: Como

factible

es la funcin supremo o funcin valor.

es solucin del problema funcional, entonces para toda dinmica

{ ( x t , ut ) } ( x 0 )

tenemos:

V ( x0 ) r ( x 0 , u0 ) + V ( x 1 ) Por propiedad del supremo:

V ( x1 ) r ( x1 , u1 ) + V ( x2 )

Para

x1 .

( x 0 ,u0 ) + V ( x 1 ) r ( x 0 , u0 ) + r ( x 1 , u1 ) + ( V ( x2 ) )
( x 0 ) r ( x 0 ,u 0 ) + r ( x 1 , u1 ) + 2 V ( x 2)

V ( x0 ) t r ( xt ,u t ) + 2 V ( x 2 )

En forma compacta.

t=0

V ( x0 ) t r ( xt ,u t ) + k+1 V ( x k+1 ) ( IV )
t=0

Paso 1b: Haciendo k y usando la condicin de transversalidad fuerte:

V ( x0 ) lim

V ( x0 ) lim

k t =0

t r ( x t , ut ) + k+1 V ( x k+ 1)

k t =0

r ( x t , ut ) + lim

k +1 V ( x k+1 )

t=0

Por condicin de transversalidad fuerte:

V ( x0 ) r ( xt ,u t ) +0
t

t=0

V ( x0 ) t r ( xt ,u t ) ( V )
t=0

}}

Paso 2a: Sea >0 y

{ t }t =0,1,2, una sucesin de nmeros reales positivos tal que:

t t

. ( VI )

t=0

Paso 2b: Como

resuelve el problema funcional entonces existe

modo que:
Por propiedad del supremo:
V ( x0 ) r ( x 0 , u0 ) + V ( x 1 ) + 0
u1 ( x 1 ) tal que:

Tambin existe

V ( x0 ) r ( x 1 , u1 ) + V ( x 2) + 1
r ( x 0 , u0 ) + V ( x 1 ) V ( x 0 ) r ( x 0 ,u 0 ) + r ( x1 , u1 ) + [ V ( x 2 ) ] + 1
Por transitividad en la primera inecuacin:
V ( x0 ) r ( x 0 , u0 ) + r ( x 1 ,u1 ) + 2 V ( x 2 ) + 1
En forma compacta:
1

V ( x0 ) r ( xt ,u t ) + V ( x 2 ) + t
t

t=0

t=1

Paso 2c: Por induccin (k pasos)

k

V ( x0 ) r ( xt ,u t ) +
t

t=0

k+1

V ( x k+1 ) + t t
t=1

Paso 2d: Haciendo k y usando la expresin ( VI )

V ( x0 ) lim

V ( x0 ) lim

t =0

t =1

t r ( x t , ut ) + k+1 V ( x k+1 ) + t t

t r ( x t , ut ) + lim { k+1 V ( x k+1 ) }+ lim

t =0

{ }
k

k t =1

t t

u0 ( x 0 )

de

Por condicin de transversalidad fuerte y ( VI ) :

V ( x0 ) t r ( xt ,u t ) +0+
t=0

t
V ( x0 ) r ( xt ,u t ) + . ( VII )
t=0

El problema funcional puede tener muchas soluciones pero la proposicin 2 muestra que
~
dichas soluciones (excepto V ) violan la condicin de transversalidad fuerte y la
~
~
nica que satisface dicha condicin es V . Por tanto V =V .
t

Intuitivamente si se tiene

lim V ( x t ) > 0

, entonces a lo largo de la dinmica factible

{ x t }t =0,1,2, se estn subutilizando los recursos. Esta interpretacin sugiere que la

condicin de transversalidad es muy fuerte y por lo tanto no debe ser una condicin
necesaria. En efecto esta condicin es necesaria a lo largo de una dinmica que resuelve
el problema secuencial pero no a lo largo de todas las dinmicas factibles.
Nuestro objetivo ahora es caracterizar los planes ptimos es decir, aquellos planes
factibles que permiten alcanzar el suprema del problema secuencial obsrvese que un
plan factible determina nicamente una dinmica factible
Proposicin 3: Dinmica factible del problema secuencial al problema funcional.
Bajo las hiptesis 1, 2 y 3; sea: Sea

{( x t , t ) }

una dinmica factible desde

x 0

que

permite alcanzar el supremo del problema secuencial entonces dicha dinmica factible
cumple con:

V ( x t ) = r ( x t , t ) + V ( x t +1 )

~
V ( xt ) = r

( x t , t ) + V (x t +1)

.. (VIII)

Es decir, permite alcanzar el supremo en el problema funcional. Las estrategias de

demostracin tienen dos pasos: primero demostraremos que la ecuacin VIII se cumple
para t = 0. El segundo se extiende este resultado para todo t = 1, 2, 3, por induccin.
Paso 1a: Debido a que

{( x t , t ) }

es una dinmica factible desde

alcanzar el supremo del problema secuencial entonces se cumple:

x 0

que permite


~
V ( X0 ) =

t
( , t )

t r
t=0

x
x
x

( t+ 1 , t+1 ) (IX )

( 0 , 0 )+ t r
t=0

( t , t )=r

t r
t =0

Paso 1b: Para toda dinmica factible

{( 1 , 1) , ( x2 , 2 ) , ( x 3 , 3 ) , . } (x 1)

por la definicin del supremo se cumple :

x
x

( t , )+ t r ( x t+1 , t +1) (X )

t=0

( t , t )r

t r
t =0

Por tanto de la expresin IX y X se tiene que:

x

( t+ 1 , t+1 ) t r ( x t+1 , t +1 ) (XI )

t=0

t r
t=0

x
x
x

3
,

3 ), . } ( x 1) , entonces se cumple que

Paso 1c: Como la dinmica factible { (

( 2 , 2 ),

( 1 , 1 ),

( t+ 1 , t+1 )

tiene que ser el valor supremo con valor inicial en

t r
t =0

~
t
V ( x 1 ) = r

( x t +1 , t +1 , ) .( XII )

t =0

Paso 1d: reemplazando la expresin XII y IX se tiene:

x

r
,
~

V ( x 0 ) =

)+
)(XIII)
~
V

Paso 2a: Se prob que:

r
,
~
V ( x 0 ) =

)+
)
~
V

~
V ( x 1 ) = t r ( xt +1 , t+1 )
t =0

Paso 2b: Se supone una hiptesis inductiva:

~
V ( x k ) =r ( x k , k ) + ~
V (x k +1)
Donde ~
V ( x k ) k se define como:

~
t

V ( x k ) = r ( x t+ k , t +k )
t=0

Paso 2c: Verificando para K+1 de las ecuaciones del paso 2b

x1

r ,

r ,

V
x
=
( k ) r ( x t +k , t +k , )
)+
)=
t=0
~
V

r
x
,

+
B
r ( x t +(k +1) , t +(k+1) )
(
)

k
k
)+
)=
t=0
~
V

~
t

V ( x k +1 )= r ( x t +(k +1) , t +(k+1) )

t =0

~
V ( x k +1 )=r ( x k +1 , k+ 1) + t r ( x t +(k+2 ) , t +(k+2) )
t=0

~
V ( x k +1 )=r ( x k +1 , k+ 1) + ~
V ( x k+2 ) .................................................(XIV)
Por tanto la hiptesis inductiva es verdadera y generalizable para todo t = 0, 1,2,
Finalmente tenemos un converso para esta proposicin que nos da las condiciones bajo
las cuales se cumple la otra afirmacin del principio de optimalidad.
Proposicin 4: (Dinmica factible del problema funcional al problema secuencial), Bajo
las hiptesis 1, 2 y 3 Si

{( x t , t ) }

una dinmica factible desde

x 0 que satisface

t
,

(
t )+ V ( x t+1 )
y se cumple la condicin de tranversalidad dbil:
~
V ( x t )=r
lim t V ( x t )0
t

{( x t , t ) }

Entonces

, resuelve el problema secuencial

La estrategia es la siguiente que

que

permite

alcanzar

el

{( x t , t ) }

supremo

, resuelve el problema secuencial significa

~
V ( x0 )=
{ t }

t=0

t r ( x t , t )

~
t

V ( x 0 ) = r ( x t , t ) , esto ltimo es lo que tenemos que demostrar.

t=0

Paso 1: Como

{( x t , t , ) }

es una dinmica factible desde

x 0 entonces:

es

decir

~
t

V ( x 0 ) r ( xt , t ) ( XV )
t=0

x
( 1 )
Paso 2: ~
~
V ( x 0 ) =r ( x 0 , 0 ) + V
x
( 2 )
~
~
V ( x 0 ) =r ( x 1 , 1 ) + V
x
( t+1 )
~
~
V ( x 0 ) =r ( x t , t ) + V
x

Reemplazando: V ( 2 ) en V (x 1)

x
( 3 )
~
~
V ( x 2 ) =r ( x 2 , 2 ) + V
x
( 3 )
~
r ( x 2 , 2 ) + V
~
V ( x 1 ) =r ( x1 , 1 ) +
x
~

V
(
1
)
en ~
V ( x0 )
Reemplazando:

x
x
( 3 )
( 2 , 2)+ 2 ~
V

r ( x1 , 1 ) +Br
~
V ( x 0 ) =r ( x 0 , 0 ) +
De forma compacta
x

( 3 )
2

~
V ( x 0 ) = t r ( x t , t ) + 3 ~
V
t=0

Por induccin (k pasos)

k
( k +1 ) ..( XVI )
k
~
t

k+1 ~
V ( x 0 ) = r ( x t , t ) + V
t=0

Tomando k en la ecuacin (XVI)

~
V ( x 0 ) =lim

k t=0

t r ( x t , t ) + k +1~
V ( k k+1 )

k
( k +1 )
k+1 ~
V

~
V ( x 0 ) = t r ( x t , t ) + lim
t=0

Por condicin de transversalidad dbil:

lim B V ( x t )0
t

~
V ( x 0 ) t r ( xt , t ) . ( XVII )
t =0

De la inecuacin (XVI) y (XVII) se tiene:

t=0

t=0

V ( x 0 ) r ( xt , t ) . ( XVIII )
t r ( x t , t ) ~

Por tanto:

~
V ( x 0 ) = t r ( x t , t )
t=0

La cual indica que la dinmica factible

{( x t , t ) }

, resuelve el problema secuencial.

Hasta aqu se ha estudiado la relacin entre el problema secuencial y el problema

funcional pero no se ha dado ningn mtodo para solucionar el problema funcional. El
principal mtodo es considerar al problema funcional como un problema de punto fijo.
Para ello necesitamos dos hiptesis adicionales sobre la correspondencia T(x) y la
funcin de retorno r(x, ).

Hiptesis 4: r(x)

T : X X

Es una correspondencia de valores compactos (i.e. r(x)) es compacto para

todo x) continua y r(x)

para todo x.

Hiptesis 5:
B (0,1)

Y r ( x t , t ) es acotado y continua sobre el grafo r (el grado de r es el

m
conjunto {(x, y) X x R : y T ( x) }. La hiptesis 4 y 5 implican las * hiptesis 1,2 y

3 por tanto las proposiciones 1 al 4 se mantienen y por ende el principio de optimalidad.

~
* Por la hiptesis 5 V (y por lo tanto V por el principio de optimalidad) que es una
funcin real tambin es acotada y continua.
Al problema funcional le asociamos un operador T de cierto espacio de funciones sobre
x en si mismo este se define de la siguiente manera:
Definamos Ca(x): espacio de las funciones reales, continuas y acotadas entonces
~
V =V Ca (x ) .
Definamos un operador T: Ca(x) Ca(x) del problema funcional.

(
)
( )
T[V](X) = { } r ( x ) { x , + V ( g x ) } ( XIX)
Del problema funcional sabemos:

(
)
(
)
V(x) = { } r ( x ) { r x , + V ( g x , ) } (XX )
De (XIX) y (XX) el problema funcional se convierte en un problema de punto fijo:
T[V](X) = V(x) (XXI)
Donde la funcin V es el punto fijo, si encontramos la funcin V que resuelve (XXI)
entonces tendremos la solucin del problema funcional y por el principio de optimalidad
tendremos la solucin del problema secuencial.
Debido a que se tiene la funcin valor se puede encontrar el plan ptimo.
* Forma 1: resolviendo paso a paso el problema del mximo que aparece en el problema
funcional (encontramos la funcin poltica)
x
x

* Forma 2: resolviendo el sistema o ecuaciones. r ( t , t )+ V ( xt +1 ) , t =0,1,2,3,

V ( t )=

Necesitamos un teorema que asegure que el operador T: Ca(x)

Ca(x) tiene un

nico p unto fijo y por tanto una solucin al punto fijo. El teorema del punto fijo para
contracciones asegura lo anterior.

Teorema 2: (Punto fijo para contracciones)

Bajo la hiptesis 4 y 5 y sea

C a ( x ) el espacio de las funciones reales, continuas y

acotadas sobre X con la norma del Supremo II.II entonces el operador T definido en
C a ( x ) es una aplicacin de este espacio en si mismo.
T: Ca (x) Ca (x) definido como
g ( xt ,ut )
r ( x t ,u t ) + V }
T [ V ] ( x ) =
Sujeto a: ut ( x t ) satisfice
T [ V ] C a ( x )

1.-

2.- T tiene un nico punto fijo

V: T [ V ] =V
3. - Para cualquiera V 0 C a (x)
Se tiene:

( V 0 )V nV 0 V

En particular
n

lim T ( V 0 ) =V

El teorema del punto fijo ofrece un mtodo de solucin del problema funcional la
convergencia de interacciones sucesivas de una funcin contractiva al punto fijo la cual
consiste en la sucesin de funciones

{V n }n=0

definida como:

V n=T [V n1 ; n 1
Converge al punto fijo ( V ) de la contraccin T , es decir:

lim V n=V

Demostracin del teorema 2:

Paso 1: Bajo la hiptesis 4, 5 y 3 se tiene que para cada

f C a ( x ) x X

el problema

del punto fijo.

T [ f ( x )= max {r ( x t , ut ) + f (ut ) }
ut (x)

Se reduce a maximizar la funcin continua:

{r ( x t ; ) + f ()}
Sobre el conjunto compacto

(x)

esto permite alcanzar el mximo, una pregunta

que tenemos que responder es:

T ( f ) Es acotada y continua? Se sabe que su dominio lo es.
Paso 2: debido a que

r ( x t ;u t ) y f (u t )

T [f ]

son acotadas entonces

tambin es

acotada.
Debido a que

r ( x t ;u t ) y f (u t ) son continuas y

(x)

es compacto entonces por el

teorema del mximo se tiene que T [ f ] es continua.

T [f ]

es continua y acotada, dado que

fue definido (dominio) en

Ca( x )

entonces se obtiene que el operador T [f ] es:

T [ f ] :C a ( x ) C a ( x)

es una contraccion esto se debe a que el operador

condiciones de Blackwell.
T tiene un unico punto fijo debido a que

Ca( x )

entonces por el teorema de la aplicacin contractiva

es una espacio de Banach

T

tiene un unico punto

fijo V C a ( V ) y se cumple que:

cumple con las

( V 0 )V nV 0 V

Mtodo del clculo diferencial para solucionar el problema funcional

Para aplicar los mtodos de clculo diferencial en la solucin de problemas de

optimizacin dinmica se requiere que la funcin valor tenga tres propiedades
importantes:
Monotocidad
Concavidad
Diferenciabilidad
Monotocidad de V ( x t )
m
Hiptesis 6: r ( x , u ) y g(x , u) para cada u R las funciones

r ( x t ,u t ) : X R es estrictamente creciente .
g ( xt ,u t ) : X X es creciente .
Hiptesis 7:

(x)

Es montona si

x ' > x ( x' ) ( x )

La funcin valor es estrictamente creciente, el primero es demostrar que

T [ f ] es una

funcin estrictamente creciente, el segundo paso es considerar el punto fijo y de all

derivar que V es tambin estrictamente creciente.
1. Sabemos:
C a (x) es el espacio de las funciones reales, continuas y acotadas con la
norma del supremo.
C c ( x ) C a ( x) es el espacio de las funciones reales, continuas, acotadas y
crecientes.
Se observa que C c ( x ) es un sub espacio cerrado en C a (x) y por tanto es
un espacio completo en la norma del supremo
Paso 1:
Vamos a probar que si f C a (x ) es creciente entonces
funcin estrictamente creciente.
Paso 1a:
'
Si x x entonces

[f ]

g ( x' , u ) g ( x ,u ) u

'
Dado que f ( g ( x ,u ) ) f ( g ( x , u ) )

( x ' ,u ) + f (g ( x ' , u ) ) ( x ' , u ) + f ( g ( x ,u ) )

Por la hiptesis

( x , u ) es creciente

es una

 (x ' ,u) ( x ,u) entonces

( x ' ,u ) + f ( g ( x ' , u ) ) ( x , u ) + f ( g ( x , u ) ) (XXII)

Paso 1b:
Aplicando max

en relacin a la ecuacin 22

max u (x) { ( x , u ) + f ( g ( x ,u ))}> max u (x) { ( x , u ) + f (g ( x , u ) ) }

'

'

Teorema 3: Diferenciabilidad de la funcin valor Benveniste-scheinkman

La funcin valor es continuamente diferenciable en x 0 y su derivada est
dada por:
(x 0 ) ( x 0 , h(x 0))
( g( x0 ), h( x 0))
=
+
x0
x0
x0
Esto es generalizado para todo t
1
2

Este teorema es un paso previo para demostrar el teorema de la envolvente

Requiere que en la ecuacin de Bellman se introduzca la funcin de poltica
h( x ) adems de la ecuacin de movimiento de la variable de estado
g( x ,h (x))

Las hiptesis descritas aseguran que la funcin valor sea dos veces
diferenciables (Stokey y Lucas, 1998. Pg. 84) la cual asegura que la funcin de
poltica h( x ) sea diferenciable. Esta propiedad es recogida en el teorema
Benveniste-scheinkman

Teorema 4: teorema de la envolvente

Si

x 0 ln t( x ) y h(x 0 ) ln t( (x 0)) y cumpliendo el teorema 3 entonces para

(x , u) se cumple
(x 0 ) ( x 0 , 0)
=
x0
0

Este teorema asegura una relacin entre la funcin de valor y la funcin de utilidad.
En la ecuacin de Bellman aplicar las condiciones de primer orden es decir derivar el
lado derecho de dicha ecuacin con respecto a la variable de control.
Al aplicar el teorema del envolvente recordar que el teorema de la diferenciabilidad es
solo para demostrar el teorema del envolvente
Aplicacin del teorema de la envolvente
Problema de optimizacin de un consumidor

max u(C t )
{C t ,Wt=0t +1 }t=0
t

W t +C t
Sujeto a: W t +1=(1+ r) )
Donde: ( 0,1 ) ,W t

es la riqueza del individuo y W 0 dado

Solucin:
V ( W t )=

max {u ( C t ) + v (W t +1) }

{C t }t =0
Introduciendo la ecuacin de la variable de estado
V ( W t )=

max {u ( C t ) + v ((1+r )(W t +C t )) }

{C t }t =0
Condiciones de primer orden derivamos el lado derecho de la ecuacin de Bellman con
respecto a la variable de control Ct
u ( C t )
v ( W t +1 ) [ ( 1+r ) ( W t +Ct ) ]
+
=0
C t
W t+1
Ct
u ( C t )
C t

v ( W t +1 )
W t+1

(1 ) ( 1+ r )=0

u ( C t )
v ( W t+ 1)
= (1+r )
C t
W t +1
El teorema de la envolvente indica
v ( W t ) u ( Ct )
=
Wt
Ct
Un periodo hacia adelante
v ( W t +1 ) u ( C t +1)
=
W t +1
C t +1
Encontrando la ecuacin de EULER

En el teorema de la envolvente en la ecuacin condicin de primer orden se tiene la

ecuacin de EULER
u ( C t )
C t

= (1+r )

v ( W t+ 1)
W t +1

u ( C t )
u ( C t +1)
= (1+r )
C t
C t +1

Modelo de Brock y Mirmau (1972)

El modelo bsico de crecimiento esta descrito por el siguiente problema

max t ln ( c t )

t=0
{C t , k t +1 }t=0

Sujeto a:
k t +1=( 1+ ) k t +i t
Ct +i t=f (k t )
Ct , k t 0
La ecuacin funcional de Bellman es:
max { ln ( Ct )+ v (k t +1) }

V ( k t )=

{C t , k t +1 }t=0

Al reemplazar la restriccin en la ecuacin de Bellman k t +1=k t C t el problema

funcional asociado queda descrito de la siguiente manera
max { ln ( Ct ) + v (k t C t ) }

V ( k t )=

{C t , }t =0
0 C t k t
Encontrando la funcin valor
Para resolver el problema funcional utilizaremos el mtodo de iteracin de la funcin
valor propuesto por el teorema del punto fijo para contracciones

V n=T [V n1 ] n 1
Se inicia con la funcin ms sencilla V 0=0
Encontrando V 1
V 1=T [ V 0 ]
max { ln ( Ct )+ v 0 (k t C t ) }

{C t , }t =0

max { ln ( C t ) }

{C t , }t =0
Con esta etapa se aplica la condicin de primer orden
funcion objetivo
=0
Ct
No obstante en este caso por ser ln

montona entonces el valor mximo se

alcanza cuando
t= k t
C
Reemplazando Ct

que maximiza la funcin objetivo se tiene T [ V 0 ]

V1
V 1=T [ V 0 ]=ln [ k t ]
V 1=ln [ k t ]
Encontrando V 2
V 2=T [ V 1 ]
max { ln ( Ct )+ v 1( k t C t ) }

{C t , }t =0

ln ( k t Ct )

por ende

 max { ln ( Ct )+ ln(k t Ct ) }

{C t , }t =0
En esta etapa se aplica la condicin de primer orden
funcion objetivo
=0
Ct
k t
Ct =
1+
Reemplazando Ct

.1

que maximiza la funcin objetivo en 1 se obtiene

T [V 1]

ende V 2 :
V 2=T [ V 1 ]= ( 1+ ) ln ( k t ) + ln

ln ( 1+ )
1+

De igual forma podemos hacer para V 3

n1

V n [ k t ]=A n +( ( )i ln ( k t ))
i=0

Donde hacemos que n

lim V n=V

n1

V n ( k t )= lim A n + lim ( ( )i ln ( k t ))
n

i =0

lim

V = A+ ( ) ln ( k t)
i

i=0

V = A+

ln ( k t )

y luego en forma general vemos que:

y por

La constante A la podemos encontrar reemplazando V y la dinmica optima en la

ecuacin de Bellman
Encontrando la funcin de poltica
Donde que ya conocemos la funcin valor V la cual reemplazamos en la ecuacin de
Bellman del problema funcional
Reemplazando la funcin valor en el problema funcional
V ( k t )=

max { ln ( Ct ) + [ ln(k t Ct ) ] }

{C t , }t =0

0 C t k t

El problema funcional se convierte en un problema de optimizacin estndar en t a la

cual se pueda aplicar las condiciones de primer orden
Aplicando la condicin de primer orden
funcion objetivo
=0
Ct
Encontramos la funcin de poltica
Ct =(k t )
Ct =(1 )k t
Encontrando la constante A
Reemplazando la funcin valor y la funcin de poltica en la ecuacin de Bellman el
mximo desaparece porque la funcin de poltica permite alcanzar dicho mximo
A+

ln ( k t )=ln ( h ( k t ) + ln ( k t h ( k t ) ) )
1

Resolviendo e igualando los coeficientes de los trminos similares

ln ( )
1
1
A=

ln ( 1 )+

[ ]

Ecuacin de evolucin de la variable de estado

k t +1=k t ( 1 ) k t = k t
Funcin de poltica
Ct =(1 ) k t