Universidad Nacional Mayor de San Marcos
Facultad de Ciencias Econ°micas
Taller de MacrodinÆmica
Programaci°n DinÆmica
Miguel Ataurima Arellano
[email protected]
[email protected]
[email protected]
Febrero 2011
En este art±culo se presentan ideas y mØtodos bÆsicos de la programaci°n dinÆmica. Se establecen los
elementos bÆsicos de un problema de optimizaci°n recursivo, se describe el funcionamiento la ecuaci°n
(la ecuaci°n de Bellman), se presenta tres mØtodos para resolver la eecuaci°n de Bellman, y se da la
f°rmula de Benveniste-Scheinkman de la derivada de la funci°n de valor °ptima.
1
El Problema Secuencial
Sea
°
2
[0
;
1]
un factor de descuento. Se desea escoger una secuencia in²nita de controles
f
u
t
g
1
t
=0
=
f
u
0
; u
1
; : : :
g
para maximizar
1
X
t
=0
°
t
r
(
x
t
; u
t
)
(1)
sujeto a
x
t
+1
=
g
(
x
t
; u
t
)
con
x
0
dado.
Asumimos que
r
(
x
t
; u
t
)
es una funci°n c°ncava y que el conjunto
°
(
x
t
+1
; x
t
) :
x
t
+1
°
g
(
x
t
; u
t
)
; u
t
2
R
k
±
es convexo y compacto.
La programaci°n dinÆmica busca encontrar una
funci°n de pol±tica
h
invariante en el tiempo que
mapee el estado
x
t
en el control
u
t
, de tal manera que la secuencia
f
u
s
g
1
s
=0
generada mediante la iteraci°n
de las siguientes dos funciones
u
t
=
h
(
x
t
)
(2)
x
t
+1
=
g
(
x
t
; u
t
)
iniciando desde la condici°n inicial
x
0
en
t
= 0
, resuelva el problema general
Una soluci°n de la forma de las ecuaciones
(2)
se dice que es
recursiva
.
Para encontrar la funci°n de pol±tica
h
necesitamos conocer una funci°n
V
(
x
)
que exprese el valor
°ptimo del problema original, iniciando desde una condici°n arbitraria
x
2
X
.
Esta es la llamada
funci°n valor
. En particular, de²nimos
V
(
x
0
) =
max
f
u
s
g
1
s
=0
1
X
t
=0
°
t
r
(
x
t
; u
t
)
(3)
1
Taller de MacrodinÆmica
Programaci°n DinÆmica
donde una vez mas, la maximizaci°n estÆ sujeta a
x
t
+1
=
g
(
x
t
; u
t
)
con
x
0
dado.
Como es de esperarse, no podemos conocer
V
(
x
0
)
hasta despuØs de haber resuelto el problema, sin
embargo, vamos a proceder con fØ. Si conociØcemos
V
(
x
0
)
, entonces la funci°n de pol±tica
h
puede ser
calculada resolvendo para cada
x
2
X
el problema
max
u
f
r
(
x; u
) +
°V
(
e
x
)
g
(4)
sujeto a
v
=
g
(
x; u
)
con
x
dado, y
e
x
denota el estado del periodo siguiente.
As±, hemos intercambiado el problema original de encontrar una in²nita secuencia de controles que
maximizan la expresi°n
(1)
por el problema de encontrar la funci°n val°r °ptima
V
(
x
)
y una funci°n
h
que resuelva la continuidad de los problemas de maximizaci°n
(4)
- un problema de maximizaci°n para
cada valor de
x
. Este intercambio no parece un progreso, pero veremos que a menudo si lo es.
