Ao de la Promocin de la Industria

Responsable y del Compromiso Climtico

PROGRAMACI
N DINMICA
Luis Alberto Choque Zamudio
UIGV - Ing. Sistemas y
Cmputo - V Ciclo

Ing. Herman Peralta Cabrera

PROGRAMACIN DINMICA

2014

INTRODUCCIN A LA PROGRAMACIN DINMICA (PD)

La Programacin Dinmica fue desarrollada por Richard Bellman y G B Dantzing. Sus
importantes contribuciones sobre esta tcnica cuantitativa de toma de decisiones se
publicaron en 1957 en un libro del primer autor denominado Dynamic Programming
(Princeton University Press. Princeton, New Jersey).
La programacin dinmica (PD) determina la solucin ptima de un problema den variables
descomponindola en n etapas, con cada etapa incluyendo un subproblema de una sola
variable. La principal contribucin de la PD es el principio de optimalidad, el cual establece que
una poltica ptima consiste de subpolticas ptimas, un marco de referencia para
descomponer el problema en etapas.
La programacin dinmica es una tcnica que se puede aplicar para resolver muchos
problemas de optimizacin. La mayor parte de las veces, la programacin dinmica obtiene
soluciones con un avance en reversa, desde el final de un problema hacia el principio con lo
que un problema grande y engorroso se convierte en una serie de problemas ms pequeos y
ms tratables.
As, la programacin dinmica se puede definir como una tcnica matemtica til que
resuelve una serie de decisiones secuenciales, cada una de las cuales afecta las decisiones
futuras. Proporciona un procedimiento sistemtico para determinar la combinacin de
decisiones que maximiza la efectividad total.
En contraste para el problema de programacin dinmica, trata de un enfoque de tipo parcial
para la solucin de problemas y las ecuaciones especficas que se usan se deben desarrollar
para que represente cada situacin individual.
Caractersticas de los problemas de programacin dinmica
Las caractersticas de la programacin dinmica se emplean para formular e identificar la
estructura de los problemas de este tipo.
A continuacin se presentarn estas caractersticas bsicas que distinguen a los problemas de
programacin dinmica.
1. El problema se puede dividir en etapas que requieren una poltica de decisin en cada
una de ellas. En muchos problemas de programacin dinmica, la etapa es la cantidad de
tiempo que pasa desde el inicio del problema, en ciertos casos no se necesitan decisiones
en cada etapa.
2. Cada etapa tiene un cierto nmero de estados asociados a ella. Por estado se entiende la
informacin que se necesita en cualquier etapa para tomar una decisin ptima.
3. El efecto de la poltica de decisin en cada etapa es transformar el estado actual en un
estado asociado con la siguiente etapa (tal vez de acuerdo a una distribucin de
probabilidad).
4. El procedimiento de solucin est diseado para encontrar una poltica ptima para el
problema completo, es decir, una receta para las decisiones de la poltica ptima en cada
etapa para cada uno de los estados posibles.
5. Dado el estado actual, una poltica ptima para las etapas restantes es independiente de
la poltica adoptada en etapas anteriores. (Este es el principio de ptimalidad para la

Universidad Inca Garcilaso de la Vega

PROGRAMACIN DINMICA

2014

programacin dinmica). En general en los problemas de PD, el conocimiento del estado

actual del sistema expresa toda la informacin sobre su comportamiento anterior, y esta
informacin es necesario para determinar la poltica ptima de ah en adelante.
6. El procedimiento de solucin se inicia al encontrar la poltica ptima para la ltima etapa.
La poltica ptima para la ltima etapa prescribe la poltica ptima de decisin para cada
estado posible en esa etapa.
7. Se dispone de una relacin recursiva que indica la poltica ptima para la etapa dada la
poltica ptima para la etapa (n+1).
A pesar de esta caracterstica, los problemas que pueden ser atacados con la PD tienen otras
dos propiedades adicionales:
Slo un nmero reducido de variables se debe conocer en cualquier etapa con el fin de
describir al problema. En efecto, los problemas de la PD se caracterizan por la
dependencia de los resultados derivados de decisiones sobre un nmero reducido de
variables.
El resultado de una decisin en cualquier etapa altera los valores numricos de un
nmero reducido de variables relevantes al problema. La decisin actual ni incrementa
ni decrementa el nmero de factores sobre los cuales depende el resultado. As, para
la siguiente decisin en la secuencia, el mismo nmero de variables se considera.
En un problema de PD una serie de decisiones se deben tomar en una secuencia dada. Cuando
esto se cumple, una poltica ptima se debe perseguir. No importa cules fueron los estados y
decisiones iniciales, las decisiones restantes constituirn una poltica ptima con respecto al
estado resultante de la primera decisin.
PROGRAMACIN DINMICA DETERMINSTICA (PDD)
En este caso se profundiza sobre el enfoque de programacin dinmica en los problemas
determinsticos, en donde el estado en la siguiente etapa est completamente determinado
por el estado y la poltica de decisin de la etapa actual. El caso probabilstico en el que existe
una distribucin de probabilidad para el valor posible del siguiente estado este se analizara
ms adelante.
Aplicaciones de programacin dinmica determinstica
Algunas de las aplicaciones de programacin dinmica determinstica son:

Modelo de Volumen-Carga Mochila

Modelo del tamao de la fuerza de trabajo
Modelo de reposicin de equipos
Modelo de inversin
Modelos de inventarios

A continuacin se presentarn algunas de estas aplicaciones, cada una de las cuales muestra
una nueva idea en la puesta en prctica de la PD.
A medida que se presente cada aplicacin, es importante prestar atencin a los tres elementos
bsicos de un modelo de PD:
Definicin de las etapas
Definicin de las polticas o alternativas

Universidad Inca Garcilaso de la Vega

PROGRAMACIN DINMICA

2014

Definicin de los estados para cada etapa

De los tres elementos, la definicin del estado por lo comn es la ms sutil.
Las aplicaciones que se presentan a continuacin muestran que la definicin de estado vara
dependiendo de la situacin que se est modelando.
Sin embargo, a medida que se presente cada aplicacin, resultar til considerar las siguientes
preguntas:
Qu relaciones unen las etapas?
Qu informacin se necesita para tomar decisiones factibles en la etapa actual, sin
reexaminar las decisiones que se tomaron en las etapas anteriores?
La experiencia indica que la comprensin del concepto de estado se puede mejorar
cuestionando la validez de la forma que dicta la intuicin.
Se sugiere intentar una definicin de estado diferente que pueda parecer ms lgica y
utilizarla en los clculos recursivos.
Con el tiempo, se descubrir que las definiciones que se presentan en las siguientes
aplicaciones proporcionan la forma correcta para resolver el problema.
Mientras tanto, el proceso mental propuesto deber mejorar la comprensin del concepto de
estado.
PROGRAMACIN DINMICA PROBABILSTICA (PDP)
La programacin dinmica probabilstica (PDP) es una tcnica matemticamente til para la
toma de decisiones interrelacionadas, se presenta cuando el estado en la siguiente etapa no
est determinado por completo por el estado y la poltica de decisin de la etapa actual. En su
lugar existe una distribucin de probabilidad para determinar cul ser el siguiente estado. Sin
embargo, esta distribucin de probabilidad si queda bien determinada por el estado y la
poltica de decisin en la etapa actual. Por consiguiente la diferencia entre la programacin
dinmica probabilstica y la programacin dinmica determinstica (PDD) est en que los
estados y los retornos o retribuciones en cada etapa son probabilsticos. La programacin
dinmica probabilstica se origina en especial en el tratamiento de modelos estocsticos de
inventarios y en los procesos markovianos de decisin.
En este apartado se presentar algunos ejemplos generales, con objeto de hacer resaltar la
naturaleza estocstica de la programacin dinmica.
Aplicaciones de programacin dinmica probabilstica
Algunas de las aplicaciones de programacin dinmica probabilstica son:
Un juego aleatorio
Problema de inversin
Maximizacin del evento de lograr una meta.

Universidad Inca Garcilaso de la Vega

PROGRAMACIN DINMICA

2014

Universidad Inca Garcilaso de la Vega