ACADEMIA DE STUDII ECONOMICE BUCURESTI

FACULTATEA DE CIBERNETICA, STATISTICA SI

INFORMATICA ECONOMICA

Catedra de Cibernetica Economica



Rezumatul Tezei de Doctorat




Algoritmizarea Optimizrii
Proceselor Economice




Conductor tiinific
Prof.univ. dr. GHEORGHE OPRESCU


Doctorand
ELIZA-GABRIELA BIAU







BUCURETI
2006

2















































3
Cuprins


Introducere

Capitolul 1
Tehnici de Calcul Variational

1.1. Cadrul general.............................................................................................................................1
1.2. Problema de Calcul Variational cu Conditii la Limita Date: Ecuatia lui Euler..........................1
1.2.1. Ecuatii de Tip Euler-Lagrange ...................................................................................2
1.2.2. Forme Particulare ale Ecuatiei lui Euler......................................................................6
1.2.3. Doua Generalizari ale Ecuatiei lui Euler...................................................................10
1.2.3.1. Cazul mai multor variabile de stare. Ecuatia lui Euler in
n
R .................................10
1.2.3.2. Forme Particulare ale Ecuatiei lui Euler in
n
R .............................................13
1.2.3.3. Cazul Functiei Integrant cu Derivate de Ordin Superior.
Ecuatia Euler-Poisson....................................................................................14
1.3. Problema de Calcul Variational cu Conditii la Limita Date si cu Restrictii Integrale.
Ecuatia Euler-Lagrange............................................................................................................16
1.4. Adaptarea Tehnicilor de Calcul Variational la Problemele de Conducere Optimala...............19
1.5. Conditii de Transversalitate in Problemele de Calcul Variational...........................................23
1.5.1.CadrulGeneral.............................................................................................................23
1.5.2. Forma Generala a Conditiilor de Transversalitate.....................................................23
1.5.3. Determinarea Conditiei Generale de Transversalitate...............................................24
1.5.4. Cazuri Speciale ale Conditiilor de Transversalitate..................................................26
1.5.4.1. Problema de Calcul Variational cu Moment Final T Fixat.....................................26
1.5.4.2. Problema de Calcul Variational cu Stare Finala Cunoscuta...................................27
1.5.5. O Interpretare Economica a Conditiei de Transversalitate........................................28
1.5.6. Problema de Calcul Variational pe Orizont de Timp Infinit.....................................29
1.5.6.1. Convergenta Functionalei Obiectiv........................................................................29
1.5.6.2. Conditii de Transversalitate...........................................................................30
1.6. Aplicatii Economice ale Tehnicilor de Calcul Variational.......................................................32
1.6.1. Aplicatia 1
Optimizarea Dinamica a Functiei Profit Pentru o Firma de Monopol......................32
1.6.1.1. Cadrul Axiomatic..........................................................................................32
1.6.1.2. Formularea Problemei...................................................................................33
1.6.1.3. Analiza Echilibrului si Stabilitatii Evolutiei Pretului....................................35
1.6.1.4. Varianta Patratica a Modelului......................................................................40
1.6.2. Aplicatia 2
Ajustarea Optima a Volumului Fortei de Munca......................................................43
1.6.2.1. Cadrul General...............................................................................................43
1.6.2.2. Ecuatia lui Euler........................................................................................44
1.6.2.3. Varianta Patratica a Modelului......................................................................46
1.6.2.4. Asupra Stabilitatii si Echilibrului Evolutiei
Volumului Optimal al Fortei de Munca.......................................................47


4
Capitolul 2
Tehnici de Control Optimal

2.1. Problema de Conducere Optimala in Timp Continuu..............................................................51
2.2. Formularea Principiului de Maxim al lui Pontryagin...............................................................53
2.3. Interpretarea Economica a Principiului lui Pontryagin............................................................54
2.4. Algoritmi pentru Determinarea Politicii Optimale in Conditiile Restrictiilor Momentane.....55
2.5. Algoritmi pentru Determinarea Politicii Optimale in Prezenta Restrictiilor Integrale.
Extensia Principiului Pontryagin .............................................................................................57
2.6. Conditii de Transversalitate in Problemele de Control Optimal..............................................60
2.6.1. Problema de Control Optimal cu Moment Final T Variabil ....................................60
2.6.2. Problema de Control Optimal cu Moment Final T Variabil si
Stare Finala Anticipata..............................................................................................61
2.6.3. Problema de Control Optimal cu Moment Final T Variabil si
Stare Finala Variabila Restrictionata unei Curbe......................................................61
2.6.4. Problema de Control Optimal cu Moment Final T Fixat si
Stare Finala Variabila Supusa la Restrictii de Marginire..........................................62
2.6.5. Problema de Control Optimal cu Stare Finala Anticipata si
Moment Final T Marginit.........................................................................................63
2.6.6. Conditii de Transversaliate pentru
Problema de Control Optimal pe Orizont de Timp Infinit........................................63
2.7. Conditii Suficiente de Control Optimal....................................................................................64
2.7.1. Teorema de Suficienta a lui Mangasarian.................................................................65
2.7.2. Teorema de Suficienta a lui Arrow............................................................................65
2.8. Aplicatie
O Varianta a Modelului Ramsey de Crestere Economica: Modelul lui Cass...........................66
2.8.1. Cadrul General al Modelului.....................................................................................66
2.8.2. Conditii Necesare de Optim de Ordinul I:
Principiul de Maxim al lui Pontryagin......................................................................68
2.8.3. Analiza in Spatiul Fazelor.........................................................................................69

Capitolul 3
Tehnici de Control Optimal Stochastic
3.1. Principiul lui Pontryagin. Cazul Stochastic..............................................................................75
3.1.1. Consideratii Generale................................................................................................75
3.1.2. Enuntul Principiului lui Pontryagin. Cazul Stochastic..............................................76
3.1.3. Problema de Maximizare Stochastica a
Utilitatii pe Toata Durata de Viata (Life-Time Utility)- cazul continuu..............80
3.1.4. Problema de Maximizare Stochastica a
Utilitatii pe Toata Durata de Viata(Life-Time Utility)- cazul discret....................82
3.2. Tehnici de Programare Stochastica Liniar-Patratica................................................................87
3.2.1. Formularea Matematica a
Problemei de Control Optimal Stochastic (PCOS-LP)..............................................87
3.2.2. Determinarea Controlului Optimal de Tip Feed-Back in PCOS-LP.........................90
3.3. Un Exemplu de Model Stochastic pe Piata Financiara:
Modelul Black-Merton-Scholes...............................................................................................93

5
Capitolul 4
Tehnici de Programare Dinamica Determinista

4.1. Consideratii Generale............................................................................................................101
4.2. Metoda Programarii Dinamice..............................................................................................102
4.3. Aplicatie: Modelarea Dinamica a Proceselor de Productie-Stocare......................................104



Capitolul 5
Tehnici de Programare Dinamica Stochastica

5.1 Cadrul General.......................................................................................................................109
5.2. Forma Generala a Problemei de Programare Dinamica Stochastica.
Ecuatia lui Bellman...............................................................................................................110
5.3. Aplicatie: Un model de alocare stochastica a resurselor ......................................................113
5.4. Problema de Programare Dinamica Stochastica in Timp Discret (PCOS-TD).....................115
5.4.1. Formularea Matematica a Problemei..........................................................115
5.4.2. Algoritm de Ordinul 1 pentru
Determinarea Strategiei Optime de Control Stochastic in Timp Discret...118
5.5. Algoritm de Ordinul 2 pentru Determinarea
Functiei de Control Optimal in PCOS-TD............................................................................124
5.6. Problema de Control Optimal Stochastic in Timp Continuu (PCOS-TC)............................128
5.6.1. Formularea Matematica a Problemei.....................................................................128
5.6.2. Regula de Adunare.................................................................................................131
5.6.2.1. O Problema de Optimizare Stochastica Particulara...................................131
5.6.2.2. Cazul general.................................................................................136
5.7. Algoritm de Ordinul 2 pentru Determinarea
Functiei de Control Optimal de Tip Feed-Back in PCOS-TC...............................................139

Capitolul 6
Concluzii Finale .143



Anexa 1........................................................................................................................................150
Anexa 2........................................................................................................................................156

Bibliografie170








6
Cuvinte Cheie

Calcul variational, control optimal, control optimal stochastic, programare dinamica
determinista, programare dinamica stochastica, Formalismul Euler-Lagrange, Principiul lui
Pontryagin
Problema de control optimal, problema de conducere optimala in timp discret, problema de
conducere optimala in timp continuu, politica optimala, restrictii momentane, restrictii integrale,
conditii de transversalitate, problema de control optimal stochastic, programare stochastica liniar-
patratica, Modelul Black-Merton-Scholes, problema de programare dinamica stochastica in timp
discret, problema de programare dinamica stochastica in timp continuu




Rezumatul capitolelor Tezei de Doctorat

Aceasta Teza de Doctorat este rezultatul documentarii, cercetarilor si experientei
acumulate ca urmare a activitatilor specifice desfasurate incepand cu noiembrie 2000 si
accentuate in principal dupa 2003.
In ultimele decenii, s-a conturat din ce in ce mai mult tendinta utilizarii modelelor de tip
matematic in conducerea si organizarea moderna a activitatii economice, modele care au
capacitatea de a concentra riguros esentialul si de asemenea au posibilitatea de a fi programate cu
ajutorul computerelor, alcatuind impreuna un instrument de investigatie stiintifica.
Decizia constituie un act de conducere de o deosebita importanta care stabileste modul
si/sau calea pe care se angajeaza resursele umane si materiale pentru indeplinirea sarcinilor
prezente si pentru dezvoltarile lor in viitor, precum si pentru depasirea unor dificultati sau
inlaturarea unor deficiente care apar pe parcursul desfasurarii unor activitati. Practica luarii
deciziilor optime in cadrul unui sistem economic a demonstrat ca realizarea unor indicatori
calitativi si cantitativi ridicati este conditionata in mare parte de activitatea decizionala pe care
factorii de conducere o desfasoara la diferite nivele. Elaborarea deciziilor stiintifice nu se poate
concepe fara utilizarea calculului operational si a teoriei deciziilor. Calculul operational conduce
in multe cazuri la variante, iar teoria deciziei este aceea care stabileste regulile de urmat pentru
alegerea variantei care va fi aplicata.

In aceasta lucrare sunt prezentate tehnicile fundamentale ale Teoriei Calculului
Variational, Teoriei Controlului Optimal si Programarii Dinamice in caz determinist si stochastic,
pe orizont de timp discret si continuu aplicabile in procesul de optimizare a dinamicii celor mai
des intalnite sisteme economice.


In primul capitol Tehnici de Calcul Variational au fost definite conceptele clasice si
principiile fundamentale ale calculului variational.
In scopul analizei sistemelor economice pe un orizont de timp relativ scurt,
comportamentul sistemelor economice reflecta reactia acestora la diversele valori ale fluxurilor de
decizie, precum si la modificarile interne concretizate in modificarea structurii lor.

7
Comportamentul intern al unui sistem economic este descris prin intermediul ecuatiei de
dinamica, parte esentiala a problemei de calcul variational asociate. Expresia matematica a
functiei de comportament intern este dependenta de modelul cibernetico-economic concret al
procesului/sistemului economic analizat.
In acest capitol este prezentata forma fundamentala a problemei de calcul variational
definita de o functionala obiectiv de tip integral pe multimea tuturor curbelor parametrizate de
clasa ( ) I C
1
, de ecuatia de dinamica si de conditiile la limita initiala si finala.
Tehnicile de Calculul Variational sunt utilizate atat in studiul extremelor functionalelor
integrale cat si in determinarea efectiva a acestora pentru functionale integrale concrete.
Rezolvarea unei probleme de optimizare de forma descrisa mai sus prin tehnici ale calculului
variational presupune alegerea traiectoriei de evolutie a sistemului dinamic din multimea de
traiectorii admisibile care sa garanteze obtinerea valorii optime a functionalei obiectiv de tip
integral.
Teoremele prezentate in acest capitol arata ca extremalele functionalei obiectiv se afla
printre functiile R I x : de clasa [ ] ( ) T C , 0
1
solutii ale unei ecuatiei diferentiale numite ecuatia
lui Euler. Aceasta ecuatie reprezinta conditia necesara de optim de ordinul I asociata problemei de
calcul variational considerate.
Am avut in vedere descrierea variantelor extinse ale conditiei necesare de optim, cu
observatia imediata ca aceste extensii ale Ecuatiei lui Euler se pot obtine in cazul in care functia
integrant ce defineste functionala obiectiv admite derivate partiale continue de ordinul 2 pe
domeniul de definitie.
Intr-o problema de calcul variational, functionala obiectiv apare intr-o forma generala,
dependenta fiind de momentul de timp, de starea sistemului si de viteza de variatie a starii la
momentul de timp apartinand orizontului de timp fixat. In unele probleme de optimizare care
modeleaza matematic fenomene economice, este posibil ca functia integrant sa nu depinda
explicit de toate cele trei argumente ale sale. Pentru astfel de cazuri particulare se pot obtine
adesea, dar nu intotdeauna, variante particulare ale Ecuatiei lui Euler usor de rezolvat.
In plus, Capitolul 1 trateaz pe larg:
variantele extinse ale Ecuatiei lui Euler la spatiul
n
R
,
generalizarile Ecuatiei lui Euler la cazul in care modelul matematic face apel la mai multe
variabile pentru descrierea starii sistemului,
formele particulare ale Ecuatiei lui Euler cel mai des intalnite in problemele de optimizare
dinamica asociate modelelor cibernetico-economice.
Exemplificam aici urmatoarele situatii:
- cazul in care functia integrant depinde de derivatele de ordin superior ale variabilei
de stare asociate sistemului. Conditia necesara de ordinul I impusa pentru
determinarea solutiei optime a problemei de caclul variational se numeste Ecuatia
Euler-Poisson si este o generalizare a Ecuatiei lui Euler
- cazul in care conditiile la limita ale problemei de calcul variational sunt date
(fixate) si, mai mult, restrictiile problemei sunt de tip integral.
Rezolvarea unei probleme de optimizare cu aceste caracteristici presupune constructia
unei curbe care sa satisfaca atat restrictia de tip integral (definita de o functionala I
G
), cat si
conditiile la limita, astfel incat functionala obiectiv J
F
sa-si atinga valoarea optima in raport cu
criteriul de optimalitate ales (curba extremala pentru functionala obiectiv J
F
conditionata de
functionala I
G
).

8
Conditia necesara de ordinul I pentru existenta curbei extremale conditionate a problemei
de calcul variational descrisa mai sus se numeste Ecuatia Euler-Lagrange. Determinarea formei
functionale a acesteia presupune utilizarea functionalei Lagrange si a metodei multiplicatorilor lui
Lagrange.
In finalul Capitolului 1 am avut in vedere detalierea modului in care tehnicile de calcul
variational pot si adaptate rezolvarii problemelor de conducere optimala.
Calculul variational are o serie de extinderi care au devenit capitole de sine statatoare.
dintre acestea pot fi enumerate urmatoarele: Teoria Controlului Optimal, Programarea Dinamica,
Teoria si Practica Metodelor Variationale, etc..
Problema descrierii evolutiei diverselor sisteme dinamice impune considerarea controlului
unor astfel de evolutii si determinarea intrarilor care cauzeaza stari si iesiri cu comportament
apriori stabilit.
Teoria matematica a Calculului Variational este aplicata in rezolvarea problemelor de
optimizare a evolutiei sistemelor dinamice continue, probleme care presupun determinarea
strategiei de conducere optime in raport cu obiectivele fixate, sub conditionarile date de resursele
disponibile in fiecare moment de timp si de cele normativ-legislative. Teoremele prezentate in
acest capitol accentueaza similitudinea Formalismului Euler-Lagrange cu Principiul lui
Pontryagin.
In finalul Capitolului 1 am tinut sa detaliez doua aplicatii economice importante ale
Tehnicilor de Calcul Variational. Acestea sunt:
- Optimizarea Dinamica a Functiei Profit pentru o Firma de Monopol.
- Ajustarea Optima a Volumului Fortei de Munca.
Una dintre cel mai recente aplicatii ale calculului variational in studiul evolutiei sistemelor
economice este modelul clasic al lui Evans asupra optimizarii functiei profit a unei firme de
monopol. Obiectivul firmei de monopol il constituie determinarea unei curbe a pretului P care sa
maximizeze functionala profit total pe parcursul unei perioade de timp finite apriori fixate
[0,T]. Cu alte cuvinte, acest obiectiv se concretizeaza in determinarea traiectoriei optime a
pretului bunului considerat in conditiile precizate de oproblema de calcul variational.
In articolul Labor Demand and the Structure of Adjustment Costs publicat 1989 in
American Economic Review, D.S.Hamermesh descrie un model pentru ajustarea dinamica a
volumului fortei de munca pentru o companie. In acest model se considera ca o firma a decis sa
mareasca volumul de forta de munca de la un nivel initial cunoscut L
0
la un nivel nedeterminat

L
T

. Ajustarea fortei de munca presupune un cost care se presupune ca variaza in raport cu rata
modificare a fortei de munca. In aceste conditii, firma trebuie sa decida atat asupra vitezei de
ajustare optima a muncii, cat si asupra valorii optime a nivelului L
T
.
Firma urmareste maximizarea profitului total net de-a lungul unui orizont de timp finit
neanticipat [0,T], in conditiile variatiei volumului fortei de munca. Pentru problema de calcul
variational asociata acestui model dinamic numai conditia initiala este prestabilita, atat momentul
de timp final

T cat si valoarea optima finala a fortei de munca ( )

T L fiind variabile.
Determinarea solutiilor optime ale problemelor de optimizare descrise mai sus face apel la
tehnicile de calcul variational si implicit la ecuatia lui Euler, la extensiile si generalizarile
acesteia, urmand ca discutia finala sa se axeze in principal asupra analizei echilibrului si
stabilitatii evolutiei pretului in contextul descris de prima aplicatie, si respectiv a volumului
optimal al fortei de munca in contextul descris de cea de a doua aplicatie.


9
In Capitolul 2 Tehnici de Control Optimal am prezentat conceptele teoretice recente
care vizeaza controlul optimal determinist in timp continuu si discret. Problema de conducere
optimala a sistemelor dinamice in timp continuu, pentru orice tip de proces, sistem micro sau
macroeconomic este o problema de optimizare cu o singura variabila de stare x si cu o singura
variabila de control u, ambele fiind functii de timp, evident. Variabila de control u este un
instrument tactic care permite stabilirea unei legaturi intre variabila de stare si variabila de iesire.
Orice alegere a traiectoriei variabilei de control ( ) t u va avea ca efect asocierea unei traiectorii de
stare ( ) t x .
Cel mai important rezultat al teoriei controlului optimal,- o conditie necesara de ordinul I,-
este Principiul lui Pontryagin. Acest principiu a fost enuntat de catre matematicianul rus L.S.
Pontryagin si de catre colaboratorii sai, primind Premiul Lenin pentru Stiinta si Tehnologie in
anul 1962. Referiri la acest important principiu, precum si o serie de procese economice modelate
matematic prin probleme de optimizare dinamica cu rezolvari prin metodologia controlului
optimal, au fost pe larg detaliate in lucrarea sa Teoria Matematica a Proceselor Optimale
aparuta in anul 1962. Tehnicile teoriei controlului optimal au fost fundamentate independent de
Pontryagin si de catre Magnus Hestenes, un matematician de la University of California. Mai
tarziu, acesta a extins rezultatele obtinute de Pontryagin.
Conditia fundamentala a teoriei controlului optimal data de Principiul de Maxim al lui
Pontryagin este in general o conditie necesara pentru optimizarea proceselor dinamice ale caror
stari initiala si finala sunt apriori stabilite. Cele doua conditii la limita ale modelului matematic
furnizeaza suficiente informatii pentru a putea determina traiectoria optima a variabilei de decizie,
facand mai departe posibila cunoasterea si analiza traiectoriei optime a starii sistemului. In caz
contrar, sunt posibile urmatoarele situatii:
problema de control optimal cu moment final variabil.
problema de control optimal cu moment final variabil si stare finala anticipata
problema de control optimal cu moment final variabil si stare finala variabila restrictionata
unei curbe
problema de control optimal cu moment final fixat si stare finala variabila supusa la restrictii
de marginire
problema de control optimal cu stare finala anticipata si moment final marginit
conditii de transversaliate pentru problema de control optimal pe orizont de timp infinit

In literatura de specialitate cele mai multe aplicatii apar in fundamentarea strategiilor de
crestere economica. In lucrarea Mathematical Systems Theory and Economics, vol.1 (Springer-
Verlag, New York, 1969), H.W.Kuhn si G.P. Szego au inserat sub titlul Application of
Pontryagins Maximum Principle to Economics un rezultat al lui Karl Shell legat in principal de
inaplicabilitatea conditiilor de transversalitate in cazul problemei de maximizare a integralei
functiei de consum per-capita c(t) pe un orizont de timp infinit. Modelul de optimizare dinamica
propune maximizarea valorii totale actuale a functiei utilitate pe intregul orizont infinit de timp,
functie ponderata la fiecare moment de timp cu volumul curent al fortei de munca (aceasta
datorita faptului ca s-a presupus ca forta de munca creste in timp la o rata data de constanta
exogena n ).


10
In Capitolul 3 intitulat Tehnici de Control Optimal Stochastic sunt prezentate
contributiile recente ale lui Peng (1990), Zoung si Yhou (1999) ce permit obtinerea principiului
general de maxim, analogul principiului lui Pontryagin, in calculul stochastic It.
In situatia in care dinamica unui sistem este supusa unor perturbatii sau variatii ale unor
parametrii ale caror valori nu pot fi cunoscute in timp, nu poate fi pusa problema optimizarii unei
functii obiectiv pe orizontul de timp stabilit. Insa, in situatia in care sunt cunoscute repartitiile
probabilistice ale acestor parametrii incerti, se urmareste optimizarea valorii medii a functiei
obiectiv pe orizontul de timp. O data cu evolutia in timp a sistemului, aspectele incerte ale
parametrilor devin certe. Nu poate fi luata in consideratie o strategie de control de tip open-loop
pentru variatiile actuale. Exista unele limitari ale acestei tehnici:
este o tehnica restrictionata la existenta unui control de tipul unui proces Markovian cu
traiectorie continua (care poate fi reprezentat ca proces It);
este necesara cunoasterea evolutiei sistemului anterioare momentului curent;
din punct de vedere tehnic, principiul poate fi aplicat numai problemelor de control optimal
stochastic pe un orizont de timp finit; in cazul problemelor cu orizont de timp infinit, se poate
dovedi insa exitenta solutiei si corect definirea valorii optime a functiei obiectiv;
tehnica impusa de aceasta extensie a principiului de maxim permite caracterizarea solutiei
modelului in functie de o pereche de ecuatii diferentiale stochastice backward-forward care nu
pot fi rezolvate explicit; acest fapt limiteaza utilitatea principiului in rezolvarea problemelor
de control optimal stochastic cu aplicatii in domenii ale ingineriei.
Desi aceste restrictii pot limita utilitatea aplicabilitatii, principiul general de maxim se
dovedeste a fi o modalitatea eleganta si eficienta a modelarii dinamicii sistemelor in conditii de
incertitudine. Mai mult, principiu general de maxim al lui Pontryagin (cazul stochastic) permite
interpretari economice clare si identificari econometrice ale variabilelor, face posibila obtinerea
expresiilor exacte ale traiectoriilor variabilelor si caracterizarea comportamentului acestora atat la
perturbatiile anticipate cat si neanticipate.

In 2001 Lich-Tyler publica lucrarea Life-cycle labor supply under uncertainty in care
prezinta un model general de optimizare a utilitatii pe parcursul duratei de viata a unui
consumator, in conditiile unor fluctuatii ciclice incerte. Totodata se pune in evidenta modul in
care prezenta fluctuatiilor incerte afecteaza comportamentul consumatorului. Completari ale
acestor consideratii sunt aduse in lucrarea A full characterization of consumption dynamics
under uncertainty publicata de catre Lich-Tyler in 2002. Accentul se pune aici atat pe influenta
variatiilor asteptate (prognozate) cat si pe impactul variatiilor neastepate asupra functiei de
consum.
Incertitudinile legate de cele mai variate aspecte ale vietii cotidiene, cum ar fi spre
exemplu veniturile datorate investitiilor in capitalul fizic sau uman, marimea taxelor si momentul
scadentei lor, aspecte viitoare ale carierei profesionale, etc., influenteaza intr-o maniera sau alta
comportamentul individului la un moment dat.
Pentru studiul acestui tip de comportament a fost introdus un model asociat ciclului de
viata, model care incorporeaza fluctuatiile comportamentale. Haussmann (1986) enunta opt
probleme de control optimal stochastic, majoritatea insa fiind modele matematice ale unor
fenomene fizice cu perturbatii aleatoare.
Economistii si-au concentrat atentia asupra catorva clase speciale dintre acestea, cu
precadere asupra modelului LQG (Linear Quadratic Gaussian Model). Acesta include o functie
obiectiv patratica, restrictii liniare si perturbatii Gaussiene. Sistemul de ecuatii atasat problemei de

11
control optimal contine ecuatii diferentiale stochastice liniare de tip backward (BSDE). Acest
tip de ecuatii a fost introdus si studiat de catre J.M. Bismut in 1973 in Teza de Doctor Analyse
Convexe et Probabilites si in lucrarea An Introductory Approch to Duality in Stochastic
Control prezentata in SIAM Revue (1978). Ocazia a constituit-o rezolvarea ecuatiilor adjuncte
date de principiul de maxim aplicat problemelor de control optimal stochastic.
Tehnicile de rezolvare a sistemelor de ecuatii liniare stochastice (1) au fost ulterior extinse
la cazul neliniar de catre E. Pardoux si S.Peng in Adapted Solution of Backward Stochastic
Equation in 1990, si independent de acestia, de catre D.Duffie si L. Epstein in Stochastic
Differential Utility in 1992 . Problema de control formulata este o problema de control optimal
stochastic liniar-patratica. Rezolvarea analitica a acesteia impune utilizarea ecuatiei stochastice
Riccati. Tehnicile de programare stochastica liniar-patratica care stau la baza determinarii
solutiei problemei de control optimal au fost dezvoltate recent de catre S. Chen si X.Y. Zhou in
lucrarea Stochastic Linear Quadratic Regulators with Indefinite Control Weight Costs (SIAM
Journal, Control Optimization,1998).
In finalul Capitolului 3 am detaliat cu titlu de aplicatie a tehnicilor de contrtol optimal
stochastic un exemplu de model stochastic intalnit pe piata financiara si anume modelul Black-
Merton-Scholes.
In 1973 economistii englezi F. Black si M. Scholes au propus un model matematic care
permite
determinarea la orice moment de timp a pretului unei optiuni de tip call-european asupra unei
unitati dintr-un activ financiar fara dividende,
stabilirea unei strategii optimale de gestiune a portofoliului de active care sa permita
vanzatorului eliminarea completa a riscului.
Acesta a devenit modelul de evaluare cel mai cunoscut si larg utilizat in managementul
financiar modern. Asa cum am precizat, este destinat evaluarii optiunilor europene asupra
actiunilor care nu platesc dividende.
Modelul Black-Merton-Scholes este un model in timp continuu, cu analiza pe orizontul de
timp fixat
[ ] 0,T , unde 0 este momentul in care are loc semnarea contractului si plata primei
optiuni, iar T este mometul la care optiunea va fi exercitata. Fundamentul modelului il reprezinta
crearea si gestiunea unui portofoliu fara risc, cu ajutorul caruia investitorul obtine ca profit rata
dobanzii aferenta unui credit fara risc.

Capitolul 4 intitulat Tehnici de Programare Dinamica Determinista detaliaza cele mai
importante rezultate ale programarii dinamice. Acestea au fost prezentate pe larg de catre R.E.
Bellman in lucrarile sale ''Dynamic Programming'' (1957), ''Adaptive Control Processes'' (1961),
''Introduction to the Mathematical Theory of Control Processes'' (1967), ''Applied Dynamic
Programming'' (1962), exemplificand pe un numar mare de tipuri si structuri matematice ale
problemelor carora li se poate aplica Principiul de Optimalitate. Abordarile lui R.E.Bellman sunt
insa euristice si lasa la latitudinea celui care se foloseste de tehnicile programarii dinamice
rezolvarile de detaliu ale problemelor. Acest lucru necesita un inalt nivel de cunostinte
matematice si de informatii apartinand domeniului in care se aplica modelul de programare
dinamica.
Programarea dinamica este o abordare particulara a problemelor de optimizare in care
exista un numar considerabil de variabile de decizie si in care functia obiectiv si functiile care
definesc restrictiile problemei pot avea diverse forme si proprietati.

12
Programarea dinamica nu este un algoritm, asa cum de exemplu algoritmul simplex al lui
Dantzing este o multime bine definita de reguli pentru rezolvarea unei probleme de programare
liniara. Programarea dinamica este un mod de a determina solutia unui anumit tip de probleme de
optimizare. O astfel de problema poate sa contina un numar mare de variabile de decizie
intercorelate, astfel ca problema de optimizare sa poata fi privita ca o secventa de probleme,
fiecare dintre acestea presupunand determinarea uneia sau a mai multor variabile.
Nu este insa posibil sa dam o descriere completa si ''exacta'' a caracteristicilor pe care ar
trebui sa le aiba intotdeauna structura matematica a problemei pentru ca aceata sa poata fi
rezolvata prin tehnicile de calcul ale programarii dinamice.
Prin programarea dinamica se urmareste inlocuirea rezolvarii unei probleme de optimizare
in n variabile prin n probleme de optimizare intr-o singura variabila. Atunci cand aceasta abordare
a problemei este posibila, de obicei este necesar un efort mare de calcul.
Rezolvarea a n probleme de dimensiune 1 presupune un efort de calcul proportional cu n,
numarul problemelor intr-o singura variabila. Pe de alta parte, rezolvarea unei singure probleme
cu n variabile presupune de obicei un efort de calcul proportional cu
n
a .
Principiul care permite transformarea unei probleme de optimizare n-dimensionale in n
probleme de optimizare 1-dimensionale este cunoscut sub numele de Principiul de Optimalitate.
A fost initial enuntat de R.E. Bellman in ''Dynamic Programming'' (1954) si este un
fundament intuitiv. Justicarea data de Bellman consta intr-o simpla declaratie: ''O demonstratie
prin reducere la absurd este evidenta''.
Principiul de Optimalitate al lui Bellman este enuntat in lucrarea de fata in mai multe
variante. Una dintre acestea este urmatoarea:
O politica optimala are proprietatea ca, oricare ar fi starea initiala si decizia initiala,
deciziile ulterioare trebuie sa constituie o politica optimala pentru un proces decizional in n-1
faze, in raport cu starea rezultata ca urmare a alegerii deciziei initiale.
Am evidentiat in cadrul acestui capitol faptul ca pentru ca principiul de optimalitate sa
poata fi aplicat, problema de optimizare trebuie sa satisfaca doua conditii:
separabilitatea functiei obiectiv (functie obiectiv decompozabila)
separabilitatea starilor (proprietatea Markoviana).

In lucrarea Composition Principles for Synthesis of Optimal Multi-Stage Processes''
(1964) este prezentata o conditie suficienta pentru ca determinarea solutiei unui proces multifazic
sa se poata face prin intermediul programarii dinamice, o conditie suficienta de aplicabilitate a
pricipiului de optimalitate Bellman.
Conditii similare asupra monotoniei functiilor obiectiv ale fazelor astfel incat procesul
secvential de decizie sa poata fi tratat prin tehnicile programarii dinamice au fost date de E.V.
Denardo si L.G. Mitten in ''Elements of Sequential Decision Processes'' (1966) , R.M. Karp si
M.Held in ''Finit State Processes and Dynamic Programming'' (1967) si de S.E. Elmaghraby in
''The Concept of States in Discret Dynamic Programming'' (1970). Accentuam faptul ca acestea
sunt conditii suficiente, nu si necesare pentru aplicabilitatea Principiului de Optimalitate Bellman.







13
Extensii ale Principiului de Optimalitate Bellman sunt detaliate in Capitolul 5 al Tezei,
capitol intitulat Tehnici de Programare Dinamica Stochastica. Tehnicile programarii dinamice
sunt utilizate in rezolvarea problemelor de optimizare ale agentilor economicii care vizeaza decizii
dependente de un numar relativ mic de variabile numite variabile de stare. Altfel spus, algoritmii
programarii dinamice pot fi aplicati atunci cand un numar redus de variabile de stare sunt
suficiente din punct de vedere probabilistic pentru a putea previziona decizii viitoare. In
majoritatea aplicatiilor economice este mult mai realist sa consideram aspectul incert al
variabilelor de stare. Modelele prezentate in acest capitol sub aspectul atat al formei fundamentale
a problemei de optimizare dinamica cat si al modului de determinare a solutiei optimale, au in
vedere evolutia in timp a variabilelor de stare cu un aspect particular in ceea ce priveste
incertitudinea.
Rezultatele obtinute ca si tehnici de programare dinamica stochastica au fost aplicate in
rezolvarea efectiva a unui model de alocare stochastica a resurselor ale unui agent economic.
Deciziile agentului se axeaza evident pe evidentierea partilor din productia curenta destinate
consumului propriu si unei noi lansari a productiei.
Paragraful al patrulea al Capitolului 5 detaliaza problema de programare dinamica
stochastica in timp discret. Atunci cand dinamica unui sistem este influentata de perturbatii sau de
variatii ale parametrilor care nu pot fi precizate de-a lungul orizontului de timp fixat, functia cost
determinista nu poate fi minimizata. Insa, se are in vedere minimizarea valorii medii a acestei
functii, in situatia in care este cunoscuta repartitia probabilistica a acestei influente incerte. Pe
parcursul timpului aceste incertitudini devin certitudini. De aceea dinamica sistemului nu poate fi
afectata de o strategie de control de tip bula-deschisa (open-loop control strategy), ci mai de graba
de un control de tip bucla-inchisa (a closed-loop control strategy, i.e. "feedback").
In acest paragraf sunt prezentati algoritmi pentru determinarea politicii de control optimal,
a traiectoriei implicite a unui sistem asupra caruia se aplica perturbatii aleatoare discrete, in
conditiile satisfacerii criteriului de optimizare. Abordarea unor astfel de probleme are in vedere
aplicarea tehnicilor de programare dinamica la fiecare moment de timp al orizontului planificat, in
functie de valorile probabile ale perturbatiilor.
Mai mult, in cadrul acestui capitol am avut in vedere prezentarea unui algoritm de ordinul
2 pentru determinarea functiei de control optimal in problema de control optimal stochastic in
timp discret. Importanta acestui algoritm consta in faptul ca permite determinarea politicii optime
de control si a traiectoriei optime a sistemului, imbunatatind la fiecare pas traiectoria curenta a
sistemului. Formularea matematica a problemei de control optimal stochastic in timp continuu
precum si determinarea strategiilor optime de control au fost evidentiate in paragraful al saselea al
Tezei. Am avut in vedere faptul ca in modelele matematice uzuale dinamica unui sistem in timp
continuu supus unor perturbatii stochastice este descrisa de o ecuatie diferentiala care are in
componenta un proces perturbator Wiener (proces care poate fi interpretat ca integrala in raport cu
timpul a zgomotului alb). Intrucat perturbatia sistemului este un proces Markov, starea sistemului
la un momentul de timp t arbitrar este determinata de perturbatia W
t
si de pozitia x
t
a sistemului
pe traiectorie. Controlul optimal de tip feed-back u este o functie de (x
t
,W
t
).
In cazul unui sistem stochastic in timp continuu a carei dinamica este descrisa de o ecuatie
de tipul celei descrise mai sus, criteriul de optimizare il constituie minimizarea sau maximizarea
valorii medii conditionate de starea initiala a sistemului a unei functionale obiectiv de tip integral.
Pentru determinarea solutiei optime a problemei de control optimal stochastic se face apel la
regula de adunare, regula a carei detaliere constituie obiectului unui intreg paragraf din acest
capitol.

14

Capitolul 6 al lucrarii prezinta concluziile finale ale documentarilor teoretice si practice
care au facut posibila intocmirea prezentei Teze. Toate aceste concluzii pot fi sintetizate in ideea
ca rezultatele teoretice prezentate ca algoritmi deterministi si stochastici utilizati in scopul
optimizarii dinamicii sistemelor pot fi cu usurinta aplicate in studiile celor mai complexe procese
economice asupra evolutiilor dinamice a indicatorilor economici.
Conceptele fundamentale si tehnicile de optimizare dinamica deterministe si stochastice se
dovedesc a fi instrumente eficiente si eficace in conducerea optimala, bazate fiind pe un suport
tehnic complex si avansat, metode, tehnici, algoritmi, proceduri de calcul, toate clasificate ca
importante resurse stiintifice.

Acest suport, dat de cele mai recente tehnici de calcul variational, de programare dinamica
si stochastica, de tehnici de control optimal a fost prezentat in cadrul acestei Teze intr-o maniera
structurata pe 5 capitole si 2 anexe, cu referiri bibliografice la o lista de 118 de publicatii.