UNIVERSITATEA POLITEHNICA BUCURESTI

FACULTATEA I.M.S.T.
SPECIALIZAREA I.M.P.S.C

ELEMENTE DE CONTROL OPTIMAL

Coordonator: Prof. Dr. Ing. IONEL TEVY

Masterand: Bratila Paula
AN 1, I.M.P.S.C

2011

In ultimele decenii, s-a conturat din ce in ce mai mult tendina utilizrii modelelor de tip
matematic in conducerea si organizarea moderna a activitii economice, modele care au
capacitatea de a concentra riguros esenialul si de asemenea au posibilitatea de a fi programate
cu ajutorul computerelor, alctuind mpreuna un instrument de investigaie tiinifica.
Decizia constituie un act de conducere de o deosebita importanta care stabilete modul
si/sau calea pe care se angajeaz resursele umane si materiale pentru ndeplinirea sarcinilor
prezente si pentru dezvoltrile lor in viitor, precum si pentru depirea unor dificulti sau
nlturarea unor deficiente care apar pe parcursul desfurrii unor activiti. Practica lurii
deciziilor optime in cadrul unui sistem economic a demonstrat ca realizarea unor indicatori
calitativi si cantitativi ridicai este condiionata in mare parte de activitatea decizionala pe care
factorii de conducere o desfoar la diferite nivele. Elaborarea deciziilor tiinifice nu se poate
concepe fara utilizarea calculului operaional si a teoriei deciziilor. Calculul operaional conduce
in multe cazuri la variante, iar teoria deciziei este aceea care stabilete regulile de urmat pentru
alegerea variantei care va fi aplicata.
In aceast referat sunt prezentate tehnicile fundamentale ale Teoriei Calculului Variational,
Teoriei Controlului Optimal si Programrii Dinamice in caz determinist si stochastic, pe orizont
de timp discret si continuu aplicabile in procesul de optimizare a dinamicii celor mai des
ntlnite sisteme economice.
In primul capitol Tehnici de Calcul Variational au fost definite conceptele clasice si
principiile fundamentale ale calculului variational.
In scopul analizei sistemelor economice pe un orizont de timp relativ scurt,
comportamentul sistemelor economice reflecta reacia acestora la diversele valori ale fluxurilor
de decizie, precum si la modificrile interne concretizate in modificarea structurii
lor.
Comportamentul intern al unui sistem economic este descris prin intermediul ecuaiei de
dinamica, parte eseniala a problemei de calcul variational asociate. Expresia matematica a
funciei de comportament intern este dependenta de modelul cibernetico-economic concret al
procesului/sistemului economic analizat.

In acest capitol este prezentata forma fundamentala a problemei de calcul variational

definita de o funcionala obiectiv de tip integral pe mulimea tuturor curbelor parametrizate de
clasa C1(I), de ecuaia de dinamica si de condiiile la limita iniiala si finala.
Tehnicile de Calculul Variational sunt utilizate att in studiul extremelor funcionalelor
integrale cat si in determinarea efectiva a acestora pentru funcionale integrale concrete.
Rezolvarea unei probleme de optimizare de forma descrisa mai sus prin tehnici ale calculului
variational presupune alegerea traiectoriei de evoluie a sistemului dinamic din mulimea de
traiectorii admisibile care sa garanteze obinerea valorii optime a funcionalei obiectiv de tip
integral.
Teoremele prezentate in acest capitol arata ca extremalele funcionalei obiectiv se afla
printre funciile x : I R de clasa C1([O, T]) soluii ale unei ecuaiei difereniale numite Ecuatia
lui Euler. Aceasta ecuaie reprezint condiia necesara de optim de ordinul I asociata problemei
de calcul variational considerate.
Am avut in vedere descrierea variantelor extinse ale condiiei necesare de optim, cu
observaia imediata ca aceste extensii ale Ecuaiei lui Euler se pot obine in cazul in care
funcia integrant ce definete funcionala obiectiv admite derivate pariale continue de ordinul 2
pe domeniul de definiie.
Intr-o problema de calcul variational, funcionala obiectiv apare intr-o forma generala,
dependenta fiind de momentul de timp, de starea sistemului si de vireferat de variaie a strii la
momentul de timp aparinnd orizontului de timp fixat. In unele probleme de optimizare care
modeleaz matematic fenomene economice, este posibil ca funcia integrant sa nu depind
explicit de toate cele trei argumente ale sale. Pentru astfel de cazuri particulare se pot obine
adesea, dar nu ntotdeauna, variante particulare ale Ecuaiei lui Euler uor de rezolvat.
In plus, Capitolul 1 trateaz pe larg:
variantele extinse ale Ecuaiei lui Euler la spaiul Rn ,
generalizrile Ecuaiei lui Euler la cazul in care modelul matematic face apel la mai
multe variabile pentru descrierea strii sistemului,
formele particulare ale Ecuaiei lui Euler cel mai des ntlnite in problemele de
optimizare dinamica asociate modelelor cibernetico-economice.

Exemplificam aici urmtoarele situaii:

-

cazul in care funcia integrant depinde de derivatele de ordin superior ale variabilei de

stare asociate sistemului. Condiia necesara de ordinul I impusa pentru determinarea soluiei
optime a problemei de caclul variational se numete Ecuaia Euler-Poisson si este o
generalizare a Ecuaiei lui Euler
-

cazul in care condiiile la limita ale problemei de calcul variational sunt date (fixate)

si, mai mult, restriciile problemei sunt de tip integral. Rezolvarea unei probleme de optimizare
cu aceste caracteristici presupune construcia unei curbe care sa satisfac att restricia de tip
integral (definita de o funcionala I G), cat si condiiile la limita, astfel incat funcionala obiectiv
JFsa-si ating valoarea optima in raport cu criteriul de optimalitate ales {curba extremala pentru
funcionala obiectiv JF condiionata de funcionala I G).
Condiia necesara de ordinul I pentru existenta curbei extremale condiionate a problemei
de calcul variational descrisa mai sus se numete Ecuaia Euler-Lagrange. Determinarea formei
funcionale a acesteia presupune utilizarea funcionalei Lagrange si a metodei multiplicatorilor
lui Lagrange.
In finalul Capitolului 1 am avut in vedere detalierea modului in care tehnicile de calcul
variational pot si adaptate rezolvrii problemelor de conducere optimala.
Calculul variational are o serie de extinderi care au devenit capitole de sine stttoare.
dintre acestea pot fi enumerate urmtoarele: Teoria Controlului Optimal, Programarea
Dinamica, Teoria si Practica Metodelor Variationale, etc.
Problema descrierii evoluiei diverselor sisteme dinamice impune considerarea
controlului unor astfel de evoluii si determinarea intrrilor care cauzeaz stri si ieiri cu
comportament apriori stabilit.
Teoria matematica a Calculului Variational este aplicata in rezolvarea problemelor de
optimizare a evoluiei sistemelor dinamice continue, probleme care presupun determinarea
strategiei de conducere optime in raport cu obiectivele fixate, sub condiionrile date de
resursele disponibile in fiecare moment de timp si de cele normativ-legislative. Teoremele
prezentate in acest capitol accentueaz similitudinea Formalismului Euler-Lagrange cu
Principiul lui Pontryagin.
In finalul Capitolului 1 am inut sa detaliez doua aplicaii economice importante ale
Tehnicilor de Calcul Variational. Acestea sunt: Optimizarea Dinamica a Funciei Profit pentru o
Firma de Monopol. Ajustarea Optima a Volumului Forei de Munca.

Una dintre cel mai recente aplicaii ale calculului variational in studiul evoluiei
sistemelor economice este modelul clasic al lui Evans asupra optimizrii funciei profit a unei
firme de monopol. Obiectivul firmei de monopol ii constituie determinarea unei curbe a preului
P care sa maximizeze funcionala profit total n pe parcursul unei perioade de timp finite apriori
fixate [0,T]. Cu alte cuvinte, acest obiectiv se concretizeaz in determinarea traiectoriei optime a
preului bunului considerat in condiiile precizate de oproblema de calcul variational.
In articolul Labor Demand and the Structure of Adjustment Costs" publicat 1989 in
American Economic Review, D.S.Hamermesh descrie un model pentru ajustarea dinamica a
volumului forei de munca pentru o companie. In acest model se considera ca o firma a decis sa
mreasc volumul de fora de munca de la un nivel iniial cunoscut Lo la un nivel nedeterminat
LT . Ajustarea forei de munca presupune un cost care se presupune ca variaz in raport cu rata
modificare a forei de munca. In aceste condiii, firma trebuie sa decid att asupra vitezei de
ajustare optima a muncii, cat si asupra valorii optime a nivelului LT.
Firma urmrete maximizarea profitului total net de-a lungul unui orizont de timp finit
neanticipat [0,T], in condiiile variaiei volumului forei de munca. Pentru problema de calcul
variational asociata acestui model dinamic numai condiia iniiala este prestabilita, att
momentul de timp final T* cat si valoarea optima finala a forei de munca L(T*) fiind variabile.
Determinarea soluiilor optime ale problemelor de optimizare descrise mai sus face apel
la tehnicile de calcul variational si implicit la ecuaia lui Euler, la extensiile si generalizrile
acesteia, urmnd ca discuia finala sa se axeze in principal asupra analizei echilibrului si
stabilitii evoluiei preului in contextul descris de prima aplicaie, si respectiv a volumului
optimal al forei de munca in contextul descris de cea de a doua aplicaie.
In Capitolul 2 "Tehnici de Control Optimal" am prezentat conceptele teoretice recente
care vizeaz controlul optimal determinist in timp continuu si discret. Problema de conducere
optimala a sistemelor dinamice in timp continuu, pentru orice tip de proces, sistem micro sau
macroeconomic este o problema de optimizare cu o singura variabila de stare x si cu o singura
variabila de control w, ambele fiind funcii de timp, evident. Variabila de control u este un
instrument tactic care permite stabilirea unei legaturi intre variabila de stare si variabila de
ieire. Orice alegere a traiectoriei variabilei de control u(t) va avea ca efect asocierea unei
traiectorii de stare x(t).

Cel mai important rezultat al teoriei controlului optimal,- o condiie necesara de ordinul
I,-este Principiul lui Pontryagin. Acest principiu a fost enunat de ctre matematicianul rus L.S.
Pontryagin si de ctre colaboratorii sai, primind Premiul Lenin pentru tiina si Tehnologie in
anul 1962. Referiri la acest important principiu, precum si o serie de procese economice
modelate matematic prin probleme de optimizare dinamica cu rezolvri prin metodologia
controlului optimal, au fost pe larg detaliate in lucrarea sa Teoria Matematica a Proceselor
Optimale,, apruta in anul 1962. Tehnicile teoriei controlului optimal au fost fundamentate
independent de Pontryagin si de ctre Magnus Hestenes, un matematician de la University of
California. Mai trziu, acesta a extins rezultatele obinute de Pontryagin.
Condiia fundamentala a teoriei controlului optimal data de Principiul de Maxim al lui
Pontryagin este in general o condiie necesara pentru optimizarea proceselor dinamice ale cror
stri iniiala si finala sunt apriori stabilite. Cele doua condiii la limita ale modelului matematic
furnizeaz suficiente informaii pentru a putea determina traiectoria optima a variabilei de
decizie, facand mai departe posibila cunoaterea si analiza traiectoriei optime a strii sistemului.
In caz contrar, sunt posibile urmtoarele situaii:

problema de control optimal cu moment final variabil.

problema de control optimal cu moment final variabil si stare finala anticipata

problema de control optimal cu moment final variabil si stare finala variabila

restricionat unei curbe

problema de control optimal cu moment final fixat si stare finala variabila supusa la

restricii de mrginire

problema de control optimal cu stare finala anticipata si moment final mrginit

condiii de transversaliate pentru problema de control optimal pe orizont de timp infinit

In literatura de specialitate cele mai multe aplicaii apar in fundamentarea strategiilor de

cretere economica. In lucrarea ,J\athematical Systems Theory and Economics", vol.l (SpringerVerlag, New York, 1969), H.W.Kuhn si G.P. Szego au inserat sub titlul Application of
Pontryagin 's Maximum Principie to Economics" un rezultat al lui Karl Shell legat in principal de
inaplicabilitatea condiiilor de transversalitate in cazul problemei de maximizare a integralei
funciei de consum per-capita c(t) pe un orizont de timp infinit. Modelul de optimizare dinamica
propune maximizarea valorii totale actuale a funciei utilitate pe ntregul orizont infinit de timp,
funcie ponderata la fiecare moment de timp cu volumul curent al forei de munca (aceasta

datorita faptului ca s-a presupus ca fora de munca creste in timp la o rata data de constanta
exogena n). In Capitolul 3 intitulat Tehnici de Control Optimal Stochastic sunt prezentate
contribuiile recente ale lui Peng (1990), Zoung si Yhou (1999) ce permit obinerea principiului
general de maxim, analogul principiului lui Pontryagin, in calculul stochastic Ito.
In situaia in care dinamica unui sistem este supusa unor perturbaii sau variaii ale unor
parametrii ale cror valori nu pot fi cunoscute in timp, nu poate fi pusa problema optimizrii
unei funcii obiectiv pe orizontul de timp stabilit. Insa, in situaia in care sunt cunoscute
repartiiile probabilistice ale acestor parametrii inceri, se urmrete optimizarea valorii medii a
funciei obiectiv pe orizontul de timp. O data cu evoluia in timp a sistemului, aspectele incerte
ale parametrilor devin certe. Nu poate fi luata in consideraie o strategie de control de tip openloop pentru variaiile actuale. Exista unele limitri ale acestei tehnici:

este o tehnica restricionat la existenta unui control de tipul unui proces

Markovian cu traiectorie continua (care poate fi reprezentat ca proces Ito);

este necesara cunoaterea evoluiei sistemului anterioare momentului curent;

din punct de vedere tehnic, principiul poate fi aplicat numai problemelor de

control optimal stochastic pe un orizont de timp finit; in cazul problemelor cu orizont de timp
infinit, se poate dovedi insa exitenta soluiei si corect definirea valorii optime a funciei obiectiv;

tehnica impusa de aceasta extensie a principiului de maxim permite caracterizarea

soluiei modelului in funcie de o pereche de ecuaii difereniale stochastice backward-forward

care nu pot fi rezolvate explicit; acest fapt limiteaz utilitatea principiului in rezolvarea
problemelor de control optimal stochastic cu aplicaii in domenii ale ingineriei.
Dei aceste restricii pot limita utilitatea aplicabilitii, principiul general de maxim se
dovedete a fi o modalitatea eleganta si eficienta a modelrii dinamicii sistemelor in condiii de
incertitudine. Mai mult, principiu general de maxim al lui Pontryagin (cazul stochastic) permite
interpretri economice clare si identificri econometrice ale variabilelor, face posibila obinerea
expresiilor exacte ale traiectoriilor variabilelor si caracterizarea comportamentului acestora att
la perturbatiile anticipate cat si neanticipate.
In 2001 Lich-Tyler publica lucrarea Life-cycle labor supply under uncertainty" in care
prezint un model general de optimizare a utilitii pe parcursul duratei de viata a unui
consumator, in condiiile unor fluctuaii ciclice incerte. Totodat se pune in evidenta modul in
care prezenta fluctuaiilor incerte afecteaz comportamentul consumatorului. Completri ale

acestor consideraii sunt aduse in lucrarea A full characterization of consumption dynamics

under uncertainty" publicata de ctre Lich-Tyler in 2002. Accentul se pune aici att pe
influenta variaiilor ateptate (prognozate) cat si pe impactul variaiilor neastepate asupra funciei
de consum.
Incertitudinile legate de cele mai variate aspecte ale vieii cotidiene, cum ar fi spre
exemplu veniturile datorate investiiilor in capitalul fizic sau uman, mrimea taxelor si momentul
scadentei lor, aspecte viitoare ale carierei profesionale, etc, influeneaz intr-o maniera sau alta
comportamentul individului la un moment dat.
Pentru studiul acestui tip de comportament a fost introdus un model asociat ciclului de
viata, model care incorporeaz fluctuaiile comportamentale. Haussmann (1986) enuna opt
probleme de control optimal stochastic, majoritatea insa fiind modele matematice ale unor
fenomene fizice cu perturbaii aleatoare.
Economitii si-au concentrat atenia asupra ctorva clase speciale dintre acestea, cu
precdere asupra modelului LQG (Linear Quadratic Gaussian Model). Acesta include o funcie
obiectiv patratica, restricii liniare si perturbaii Gaussiene. Sistemul de ecuaii ataat problemei
de control optimal conine ecuaii difereniale stochastice liniare de tip backward" (BSDE).
Acest tip de ecuaii a fost introdus si studiat de ctre J.M. Bismut in 1973 in Referat de Doctor
^nalyse Convexe et Probabilites" si in lucrarea ,yAn Introductory Approch to Duality in
Stochastic ControF prezentata in SIAM Revue (1978). Ocazia a constituit-o rezolvarea ecuaiilor
adjuncte date de principiul de maxim aplicat problemelor de control optimal stochastic.
Tehnicile de rezolvare a sistemelor de ecuaii liniare stochastice (1) au fost ulterior
extinse la cazul neliniar de ctre E. Pardoux si S.Peng in AdapteD Solution of Backward
Stochastic Equation" in 1990, si independent de acetia, de ctre D.Duffe si L. Epstein in
Stochastic Differential Utility" in 1992. Problema de control formulata este o problema de
control optimal stochastic liniar-patratica. Rezolvarea analitica a acesteia impune utilizarea
ecuaiei stochastice Riccati. Tehnicile de programare stochastica liniar-patratica care stau la
baza determinrii soluiei problemei de control optimal au fost dezvoltate recent de ctre S. Chen
si X.Y. Zhou in lucrarea Stochastic Linear Quadratic Regulators with Indefinite Control
Weight Costs" (SIAM Journal, Control Optimization,1998).

In finalul Capitolului 3 am detaliat cu titlu de aplicaie a tehnicilor de contrtol optimal

stochastic un exemplu de model stochastic intalnit pe piaa financiara si anume modelul BlackMerton-Scholes.
In 1973 economitii englezi F. Black si M. Scholes au propus un model matematic care
permite

determinarea la orice moment de timp a preului unei opiuni de tip call-european

asupra unei uniti dintr-un activ financiar fara dividende,

stabilirea unei strategii optimale de gestiune a portofoliului de active care sa

permit vnztorului eliminarea completa a riscului.

Acesta a devenit modelul de evaluare cel mai cunoscut si larg utilizat in managementul
financiar modern. Asa cum am precizat, este destinat evalurii opiunilor europene asupra
aciunilor care nu pltesc dividende.
Modelul Black-Merton-Scholes este un model in timp continuu, cu analiza pe orizontul
de timp fixat [0,r], unde 0 este momentul in care are loc semnarea contractului si plata primei
opiuni, iar T este mometul la care opiunea va fi exercitata. Fundamentul modelului ii reprezint
crearea si gestiunea unui portofoliu fara risc, cu ajutorul cruia investitorul obine ca profit rata
dobnzii aferenta unui credit fara risc.
Capitolul 4 intitulat Tehnici de Programare Dinamica Determinista detaliaz cele mai
importante rezultate ale programrii dinamice. Acestea au fost prezentate pe larg de ctre R.E.
Bellman in lucrrile sale "Dynamic Programming" (1957), 'Adaptive Control Processes" (1961),
"Introduction to the Mathematical Theory of Control Processes" (1967), "Applied Dynamic
Programming" (1962), exemplificnd pe un numr mare de tipuri si structuri matematice ale
problemelor crora li se poate aplica Principiul de Optimalitate. Abordrile lui R.E.Bellman sunt
insa euristice si las la latitudinea celui care se folosete de tehnicile programrii dinamice
rezolvrile de detaliu ale problemelor. Acest lucru necesita un inalt nivel de cunotine
matematice si de informaii aparinnd domeniului in care se aplica modelul de programare
dinamica.
Programarea dinamica este o abordare particulara a problemelor de optimizare in care
exista un numr considerabil de variabile de decizie si in care funcia obiectiv si funciile care
definesc restriciile problemei pot avea diverse forme si proprieti.

Programarea dinamica nu este un algoritm, asa cum de exemplu algoritmul simplex al lui
Dantzing este o mulime bine definita de reguli pentru rezolvarea unei probleme de programare
liniara. Programarea dinamica este un mod de a determina soluia unui anumit tip de probleme
de optimizare. O astfel de problema poate sa conin un numr mare de variabile de decizie
intercorelate, astfel ca problema de optimizare sa poat fi privita ca o secvena de probleme,
fiecare dintre acestea presupunnd determinarea uneia sau a mai multor variabile.
Nu este insa posibil sa dam o descriere completa si "exacta" a caracteristicilor pe care ar
trebui sa le aiba ntotdeauna structura matematica a problemei pentru ca aceata sa poat fi
rezolvata prin tehnicile de calcul ale programrii dinamice.
Prin programarea dinamica se urmrete inlocuirea rezolvrii unei probleme de
optimizare in n variabile prin n probleme de optimizare intr-o singura variabila. Atunci cnd
aceasta abordare a problemei este posibila, de obicei este necesar un efort mare de calcul.
Rezolvarea a n probleme de dimensiune 1 presupune un efort de calcul proporional cu n,
numrul problemelor intr-o singura variabila. Pe de alta parte, rezolvarea unei singure probleme
cu n variabile presupune de obicei un efort de calcul proporional cu an .
Principiul care permite transformarea unei probleme de optimizare Adimensionale in n
probleme de optimizare 1 -dimensionale este cunoscut sub numele de Principiul de
Optimalitate.
A fost iniial enunat de R.E. Bellman in "Dynamic ProgrammingM (1954) si este un
fundament intuitiv. Justicarea data de Bellman consta intr-o simpla declaraie: "O demonstraie
prin reducere la absurd este evidenta".
Principiul de Optimalitate al lui Bellman este enunat in lucrarea de fata in mai multe
variante. Una dintre acestea este urmtoarea:
O politica optimala are proprietatea ca, oricare ar fii starea iniiala si decizia iniiala,
deciziile ulterioare trebuie sa constituie o politica optimala pentru un proces decizional in n-1
faze, in raport cu starea rezultata ca urmare a alegerii deciziei iniiale.
Am evideniat in cadrul acestui capitol faptul ca pentru ca principiul de optimalitate sa
poat fi aplicat, problema de optimizare trebuie sa satisfac doua condiii:

separabilitatea funciei obiectiv (funcie obiectiv decompozabila)

separabilitatea strilor (proprietatea Markoviana).

In lucrarea Composition Principles for Synthesis of Optimal Multi-Stage Processes"

(1964) este prezentata o condiie suficienta pentru ca determinarea soluiei unui proces multifazic
sa se poat face prin intermediul programrii dinamice, o condiie suficienta de aplicabilitate a
pricipiului de optimalitate Bellman.
Condiii similare asupra monotoniei funciilor obiectiv ale fazelor astfel incat procesul
secvenial de decizie sa poat fi tratat prin tehnicile programrii dinamice au fost date de E.V.
Denardo si L.G. Mitten in "Elements of Sequential Decision Processes" (1966) , R.M. Karp si
M.Held in "Finit State Processes and Dynamic Programming" (1967) si de S.E. Elmaghraby in
"The Concept of States in Discret Dynamic Programming" (1970). Accentuam faptul ca acestea
sunt condiii suficiente, nu si necesare pentru aplicabilitatea Principiului de Optimalitate
Bellman.
Extensii ale Principiului de Optimalitate Bellman sunt detaliate in Capitolul 5 al
referatului, capitol intitulat Tehnici de Programare Dinamica Stochastica. Tehnicile
programrii dinamice sunt utilizate in rezolvarea problemelor de optimizare ale agenilor
economicii care vizeaz decizii dependente de un numr relativ mic de variabile numite
variabile de stare. Altfel spus, algoritmii programrii dinamice pot fi aplicai atunci cnd un
numr redus de variabile de stare sunt suficiente din punct de vedere probabilistic pentru a putea
previziona decizii viitoare. In majoritatea aplicaiilor economice este mult mai realist sa
consideram aspectul incert al variabilelor de stare. Modelele prezentate in acest capitol sub
aspectul att al formei fundamentale a problemei de optimizare dinamica cat si al modului de
determinare a soluiei optimale, au in vedere evoluia in timp a variabilelor de stare cu un aspect
particular in ceea ce privete incertitudinea.
Rezultatele obinute ca si tehnici de programare dinamica stochastica au fost aplicate in
rezolvarea efectiva a unui model de alocare stochastica a resurselor ale unui agent economic.
Deciziile agentului se axeaz evident pe evidenierea prtilor din producia curenta destinate
consumului propriu si unei noi lansri a produciei.
Paragraful al patrulea al Capitolului 5 detaliaz problema de programare dinamica
stochastica in timp discret. Atunci cnd dinamica unui sistem este influenat de perturbaii sau
de variaii ale parametrilor care nu pot fi precizate de-a lungul orizontului de timp fixat, funcia
cost determinista nu poate fi minimizata. Insa, se are in vedere minimizarea valorii medii a
acestei funcii, in situaia in care este cunoscuta repartiia probabilistica a acestei influente

incerte. Pe parcursul timpului aceste incertitudini devin certitudini. De aceea dinamica

sistemului nu poate fi afectata de o strategie de control de tip bula-deschisa (open-loop control
strategy), ci mai de graba de un control de tip bucla-inchisa (a closed-loop control strategy, i.e.
"feedback").
In acest paragraf sunt prezentai algoritmi pentru determinarea politicii de control
optimal, a traiectoriei implicite a unui sistem asupra cruia se aplica perturbaii aleatoare
discrete, in condiiile satisfacerii criteriului de optimizare. Abordarea unor astfel de probleme are
in vedere aplicarea tehnicilor de programare dinamica la fiecare moment de timp al orizontului
planificat, in funcie de valorile probabile ale perturbatiilor.
Mai mult, in cadrul acestui capitol am avut in vedere prezentarea unui algoritm de ordinul
2 pentru determinarea funciei de control optimal in problema de control optimal stochastic in
timp discret. Importanta acestui algoritm consta in faptul ca permite determinarea politicii
optime de control si a traiectoriei optime a sistemului, imbunatatind la fiecare pas traiectoria
curenta a sistemului. Formularea matematica a problemei de control optimal stochastic in timp
continuu precum si determinarea strategiilor optime de control au fost evideniate in paragraful al
aselea al referatului. Am avut in vedere faptul ca in modelele matematice uzuale dinamica unui
sistem in timp continuu supus unor perturbaii stochastice este descrisa de o ecuaie difereniala
care are in componenta un proces perturbator Wiener (proces care poate fi interpretat ca integrala
in raport cu timpul a zgomotului alb). Intruct perturbatia sistemului este un proces Markov,
starea sistemului la un momentul de timp t arbitrar este determinata de perturbatia Wt si de
poziia xt a sistemului pe traiectorie. Controlul optimal de tip feed-back u este o funcie de
(xt,Wt).
In cazul unui sistem stochastic in timp continuu a crei dinamica este descrisa de o ecuaie
de tipul celei descrise mai sus, criteriul de optimizare ii constituie minimizarea sau maximizarea
valorii medii condiionate de starea iniiala a sistemului a unei funcionale obiectiv de tip
integral. Pentru determinarea soluiei optime a problemei de control optimal stochastic se face
apel la regula de adunare, regula a crei detaliere constituie obiectului unui intreg paragraf din
acest capitol.
Capitolul 6 al lucrrii prezint concluziile finale ale documentarilor teoretice si practice
care au fcut posibila ntocmirea prezentului referat. Toate aceste concluzii pot fi sintetizate in
ideea ca rezultatele teoretice prezentate ca algoritmi deterministi si stochastici utilizai in scopul

optimizrii dinamicii sistemelor pot fi cu uurina aplicate in studiile celor mai complexe procese
economice asupra evoluiilor dinamice a indicatorilor economici.
Conceptele fundamentale si tehnicile de optimizare dinamica deterministe si stochastice
se dovedesc a fi instrumente eficiente si eficace in conducerea optimala, bazate fiind pe un
suport tehnic complex si avansat, metode, tehnici, algoritmi, proceduri de calcul, toate clasificate
ca importante resurse tiinifice.