UNIVERSITATEA POLITEHNICA DIN BUCURETI

Facultatea de Transporturi
Specializarea: Logistica transporturilor

CONTROL OPTIMAL

Student:
Comsa Maria Cristina

O anumit problem inginereasc nu are soluie unic; n cele mai multe cazuri, ea posed o
infinitate de soluii posibile. Dac aceste soluii variate sunt evaluate pe baza unei funcii de
cost specifice (numit i funcie de pierderi sau criteriu de calitate), fiecare soluie va fi
caracterizat printr-o anumit valoare a acestei funcii. Soluia care ofer o valoare optim se
numeste soluie optimal. Cutarea unei astfel de soluii optimale pentru o problem dat se
justific din ce in ce mai mult in contextul actual al dezvoltrii tehnologiei, al restriciilor
energetice si de resurse naturale, al preteniilor tot mai ridicate privind calitatea produselor.[1]
n aceast lucrare vom studia n profunzime optimizarea dinamic a proceselor. Vom
prezenta trei metode de optimizare dinamic: optimizarea prin metode variaionale (metoda
multiplicatorilor Lagrange i metoda ecuaiei matriciale Riccati) ([2], [3]), metoda programrii
dinamice a lui Bellman [1] i metoda principiului maximului al lui Pontriaghin. [1]
Studiul sistemelor optimale se face pornind de la urmtoarele elemente fundamentale:
1. Dinamica procesului este cunoscut, fiind exprimat sub forma unei ecuaii de stare
x& f ( x(t ), u (t ), t )

(1.1)

presupus n cele mai multe cazuri a fi liniar.

2. Se limiteaz atenia la cazul determinist, adic se admite c sistemul nu este supus unor
perturbaii stohastice (iar msurarea vectorului de stare nu este alterat de zgomote).
3. Vectorul de stare x i/sau comanda u sunt supuse unor restricii diverse de exemplu,
componentele lui u trebuie s se ncadreze ntre anumite limite (restricii de tip inegalitate), sau
se pot impune anumite valori iniiale i finale pentru x (restricii de tip egalitate), sau se impun
chiar restricii privind durate tf a conducerii procesului respectiv.
4. Se alege un indice de performan J, dependent n general de x i de u i cresctor
cumulativ cu timpul, adic de forma:
tf

J [u (t )] L( x(t ), u (t ), t ) dt

(1.2)

n raport cu care se realizeaz optimizarea.

5. Nu se face nici o presupunere cu privire la structura dispozitivului de conducere
optimal (spre diferenta de cazul proiectrii prin ncercri).
Cu acestea, problema comenzii optimale se formuleaz concis astfel:
S se gseasc comanda optim uopt (numit i strategia de conducere optimal) care
optimizeaz indicele de performan J, n condiiile unor restricii impuse.
n cadrul problemelor de optimizare se disting dou categorii:
1. Probleme de optimizare static.
2

2. Probleme de optimizare dinamic.

Optimizarea static se ntalnete atunci cnd se cere conducerea optimal a unui proces a
crui stare normal este regimul staionar. Fie astfel un proces descris de ecuaia (1.1), pe care
dorim s-l meninem n starea staionar constant
x x0

(1.3)

ntr-un astfel de regim, ecuaia diferenial vectorial (1.1) se reduce la o ecuaie algebric
vectorial (staionar):
f ( x0 , u 0 ) 0

(1.4)

ecuaie a crei rezolvare ne d valoarea comenzii u0 constante, care poate menine sistemul n
regimul staionar dorit. n acest tip de probleme suntem interesai mai mult de viteza de variaie a
funciei de cost (indicelui de performan) J dect de valorea nsi a lui J. Din (1.2) se obtine
direct:
dJ
L ( x, u , t )
dt

(1.5)

Dac x i u se reduc la nite constante, rezult c viteza de variaie a indicelui de performan

capat valoarea constant
0

dJ
0
0
L( x , u )
dt

(1.6)

ceea ce indic posibilitatea optimizrii procesului prin optimizarea vitezei de variatie a lui J.
Exemplu:
S consideram un sistem electric compus din n generatoare G1, G2 Gn care furnizeaz
0
0
0
unor consumatori respectiv puterile x1 , x2 ,..., xn (n kW). ntruct energia electric nu poate fi

stocat, va trebui ca puterea total, n fiecare moment, s fie egal cu cererea P a tuturor
consumatorilor, cerere care nu poate fi influenat de ctre productorii de energie electric.
Aadar, valorile puterilor din sistem vor trebui s satisfac restricia de tip egalitate
n

x
i 1

0
i

P0

(1.7)

Aceast condiie este satisfcut automat prin reglarea frecvenei (la valoarea de 50 Hz). O
crestere a frecvenei denot un surplus de putere produs n sistem, surplusul de energie din
sistem fiind utilizat la creterea energiei cinetice a acestuia (creterea vitezei generatoarelor).
Problema care se pune este aceea a repartiiei produciei pe fiecare generator. Se va
remarca faptul c sarcina P cerut de consumatori reprezint o marime lent variabil n raport cu

0
vitezele cu care se pot varia ieirile xi ale generatoarelor, ceea ce permite considerarea relaiei

(1.7) drept o ecuaie staionar. n rezolvarea acestei probleme, un indice de calitate judicious de
ales apare ca fiind costul total al energiei produse n sistem, n condiiile n care preul de
producie al energiei electrice variaz de la central la central (dup tipul energiei primare
0
0
utilizate, puterea generatoarelor, costul exploatrii etc.). Fie ui ( xi ) rata (viteza) de variaie a
0
costului (exprimat de exemplu n lei/h) pentru a produce puterea xi (n kW) la centrala i. Se

obine deci rata de cost total staionar in sistem:

0

n
dJ

ui0 ( xi0 )

dt
i 1

(1.8)

0
(n lei/h). Rata de cost ui poate fi considerat ca jucnd rolul unei comenzi pentru generatorul
0

Gi i la care el rspunde prin marimea de ieire xi . Aadar, problema se reduce la minimizarea

ratei de cost totale (1.8) n condiiile respectrii restriciei de tip egalitate (1.7).
Pentru ilustrarea problemei optimizrii dinamice, ne vom referi la un alt exemplu.
Exemplu:
Fie problema poziionrii pe o orbit circumterestr a unui vehicul spaial, n scopul
cuplrii cu un alt vehicul spaial. Se va considera cazul simplificat al poziionrii doar n planul
orizontal local. La o rotire a vehiculului spaial cu unghiul , cauzat de plid, de trecerea pe o
alt orbit, nite reactoare laterale vor aciona cu cuplul C, care s readuc vehiculul n poziia
corect. n absena frecrilor i pentru perturbaii neglijabile, considernd totodat consumul de
combustibil al reactoarelor de poziionare mult mai mic dect masa vehiculului, ecuaia micrii
vehiculului va fi dat de:
& C
J &

(1.9)

unde J este momentul de inerie al vehiculului n jurul axei de rotaie. Relaia (1.9) se mai poate
scrie:
&
&

C
J

(1.10)

i, adoptnd ca variabile de stare y x1 si x2 x&1 &, avem ecuatiile de stare:

x&1 x2

x&2 u

(1.11)

unde

C
J

(1.12)

reprezint mrimea de comand. Dar cuplul C este proporional cu viteza v de expansiune a

gazelor (din reactoarele de poziionare) fa de vehicul i cu viteza de ardere a combustibilului,
dup relaia:
C vm&

(1.13)

unde m reprezint masa de combustibil. Aadar, comanda poate fi influenat prin viteza de
ardere m&. Se va propune drept criteriu de performan o valoare ct mai mic de combustibil
consumat pentru poziionare, adic
tf

tf

& dm m(0) m(t f )

J [u ] mdt

(1.14)

sau, innd cont de (1.12) i (1.13)

tf

J
J [u ] udt
v 0

(1.15)

Dar extremul valorii lui J[u] nu depinde de constantele J i v, astfel c n loc de criteriul (1.15)
putem lua
tf

J [u ] udt

(1.16)

Comparnd cu (1.2), rezult c funcia L (numit i funcie de pierdere, cci ea reprezint o

msur a ndeprtrii instantanee fa de valoarea ideal a indicelui de performan) va fi in
acest caz:
L u

(1.17)

Problema de optimizare va consta n a gsi variaia optim a lui u(t) numit i strategie optim
care s minimizeze integrala (1.16), satisfcnd totodat diversele restricii impuse de cazul
fizic concret. Firete, astfel de restricii de tip egalitate se vor impune variabilelor de stare:

y (0)
0

x (0)

0
x (t f )
0

(1.18)

Se observ, din acest punct de vedere, c problema de optimizare trebuie s rezolve transferarea
sistemului dintr-o stare iniial dat ntr-o stare final dat (astfel de probleme sunt cunoscute sub
numele de probleme cu condiii pe frontiere). n plus, s-ar putea ca s nu avem disponibil dect
5

un reactor de pozitionare; de asemenea, este clar c valoarea lui u(t) este limitat (fizic) la o
valoare maxim umax. Aadar i comanda poate fi supus unor restricii (de tip inegalitate) avnd
forma: 0 u umax .
n fine, trebuie remarcat c nu a fost pus n discuie pn acum nici o limitare asupra
duratei totale tf a procesului de optimizare. Firete, dac comanda u ar putea fi orict de mare,
durata tf ar putea fi facut arbitrar de mic. Dar, dup cum s-a menionat, limitrile fizice asupra
valorii comenzii ridic chestiunea ncadrrii ntr-un interval de timp specificat t f T .
n exemplul analizat starea sistemului se modific nencetat, iar realizarea strategiei
optime uopt(t) trebuie realizat pe msura i n concordan cu aceste modificri. Se vede astfel c
avem de-a face cu o optimizare dinamic.

3.1 OPTIMIZAREA PRIN METODE VARIAIONALE

Tot aa cum metoda multiplicatorilor lui Lagrange permitea n cadrul optimizrii
statice determinarea condiiei necesare pentru ca funcia H posednd un extrem de tip
neted s fie optimizat, n optimizarea dinamic calculul variaional ne ofer posibilitatea
determinrii condiiilor necesare (dar nu suficiente) de obinere a unui optim pentru o funcional
(integral) prezentnd un extrem de tip neted.
Calculul variaional n contextul teoriei sistemelor prezint urmtoarea problem
general (problema Bolza):
a) Procesul este descris de vectorul de stare x(t) satisfcnd ecuaia de stare (1.1), cu
x { X } R n , u {U } R m , t {T } R , unde funciile (componentele lui f) sunt continue i
admit derivate pariale continue ntr-un domeniu al spaiului X U T - ce va fi precizat prin
restricii. Se accept, de asemenea, c sistemul (1.1) admite o soluie unic pentru condiii iniiale

x(t0 ) x0 date i o comand u(t) dat.

b) Strile i valorile comenzilor sunt supuse unor restricii de tip
r ( x, u , t ) 0

(3.1.37)

unde funciile ri (componentelele lui r) sunt presupuse continue i continuu derivabile, restricii
ce definesc un domeniu (n general nchis) al aa-numitelor stri i comenzi admisibile (cazul
| ui | M este de acest tip, scriindu-se sub forma: ri u 2 M 2 0 ).
Un alt tip de restricii au forma unei integrale

tf

p( x, u, t )dt 0

(3.1.38)

t0

tf

(un exemplu l constituie limitarea energiei disponibile n sistem, exprimat prin

u dt a si
2
i

t0

care se mai poate scrie sub forma:

a
2
ui

t f t0
t0

tf

dt .

c) Sistemul evolueaz ntre momentele t0 i tf; acestea, ca i x(t0), x(tf), pot fi fixate
aprioric, pot fi libere, ori pot fi obligate s raspund unor condiii la limit (pe frontier) de tip
k ( x0 , t0 ) 0

l(x f , t f ) 0

(3.1.39)

unde ki i li sunt presupuse continue i continuu derivabile.

d) Se impune un criteriu tip Bolza mai general ca (1.2):
tf

J L( x, u , t )dt M ( x0 , t0 , x f , t f )

(3.1.40)

t0

unde primul termen este o integral evaluat de-a lungul curbei integrale ce rezult pentru x(t0) i
u(t) alei, iar cel de-al doilea termen este dependent de extremiti n cazul cnd acestea nu sunt
impuse; funciile L i M sunt presupuse continue i continuu derivabile.
n cele ce urmeaz vom prezenta condiiile necesare de optimalitate i vom enuna
teorema de optimaliate.
Fie un sistem cu ecuaia de stare de forma ecuaiei (1.1) cu functionala de cost dat de
ecuaia (3.1.40) unde:
1. f este o funcie msurabil n raport cu t, de clas C1 n raport cu x i de clas C1 n
raport cu u;
2. L funcie de clas C1 n raport cu toate argumentele i pozitiv (Lagrangean)
3. M funcie de clas C1, convex (Meyerian)

U R m mulimea comenzilor admisibile i

Definim mulimile: {U } u :[t1 , t2 ] deschis

{ X } x :[t1 , t2 ] X R n mulimea starilor admisibile.

deschis

Definim

mulimea

traiectoriilor

(perechilor)

admisibile

ca

fiind

{T } ( x, u ) { X } {U }/( x, u ) verifica ecuatia de stare(1.1) .

, u ) {T } astfel
Problema este s se determine o traiectorie optimal, adico traiectorie ( x%%
] J [u ] .
nct J [u%
, u ) {T } o traiectorie optimal.
Fie ( x%%
Considerm

variaie

mic

traiectoriei

optimale

( x , u ) {T } .

Atunci:

x (t ) x%
(t ) h(t ); u (t ) u%
(t ) k (t ).
Definim funcia:
F ( ) J [u ]
tf

F ( ) L(t , x%
(t ) h(t ), u%
(t ) k (t ))dt M (t0 , x%
(t 0 ) h(t 0 ), t f , x%
(t f ) h(t f )). cu
t0

proprietile:
1. F este derivabil;
] J [u ] F ( ), . Rezult c 0 este un punct de minim
2. F (0) J [u ] | 0 J [u%
pentru funcia F. Conform teoremei lui Fermat rezult c F (0) 0 (3.1.41).
Derivm funcia F ( ) :
F ( )

tf

t0

L T
L
h(t )
u
x

M
k (t ) dt

x0

M
h(t0 )
x f

h(t f ) ,

(t ) h(t ), u%
(t ) k (t )) .
unde derivatele pariale sunt calculate pentru ( x%
Conform relaiei (3.1.41) rezult c:

tf

t0

L T
L
h(t )
u
x

M
k (t ) dt

x0

M
h(t0 )
x f

h
(t f ) 0. (3.1.42)

Definim Hamiltonianul acestei probleme:

H (t , x (t ), u (t ), p (t )) L(t , x, u ) p T (t ) f (t , x, u ) , unde vectorul p este de forma
p [ p1... pn ] , iar p1pn sunt multiplicatorii lui Lagrange.
Atunci L H pT f (t , x, u ) .

Derivm aceast ecuaie dup x i dup u pentru a afla

L
L
i
.
x
u

Calculm mai nti:

f1

pn
p1 x ...
x ( p1 f1 ... pn f n )
1
1

T
( p f )
...
...

x

p1 f1 ... pn
( p1 f1 ... pn f n )

xn

xn

f n

x1

f n

xn

f1
x1

...

f1
xn

f n
x1

... ...

f n
...
xn
...

p1
...
pn

Rezult c:
p1
... .
pn

T
( p f )
x

f

x

T
( p f )
u

f

u

Analog obinem:

Astfel am obinut urmtoarele formule pentru

L H
x x

L H
u u

p1
... .
pn

L
L
si
:
x
u

T
L H f

T
x x x

( p f )


x

( pT f ) L H f T

u u u

p1

...

p n
p1
...
pn

Ecuaia (3.1.42) devine:

tf

t0

H T
H

h(t )

x
T

h(t0 )
x0

tf
f
f

k (t ) dt pT (t ) h(t ) k (
t ) dt

t0
x
u

(3.1.43)

h(t f ) 0

tf
f
f

T
h(t ) k(t ) dt notm h(t ) dx i
Pentru a calcula integrala I t p (t )
0
u
x

k (t ) du . nlocuim n integrala I i obinem:

f
f
f
f
h(t ) k (t ) dx du df
x
u
x
u
Conform ecuaiei (1.1) f x&. Astfel df dx&. Cum dx& (dx ) h&(t ) obinem c:
f
f
h(t ) k (t ) h&(t ) .
x
u
nlocuim

integrala

tf
T
I: I t p (t ) h&(t )dt .

Integrm

prin

pri

obinem

tf

t
I pT (t ) h(t ) |t0f p&T (t ) h(t )dt .
t0

nlocuind n ecuaia (3.1.43) cele obinute mai sus aceasta devine:

tf

t0

H &
t f H
p (t ) h(t )dt

t0
u
x

k (t ) dt
p(t0 ) h(t0 )
p (t f ) h(t f ) 0, h, k
x

f
x0

innd cont de rezultatele obinute mai sus enunm teorema de optimalitate:

, u ) este o pereche optimal a sistemului dat prin ecuaia de stare
Dac ( x%%
x& f ( x(t ), u (t ), t ) cu funcional de cost
t

J (u ) = 2 L(t , x(t ), u (t )) dt M (t1 , x(t1 ), t 2 , x (t2 ))

t1

, u ) verific urmtoarele
atunci exist multiplicatorii Lagrange p1 ,K , p2 astfel nct ( x%%
condiii:
H

%=
x&
(t , x%%
, u , p ),
(= f (t , x%%
, u ))
p

( sistemul canonic)
H

p&=
(t , x%%
, u, p)

x
H
(t , x%%
, u , p ) = 0 (ecuatia comenzii optimale )
x
T

p (t1 ) h(t1 )
p(t2)

1
2
x

h(t2 ) = 0

(conditia de transversalitate)

10

n cele ce urmeaz considerm un caz particular de problem de optimizare, respectiv

problema liniar patratic. Astfel:
Considerm un sistem liniar :
x&= A(t ) x(t ) B (t )u (t ),

(3.1.44)

cu o funcional de cost patratic

J [u ] =

1 tf T
1
x (t )Q(t ) x(t ) u T (t ) R(t )u (t ) dt x T (t f ) Mx(t f ) (3.1.45)

t
2 0
2

n n
n m
unde I = [t0 , t f ], A C ( I , R ), B C ( I , R ) si M C ( I , R nn ) este o matrice nenegativ
T
definit simetric real M = M , M 0 , Q C ( I , R nn ), R C ( I , R mm ) , Q(t ) este o matrice

simetric

nenegativ

definit

R (t )

este

matrice

simetric

pozitiv

definit

R(t ) > 0, t [t , t ] .
0

Aplicm teorema de optimalitate:

1. Scriem Hamiltonianul
H (t , x, u , p) =

1 T
x Qx u T Ru pT ( Ax Bu )
2

(3.1.46)

2. Scriem sistemul canonic

x&=

H
= Ax Bu
p

T
H
1
1

p&=
= Q(t ) x xT Q(t ) AT p
x
2
2

Q = QT
}

(3.1.47)

= Qx A p
T

3. Determinm comanda optimal

H
= R (t )u BT p = 0
u

(3.1.48)

u%= R 1 BT p

(3.1.49)

de aici

( R 1 exist din faptul c R>0).

11

Verificm dac u%realizeaz minimum: Hessiana este

2 H
= R(t ) > 0 , deci u%realizeaz
u 2

minimul problemei.
4. Gsim traiectoria optim, introducnd comanda optimal (3.1.49) u%n (3.1.47)
Obinem sistemul:
x&= A(t ) x B (t ) R 1 (t ) BT (t ) p

(3.1.50)

p&= Q(t ) x AT (t ) p

(3.1.51)

sau
x&

x
=
H
p&

p


unde matricea Hamilton H este de forma

A
Q(t )

H =

BR 1 (t ) BT
.
AT

(3.1.52)

5. Scriem condiia de transversalitate (cu starea iniial fixat i cu starea final liber)
x(t0 ) = x0
p (t f ) =

M
= Mx(t f ) .
x f

(3.1.53)

Rezolvm sistemul
x&= A(t ) x B (t ) R 1 (t ) BT (t ) p
p&= Q(t ) x AT (t ) p .

(3.1.54)

,p .
pentru a obine perechea x%%
O metod de a rezolva acest sistem este cea n care ne folosi de ecuaia matricial Riccati.
Astfel cutm o matrice P(t) astfel nct vectorul p s fie de forma p (t ) P(t ) x(t ) cu condiia
final P (t f ) M , pentru a obine comanda optimal u% R 1 BT Px .
n acest caz formula (3.1.50) devine
x& A BR 1 BT P x

(3.1.55)

12

i vom avea
& Px& Qx AT Px
p& Px

(3.1.56)

De aici - prin nlocuirea lui x&- obinem

P& PA A P Q PBR
T

B T P x 0; x

(3.1.57)

Rezult c P trebuie s satisfac ecuaia Riccati (RDE) de forma

P& PA AT P Q PBR 1B T P 0

(3.1.58)

P (t f ) M

(3.1.59)

cu condiia final

Astfel am demostrat c dac u% R 1 BT Px este comanda optimal atunci matricea P(t)

este soluia ecuaiei Riccati (3.1.58) cu condiia final (3.1.59).
Acum facem demostratia n sens invers. Presupunem c P(t) este soluie a ecuaiei
(3.1.58) cu condiia final (3.1.59). Artm c u% R 1 BT Px realizeaz minimul funcionalei.
tf

Calculm n dou moduri integrala

t0

d
x(t )T P(t ) x(t ) dt .

dt

Metoda 1:
tf

dt x(t )

t0

P(t ) x(t ) dt x(t )T P (t ) x(t ) |t0f x(t f )T P(t f ) x (t f ) x(t 0 )T P (t 0 ) x (t 0 ) (3.1.60)

{
t

Metoda 2
tf

tf

d
T
T
T &
xT Px& dt
t dt x(t ) P(t ) x(t ) dt t x& Px x Px
0
0

T
6 44 7x&T 4 48
6 4 4 4 4 4 4 44 x7Px&4 4 4 4 4 4 4 48

64 7x& 48
T
T
T
T
T
T
T
T
T

1
T
T

x A u B Px x A Px x APx x Qx x PBR B Px x P Ax Bu

t0

tf

(3.1.61)

Dup ce facem toate reducerile posibile obinem

tf

tf

d
T
T T
T
T
T
1 T
t dt x(t ) P(t ) x(t ) dt t u B Px x PBu x Qx x PBR B Px dt
0
0

(3.1.62)

nmulim cu ecuaiile (3.1.60) i (3.1.62) i le egalm.

Astfel funcionala de cost (3.1.45) se rescrie:

13

J [u ] =

1 tf T
1
x (t )Q(t ) x(t ) u T (t ) R(t )u (t ) dt xT (t f ) Mx(t f )

2 t0
2
tf

1
1
x(t0 )T P (t0 ) x(t0 ) u T BT Px xT PBu xT PBR 1BT Px u T Ru dt
2
2 t0

(3.1.63)

tf

T
1
1
x(t0 )T P (t0 ) x(t0 ) u R 1BT Px R u R 1BT Px dt
2
2 t0

Deoarece R 0 rezult c integrantul este minim cnd este 0. Acest lucru se obine pentru
u R 1 BT Px 0 . Astfel comanda optimal este de forma u% R 1 BT Px .

Am demostrat astfel urmatoarea teorem cunoscut i sub numele de sinteza KalmanLetov :

Problema liniar patratic (3.1.44)-(3.1.45) are soluia optimal unic u% R 1 BT Px ,
unde matricea real simetric P este soluia ecuaiei difereniale Riccati cu condiia final
P (t f ) M .
n cazul n care timpul final tf tinde spre infinit ecuaia matricial Riccati devine:
PA AT P Q PBR 1B T P 0
n cele ce urmeaz voi prezenta solutia ecuaiei matriciale Riccati.
Fie (t0 , t f ) matricea fundamental a sistemului
x&= A(t ) x B (t ) R 1 (t ) BT (t ) p
p&= Q(t ) x AT (t ) p .
cu condiia final
P (t f ) M
Soluia ecuaiei difereniale Riccati
P& PA AT P Q PBR 1B T P 0
este
P (t ) (t , t f ) 1 (t , t0 )

(3.1.64)

Demonstratie:
i verific ecuaiile

14

&(t , t ) A(t ) (t , t ) B (t ) R 1BT (t ) (t , t ), (t , t ) I

f
f
f
f
f
&(t , t ) Q(t ) (t , t ) AT (t ) (t , t ), (t , t ) M

f
f
f
f
f

(3.1.65)

Prin derivarea egalitii (t , t f ) P(t ) (t , t f ) (3.1.66) obinem

&(t , t ) P&(t ) (t , t ) P(t )
&(t , t )

f
f
f

(3.1.67)

innd cont de ecuaiile (3.1.65) i (3.1.66), ecuaia (3.1.67) devine:

P&(t )(t , t f ) Q (t ) (t , t f ) AT (t ) (t , t f ) P (t )( A(t ) (t , t f ) B (t ) R 1B T (t ) (t , t f ))
1 4 4 4 44 2 4 4 4 4 43
1 4 4 4 4 44 2 4 4 4 4 4 43
&( t ,t )

&( t ,t )

(3.1.68)

Q(t ) A P(t ) P(t ) A(t ) P (t ) B (t ) R B (t ) P (t ) (t , t f )

1

Dac

nmulim

la

dreapta

1
cu (t , t0 ) (t f , t ) ,

vom

obine

P& PA AT P Q PBR 1BT P 0 . De aici unica soluie a ecuaiei matriciale Riccati este
P (t ) (t , t f ) 1 (t , t0 ) .
Demonstraia fiind ncheiat trecem la urmtorul pas.
mprim

A
H =
Q(t )

ecuaia

BR 1 (t ) BT

AT

fundamental U (t , t f ) corespunztoare

matricei

Hamilton

astfel
U11 (t , t f ) U12 (t , t f )
U (t , t ) U (t , t )
22
f
21 f

(3.1.69)

Astfel soluia problemei Cauchy

&(t , t )

(t , t f )
f
&
H (t )

(t , t f )
(t , t f )
(t f , t f )
I
(t , t )
f
f
M

(3.1.70)

(3.1.71)

este
(t , t f )
I
(t , t ) U (t , t f )
f
M

(3.1.72)

Soluia (3.1.72) poate fi scris desfsurat astfel:

15

 (t , t f ) U11 (t , t f ) U12 (t , t f ) M
(t , t f ) U 21 (t , t f ) U 22 (t , t f ) M

(3.1.73)

innd cont de cele obinute mai sus soluia ecuaiei matriciale Riccati poate fi calculat
astfel
P&(t ) U 21 (t , t f ) U 22 (t , t f ) M

U11 (t , t f ) U12 (t , t f ) M

(3.1.74)

iar comanda optimal are forma

u% K (t ) x(t )

(3.1.75)

unde
K (t ) R 1 (t ) BT (t ) P (t )

(3.1.76)

Pentru a calcula soluia ecuaiei Riccati putem folosi algoritmul Potter [4] care const n
urmtoarele:
1. Se formeaz matricea
A BR 1 BT
M

AT
Q

(3.1.77)

2. Se calculeaz valorile proprii matricei M. Se demonstreaz c aceste valori proprii au

urmtoarea proprietate de simetrie: dac este o valoare proprie, atunci , * , * (unde *
este conjugatul complex) sunt i ele valori proprii.
Ca urmare, n valori proprii sunt situate n semiplanul stng i n n semiplanul drept.
Notm cu 1 , 2 ,..., n valorile proprii din semiplanul stng, astfel nct:
Re(i ) 0, i 1, n

(3.1.78)

3. Se calculeaz vectorii prorpii v1 , v2 ,..., vn asociai valorilor proprii 1 , 2 ,..., n

Aadar:
Mvi i vi , i 1, n

(3.1.79)

4. Se partiinoneaz vectorii proprii vi n doi vectori de dimensiune n, notai astfel:

s
vi i
n i

(3.1.80)

5. Se formeaz matricea

16

S s1

s2 ... sn

(3.1.81)

6. Se formeaz matricea
N n1

n2 ... nn

(3.1.82)

7. Soluia ecuaiei algebrice Riccati, unde R este simetric i pozitiv definit, rezult:
P NS 1

(3.1.83)

Pentru a nelege mai bine acest algoritm am luat urmtorul exemplu numeric:
4 0
0 1
0
;B
;Q

; R [1]

0 0
0 0
1

A
Formm matricea M:

0
0
M
4

1 0 0
0 0 1
0 0 0

0 1 0

Ecuaia caracteristic este 4 4 0 , astfel c obinem urmtoarele valori proprii:

1 1 i
2 1 i
3 1 i
4 1 i
Cele dou valori proprii din semiplanul stng sunt

1 1 i; 2 1 i
Calculm vectorii proprii asociai acestor valori proprii:

1 1 i.
1
0
0
1 i
0
1 i
0
1

1I M v1 0
4
0
1 i
0

0
1
1 i
0

x1
x
2
x3

x4

0
0

0

0

Un minor caracteristic nenul de ordin maxim este

17

1
0
0
1 i
0
1

0
1 i 0

Atunci x1 este necunoscut secundar iar sistemul devine:

(1 i ) x2 0

(1 i) x2 x4 0
4 (1 i) x 0
3

Rezolvnd sistemul obinem vectorul:

}1
4
2
v1 ( , (1 i ) ,
, (1 i) ) v1 (1, 1 i, 2(1 i), 2i)
1 i

2 1 i.
1
0
0
1 i
0
1 i
0
1

2 I M v2 0
4
0
1 i
0

0
1
1 i
0

x1
x
2
x3

x4

0
0

0

0

Un minor caracteristic nenul de ordin maxim este:

1
0
0
1 i
0
1

0
1 i 0

Atunci x1 este necunoscut secundar iar sistemul devine:

(1 i ) x2 0

(1 i) x2 x4 0
4 (1 i ) x 0
3

Rezolvnd sistemul obinem vectorul:

v2 ( , (1 i ) ,

}1
4
, (1 i) 2 ) v2 (1, 1 i, 2(1 i), 2i)
1 i

Formm matricile S si N:
1
1
2(1 i ) 2(1 i)
;N

2i
2i
1 i 1 i

18

Calculm
S 1

1 1 i 1
1
2i 1 i

Soluia ecuaiei Riccati este:

1 i 1 i
1
1

P NS 1

1 i 1
4 2

1 i 1
2 2

Matricea de reglaj este

4 2
K R 1 BT P 1 0 1
2 2
2 2
n raport cu metodele iterative, acest algoritm prezint avantajul unui calcul direct, cu
soluie unic.

PRINCIPIUL MAXIMULUI
Exist o clas larg de probleme de tip variaional n optimizarea sistemelor dinamice,
probleme care nu pot fi soluionate prin metoda calculului variaional ecuaii de tip EulerLagrange.
Ele ar putea fi abordate sub forma discret a programrii dinamice, dar, aceast metod
reprezint n fond o tehnic numeric care furnizeaz o informaie srac asupra naturii fizice a
problemei de optimizare n ansamblu. Iar aplicarea variantei continue a principiului optimalitii
se izbete de dificulti de calcul de ndat ce sistemul nu este liniar, criteriul nu este de tip
cuadratic, iar comanda sufer restricii de tip inegalitate.
Principiul optimului, elaborat de Pontriaghin, Boltianskii i Gamkrelidze, este similar
calculului variaional i este strns legat de programarea dinamic fiind dealtfel posibil
obinerea principiului optimalitii din principiul maximului printr-o schimbare de variabile.
Principiul maximului se bazeaz pe urmtoarele elemente:
1. Sistemul este descris de ecuaia de stare sau forma compact .
2. Timpul iniial t0 i cel final tf sunt date.
3. Unele componente ale vectorului de stare au valori date la t0 i tf.
4. Indicele de performan este de forma funcionalei
n

J i xi (t f )
i 1

19

5. Comanda u(t) este supus restriciilor de tip inegalitate.

6. Se caut strategia optim (comanda optimal) u 0 (t ) care va transfera sistemul din
starea initial x(t0 ) n starea final x(t f ) de asemenea manier nct s optimizeze
criteriul J dat de (3.3.108), respectnd restriciile impuse comenzii.
Coeficienii de pondere i din (3.3.108) pot fi privii ca fiind componentele unui vector de
ponderare numit i vector obiectiv:
1
...
n

(3.3.109)

astfel nct criteriul (3.3.108) se poate exprima sub forma unui produs scalar

J , x(t f ) T x(t f )

(3.3.110)

(Far a impieta asupra generalitii, putem considera c este normalizat, adic

| | 12 ... n2 1 ).
Expresia (3.3.110) are semnificaia geometric a proieciei vectorului x(t f ) pe vectorul ;
aadar optimizarea criteriului J (3.3.108) se traduce ca ncercarea de a optimiza proiecia lui
x(t f ) pe direcia vectorului obiectiv.
Vom considera mai nti cazul:
a) tf este fixat, dar x(t f ) este liber.
Vom presupune c strategia optim u 0 (t ) a fost gsit i c traiectoria optimal x(t0 )
corespunztoare se cunoate. Vom studia modificarea dJ a criteriului de performan cauzat de o
variaie u (t ) de la strategia optim. O astfel de situaie, pentru un caz bidimensional, este
ilustrat n figura 5.

20

Figura 5. Abaterea de la strategia optim i abaterea rezultant de la traiectoria optimal

ntruct comanda optim este de tip bang-bang, adic avnd valori extreme ntre care
se face comutaia (teoretic) instantanee (n fig. 5 b se arat o astfel de comutaie), este firesc a
presupune c mica abatere de la strategia optim, adic u 0 (t ) u (t ) va reprezenta doar o
modificare redus a momentului comutaiei valorii comenzii. Aadar, variaia u (t ) va consta din
unul sau mai multe impulsuri de lime finite dar foarte mic (un astfel de impuls este ilustrat n
fig. 5 c). Se poate formula diferena dintre principiul maximului i metoda calculului variaional
astfel: dac vectorul m-dimensional u(t) este supus restriciei
u (t ) {U }

(3.3.111)

unde {U} este domeniul comenzilor admisibile n spaiul m-dimensional, atunci metoda
calculului variaional caut soluia optim u 0 (t ) n interiorul lui {U}, n timp ce principiul
maximului caut soluia optim pe frontiera lui {U}.
Introducem conceptul de vector adjunct de stare p(t) ale crui componente sunt definite
astfel:

pi p j
j 1

f i
(i 1, n)
xi

pi (t f ) i , (i 1, n)

(3.3.112)1
(3.3.112)2

21

n cazul sistemelor liniare, avnd ecuaia de stare x&(t ) Ax (t ) Bu (t ) , relaia (3.3.112)1

ia forma:
p& AT p

(3.3.113)

care definete aa-numitul sistem adjunct al sistemului cu ecuaia de stare de tipul

x&(t ) Ax (t ) Bu (t ) .
Vectorul de stare x i vectorul adjunct de stare p introduce un numr total de 2n variabile,
care trebuie s satisfac ecuaiile difereniale ordinare de ordinul unu (3.3.103) i (3.3.112) 1; n
plus, ele trebuie s satisfac cele 2n condiii terminale specificate, n maniera sparte n dou
puncte:
x(t0 ) x0 i p (t f ) .
Analizm variaia componentei xi a vectorului x cauzat de variaia mai sus menionat
u a lui u. Conform cu (3.3.103) avem:
x&i fi ( x 0 x, u 0 u ) f i ( x 0 , u 0 )

(3.3.113)

Multiplicnd ambii membri ai relaiei (3.3.113) cu pi, nsumnd relaia astfel obinut
pentru toate cele n componente ale lui x i, n final, integrnd ntre t0 i tf se obine:
tf

tf

&
p

x
dt

pi [ f i ( x 0 x,u 0 u ) f i ( x 0 , u 0 )]dt

i
i
t

i 1

t0 i 1
0
n

(3.3.114)

Membrul stng al relaiei (3.3.114) poate fi integrat prin pri:

tf

tf

t
&
p

x
dt

pi xi |t0f

i
i
t
i 1
i 1

t0
0
n

p& x dt
i 1

(3.3.115)

ntruct, firete, avem:

xi (t0 ) 0

(3.3.116)

i innd cont de (3.3.112)2, vom avea:

n

pi xi |t0f i xi (t f )
t

i 1

(3.3.117)

i 1

Dar memebrul drept din (3.3.117) reprezint variaia cu semn schimbat a criteriului J,
adic:
n

i xi (t f ) dJ

(3.3.118)

i 1

Din (3.3.112)1, (3.3.114), (3.3.115), (3.3.117) i (3.3.118) rezult:

22

tf

tf

dJ pi [ f i ( x x, u u ) f i ( x , u )] dt

t0 i 1
t0

p
i 1 j 1

f i
xi dt
xi

(3.3.119)

0
0
0
0
Factorul [ f i ( x x, u u ) f i ( x , u )] reprezint o diferen mic (de ordinul unu)

astfel c el poate fi dezvoltat n serie Taylor:

f i ( x 0 , u 0 u )
x j R
x j
j 1
n

f i ( x 0 x, u 0 u ) f i ( x 0 , u 0 ) f i ( x 0 , u 0 u ) f i ( x 0 , u 0 )
(3.3.120)

unde R este suma termenilor de ordin superior lui 1. Introducnd (3.3.120) n (3.3.119) se obine:

dJ pi [ f i ( x , u u ) f i ( x , u )] dt

t0 i 1
t0
tf

tf

p
i 1 j 1

[ f i ( x 0 , u 0 u ) f j ( x 0 , u 0 )]x j dt

x j

(3.3.121)
Se consider doar funciile fi care sunt liniare n raport cu x i depind de u n mod aditiv,
adic cele pentru care (1.1) ia forma:
x& x (u )

(3.3.122)

Pentru aceast clas de funcii vom avea:

f i ( x, u u )
f i ( x, u )
x j
x j

(3.3.123)

astfel c cea de-a doua integral din (3.3.119) va fi nul i relaia (3.3.119) se reduce la:
tf

dJ H ( x 0 , u 0 u ) H ( x 0 , u 0 ) dt

(3.3.124)

t0

unde

H pi fi p, f p, x&

(3.3.125)

i 1

reprezint aa-numita funcie de stare a lui Pontriaghin denumire justificat prin aceea c H
depinde exclusiv de vectorul de stare x(t) i ntlnit uneori i sub denumirea de Hamiltonian
(dat fiind similaritatea sa cu expresia hamiltonianului din mecanica clasic).
Relaia (3.3.124) se interpreteaz astfel: Dac se poate dovedi c o variaie u arbitrar
face ca integrala din (3.3.124) s fie pozitiv (negativ), aceasta va implica faptul c dJ s fie
negativ (pozitiv) pentru aceste deviatii i u0 va corespunde atunci la un maxim (minim) al lui J.

23

Dar integrala din (3.3.124) va fi pozitiv (negativ) dac integrandul va fi pozitiv

(negativ) pe ntregul interval t [t0 , t f ] , adic dac
0, J J max
0, J J min

H ( x 0 , u 0 u ) H ( x 0 , u 0 )

(3.3.126)

sau

H 0 H ( x 0 , u 0 ) H min , J J max

(3.3.127)

H H ( x , u ) H max , J J min
0

Aadar, principiul maximului se formuleaz astfel:

O condiie necesar i suficient pentru a avea un maxim (minim) al criteriului de
performan J dat de (3.3.108) este aceea ca: comanda optim u 0 s minimizeze
(maximizeze) funcia de stare H a lui Pontrianghin pe tot intervalul t [t0 , t f ] .
n expunerea metodelor de optimizare dinamic 3.1 i 3.2 am ntlnit criterii de
performan de tip integral (forma 1.2). Principiul maximului este aplicabil i n aceste cazuri
dac introducem o variabil de stare suplimentar definit astfel:

tf

xn 1 (t ) L( x, u , t )dt

(3.3.128)1

xn 1 (t0 ) 0

(3.3.128)2

t0

unde, evident:

Atunci, criteriul (3.3.108) devine:

n 1

J i xi (t f ), ( n 1 1)

(3.3.129)

i 1

si H ia forma:
n

H pi f i pn 1L

(3.3.130)

i 1

care reprezint forma generalizat a funciei de stare a lui Pontriaghin.

O observaie important este aceea c: din ecuaia reprezentnd condiia necesar de
existent a unui optim pentru indicele de performan J dat de (1.2) rezult direct funcia de stare
generalizat a lui Pontriaghin ca fiind

24

J 0
t

(3.3.131)

dac facem schimbarea de variabil

pi

J 0
xi

(3.3.132)

(relaie ce se mai scrie compact sub forma:

p x J 0

(3.3.133)

unde x reprezint gradientul n raport cu x).

Observm, de asemenea, din (3.3.131) si (3.3.132), c
p&i

d
d J 0
2 J 0
H
pi

dt
dt xi
t xi
xi

(3.3.134)

iar din expresia (3.3.130) a lui H i innd cont de (1.1), avem:

x&i

H
pi

(3.3.135)

Relatiile (3.3.134) i (3.3.135), care se mai pot scrie sub forma compact
p& x H

(3.3.136)

x& p H

(3.3.137)

constituie ecuaiile Hamilton-Pontriaghin. Soluionarea lor, pentru condiii la limit convenabile,

furnizeaz comanda optim.
Dac u nu este limitat (supus restriciilor de tip inegalitate), atunci condiia necesar de
extremizare a lui H prin u este:
H
0, (i 1, n)
u

(3.3.138)

Dac u este ns supus unei restricii, exprimabil sub forma (3.3.111), atunci condiia
necesar pentru extremizarea lui H se exprim prin relaia general
H 0 max H ( x, u , p, t ) sau H 0 min H ( x, u , p, t )
u{U }
u{U }

(3.3.139)

unde

H 0 H ( x, u 0 , p, t )

(3.3.140)

25

b) Dac x(tf) este parial impus, adic doar q componente

q<n

(3.3.141)

ale vectorului de stare sunt supuse unor restricii de tip egalitate la tf cu tf fixat adic
xv (t f ) xvf , (v 1, q )

(3.3.142)

Celelalte n-q componente sunt libere i atunci criteriul (3.3.108) va suferi o variaie
dJ

x (t

i q 1

(3.3.143)

dat doar de variabilele de stare care nu sunt supuse restriciilor (se spune c am pierdut q
grade de libertate). Cu acestea, cele expuse la punctual a) rmn valabile, cu condiia ca cele q
variabile de stare adjuncte pv(t) ce corespund variabilelor de stare xv(t) supuse restriciilor s nu
mai fie obligate a avea valorile finale v, ci s fie lsate libere (compensm astfel cele q grade de
libertate pierdute prin ridicarea a q restricii).

3 Aplicaii
4.1 Aplicaie optimizare prin metode variaionale utiliznd teorema de optimalitate
[3]
Ne punem problema s gsim traiectoria ce trebuie urmat de un satelit pentru a ajunge dintr-o
stare iniial dat ntr-o stare final dat cu consum minim de energie. Adic vom afla comanda
tf

1 T
optimal uopt(t) ce minimizeaz indicele de performan J (u (t )) u (t )u (t )dt .
2 t0
Legea de micare a satelitului este dat prin sistem de ecuaii difereniale de oridin 2 de mai jos:

k
r&
(t ) r (t )&2 (t ) 2 u1 (t )
&
r (t )

&(t )r&(t ) 1
&
&
(t ) 2

u 2 (t )

r (t )
r (t )
unde u1 este fora ce acioneaz asupra satelitului pe direcie radial, iar u2 este foara ce
acioneaz pe direcie tangenial.
Sistemul dinamic este neliniar i poate fi tratat ca atare, dar poate fi liniarizat i studiat ca
sistem liniar, dup cum vom vedea n cele ce urmeaz.

26

Observm c pentru

u10 (t ) u20 (t ) 0

sistemul

de mai

sus admite

soluia

r0 (t ) r0 , 0 (t ) t , unde r0 i sunt constante, iar r03 2 k .

&
Dac alegem r0 = 1 deducem: r0 (t ) 1 , r&
0 (t ) 0 , 0 (t ) t i 0 (t ) . Alegnd strile
x1,

x2,

x3

x4

ca

fiind: x1 (t ) r (t ) r0 (t ) , x2 (t ) r&(t ) r&

0 (t ) ,

x3 (t ) (t ) 0 (t )

x (t ) r (t ) 1 , x2 (t ) r&(t ) , x3 (t ) (t ) t i x4 (t ) &(t )
x4 (t ) &(t ) &
0 (t ) ; mai precis 1
partea neliniar a sistemului devine:

2
u1 f 2 ( x, u )
( x1 1) 2
( x ) x2
1
&
x&4 (t ) &
(t ) 2 4

u2 f 4 ( x, u )
x1 1
x1 1
x&2 (t ) &
r&
(t ) ( x1 1)( x4 ) 2

iar partea liniar:

x&1 x2
x&3 x4
cu soluia iniial x10 = x20 = x30 = x40 = 0 .
Prin urmare
f 2
2 2 f 2
f
f
f
f
( x4 ) 2
,
0, 2 0, 2 2( x1 1)( x4 ), 2 1, 2 0
3
x1
( x1 1) x2
x3
x4
u1
u2
f 4 2 x2 ( x4 )
u2
f
2( x4 ) f 4
f
2 x2 f 4
f
1

, 4
,
0, 4
,
0, 4
2
2
x1
( x1 1)
( x1 1) x2
x1 1 x3
x4
x1 1 u1
u2 x1 1
Calculnd coeficienii de mai sus corespunztori soluiei iniiale obinem ecuaiile de
stare ale sistemului liniarizat:

x&1 (t )
0
&
2
x2 (t ) 3
x&3 (t ) 0

0
x&4 (t )

1
0
0
2

0 0 x1 ( t )

0 2 x2 (t)

0 1 x3 (t)

0 0 x4 (t )

0
1
0
0

0
u (t )
0 1

0 u2 (t )

Astfel am adus sistemul sub forma:

x&(t ) Ax (t ) Bu (t )
unde:

27

 x1 (t )

x2 (t )

x(t )
, u (t )
x3 (t )

x
(
t
)
4
1
0
0

2
3
0
0
A
0
0
0

0 2 0

u1 (t )

u2 (t )
0

2
, B

0
1
0
0

Avand sistemul care descrie legea de micare a satelitului scris sub forma de mai sus
facem urmtoarele notaii:
T
1. p (t ) p1 (t )

p2 (t )

p3 (t )

p4 (t ) - vectorul multiplicatorilor lui Lagrange;

f1 ( x, u ) x&1 x2

f1 ( x(t ), u (t ))

f 2 ( x(t ), u (t ))
f 2 ( x, u ) x&2 3 x1 2 x4 u1

2.
, f (t )
f 3 ( x (t ), u (t ))
f 3 ( x, u ) x&3 x4

f 4 ( x, u ) x&4 2 x2 u2
f 4 ( x(t ), u (t ))
2

T
2
2
3. L u (t )u (t ) u1 (t ) u2 (t ) - Lagrangeanul

Folosindu-ne de aceste notaii scriem Hamiltonianul:

H L pT (t ) f (t ) H u12 (t ) u22 (t ) p1 (t ) f1 (t ) p2 (t ) f 2 (t ) p3 (t ) f 3 (t ) p4 (t ) f 4 (t ) .
Pentru a determina vectorul p(t) al multiplicatorilor lui Lagrange rezolvm urmtorul
sistem de ecuaii difereniale:
H
p&1 (t ) x

p&1 (t ) 3 2 p2 (t )

p&2 (t ) p1 (t ) 2 p4 (t )

H
p&3 (t ) 0
p&3 (t )
x3 p&4 (t ) 2 p2 (t ) p3 (t )
H
p&4 (t )
x4

H
p&2 (t ) x

avnd condiiile iniiale: p1 (t0 ) p10 , p2 (t0 ) p20 , p3 (t0 ) p30 , p4 (t0 ) p40 .
Dup ce aflm vectorul p(t), pentru a determina comanda optimal uop(t) rezolvm
sistemul:

28

 H
u 0

p2 (t )

2u1 (t ) p2 (t ) 0 u1 (t ) 2

2
u
(
t
)

p
(
t
)

H
2
4

u (t ) p4 (t )
0
2
u2

2
Pentru a afla traiectoria optimal nu ne mai rmne dect s nlocuim u(t) cu uop(t) n
ecuaia de stare a sistemului. Astfel obinem xop(t) rezolvnd:
t

xop (t ) e x(t0 ) e A( t s ) Buop (t )ds

At

t0

T
avnd condiiile iniiale x (t0 ) x10

x20

x30

x40 . Astfel obinem coordonatele polare ce

descriu traiectoria optimal a satelitului de forma:

ropt (t ) x1_ opt (t ) r0

opt (t ) x3_ opt (t ) 0

Pentru a trece la coordonate carteziene nu ne rmne dect s facem urmtoarele transformri :
xopt (t ) ropt (t ) cos(opt (t ))
yopt (t ) ropt (t ) sin( opt (t ))

Rezultate i concluzii
Pentru a rezolva numeric aceast problem am folosit att programul Maple ct i
programul Matlab. Programele propriu-zise se gsec n Anexa 1, respectiv Anexa 2.
n calculele efectuate am considerat 1 .
n urma calculelor am obinut comanda optimal de forma:
u1_ opt
uopt

u2 _ opt

1
3

sin(t ) cos(t ) 1
2
2

cos(t ) 3sin(t ) 3t 1

2 2

Traiectoria ce trebuie urmat de satelit este dat prin coordonatele polare de mai jos:

29

5
3
5
3
ropt (t ) cos(t )sin(t ) cos(t ) 2 cos(t ) 6sin(t ) 2 9t sin(t ) sin(t ) 2 2 cos(t )t 3t 2 t
2
2
2
2
2
2
opt (t ) sin(t ) 15cos(t )sin(t ) 14sin(t ) 4 cos(t ) 9 cos(t )t 6 cos(t ) 2 t sin(t )
3
9
9t 3 3t 2
7t cos(t )t 2 sin(t )t 2

2
2
4
4

a)

b)

Figura 6 a) traiectoria optimal reprezentat folosindu-ne de coordonatele carteziene x i y;

b) traiectoria optimal reprezentat folosindu-ne de coordonatele polare r i

n figura de mai sus am reprezentat grafic traiectoria ce trebuie urmat de satelit, folosindu-ne
att de coordonatele carteziene ( a) ) ct i de coordonatele polare ( b) ).

4.2. Aplicaie optimizare prin metode variaionale utiliznd ecuaia matricial

Riccati [5]
tim c marea majoritate a rachetelor ghidate au nevoie ca unghiul de ruliu s fie
meninut constant pe toat durata zborului pentru ca sistemul de ghidare s funcioneze corect.
Din acest motiv este necesar un autopilot de ruliu care s menin constant poziia rachetei n
timpul zborului.
Astfel noi vom construi un sistem de comand cu feedback care va ine unghiul de ruliul
aproape de zero. n acelai timp micarea eleronului nu va depi un anumit prag dat pentru
unghiul de deviere.
Ecuaiile de micare pentru micarea de ruliu a rachetei sunt:

30

I x p&

L
L
p
a
p
a

& p
L
L
a este momentul de ruliu datorat micrii eleroanelor; iar
p este momentul de
a
p

unde

amortizare la micarea de ruliu.

Fcnd notaiile: L a

L / a
L / p
, Lp
putem rescrie ecuaiile de micare astfel:
Ix
Ix
p& Lp p L a a

& p
Pentru a aduce ecuaiile de mai sus sub forma x& Ax Bu le scriem astfel:
0
0 1
&

L a
0 L

p
p
p&

a
unde
0
0 1

x ;A
;B

p
0 Lp
L a
Funcionala de minimizat n acest caz are forma:
1
J
2 0

a

p

pmax
a max

max

dt

unde max este unghiul maxim de ruliu dorit, pmax este valoarea maxim admis a coeficientului de
ruliu , iar a max este valoarea maxim admis a deviaia eleroanelor.
Comparnd
J

tf

x Qx u
T

aceast

expresie

cu

forma

general

funcionalei

de

cost:

Ru dt , observm c n cazul nostru avem:

1
2
max

,R

1
2
pmax

2
a max

Determinm comanda optim rezolvnd ecuaia matricial Riccati

31

S&(t ) S (t ) A AT S (t ) Q S (t ) BR 1BT S (t ) 0
Deoarece n cazul nostru timpul final este infinit matricea S devine o matrice constant (nu
depinde de timp) i astfel termenul S&(t ) dispare. Astfel noi trebuie s rezolvm ecuaia, avnd ca
necunoscute elementele matricii S:
SA AT S Q SBR 1 BT S 0
nlocuind n ecuaia de mai sus matricile A, B, Q i R obinem urmtorul sistem de
ecuaii, cu necunoscutele S11, S12, S21 i S22. Dar cum S este o matrice simetric avem egalitatea
S12,=S21.

2
S122 L2 a max
0
2
max
2
S11 S12 L p S12 S 22 L2 a max
0
1
2 2
2
2S12 2 S 22 Lp
S 22
L a max
0
pmax

Comanda optimal este dat de ecuaia:

u (t ) Kx(t )
unde K R 1 BT S .

Rezultate si concluzii
Am folosit urmtoarele valori numerice pentru caracteristicile aerodinamice ale rachetei:
Lp 2rad / s; L a 9000 s 2 ;

max 10 0.174rad ; pmax 300 / s 5.23rad / s; max 0.522rad

Am rezolvat numeric aceast aplicaie folosind att Maple ct si Matlab. Programele
propriu-zise se gsec n Anexa 3, respectiv Anexa 4.
n urma calculelor am obinut comanda optimal de forma:

a _ optim 3 (t ) 0.1028 p (t )
Valorile optimale pentru (t ) i p(t) sunt:

(t ) 0.006 e 897.7 t 0.093 e 30t

p (t ) 2.79 e 30t 5.41 e 897.7 t
Funcionala de cost corespunzatoare comenzii optimale are valoarea:
J 0.00471

32

Pentru a scoate n eviden c aceast valoare a funcionalei este cea minima considerm
o alt valoare pentru comand i comparm noul cost cu costul obinut pentru comanda optimal.
Fie noua comand a 2 5 (t ) 10 p(t ) . Costul corespunztor acestei comenzi are
valoarea J 2 20.20 . Observm c noul cost este mai mare dect cel obinut pentru comanda
optimal.
n figura de mai jos am reprezentat _ optim(t ) i p _ optim(t ) funcie de timp. Din grafice
observm c valorile acestora tind la 0 lucru pe care l i doream. Scopul nostru a fost s gsim comanda
optimala ce va menine ughiul de rului (t ) ct mai aproape de valoarea 0.

a)

b)

Figura 7 a) _ optim(t ) funcie de t; b) p _ optim(t ) funcie de t

(t ) i lim p(t ) . Aceste limite ne-au dat 0, lucru care

Acelai lucru l-am verificat calculnd lim
t
t
ne confirm c am obinut comanda care menine unghiul de ruliu ct mai aproape de valoarea 0.

Fcnd o comparaie ntre programul realiyat n Maple i cel realiyat n Matlab putem
spune c rezolvarea problemei utiliznd programul Matlab este mai avantajoas deoarece exist
funcia lqr (linear-quadratic regulator) care calculeaz direct soluia S a ecuaiei matriciale
Riccatri i matricea K. Sintaxa acestei funcii este [K,S,e]=lqr(A,B,Q,R) unde matricile A i B
sunt cele din ecuaia de stare a sistemului, iar matricile Q i R sunt cele din funcionala de cost.
Funcia lqr ntoarce ca rezultat matricile K i S. Astfel ne este uurat foarte mult munca.

4.3. Aplicaie optimizare folosind metoda programrii dinamice [6]

Fie un avion care poate zbura de la stnga la dreapta de-a lungul rutelor reprezentate n
figura 8. Interseciile a, b, c, reprezint orae iar numerele reprezint combustibilul necesar
pentru a parcurge distana dintre orae. Vom folosi principiul programrii dinamice al lui
Bellman pentru a determina ruta ce trebuie urmat de avion pentru a ajunge din oraul a n orasul
i cu consum minim de combustibil.

33

Figura 8

Numerotm nivelurile de decizie ale procesului de la k 0 pn la k N 4 , aa cum se

vede n figura 9. La fiecare nivel k 0,1,..., N 1 se ia o decizie, acest lucru ne mai fiind necesar
la ultimul nivel deoarece starea final este impus.

Figura 9

Starea curent este nodul in care lum decizia curent. Astfel, starea initial este x0 a .
La nivelul 1, starea poate fi x1 b sau x1 d . Similar x2 c, e ori g; x3 f sau h; iar starea
final este constrans s fie xN x4 i .
Pentru a controla uk considerm c la fiecare nivel k uk poate luam valorile +1 i -1 dup
regula: uk 1 dac ne micm n sus pe diagrama rutelor iar uk 1 dac ne micm n jos pe
diagrama rutelor (nivelul de referin fiind nivelul nodului n care se ia decizia).
Pentru a rezolva problema vom parcurge invers diagrama: de la nodul final i la nodul de
start a.

34

Pornim cu k N 4 . La acest nivel nu este necesar nicio decizie aa c trecem la

nivelul k 3 . Dac x3 f atunci controlul optimal este u3 1 iar costul (adic combustibilul
necesar pentru a ajunge din nodul i in nodul f) este 4. Dac x3 h atunci controlul optimal este
u3 1 iar costul este 2.
Acum trecem la nivelul urmtor k 2 . Aici avem 3 stri posibile. Dac x2 c atunci
controlul este u2 1 iar costul este 3+4=7. Dac x2 e trebuie s lum o decizie. Dac luam
u2 1 o lum pe ruta e f i apoi ajungem n nodul i, avnd un cost de 3+4=7. Pe de alt
parte, dac lum u2 1 o lum pe ruta e h i apoi ajungem n nodul i, vom avea un cost de
2+2=4. Astfel c decizia optimal este u2 1 cu un cost asociat de 4. Dac x2 g avem o
singur opiune: u2 1 cu un cost de 2+4=6.
Trecem la nivelul k 1 . Avem 2 stri posibile. Dac x1 b trebuie s lum o decizie.
Dac lum u1 1 o lum pe ruta b c f i apoi ajungem in nodul i, avnd un cost de
2+3+4=9. Dac lum u1 1 o lum pe ruta b e i apoi continum pe ruta optimal aflat
mai sus e h i , avnd un cost de 1+2+2=5. Astfel decizia optimal este u1 1 cu un cost
asociat de 5. i n cazul n care x1 d trebuie luat o decizie. Dac lum u1 1 o lum pe ruta
d e i apoi continum pe ruta optimal e h i , avnd un cost de 3+2+2=7. Dac lum
u1 1 o lum pe ruta d g h i apoi ajungem n nodul i, avnd un cost de 2+4+2=8. Astfel
decizia optimal este u1 1 cu un cost asociat de 7.
Ajunge astfel la nivelul k 0 . Avem o singur stare posibil x0 a (starea iniial). Dac
lum u0 1 o lum pe ruta a b i apoi continum pe ruta optimal b e h i , avnd
un cost de 3+1+2+2=8. Dac lum u0 1 o lum pe ruta a d i apoi continum pe ruta
optimal d e h i , avnd un cost de 1+3+2+2=8. Observm c indiferent de valoarea lui
u0 obinem acelai cost. Astfel controlul optimal pentru k 0 nu este unic.

Rezultate si concluzii
Conform rezultatelor noastre exist dou rute de la nodul a la nodul i cu acelai cost 8
(consumul minim de combustibil): a b e h i i a d e h i . Astfel soluia
problemei de cost minim nu este unic.

35

Am evideniat rezultatele obinute mai sus n figura de mai jos (figura 9). Numerele
dintre paranteze reprezint costul minim necesar pentru a ajunge din nodul aosicat numarului din
parantez n nodul final i.

Figura 10

Observm c principiul de optimalitate al lui Bellman a redus numrul calculelor

necesare pentru a rezolva problema prin reducerea numrului deciziilor ce trebuie luat.

36