Sunteți pe pagina 1din 14

Metode directe de

optimizare
Metoda gradientului
Metoda cautarii pe retea
(Pattern Search)
Metode directe
Caracteristici:
Metode de cautare numerica prin care se
exploreaza suprafata de raspuns, prin
evaluarea functiei obiectiv, dupa un
algoritm dat, pana la identificarea solutiei
optime.
Sunt caracteristice functiilor fara restrictii
Tipuri de metode directe
Metode ce necesita evaluare derivatei
functiei obiectiv ( gradient, Newton,
Davidon-Fletcher-Powell,Marquardt, etc)
Metode directe care nu necesita evaluarea
derivator functiei obiectiv (Pattern Serach,
Powell, Rosenbrock, etc)

Considerente geometrice
Curba de raspuns
Pentru o functie obiectiv cu o singura
variabila, f(x), atunci cand x ia valori f(x)
descrie o curba- curba de raspuns

0
0.5
1
1.5
2
2.5
3
0 0.5 1 1.5 2 2.5 3
x
f
(
x
)
Pentru o functie cu doua variabile f(x1, x2), atunci cand x
1
si x
2
iau valori f
descrie o suprafata

Daca se intersecteaza suprafata de raspuns cu plane de z=f(x1,x2) constant,
si se proiecteaza ortogonal pe planul x1-x2 curba ce rezulta prin aceasta
intersectie rezulta curbe inchise, numite Curbe de contur
Curba de
contur
Curbe de contur pentru o functie obiectiv cu restrictiiin spatiul x1-x2 si
traiectoria cautarii
Metoda Gradientului
Principilu metodei: o functie f(x
1
,x
2
,..x
n
)
creste cel mai repede pe directia
gradientului
Directia gradientului va trebui urmata in
probleme de maximizare
In probleme de minimizare se urmeaza
directia gradientului cu semn schimbat
Algoritmul metodei gradientului
) , (
2 1
x x f opt

=
0
2
0
x
x
X
0
1
n
X X X X ...
2 1 0
Definirea problemei cu doua
variabile
Alegerea unui punct de start
Calculul valorilor succesive ale functiei obiectiv conform metodei
gradientului
k k k k
d X X =
+1
d
k
este directaia gradientului in punctul k , iar este pasul pe aceea directie
Pentru probleme de maxim (+), pentru probleme de minim (-)
Calculul directiei gradientului
) , (
) , (
2 1
2 1
x x f
x x f
d
k
V
V
=
|
|
.
|

\
|
|
|
|
|
|
.
|

\
|
c
c
c
c
= V
k
k
x
x
x
f
x
f
x x f
2
1 2
1
2 1
) , (
2
2
2
1
2
) , (
|
|
.
|

\
|
c
c
+
|
|
.
|

\
|
c
c
= V
x
f
x
f
x x f
x
Conditia de oprire a cautarii (conditie de convergenta):
c < V ) , (
2
x x f
x
gradientul norma
Exemplul 1
2 1
2
2
2
2 1 2 1
2 2 ) , (
1
x x x x x x x x f + + + =
0
0
0
2
0
1
=
=
x
x
Sa se identifice minimul functiei obiectiv:
Plecand din punctul
0 ) 0 , 0 ( = f
Utilizand metoda gradientului, precizia c=0.001
Iteratia1
|
|
.
|

\
|

|
|
.
|

\
|
=
|
|
.
|

\
|
0
2
0
1 0
0
2
0
1
1
2
1
1
d
d
x
x
x
x

|
|
.
|

\
|
=
|
|
.
|

\
|
=
|
|
.
|

\
|

|
|
.
|

\
|
=
|
|
.
|

\
|
354 . 0
354 . 0
41 . 1 / 5 . 0
41 . 1 / 5 . 0
5 . 0
0
0
0
2
0
1
1
2
1
1
d
d
x
x
|
|
.
|

\
|

+
= V
1
1
) , (
0
2
0
1
x x f
1 2
2
2 1
1
2 2 1
2 4 1
x x
x
f
x x
x
f
+ + =
c
c
+ =
c
c
Componentele gradientului se
pot estime ca functii analitice:
41 . 1 1 1 ) , (
0
2
0
1
= + = V x x f
|
|
.
|

\
|

+
=
|
|
.
|

\
|
41 . 1 / 1
41 . 1 / 1
0
2
0
1
d
d
5 . 0
0
=
) , ( ) , (
582 . 0 ) , (
0
2
0
1
1
2
1
1
1
2
1
1
x x f x x f
x x f
<
=
c > V ) , (
0
2
0
1
x x f
Se efectueaza o
noua iteratie
Iteratia2
|
|
.
|

\
|

|
|
.
|

\
|
=
|
|
.
|

\
|
1
2
1
1 1
1
2
1
1
2
2
2
1
d
d
x
x
x
x

|
|
.
|

\
|
= V
03 . 1
124 . 3
) , (
2
1
1
x x f
1 2
2
2 1
1
2 2 1
2 4 1
x x
x
f
x x
x
f
+ + =
c
c
+ =
c
c
29 . 3 03 . 1 123 . 3 ) , (
2 2 0
2
0
1
= + = V x x f
1
1
1
2
3.124/ 3.29
1.03/ 3.29
d
d
| |
| |
=
|
|
|
\ .
\ .
5 . 0
0
=
= ) , (
2
2
2
1
x x f
c > V ) , (
0
2
0
1
x x f
Se efectueaza o
noua iteratie
2 1 1
1 1 1
2 1 1
2 2 2
0.5
x x d
x x d
| | | | | |
= =
| | |
| | |
\ . \ . \ .
Metoda Hook Jeeves
Puncte de varf- cautari locale cu pasi dx1 si dx2
Puncte de baza extindere in retea
k k k
b b v =
+ + 1 1
2
Principiul metodei HOOK-JEEVES