Sunteți pe pagina 1din 63

Calcul Numeric

Cursul 13

2011-2012



Anca Ignat

1
Optimizare numeric

min { ( ) ; } , :
n n
f x x f e

Un punct *
n
x e se numete punct de minim global pentru
funcia f dac ( *) ( )
n
f x f x x s e .
Un punct *
n
x e se numete punct de minim local pentru
funcia f dac exist o vecintate V a punctului * x pentru
care ( *) ( ) f x f x x V s e .
Un punct *
n
x e se numete punct de minim strict local
pentru funcia f dac exist o vecintate V a punctului * x
pentru care ( *) ( ) , * f x f x x V x x s e = .
{ }
( *, ) ; *
n
V S x r x x x r = = e s .
2
Dac funcia
1
( )
n
f C e se numete gradient al funciei f
n punctul x vectorul:
1 2
( ) , , ,
T
n
f f f
f x
x x x
| |
c c c
V =
|
c c c
\ .
.
Dac funcia
2
( )
n
f C e se numete matrice hessian a
funciei f n punctul x matricea:
2
2
, 1,...,
( ) ( )
i j
i j n
f
f x x
x x
=
| |
c
V =
|
|
c c
\ .






3


2 2 2
2
1 1 2 1
2 2 2
2 2
2 1 2 2
2 2 2
2
1 2
( ) ( ) ( )
( ) ( ) ( )
( )
( ) ( ) ( )
n
n
n n n
f f f
x x x
x x x x x
f f f
x x x
f x x x x x x
f f f
x x x
x x x x x
| |
c c c
|
c c c c c
|
|
c c c
|
V = c c c c c
|
|
|
c c c
|
|
c c c c c
\ .






4
Teorema lui Taylor

Dac funcia
1
( )
n
f C e este continuu difereniabil atunci
exist (0,1) t e astfel ca:

( ) ( ) ( )
T
f x p f x f x tp p + = + V + . (1)

Dac
2
( )
n
f C e este de dou ori continuu difereniabil
atunci exist (0,1) t e astfel ca:

2
1
( ) ( ) ( ) ( )
2
T T
f x p f x f x p p f x tp p + = + V + V + . (2)



5
Teorema 1 (condiii necesare de optim de ordinul nti)

Fie
1
( )
n
f C e i *
n
x e un punct de minim local pentru f.
Atunci ( *) 0 f x V = .

Demonstraie: Presupunem prin reducere la absurd c
( *) 0 f x V = . Fie ( *) p f x = V . Avem:
( *) ( *) 0.
T
p f x f x V = V <
Deoarece f V este continu n vecintatea lui * x , exist T > 0
astfel ca:
| |
( ) 0 , 0,
T
p f x tp t T V + < e .
Pentru orice (0, ] s T e , din Teorema lui Taylor avem:
( * ) ( *) ( * ) , pentru un (0, )
T
f x sp f x sp f x tp t s + = + V + e .
6
Prin urmare ( * ) ( *) (0, ] f x sp f x s T + < e , ceea ce implic
faptul c * x nu este punct de minim local.


Un punct * x pentru care ( *) 0 f x V = se numete punct
staionar. Teorema de mai sus spune c orice punct de minim
local trebuie s fie punct staionar.

Teorema 2 (condiii necesare de optim de ordinul al doilea)

Fie
2
( )
n
f C e i *
n
x e un punct de minim local pentru f.
Atunci ( *) 0 f x V = i matricea hessian
2
( *) f x V este pozitiv
semidefinit.


7
O matrice
n n
A

e este pozitiv semidefinit dac
( )
, 0
n
n
Ax x x > e


i este pozitiv definit dac
( )
, 0 , 0
n
n
Ax x x x > e =

.

Demonstraie: Din Teorema 1 rezult c ( *) 0 f x V = .
Presupunem prin reducere la absurd c matricea hessian n
* x nu este pozitiv semidefinit, adic exist un vector p
pentru care
2
( *) 0
T
p f x p V < i deorece matricea hessian
este continu avem
2
( * ) 0 [0, ]
T
p f x tp p t T V + < e .
Folosind relaia (2) din Teorema lui Taylor, avem (0, ] s T e :

2 2
1
( * ) ( *) ( *) ( ) ( *)
2
T T
f x sp f x s f x p s p f x tp p f x + = + V + V + < .

8
Teorema 3 (condiii suficiente de ordinul al doilea)

Fie
2
( )
n
f C e i *
n
x e un punct pentru care ( *) 0 f x V =
i matricea hessian
2
( *) f x V este pozitiv definit. Atunci * x
este punct de minim strict local pentru f.

Demonstraie: Deoarece
2
f V este continu matricea hessian
este pozitiv definit ntr-o vecintate ( *, ) V S x r = a punctului
* x . Fie 0 cu p p r = < atunci * x p V + e i:
2
2
1
( * ) ( *) ( *) ( * )
2
1
( *) ( * ) , (0,1)
2
T T
T
f x p f x f x p p f x tp p
f x p f x tp p t
+ = + V + V +
= + V + e

de unde deducem c:
9
( *) ( * ) , || || , 0 f x f x p p p r p < + < =


O funcie f se numete convex dac:

( )
1 2 1 2 1 2
(1 ) ( ) (1 ) ( ) , , , [0,1].
n
f a x a x af x a f x x x a + s + e e

Teorema

Dac f este funcie convex orice punct de minim local este
punct de minim global. Dac n plus
1
( )
n
f C e atunci orice
punct staionar este punct de minim global.



10
Metode de descretere

Se numete direcie de descretere a funciei f n punctul x
un vector
n
d e pentru care
( ) ( ) , [0, ) f x d f x o o o + s e .

Teorema
Fie
1
( )
n
f C e . Un vector d este direcie de descretere
pentru f n x dac i numai dac:

( )
( ) , ( ) 0
n
T
f x d d f x V = V <

.




11
Algoritm de descrtere

1. alege
n
x e
2. do
- gsete o direcie de descretere d a lui f n x
- gsete 0 o >

astfel ca
( ) min{ ( ); (0, )} f x d f x d o o o o + = + e


(ajustarea pasului line search)
- x x d o = +


while (nu am gsit soluia)





12
Ajustarea pasului (line search)

Trebuie rezolvat o problem de minimizare unidimensional

min{ ( ) ; [ , ]} g a a b c e

Metoda Newton

Fie a
k
aproximarea curent a soluiei problemei de minimizare
de mai sus. Vom folosi dezvoltarea n serie Taylor a funciei g
2 3
1 1
( ) ( ) ( )( ) ( )( ) ( )( )
2 3!
k k k k k k k
g a g a g a a a g a a a g b a a
' '' '''
= + + +

2
1
( ) ( ) ( )( ) ( )( )
2
k k k k k
q a g a g a a a g a a a
' ''
= + +
13
Pentru
k
a a ~ putem considera c funcia q aproximeaz
funcia g , ( ) ( ) q a g a ~ i

min{ ( ) ; [ , ]} min{ ( ) ; [ , ]} g a a c b q a a c b e e .

Construim elementul a
k+1
ca fiind soluia problemei:

1
( ) min{ ( ) ; [ , ]}
k
q a q a a c b
+
= e

a
k+1
este soluia ecuaiei

1
( )
( ) 0 ( ) ( ) "( )( )
"( )
k
k k k k k
k
g a
q a q a g a g a a a a a
g a
+
'
' ' '
= = + =

14
Metoda secantei

Dac n relaiile de mai sus se face urmtoarea aproximare:

1
1
'( ) '( )
"( )
k k
k
k k
g a g a
g a
a a



obinem urmtoarea metod de aproximare, numit i metoda
secantei:

1
1
1
( )
'( ) '( )
k k
k k k
k k
a a
a a g a
g a g a

'
=





15
Aproximare spline cubic

Vom folosi pentru a construi a
k+1
pe a
k-1
, a
k
, g(a
k-1
), g(a
k
),
g(a
k-1
), g(a
k
). Aproximm funcia g cu un polinom de grad 3

3 2
0 1 2 3
( ) ( ) g a q a c a c a c a c ~ = + + +

Funcia q (respectiv constantele c
i
) se calculeaz a..

1 1
1 1
( ) ( ) , ( ) ( )
'( ) '( ) , '( ) '( )
k k k k
k k k k
q a g a q a g a
q a g a q a g a


= =
= =



a
k+1
este punctul de minim al funciei q

16
2 1
1 1
1 2
1
1 1
1
2
2 1 1
'( )
( )
'( ) '( ) 2
( ) ( )
'( ) '( ) 3
'( ) '( )
k
k k k k
k k
k k
k k
k k
k k
g a u u
a a a a
g a g a u
g a g a
u g a g a
a a
u u g a g a
+

(
+
=
(
+

= +

=







17
Ajustarea inexact a pasului

( ) min{ ( ); (0, )} f x d f x d o o o o + ~ + e



- nu se obine o

optimal
- pentru reducerea timpului de calcul optimizarea se oprete
nainte de a ajunge la soluie, n funcie de anumite
criterii/teste de oprire

Regula lui Armijo

( ) ( ) , ( ) (0) '(0) , (0,1)
k k
g a f x ad g a g a g c c = + = + e

a este acceptabil dup regula lui Armijo dac

18
(1) ( ) ( )
(2) ( ) ( )
g a g a
g a g a o o
s
>



0
1
0;
se alege
( ( ) ( ) )
1
1
k k
k k
k
a
while g a g a
a a
k k
o
+
=
>
=
= +


2 sau 10 , 0.2 o c = =



19
Testul Goldstein

Dat (0, 2), c o e este considerat acceptabil dac:

( ) ( ) si ( ) (0) (1 ) '(0) g g g g g o o o c s > +


1 k k k
x x d o
+
= +

o este acceptat dac

1
( ) ( )
1
( )
k k
k k
f x f x
f x d
c c
o
+

s s
V




20
Testul Wolfe

(0, 2)
: ( ) ( ) (0) '(0)
'( ) (1 ) '(0)
g g g g
g g
c
o o o c o
o c
e
s = +
>


21
22
Metoda pantei maxime

dat
direcie de descretere a lui n

direcie de descretere dac :
0 1
min{ ( ) ; } , :
, , 0,1, ...
0 ( ) min{ ( ) ; [0, ]}
( ) 0.
n n
k k k k
k k
k k k k k k
k
T
k k
f x x f
x x x d k
d f x
f x d f x d
d
f x d
o
o o o o o
+
e
= + =
> + = + e
V <


23
Metoda pantei maxime:

( )
k k
d f x = V

Cazul ptratic:

( ) ( )
1 1
( ) , ,
2 2
n n
T T
f x x Ax x b Ax x b x = =



,
n n n
b A

e e simetric i pozitiv definit

A pozitiv definit det A 0, f este strict convex

2
( ) , ( ) f x Ax b f x A V = V =

24
punct unic de minim
soluia sistemului liniar
1
( *) min{ ( ); } *
* , *
n
f x f x x x
x Ax b x A b

= e
= =



( ) g x Ax b =

1
,
argmin{ ( ) ; [0, ]}
k k k k k k
k k k
x x g g Ax b
f x g
o
o o o o
+
= =
= e


25
( ) ( )
( ) ( )
2
2
1
( ) ( ) ( ) ( )
2
1
( )
2
1
( )
2
T T
k k k k k k k k
T T T
k k k k k k
T T
k k k k k
f x g x g A x g x g b
g Ag g Ax g b f x
g Ag g g f x
o o o o
o o
o o
= =
= + =
= +


ecuaie de gr. 2 n , coef. lui
2
( ) , 0
T
k k k k
f x g g Ag o o o >

min
T
k k
k
T
k k
g g
g Ag
o o = =



26
Metoda pantei maxime pentru funcionale ptratice:

dat
0
1
, 0,1, ...
T
k k
k k k
T
k k
k k
x
g g
x x g k
g Ag
g Ax b
+

| |
= =
|
\ .
=


1 1
( ) ( *) ( *) ( ) * *
2 2
( ) ( ) ( )
T T
E x x x A x x f x x Ax
E x f x g x
= = +
V = V =

27
irul construit cu metoda pantei maxime satisface:

( )
( ) ( )
2
1
1
( ) 1 ( )
T
k k
k k
T T
k k k k
g g
E x E x
g Ag g A g
+

(
(
=
(



Inegalitatea lui Kantorovich

( )
( ) ( )
pozitiv definit

2
2
1
, , 0
4
( )
n n T
T
T T
A A A A
x x
cC
c C
x Ax x A x

e = >
>
+


c, C - cea mai mica i cea mai mare valoare proprie a lui A.
28
Teorem

Cazul ptratic: Pentru orice iteraie iniial
0
x , irul construit
cu metoda pantei maxime converge la * x unicul punct de
minim al funciei f. Avem:
2
1
( ) ( )
k k
C c
E x E x
C c
+

| |
s
|
+
\ .


Cazul general:
2
: , ( ),
n n
f f C f e are un punct de
minim local * x . Presupunem c
2
( *) ( *) F x f x = V are c > 0
cea mai mic valoare proprie i C > 0 cea mai mare valoare
proprie. Dac irul
{ }
k
x construit cu metoda pantei maxime
converge la * x (la fiecare pas
2
( ) , ( )
k k
A f x b f x = V = V ),
29
*
k
x x atunci ( ) ( *)
k
f x f x converge liniar cu o rat de
convergen
2
C c
C c

| |
|
+
\ .
.

Metoda Newton

k
x - punctul curent de aproximare

2
1
( ) ( ) ( ) ( ) ( ) ( )( ) ( )
2
T T
k k k k k k
f x f x f x x x x x f x x x g y + V + V =

g funcional ptratic,
k
y x x = ,

30
2
1
( )
2
( ) , ( ) , ( )
T T
k k k
g y y Ay y b c
A f x b f x c f x
= +
= V = V =


* argmin{ ( ); }
n
y g y y = e este unica soluie a sistemului
liniar
1
1 2
, * ( ) ( )
k k
Ay b y A b f x f x

(
= = = V V



Metoda Newton

- dat
1
2
1 0
( ) ( ) , 0,1, ... ,
k k k k
x x f x f x k x

+
(
= V V =




31
Teorem

Fie
3
( )
n
f C e care are un punct de minim local * x astfel ca
matricea
2
( *) 0 f x V > este pozitiv definit. Dac punctul de
nceput
0
x este suficient de aproape de * x , || *|| x x r s ,
atunci irul
{ }
k
x generat cu metoda lui Newton converge la
* x i ordinul de convergen este cel puin 2.

Variante ale metodei lui Newton

1
2
1
( ) ( ) , 0,1, ...
k k k k k
x x f x f x k o

+
(
= V V =



k
o se alege astfel ca :

32
1
2
1
( ) min{ ( ( ) ( )); [0, ]}
k k k k
f x f x f x f x o o o

+
(
= V V e



1
, 0 , , ( )
n n
k k k k k k k
x x M g M g f x o o

+
= > e = V

panta maxim
metoda Newton
1
2
( )
k n
k k
M I k
M f x

=
(
= V



Cum alegem ? direcie de descretere
k k k k
M d M g =

2
1 1 1
( ) ( ) ( ) ( ) (|| || )
T
k k k k k k k
f x f x f x x x O x x
+ + +
= + V +

2
1
( ) ( ) ( )
T
k k k k k
f x f x g M g O o o
+
= +
33
1
( ) ( ) , 0 0
T
k k k k k
f x f x g M g o
+
< > >

Lum 0
k
M > pozitiv definit

1
2
( ) , 0
k k n k k
M I f x c c

(
= + V >



ntotdeauna exist 0
k
c > astfel ca matricea 0
k
M > s fie
pozitiv definit.

- Fie i constant fixat
2
( ) 0
k k
F f x o = V > .

- Se calculeaz valorile proprii ale matricii
1 2
: , , ...,
k n
F

34
- Se alege 0
k
c > cea mai mic constant nenegativ pentru
care matricea
k n k
I F c + are valorile proprii o :

0 & , 1, ...,
0 & max{ ; 1, ..., }
k k i
k k i
i n
i n
c c o
c c o
> + > =
> = =


Noua direcie de descretere este:

( )
1
k k n k k
d I F g c

= + .

- se det. cu ajustarea pasului
1
,
k k k k k
x x d o o
+
= +


35
Metoda gradienilor conjugai (a direciilor conjugate)

, , 0
n n T
A A A A

e = > pozitiv definit



1
min{ ( ) ; }
2
T T n
f x x Ax x b x = e

Definiie
Pentru o matrice ,
n n T
A A A

e = simetric, doi vectori


1 2
,
n
d d e se numesc A-ortogonali sau conjugai n raport
cu A dac:

( ) ( ) ( )
1 2 2 1 2 1 1 2
, , , 0
n n n
T
d Ad Ad d d Ad Ad d = = = =



36
( )
sunt ortogonali
ortogonalitate clasic
1 2
1 2
0 ,
, 0
n
n n
n
A d d A
A I d d

=
= =



Vectorii
{ }
0 1
, , ,
k
d d d se numesc A-ortogonali sau
A-conjugai dac:

( )
, 0 , , , 0,1, ...,
n
T
i j j i
d Ad Ad d i j i j k = = = =



Propoziie
Fie , , 0
n n T
A A A A

e = > , i
{ }
0 1
, , ,
k
d d d direcii
A-conjugate, 0 , 0, ...,
i
d i k = = . Atunci vectorii
{ }
0 1
, , ,
k
d d d sunt liniar independeni.
37

{ }
{ }
baz n
- direcii conjugate
0 1 1
0 1 1
, , 0
, , ,
, , ,
n n T
n
n
n
A A A A
d d d
d d d A

e = >



soluia sist. * argmin{ ( ); } *
n
x f x x x Ax b = e =

0 0 1 1 1 1
*
*, *
n
n n
T T
i i i i i
b
x d d d
Ax d d Ax d Ad
o o o
o

=
= + + +
| |
= =
|
\ .



38
( )
( )
( )
( )
1
0
,
,
,
*
,
n
n
n
n
T
i
i
i
T
i i i i
n
i
i
i
i i
b d
d b
d Ad Ad d
b d
x d
Ad d
o

=
= =
=



Considerm procesul iterativ
dat
0
1
, 0,1, 2, ..., 1
,
n
k k k k
T
k k
k k k
T
k k
x
x x d k n
g d
g Ax b
d Ad
o
o
+
e
= + =
= =


are proprietatea c *
n
x x = .
39
0 0 0 1 1 1 1
0 0 0 1 1 1 1
*
k k k
n n
x x d d d
x x d d d
o o o
| | |


= + + + +
= + + + +



,
0 0
( ) ( * )
T T
i k i
i i
T T
i i i i
d A x x d A x x
d Ad d Ad
o |

= =

0
( ) 0
T
k k
d A x x =

0 0 0 1 1 1 1 1
* ( ) ( )
k k k k k k n n
x x d d d d | o | o | |

= + + + + +

Corolar
0
T
k i
g d i k = <

40
Algoritmul gradienilor conjugai

sau
0 0 0
0 0 0
1
1 1 1
1
1 1
,
n
T
k k
k
T
k k
k k k k
k k k k k k
T
k k
k
T
k k
k k k k
x g Ax b
d g b Ax
g d
d Ad
x x d
g Ax b g g Ad
g Ad
d Ad
d g d
o
o
o
|
|
+
+ + +
+
+ +
e =
= =
=
= +
= = +
=
= +



41
span
= subspaiul generat de vectorii
1 2
1 2 1 1
1 2
, , ... ,
{ , , ... , } { ; , 1, ..., }
, , ... ,
n
p
n
p p p i
p
y y y
y y y y a y a y a i p
y y y
e
= = + + e e =



Teorem

Presupunem c *.
k
x x = Avem urmtoarele relaii:
(1) 0 0,1, ..., 1
T
k i
g g i k = =

(2) span span
0 1 0 0 0
{ , , ..., } { , , ..., }
k
k
g g g g Ag A g =

(3) span span
0 1 0 0 0
{ , , ..., } { , , ..., }
k
k
d d d g Ag A g =

42
(4) 0 0,1, ..., 1
T
k i
d Ad i k = =

irul *
k
x x n cel mult n pai.

span
0 0 0 0
( , ) { , , ..., }
k
g k g Ag A g = K - se numete subspaiu
Krylov de grad k pentru
0
g .

43
Forma practic a metodei gradienilor conjugai
dat
0
0 0 0 0
1
1
1 1
1 1
, 0
,
( 0)
1;
n
k
T
k k
k
T
k k
k k k k
k k k k
T
k k
k
T
k k
k k k k
x k
g Ax b d g
while g
g g
d Ad
x x d
g g Ad
g g
g g
d g d
k k
o
o
o
|
|
+
+
+ +
+ +
e =
= =
=

= +

= +

= +

= +


44
Teorem
Dac matricea A are doar r valori proprii distincte,
algoritmul gradienilor conjugai calculeaz soluia * x n cel
mult r iteraii.

Teorem
Dac
1 2 n
s s s sunt valorile proprii ale matricii A
atunci:
2
2 2
1
1 0
1
2
1 1
2
1
1 0
1
|| *|| || *||
|| *|| 2 ( )
( ) ( ).
n k
k A A
n k
k A k
n k
k
n k
x x x x
x x E x
E x E x



+ +

| |

s
|
+
\ .
=
| |

s
|
+
\ .

45
Metodele gradienilor conjugai neliniare
2
1
( ) ( ) ( )( ) ( ) ( )( )
2
T
k k k k k k
f x f x f x x x x x f x x x + V + V

2
( )
( )
k k
k
g f x
A f x
V
V


Varianta pentru funcii oarecare a metodei gradienilor
conjugai:
46
dat
0
0 0 0 0
2
1
1 1
1
1 1
, 0
( ),
( 0)
( )
( )
1;
n
k
k
T
k k
k
T
k k
k k k k
k k
T
k k
k
T
k k
k k k k
x k
g f x d g
while g
A f x
g d
d Ad
x x d
g f x
g Ad
d Ad
d g d
k k
o
o
|
|
+
+ +
+
+ +
e =
= V =
=

(
= V

= +

= V

= +

= +


47
Metoda Fletcher-Reeves

k
o se calculeaz folosind metoda ajustrii pasului

1 1
T
k k
k
T
k k
g g
g g
|
+ +
=

dat
0
0 0 0 0
,
( ), , 0
n
x
g f x d g k
e
= V = =


48
exact sau inexact cu testul lui Wolfe
1
1 1
1
1 1
( 0)
min{ ( ); [0, )}
( )
( )
1;
k
k k k
k k k k
k k
T
FR
k k
k
T
k k
FR
k k k k
while g
f x d
x x d
g f x
g g
g g
d g d
k k
o o o o
o
|
|
+
+ +
+
+ +
=
= + e

= +

= V

= +

= +



Se pune problema dac
k
d sunt direcii de descretere?

49
1 1
1 1
k k k k
T T T
k k k k k k k
d g d
g d g g g d
|
|


= +
= +


Dac se folosete ajustarea pasului exact:
1 k
o

este punct de minim local pentru f pe direcia
1 k
d

prin
urmare
1
0 ( ( ))
T
k k k k
g d g f x

= = V .
2
2
|| || 0
T T
k k k k k k
g d g g g d = = < direcie de descretere

Dac se folosete ajustarea pasului inexact am putea avea
0
T
k k
g d > (
k
d direcie de cretere!!) dar folosind testul lui
Wolfe deducem:

50
( ) ( )
| ( ) | (1 ) | |
1
0, 0
2
T
k k k k k k k
T T
k k k k k k
T
k k
f x d f x g d
f x d d g d
g d
o co
o c
c
+ s +
V + s
| |
e <
|
\ .


Metoda Polak-Ribire

- variant a metodei Fletcher-Reeves
1 1
( )
T
PR
k k k
k
T
k k
g g g
g g
|
+ +

=

Dac se face ajustarea pasului inexact cu testul lui Wolfe nu
putem deduce c
k
d sunt direcii de descretere.
51
Se folosete max{ , 0}
PR
k k
| |
+
= i un test Wolfe adaptat pentru
a obine
k
d direcii de descretere.

Varianta Hestenes-Stiefel

1 1
1
( )
( )
T
HS
k k k
k
T
k k k
g g g
g g d
|
+ +
+


52
Metoda pantei maxime

, , , 0 (pozitiv definit),
n n T n
Ax b A A A A b

= e = > e

( ) ( )
1
( ) , ,
2
n n
f x Ax x b x =



x
*
este soluia sistemului Ax = b dac i numai dac x
*
este
punctul de minim al funciei f:

1
min{ ( ) ; } ( ) ,
n
f x x f x x A b
- -
e = =



53

1
1 1 1
1
( ) ( , , )
2
n n n
n ij i j i i
i j i
f x f x x a x x b x
= = =
= =


, 0 : , ( ) : ( )
n
v v g g t f x tv e = = +
( ) ( ) ( ) ( )
( ) ( )
( ) ( )
( ) ( )
vectorul reziduu
2
2
2
1
( ) , , , ,
2
, ,
1
, , ( ) ,
2
1
, ( ), ( ) ,
2
( ) :
n n n n
n n
n n
n n
g t Ax x t Av x t Ax v t Av v
b x t b v
Av v t Ax b v t f x
Av v t r x v t f x
r x b Ax
(
= + + +

=
= + +
= +
=






54
Punctul de minim al funciei g:

( )
( )
coef. lui
coef. lui
min
2
( ),
2* ,
n
n
r x v
t
t
t Av v
= =



( )
min
dac ( ) 0, ( ), 0 ( ) ( )
n
r x r x v f x t v f x = = + <




Se poate considera urmtorul procedeu iterativ de aproximare
a soluiei x
*
:

55
( )
( )
(0) ( ) ( )
( 1) ( ) ( )
( ) ( )
( ) ( )
( ) ( )
, , 0 dai
, 0,1, ...
( ),
, ( )
,
n
n
n k n k
k k k
k
k k
k k
k
k k
x v v
x x t v k
r x v
t r x b Ax
Av v
+
e e =
= + =
== =




Alegerea vectorului v
(k)


Un vector , 0
n
v v e = , se numete direcie de descretere
pentru funcia f n punctul x, dac exist t
0
>0 astfel ca:

0
( ) ( ) (0, ) f x tv f x t t + < e

56
( ) ( )
1
( ) ( )
n
kj j k
k k
j
k
f
x a x b Ax b r x
x
=
c
= = =
c



Gradientul funciei f este:

1
( ) , ( ) ( ) ( )
n
n
k
k
f
f x f x x r x
x
=
| |
c
V e V = =
|
c
\ .


Direcia care asigur cea mai mare descretere a funciei f din
punctul x este dat de ( ) f x V , n cazul nostrul este chiar
direcia dat de vectorul reziduu r(x).



57
Dac n schema iterativ de mai sus se consider:

( ) ( ) ( )
: 0,1, ...
k k k
v r b Ax k = = =
se obine:

Metoda pantei maxime

( 1) ( ) ( ) (0)
( ) ( ) ( ) ( )
, 0,1, , dat
( ) ( )
k k k
k
k k k k
x x t v k x
v f x r x b Ax
+
= =
= V = =
+



( )
( )
( ) ( )
( ) ( )
,
,
n
n
k k
k
k k
v v
t
Av v
=



58
Metoda pantei maxime este folosit n rezolvarea problemelor
de optimizare neliniare i mai puin n cele de rezolvare a
sistemelor liniare din cauza convergenei foarte lente (muli
pai de calcul, k mare).

O alternativ la metoda pantei maxime propus de Hestenes i
Stiefel a fost metoda gradienilor conjugai.

59
Precondiionare
Se consider norma:

( )
|| || ,
n
A
x Ax x =



Evaluarea erorii n metoda pantei maxime:

( ) (0)
1
1 2
( ) 1
|| || || ||
( ) 1
( ) numrul de condiionare spectral
0 < valorile proprii ale matricii
k
k
A A
n
n
k A
x x x x
k A
k A
A


- -
| |
s
|
+
\ .
=
s s s




60
Avem convergen rapid dac numrul de condiionare
spectral al matricii A este apropiat de 1 (k(A)1
ntotdeauna).
Ideea precondiionrii este de a transforma sistemul Ax=b
astfel nct s mbuntim proprietile spectrale.
, cu ( ) ( ) Ax b Ax b k A k A = = <<


Precondiionare
1 1
1 1
1 1 1 1
1 2 1 2 1 2
( la stnga)
( la dreapta)
(split)
Ax b M Ax M b
AM y b x M y
M AM y M b x M y M M M



= =
= =
= = =

,
, ,

61
cu M matrice nesingular , M ~ A. Matricea M sau M
-1

poart numele de matrice de precondiionare.

Cum trebuie s alegem matricea M?

- sistemul precondiionat ( Ax b =

) s fie uor de rezolvat
(convergen rapid)

- matricea de precondiionare s fie economic de construit
i aplicat ietariile s nu fie costisitor de construit



62
Matricea de precondiionare Jacobi
11 22
diag[ , , , ]
nn
M a a a =
Matrici de precondiionare SSOR
1
( ) ( ) ( )
T T
M D L D D L A L D L

= + + = + +
1
1 1 1 1
( ) (0, 2)
2
T
M D L D D L e e
e e e e

| || | | |
= + + e
| | |

\ .\ . \ .
,
Pentru e - optimal, n anumite cazuri:
1
( ( ) ) ( ( ))
opt
k M A O k A e

=
(
opt
e - foarte costisitor de calculat)