SUPRAFEŢE ŞI PLANURI TANGENTE

Aproximarea prin serie Taylor determină pentru vectorul gradient o importantă

interpretare geomatrică. Considerăm ecuaţia unei suprafeţe într-un spaţiu n-
dimensional, de forma:
, unde c este o constantă
Pentru un punct arbitrar, , aproximarea liniară a lui f este :

Dacă punctul este pe suprafaţă, atunci şi astfel, pentru oricare

punct de pe sufrafaţă avem relaţiile :
, sau unde
Aceste relaţii exprimă faptul că produsul scalar dintre vectorul gradient şi oricare alt
vector, este zero pentru punctele de pe suprafaţă. Din definiţia produsului scalar
aceasta inseamnă că vectorul gradient este normal la suprafaţă. Şi mai mult, din
punctul de vedere al tehnicilor de optimizare, se poate spune că de-a lungul
direcţiei ectorului gradient valoarea funcţiei are cea mai rapidă creştere.
Ecuaţia planului tangent la o suprafaţă în punctul este dată de ecuaţia :

EXEMPLUL 1 : se consideră funcţia de două variabile . Pentru

anumite valori, graficele funcţiei sunt cercuri centrate în jurul originii. Considerăm
conturul care are ecuaţia . Punctul de coordonate (1,1) satisface
ecuaţia şi este pe contur. Gradientul funcţiei în punctul (1,1) este:

Ecuaţia tangentei la contur în punctul (1,1) este :

sau

Figura curbei, gradientul şi tangenta sunt prezentate în fig :

1
EXEMPLUL 2 : se consideră funcţia de 3 variabile . Pentru
valori specifice ecuaţia reprezintă sfere cu centrul în origine. Dacă se consideră cazul f
3, ecuaţia este . Punctul de coordonate (1,1,1) satisface ecuaţia şi este pe contur.
Gradientul funcţiei în punctul (1,1,1) este:

Ecuaţia tangentei la contur în punctul (1,1,1) este :

sau

REZOLVAREA SISTEMELOR DE ECUAŢII NELINIARE

(METODA NEWTON-RAPHSON)
Dezvoltarea în serie Tazlor a fost aplicată la o matodă de rezolvare a sistemelor de
ecuaţii neliniare, metodă ce se numeşte Newton-Raphson. Considerăm sistemul
de ecuaţii neliniare:

Metoda N-R porneşte dintr-un punct iniţial ales iar iteraţiile succesive încearcă
să-l deplaseze cît mai aproape de solutia sistemului de ecuaţii. Iteraţia de bază are
forma următoare:

2
 , unde iar punctul iniţial este
Îmbunătăţirea se obţine prin dezvoltare în serie Taylor:

Dacă scriem toate cele n ecuaţii în forma matriceală, se obţine:

sau într-o formă concentrată:

unde matricea J a derivatelor parţiale a funcţiilor se mai numeşte si matricea

Jacobianul sau jacobianul sistemului. În aceste condiţii, înbunătăţirea se poate
obţine folosind expresia inversei matricei jacobianului:

Cu fiecare nouă iteraţie se îmbunătăţeşte soluţia generală a sistemului. Astfel,

convergenţa algoritmului poate fi definită folosind norma vectorului :

, unde tol este o valoare mică a toleranţei

Algoritmul Newton-Raphson converge foarte rapid la soluţia corectă dacă punctul de

star este ales în proximitatea acesteia. Oricum, se cunoaşte despre aceaqstă metodă că
poate avea un traseu divergent, adică nu converge către soluţia sistemului, dacă
matricea jacobian a sistemului este aproape singulară. O altă problemă este faptul ca
algoritmul conduce doar la soluţia care se află aproape de punctul de start, la un
maxim local. Dar cum sistemele neliniare pot avea mai multe soluţii, singura variantă
prin care se acestea se pot determina este să pornim algoritmul din mai multe puncte
de start diferite între ele. Sau, mai este posibilă varianta utilizării altor algorimi
proveniţi din analiza numerică.
EXEMPLUL 3 : să se verifice soluţia sistemului neliniar de ecuaţii prin
metoda N-R, daca se foloseşte ca punct de pornire, de start, valoarea şi se
cunoaşte o soluţie obţinută printr-o rutină care implementează metoda

3
 Sistemul este :

iar prin utlizarea unei rutine dedicate, se obtine soluţia :

FUNCŢII PĂTRATICE
Funcţiile se zic că au forma pătratică dacă tiţi termenii sunt fie patratele uneia din cele
n variabile, fie sunt produse a doua variabile diferite. Citeva exemple de funcţii
patratice sunt :

Toate sistemele de funcţii patratice pot fi scrise sub următoarea formă matriceală :

unde : x vectorul variabilelor

A matricea de tip simetric a corficienţilor, care se construieşte astfel :
-diagonala matricei A conţine dublul valorii coeficienţilor termenilor la pătrat
-termenii primei coloane sunt coeficienţii termenilor , pentru
coloana a doua se iau coeficienţii şamd
EXEMPLUL 4 : să se scrie funcţia de patru variabile sub forma
pătratică :

Matricea simetrică A asociată ei este :

Se poate verifica acum că

Diferenţialele unei funcţii pătratice, respectiv vectorul gradient şi

matricea Hessian, se scriu astfel :

4
 şi
Se poate ferifica aceasta, luînd o funcţie pătratică si calculînd vectorul gradient şi
matricea Hessian atît prin metoda directă, clasică cît şi prin relaţiile specifice formei
patratice.
Semnul unei funcţii de formă patratică depinzînd de semnul produsului

pentru toţi vectorii posibili x, se clasifică astfel :

-pozitiv definită dacă pentru toţi vectorii x

-negativ definită dacă pentru toţi vectorii x

-indefinită, dacă pentru unii vectori este realtia iar pentru alţii

Analiza semnului formei pătratice bazată pe testarea valorilor proprii

Dacă toate valorile proprii , unde , ale unei matrici simetrice de

dimensiune ale unei forme patratice , sunt cunoascute, atunci

semnul formei patratice se determina astfel :

-pozitiv definit dacă
-pozitiv semidefinit dacă
-negativ definit dacă
-negativ semidefinit dacă
-indefinit, dacă pentru anumiţi i şi în alte cazuri
Testul minorilor principali pentru determinarea semnului formei pătratice
Această metodă implică de obicei mai puţine calcule. Dacă toţi minorii principali ,
ai matricei simetrice A, de dimeniune ai unei forme pătratice

, sunt cunoascuţi, atunci semnul formei patratice se determina astfel :

-pozitiv definit dacă

-pozitiv semidefinit dacă

-negativ definit dacă

-negativ semidefinit dacă

5
-nedefimit, dacă nu se respectă nici un caz din cele enumerate

FUNCŢII CONVEXE

O funcţie se numeşte convexă, dacă pentru 2 puncte valorile funcţiei

satisfac următoarea inegalitate :
, pentru orice
În cazul în care funcţia f(x) este o funcţie de o singură variabilă, spunem ca funcţia este
convexă dacă graficul ei se află sub segmentul ce uneste oricare două puncte ale graficului,
aşa cum este prezentat in figura următoare: În caz în care semnul inegalitaţii se schimbă,
funcţia se numeşte concavă.

Funcţie convexă Funcţie nonconvexă

Pentru algoritmii de optimizare, convexitatea unei funcţii este un element important.
Deşi definiţia nu este complicată, este dificil de folosit, deoarece există o infinitate de
puncte pentru care trebuiesc verificate condiţiile de convexutate. Rezolvarea
problemei se face apelînd la matricea hessian a funcţiei, prin care se poate determina
convexitatea unei funcţii, după algoritmul următor :
-o funcţie f(x) este convexă dacă matricea hessian este cel puţin pozitiv
semidefinită
-o funcţie f(x) este concavă dacă matricea hessian este cel puţin negativ
semidefinită
-o funcţie f(x)este nonconvexă dacă matricea hessian este indefinită
Pentru funcţiile liniare, matricea H este formată doar din zerouri, ceea ce inseamnă că
o funcţie liniară este în acelaşi timp concavă şi convexă.

6
Aşa cum s-a arătat anterior, matricea H a unei funcţii patratice este egală cu matricea
coeficienţilor in formă patratică, care implică doar numere. Este simplu de utilizat
analiza minorilor principali pentru a determina semnul matricei H.
În cazul funcţiilor mai complicate, matricea H va implica atît numere cît si variabile şi
în aceste cazuri nu este simplu de determinat semnul matricei H considerînd toate
valorile posibile ale variabilelor. Literatura de specialitate propune mai multe metode,
observaţii şi rezultate prin care să poată fi tratate şi aceste cazuri deosebite :
-dacă f(x)este o funcţie convexă, atunci şi este şi ea o funcţie convexă pentru
orice
-suma mai multor funcţii convexe este şi ea o funcţie convexă
- dacă f(x)este o funcţie convexă iar g(y)este şi ea o funcţie convexăa carei valoare
este uniform crescătoare, atunci şi funcţia compusă g(f(x)) este de asemenea o funcţie
convexă.
O altă observaţie importantă este că unele funcţii nu sunt convexe pe intregul domeniu
de definiţie, ci numai pe anumite subdomenii.

EXEMPLUL 5 : să se determine convexitatea funcţiei următoare

unde

în acest caz hessianul este derivata a doua a functiei (funcţia este de o singură
variabilă) :

, pentru

Graficul funcţiei este :

EXEMPLUL 6 : determinati dacă funcţia următoare este convexă :

Hessianul este :

7
Pentru unele valori este pozitiv, pentru altele este negativ, deci funcţia nu este
convexă. Acest fapt se poate vedea şi din reprezentare grafică :

EXEMPLUL 7 : să se determine dacă funcţia de două variabile este convexă

Hessianul ei este:

Minorii principali:

rezultă ca funcţia este convexă

EXEMPLUL 8 : să se determine dacă funcţia de două variabile este convexă

Hessianul ei este:

În mod evident este imposibil să verificam semnul minorilor principali. Dar putem
folosi elementele teoretice prezentate anterior pentru a arăta că funcţia este convexă.
Astfel vom privi funcţia ca o sumă de două funcţii. Vom incerca să aratăm ca fiecare
din cei doi termeni este convex şi astfel va rezulta ca şi suma lor este tot o funcţie
convexă. Fiecare termen e de forma , unde z este un număr real.Folosind regula
funcţiilor compuse legată de caracterul convex, trebuie să arătăm acum că funcţiile ce
reprezintă puterile lui e sunt funcţii convexe

Astfel şi funcţia este convexă

8
Astfel şi funcţia este convexă
Graficul funcţiei arată clar că este vorba despre o funcţie continuă, crescătoare şi
convexă:

PROBLEME DE OPTIMIZARE CONVEXĂ

O problemă de optimizare de tip convex este aceea unde funcţia obiectiv este o
funcţie convexă iar domeniul posibil al soluţiilor este o mulţime de tip convex.
O multţime se numeşte convexă dacă orice segment ce uneşte două puncte din
mulţime rămîne complet în interiorul mulţimii (vezi figura următoare).

Mulţime convexă Mulţime nonconvexă

Este clar faptul ca problemele de optimizare liniară (programare liniară) sunt în
acelaşi timp şi probleme convexe de optimizare. Problemele neliniare de optimizare
care au funcţia obiectiv de tip convex şi constrîngerile date prin ecuaţii ori inecuaţii de
tip liniar şi constrîngeri tip inecuaşii neliniare convexe, reprezintă şi ele probleme de
optimizare convexă. Dacă măcar o singură constrîngere este de tip ecuaţie
neliniară, sistemul se numeste neconvex.
Cea mai importantă proprietate a unei probleme de optimizare convexă este
faptul că orice minim local este în acelaşi timp şi minim global !!!
EXEMPLUL 9: Să se determine dacă următoarea problemă de optimizare este una de
tip convex:

9
 min
avînd restrcţiile:

problema conţine în setul de restricţii o ecuaţie neliniară, deci nu este o problemă de

optimizare convexă!!!

EXEMPLUL 10: Să se determine dacă următoarea problemă de optimizare este una

de tip convex:
min
avînd restricţiile:

In acest caz, în locul ecuaţiei neliniare din setul de constrîngeri, este o inegalitate.
Trebuiesc verificate toate elementele problmei, funcţia obiectiv şi setul de restricţii:

hessianul minor principal funcţie convexă

hessianul minor principal funcţie convexă

hessianul minor principal funcţie convexă

hessianul minor principal statut nedeterminat

Deoarece minorul celei de-a treia funcţii conţine variabila y, satutul este incert.Nu
putem spune despre minor că este pozitiv ori negativ. În cazul în care se acceptă ca
, atunci minorul este şi el pozitiv şi problema este convexă!!!

10
11