Metode și modele de calcul – 2

FCIM, UTM

Buldumac Oleg, asistent universitar

 Notarea unei funcții

Cea mai populară notare a funcțiilor este f(x)

 În mod tradițional, funcțiile sunt notate prin nume
de o singură literă, cum ar fi f, g, h

Orice litere și combinații de litere pot fi folosite pentru a

denumi o funcție.
Nu vă preocupați prea mult de „x”, este doar acolo pentru a ne arăta unde
merge intrarea și ce se întâmplă cu ea.
Math C Language
 Funcții liniare

Funcții neliniare
 Funcții liniare
y
5

1
x

-2 -1 1 2 3 4 5
-1

-2
Funcții neliniare
Extremele funcției
 y Local
Maximum

f(x) Saddle Point

Local Minimum
x
 Gradientul funcției

Rata de creștere a unei funcții

Termenul „gradient” este de obicei folosit pentru funcții

cu mai multe variabile și o singură ieșire (un scalar).

Gradientul este o generalizare a derivatei obișnuite

 Direcția gradientului indică calea celei mai rapide creșteri a funcției

În orice punct dat, indică direcția în care funcția se schimbă cu cea mai mare rată.
Nabla symbol
 Gradientul joacă un rol fundamental în teoria optimizării,
unde este folosit pentru a maximiza sau minimiza o funcție
Gradientul pentru o funcție de o variabilă
 Gradientul pentru o funcție de două variabile

Multe funcţii din lumea reală depind de două sau mai multe variabile
 Matricea Hessiană

Matricea Hessiană este o matrice pătratică a derivatelor parțiale de ordinul doi

ale unei funcții scalare

Folosim matricea Hessiană pentru a afla cât de mare trebuie să facem un pas
de la un punct curent până la punctul minim sau maxim

Matricea Hessiană este utilizată în metoda de optimizare

numerică a lui Newton
 Optimizarea matematică

Probleme de optimizare apar în toate disciplinele cantitative

de la informatică și inginerie până la cercetare operațională
și economie.

O problemă de optimizare constă în maximizarea sau

minimalizarea unei funcții reale prin alegerea sistematică a
valorilor de intrare dintr-un set permis și calcularea valorii
funcției.
 Laboratorul 1 MMC-2

Optimizarea unei funcții neliniare dupa metoda gradientului cu fracționarea pasului

 Metoda gradientului este un algoritm de optimizare
al cautarii unui minim local al unei functii date, folosind gradientul acesteia
 Avantajele metodei de gradient

Nu este nevoie să calculați derivatele secundare de ordinul doi (matricea Hessiană)

Computațional iterațiile sunt rapide

Dezvantajele metodei de gradient

Poate fi foarte, foarte lent dacă pasul ales este mic

Un dezavantaj notabil este că algoritmul se oprește la primul minim local

 https://www.wolframalpha.com/input/?i=x%5E2%2B2*x*y%2B6*y%5E2-2*x-3*y

https://ruder.io/optimizing-gradient-descent/

https://blog.paperspace.com/intro-to-optimization-in-deep-learning-gradient-descent/