Documente Academic
Documente Profesional
Documente Cultură
MTH8415
H2018
(v4)
Plan
1. Introduction et définitions
4. Extensions
Références
1. Introduction et définitions
4. Extensions
Références
Problème et solutions
I On cherche à résoudre
min {f (x) : x ∈ Ω}
x∈Rn
avec f : Rn → R différentiable et Ω ⊆ Rn .
I Un point réalisable x∗ ∈ Ω est un minimum global de la
fonction f sur le domaine Ω si
f (x∗ ) ≤ f (x) pout tout x ∈ Ω .
Dérivées
I Gradient de f en x ∈ Rn :
∂f (x) ∂f (x) ∂f (x)
∇f (x) = , ,..., ∈ Rn .
∂x1 ∂x2 ∂xn
Direction de descente
1. Introduction et définitions
4. Extensions
Références
⇒ d> ∇2 f (x∗ )d ≥ 0 .
Si ∇2 f (x∗ ) est :
f : Rn → R est convexe si :
I pour tout x, y ∈ Rn et tout λ ∈ [0; 1],
f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y).
I ou si sa matrice Hessienne ∇2 f (x) est semi-définie positive
pour tout x ∈ Rn .
[0] Initialisation
Point de départ : x0 ∈ Rn
k←1
[1] Itération k
Calculer dk = −∇f (xk ) (dir. de descente)
Si (dk = 0) : Stop (point critique)
Trouver αk ∈ arg min h(α) = f (xk + αdk )
α≥0
xk+1 ← xk + αk dk
k ←k+1
Aller en [1]
Méthode de Newton
I Soit le modèle quadratique de f autour de x :
1
m(d) = f (x) + d> ∇f (x) + d> ∇2 f (x)d
2
Méthode quasi-Newton
d = −B(x)−1 ∇f (x)
1. Introduction et définitions
4. Extensions
Références
min {f (x) : x ∈ Ω}
x∈Rn
Théorème
Si Ω est fermé et borné et si f est continue sur Ω, alors il existe un
minimum global atteint en un point de Ω et un maximum global
atteint en un point de Ω.
∇f (x∗ ) = λ∇c(x∗ ) .
Avec Ω = {x ∈ Rn : c(x) ≥ 0} ⊆ Rn :
CN1
Si x∗ est un minimum local de f dans Ω, alors il existe λ ≥ 0 tel
que ∇f (x∗ ) = λ∇c(x∗ ) et c(x∗ )λ = 0.
Multiplicateurs de Lagrange
min {f (x) : x ∈ Ω}
x∈Rn
avec
ci (x) = 0, i ∈ E
n
Ω= x∈R ⊆ Rn
ci (x) ≥ 0, i ∈ I
et
|E| = m , |I| = p .
K ∗ = d ∈ Rn : dT v ≤ 0 : v ∈ K
A(x) = {i ∈ I : ci (x) = 0} .
est 0.
MTH8415: Optimisation non linéaire 26/46
1/4 Intro. 2/4 Sans contraintes 3/4 Avec contraintes 4/4 Extensions Références
Cône tangent
I Définition géométrique :
I d ∈ Rn est un vecteur tangent à Ω en x ∈ Rn s’il existe une
suite {zk } de points réalisables avec zk → x et une suite de
réels positifs {tk } avec tk → 0 tels que
zk − x
lim =d
k→∞ tk
I L’ensemble des vecteurs tangents forme le cône tangent TΩ (x).
I Définitionalgébrique
:>
d ∇c (x) = 0 i∈E
TΩ (x) = d ∈ R > i
n
d ∇ci (x) ≥ 0 i ∈ A(x)
I Le cône tangent correspond aux directions réalisables de
premier ordre (i.e. lorsque tout est linéarisé).
Cône normal
I Définition algébrique :
X X λ ∈R i∈E
NΩ (x) = λi ∇ci (x) − λi ∇ci (x) i
λi ≥ 0 i ∈ A(x)
i∈E i∈A(x)
CN1
Si x∗ est un minimum local de f dans Ω, alors
Dualité
Fonction Lagrangienne (ou Lagrangien) :
X
L(x, λ) = f (x) − λi ci (x)
i∈E∪I
Cas de l’optimisation
linéaire (1/3)
Ax ≥ b
min c> x s.c. avec c ∈ Rn , b ∈ Rm , A ∈ Rm×n
x∈Rn x ≥0
avec λ, µ ≥ 0.
∇x L(x, λ) = c − λ − A> µ =0
µi (A>
i x − bi ) =0 i ∈ {1, 2, . . . , m}
λ j xj =0 j ∈ {1, 2, . . . , n}
Ax − b ≥0
x ≥0
λj ≥0 j ∈ {1, 2, . . . , n}
µi ≥0 i ∈ {1, 2, . . . , m}
max b> µ
µ∈Rn
A> µ
≤c
s.c.
µ ≥0
Méthodes de pénalités
Exemples de pénalités
I Pénalité quadratique :
µX 2 µX
f (x) + ci (x) + min{0, ci (x)}2
2 2
i∈E i∈I
I Avantage : Formulation lisse.
I Inconvénients : Non exacte, mal conditionnée.
I Pénalité `1 :
X X
f (x) + µ |ci (x)| + µ | min{0, ci (x)}|
i∈E i∈I
1. Introduction et définitions
4. Extensions
Références
Extensions
I Optimisation globale.
1. Introduction et définitions
4. Extensions
Références
Références I
Audet, C. (2011).
Notes de cours, MTH1101, Calcul I.
Gauvin, J. (1995).
Leçons de programmation mathématique.
Éditions de l’École Polytechnique de Montréal.
Orban, D. (2010).
Numerical Methods for Nonlinear Optimization and Optimal Control,
notes du cours MTH8408.