Rappel de certains

résultats de calcul .

Convergence d’algorithme
 Notation et définitions

• Notation
R n espace vectoriel des vecteurs de dimension n.

f : R n → R1 une fonction à valeurs réelles (prenant ses valeurs

1
dans R )

Pour x ∈ R n
x = x T x est la norme euclidienne et
n

x T x = ∑ x 2j dénote le produit scalaire de x avec lui-même

j =1
 Notation et définitions
Définition. Un point x ∈ R n est un minimum local de f s'il existe
 T 
()
un voisinage de x dénoté Bε x =  x ∈ R n : x − x =

( x − x) ( )
x−x <ε

tel que
()
f x ≤ f ( x) ∀ x ∈ Bε x ()
Les points de l'intervalle ouvert ne Bε ( x )
Bε ( x ) constituent pas un voisinage de x%
( • ) ( • ) •
x
x x%
Définition. Un point x ∈ R n est un minimum local de f s'il existe

) ( x − x ) < ε 
T
()
un voisinage de x dénoté Bε x =  x ∈ R n : x − x =

( x−x

tel que
()
f x ≤ f ( x) ()
∀ x ∈ Bε x

Min. locaux
 Notation et définitions
Définition. Un point x ∈ R n est un minimum local de f s'il existe
 T 
()
un voisinage de x dénoté Bε x =  x ∈ R n : x − x =

( x − x) ( )
x−x <ε

tel que
()
f x ≤ f ( x) ()
∀ x ∈ Bε x

Définition. Un point x ∈ R n est un minimum global de f si

()
f x ≤ f ( x) ∀ x ∈ Rn
Définition. Un point x ∈ R n est un minimum global de f si
()
f x ≤ f ( x) ∀ x ∈ Rn

Min. global

Min. locaux
 Résultats pour les fonctions avec une seule variable

• Fonctions avec une seule variable: f : R1 → R1

Résultat 1.1 Soit c ∈ R1 tel que
df ( c ) f ( x) − f (c)
f ′(c) = = lim ≠ 0.
dx x−c
x →c

Alors c est ni un minimum local ni un maximum local de f .

De plus,
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
ii) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
Résultat 1.1 Soit c ∈ R1 tel que
df ( c ) f ( x) − f (c)
f ′ (c) = = lim ≠ 0.
dx x−cx →c

Alors c est ni un minimum local ni un maximum local de f .

De plus,
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
ii ) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
f (c) > f ( x) ∀ x ∈ ( c, c + δ )

f '(c)>0

c–δ c c+δ
 f ( x) − f (c)
Preuve de i ) : Puisque f ′ ( c ) = lim > 0, alors par définition de la
x →c
x−c
limite il existe un intervalle ( c − δ , c + δ ) tel que
f ( x) − f (c)
> 0 ∀x ∈ ( c − δ , c + δ ) , x ≠ c.
x−c
Par conséquent, les signes de f ( x ) − f ( c ) et de x − c doivent
être identiques, d'où le résultat.

f '(c)>0

c–δ c c+δ
Résultat 1.1 Soit c ∈ R1 tel que
df ( c ) f ( x) − f (c)
f ′(c) = = lim ≠ 0.
dx x−c
x →c

Alors c est ni un minimum local ni un maximum local de f .

De plus,
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
ii ) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
f (c) > f ( x) ∀ x ∈ ( c, c + δ )

f '(c)<0

c–δ c c+δ
Corollaire 1.2 Soit c ∈ R1
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
et la fontion f est croissante au point c.
ii ) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
f (c) > f ( x) ∀ x ∈ ( c, c + δ )

f '(c)>0

c–δ c c+δ
Corollaire 1.2 Soit c ∈ R1 .
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
et la fonction f est croissante au point c.
ii ) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
f (c) > f ( x) ∀ x ∈ ( c, c + δ )
et la fonction f est décroissante au point c.

f '(c)<0

c–δ c c+δ
Corollaire 1.2 Soit c ∈ R1 .
i ) si f ′ ( c ) > 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) < f (c) ∀ x ∈ (c − δ , c)
f (c) < f ( x) ∀ x ∈ ( c, c + δ )
et la fonction f est croissante au point c.
ii ) si f ′ ( c ) < 0, il existe un intervalle ( c − δ , c + δ ) avec δ > 0 tel que
f ( x) > f (c) ∀ x ∈ (c − δ , c)
f (c) > f ( x) ∀ x ∈ ( c, c + δ )
et la fonction f est décroissante au point c.
iii ) si c est un minimum ou un maximum local de f , alors f ′ ( c ) = 0.

f '(c)=0

c
c
Exemple: f ( x ) = x3 + 3x 2 − 1
f ′ ( x ) = 3x 2 + 6 x = 3x ( x + 2 )

f ′(c) = 9

c =1

Si c = 1, f ′ (1) = 3 + 6 = 9.
Considérons l'intervalle (1 − 1,1 + 1) = ( 0, 2 ) .
Si x ∈ ( 0,1) , alors f ( x ) < f (1) ,
et si x ∈ (1, 2 ) , alors f ( x ) > f (1) .
Exemple: f ( x ) = x3 + 3x 2 − 1
f ′ ( x ) = 3x 2 + 6 x = 3x ( x + 2 )

(–2, 3)

(0,–1)

x = −2 est un maximum local et f ′ ( −2 ) = 0

x = 0 est un minimum local et f ′ ( 0 ) = 0.
Résultat 1.3 : (Test de la dérivé seconde)
Soit c ∈ R1 tel que f ′ ( c ) = 0. Supposons également que la dérivée f ′ ( x ) existe ∀x ∈ Bε ( c ) .
i ) Si f ′′ ( c ) < 0, alors c est un maximum local de f .
ii ) Si f ′′ ( c ) > 0, alors c est un minimum local de f .

Note: f ′′ ( c ) dénote la dérivée seconde de f à c :

df ′ f ′( x) − f ′(c) d 2 f
f ′′ ( c ) = ( c ) = lim = (c).
dx x →c
x−c dx

Justification intuitive de ii ) :
Si f ′′ ( c ) > 0, alors f ′ est une fonction croissante à c et par conséquent c est
un minimum local.
Exemple: f ( x ) = x3 + 3x 2 − 1
f ′ ( x ) = 3x 2 + 6 x = 3x ( x + 2 )
f ′′ ( x ) = 6 x + 6
(–2, 3)

(0,–1)

Pour x = −2 : f ′( x) = 0
f ′′ ( x ) = −12 + 6 = −6 < 0
et x = −2 est un maximun local

Pour x = 0 : f ′( x) = 0
f ′′ ( x ) = 0 + 6 = 6 > 0
et x = 0 est un minimun local
Pour une fonction f qui n'est pas définie sur tout R n
mais plutôt sur X ⊂ R n (f : X → R1 ).

Définition: Soit f : X → R1.

c ∈ X est un minimum local de f sur X s'il existe un voisinage Bε ( c ) tel que

f ( c ) ≤ f ( x ) ∀ x ∈ Bε ( c ) I X

c ∈ X est un minimum global de f sur X si

f (c) ≤ f ( x) ∀ x ∈ X
 Convergence d’algorithme

• Résolution de problèmes d’optimisation à l’aide d’algorithme ou

processus itératif générant une suite de points, très souvent dans le
domaine réalisable du problème.

Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *.

L' ordre de convergence de {r k } est le supremum des nombres non
négatifs p satisfaisant la relation
r k +1 − r *
0 ≤ lim
k →∞ k p
< ∞.
r −r*
Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *.
L' ordre de convergence de {r k } est le supremum des nombres non
négatifs p satisfaisant la relation
r k +1 − r *
0 ≤ lim
k →∞ k p
< ∞.
r −r*

Plus la valeur de p est grande, plus la convergence est rapide à la limite

puisque la distance à r * décroît plus rapidement. En effet, si
r k +1 − r *
lim p
=β
k →∞ k
r −r*
alors assymptotiquement
k +1 k p
r −r* = β r −r* .
Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *.
L' ordre de convergence de {r k } est le supremum des nombres non
négatifs p satisfaisant la relation
r k +1 − r *
0 ≤ lim
k →∞ k p
< ∞.
r −r*

Exemples: pour une valeur de a, 0 < a < 1

i) { } → 0 avec un ordre de convergence au moins egal à 1

a k

a k +1 − 0
a k +1
puisque k
= k = a.
a −0 a

{ } → 0 avec un ordre de convergence au moins egal à 2

ii ) a 2k

2k +1
a −0 a 2k +1
a 2k +1
a 2k +1

puisque 2
= 2
= 2k 2
= 2k +1
= 1.
(a 2k
−0 ) (a ) 2k a a
Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *
telle que
r k +1 − r *
lim k
= β < 1.
k →∞
r −r*
Alors la suite {r k } converge linéairement avec un rapport de convergence
de β .

Notes:
i ) convergence linéaire aussi dénotée convergence géométrique.
ii) Le cas β = 0 est dénoté par convergence super linéaire.
Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *
telle que
r k +1 − r *
lim k
= β < 1.
k →∞
r −r*
Alors la suite {r k } converge linéairement avec un rapport de convergence
de β .

Notes:
i ) convergence linéaire aussi dénotée convergence géométrique.
ii ) Le cas β = 0 est dénoté par convergence super linéaire.

Exemple: convergence d'ordre 1 mais pas linéaire

1 
 →0
k 
1
k + 1 k  1  1
lim = lim = lim 1 −  = 1 − lim = 1− 0 = 1
k →∞ 1 k →∞
k +1 k →∞
 k +1  k →∞
k +1
k
Définition: Soit {r k } une suite de vecteurs dans R n convergente vers r *
telle que
r k +1 − r *
lim k
= β < 1.
k →∞
r −r*
Alors la suite {r k } converge linéairement avec un rapport de convergence
de β .

Notes:
i ) convergence linéaire aussi dénotée convergence géométrique.
ii ) Le cas β = 0 est dénoté par convergence super linéaire.
Exemple: convergence super linéaire
 1 k 
   → 0
 k  
k +1 k
 1   1  1 
k
 1 
      k +1  1
 k +1   k +1   k +1 
lim k
= lim k
= lim  1 
k →∞
1 k →∞
1 k →∞
  k +1
     k 
k k
1
= lim1 = 0.
k →∞
k +1