École Nationale d’Ingénieurs de Sousse Date : 13 avril 2020

Année Universitaire 2019-2020 2ème année

Série N°3
Méthode de Newton-Raphson et Quasi Newton

Exercice 1
Montrer que l’algorithme de Newton-Raphson converge en une seule itération lorsque on l’ap-
plique à une fonction quadratique associée à une matrice A symétrique définie positive et un
vecteur b ∈ Rn .
Problème : Minimisation d’une fonction non quadratique

On définit sur R2 la fonction de Rosenbrock par la relation :

 2  2
f (x1 , x2 ) = 100 x2 − x21 + 1 − x1 .

1-a) Déterminer le vecteur Gradient de f en tout point x de R2 ainsi que sa matrice Hessienne
∇2 f (x).
1-b) Trouvez le(s) point(s) critiques de cette fonction et déterminer leur nature.
2-a) En partant de la condition initiale (x01 , x02 ) = (1.2, 1.2), effectuer trois itérations de la
méthode du Gradient à pas fixe avec s = 0.005. Que peut-on en déduire sur la convergence
de cet algorithme vers la solution exacte ?
2-b) Donner le schéma itératif de la méthode du Gradient à pas optimal pour minimiser la
fonction f sur R2 .
2-c) A l’aide du développement de Taylor-Young d’ordre 2 de la fonction ϕk (t) = f (xk + tdk )
au voisinage de 0, montrer que le pas optimal tk dans la direction dk = −∇f (xk ) peut
être évalué approximativement par :

ϕ0k (0) k∇f (xk )k2

tk ≈ − 00 = .
ϕk (0) h∇2 f (xk )∇f (xk ), ∇f (xk )i

2-d) En partant de la même condition initiale (x01 , x02 ) = (1.2, 1.2), effectuer deux itérations
de la méthode du Gradient à pas optimal et commenter les résultats.

3-a) Donner le schéma de Newton-Raphson (local) pour minimiser la fonction f sur R2 .

3-b) En partant toujours de la même condition initiale (x01 , x02 ) = (1.2, 1.2), effectuer deux
itérations de cette méthode et conclure.
4) Rappeler l’algorithme de Quasi Newton :Broyden-Fletcher-Goldfabr-Shanno (BFGS) pour
minimiser une fonction f sur R2 .
5) Itérer cet algorithme (à l’aide Matlab si c’est possible) deux fois en partant de la même
condition initiale x0 et B0 = I (si non) on peut prendre un pas fixe tk = 1 pour simplifier
le calcul.
6) Commenter les résultats trouvés par tous les méthodes numériques.