Optimisation locale sans contraintes

AKadrani
Institut National de Statistiques et Economie Applique (INSEA)

Rabat, Avril 2013

Chapitre 3

Optimisation locale sans contraintes

Formulation du problme
Dnition

Soit f : Rn R une fonction de C 3 . Le problme de minimisation consiste trouver x tel que: f (x ) = min f (x ), o (E Rn )
x E

(1)

Minimisation globale (E = Rn ) Il sagit de trouver x Rn tel que: f (x ) f (x ), x Rn Minimisation locale (E = V (x )) Il existe V (x ) Rn de x tel que: f (x ) f (x ), x V (x )

NB: x Rn est un vecteur colonne et le f (x ) est un vecteur ligne.

Chapitre 3 Optimisation locale sans contraintes

Formulation du problme
Dnition

Soit f : Rn R une fonction de C 3 . Le problme de minimisation consiste trouver x tel que: f (x ) = min f (x ), o (E Rn )
x E

(1)

Minimisation globale (E = Rn ) Il sagit de trouver x Rn tel que: f (x ) f (x ), x Rn Minimisation locale (E = V (x )) Il existe V (x ) Rn de x tel que: f (x ) f (x ), x V (x )

NB: x Rn est un vecteur colonne et le f (x ) est un vecteur ligne.

Chapitre 3 Optimisation locale sans contraintes

Formulation du problme
Dnition

Soit f : Rn R une fonction de C 3 . Le problme de minimisation consiste trouver x tel que: f (x ) = min f (x ), o (E Rn )
x E

(1)

Minimisation globale (E = Rn ) Il sagit de trouver x Rn tel que: f (x ) f (x ), x Rn Minimisation locale (E = V (x )) Il existe V (x ) Rn de x tel que: f (x ) f (x ), x V (x )

NB: x Rn est un vecteur colonne et le f (x ) est un vecteur ligne.

Chapitre 3 Optimisation locale sans contraintes

Formulation du problme
Dnition

Ce problme peut se rcrire dune manire quivalente: f (x ) f (x + d ), d V (0) o d reprsente le dplacement de x un point voisin x + d , ou encore f (x ) f (x + d ), d Rn , d = 1 et < o reprsente le diamtre dune boucle centr en x contenue dans V (x ).

Chapitre 3

Optimisation locale sans contraintes

Formulation du problme
Relation avec lunidimensionnelle Si x est un min local de f , alors 0 est un min local de hx ,d () = f (x + d ), d Rn tel que d = 1. La contrapose nest pas vraie comme lillustre lexemple suivant:
2 2 min(x1 x2 )(x1 4x2 )

Chapitre 3 1. Point Optimisation locale sans contraintes Figure selle

Formulation du problme
Relation avec lunidimensionnelle Si x est un min local de f , alors 0 est un min local de hx ,d () = f (x + d ), d Rn tel que d = 1. La contrapose nest pas vraie comme lillustre lexemple suivant:
2 2 min(x1 x2 )(x1 4x2 )

Chapitre 3 1. Point Optimisation locale sans contraintes Figure selle

Algorithmes itratifs
Principe

A partir dun point x qui ne satisfait pas aux conditions pour doptimalit, il est possible de produire un autre point x lequel f ( x ) < f (x ). Cette famille dalgorithmes sappelle les mthodes de descente. Un point x nest pas un minimum local si au moins une des deux conditions suivantes nest pas vrie:
1 2

f (x ) = 0, ou 2 f (x ) est semi-dnie positive. Dans ce qui suit nous exploitons la premire condition.

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Principe

A partir dun point x qui ne satisfait pas aux conditions pour doptimalit, il est possible de produire un autre point x lequel f ( x ) < f (x ). Cette famille dalgorithmes sappelle les mthodes de descente. Un point x nest pas un minimum local si au moins une des deux conditions suivantes nest pas vrie:
1 2

f (x ) = 0, ou 2 f (x ) est semi-dnie positive. Dans ce qui suit nous exploitons la premire condition.

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Principe

A partir dun point x qui ne satisfait pas aux conditions pour doptimalit, il est possible de produire un autre point x lequel f ( x ) < f (x ). Cette famille dalgorithmes sappelle les mthodes de descente. Un point x nest pas un minimum local si au moins une des deux conditions suivantes nest pas vrie:
1 2

f (x ) = 0, ou 2 f (x ) est semi-dnie positive. Dans ce qui suit nous exploitons la premire condition.

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Principe

A partir dun point x qui ne satisfait pas aux conditions pour doptimalit, il est possible de produire un autre point x lequel f ( x ) < f (x ). Cette famille dalgorithmes sappelle les mthodes de descente. Un point x nest pas un minimum local si au moins une des deux conditions suivantes nest pas vrie:
1 2

f (x ) = 0, ou 2 f (x ) est semi-dnie positive. Dans ce qui suit nous exploitons la premire condition.

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Recherche de points stationnaires

Soit x Rn tel que f (x ) = 0. Lensemble des d Rn pour lesquels hx ,d < 0 satisfait la relation f (x )d < 0 Cet ensemble est nomm le Demi Espace de Diminution (DED (x )) de la fonction f . Les algo de descente consistent dabord calculer d DED (x ) et ensuite passer au point suivant x + = x + d = A(x ), pour minimiser (approximativement) la fonction hx ,d (). Les proprits lmentaires de d DED (x ) et la minimisation de hx ,d () assurent que f (x + ) = f (A(x )) < f (x ). Lapplication A engendre une suite {xk }, o xk +1 = A(xk ) et il faut introduire des conditions pour garantir que cette suite possde des points daccumulation stationnaires.
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Algorithme de descente simplie

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Exemple

Examinons lexemple suivant

x R2 2 2 min f (x ) = 2x1 2x1 x2 + x2 + 2x1 2x2 ,

en utilisant le choix d = f (x )T comme direction de descente. Puisquil sagit dune fonction quadratique, on peut calculer le pas exactement: f peut se rcrire sous la forme f (x ) = x T Qx + cx 4 2 o Q = et c = (2, 2). Alors, f (x ) = x T Q + c et 2 2 les conditions doptimalit pour min hx ,d () = f (x + d ) donnent
>0

f (x )d , d T Qd

en utilisant d = f (x )T comme direction de descente, on a donc = f (x ) 2 , f (x )Q f (x )T

Optimisation locale sans contraintes

Chapitre 3

Algorithmes itratifs
Exemple-illustration En appliquant lalgorithme partir du

x0 y0

10 5

, on a

f (10, 5) = (32, 12) et = 0.197297. x1 10 32 = + 0.197297 = y1 5 12 La suite des itrations est donne

3.686486 7.367568

FIG. 1 Itrations de lalgorithme du gradient sur f x, y 2 x2 2 xy y 2 2 x 2 y

Chapitre 3

Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergence
1

Direction susament descendante Une direction d est considre susamment descendante sil existe deux constantes positives 0 et 1 indpendantes de x telles que: f (x )d 0 f (x ) d 1 f (x ) ,
2

Pas admissible Un pas est admissible pour une direction susamment descendante d lorsquil satisfait aux critres dArmijo et de Wolfe respectivement: f (x + d ) f (x ) 0 f (x )d , 0 ] 0, 1/2 [ (Armijo) f (x + d )d 1 f (x )d , 1 ] 0 , 1 [ (Wolfe) 0 et 1 sont des paramtres xes. On note Lensemble des valeurs possibles de .
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergence
1

Direction susament descendante Une direction d est considre susamment descendante sil existe deux constantes positives 0 et 1 indpendantes de x telles que: f (x )d 0 f (x ) d 1 f (x ) ,
2

Pas admissible Un pas est admissible pour une direction susamment descendante d lorsquil satisfait aux critres dArmijo et de Wolfe respectivement: f (x + d ) f (x ) 0 f (x )d , 0 ] 0, 1/2 [ (Armijo) f (x + d )d 1 f (x )d , 1 ] 0 , 1 [ (Wolfe) 0 et 1 sont des paramtres xes. On note Lensemble des valeurs possibles de .
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergence
1

Direction susament descendante Une direction d est considre susamment descendante sil existe deux constantes positives 0 et 1 indpendantes de x telles que: f (x )d 0 f (x ) d 1 f (x ) ,
2

Pas admissible Un pas est admissible pour une direction susamment descendante d lorsquil satisfait aux critres dArmijo et de Wolfe respectivement: f (x + d ) f (x ) 0 f (x )d , 0 ] 0, 1/2 [ (Armijo) f (x + d )d 1 f (x )d , 1 ] 0 , 1 [ (Wolfe) 0 et 1 sont des paramtres xes. On note Lensemble des valeurs possibles de .
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergence
1

Direction susament descendante Une direction d est considre susamment descendante sil existe deux constantes positives 0 et 1 indpendantes de x telles que: f (x )d 0 f (x ) d 1 f (x ) ,
2

Pas admissible Un pas est admissible pour une direction susamment descendante d lorsquil satisfait aux critres dArmijo et de Wolfe respectivement: f (x + d ) f (x ) 0 f (x )d , 0 ] 0, 1/2 [ (Armijo) f (x + d )d 1 f (x )d , 1 ] 0 , 1 [ (Wolfe) 0 et 1 sont des paramtres xes. On note Lensemble des valeurs possibles de .
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergence
1

Direction susament descendante Une direction d est considre susamment descendante sil existe deux constantes positives 0 et 1 indpendantes de x telles que: f (x )d 0 f (x ) d 1 f (x ) ,
2

Pas admissible Un pas est admissible pour une direction susamment descendante d lorsquil satisfait aux critres dArmijo et de Wolfe respectivement: f (x + d ) f (x ) 0 f (x )d , 0 ] 0, 1/2 [ (Armijo) f (x + d )d 1 f (x )d , 1 ] 0 , 1 [ (Wolfe) 0 et 1 sont des paramtres xes. On note Lensemble des valeurs possibles de .
Chapitre 3 Optimisation locale sans contraintes

Algorithmes itratifs
Conditions pour la convergenceThormes Soit un algorithme de descente appliqu au problme
x Rn

min f (x ), f C 1 (Rn )

Thorme 3.1 Supposons qu chaque itration la direction utilise dk est une direction suisamment descendante, et pour lequel le pas utilis dans cette direction est un pas admissible; alors tous les points daccumulation de la suite {xk } engendre par lalgorithme sont des points stationnaires pour le problme min f (x ). n
x R

Thorme 3.2 Supposons qu chaque itration la direction utilise dk est une direction suisamment descendante, et pour lequel le pas utilis dans cette direction est la premire valeur de la suite {1, 1/2, 1/4, , (1/2)m , } qui satisfasse au critre dArmijo, alors tous les points daccumulation de la suite {xk } engendre par lalgorithme sont des points stationnaires pour le problme f (x ). min n
x R Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Famille de directions susamment descendantes

Directions typiques

Direction du Gradient Appele aussi la direction de la pente la plus forte et elle est dnie comme suit: d = f (x )T . Malheuresement, cette direction conduit un algorithme qui converge trs lentement. Direction du Newton Nous supposons que 2 f (x ) est une matrice dnie positive, la direction de Newton est dnie comme suit: dN = 2 f (x )1 f (x )T . Cas gnral Soit B une matrice symtrique dnie positive, nous dnissons la comme suit: direction d = B f (x )T . d
Chapitre 3 Optimisation locale sans contraintes

Recherche des minima locaux faibles

Newton avec rgion de conance

Lide est dutiliser le dveloppement de Taylor dordre dun ou deux pour approximer f et calculer la direction d en rsolvant le problme de la forme: min qxk (d )
d k

o qx (d ) = f (x ) + f (x )d + 1/2d T 2 f (x )d et la valeur de k est ajuste laide de Dfxk , rk = Dqxk avec Dfxk = f (xk ) f (xk +1 ) et Dqxk = qxk (0) qxk (dk )

Chapitre 3

Optimisation locale sans contraintes

Recherche des minima locaux faibles

Newton avec rgion de conance Algorithme

Chapitre 3

Optimisation locale sans contraintes

Recherche des minima locaux faibles

Newton avec rgion de conance Algorithme

Des choix typiques des paramtres 0 < 1 < 2 < 1 et 0 < 1 < 1 < 2 sont 1 = 0.25, 2 = 0.75, 1 = 0.25, 2 = 2. Thorme 3.3 Si les points engendrs par lalgorithme demeurent dans un compact K , avec f de C 2 dans K et 2 f uniformment born dans K , alors de la suite {xk }, et tout point il existe un point daccumulation x daccumulation satisfait que f ( x ) = 0 et 2 f ( x ) est une matrice semi-dnie positive.

Chapitre 3

Optimisation locale sans contraintes

Mthode de Newton modie

Modication de la direction de Newton

Pour viter les problmes associs 2 f (x ) qui ne serait pas uniformment dnie positive, nous allons la remplacer par une approximation Hk uniformment dnie positive, dinverse B k Hk = 2 f (xk ) + max (min + , 0) I o min est la plus petite valeur propre de 2 f (x ) et est une petite quantit. Une direction d = B k f (xk )T pour une matrice 1 dnie positive B k = Hk est solution du sous problme quadratique suivant: 1 min d T Hk d + f (xk )d d 2

Chapitre 3

Optimisation locale sans contraintes

Mthode de Newton modie

Analyse du pas pour la direction de Newton

Thorme 3.4 Soit f de C 3 , d une direction susamment descendante, telle que = 1 soit le minimum de hx ,d () = f (x ) + f (x )d + 2 T 2 d f (x )d . 2

Alors le pas = 1 est admissible pour f dans la direction d lorsque d est susamment petite. Preuve: Corollaire 3.1 Si 2 f (x ) est une matrice dnie positive et si la direction de Newton 1 d N = 2 f (x ) f (x )T est une direction de descente susamment petite (au voisinage dun minimum local), alors le pas = 1 est admissible pour f dans la direction dN .
Chapitre 3 Optimisation locale sans contraintes

Mthode de Newton modie

Convergence de la mthode de Newton modie

Litration de Newton modie: xk +1 xk + k dk 1 dk H k f (xk )T . On voit donc que dk satisfait au systme:

T dk H k + f (xk ) = 0

Thorme 3.5 Soit f de C 3 . Les points daccumulation de la mthode de Newton modie pour minimiser f sont tous des points stationnaires de f . De plus, si un des points daccumulation satisfait la condition susante de seconde ordre, alors la suite {xk } y converge et la vitesse de convergence asymptotique est quadratique.
Chapitre 3 Optimisation locale sans contraintes

Fonctions objectif quadratiques

Algorithme du gradient conjugu

Considrons le problme de minimisation de la forme suivante: 1 min = x T Qx + cx n x R 2 On suppose que Q est symtrique et dnie positive. Lalgorithme du gradient conjugu est exprim comme suit: Itrations de lalgorithme du gradient conjugu Pour x0 donn. dk = f (xk )T + k 1 dk 1 f (xk )dk k = d T Qd
k k

xk +1 = xk + k dk f (xk +1 )Qdk k = d T Qd
k k

Chapitre 3

Optimisation locale sans contraintes

Implantation de la direction de Newton modie et dun pas admissible

Cadre gnral de lalgorithme de Newton modie

Chapitre 3

Optimisation locale sans contraintes

Implantation de la direction de Newton modie et dun pas admissible

Adapatation du gradient conjugu:Newton modie

Chapitre 3

Optimisation locale sans contraintes

Implantation de la direction de Newton modie et dun pas admissible

Adaptation du gradient conjugu:Rgion de conance

Chapitre 3

Optimisation locale sans contraintes

Implantation de la direction de Newton modie et dun pas admissible

Implantation du pas admissible

Chapitre 3

Optimisation locale sans contraintes