Documente Academic
Documente Profesional
Documente Cultură
15/02/2013
Resumen
1 Introduccion
2 Metodo del gradiente
3 Propiedades del metodo del gradiente
4 Implementacion del metodo del gradiente
5 Referencias
1. Introduccion
En esta seccion, presentamos el metodo del gradiente para
optimizacion irrestricta, veremos sus propiedades de
convergencia debil y fuerte, convergencia global de convergencia
asi como sus tasa de convergencia.
2. Metodo del gradiente
Considere el problema:
min{f (x) : x Rn }
xk+1 = xk k f (xk ),
b) Regla de Armijo
Dados los escalares s, , con 0 < < 1 y 0 < < 1, definir
k = s mk ,
donde dk = f (xk ).
Ejemplo 1: Busqueda exacta
Considere el problema
x0 f (x0 ) = (1 2, 1 2)
y as
() = (1 2)2 + (1 2)2 .
1
El mnimo de esta funcion obviamente es 0 = 2 y as el siguiente
punto de la iteracion es
1
x1 = x0 0 f (x0 ) = (1, 1) (2, 2) = (0, 0).
2
Para realizar la siguiente iteracion realizamos el test de parada
obteniendo
||f (x1 )|| = 0
con lo que finaliza el metodo y obtiene el punto de mnimo
x1 = (0, 0).
Ejemplo 2: Busqueda exacta
Ahora considere el problema
1
min{x12 + x22 : (x1 , x2 ) R2 }
2
En este caso f (x1 , x2 ) = x12 + 21 x22 y el gradiente es
f (x1 , x2 ) = (2x1 , x2 ).
Tomemos el punto inicial x0 = (2, 1) entonces f (x0 ) = (4, 1) y as
||f (x0 )|| = ||f (2, 1)|| = 17 >> 0.
Como
x0 f (x0 ) = (2 4, 1 ),
entonces 0 debe minimizar la funcion
1
() = (2 4)2 + (1 )2 .
2
17
Resolviendo el problema tenemos que 0 = 33 y as el nuevo
punto es
1 0 0 17 2 16
x = x 0 f (x ) = (2, 1) (4, 1) = , .
33 33 33
Pasamos a la segunda iteracion.
f (x1 ) = ( 4 16
33 , 33 ) y la nueva funcion () es
4 2 2 1 16 16 2
() = ( ) + ( )
33 2 33 33
Luego el valor de 1 debe minimizar la funcion anterior....as
sucesivamente
Ejemplo 1:Armijo
Considere el problema
1
min{x12 + x22 : (x1 , x2 ) R2 }
2
En este caso f (x1 , x2 ) = x12 + 21 x22 y el gradiente es
f (x1 , x2 ) = (2x1 , x2 ).
Consideramos:
1
= , s = 1, = 1/2
2
Tomemos el punto inicial x0 = (2, 1) entonces f (x0 ) = (4, 1) y as
||f (x0 )|| = ||f (2, 1)|| = 17 >> 0.
1 9 17
(2 4)2 + (1 )2 .
2 2 2
Si damos = 1 entonces tenemos
4 4,
lo que no es verdad.
1
Si = 2 entonces
1 1
,
8 4
lo que es verdad, entonces 0 = 12 .
El nuevo punto es:
1 1
x1 = (2, 1) (4, 1) = (0, )
2 2
Pasamos a la segunda iteracion.
f (x1 ) = (0, 12 ). La desigualdad a ser verificada es
x2 = (0, 0).
3. Propiedades del metodo del gradiente
Propiedad
Usando las busquedas a) y b) tenemos:
La sucesion {f (xk )} es no cresciente, esto es,
f (xk )
k T
f (x ) = ||f (xk )||.1 = ||f (xk )||||dk || |f (xk )T dk |,
||f (xk )||
f (xk )
k T
f (x ) f (xk )T dk ,
||f (xk )||
lim f (xk ) = 0.
k+
xk+1 = xk k f (xk ),
k = s mk ,
1 1
< .
2 10
Ejemplo MG1
Considere el problema
1
min{x12 + x22 : (x1 , x2 ) R2 }
2
Consideraremos
x0 = (2, 1)
1
= , s = 1, = 0.1
2
Ejemplo MG2
Considere el problema
Consideraremos
x0 = (1, 2)
= 0.5, s = 1, = 0.1
Ejemplo MG4
Considere el problema
Consideraremos
x0 = (1, 2, 3, 4, 5)
= 0.1, s = 1, = 0.1
Ejemplo MG5
Considere el problema
Consideraremos
x0 = (0, 3)
Realizar 7 iteraciones del metodo con
= 0.5, s = 1, = 0.1
x = (2, 1)
Ejemplo MG6
Considere el problema
Consideraremos
x0 = (1.2, 1)
Realizar iteraciones del metodo con
= 0.5, s = 1, = 0.1
x = (1, 1), f = 0
Convergencia lineal
Considere el problema
1
min{ xT Ax bT x : (x1 , x2 ) R2 }
2
donde A es simetrica y definida positiva.
2
cond(A) 1
f (xk+1 ) f (x ) f (xk ) f (x ) .
cond(A) + 1
Observacion practica
I Note que incluso para valores moderados de cond(A), la cota
superior es cercano a 1.
I Cuando cond(A) es menor que 50 el metodo de maximo
descenso tiene gran chance de tornarse practico.
5. Referencias