Optimizacin

Bsqueda en una Dimensin

Dr. E Uresti

ITESM

Bsqueda en una Dimensin

Profr. E. Uresti - p. 1/19

Introduccin
Algunos de los mtodos numricos de bsqueda de ptimos de una funcin en varias variables se basan en mtodos de bsqueda de ptimos en una variable. Por ejemplo, el mtodo de ascenso ms rpido elige un punto dado y determina la direccin de mximo crecimiento en tal punto. Esta direccin es la del gradiente de la funcin en dicho punto. As, y partiendo del punto y siguiendo esta direccin, avanza para localizar el ptimo en dicha direccin. Imaginese avanzando en lnea recta y tomando en cuenta slo la evaluacin de la funcin para determinar el punto en la lnea con la mayor evaluacin. Una vez alcanzado este punto, se determina la direccin de mximo crecimiento en tal punto y se repite el proceso de bsqueda. Por su valor prctico, los mtodos de bsqueda en una dimensin son dignos de revisar.
Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 2/19

Previo a revisar los mtodos, es importante saber si el ptimo que buscamos existe y que no habr ms de uno. Una funcin que efectivamente tiene un slo ptimo recibe un nombre especial:
Denicion

Introduccion GS Bracketing B y GS Ejemplos Tarea

Una funcin es unimodal si slo tiene un ptimo (relativo o absoluto). En caso que tenga varios ptimos se dice multimodal.

Bsqueda en una Dimensin

Profr. E. Uresti - p. 3/19

Unimodal

Multimodal

Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 4/19

Mtodo de la Seccin Dorada

La estrategia de este mtodo se basa en tres puntos iniciales: dos considerados los extremos de un intervalo (x1 y x2 ) y el tercero (x3 ) entre los dos primeros de tal suerte que relacin entre la distancia de este punto interno al extremo x2 (x2 x3 ) y la distancia entre los extremos (x2 x1 ) es siempre una constante: x2 x3 51 = = = 0.618034 . . . x2 x1 2 Note que el punto x3 divide al segmento [x1 : x2 ] en dos partes: la parte [x1 : x3 ] es ms pequea que la parte [x3 : x2 ]: el segmento [x3 : x2 ] es el 61.80 % de [x1 : x2 ], mientras que [x1 : x3 ] tiene una longitud que es el 38.19 %.
Introduccion GS Bracketing B y GS Ejemplos Tarea

x1

x3

x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 5/19

El mtodo itera generando un siguiente punto x4 en [x3 : x2 ] (la parte ms amplia) de manera que se cumple: x4 x1 = x2 x1 Note que las frmulas convenientes para el clculo de x3 y x4 son: x4 = (1 ) x1 + x2 . y x3 = x1 + (1 ) x2 . Y la razn es porque en estas frmulas no se requiere que x1 < x2 .

Introduccion GS Bracketing B y GS Ejemplos Tarea

x1

x3

x4

x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 6/19

Observemos las siguientes razones:

x4 x1 x2 x1

= =

((1 ) x1 + x2 )x1 x2 x1 x2 x1 x2 x1

Introduccion GS Bracketing B y GS Ejemplos Tarea

x2 x3 x2 x1

= =

x2 ( x1 +(1 ) x2 ) x2 x1 x2 x1 x2 x1

x3 x1 x4 x1

= =

( x1 +(1 ) x2 )x1 (1 ) x1 + x2 x1 (1 )(x2 x1 ) (x2 x1 )

x2 x4 x2 x3

= =

x2 ((1 ) x1 + x2 ) x2 x1 (1 ) x2 (1 ) (x2 x1 ) (x2 x1 )

Bsqueda en una Dimensin

Profr. E. Uresti - p. 7/19

I1 I4 I2 I3 I5 = 1 = I6 x1 x3 x4 x2
I3 I1 I2 I1

= =

I4 I1 I5 I1

= =

I2 I4 I6 I4

= =

I5 I3 I6 I3

= 0.6180 . . . = 0.3819 . . .

Bsqueda en una Dimensin

Profr. E. Uresti - p. 8/19

Dependiendo de la funcin a maximizar, el algoritmo escoge tres puntos de los cuatro disponibles de manera que la situacin se repite en las proporciones de los intervalos. En general, si Ii es la longitud del intervalo en la iteracin i se cumple que: In = n1 I1 Por tanto, conociendo el intervalo inicial (I1 ) y sabiendo a qu precisin se desea estimar el punto (In ), es fcil estimar el total de iteraciones requeridas para que este mtodo se aproxime al valor requerido: ln(In ) ln(I1 ) n=1+ ln( )

Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 9/19

Ubicacin del Intervalo

El mtodo de la seccin dorada requiere de la ubicacin de los tres primeros puntos x1 , x2 y x3 como se describen anteriormente. Cuando el mtodo se aplica a la determinacin de un mximo de una funcin f (x), los puntos deben satisfacer: f (x1 ) < f (x3 ) y f (x3 ) f (x2 ). Es decir, la funcin sube y cae. Al procedimiento para encontrar tales puntos recibe el nombre de Ubicacin del Intervalo de Trabajo (Bracketing).
Introduccion GS Bracketing B y GS Ejemplos Tarea

x1

x3

x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 10/19

La estrategia inicia a partir de un punto x1 y teniendo un incremento de x inicial s. Se genera un siguiente punto x3 = x1 + s. Si f (x1 ) f (x3 ) habr que buscar hacia atrs cambiando intercambiando los puntos y el signo del incremento. Si f (x1 ) < f (x3 ), el incremento se agranda en la proporcin por medio de la frmula s = s/ . f (x1 ) < f (x3 ) f (x1 ) f (x3 )

Introduccion GS Bracketing B y GS Ejemplos Tarea

x1

x3

x3 = x1 x1 = x3 s = s

Bsqueda en una Dimensin

Profr. E. Uresti - p. 11/19

Un siguiente punto se genera hacia adelante x2 = x3 + s. Si f (x3 ) f (x2 ) los tres puntos buscados estn determinados. Si f (x3 ) < f (x2 ), entonces el procedimiento se repite tomando x1 = x3 , x2 = x3 y s = s/ . Observe que el intervalo de bracketing va creciendo en la proporcin 1/ ( 1.618).

Introduccion GS Bracketing B y GS Ejemplos Tarea

f (x3 ) f (x2 ) s x1 x3 s x2 x1 s

f (x3 ) < f (x2 )

s x3 x1 x2 x3

s/ x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 12/19

Crecimiento del intervalo de Bracketing

f (x1 ) < f (x3 )

f (x3 ) f (x2 )

f (x1 )

f (x3 )
1 (1 + ) s

f (x2 )

s x1 x3

s x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 13/19

Algoritmo Basado en la Seccin Dorada

[1.] Inicie con un punto x1 y un incremento s; tome f1 f (x1 ). [2.] Tome x3 x1 + s y f3 f (x3 ). [3.] Si (f1 > f3 ), intercambie (x1 , f1 ) y (x3 , f3 ) y tome s s. [4.] Tome s s/ , x2 x3 + s, y f2 f (x2 ). [5.] Si (f3 > f2 ), vaya a [7.] [6.] Tome (x1 , f1 ) (x3 , f3 ) y (x3 , f3 ) (x2 , f2 ) y vaya a [4.] [7.] Tome x4 (1 ) x1 + x2 y f4 f (x4 ). [8.] Si (f3 f4 ), tome (x2 , f2 ) (x1 , f1 ) y (x1 , f1 ) (x4 , f4 ); vaya a [10.] [9.] Tome (x1 , f1 ) (x3 , f3 ) y (x3 , f3 ) (x4 , f4 ); [10.] SiCriterio de paro = OK, termine; caso contrario vaya a [7.]
Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 14/19

Casos en la comparacin de f4 vs f3

I1 I4 I2 I5 I3 I4 I2

I1 I5 I3

x1

x3 x4 x1 x3

x2 x2

x1 x2

x3 x4 x3 x1

x2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 15/19

Ejemplos
Aplique el algoritmo anterior para encontrar el mximo de la funcin f (x) = x2 1 partiendo de x1 = 1 y con un primer intervalo de s = 0.5.
Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 16/19

Ejemplos
Aplique el algoritmo anterior para encontrar el mximo de la funcin f (x) = x2 1 partiendo de x1 = 1 y con un primer intervalo de s = 0.5.
Determinacion de la direccion de avance

Introduccion GS Bracketing B y GS Ejemplos Tarea

x1 -1.0

f (x1 ) -2.0

s 0.5

x3 = x1 + s -0.5

f (x3 ) -1.25

f (x1 ) < f (x3 )? s

Bsqueda en una Dimensin

Profr. E. Uresti - p. 16/19

Ejemplos
Aplique el algoritmo anterior para encontrar el mximo de la funcin f (x) = x2 1 partiendo de x1 = 1 y con un primer intervalo de s = 0.5.
Determinacion de la direccion de avance

Introduccion GS Bracketing B y GS Ejemplos Tarea

x1 -1.0
Ubicacion

f (x1 ) -2.0

s 0.5

x3 = x1 + s -0.5

f (x3 ) -1.25

f (x1 ) < f (x3 )? s

x1 -1.0 -0.5

f (x1 ) -2.0 -1.25

s 0.5 0.80906

x3 -0.5 0.30906

f (x3 ) -1.25 -1.09552

s = s/ 0.80906 1.30916

x2 = x3 + s 0.30906 1.61822

f (x2 ) -1.09552 -3.61864

f2 f3 no s

Bsqueda en una Dimensin

Profr. E. Uresti - p. 16/19

Ejemplos
Aplique el algoritmo anterior para encontrar el mximo de la funcin f (x) = x2 1 partiendo de x1 = 1 y con un primer intervalo de s = 0.5.
Determinacion de la direccion de avance

Introduccion GS Bracketing B y GS Ejemplos Tarea

x1 -1.0
Ubicacion

f (x1 ) -2.0

s 0.5

x3 = x1 + s -0.5

f (x3 ) -1.25

f (x1 ) < f (x3 )? s

x1 -1.0 -0.5

f (x1 ) -2.0 -1.25

s 0.5 0.80906

x3 -0.5 0.30906

f (x3 ) -1.25 -1.09552

s = s/ 0.80906 1.30916

x2 = x3 + s 0.30906 1.61822

f (x2 ) -1.09552 -3.61864

f2 f3 no s

Renamiento

s 2.1182 1.3090 .80896 .49994 .30896 .19094 .11800 .072924

x1 -.5 .80900 .30915 -.19090 .11813 -.072854 .045174 -.027768

f (x1 ) -1.25 -1.6545 -1.0956 -1.0364 -1.0140 -1.0053 -1.0020 -1.0008

x3 .30915 .30915 .00004 .00004 .00004 .00004 .00004 .00004

f (x3 ) -1.0956 -1.0956 -1. -1. -1. -1. -1. -1.

x2 1.61822 -.5 -.5 .30915 -.19090 .11813 -.072854 .045174

f (x2 ) -3.6186 -1.25 -1.25 -1.0956 -1.0364 -1.0140 -1.0053 -1.0020

x4 = (1 ) x1 + x2 .80900 .00004 -.19090 .11813 -.072854 .045174 -.027768 .017311

f (x4 ) -1.6545 -1. -1.0364 -1.0140 -1.0053 -1.0020 -1.0008 -1.0003

Bsqueda en una Dimensin

Profr. E. Uresti - p. 16/19

Encuentre el punto ptimo (mximo) por el mtodo de Mayor Ascenso combinado con el mtodo de la seccin dorada a las funciones: f (x, y, z) = 3 x2 2 x y 6 x 3 y 2 2 y z 2 Partiendo de P (2, 2, 1) y tomando s = 1 en cada aplicacin de la seccin dorada.

Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 17/19

Encuentre el punto ptimo (mximo) por el mtodo de Mayor Ascenso combinado con el mtodo de la seccin dorada a las funciones: f (x, y, z) = 3 x2 2 x y 6 x 3 y 2 2 y z 2 Partiendo de P (2, 2, 1) y tomando s = 1 en cada aplicacin de la seccin dorada.
Solucion

Introduccion GS Bracketing B y GS Ejemplos Tarea

La direccin de mximo crecimiento es la del gradiente: f =< 6 x 2 y 6, 2 x 6 y 2, 2 z > As f (P ) =< 22, 18, 2 >; por tanto, la direccin unitaria de mximo crecimiento es: v =< 0.77208, 0.63169, 0.070188 >. De donde, la funcin f (x, y, z) restringida a P + t v queda: g(t) = f (x = P1 +t v1 , y = P2 +t v2 , z = P3 +t v3 ) = 49.0+28.497 t3.9657 t2

Bsqueda en una Dimensin

Profr. E. Uresti - p. 17/19

Apliquemos ahora el mtodo de la seccin dorada a g(t) = 49.0 + 28.497 t 3.9657 t2 partiendo de t = 0 y con s = 1.

Introduccion GS Bracketing B y GS Ejemplos Tarea

Bsqueda en una Dimensin

Profr. E. Uresti - p. 18/19

Tarea
1. Use el mtodo de la seccin dorada para determinar con una tolerancia de 0.05 la solucin ptima de : Max Sujeto a x2 + 2 x 3 x 5
Introduccion GS Bracketing B y GS Ejemplos Tarea

2. Use el mtodo de la seccin dorada para determinar con una tolerancia de 0.05 la solucin ptima de : Max Sujeto a x ex 1 x 3

3. Encuentre el punto mximo por el mtodo de Mayor Ascenso combinado con el mtodo de la seccin dorada a las funciones: a) f (x, y) = (x 3)2 (y 1)2 partiendo de P (2, 2) y tomando s = 1 en cada aplicacin de la seccin dorada. b) f (x, y) = 3 x2 2 x y 6 x 3 y 2 2 y 3 partiendo de P (2, 2) y tomando s = 1 en cada aplicacin de la seccin dorada.

Bsqueda en una Dimensin

Profr. E. Uresti - p. 19/19