Frank-Wolfe Algorithm - IntroductionPreviousNext

To illustrate the Frank-Wolfe algorithm, consider the demonstration example for the simplex method with a new objective function:

The feasible region is shown to the right. Without these constraints the maximum ofis easily found (by setting the partial derivatives equal to zero) to be. But what is the constrained maximum? Let us use as the initial trial solutionfor the Frank-Wolfe algorithm.

Frank-Wolfe Algorithm - Objective ApproximationPreviousNext

Initial trial solution:

We begin the first iteration by developing a "linear approximation" fornear this trial solution. This is done by evaluating the partial derivatives at (0, 0):

so this approximation is.

Maximizingsubject to the original constraints yields the solutionwith. However since (2, 1) is not near(0, 0) the approximation may not be a good one at (2, 1). [Note thatis well under.] Rather than just accepting (2, 1) as the next trial solution , let us check the line segment between (0, 0) and (2, 1) and choose thewith the largest.

Frank-Wolfe Algorithm - Changing SolutionPreviousNext

The equation for the line segment between (0, 0) and (2, 1) is

Since,, the values ofon the line are

The pointon this line segment having the largestis found by maximizingoverby the one-dimensional search procedure, which yields.

Therefore the new trial solution is.

Frank-Wolfe Algorithm - Next IterationPreviousNext

Second trial solution:

We begin the second iteration by evaluating the partial derivatives ofat (2, 1):

so the approximating objective function..

Maximizingsubject to the original constraints yields the solutionwith. [Note that.]

The line between (2, 1) and (0, 7) is

.

,

which is maximized at.

The resulting new trial solution is.

Frank-Wolfe Algorithm - Final IterationPreviousNext

Third trial solution:

Evaluating the partial derivatives at (1.695, 1.914):

so the approximating objective function is.

Maximizing, or equivalently (after dividing by 4.17), results ineverysolution on the line between (2, 1) and (0, 7) being optimal for this linear programming problem. Regardless of which solution is used as the other endpoint of the line from (1.695, 1.914), we already know from the preceding iteration thatis maximized along this line at (1.695, 1.914).

Since the trial solution did not move, this verifies that the optimal solution for our convex programming problem is

This concludes the demonstration. See the OR Tutor menu (to the left) for other demonstrations or close the browser window to exit OR Tutor.

Ejemplo del Mtodo de Frank Wolfe en Programacin No LinealporGEO Tutorialesel29/01/2015enProgramacin No LinealEl mtodo o algoritmo de Frank Wolfe fue propuesto en 1956 por Marguerite Frank y Philip Wolfe y se aplica a problemas de optimizacin matemtica con una funcin objetivo no lineal convexay cuyo dominio de soluciones factibles esta compuesto exclusivamente porrestricciones lineales, es decir, es un conjunto convexo (en consecuencia el problema es convexo).Consideremos el siguiente problema que asumiremos cumple con el formato anteriormente descrito:

Dada una aproximacina la solucin ptima del problema, podemos resolver un problema ms sencillo que aproxime al problema P), suponiendofactible.

O equivalentemente resolviendo el siguiente problema:

Que puede ser resuelto mediante elMtodo Simplex. Denotamos porla solucin ptima de. El mtodo contempla en seguida una minimizacin de un problema unidimensional que equivale a escoger un escalarde modo que:

En seguida se define la siguiente aproximacin al ptimo como:

Que equivale a definircomo la solucin ptima defrestringida al conjunto de puntos que determina al segmento que unecon.Ejemplo:Aplicar el mtodo de Frank Wolfe al siguiente problema no lineal restringido (convexo). Notar que la matriz hessiana o de segundas derivadas de la funcin objetivo es positiva definida.

Realizamos la primera iteracin del mtodo que da origen al siguiente problema de Programacin Lineal:

La resolucin es trivial y puede ser alcanzada de forma grfica conGeogebra. La solucin ptima essegn se aprecia a continuacin:

Luego buscamos la solucin para el problema unidimensional en trminos del parmetro:

Finalmente se obtieneconcluyendo una iteracin del mtodo de Frank Wolfe. Se propone al lector seguir las iteraciones a contar de este punto. Por ejemplo se puede verificar que. (Hint:La solucin ptima se alcanza en.

Mtodo de Lagrange aplicado a un Problema de Programacin No LinealporGEO Tutorialesel28/01/2014enProgramacin No LinealEl mtodo de multiplicadores de Lagrange (el cual es generalizado por las condiciones de optimalidad deKarush-Kuhn-Tucker) permite abordar la resolucin de modelos de programacin no lineal que consideran restricciones de igualdad. En este sentido y como resulta natural, el dominio de soluciones factibles considerar exclusivamente aquellas soluciones que permiten verificar el cumplimiento de la igualdad de dichas restricciones. Por el contrario, un problema de optimizacin que considera inecuaciones como restricciones, slo requiere que stas se cumplan y no necesariamente se deber forzar el cumplimiento de ellas en igualdad (activas).En general las condiciones de Lagrange se aplican a un problema que tiene la siguiente estructura:

Que da origen a la funcin Lagrangiana asociada a dicho problema:

Consideremos el siguiente problema deProgramacin No Linealrestringido que nos permitir ilustrar la aplicacin del mtodo de Lagrange.

Notar que el problema adopta la estructura estndar previamente descrita y considera una nica restriccin de igualdad. No se incluye en particular condiciones de no negatividad, que en caso de estar presentes justificaran la aplicacin delTeorema de Karush-Kuhn-Tucker.

Mtodo de Lagrange aplicado a un Problema de Programacin No LinealporGEO Tutorialesel28/01/2014enProgramacin No LinealEl mtodo de multiplicadores de Lagrange (el cual es generalizado por las condiciones de optimalidad deKarush-Kuhn-Tucker) permite abordar la resolucin de modelos de programacin no lineal que consideran restricciones de igualdad. En este sentido y como resulta natural, el dominio de soluciones factibles considerar exclusivamente aquellas soluciones que permiten verificar el cumplimiento de la igualdad de dichas restricciones. Por el contrario, un problema de optimizacin que considera inecuaciones como restricciones, slo requiere que stas se cumplan y no necesariamente se deber forzar el cumplimiento de ellas en igualdad (activas).En general las condiciones de Lagrange se aplican a un problema que tiene la siguiente estructura:

Que da origen a la funcin Lagrangiana asociada a dicho problema:

Consideremos el siguiente problema deProgramacin No Linealrestringido que nos permitir ilustrar la aplicacin del mtodo de Lagrange.

Notar que el problema adopta la estructura estndar previamente descrita y considera una nica restriccin de igualdad. No se incluye en particular condiciones de no negatividad, que en caso de estar presentes justificaran la aplicacin delTeorema de Karush-Kuhn-Tucker.En este contexto, un mnimo local para el problema propuesto debe satisfacer las condiciones necesarias de primer orden de Lagrange:

Que da origen al siguiente sistema de ecuaciones:

Donde la resolucin es trivial y corresponde ax1=2,x2=2y1=-4. Notar que el multiplicador de Lagrange asociado a una restriccin de igualdad es libre de signo, en consecuencia la solucin propuesta satisface las condiciones necesarias de primer orden.Adicionalmente se cumplen las condiciones de segundo orden pues:

Es positiva definida (funcin objetivo estrictamente convexa y restriccin lineal que define un conjunto convexo). Luego, el problema es convexo y en consecuenciax1=2yx2=2es mnimo global y solucin ptima del problema. Este resultado por cierto es consistente con la representacin grfica del problema, donde la solucin ptima corresponde al punto A, donde la restriccin (color naranjo) es tangente a la curva de nivel que representa a la circunferencia de menor radio que intercepta el dominio de soluciones factibles.

Te Sirvi? Comparte! Correo electrnico Facebook1 Twitter2 Google LinkedIn Relacionado

Teorema de Karush Kuhn Tucker aplicado a un Problema de Programacin No LinealEn "Programacin No Lineal"

Qu es una Solucin Bsica Factible en Programacin LinealEn "Programacin Lineal"

Casos Especiales en la Programacin Lineal detectados con el Mtodo SimplexEn "Programacin Lineal"