optimización - práctica 3 - parte 2
TRANSCRIPT
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONESOPTIMIZACIÓN
PRÁCTICA 3 - PARTE 2
Departamento de Matemática, FCEyN, Universidad de Buenos Aires
22/05/2020
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Ahora vamos a dar algoritmos para problemasoptimización con restricciones.
I Primero nos concentraremos en el caso derestricciones de igualdad.
I Más especificamente, restricciones de igualdadlineal.
I Consideremos el problema de minimización:
minimize f (x)
s.t. Ax = b
donde A ∈ Rk×n, b ∈ Rk con k = rank(A) < n.I El lagrangiano del problema es:
L(x , ν) = f (x) +
k∑i=1
νi(aTi x − bi) = f (x) + νT (Ax − b)
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Las condiciones de KKT del problema para que x∗
sea mínimo es que exista ν∗ ∈ Rk tal que:
0 = ∇f (x∗) + (ν∗)T A
Ax∗ = b
I Supongamos que tenemos un método de descensoxk+1 = xk + tkdk, por ejemplo dk = −∇f (xk)T engradient descent.
I Queremos hacer un método que empiece en unpunto factible, i.e. x0 tal que Ax0 = b, y sea tal que lasucesión (xk)k sea factible, i.e. Axk = b para todo k.
I Pero si Axk = b entonces:
Axk+1 = Axk + tkAdk = b ⇐⇒ Adk = 0
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Esto es, necesitamos que la dirección de descensodk ∈ ker(A) = Im(AT )⊥.
I La idea es que podemos tomar la proyecciónortogonal de dk sobre ker(A), y así obtener unadirección que nos mantiene factibles.
I Supongamos que q1, . . . ,qn es una b.o.n. de Rn talque qk+1, . . . ,qn es b.o.n. de ker(A), y supongamosque dk = −∇f (xk)T .
I Si ∇f (xk) =∑n
i=1 αiqi , entonces la proyecciónortogonal de dk, que notamos dk esta dada pordk = −
(∑ni=k+1 αiqi
).
I Luego:
〈∇f (xk), dk〉 = −
(n∑
i=k+1
α2i
)< 0
salvo que ∇f (xk) ∈ ker(A)⊥ = Im(AT ), pero en talcaso xk es óptimo por las condiciones de KKT.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Esto muestra que el algoritmo es un método dedescenso.
I Para calcular la proyección ortogonal a ker(A) sepueden usar métodos de ortogonalización, tambiendirectamente si A = UΣV T es la factorización fullSVD de A entonces las columnas de V nos dan unabase ortogonal de V cuyas columnas v∗,k+1, . . . , v∗,nson base ortogonal ker(A).
I Luego la proyección ortogonal esta dada por:
P =
0 . . . 0 v1,k+1 . . . v1,n...
. . ....
.... . .
...0 . . . 0 vn,k+1 . . . vn,n
V T
I Alternativamente, tenemos la siguiente fórmulaP = I − AT (AAT )−1A (ejercicio).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Los resultados de convergencia para descenso por elgradiente se extienden al caso de gradientesproyectados.
I Notar que como Rn = ker(A)⊕ Im(AT ), si el algoritmoconverge cuando ‖P(∇f (x))‖ ≤ ε donde P es laproyección ortogonal a ker(A) entonces‖∇f (x)T + ATν‖ ≤ ε, donde ν = −(AAT )−1A∇f (x)T , yaque AT (AAT )−1A es la proyección ortogonal sobreIm(AT ).
I Es decir, converge a una solución aproximada de lascondiciones de KKT.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
Algoritmo: Dada f ∈ C1(Rn) convexa*, A ∈ Rk×n derango k < n, b ∈ Rk y x0 tal que Ax0 = b. Dado ε > 0 yP : Rn → Rn la proyección ortogonal sobre ker(A).Mientras que ‖P(∇f (x))‖ > ε:
I Sea d = −P(∇f (x)).I Calcular t con una busqueda de linea, x+ = x + td.I Actualizar x = x+.
Output: x tal que ‖P(∇f (x))‖ ≤ ε.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
I Por ejemplo, consideremos el problema delconsumidor:
maximize u(x)
s.t. pT x = w
para u(x) = x0.31 x0.2
2 x0.43 , precios p = (2,1,3) y
endowment w = 100.I En realidad sabemos a priori que la solución está en
el hiperplano, por lo tanto podemos pensarlo comoun problema con restricciones de igualdad.
I Empezamos con nuestro guess inicialx0 = (20,30,10).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
FIG.: xk dados por projected gradient descent, sobre lasuperficie pT x = w.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
FIG.: xk dados por projected gradient descent, sobre lasuperficie pT x = w. − gráfico de los vectores ∇u(xk) desde xk.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
GRADIENTE PROYECTADO
FIG.: u∗ − u(xk) dados por projected gradient descent.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Ahora consideremos el método de Newton paraminimizar una función convexa f ∈ C2(Rn) sujeto aAx = b.
I Consideremos primero el caso de una cuadrática,i.e. f (x) = 1
2xT Px − qT x + c con P 0.I Las condiciones de KKT del problema para que x∗
sea mínimo es que exista ν∗ ∈ Rk tal que:
0 = (Px∗ − q) + ATν∗
Ax∗ = b
I Podemos reescribir el sistema en forma matricial:[P AT
A 0
] [x∗
ν∗
]=
[qb
]
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Vimos anteriormente que si P 0 y A fat de rango kentonces entonces la matriz del sistema KKT resultainversible, y uno puede calcular resolver el sistemapor Schur complement.
I Más generalmente se tiene que si P 0 y A ∈ Rk×n
de rango k < n, entonces son equivalentes:A) la matriz del sistema KKT es inversible.B) ker(P) ∩ ker(A) = 0.C) Si x 6= 0 tal que Ax = 0 entonces xT Px > 0, i.e. P es
definida positiva en ker(A).
(Ejercicio)I Ahora para derivar el método de Newton con
restricciones de igualdad, hacemos la aproximaciónde f de Taylor de segundo orden en el punto, sujetoal subespacio Ax = b.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Dado un x ∈ Rn fijo tal que Ax = b consideremos:
minimizev
f (x + v) = f (x) +∇f (x)v +12
vT∇2f (x)v
s.t. A(x + v) = b
I Luego la solución a este problema esta caracterizadapor el sistema matricial de KKT:[
∇2f (x) AT
A 0
] [dntν
]=
[−∇f (x)T
0
]
I Se define el decremento de Newton como antes,λ2(x) = dnt∇2f (x)dnt .
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
Algoritmo: Dada f ∈ C2(Rn) convexa*, A ∈ Rk×n derango k < n, b ∈ Rk y x0 tal que Ax0 = b. Sea x = x0 ydado ε > 0:
I Calcular dnt y λ2(x).I Si λ2(x)/2 < ε: Break.I Calcular t con una busqueda de linea, x+ = x + tdnt .I Actualizar x = x+.
Output: x tal que λ2(x)/2 < ε.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Para no tener que estudiar la convergencia, veremosque de hecho el método de Newton con restriccionesde igualdad coincide con hacer el método de Newtoneliminando variables.
I Esto es, supongamos que:
x ∈ Rn | Ax = b = x = x0 + By | y ∈ Rn−k
i.e. x0 es una solución particular y B ∈ Rn×(n−k) estal que sus columnas son base de ker(A).
I Sea f (y) = f (x0 + By), entonces afirmamos que lasucesión (yk)k dada por el método de Newtonempezando con y0 = 0, es tal que xk = x0 + Byk es lasucesión del método de Newton con restricciones deigualdad empezando en x0.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDADI Dados y ∈ Rn−k y x = x0 + By, entonces:
∇f (y)T = BT∇f (x)T , ∇2f (y) = BT∇2f (x)B
I De hecho, la matriz de KKT es inversible si y solo siBT∇2f (x)B lo es.
I Luego el paso de Newton (en y) sin restricciones dntes tal que:
BT∇2f (x)Bdnt = −BT∇f (x)T
I Sea deqnt = Bdnt , veamos que es el paso de Newton
con restricciones de igualdad. Hay que ver queexiste ν tal que:[
∇2f (x) AT
A 0
] [deq
ntν
]=
[−∇f (x)T
0
]
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Para la segunda ecuación observar queAdeq
nt = ABdnt = 0 ya que AB = 0.I Si multiplico a la primera ecuación por A entonces
tenemos que: A∇2f (x)deqnt + AATν = −A∇f (x)T
I Luego, como AAT es inversible tenemos que:
ν = −(AAT )−1A(∇2f (x)deqnt +∇f (x)T )
I Falta ver que ∇2f (x)deqnt + ATν = −∇f (x)T . Pero si
multiplico por BT :
BT (∇2f (x)deqnt + ATν) = BT∇2f (x)Bdnt = −BT∇f (x)T
donde uso nuevamente que AB = 0.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Luego tenemos que:[ABT
](∇2f (x)deq
nt + ATν +∇f (x)T ) = 0
I Pero la matriz es inversible ya que es cuadrada den × n, y si z esta en su núcleo entonces es tal queAz = 0, BT z = 0, pero si Az = 0 entoncesz ∈ ker(A) = Im(B) = ker(BT )⊥, con lo cual z = 0.
I Listo, luego deqnt = Bdnt es el paso de Newton con
restricciones de igualdad, por lo tanto las sucesionescoinciden ya que:
x+ = x+deqnt = x0+By+Bdnt = x0+B(y+dnt) = x0+By+
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Veamos como funciona el algoritmo en el ejemplo:
minimize − u(c,a) = −
(T∑
t=0
βt ln(ct)
)
s.t. ht(c,a) = ct+at+1−wt−(1+r)at = 0, t = 0, . . . ,T .
a0 = aT+1 = 0
I Sea y = (c0,a1, c1,a2, . . . ,aT , cT ,aT+1) ∈ R2(T+1), yb = (w0,w1, . . . ,wT ,0), entonces podemos escribir ala restricción como Ay = b donde A es la matriz:
A =
1 1 0 0 0 0 . . . 0 0 00 −(1 + r) 1 1 0 0 . . . 0 0 00 0 0 −(1 + r) 1 1 . . . 0 0 0...
......
......
.... . .
......
...0 0 0 0 0 0 . . . −(1 + r) 1 10 0 0 0 0 0 . . . 0 0 1
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Notemos que se cumple la hipótesis de que la matrizde KKT sea inversible para este problema.
I Dado un y ∈ R2(T+1), entoncesf (y) = −
(∑T+1t=1 βt−1 ln(y2t−1)
), luego P = ∇2f (y) es
diagonal, y en las entradas con t par vale cero, enlas entradas impares es βt−1
y22t−1
.
I Si z ∈ ker(P), entonces zt = 0 para todo t impar(consumo = 0).
I Pero entonces si z ∈ ker(A), z1 + z2 = 0, luego z2 = 0.Pero entonces −(1 + r)z2 + z3 + z4 = 0, implica quez4 = 0, etc.
I Luego z = 0, es decir ker(P) ∩ ker(A) = 0.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
FIG.: wt , ct , at de nuestro guess inicial.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
FIG.: wt , ct , at obtenidos por el método de gradientesproyectados. Número total de pasos k ≈ 14000.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
FIG.: wt , ct , at obtenidos por Newton con restricciones deigualdad. Número total de pasos k = 8.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDADI Podemos generalizar esto a problemas bastante
generales de control óptimo, solo necesitamos que ladinámica sea lineal (o linealizarla).
I Consideremos el problema:
minimizeN∑
t=1
φt(xt) +
N−1∑t=0
ψt(ut)
s.t. xt+1 = Atxt + Btut , t = 0, . . . ,N − 1.
I La variable xt = (x1,t , . . . , xk,t) ∈ Rk es llamadavariable de estado a tiempo t, mientras que lavariable ut ∈ Rl es llamada la variable de control. Seasume que x0 es dato.
I Las matrices son de tamaños At ∈ Rk×k, Bt ∈ Rk×l,pueden depender del tiempo o ser constantes.
I Asumimos que φt , ψt son strongly convex y C2.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Notemos y = (u0, x1,u1, x2, . . . ,uN−1, xN ) ∈ RN(k+l) yf (y) a la función a minimizar.
I Dado que la función es de variables separadas, elhessiano es diagonal en bloques:
∇2f (y) = diag(R0,S1, . . . ,RN−1,SN )
donde Rt = ∇2ψt(ut),St = ∇2ψt(xt).I Podemos juntar todas las ecuaciones de igualdad en
una gran matriz:
A =
−B0 I 0 0 . . . 0 0 0
0 −A1 −B1 I . . . 0 0 0...
......
......
......
...0 0 0 0 . . . −AN−1 −BN−1 I
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE NEWTON CON
RESTRICCIONES DE IGUALDAD
I Si definimos b =[A0x0 0 . . . 0
]T, luego la
restricción es Ay = b.I Este sistema puede ser enorme, pero uno puede
explotar fuertemente el hecho de que sea sparse, yes solo un bloque del sistema de KKT. De hecho estesistema se puede resolver de forma eficiente usandoel complemento de Schur, ya que este resultatridiagonal.
I Con este método se obtiene un método cuyo costo deresolver el paso de Newton es lineal en N , mientrasque el método trivial crece como N3.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Finalmente, queremos resolver un problema deoptimización de la forma:
minimize f0(x)
s.t. fi(x) ≤ 0, i = 1, . . . ,m.
Ax = b
con fi : Rn → R convexas C2 para i = 0, . . . ,m.I El método que vamos a describir es un método de
puntos interiores (interior-point method), con lo cualnecesitamos que el problema sea estríctamentefactible, es decir existe un punto x0 tal que fi(x0) < 0para i = 1, . . . ,m y Ax0 = b (i.e. satisface la condiciónde Slater).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERAI La idea es ir resolviendo una sucesión de problemas
cuya solución es un punto interior, que convergenasintóticamente a una solución de las condicionesde KKT.
I Por simplicidad, consideraremos en nuestro análisissolo restricciones de desigualdad, aunque esto no esnecesario.
I Recordemos que podemos ver nuestro problema enel orden primal, primero dado un x, maximizar ellagrangiano sobre λ ≥ 0:
supλ≥0
L(x , λ) = supλ≥0
(f0(x) +
m∑i=1
λifi(x)
)=
= f0(x) +
m∑i=1
I−(fi(x))
donde I− : R→ R es la función dada por:
I−(u) =
0 si u ≤ 0+∞ si u > 0
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I La solución del problema primal se encuentraminimizando en x esta función sin restricciones:
p∗ = infx
(f0(x) +
m∑i=1
I−(fi(x))
)
I Un problema es que esta nueva función no esdiferenciable.
I La idea del método de barrera logarítmica es“aproximar” a la función I− por funcionesdiferenciables para poder aplicar el método deNewton sin restricciones (o más generalmenterestricciones lineales de igualdad).
I La barrera logarítmica es una familia de funcionesdadas por:
It(u) = −(1/t) log(−u)
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
FIG.: Gráfico de −(1/t) log(−u) para
– t = 1 – t = 2– t = 4 – t = 8
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
EJERCICIOSea fi una función convexa con fi(x) < 0 en Ω, entoncesla función − log(−fi(x)) es convexa en Ω.
I Consideremos entonces para t > 0 el problema deminimización sin restricciones:
minimizex
(f0(x) +
m∑i=1
−(1/t) log(−fi(x))
)
I El dominio de la función a minimizar (i.e. los puntosen los que vale finito) esta implícito, es el dominio dela función f0 intersecado con el conjunto
D = x ∈ Rn | fi(x) < 0, i = 1, . . . ,m
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Esto no es un problema, ya que si nos movemos enpasos suficientemente chicos, nos mantenemosdentro de este conjunto ya que es abierto.
I Podemos reescribir el problema de minimizaciónequivalentemente de la siguiente forma:
minimizex
t f0(x) + φ(x)
donde φ(x) =∑m
i=1− log(−fi(x)) es llamada la funciónbarrera.
I Tenemos la siguiente fórmula para el gradiente:
∇φ(x) =
m∑i=1
1−fi(x)
∇fi(x)
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Para el hessiano tenemos la fórmula:
∇2φ(x) =
m∑i=1
1fi(x)2∇fi(x)T∇fi(x) +
m∑i=1
1−fi(x)
∇2fi(x)
I Dado t > 0, el central path x∗(t) esta definido por lasolución (asumimos que existe y es única) alproblema:
minimizex
t f0(x) + φ(x)
I Nuestra ilusión es que x∗(t)→ x∗ cuando t → +∞.I Por qué no poner directamente t 0 y resolver?
Muy poco eficiente y robusto en la práctica.I Mejor ir recorriendo el central path.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Podemos caracterizar a los puntos en el centralpath, x∗(t) es solución si y solo si:
0 = t∇f0(x∗(t)) +∇φ(x∗(t))
0 = t∇f0(x∗(t)) +
m∑i=1
1−fi(x∗(t))
∇fi(x∗(t))
fi(x∗(t)) < 0, i = 1, . . . ,m.
I Dado x∗(t) en el central path, podemos definirλ∗(t) ∈ Rm dual factible:
λ∗i (t) =1
−t fi(x∗(t))> 0
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Dado que el gradiente es cero, entonces x∗(t)minimiza el lagrangiano para λ∗(t), es decir:
g(λ∗(t)) = infxL(x , λ∗(t)) = inf
x
(f0(x) +
m∑i=1
λ∗i (t) fi(x)
)
i.e. g(λ∗(t)) = L(x∗(t), λ∗(t)).I Pero luego:
g(λ∗(t)) = L(x∗(t), λ∗(t)) =
f0(x∗(t)) +
m∑i=1
1−t fi(x∗(t))
fi(x∗(t)) = f0(x∗(t))− mt
I Como g(λ) siempre nos da una cota inferior del valordel problema, i.e. g(λ) ≤ p∗ entonces:
0 ≤ f (x∗(t))− p∗ ≤ mt
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Esto confirma la idea intuitiva de que x∗(t)→ x∗
cuando t → +∞, y también nos da un stopping ruleefectivo.
I Podemos garantizar que el problema del central pathtiene solución, es única y podemos encontrarla porel método de Newton si f0 es strongly convex, ya queluego t f0 + φ también resulta strongly convex.
I El problema es que cuando t → +∞ nuestra funcióncada vez es peor para el análisis clásico de Newton,ya que se sabe que el condition number de la matrizhessiana crece como Θ(t) en x∗(t).
I Esto es un problema más bien del análisis clásicoque del método en sí, pero hizo que el método debarrera perdiera popularidad por muchos años.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Ahora para el problema general, con la restricciónextra lineal Ax = b, el análisis es similar, x∗(t) estáen el central path si y solo si existe ν∗(t) ∈ Rk tal quese satisface KKT:
0 = t∇f0(x∗(t))T +∇φ(x)T + ATν∗(t)
Ax∗(t) = b, fi(x∗(t)) < 0, i = 1, . . . ,m.
I Podemos reinterpretar el central path como solucióndel siguiente sistema de KKT perturbado:
0 = ∇f0(x)T +
m∑i=1
λi ∇fi(x)T + ATν
λi fi(x) = −1/t, i = 1, . . . ,m.
Ax = b, fi(x) ≤ 0, i = 1, . . . ,m, λ ≥ 0.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I La única diferencia con el sistema de KKT es lacondición de holgura complementaria:
λifi(x) = 0, i = 1, . . . ,m.
I El método de barrera consiste en ir resolviendo:
minimizex
t f0(x) + φ(x)
s.t. Ax = b
para valores crecientes de t > 0 hasta que m/t < ε.I Dado t0 > 0 y µ > 1 empezando en t0 vamos a ir
incrementando t+ = µt y minimizando por Newton,este paso se llama paso de centrado.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
Algoritmo: Dado x0 estrictamente factible, t0 > 0, µ > 1y ε > 0. Sean x = x0 y t = t0.While True:
I Calcular x∗(t) minimizando t f0 + φ sujeto a Ax = b,empezando en x.
I Actualizar x := x∗(t).I Si m/t < ε: Break.I Actualizar t := µt.
Output: x tal que f (x)− p∗ ≤ ε.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Ahora lo que nos falta es un método para encontraruna solución estrictamente factible.
I En algunos casos uno tiene una solución factible ola puede construir a mano si entiende el problema.
I Los métodos para construir una soluciónestrictamente factibles se llaman métodos de faseuno.
I Queremos encontrar x0 tal que fi(x0) < 0 para todoi = 1, . . . ,m, y Ax0 = b.
I Para hacer esto resolvemos el siguiente problema:
minimize s
s.t. fi(x) ≤ s, i = 1, . . . ,m.
Ax = b
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERA
I Este problema siempre tiene una soluciónestrictamente factible.
I Tomamos x cualquiera tal que Ax = b y tomamos stal que s > max
i=1,...,mfi(x), y luego el par (x , s) es un
punto estrictamente factible.I Sea s∗ el mínimo de este problema. Hay tres casos
posibles a considerar:A) Si s∗ < 0 entonces el problema tiene una solución
estrictamente factible. Más aún si tenemos (x , s)factible para este problema con s < 0 entoncesfi(x) < 0 para i = 1, . . . ,m. Luego podemos terminarantes, no hace falta seguir optimizando.
B) Si s∗ > 0 el problema original es infactible. Más aúnpodemos terminar antes si encontramos un puntodual factible con g(λ) > 0 para este problema.
C) Si s∗ = 0 y el mínimo se alcanza en x∗ entonces haypuntos factibles pero no hay puntos estrictamentefactibles.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
MÉTODO DE BARRERAI Una alternativa al método anterior es resolver el
siguiente problema:
minimizem∑
i=1
si
s.t. fi(x) ≤ si , i = 1, . . . ,m.
Ax = b, s ≥ 0.
I El valor óptimo del problema es cero si y solo si lasdesigualdades son factibles, y usualmente en talcaso encontramos un punto estrictamente factible.
I Más importante es que nos da información valiosasobre cuales son las desigualdades que resultaninfactibles, y deben ser relajadas o eliminadas.
I Este conjunto de desigualdades violadas suele serpequeño (sparse), ya que estamos minimizando unanorma 1.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Como ejemplo de aplicación, veamos el discriminantelineal robusto.
I Supongamos que tenemos datos (xi ,yi) parai = 1, . . . ,m, donde xi ∈ Rn e yi ∈ −1,1.
I Supongamos que los datos son linealmenteseparables, es decir, existe un hiperplano tal queaT xi ≤ b si yi = 1 y dualmente aT xi ≥ b si yi = −1.
I Esto es equivalente a que las cápsulas convexas deambos conjuntos tengan intersección solo en puntosen la frontera.
I La idea es encontrar el mejor hiperplano que separelos datos. Mejor en el sentido de que maximiza ladistancia (mínima) del hiperplano a las dos clases depuntos.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONESI Si a es de norma uno y dado x ∈ Rn, entonces|aT x − b| es la distancia del punto x al hiperplano.
I Es decir, la idea es encontrar a ∈ Rn con ‖a‖ = 1,b ∈ R y t ∈ R+ máximo tal que aT xi − b ≤ −t si yi = 1y aT xi − b ≥ t si yi = −1.
I Entonces podemos plantear nuestro problema comoel siguiente problema convexo:
minimizea,b,t
− t
s.t. t + yi(aT xi − b) ≤ 0, i = 1, . . . ,m
a21 + · · ·+ a2
n − 1 ≤ 0
I Notar que reemplazamos ‖a‖ = 1 con ‖a‖2 ≤ 1, paraque el problema sea convexo. Esto no es unproblema, ya que en el óptimo se alcanza conigualdad (si puedo agrandar ‖a‖ (sin costo), puedoagrandar t que es mi objetivo).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: – recta aT x = b. – rectas aT x = b − t y aT x = b + t.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: – f (zk)− f ∗ donde z = (a,b, t) y zk es obtenida por unpaso de centrado, sobre el central path. µ = 10, t0 = 1.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: Para cada k = 1, . . . ,8, la barra muestra Nk el número depasos de Newton en cada paso de centrado. µ = 10, t0 = 1.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: f (zk)− f ∗ para
– µ = 2– µ = 10– µ = 50
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: Cantidad de pasos de Newton en cada paso de centrado
para
µ = 2 µ = 10 µ = 50
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONESI Consideremos ahora el problema de programación
lineal, podemos escribirlo como:
minimizex
cT x
s.t. Ax ≤ b
para A ∈ Rm×n y b ∈ Rm .I El método de barrera consiste en resolver para t > 0
el problema:
minimizex
tcT x +
m∑i=1
− log(bi − aTi x)
donde ai es el vector (columna) dado por la i-ésimafila de A.
I La condición de optimalidad del gradiente nos diceque x∗(t) satisface:
0 = tcT +∇φ(x∗(t)) = tcT −m∑
i=1
1bi − aT
i x∗(t)aT
i
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONESI Geométricamente, lo que nos dice es que en x∗(t) el
gradiente de la función barrera debe ser paralelo alvector c, que es el gradiente de f0.
I El hessiano de la función a minimizar es el hessianode φ:
∇2φ(x) =
m∑i=1
1(bi − aT
i x)2 aiaTi
I Para poder visualizar el central path vamos aconsiderar un problema en R2 dado por un poliedromuy sencillo de cuatro caras.
minimizex
3x1 + 2x2
s.t.
x1 + x2 ≤ 3
−x1 − x2 ≤ 2−(3/2)x1 + x2 ≤ 3(2/3)x1 − x2 ≤ 2
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: En el gráfico se ve el poliedro dado por Ax ≤ b y lascurvas de nivel de la barrera logaritmica φ(x). – x∗(t) el centralpath. – hiperplanos ortogonales a c para distintos niveles.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: – f (xk)− f ∗ para xk de cada paso de centrado.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: Cantidad de pasos de Newton en cada paso de centrado
para
µ = 2 µ = 10 µ = 50 µ = 100
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: – f (xk)− f ∗ para xk de cada paso de centrado, para un LPgenerado al azar con A ∈ R100×10.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Como siguiente aplicación, consideremos elproblema de Optimización de Portafolio de Markowitz.
I Tenemos n activos en los cuales podemos invertir.Denotamos por xj la fracción de nuestro capital ainvertir en el activo j-ésimo, xj ≥ 0. Un x ∈ Rn tal que∑n
j=1 xj = 1 y x ≥ 0 es llamado un portafolio.I Sea µj el retorno esperado del activo j-ésimo en el
período. Podemos estimar este retorno por ejemplocon retornos históricos pj(t + 1)/pj(t) de los últimosm períodos, donde pj(t) denota el valor del activo j atiempo t.
I Si R ∈ Rm×n denota los retornos en los últimos mperíodos para los n-activos, entonces µ ∈ Rn
podemos estimarlo por:
µ ≈ 1m
m∑t=1
rt
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Sea Σ la matriz de covarianzas de los retornos de losn activos. La podemos estimar por:
Σ ≈ 1m
(R − µ)T (R − µ) =1m
m∑t=1
(rt − µ)(rt − µ)T
donde rt es el vector (columna) de retornos a tiempot, i.e. rT
t la fila t-ésima de R.I La idea de un portafolio óptimo x ∈ Rn es que este
debe minimizar la varianza para un nivel de retornoesperado (mínimo) dado. Es decir, entre todos losportafolios que tienen un nivel de retorno (esperado),es el de menor varianza.
I El retorno esperado de un portafolio x ∈ Rn es µT xpor la linealidad de la esperanza. Mientras que lavarianza del portafolio es xT Σx por la bilinealidad dela covarianza.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I El problema de optimización de portafolio deMarkowitz (clásico) es:
minimize xT Σx
s.t. µT x ≥ rmin
x ≥ 0,n∑
j=1
xj = 1.
I La matriz de covarianzas Σ es definida positiva (salvoque los activos sean colineales, en el que essemi-definida positiva), luego el problema es convexoy el óptimo se alcanza en un único portafolio.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I En realidad, el problema es un ejemplo deoptimización multobjetivo.
I Queremos minimizar la varianza y maximizar elretorno (i.e. minimizar −µT x) del portafolio de formaconjunta.
I Cuando tenemos dos funciones objetivo perdemos lanoción de mínimo, aunque tenemos todavia lanoción de minimalidad, esto se debe a que R2 con elorden x ≤ y si y solo si xi ≤ yi para i = 1,2 es unposet pero no es totalmente ordenado.
I Decimos que un portafolio x∗ es óptimo Pareto si noexiste un portafolio x tal que µT x∗ ≤ µT x exT Σx ≤ (x∗)T Σx∗ con alguna de las dosdesigualdades de forma estricta.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Más generalmente si estamos minimizandof1, . . . , fk : Rn → R en Ω, decimos que x∗ ∈ Ω es óptimoPareto si no existe x ∈ Ω tal que(f1(x), . . . , fk(x)) (f1(x∗), . . . , fk(x∗)).
I Supongamos que x∗ es óptimo Pareto, las f1, . . . , fkson convexas, y denotemos f (x) = (f1(x), . . . , fk(x)).
I Si las funciones son convexas entonces el siguienteconjunto resulta convexo (ejercicio):
E = y = (y1, . . . ,yk) ∈ Rk | ∃ x ∈ Ω s.t. fi(x) ≤ yi
I Si x∗ es óptimo pareto entonces y∗ = f (x∗) está en lafrontera de E.
I Luego por el teorema del hiperplano soportadorexiste λ∗ ∈ Rk no nulo y c tal que (λ∗)T y ≥ c paratodo y ∈ E.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Luego x∗ es solución del problema de minimización:
minimizex∈Ω
(λ∗)T f (x) =
k∑i=1
λ∗i fi(x)
I Podemos interpretar los λ∗i como precios para cadafunción fi a minimizar.
I Es decir, λ∗j /λ∗i nos dice cuantas unidades de la
función i-ésima estamos dispuestos a aumentarpara disminuir en una unidad a la función j
I Es decir es el precio de una unidad de la función j entérminos de una unidad de la función i.
I Conversamente, si x∗ es tal que existe λ∗ ∈ Rk talque λ∗ > 0 y x∗ minimiza a (λ∗)T f (x) sujeto a x ∈ Ω,entonces x∗ es óptimo Pareto (ejercicio).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Volvamos al problema de optimización de portafoliode Markowitz, y veamos que es equivalente aminimizar poniendo un precio a menos los retornosen términos de la varianza, o a minimizar menos losretornos sujeto a que la varianza sea menor que unvalor σ2
max.I Es decir, nos dan tres parametrizaciones distintas
del problema multiobjetivo.I Recordemos que el problema original es:
minimize xT Σx
s.t. µT x ≥ rmin
x ≥ 0,n∑
j=1
xj = 1.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONESI Las condiciones de KKT para un portafolio óptimo x∗
de este problema (1) son que existanλ∗ ∈ R+, η
∗ ∈ Rk+, ν
∗ ∈ R tales que:
0 = Σx − λ∗µ−n∑
i=1
η∗i ei + ν∗(1, . . . ,1)
λ∗(rmin − µT x∗) = 0, η∗i x∗i = 0, i = 1, . . . ,n.
rmin − µT x∗ ≤ 0, x∗ ≥ 0,n∑
j=1
x∗j = 1.
I Ahora consideremos dado p > 0, el precio del retornoen unidades de varianza (trade-off). El problemaresulta entonces:
minimize − pµT x + xT Σx
s.t. x ≥ 0,n∑
j=1
xj = 1.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Las condiciones de KKT para un portafolio óptimo x∗
de este problema (2) son que existan η∗ ∈ Rk+, ν
∗ ∈ Rtales que:
0 = −pµ+ Σx −n∑
i=1
η∗i ei + ν∗(1, . . . ,1)
η∗i x∗i = 0, i = 1, . . . ,n.
x∗ ≥ 0,n∑
j=1
x∗j = 1.
I Dado (x∗, λ∗, ν∗, η∗) óptimo para (1) con rmin entoncesobtenemos un óptimo (x∗, ν∗, η∗) para el problema(2) con p = λ∗(rmin).
I Dado (x∗, ν∗, η∗) óptimo para el problema (2) con p,entonces definiendo λ∗ = p obtenemos un óptimo(x∗, λ∗, ν∗, η∗) para el problema (1) pararmin = µT x∗(p).
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
I Esto muestra que hay una correspondencia implícitaentre las soluciones de los problemas (1) y (2).
I Similarmente, se ve que el problema resulta tambiénequivalente al problema (3) de maximizar losretornos sujeto a la varianza del portafolio acotada:
minimize − µT x
s.t. xT Σx ≤ σ2max
x ≥ 0,n∑
j=1
xj = 1.
I Consideremos el siguiente ejemplo de dos activos:
µ = [10,8], Σ =
[25 −2−2 4
]
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: Curva de Pareto del problema de optimización deportafolio.
OPTIMIZACIÓN
GRADIENTE
PROYECTADO
MÉTODO DE NEWTON
CON RESTRICCIONES
DE IGUALDAD
MÉTODO DE
BARRERA
APLICACIONES
APLICACIONES
FIG.: Harry Markowitz (1927), Nobel Prize in Economics, fatherof portfolio theory and the branch and bound algorithm.