kvadratno programiranje

MA INSKI FAKULTET, UNIVERZITET U BEOGRADU

Seminarski radMetodi optimizacije

Beograd - Decembar 2011

MA INSKI FAKULTET U BEOGRADU

Predmet:

Seminarski rad Strana 1

Metodi Optimizacije

Sadr aj:Kvadratno programiranje (QP).......................................................2 Primena KKT uslova......................................................................4 Primer 1- QP...................................................................................9 Specijalni slu aj............................................................................13 Primer 2 - QP................................................................................14 Kvazi - Njutnov metod (SQP)......................................................18 Izvo enje problema kvadratnog programiranja..........................19 Kvazi - Njutnova aproksimacija Hessian matrice.......................23 Primer SQP...................................................................................25 Primer QP (Matlab)......................................................................29 Literatura.......................................................................................31

Br. indeksa

1191/10 1059/10

Goran Stan evi Dimitrije Vasovi

Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Kvadratno programiranje (QP) je posebna vrsta matemati ke optimizacije problema. To je problem optimizacije (minimiziranje ili maksimiziranje) kvadratne funkcije sa vi e promenljivih uz postojanje linearnih ograni enja ovih promenljivih. Pri re avanju problema kvadratnog programiranja funkcija cilja je kvadratna jedna ina dok su ograni enja linearna. Takav slu aj je veoma est u realnim problemima, ali i problemi nelinearnog programiranja zahtevaju re avanje kvadratnih jedna ina kao podproblema u svojim algoritmima. Op ti problem kvadratnog programiranja definisan je kao:

1 T min q ( x ) ! c x x Hx 2T

Ograni enja:

NT x ! eAT x e bxu0y y y y y y yBr. indeksa

c n- dimenzioni vektor konstantnih velicina x = n - dimenzioni vektor nepoznatih b = m - dimenzioni vektor konstantnih velicina e = p - dimenzioni vektor konstantnih velicina H = n n - simetricna matrica A = n m konstantna matrica N = n p - konstantna matrica Goran Stan evi Dimitrije VasoviIme i PrezimeDatum

1191/10 1059/10

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

1. H je simetri na matrica jer se svaka kvadratna forma mo e izraziti preko simetri ne matrice. 2.

q( x) ! Hx c, 2 q( x) ! H

3. Ako je H pozitivno definitna matrica (svi glavni minori su pozitivni) f (x) je strogo konveksna funkcija, pa je problem konveksnog programiranja i KKT uslovi su potrebni i dovoljni za globalni minimum. 4. Ako je H pozitivno semidefinitna matrica (svi simetri ni minori su nenegativni), f (x) je konveksna funkcija i va i isto kao pod ta kom 3. 5. Ako je H negativno definitna (f je strogo konkavna) i dopustivi skup je ograni en tada se svi globalni (i lokalni) minimumi posti u u ekstremnim ta kama dopustivog skupa . S obzirom da su kandidati za globalne minimume ekstremne ta ke, dovoljno je pretra iti kona an skup ekstremnih ta aka i na i one sa najmanjom vredno u funkcije cilja. Kod primera malih dimenzija to je jednostavnije nego re avanje sistema jedna ina i nejedna ina koji proisti u iz KKT uslova. Sli no se mo e postupiti u slu aju da je H negativno semidefinitna. 6. Ako H nije definitna kandidati za lokalne minimume se tra e preko KKT uslova, koji su potrebni ali ne i dovoljni za optimalnost.

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Primena KKT uslova

I na in:

g i ( x) ! aiT x bi e 0, i ! 1,..., m

hi ( x) ! xi e 0, i ! 1,..., nKKT uslovi:

q ( x) P1gi ( x) P2hi ( x) ! 0i !1 i !1

m

n

Sledi da je:

Hx c Pi ai P2 ( ei ) ! 0i !1 i !1

m

n

Hx c AT P1 P2 ! 0P1 g ( x ) ! 0 P1 (a T x b ) ! 0 P2 h( x) ! 0 P2 x ! 0

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Uz uslov:

P1 u 0, P2 u 0Potrebno je transformisati ograni enja u oblik koji omogu ava re avanje problema Simplex metodom.

aiT x b e 0 aiT x b s ! 0Pri emu je:

su0U op tem obliku promenljiva s mo e se zapisati kaon

s j ! b j aij xii !1

x ! 0ili kao:

Pi (aiT x bi ) ! Pi ( si ) ! 0 P T s ! 0Uz uslov:

Pi u 0, si u 0, i ! 1,..., mBr. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

KKT uslovi u izmenjenom obliku: Ax s ! b

Hx AT P1 P2 ! cT P1T s ! 0, P2 x ! 0

P1 u 0, P2 u 0, x u 0, s u 0xL ! c Hx Au \ Nv ! 0 xx

AT x s b ! 0

NT x e ! 0

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

H T A NT

A 0( mvm) 0( pvm )

I ( n) 0( mv n) 0( pvn )

0( nvm) I ( m) 0( pvm )

N 0( mv p ) 0( pv p )

x u N c \ 0( mv p ) ! b s e 0( pv p ) y z

I(n) i I(m) su n n i m m matrice, dok su 0, nula matrice Jednostavnije se prethodna matri na jedna ina mo e zapisati kao: gde su: BX = D

H B ! AT NT

A 0( mvm ) 0 ( pvm )

I(n) 0( mvn ) 0 ( pvn )

0( nvm ) I (m) 0 ( pvm )

N 0( mv p ) 0 ( pv p )

N 0( mv p ) 0 ( pv p )

( n m p )v(2 n 2 m 2 p )

x u \ X ! s y z (2 n 2 m 2 p )

c D!b e (nm p )

Za re avanje ovakvog problema koristi se Vulfov(Wolfe) algoritam.Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Uvo enje novih oznaka:

O M ! T A

A s b P ,q ! , w ! , z ! 1 H c x P2

KKT uslovi u novim oznakama:

s O P AT 2 sT

A P1 b x ! c H

T P P2 1 ! 0 sT P1 P2 x ! 0 x

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Primer 1:Minimizovati funkciju:

min f ( x) ! ( x1 3) 2 ( x2 3) 2Uz ograni enja:

x1 x2 e 4

x1 3x2 ! 1 x1 , x2 u 0Funkcija cilja moze se napisati u obliku:2 f ( x) ! x12 6 x1 x2 6 x2 18

Na osnovu funkcije cilja i ograni enja mogu se definisati odgovaraju e matrice:

2 0 6 1 1 H ! , c ! 6 , A ! 1 , b ! ?4 A, N ! 3 , e ! ?1A 0 2

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Pa su matrice B, X i D:

2 0 B!1 1

0 2 1

1 1 1 0

3 0

1 0 1 0 3 3 0 0 1 0 0 0 0 0 0 0

0

0

1

X ! ?x1Uz uslove:

x2

u1 \1 \ 2

s1

y1

z1 A

T

D ! ?6 6 4 1A

T

X i X n m i ! 0; i ! 1...(n m)X i u 0; i ! 1...(2n 2m 2 p )

Kori enjem Vulfovog algoritma dobija se optimalno resenje. Iz gornjih uslova se zaklju uje da X1X4=0, X2X5=0, X3X6=0 odakle sledi da X1 i X4, X2 i X5 kao i X3 i X6 ne mogu istovremeno biti bazi ne promenljive.

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

X1

X2

X3

X4

X5

X6

X7

X8

Y1

Y2

Y3

Y4

D

Inicijalna tabela Y1 Y2 Y3 Y4 2 0 1 1 -4 0 2 1 -3 0 1 1 0 0 -2 -1 0 0 0 1 0 -1 0 0 1 0 0 1 0 -1 1 -3 0 0 2 -1 3 0 0 -2 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 1 0 6 6 4 1

Prva iteracija Y1 Y2 Y3 X1 0 0 0 1 0 6 2 4 -3 -12 1 1 0 0 -2 -1 0 0 0 1 0 -1 0 0 1 0 0 1 0 -1 1 -3 0 0 2 -1 3 0 0 -2 1 0 0 0 0 0 1 0 0 0 0 0 1 0 0 -2 0 -1 1 4 4 6 3 1

Druga iteracija X2 Y2 Y3 X1 0 0 0 1 0 1 0 0 0 01/6 2/3 -2/3 1/2 -1/6 1/3 2/3 -1/2

0 -1 0 0 1

0 0 1 0 -1

1/6-10/3

-1/6 2/3 -1/2

1/6 -2/3 1/2

10/3 -1/3

-2/3 1/2

0 1 0 0 0

0 0 1 0 0

-1/3 2/3 1/3 0

2/3 14/3 1/3

3

0

1

4

-4

2

0

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Tre a iteracija X2 Y2 X8 X1 0 0 0 1 0 1 0 0 0 0 0 4 -1 0 -4 0 -3 1 0 3 0 -1 0 0 1 1/4 -5 3/2 3/4 5 0 0 -1 0 0 0 0 1 0 0 0 3 -1 0 -2 0 1 0 0 0 1/4 -1/4 3/4 -1 -5 3 3/2 1/2 1/2 3/4 1/4 7/4 6 2

etvrta iteracija X2 X3 X8 X1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 00 -3/4 1/4 0 0 -1/4 0 1/4 1/4 3/4

-1/4 -5/4

0

0

0

0 0 -1 0 0

0 0 1 0 0

0 1/4 -1/4 3/4 3/4 1/4 -5/4 -1/4 3/4 -1/4 1/4 1/4 1/4 5/4 0 0 3/4 1/4 13/4 1 1 1 10

Zaklju uje se da je optimalno re enje kori enjem Simplex metode:

13 3 3 3 ; X2 ! ; X3 ! ; X 4 ! ; 4 4 4 4 X 5 ! 0; X 6 ! 0; X 7 ! 0; X1 !

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Optimalno re enje postavljenog problema kvadratnog programiranja:

13 3 3 ; x2 ! ; u1 ! ; \1 ! 0; \ 2 ! 0 4 4 4 5 5 s1 ! 0; y1 ! 0; z1 ! ; v1 ! y1 z1 ! 4 4 x1 !

13 3 41 f( , )! 4 4 8Specijalni slu aj:Za razliku od prvog primera u kom postoje 2 ogranicenja ( jednakost i nejednakost) cest slucaj u praksi je da nema ogranicenja u vidu jednakosti. Matricna jedna ina se u ovom slucaju mo e zapisati kao: gde su: BX = D

2 H B! A

A 0mvm

In 0mvn

0 nvm Im ( n m)v(2 n 2 m)

x u X ! \ s (2 n 2 m )Br. indeksa

c D! b ( n m )Datum

1191/10 1059/10


Ime i Prezime

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Primer 2:Minimizovati funkciju:

min f ( x) ! x12 Uz ograni enja:

3 2 x2 x1 x2 2

x1 x2 u 6 x1 , x2 u 0Funkcija cilja moze se napisati u obliku pronalazenja maksimuma:

max f ( x) ! x12

3 2 x2 x1 x2 2

Na osnovu funkcije cilja i ograni enja mogu se definisati odgovaraju e matrice:

1 0 , c ! 1 , A ! 1 , b ! ?6 A H ! 0 3 1 1 2

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

U ovom slucaju nemamo X1X2 deo pa su u matrici H na njihovim mestima nule. Pa su matrice B, X i D:

2 0 1 1 0 0 B ! 0 3 1 0 1 0 1 1 0 0 0 1

X ! ?x1Uz uslove:

x2

u1 \1 \ 2

s1 A

T

D ! ?1 1 6

A

T

X i X n m i ! 0; i ! 1...(n m)X i u 0; i ! 1...(2 n 2m)

Posle sredjivanja dobijaju se jednacine:

2 x1 u1 \1 ! 1 3 x2 u1 \ 2 ! 1 x1 x2 s1 ! 6Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

X1

X2

U1

Z1

Z2

S1

Y1

Y2

Y3

D

Inicijalna tabela Y1 Y2 Y3 2 0 1 -3 0 3 1 -4 -1 -1 0 0 -1 0 0 0 0 -1 0 0 0 0 -1 1 1 0 0 0 0 1 0 0 0 0 1 0 1 1 6

Prva iteracija Y1 X2 Y3 2 0 1 -3 0 1 0 0-1 -1/3 1/3

-1 0 0 1

0 -1/3 1/3 -1/3

0 0 -1 1

1 0 0 0

0 1/3 -1/3 -1/3

0 0 1 0

1 1/3 17/3

2/3

Druga iteracija X1 X2 Y3 1 0 00

0 1 00

-1/2 -1/3 5/6 -5/6

-1/2 0 1/2

0 -1/3 1/3

0 0 -11

1/2 0 1/2 3/2

0 1/3 -1/3 4/3

0 0 10

1/2 1/3 31/6

-1/2 -1/3

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Tre a iteracija X1 X2 X3 1 0 0 0 0 1 0 0 0 0 1 01/10 1/5 3/5

0 18/5 -1/5 -2/5 -1/5 1/5 2/5 12/5 2/5 -6/5 -3/5 -2/5 6/5 31/51/5 -3/5 -1/5 -1/5 0

0

0

1

1

1

Zaklju uje se da je optimalno re enje kori enjem Simplex metode:

X1 !

18 12 ; X2 ! ; 5 5

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Kvazi - Njutnov metod (sa ograni enjima, SQP)

Kvazi - Njutnov metod se smatra najefikasnijim , najpouzdanijim i op te primenljivim , daleko je superiorniji od drugih metoda. U oblasti in enjerskog dizajna ova metoda se preporu uje kao aplikacija za naj iru upotrebu . Problem kvadratnog programiranja mo e se blago izmeniti da uklju i informaciju krivine za Lagran evu funkciju, u kvadratnoj funkciji cilja. Po to je prili no te ko i dosadno ra unati izvode drugog reda Lagran eve funkcije, oni se aproksimiraju koriste i samo informacije o izvodima prvog reda. Kod Kvazi - Njutnovog metoda bez ograni enja koriste se gradijenti funkcije cilja za dve ta ke da bi se aproksimirala Hessian matrica funcije cilja. Kod Kvazi - Njutnovog metoda sa ograni enjima koristi se gradijent Lagran eve funkcije za dve ta ke da bi se a urirala aproksimacija Hessian matrice Lagran eve funkcije.To se naziva Kvazi - Njutnov metod. Naziva se i Sekvencijalno kvadratno programiranje (Sequential quadratic programming, SQP) ili Rekurzivno kvadratno programiranje (Recursive quadratic programming, RQP). Ideja re avanja Kvazi - Njutnovom metodom je prili no jednostavna i direktna, ali i veoma efektivna .

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Izvo enje problema kvadratnog programiranjaPostoji nekoliko na ina izvo enja problema kvadratnog programiranja (QP) koji je potrebno re iti za svaku iteraciju optimizacije. Nije potrebno detaljno razumeti izvo enje QP problema, da bi se koristio Kvazi - Njutnov metod. Uobi ajeno je izvoditi QP problem uzimaju i u obzir samo jednakost ograni enih problema optimizacije minimizovati f ( x) sa ograni enjima hi ( x) ! 0; i ! 1.... p Prvi korak derivacije QP problema je da se napi u potrebni KKT uslovi za prethodno definisan problem, zatim se re avaju rezultuju e nelinearne jedna ine Njutnovom metodom. Svaka iteracija Njutnove metode mo e biti protuma ena kao ekvivalent re enja QP problema. U narednim izvo enjima smatra emo da su sve funkcije dva puta diferencijabilne i gradijenti svih ograni enja su linearno nezavisni. Lagran eva funkcija za prethodno dat problem optimizacije jep

L( x, v) ! f ( x) vi hi ( x) ! f ( x) v h( x)i !1

gde je vi Lagran ev mno itelj za i-to ograni enje jednakosti hi ( x ) ! 0; Potrebni KKT uslovi daju

L( x, v ) ! 0 ,

p

f ( x) vi hi ( x) ! 0i !1

hi ( x) ! 0; i ! 1.... pBr. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Ovo su nelinearne jedna ine pa se mogu re iti Njutn - Rafsonovom metodom. Prethodne jedna ine se predstavljaju kao

F ( y) ! 0gde su F i y

L F ! h ( n pv1)

x F ! v ( n pv1)

y(k) je dato kao re enje sistema linearnih jedna ina

F T ( y ( k ) ) (y ( k ) ! F ( y ( k ) )gde je F Jakobian matrica za nelinearne jedna ine ija i-ta kolina je gradijent funkcije Fi(y) dimenzija (n p) v (n p) Zamenom definicija F i y dobijamo 2 L N T N 0 (k )

(L h

(k )

(L ! h

(k )

2 L je m v n Hessian matrica Lagran eve funkcije, N je n v p matrica ija jei-ta kolona gradijent ograni enja hi , (x ( k ) ! x ( k 1) x ( k ) ,

(v ( k ) ! v ( k 1) v ( k ) .

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Prethodna jedna ina se mo e napisati u druga ijem obliku ako prvu vrstu napi emo kao

2 L( k ) (x ( k ) N ( k ) (v ( k ) ! L( k )zamenom (v ( k ) i L( k ) dobija se

2 L( k ) (x( k ) N ( k ) (v( k 1) v( k ) ) ! f ( x ( k ) ) N ( k ) v( k )ili jednostavnije

2 L( k ) (x ( k ) N ( k )v ( k 1) ! f ( x ( k ) )iz prethodnih jedna ina dobijamo

2 L N T N 0

(k )

(x ( k ) ( k 1) v

(k )

f ! h

(k )

Njutn - Rafsonovom iterativnom procedurom se nastavlja re avanje potrebnih KKT uslova dok kriterijum zaustavljanja ne bude zadovoljen. Prethodna jedna ina je re enje pojedinih QP problema definisanih za k-tu iteraciju minimizovati uz linearna ograni enja:

f T (x 0.5(xT 2 L(x

hi n( i )T (x ! 0;gde jeBr. indeksa

i ! 1...... p

n ( i ) gradijent funkcije hi .Goran Stan evi Dimitrije VasoviIme i PrezimeDatum

1191/10 1059/10

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Lagran eva funkcija za ovaj problem izgleda ovako

L ! f (x 0.5(x L(x vi ( hi n(i ) (x)T T i !1

2

p

T

KKT uslovi (ako je

(x nepoznata promenljiva) daju

L ! 0;T

f 2 L(x Nv ! 0

hi n( i ) (x ! 0;

i ! 1...... p

Kao u Njutnovoj metodi za bezuslovne probleme, re enje (x se tretira kao pravac pretra ivanja. Definisanjem pravca pretra ivanja d kao (x i uklju ivanjem ograni enja nejednakosti, QP problem se defini e kao minimizovati uz ograni enja:

f ! cT d 0.5d T Hd

n(i ) d ! ei ;a( i )T

T

i ! 1...... p

d e bi ;

i ! 1......m

gde je c gradijent funkcije cilja a H je Hessian matrica 2 L .

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Kvazi - Njutnova aproksimacija Hessian matriceKao kod Kvazi - Njutnove metode za bezuslovne probleme, mo emo aproksimirati Hessian matricu Lagran eve funkcije za probleme sa ograni enjima. Pretpostavljamo da postoji aproksimativna Hessian matrica H ( k ) za k-tu iteraciju i elimo da na emo H ( k 1) . Mo e se iskoristiti BFGS formula za direktno a uriranje Hessian matrice. Va no je napomenuti da a urirana Hessian matica treba da bude pozitivno definisana jer tada QP problem ostaje striktno konveksan. Prema tome ostaje jedinstven pravac pretra ivanja. Kori enjem standardne BFGS formule mo e se dobiti jedini na ili neodre ena Hessian matrica. Da bi se izbegao taj problem koristi se modifikovana BFGS formula . Pre nego to dobijemo kona nu formulu potrebno je izra unati nekoliko posrednih skalara i vektora. Vektor promene dizajna ( E k ! korak):

s(k ) ! E k d (k )Vektor:

z (k ) ! H (k )s(k )Razlika u gradijentima Lagran eve funkcije u dve ta ke:

y ( k ) ! L( x ( k 1) , u ( k ) , v( k ) ) L( x ( k ) , u ( k ) , v ( k ) )Skalar:

\1 ! s ( k ) y ( k )

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Skalar:

\2 ! s(k ) z (k )Skalar:

U !1Skalar:

ako je

\1 u 0.2\ 2 , u protivnom U ! 0.8\ 2 / (\1 \ 2 )

w( k ) ! U y ( k ) (1 U ) z ( k )Skalar:

\ 3 ! s ( k ) w( k )

nv n

korekciona matrica:

D ( k ) ! (1 / \3 ) w( k ) w( k )

T

nv n

korekciona matrica:

E ( k ) ! (1 / \ 2 ) z ( k ) z ( k )

T

Sa prethodnom definicijom matrica D ( k ) i E ( k ) , Hessian matrica se a urira ovako:

H ( k 1) ! H ( k ) D ( k ) E ( k )Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Primer SQP:Izvr iti dve iteracije SQP algoritma minimizovati uz ograni enja:

f ( x) ! x12 x2 2 3 x1 x2

1 1 g1 ( x) ! x12 x2 2 1.0 e 0 6 6

g 2 ( x ) ! x1 e 0

g3 ( x) ! x2 e 0Po etna ta ka je (1,1), R0 ! 10, K ! 0.5, I1 ! I 2 ! 0.001

Re enje:Prva iteracija SQP algoritma je ista kao kod CSD algoritma. Rezultati prve iteracije su:

d (0) ! (1,1);

E 0 ! 0.5, x (1) ! (1.5,1.5) u (0) ! (0,0,0); R1 ! 10, H (0) ! I .

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Druga iteracija: za ta ku x ! (1.5,1.5) funkcija cilja i funkcije ograni enja i njihovi gradijenti su:(1)

f ! 6.75; f ! (1.5, 1.5) g1 ! 0.25; g1 ! (0.5,0.5) g 2 ! 1.5; g 2 ! (1,0) g 3 ! 1.5; g 3 ! (0, 1)defini u se vektori

s (0) ! E 0 d (0) ! (0.5,0.5) z (0) ! H (0) s (0) ! (0.5,0.5)Po to je u f .(0)

! (0,0,0) , gradijent Lagran a L je gradijent funkcije cilja

Vektor y (0) se ra una:

y (0) ! f ( x (1) ) f ( x (0) ) ! ( 0.5, 0.5)Skalari

\1 i \ 2 :

\1 ! s (0) y (0) ! 0.5

\ 2 ! s (0) z (0) ! 0.5

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

po to je

\1

0.2\ 2 :

U ! 0.8(0.5) / (0.5 0.5) ! 0.4w(0) ! 0.4( 0.5, 0.5) (1 0.4) / (0.5,0.5) ! (0.1,0.1)

\ 3 ! ( 0.5, 0.5) (0.1,0.1) ! 0.1Korekcione matrice:(0)

D

0.1 0.1 ! ; 0.1 0.1

E

(0)

0.5 0.5 ! 0.5 0.5

Kona no a urirana Hessian matrica je(0)

H

1 ! 0

0 0.1 0.1 0.5 0.5 0.6 0.4 ! 1 0.1 0.1 0.5 0.5 0.4 0.6

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Sa a uriranom Hessian matricom i ostalim podacima koji su prethodno izra unati, QP problem je definisan kao: minimizovati

1 f ! 1.5d1 1.5d 2 (0.6d12 0.8d1d 2 0.6d2 2 ) 2sa ograni enjima

0.5d1 0.5d 2 e 0.25, d1 e 1.5, d 2 e 1.5,QP problem je striktno konveksan i ima jedinstveno re enje. Kori enjem KKT uslova re enje je

d (1) ! (0.25,0.25),

u (1) ! (2.9,0,0)

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Primer QP (Matlab)Na i vrednost x koji minimizuje

sa ograni enjimax1 + x2 2 x1 + 2x2 2 2x1 + x2 3 0 x1, 0 x2.

u matri nom obliku

gde su

1. Unose se koeficijenti matrica:H = [1 -1; -1 2]; f = [-2; -6]; A = [1 1; -1 2; 2 1]; b = [2; 2; 3]; lb = zeros(2,1);

2. Setovanje algoritma:opts = optimset('Algorithm','active-set','Display','off');Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

3. Poziva se quadprog:[x,fval,exitflag,output,lambda] = ... quadprog(H,f,A,b,[],[],lb,[],[],opts);

4. Ispituje se krajnja ta ka, vrednost funkcije i exit flag:x,fval,exitflag x = 0.6667 1.3333 fval = -8.2222 exitflag = 1

Vrednost exitflag = 1, zna i da je rezultat lokalni minimum. Po to je H pozitivna odre ena matrica, problem je konveksan pa je minimum globalni minumum. Vidi se da je H pozitivna odre ena matrica po to su sve njene sopstvene vrednosti pozitivne:

eig(H) ans = 0.3820 2.6180

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011


Predmet:


Metodi Optimizacije

Literatura:[1] Jasbir S. Arora, Introduction to Optimum Design, Elsavier Inc. 2004 [2] Vera Kova evi - Vuj i , Nelinearno programiranje (predavanja) [3] http://en.wikipedia.org/wiki/Quadratic_programming [4] http://www.mathworks.com/help/toolbox/optim/ug/quadprog.html

Br. indeksa

1191/10 1059/10


Ime i Prezime

Datum

Ocena

Pregledao

decembar 2011

kvadratno programiranje

Documents