inteligentni sistemi - studentski.net · vsebina •ciljna funkcija •spremenljivke •omejitve...
TRANSCRIPT
![Page 1: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/1.jpg)
Inteligentni Sistemi
• Optimizacija • Prof. Jurij F. Tasič
• asistenta: Emil Plesnik (vaje), Jana Milenković (projekti)
![Page 2: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/2.jpg)
Vsebina
• Ciljna funkcija
• Spremenljivke
• Omejitve
Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,
pri tem pa zadoščajo danim omejitvam
![Page 3: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/3.jpg)
Različne vrste optimizacije
Vir: Optimization Technology Center http://www-fp.mcs.anl.gov/otc/Guide/OptWeb/
![Page 4: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/4.jpg)
Različne optimizacijske tehnike
• Algoritmi so različni glede na specifični problem
– Zaprta (analitična) oblika vs. numerični vs. diskretni
– Lokalni vs. globalni minimumi
– Računska kompleksnost v obsegu od O(1) do NP-hard
• Danes:
– Zvezne numerične metode
![Page 5: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/5.jpg)
Optimizacija v 1-D
• Analogija z oklepanjem pri iskanju korenov
• Kaj pomeni oklepati minimum?
(xlevo, f(xlevo))
(xdesno, f(x desno))
(x center, f(xcenter))
xlevo < xcenter < x desno
f(x center) < f(xlevo) f(x center) < f(xdesno)
![Page 6: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/6.jpg)
Optimizacija v 1-D
• Ko so navedene lastnosti znane, je vsaj en lokalni minimum med xlevo in xdesno
• Začetna postavitev oklepanja: – Glede na xzačetni, korak
– Oceni f(x začetni), f(x začetni +korak)
– If vrednost zmanjšuje, se pomikaj s korakom dokler se trend ne obrne
– Else se pomikaj s korakom v nasprotno smer dokler se trend ne obrne
– Povečaj korak po vsaki ponovitvi
• Maksismum: zamenjaj f z –f
![Page 7: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/7.jpg)
Optimizacija v 1-D
• Strategija: oceni funkcijo pri nekekm xnovi
(xlevo, f(xlevo))
(xdesno, f(x desno))
(x center, f(xcenter)) (xnovi, f(xnovi))
![Page 8: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/8.jpg)
Optimizacija v 1-D
• Strategija: oceni funkcijo pri nekekm xnovi
– Sedaj so nove “oklepne” točke xnovi, xcenter, xdesno
(xlevo, f(xlevo))
(xdesno, f(x desno))
(x center, f(xcenter)) (xnovi, f(xnovi))
![Page 9: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/9.jpg)
Optimizacija v 1-D
• Strategija: oceni funkcijo pri nekekm xnovi
– Sedaj so nove “oklepne” točke xlevo, xnovi, x center
(xlevo, f(xlevo))
(xdesno, f(x desno))
(x center, f(xcenter)) (xnovi, f(xnovi))
![Page 10: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/10.jpg)
Optimizacija v 1-D
• Nasprotno kot pri iskanju korenov ni možno zagotoviti, da se bo interval po vsakem koraku zmanjšal za faktor 2
• Poiščimo optimalno lokacijo za xcenter v odvisnosti od leve in desne točke, ki bo zagotavljala enak faktor zmanjševanja ne glede na izzid
![Page 11: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/11.jpg)
Optimizacija v 1-D
if f(xnovi) < f(xcenter) novi interval = else novi interval = 1–2
2
![Page 12: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/12.jpg)
Metoda zlatega reza
• Da zagotovimo enak interval, postavimo pogoj = 1–2
• Da velja,
• To je fatktor “zlatega reza” = 0.618…
• Interval se tako zmanjša za 30% na iteracijo
– Linearna konvergenca
2
15
![Page 13: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/13.jpg)
Toleranca napake
• V bližini minimuma je odvod = 0, zato velja
• Pravilo palca: nesmiselno je iskati večjo natančnost, kot sqrt( ) – Uporaba double precision, če želimo single-
precision rezultat (in/ali imamo single-precision podatke)
~
machine)()()(
...)()()(
2
21
2
21
x
xxfxfxxf
xxfxfxxf
![Page 14: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/14.jpg)
Hitrejša 1-D optimizacija
• Kompromis med super in linearno konvergenco za manjšo robustnost
– Kombinacija z Zlatim rezom za varnost
• Uporabni napotki:
– Skozi 3 točke položimo parabolo in poiščemo minimum
– Izračunamo odvode in položaje, uporabimo kubično prilagajanje
– Uporabimo druge odvode: Newton
![Page 15: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/15.jpg)
Newton-ova metoda
![Page 16: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/16.jpg)
Newton-ova metoda
![Page 17: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/17.jpg)
Newton-ova metoda
![Page 18: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/18.jpg)
Newton-ova metoda
![Page 19: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/19.jpg)
Newton-ova metoda
• Pri vsakem koraku:
• potrebujemo 1. in 2. odvod
• Kvadratična konvergenca
)(
)(1
k
kkk
xf
xfxx
![Page 20: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/20.jpg)
Več-dimenzionalna optimizacija
• Pomembna na več področjih – Prilagajanje modela izmerjenim podatkom
– Iskanje najboljšega načrta v nekem prostoru parametrov
• V splošnem zahtevna – Nenavadne oblike: več ekstremov, sedel,
neenakomernih potekov „dolin“, itd.
– Oklepanje ni možno
• Enostavnejša od iskanja korenov – Zmeraj obstaja pot “navzdol”
![Page 21: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/21.jpg)
Newton-ova metoda v več dimenzijah
• Nadomestimo 1. odvod z gradientom, 2. odvod pa s Hessovo matriko
2
22
2
2
2
),(
y
f
yx
f
yx
f
x
f
y
f
x
f
H
f
yxf
![Page 22: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/22.jpg)
Newton-ova metoda v več dimenzijah
• Nadomestimo 1. odvod z gradientom, 2. odvod pa s Hessovo matriko
• Velja
• Zelo občutljivo, razen če je funkcija zelo gladka in začenjamo blizu minimuma
)()(1
1 kkkk xfxHxx
![Page 23: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/23.jpg)
Klasifikacija metod
• Uporaba funkcija + gradient + Hessova matrika (Newton)
• Uporaba funkcija + gradient (večina descent metod)
• Uporaba funkcijskih vrednosti (Nelder-Mead, imenovana tudi “simplex” metoda)
![Page 24: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/24.jpg)
Metoda najstrmejšega zmanjševanja (Steepest descent)
• Kaj če ne moremo/ne želimo uporabiti 2. odvoda?
• “Kvazi-Newtonove” metode uporabijo približek Hessove matrike
• Alternativno: pomikanje ob (negativnem) gradientu…
– Izvedba 1-D minimizacije vzdolž prehoda skozi trenutno točko v smeri gradienta
– Potem ponoven izračun gradienta, nato iteracije
![Page 25: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/25.jpg)
Slabost najstrmejšega zmanjševanja
![Page 26: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/26.jpg)
Slabost najstrmejšega zmanjševanja
![Page 27: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/27.jpg)
Metoda konjugiranega gradienta
• Ideja: izogniti se „razveljavitvi“ minimizacije, ki je že bila opravljena
• Pomikanje v smeri
• Polak Ribiere-ova enačba:
kkkk dgd 11
kk
kk
kgg
gggk
T
1
T )(1
![Page 28: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/28.jpg)
Metoda konjugiranega gradienta
• Konjugirani gradient implicitno pridobi informacijo o Hessovi matriki
• Za kvadratno funkcijo v n dimenzijah pridobi natančno rešitev v n korakih (ob neupoštevanju napake zaokroževanja)
• Deluje dobro v praksi…
![Page 29: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/29.jpg)
Metode vrednotenja v več dimenzijah
• Če ni mogoče ovrednotiti gradienta, imamo težave
• Lahko uporabimo približne (numerično ocenjene) gradiente:
)()(
)()(
)()(
3
2
1
3
2
1
)(xfexf
xfexf
xfexf
e
f
e
f
e
f
xf
![Page 30: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/30.jpg)
Strategije generične optimizacije
• Enotno vzorčenje:
– Zahtevnost narašča eksponentno s številom dimenzij
• Simulirano žarjenje:
– Iskanje v naključnih smereh
– Na začetku z velikimi koraki, ki jih postopno zmanjšujemo
– “Razpored žarjenja” – kako hitro upočasniti?
![Page 31: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/31.jpg)
Simplex metoda (Nelder-Mead)
• Sledimo n+1 točkam v n dimenzijah
– Vozlišča simplex (trikotnik v 2D tetraeder v 3D, itd.)
• Pri vsaki iteraciji: simplex se lahko premakne, razširi ali skrči
– Poznana tudi kot ameba metoda: simplex “izžareva” vzdolž funkcije
![Page 32: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/32.jpg)
Simplex metoda (Nelder-Mead)
• Osnovna operacija: zrcaljenje
Najslabša točka (največja funkcijska vrednost)
Lokacija določena z zrcaljenjem
![Page 33: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/33.jpg)
Simplex metoda (Nelder-Mead)
• Če je zrcaljenje določilo najboljšo (najmanjšo) vrednost do sedaj, potem poskusimo še z razširjanjem
• V nasprotnem primeru, če je zrcaljenje učinkovalo v kakršni koli meri, ga nadaljujemo
Lokacija določena z razširjanjem
![Page 34: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/34.jpg)
Simplex metoda (Nelder-Mead)
• Če zrcaljenje ni učinkovalo (zrcaljena točka je še vedno najslabša) poskusimo s krčenjem
Lokacija določena s krčenjem
![Page 35: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/35.jpg)
Simplex metoda (Nelder-Mead)
• Če ni delovala nobena od prej omenjenih operacij, zmanjšamo simplex okrog najboljše točke
![Page 36: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/36.jpg)
Simplex metoda (Nelder-Mead)
• Metoda je precej učinkovita ob vsaki iteraciji (tipično 1 – 2 oceni funkcije)
• Lahko zahteva veliko iteracij
• Nekoliko nezanesljiva – včasih je potreben ponoven začetek zaradi sesedanja simplex-a
• Prednosti: preprosta za implementacijo, ne potrebuje odvoda, ni odvisna od gladkosti funkcije itd.
![Page 37: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/37.jpg)
Rosenbrock-ova funkcija
• Oblikovana posebej za preizkušanje optimizacijskih tehnik
• Ukrivljena, ozka dolina
222 )1()(100),( xxyyxf
![Page 38: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/38.jpg)
Pogojena optimizacija
• Pogoj enakosti: optimiziraj f(x) glede na gi(x)=0
• Metoda Lagrange-ovih multiplikatorjev: preslikava v več-dimenzionalni problem
• Minimiziraj
glede na
)()( xgxf ii
);( 11 knxx
![Page 39: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/39.jpg)
Pogojena optimizacija
• Pogoji neenakosti so zahtevnejši…
• Če so ciljna funkcija in pogoji linearni, potem gre za „linearno programiranje“
• Opomba: minimum mora biti na robu regije, ki jo oblikujejo pogoji
• Simplex metoda: med premikanjem od vozlišča do vozlišča minimiziramo ciljno funkcijo
![Page 40: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/40.jpg)
Pogojena optimizacija
• V splošnem je “nelinearno programiranje” zahtevno
• Algoritmi za posebne primere (npr. kvadratni)
![Page 41: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/41.jpg)
Globalna optimizacija
• V splošnem ne moremo zagotoviti, da smo našli globalni minimum in ne samo lokalnega
• Nekaj hevrističnih tehnik:
– Multi-start: poskusimo z lokalno optimizacija iz več različnih začetnih točk
– Zelo počasno simulirano žarjenje
– Uporaba analitičnih metod za določanje obnašanja, vodenja metod v prava območja
![Page 42: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/42.jpg)
42
Tehnike numerične optimizacije
Tehnike nepogojene več-parameterske optimizacije
Direktno iskanje (brez uporabe informacij o odvodih):
• Hooke-Jeeves-ovo iskanje vzorcev
• Nelder-Mead-ova serijska simplex metoda
• Powell-ova metoda konjugiranih smeri
• Različne evolucijske tehnike
![Page 43: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/43.jpg)
43
Tehnike numerične optimizacije
Tehnike nepogojene več-parameterske optimizacije
Gradientne metode (zahtevajo uporabo odvoda): • Najstrmejše zmanjševanje
• Fletcher-Reeves-ova metoda konjugiranega gradienta
Metode drugega reda (zahtevana je uporaba drugega odvoda):
• Newton-ova metoda
• Kvazi-Newton-ova metoda (uporabi približek matrike drugih odvodov)
![Page 44: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/44.jpg)
44
Tehnike numerične optimizacije Primer 1
Tehnike nepogojene več-parameterske optimizacije. Rosenbrock-ova “banana” funkcija F=100(x2-x1
2)2+(x1-1)2
![Page 45: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/45.jpg)
45
Tehnike numerične optimizacije Primer 1
Nelder-Mead-ova serijska simplex metoda
![Page 46: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/46.jpg)
46
Tehnike numerične optimizacije Primer 1
Najstrmejše zmanjševanje
![Page 47: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/47.jpg)
47
Optimizacijske tehnike
Učinek skaliranja
Neskalirano Skalirano
Zgodovina iteracij
![Page 48: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/48.jpg)
48
Tehnike numerične optimizacije Primer 1
Powell-ova metoda konjugiranih smeri
![Page 49: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/49.jpg)
49
Tehnike numerične optimizacije Primer 1
Fletcher-Reeves-ova metoda konjugiranega gradienta
![Page 50: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/50.jpg)
50
Tehnike numerične optimizacije Primer 1
Newton-ova metoda
![Page 51: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/51.jpg)
51
Tehnike numerične optimizacije Primer 1
Kvazi-Newton-ova metoda
![Page 52: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/52.jpg)
52
Tehnike numerične optimizacije
Tehnike nepogojene več-parameterske optimizacije. Primer 2.
![Page 53: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/53.jpg)
53
Tehnike numerične optimizacije
Primer 2. Newton, trajektorije iskanja iz treh različnih začetnih točk
![Page 54: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/54.jpg)
54
Tehnike numerične optimizacije
Primer 2. Newton, trajektorija iskanja iz prve začetne točke. Prva iteracija.
![Page 55: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/55.jpg)
55
Tehnike numerične optimizacije
Primer 2. Newton, trajektorija iskanja iz prve začetne točke. Druga iteracija, optimizacija se ustavi v sedlu.
![Page 56: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/56.jpg)
56
Tehnike numerične optimizacije
Primer 2. Newton, trajektorija iskanja iz tretje začetne točke. Prva iteracija.
![Page 57: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/57.jpg)
57
Tehnike numerične optimizacije
Primer 2. Newton, trajektorija iskanja iz tretje začetne točke. Druga iteracija.
![Page 58: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/58.jpg)
58
Tehnike numerične optimizacije
Sankcijska funkcija se približuje zunanji sankcijski funkciji
0)(if0
0)(if)()(
1)()(
)()()(
1
2
x
xxx
xx
xxx
A
AAA
GP
PrF
M
j
i
ii
![Page 59: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/59.jpg)
59
Tehnike numerične optimizacije
Približevanje zunanji sankcijski funkciji. Prva iteracija.
![Page 60: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/60.jpg)
60
Tehnike numerične optimizacije
Približevanje zunanji sankcijski funkciji. Druga iteracija.
![Page 61: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/61.jpg)
61
Tehnike numerične optimizacije
Približevanje zunanji sankcijski funkciji. Tretja iteracija.
![Page 62: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/62.jpg)
62
Tehnike numerične optimizacije
Sankcijska funkcija se približuje
notranji sankcijski funkciji
M
j i
ii
GP
PrF
12
1)(
1)(
)()()(
xx
xxx
![Page 63: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/63.jpg)
63
Tehnike numerične optimizacije
Približevanje notranji sankcijski funkciji. Prva iteracija.
![Page 64: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/64.jpg)
64
Tehnike numerične optimizacije
Približevanje notranji sankcijski funkciji. Druga iteracija.
![Page 65: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/65.jpg)
65
Tehnike numerične optimizacije
Približevanje notranji sankcijski funkciji. Tretja iteracija.
![Page 66: Inteligentni Sistemi - studentski.net · Vsebina •Ciljna funkcija •Spremenljivke •Omejitve Iskanje vrednosti spremenljivk, ki minimizirajo ali maksimizirajo ciljno funkcijo,](https://reader030.vdocuments.site/reader030/viewer/2022040707/5e072b42d5d949707e00fd18/html5/thumbnails/66.jpg)
Vprašanja?
7.11.2012 Univerza v Ljubljani, Fakulteta za
elektrotehniko
•