, yang digunakan metode Newton. Tunjukkan bahwa adalah titik dimana f minimum, tanpa perlu menentukan titik awal iterasi x1. Metode Newton :

;

Soal 0.2 Misalkan dan f fungsi yang dua kali terturunkan. Tunjukkan bahwa adalah suatu arah menurun dari f pada x untuk sebarang matriks positif definit H dan . Tentukan H sehingga s merupakan arah Newton.

Secara umum algoritma iterasi line search adalah : Dimana adalah ukuran langkah (step size) dan adalah arah pencarian.Pendekatan nilai f(x) dengan menggunakan deret Taylor pada nilai iterasi saat ini (xk) diberikan oleh :

Adalah fungsi kuadratik x dengan arah pencarian s di titik xk. Memininumkan fungsi q(s) memberikan :

. Karena arah pencarian : s < 0 maka terbukti bahwa s adalah arah yang menurun. Jika H adalah sebarang matriks definit positif, maka bisa dituliskan :

Sehingga :

Lakukan dua kali iterasi dengan menggunakan metode Newton dimulai dari titik x1 = [0,3]T. Supaya min., x1 = 2 & x2 = 1. Nilai min.nya : (2-2)4+(2-2(1))2 = 0Dengan metode Newton :

1) Iterasi pertama dititik (0,3), sehingga : x1 = [0,3]T, ;

2) Iterasi kedua :

-1 dicari dengan menggunakan matlab. Sehingga iterasi kedua menghasilkan :

3) Iterasi ketiga :

-1 dicari dengan menggunakan matlab. Sehingga iterasi ketiga menghasilkan :

>Misal f : Rn → R adalah fungsi yang kontinu dan terturunkan dan diberikan . Buktikan bahwa gradient dan kurva contour (ketinggian) dari fungsi kontinu

f(x) adalah ortogonal pada . Pergerakan pada metode steepest descent adalah sebagai berikut

Dimana g(x) adalah gradien di titik yang diberikan pada iterasi k. Nilai step size k dicari melalui pencarian dimana fungsi f minimum di suatu titik. Fungsi f akan minimum jika turunan arahnya sama dengan nol, yaitu :

Jika iterasi pd xk+1 dituliskan sbg , maka terbuktiDengan metode steepest descent, tentukan nilai minimum dari f(x) = (x-2)2, dengan dimulai dari titik x=3

Dengan metode steepest descent pergerakan xk ke xk+1 dituliskan sebagai berikut : xk+1=xk−λ‖∇ f (x)‖ . Pada iterasi pertama k =0 dan dimulai titik awal x = 3

:

x0=3;

x1=3− λ∇ f (x) ,

Nilai langkah (step) dicari dengan persamaan pencarian langkah (line search, step search) sbb :

; Pencarian langkah 1 dicari sebagai berikut

Iterasi ke-2 : ; Kemudian gradien dari fungsi f(x) pada nilai iterasi kedua adalah sebagai berikut : (optimal)

2