aplikasi optimasi dan analisa resiko pada …mmt.its.ac.id/download/semnas/semnas xiii/mti/08....

8
Prosiding Seminar Nasional Manajemen Teknologi XIII Program Studi MMT-ITS, Surabaya 5 Pebruari 2011 APLIKASI OPTIMASI DAN ANALISA RESIKO PADA PERMASALAHAN SOFTWARE RELEASE TIME Tan Amelia 1) , Rully Soelaiman 2) 1) Jurusan Manajemen Teknologi Informasi, MMT-ITS Surabaya, email: [email protected] 2) Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS) Surabaya, email: [email protected] ABSTRAK Di dalam sebuah pengembangan software, pengujian terhadap verifikasi dan validasi software yang sudah dibuat merupakan salah satu elemen yang harus dilaksanakan denganperencanaan yang baik. Hal ini disebabkan pengujian software membutuhkan sumber daya yangtidak sedikit, baik dari segi waktu, biaya dan tenaga kerja yang harus dikeluarkan.Pihak manajerial sering dihadapkan pada dilema ketika harus mengambil suatu keputusan kapan software yang dikembangkan sudah bisa dihentikan proses testing-nya untuk kemudian melepas software tersebut dipasaran, karena proses pengambilan keputusan tersebut nantinya akan sangat mempengaruhi keandalan (reliability) dan harga software.Dalam penelitian ini, akan dibahas tentang ketidakpastian biaya software dan pengaruhnya pada optimasi software release time. Contoh kasus akan diberikan untuk menunjukkan hal-hal apa saja yang penting sebagai hasil ketidakpastian biaya software dalam optimasi software release time. Diharapkan hasil tersebut akan menghindarkan manajemen membuat suatu keputusan yang salah dan membahayakan pengembangan suatu software. Kata kunci: Cost estimation, nonhomogeneous Poisson process (NHPP), reliability, software release, time estimation. PENDAHULUAN Latar Belakang Dalam dunia modern seperti sekarang ini, semua aspek kehidupan sudah tersentuh dengan komputer, baik dibidang bisnis, pendidikan, kesehatan, transportasi dan lainnya. Merupakan suatu hal yang berbahaya bila otak dari komputer itu sendiri, yang dikenal dengan istilah software tidak dapat beroperasi dengan cara yang dapat diandalkan. Kegagalan software dapat menimbulkan kerugian yang sangat besar baik disisi finansial, malah sampai berujung korban jiwa. Hal ini bisa Anda lihat pada kegagalan software sistem pengaturan lalu lintas udara atau pada sistem bursa saham dunia. Salah satu masalah terbesar adalah bagaimana untuk mengetahui kapan testing terhadap software tesebut harus dihentikan. Jika testing dihentikan terlalu cepat, maka terdapat resiko bahwa software yang dihasilkan mempunyai kesalahan yang tersembunyi, menimbulkan ketidakpuasan pada customer, memerlukan biaya untuk menghilangkan kesalahan, sampai pada membuat software tersebut harus dihentikan untuk diperbaiki. Namun, jika terus melanjutkan proses testing akan memperbesar biaya testing dan menunda produksi software di pasar. Sebab itu, mencari waktu optimal berdasarkan biaya yang dikeluarkan memberikan suatu kebenaran dalam mengambil keputusan terhadap selesainya waktu testing.

Upload: lyhanh

Post on 03-Feb-2018

236 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

APLIKASI OPTIMASI DAN ANALISA RESIKO PADAPERMASALAHAN SOFTWARE RELEASE TIME

Tan Amelia1), Rully Soelaiman2)

1)Jurusan Manajemen Teknologi Informasi, MMT-ITS Surabaya,email: [email protected]

2)Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS) Surabaya,email: [email protected]

ABSTRAK

Di dalam sebuah pengembangan software, pengujian terhadap verifikasi danvalidasi software yang sudah dibuat merupakan salah satu elemen yang harusdilaksanakan denganperencanaan yang baik. Hal ini disebabkan pengujian softwaremembutuhkan sumber daya yangtidak sedikit, baik dari segi waktu, biaya dan tenagakerja yang harus dikeluarkan.Pihak manajerial sering dihadapkan pada dilema ketikaharus mengambil suatu keputusan kapan software yang dikembangkan sudah bisadihentikan proses testing-nya untuk kemudian melepas software tersebut dipasaran,karena proses pengambilan keputusan tersebut nantinya akan sangat mempengaruhikeandalan (reliability) dan harga software.Dalam penelitian ini, akan dibahas tentangketidakpastian biaya software dan pengaruhnya pada optimasi software release time.Contoh kasus akan diberikan untuk menunjukkan hal-hal apa saja yang penting sebagaihasil ketidakpastian biaya software dalam optimasi software release time. Diharapkanhasil tersebut akan menghindarkan manajemen membuat suatu keputusan yang salahdan membahayakan pengembangan suatu software.

Kata kunci: Cost estimation, nonhomogeneous Poisson process (NHPP), reliability,software release, time estimation.

PENDAHULUAN

Latar Belakang

Dalam dunia modern seperti sekarang ini, semua aspek kehidupan sudahtersentuh dengan komputer, baik dibidang bisnis, pendidikan, kesehatan, transportasidan lainnya. Merupakan suatu hal yang berbahaya bila otak dari komputer itu sendiri,yang dikenal dengan istilah software tidak dapat beroperasi dengan cara yang dapatdiandalkan. Kegagalan software dapat menimbulkan kerugian yang sangat besar baikdisisi finansial, malah sampai berujung korban jiwa. Hal ini bisa Anda lihat padakegagalan software sistem pengaturan lalu lintas udara atau pada sistem bursa sahamdunia.

Salah satu masalah terbesar adalah bagaimana untuk mengetahui kapan testingterhadap software tesebut harus dihentikan. Jika testing dihentikan terlalu cepat, makaterdapat resiko bahwa software yang dihasilkan mempunyai kesalahan yangtersembunyi, menimbulkan ketidakpuasan pada customer, memerlukan biaya untukmenghilangkan kesalahan, sampai pada membuat software tersebut harus dihentikanuntuk diperbaiki. Namun, jika terus melanjutkan proses testing akan memperbesar biayatesting dan menunda produksi software di pasar. Sebab itu, mencari waktu optimalberdasarkan biaya yang dikeluarkan memberikan suatu kebenaran dalam mengambilkeputusan terhadap selesainya waktu testing.

Page 2: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-2

Softwaretesting adalah suatu proses pembuktian (verification) untuk menentukankualitas dan peningkatan keandalan (reliability) software, yang merupakan suatuaktivitas melakukan pengamatan terhadap kesalahan yang timbul dan kemudianmemperbaikinya. Sebagai sebuah proses testing, kesalahan software yang tersembunyidapat diidentifikasi dan dihilangkan, agar software yang sedang diuji dapat meningkatkeandalannya. Software Reliability Models (SRMs) sering digunakan untuk memonitorproses testing dan mengukur serta memprediksi keandalan software pada masasekarang dan masa yang akan datang.

Pihak manajemen sangat menginginkan agar penjualan software dapat segeradilakukan agar keuntungan cepat diterima, karena keterlambatan dalam melepassoftware akan mengakibatkan kehilangan pangsa pasar, yang artinya akan mengurangikeuntungan ekonomis dari software tersebut. Dilema tersebut harus segera diatasidengan adanya keputusan yang tepat kapan waktu untuk menghentikan testing, danmelepas software tersebut ke konsumen. Dimana dilema diatas telah menjadi suatukajian dan penelitian yang menarik sejak tahun 1980 yang dikenal dengan istilahsoftware release time.

Perumusan Masalah

Kebutuhan akan penentuan software release time yang memenuhi optimasibiaya software dan pengontrolan resiko menjadi suatu kebutuhan yang sangatdiperlukan oleh pihak manajemen. Berdasarkan kebutuhan diatas, berikut ini pokokperumusan masalah yang ada pada tesis: Bagaimana mengembangkan sebuah model yang dapat memberikan informasi

tentang software release time berdasarkan optimasi biaya software dan analisaresiko pada software tersebut.

Bagaimana menentukan parameter-parameter biaya software yang digunakan padatesis ini.

Bagaimana mengimplementasikan model hasil tesis menjadi sebuah aplikasioptimasi dan analisa resiko pada permasalahan software release time.

Bagaimana melakukan pengujian untuk menentukan kebenaran berdasarkan datayang dimasukkan pada aplikasi.

Tujuan

Berikut ini beberapa tujuan yang ingin dicapai dalam pembuatan tesis ini:a. Mengembangkan sebuah model untuk mencari minimasi EC (Expected Cost)

software.b. Identifikasi parameter yang mempengaruhi biaya software dan fungsi resiko pada

software release time.c. Membangun Aplikasi Optimasi dan Analisa Resiko pada Permasalahan Software

Release Time.d. Melakukan pengujian untuk menentukan kebenaran dari aplikasi yang dibuat.

KAJIAN PUSTAKA

Software Release TimeSoftware Release Time adalah waktu mendistribusikan versi awal atau

versiupgrade dari sebuah produk software. Dalam mencapai Software Release Timeterdapat beberapa tingkat yang menggambarkan stabilitas bagiansoftware dan sejumlahperkembangan yang dibutuhkan sebelum final release, dikenal dengan istilah SoftwareRelease Life Cycle.

Page 3: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-3

Software TestingSoftware Testing adalah sebuah investigasi empiris untuk memberikan

stakeholdersinformasi tentang kualitas dari produk atau pelayanan dengan melakukantes.Dalam pengoperasian softwaretersebut nantinya. Software Testing selalumemberikan sebuah tujuan dan sudut pandang yang independen, agar perusahaan dapatmenilai dan memahami resiko dari implementasi software.

Non-homogeneous Poisson ProcessNon-homogeneous Poisson Process adalah proses stochastic yang terjadi secara

terus menerus dan tidak bergantung antara satu dengan yang lainnya. Contoh dariPoisson process seperti pererasan radioactive dari atom, panggilan telepon padaswitchboard, halaman permintaan pada website dan curah hujan.

Maximum Likelihood EstimationPrinsip Maximum Likelihood Estimation (MLE) menunjukkan adanya distribusi

probabilitas bahwa salah satu dari data yang diteliti “most likely”, dalam arti salah satunilainya dapat dicari berdasarkan parameter vektor yang berupa nilai maksimallikelihood function.

METODA

Metoda Penelitian

Metoda penelitian digunakan sebagai kerangka atau urutan langkah kerja yangakan dilakukan pada tesis ini. Secara garis besar, berikut ini langkah-langkah kerjayang dilakukan untuk mendapatkan model dalam “Aplikasi Optimasi dan AnalisaResiko pada Permasalahan Software Release Time” :1. Mengidentifikasi permasalahan yang akan diselesaikan.2. Merumuskan masalah berdasarkan hasil identifikasi permasalahan yang ada.3. Menetapkan tujuan penelitian yang diharapkan pada penelitian tesis ini.4. Melakukan studi literatur khususnya yang berhubungan dengan software release

time pada pengembangan software, keandalan software dan model biaya software.5. Membuat blok diagram perencanaan model pada tesis ini.6. Mencari nilai dari parameter-parameter yang digunakan pada penelitian.7. Mengimplementasikan berdasarkan model yang dihasilkan untuk membuat aplikasi

optimasi dan analisa resiko untuk menentukan software release time denganmenggunakan MatLab.

8. Mengevaluasi hasil implementasi9. Menyimpulkan hasil penelitian

Blok Diagram Perencanaan Model

Gambar 1. Blok Diagram Perencanaan Model

AnalisaResiko

SoftwareRelease Time

OptimasiSoftware

Release Time

Nilai Parameter SoftwareCost dengan NHPP SRMs

Proses MencariEkspektasi

Software Cost

Proses MencariRisk Function

Implementasidengan

MATLAB

[ ( )]Min

( )( )

Page 4: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-4

HASIL DAN DISKUSI

Studi Kasus

Studi kasus yang digunakan dalam penelitian ini adalah softwareNaval TacticalData System (NTDS) yang merupakan sebuah aplikasi real-time dan multicomputeryang komplek pada U.S Navy Fleet Computer Programming Center (A.L. Goel and K.Okumoto, 1979).Software NTDS terdiri atas 38 modul yang berbeda, dimana padamasing-masing modul terdiri atas 3 tahapan, yang meliputi: fase produksi(pengembangan), fase testing dan fase pengguna. Data yang dihasilkan berdasarkanlaporan kesalahan atau disebut juga “software anomaly reports” pada masing-masingmodul yang dinamakan sebagai A-module.

Pengumpulan DataWaktu antara kegagalan software NTDS dan informasi lainnya dapat dilihat

pada tabel dibawah ini:Tabel 1. Data NTDS

Error Non Time Between Errors, days

Cumulative Time= ∑ , daysProduction (checkout) phase1 9 9… … …26 1 250Test Phase27 87 337… … …31 135 540User Phase32 258 798Test Phase33 16 81434 35 849Total No. of Errors (34) = 34Failure Rate = 0.00579No. of Remaining Errors (8) – 26 = 8

Parameter yang Digunakan

Penelitian tesis ini mengambil data untuk model biaya basic softwareberdasarkan kasus Naval Tactical Data System (NTDS) pada U.S. Navy Fleet ComputerProgramming Center. Koefisien biaya yang digunakan dalam model biaya softwarebiasanya ditentukan oleh data empiris, pengalaman sebelumnya, dan pada aplikasi yangberbeda. Satuan yang digunakan dalam staff-units.Berikut ini parameter yang digunakan untuk menghitung waktu optimasi dan resikosoftware release time:a. C1, Koefisien biaya menghilangkan kesalahan selama testing. Menghilangkan

kesalahan disini meliputi proses identifikasi kesalahan, diagnosa kesalahan danmenghilangkan kesalahan.

Page 5: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-5

b. C2, Koefisien biaya menghilangkan kesalahan selama periode garansi (setelah systemrelease). Biaya memperbaiki kesalahan setelah system release lebih besardibandingkan biaya memperbaiki kesalahan selama periode testing. (Dalal andMallows, 1988)

c. C3, Koefisien biaya umum testing.

Alur Proses Aplikasi

Gambar 2. Flowchart Prosedur Mencari Optimasi Biaya dan Resiko

Implementasi AplikasiFormulasi yang digunakan dalam pembuatan aplikasi ini berdasarkan rumusan

dari jurnal utama yang menjadi rujukan. (B. Yang, H. Hu, and L. Jia, 2008)[ ( )] (1)( │ ) ≥ (2)

KeteranganT : Waktu melepas software( ) : Biaya yang terjadi, yang merupakan fungsi pada waktu melepas software[ ( )]: Nilai ekspektasi untuk ( )( │ ): Keandalan software jika dilepas pada waktu T

: Level keandalan yang dibutuhkan sebelum software dapat dilepas

Mencari Waktu OptimalUntuk mencari waktu optimal menggunakan fungsi fmincon untuk menemukan

nilai minimum berdasarkan banyak variabel tak linear dengan batasan.Berikut ini perincian detil dari biaya-biaya software:( ) = ( ) + [ (∞) − ( )] + (3)

Keterangan: Biaya menghilangkan kesalahanpada fase testing.: Biaya menghilangkan kesalahan padafase operasional.Biasanya, >: Biaya per unit testing

Selesai

Mulai

Input Parameter C(T)

Proses menghitungOptimal Software

Release Time [ ( ∗)]∗ dan

Input Parameter ( ∗)Menghitung Risk

Function ATC > ETCjika software dilepas

pada waktu T*( ∗)Hasil

Input Parameter ( ∗)Proses menghitung RiskFunction ATC > ETCsebesar α jika softwaredilepas pada waktu ∗ Hasil( ∗)

Page 6: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-6

Menghitung Expected Total CostExpected Total Cost dihitung berdasarkan rumusan dibawah ini:[ ( )] = ( ) + [ (∞) − ( )] + (4)( ) = (1 − ) (5)

Keterangan( ) :Expected number kegagalan software pada waktu t. Disebut juga mean valuefunction, ( ) = [ ( )]

:Expected number kegagalan software ketika testing dimulai.: Tingkat deteksi kegagalan yang masih ada pada software.

Dimana a dan b konstanta. Model G-O adalah salah satu NHPP SRMs yang dibuat danlangsung mempengaruhi pemodelan keandalan software. Berdasarkan model G-Odiperoleh bahwa: = . Pada basic software nilai untuk = 1. (B. Yang, H. Hu, andL. Jia, 2008).

Menghitung ResikoBerdasarkan Variance C(T), ketidakpastian biaya softwaredapat diukur. Jika

P1(T) adalah probabiliti bahwa AC sebuah software lebih tinggi daripada EC, maka :( ) ≡ { ( ) > [ ( )]} (6)

P1(T) adalah fungsi waktu T melepas software. Probabiliti ini dapat dilihatsebagai semacam resiko (risk), yang akan mendapatkan persetujuan manajemen. Jikaresiko dapat dikontrol pada level yang sesuai, maka dari perumusan diatas dapat dilihatbahwa ketika EC diminimalkan, maka AC akan berubah sedikit lebih tinggi dariminimun, dimana hal tersebut sangat diinginkan.( ) ≡ { ( ) > (1 + ) ∙ [ ( )]} (7)

Dimana ( ≥ 0) adalah sebuah konstanta yang menunjukkan batasan (margin)yang diperbolehkan agar AC menjadi lebih tinggi daripada EC. P1(T) adalah kenyataandalam kasus khusus ( ) untuk = 0.

Uji Coba AplikasiAplikasi yang dibuat dengan menggunakan Matlab selanjutnya diuji coba

dengan menggunakan data-data dari kasus nyata yang diambil dari jurnal utama.Parameter SRM = 33.99 dan = 0.00579 diambil dari kasus Naval Tactical DataSystem (NTDS) pada U.S. Navy Fleet Computer Programming Center. (A.L. Goel andK. Okumoto, 1979).

Page 7: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-7

Tabel 2. Data untuk Menghitung T* dan E[C(T)]

Gambar 3. Grafik Perhitungan Expected Total Cost

Tabel 3. Data untuk Menghitung ( )

Gambar 4. Grafik Analisa Resiko

No Kondisi Parameter SRM Syarat Keandalan T* E[C(T)]Case #1 =200, =1500, =10 = 33.99, = 0.00579 x = 100, R0 = 0.8 774 15,036Case #2 =200, =1500, =10 = 33.99, = 0.00579 x = 100, R0 = 0.8 923 16,239Case #3 =200, =1500, =10 = 33.99, = 0.00579 x = 100, R0 = 0.8 500 14,241Case #4 =280, =2400, =10 = 33.99, = 0.00579 x = 100, R0 = 0.8 774 18,070Case #5 =280, =2400, =10 = 33.99. = 0.00579 x = 100, R0 = 0.8 782 18,116

No α T* E[C(T)] ( )Case #1 0 774 15,036 0.46

0.05 0.330.1 0.22

Case #2 0 923 16,239 0.450.05 0.290.1 0.18

Case #3 0 500 14,241 0.470.05 0.370.1 0.28

Page 8: APLIKASI OPTIMASI DAN ANALISA RESIKO PADA …mmt.its.ac.id/download/SEMNAS/SEMNAS XIII/MTI/08. Prosiding Tan... · Identifikasi parameter yang mempengaruhi biaya software dan fungsi

Prosiding Seminar Nasional Manajemen Teknologi XIIIProgram Studi MMT-ITS, Surabaya 5 Pebruari 2011

ISBN : 978-602-97491-2-0C-8-8

Berdasarkan hasil pada tabel 2 dan tabel3 terlihat bahwa case #1 menghasilkanwaktu optimal melepas software sebesar 774. Sedangkan resiko AC melebihi ECsebesar 0.46. Namun hanya terdapat 0.22 resiko AC melebihi EC sebesar 10%.

KESIMPULAN

Kesimpulan yang didapatkan dalam penelitian tesis ini adalah:1. Model Nonhomogeneous Poisson Process (NHPP) Software Reliability Models

(SRMs) sering digunakan untuk memonitor proses testing dan mengukur sertamemprediksi keandalan software dimasa depan.

2. Sebagian besar penelitian waktu optimal melepas software lebih ditekankan kepadameminimalkan EC, tanpa memperhatikan ketidakpastian pada AC. Denganperumusan yang ada pada penelitian tesis ini yang meliputi: parameter biayasoftware, parameter SRM dan keandalan yang diharapkan, maka ketidakpastian ACdapat dihitung dengan melihat fungsi resiko yang ada.

3. Aplikasi dengan Matlab pada tesis ini digunakan untuk menghitung waktu optimal,Expected Total Cost dan fungsi resiko pada Software Release Time.

4. Hasil pengujian aplikasi menunjukkan bahwa permasalahan Software Release Timemerupakan pertukaran antara mengurangi resiko dan peningkatan Expected TotalCost.

Secara umum dengan mengetahui waktu optimal dan resiko yang ada padaSoftware Release Time, maka diharapkan pihak manajemen tidak mengalami overbudget pada saat melakukan testing.

Saran yang dapat diberikan untuk pengembangan penelitian tesis ini dimasa yangakan datang adalah:1. Penggunaan Generalized Software Cost Model dengan perluasan pada parameter

biaya yang diperlukan.2. Pemakaian pendekatan risk-control pada permasalahan Software Release Time.

DAFTAR PUSTAKA

A.L. Goel and K. Okumoto (1979), Time Dependent Error-Detection Rate Model forSoftware Reliability and Other Performance Measures, IEEE Trans. Reliability,vol. 28, no. 3, pp. 206-211.

B. Yang, H. Hu, and L. Jia (2008), A Study of Uncertainty in Software Cost and ItsImpact on Optimal Software Release Time, IEEE Trans. Software Eng., vol 34,No. 6, pp. 813-825.

H. Pham dan X. Zhang (1999), A Software Cost Model with Warranty and Risk Costs,IEEE Trans. Computers, vol. 48, no. 1, pp. 71-75, Jan 1999,doi:10.1109/12.743412.

S.R. Dalal and C. I., Mallows, “When Should One Stop Testing Software ?”, J.American Statistical Assoc. Vol. 83, No. 403, 1988, pp. 872-879.

W. Ehrlich, B. Prasanna, J. Stampfel, and J. Wu (1993). Determining the Cost of a Stop-Testing Decision, IEEE Software, pp. 33-42, Mar. 1993.