PW-1361 TEKNIK EVALUASI PERENCANAAN

TEKNIK DELPHI DALAM EVALUASI

TUJUAN PEMBELAJARAN:

Mahasiswa memahami konteks pemanfaatan Teknik Delphi dalam evaluasi kebijakan / program / proyek

Mahasiswa memahami prinsip-prinsip dasar Teknik Delphi

Mahasiswa memahami prosedur penggunaan Teknik Delphi dalam suatu evaluasi

KONTEKS DALAM EVALUASI (1)

PENDEKATAN TEKNIK

Evaluasi semu Sajian grafik, tabel, indeks, dll

Evaluasi formal Pemetaan sasaran, analisis dampak silang, diskonting, impact assesment, BCA

Evaluasi Keputusan teoritis BrainstormingDelphiAHPParticipatory evaluation

KONTEKS DALAM EVALUASI (2)

INPUT:

-data, masalah

PROSES:

Formulasi ImplementasiOUT PUT

OUT COMES

Kebijakan / program / proyek:

Teknik: Delphi

Kriteria Evaluasi

Teknik: Delphi

Kriteria Evaluasi

Policy / program / project

EVALUASIFormal

Pendapat

pelaku

PENGERTIAN

DEFINISI: Prosedur peramalan pendapat untuk memperoleh,

menukar, dan membuat opini tentang peristiwa di masa depan

…teknik untuk mencari konsensus di antara kelompok pakar yang homogen..

Dalam evaluasi, konsensus digunakan untuk menilai keberhasilan / manfaat suatu kebijakan, program, proyek

PRINSIP DASAR Anonimitas: para pakar yang memberikan pendapat tidak

saling mengenal (dirahasiakan) Iterasi: penilaian oleh para pakar dihimpun dan

dikomunikasikan kembali dalam dua putaran atau lebih, sehingga berlangsung proses belajar sosial dan dimungkinkan berubahnya penilaian awal

Tanggapan balik yang terkontrol: pengkomunikasian penilaian dilakukan dalam bentuk rangkuman jawaban terhadap kuisioner

Jawaban statistik: rangkuman dari jawaban setiap orang disampaikan dalam bentuk ukuran tendensi sentral: distribusi frekuensi

Konsensus pakar: kesepakatan opini dari suatu kasus (hasil akhir)

TAHAPAN DELPHI

Penentuan objek evaluasi

Pemilihan pakar/ responden

Penyusunan kuisioner I

Wawancara pakar

Hasil yang diinginkan

Iterasi 2,3,4 dst: kuisioner dan

wawanara

Penilaian (keberhasilan

/ manfaat)

TAHAPAN DELPHI

Spesifikasi isu/penentuan permasalahan:menentukan isu/permasalahan apa yang harus dikomentari oleh para pakar dalam evaluasi: penentuan objek evaluasi dan kriterianya

Menyeleksi advokat/pakar:menentukan pelaku-pelaku kunci/pakar terhadap permasalahan yang diteliti dalam evaluasi: pelaku yang memiliki kepakaran / pengetahuan dan concern ttg objek yang akan dievaluasi

Merumuskan kuisioner I (delphi akan berlangsung lebih dari 1 putaran):menentukan item-item (kriteria evaluasi) mana yang diajukan dalam kuisioner untuk dipakai pada putaran pertama dan putaran selanjutnyanote: diawali dengan memberikan pemahaman konteks studi kepada responden

Analisis hasil putaran pertama: Mengumpulkan dan mem-verifikasi hasil

pendapat pakar Meng-interpretasi kecenderungan pendapat

pakar Mengeleminasi pertanyaan2 yang tidak

diperlukan lagi untuk putaran berikutnya Menyusun pertanyaan2 untuk kuisioner II

mengkomunikasikan hasil analisis putaran pertama kepada pakar

Pengembangan kuisioner selanjutnya: Penyusunan pertanyaan2 dalam kuisioner untuk putaran2

berikutnya (putaran 2,3,4 dst sampai ditemukanya keteraturan)note: hasil putaran sebelumnya dijadikan basis untuk putaran

berikutnya Dalam penggalian pendapat berikutnya diperlukan

argumentasi-argumentasi dari pakar Iterasi terhenti jika sudah terjadi konsensus, jika tidak terjadi

konsensus yang terpenting adalah mengetahui posisi masing2 pakar terhadap permasalahan yang diaujukan

KASUS EVALUASI

Program Bantuan Langsung Tunai (BLT) telah berjalan selama 1 tahunProgram ini akan dievaluasi untuk perbaikan pelaksanaan program di tahun berikutnyaTeknik evaluasi: Delphi

TAHAPAN EVALUASI:

Spesifikasi isu / permasalahan(penentuan objek dan kriteria evaluasi)

Pakar

Objek evaluasi: Program BLT 2005

Kriteria: Efektifitas Efisiensi Equity

Bg Kesra pemkot, BPS, Lurah (5), kantor pos (5)PT

Kuisioner I: Penjelasan tujuan meng-

evaluasi program BLT 2005 Efektifitas

sejauh mana program BLT berhasil mencapai tujuan yang telah ditetapkan ( B, KB, TB)

Alasan:.. Efisiensi:

Seberapa besar manfaat yang diperoleh dibandingkan dengan usaha/ biaya yang dikeluarkan (M, KM, TM)

Alasan:…

Equity: Apakah pelaksanaan

program telah menyentuh kelompok sasaran yang telah ditentukan (TS, TTS)

Alasan:

Rekap kuisioner I Keberhasilan mencapai

tujuan (efektifitas): B: 30 %, alasan: KB: 40 %, alasan: TB: 30%, alasan:

Manfaat dibanding biaya (efisiensi): M: 20%, alasan KM: 40%, alasan TM: 40%, alasan

Ketepatan kelompok sasaran (equity): TS: 20%, alasan TTS: 80%, alasan

Kuisioner II: Penjelasan rekap hasil

kuisioner I Efektifitas

melihat hasil survey sebelumnya, apakah bapak / ibu setuju jika program BLT dikatakan tidak berhasil mencapai tujuan yang telah ditetapkan (S, TS)

Alasan:..

Efisiensi: Apakah bapak setuju

jika program BLT dikatakan tidak efisien (S, TS)

Alasan:…

Equity: Apakah program BLT

telah menempuh kelompok sasaran yang telah ditetapkan (TS, TTS)

Alasan:

Rekap kuisioner X

Efektif: S: 75% TS: 25%

Efisiensi: S: 90% TS: 10%

Equity: S: 10% TS: 90%

Sudah terjadi polarisasi dapat diambil kesimpulan program BLT tidak berhasil

Telah terjadi beberapa kali iterasi