cover - monev partisipatif1)/(e)/modul-monev-partisipatif.pdf · pelaku monev partisipatif adalah...
TRANSCRIPT
MonevPartisipatif
MODUL KHUSUS FASILITATOR
DEPARTEMEN
PEKERJAAN
UMUMDirektorat Jenderal Cipta Karya
Pelatihan Dasar 3F20
PNPM Mandiri Perkotaan
Modul 1 Pengertian Monitoring dan Evaluasi 1
Kegiatan 1 Permainan Menebak Perubahan 2
Modul 2 Melakukan Monev Partisipatif BKM/LKM 28
Kegiatan 1 Permainan Mengamati Barang 29
Kegiatan 2 Diskusi Kelompok Berputar : Bagaimana Melakukan Monev? 30
1
Modul 1 Topik: Pengertian Monitoring dan Evaluasi (Monev)
1. Peserta memahami konsep monev partisipatif
2. Peserta memahami pentingnya monev partisipatif dalam PNPMMP
Kegiatan 1 : Permainan menebak perubahan
3 Jpl ( 225’)
Bahan Bacaan :
1. Monev Partisipatif dan Pemberdayaan Masyarakat
2. Mengapa Monev Partisipatif Penting Dalam PNPMMP
3. Pengertian Evaluasi
• Kertas Plano, Kuda-kuda untuk Flip-chart
• LCD
• Metaplan, Spidol, selotip kertas dan jepitan besar
• Papan Tulis dengan perlengkapannya
2
Permainan Menebak Perubahan
1) Sebagai pembukaan, sampaikan kepada peserta tujuan dari sesi ini, yaitu agar peserta: memahami pentingnya monev dalam PNPMMP.
2) Kemudian mintalah peserta untuk berdiri, dan membentuk dua barisan (atur agar jarak antara
kedua barisan tersebut agak berjauhan, kira-kira dua langkah). Kemudian sampaikan aturan permainan sebagai berikut:
• Mintalah peserta untuk memperhatikan pasangannya masing-masing, dari ujung rambut
hingga ujung kaki. • Jelaskan bahwa setelah pemandu menyampaikan aba-aba nanti, semua peserta harus balik
kanan (saling membelakangi) dan membuat satu macam perubahan pada pakaiannya di bagian depan (yang bisa dilihat oleh pasangannya).
• Pasangan mereka harus menebak, apa yang berubah. Pandu proses menebak tersebut. • Lakukan sekali lagi, minta peserta menambahkan dua macam perubahan. Jika mau,
lakukan sekali lagi, dan minta peserta menambahkan lima perubahan. Perhatikan, jika peserta mengeluh, hentikan permainan.
3) Persilakan peserta untuk duduk kembali. Kemudian ajaklah peserta mendiskusikan hal-hal
berikut ini:
• Sulitkah mengamati suatu perubahan? Kapan pengamatan tersebut sulit dan kapan
menjadi mudah? Mengapa? • Menurut anda, mungkinkah untuk melibatkan ‘obyek’ yang diamati dalam
mengamati/mengevaluasi suatu perubahan? Mengapa? • Mengapa pengamatan semacam ini menjadi penting?
4) Tuliskan point-point penting jawaban peserta, dan di akhir proses diskusi, simpulkan pendapat
peserta. Beri masukan berdasarkan bahan bacaan, dan tutup diskusi dengan memberikan masukan berikut ini (jika belum tersimpulkan dalam diskusi):
3
Proses pengamatan dan evaluasi dalam permainan ini menggambarkan sebuah kegiatan monev. Monev akan menjadi sulit, jika tidak diintegrasikan dengan perencanaan dari awal. Pada saat perencanaan dibuat, semestinya sudah dirumuskan ukuran-ukuran (kuantitatif maupun kualitatif) mengenai capaian yang diinginkan, sehingga pengamatan dapat difokuskan pada hal-hal yang akan dilihat saja.
Monev partisipatif adalah monev yang dalam pelaksanaannya mengikutsertakan pembelajaran demokrasi dan partisipasi bagi para pelakunya. Pelaku monev partisipatif adalah pihak orang luar maupun warga masyarakat yang menjadi sasaran program tersebut.
4
MONEV PARTISIPATIF DAN PEMBERDAYAAN MASYARAKAT Oleh Ria Djohani, Studio Driyamedia Bandung
Apakah kita terkadang memikirkan tentang APA saja yang telah saya lakukan dalam hidup saya? Apakah ke depan saya masih bisa melakukan hal yang belum tercapai? Apakah saya hanya melalui hidup saya begitu saja, tanpa rencana dan refleksi? Apakah proyek/program kita juga berjalan begitu saja tanpa kita pikirkan arah dan tujuannya?
Sistem perencanaan dan monev program dalam filosofi pemberdayaan, bukanlah hanya proses, forum, atau alat manajemen program, melainkan suatu proses, forum, atau alat pembelajaran (sharing, refleksi) dan demokrasi (pengambilan keputusan bersama).
Apa konsekuensi dari pendekatan partisipatif terhadap sistem perencanaan dan monev yang perlu dikembangkan? Tentunya aspek pemberdayaan masyarakat dalam penilaian perkembangan, kemajuan dan capaian program merupakan suatu aspek yang luas. Dimensinya bukan hanya ekonomi saja, melainkan juga aspek sosial, politik lokal, kepemimpinan dan keorganisasian, dan lingkungan.
Apa yang perlu dimonev setelah suatu program berjalan, sejak perencanaan sudah perlu dirumuskan bersama masyarakat. Dengan begitu, arah program akan dikembangkan sesuai dengan rencana, dan penilaian (monev) dilakukan utuk melihat apakah rencana itu berjalan atau tidak. Masyarakat menentukan: perkembangan program apa yang penting dipantau dan apa saja indikator capaian program yang akan dievaluasi pada suatu jangka waktu tertentu.
Sebagai latihan, pada awalnya, masyarakat dilatih diajak untuk menentukan indikator kemajuan KEBUN (misalnya) atau usahanya. Setelah kemampuan berkembang, barulah mereka diajak menilai hal-hal yang lebih strategis. Dengan demikian, monev dalam program partisipatif adalah suatu proses pemberdayaan. Tidak bisa sekaligus menjadi kemampuan masyarakat, tetapi secara bertahap peran Orang Luar dipindahkan ke Orang Dalam (pada awalnya monev lebih banyak dilakukan Orang Luar, semakin lama beralih kepada Orang Dalam).
Pada awal perkembangannya, evaluasi program merupakan metodologi yang dianggap sebagai kompetensi kalangan tertentu (akademisi) sehingga dilakukan oleh orang yang berada di luar program. Seiring dengan perkembangan evaluasi partisipatif (lihat buku Riset Partisipatoris, Riset Pembebasan; Fernandes dan Tandon), evaluasi menjadi suatu yang lebih mengutamakan ideologi (prinsip-nilai) ketimbang meributkan kesahihan datanya. Proses kesepakatan terhadap apa yang dicapai menjadi lebih penting ketimbang validitas data.
Dalam bekerja dengan masyarakat dampingan, rata-rata LSM selalu mengembangkan atau memperkuat organisasi masyarakat (kelompok tani/jaringan tani, koperasi, dsb.) sehingga kita perlu juga mengevaluasi penguatan organisasi dan kepemimpinannya. Tetapi, yang paling penting dilihat adalah: apakah penguatan organisasi rakyat (seperti BKM dan KSM),
5
menyumbangkan sesuatu pada pemberdayaan (perubahan pola kekuasaan yang lebih adil dan demokratis) ataukah justru mempekuat pola dominasi kelompok elitis?
Penguatan KSM bukanlah sekedar alat untuk menjalankan program dari luar, melainkan suatu kerangka gerakan perubahan sosial melalui kelompok atau organisasi yang memiliki kesadaran dan memperjuangkan demokratisasi/ pembaruan.
Inti dari pemilihan metode/teknik monev partisipatif adalah: apakah metode ini bisa membangun proses pembelajaran masyarakat di dalam suatu forum refleksi yang terbuka, dialogis, dan setara?
6
MENGAPA MONEV PARTISIPATIF ITU PENTING Dalam kehidupan sehari-hari, seringkali kita menyaksikan atau mendengar cerita tentang berbagai kegiatan atau program yang berhasil dilaksanakan, sesuai rencana dan hasilnya dapat dinikmati oleh orang banyak. Namun, tak juga jarang kita mendengar kegiatan atau program yang gagal, tujuan tidak tercapai dan tidak begitu baik hasilnya. Sayangnya, pengalaman keberhasilan dan kegagalan tesebut seringkali dianggap angin lalu saja. Kita jarang secara sungguh-sungguh mencermati kembali pengalaman keberhasilan dan kegagalan. Akibatnya adalah kita tidak memiliki pelajaran berarti dari berbagai peristiwa dan pengalaman tersebut dan seringkali kita mengalami kegagalan pada kegiatan yang sama secara berulang kali. Pertanyaannya adalah: Apakah kita memiliki cara untuk mengetahui bahwa kita tidak sedang melakukan hal-hal yang akan membawa kegagalan? Banyak cara dapat kita lakukan untuk menjawab pertanyaan tersebut. Tetapi keputusan kita untuk melakukan monev secara benar terhadap apa yang kita kerjakan, yaitu dengan berusaha untuk secara terus menerus atau berkala dan secara sungguh-sungguh melihat dan memikirkan kembali perkembangan dari kegiatan atau program yang kita kerjakan, sebetulnya kita menghindari kegagalan dan berjalan menuju keberhasilan. Dengan melakukan monev terhadap apa yang kita kerjakan maka secara sadar dapat kita kontrol kesesuaian penggunaan sumber daya, pilihan cara dan saling menjaga kinerja di antara pihak-pihak yang terlibat. Karenanya monev menjadi penting supaya tujuan kegiatan atau program dapat dicapai dan dapat dipertanggungjawabkan kepada semua pihak lain yang berkepentingan atas apa yang kita lakukan.
Monev Partisipatif Dalam PNPMMP
Seperti halnya kegiatan tahapan siklus PNPMMP seperti pemetaan swadaya, refleksi kemiskinan, dan penyusunan PJM Pronangkis (perencanaan); monev partisipatif adalah suatu forum pengambilan keputusan bersama mengenai apa yang ingin dan akan dilakukan oleh masyarakat dalam berkegiatan dan mengembangkan program. Monev dilakukan untuk menilai tahap-tahap pencapaian kegiatan/program seperti yang digambarkan dalam siklus.
Hasil-hasil pengamatan/monitoring sebelumnya, dibandingkan dengan hasil-hasil pengamatan berikutnya, sehingga kita bisa melihat apakah terjadi perubahan secara berkesinambungan. Dengan begitu, pada monev partisipatif kita selalu membandingkan hasil-hasil dari waktu ke waktu, sehingga terjadi aksi – refleksi – aksi. Indikator monev dengan metodologi-pendekatan partisipatif sebaiknya memperhatikan aspek hasil fisik dan non-fisik.
7
Apa saja yang diperlukan supaya monev berhasil (syarat monev)?
Karena monev dibuat antara lain untuk melihat perkembangan serta capaian suatu program, maka program tersebut perlu dirumuskan dalam perencanaan yang jelas.
Sebelum monev dilakukan, terlebih dahulu harus ada kesepakatan antar semua pihak yang akan terlibat: untuk keperluan apa monev dibuat dan manfaat apa yang ingin diperoleh dari monev.
Sebagai ikatan dalam melaksanakan monev bersama-sama perlu ada kesepakatan mengenai nilai dasar atau prinsip yang ingin kita wujudkan dalam pekerjaan kita.
Untuk melakukan monev perlu ada rencana yang jelas sehingga ia akan melekat dan menjadi bagian dari kehidupan kita sehari-hari.
Tiga Pilar Monev
Ketika kita membuat rencana kerja, adalah saat yang tepat untuk sekaligus menyusun rencana monev. Dengan demikian kita memastikan bahwa monev betul-betul menyatu dengan pekerjaan kita, dan bukan sesuatu yang terpisah atau bahkan terlupakan sama sekali. Kita harus memastikan bahwa kita sudah memiliki “pilar” yang dibutuhkan untuk membangun rencana monev yaitu rencana kerja yang jelas, kesepakatan bersama tujuan monev dan kesepakatan cita/nilai/prinsip melakukan monev. 1. Rencana kerja yang jelas disarankan memuat hal-hal berikut:
Perubahan yang ingin dicapai Apa yang perlu dihasilkan untuk mencapai tujuan Apa yang perlu dilakukan Siapa penanggung jawabnya Siapa saja yang terlibat Kapan dan dimana akan dilaksanakan Apa saja yang diperlukan
2. Kesepakatan tujuan monev dapat lebih mudah dicapai jika kita bisa memikirkan
apa saja manfaat yang kita harapkan dalam melakukan monev. Pada umumnya, tujuan monev mengandung 2 hal pokok, yaitu : a. Belajar dari pengalaman
• Secara terus menerus mencari “pelajaran baru” dari apa yang telah kita kerjakan selama ini. Pelajaran yang baru itu bisa menjadi masukan yang sangat berharga untuk perbaikan kinerja kita ke depan.
• Meningkatkan kinerja ke arah yang efektif: tujuan yang ditentukan. • Meningkatkan kinerja ke arah yang efisien: tepat waktu, tidak boros • Melihat dengan jernih sebab-sebab keberhasilan dan kegagalan pekerjaan yang
sedang dilakukan. Sehingga kita bisa meningkatkan kekuatan yang kita miliki, dan berusaha mengurangi kelemahan yang ada.
8
• Saling tukar menukar pengalaman antar orang, kelompok, kampung maupun lembaga yang sedang atau selesai mengerjakan sesuatu. Melalui proses ini, diharapkan munculnya sebuah kesadaran bahwa suatu “kesalahan” yang pernah dialami oleh orang lain bisa kita hindari.
b. Menjadi tanggung gugat • Memberikan jawaban secara terbuka dan jujur terhadap apa saja yang ingin
diketahui oleh masyarakat menyangkut suatu program dimana masyarakat berkepentingan terhadap program itu.
• Selain siap menjawab, kita harus siap “digugat” oleh masyarakat jika pekerjaan kita dianggap tidak sesuai dengan aturan dan nilai-nilai yang telah disepakati sebelumnya.
3. Prinsip-prinsip monev
Partisipatif, melibatkan banyak pihak mulai perencanaan hingga evaluasi. Terbuka, pertanggungjawaban dilaporkan secara terbuka. Tanggung gugat, pengambilan keputusan dan penggunaan sumber daya bisa ditanggung gugat di depan masyarakat luas.
Kesetaraan, semua pihak terlibat mempunyai hak dan kedudukan setara. Kejujuran, pelaporan dilakukan dengan jujur dan sesuai kondisi lapangan. Berjiwa besar, Berjiwa besar menerima dan memberikan kritik dan saran Keterpaduan, Dilakukan melihat semua arah secara terpadu dan menyeluruh Fleksibel, tidak kaku, sesuai dengan keadaan waktu dan tempat Kesepakatan, pelaksanaan didasarkan pada kesepakatan semua pihak.
Sumber:
Monitoring & Evaluasi: Sebagai Media Belajar,
DFID, 2001
9
Pengertian Evaluasi
Bab ini dimulai dengan apa arti evaluasi, mengapa kita melakukannya, dan apa yang
diharapkan dengan mempelajarinya. Berbagai pihak seringkali mengambil bagian dalam
proses evaluasi ini, meskipun seringkali tidak sepenuhnya dekat dengan masyarakat pada
semua tingkatan. Di samping, itu dibahas pula berbagai cara yang dilakukan orang ketika
mengambil bagian dalam evaluasi, tempat, biaya, dan untuk kepentingan siapa evaluasi
dilakukan.
1.1.Mengapa Evaluasi
Secara sederhana evaluasi berarti mengkaji nilai/hasil sesuatu (hasil kerja), proses
membandingkan antara hasil yang telah dicapai dengan hasil yang diharapkan. Pengertian
dan pemahaman tentang evaluasi ini membantu orang yang terlibat dalam program-
program pengembangan untuk mengkaji hasil kerja mereka secara sistematis.
Ketika ditanyakan kenapa orang mengevaluasi kerja mereka, masing-masing pihak akan memberikan jawaban berbeda, hal tersebut dapat dilihat pada uraian di bawah ini:
10
Membantu kita melihat dan mencari arah yang tepat
Melihat apa yang telah dicapai Membantu kita membuat
rencana-rencana ke depan Mengukur kemajuan Membuat kinerja kita lebih efektif Mampu mengembangkan Mengumpulkan lebih metode pengawasan banyak informasi Mengapa Anda Mengevaluasi Melihat kelebihan Melihat apakah kinerja kita dan kelemahan mengeluarkan biaya besar sementara hasil
yang
dicapai sedikit Mengkritisi hasil kerja Melihat apakah semua usaha sudah efektif Membandingkan dengan Mampu membagi pengalaman program lain yang sejenis
Di samping itu, ada 10 jawaban kunci atas pertanyaan ‘Mengapa Anda Mengevaluasi?’
• Kemajuan (untuk melihat apa yang telah dicapai)
• Mengukur Kemajuan (berkaitan dengan tujuan program)
11
• Mengembangkan Pegawasan/monitoring (untuk memperoleh pengelolaan yang
lebih baik)
• Menemukenali Kelebihan dan Kelemahan (memperkuat program)
• Melihat Apakah Upaya yang Dilakukan Sudah Efektif (perbedaan apa yang telah
dihasilkan progam)
• Biaya (apakah biayanya sudah masuk akal/realistis)
• Pengumpulan Informasi(merencanakan dan mengelola program lebih baik)
• Membagi Pengalaman (menghindari mereka membuat kesalahan yang sama atau
mendorong mereka menggunakan metode yang sama)
• Mengembangkan Efektivitas (agar memiliki dampak yang lebih baik)
• Memberi Perencanaan yang Lebih Baik (lebih berpihak pada kebutuhan
masyarakat, khususnya pada tingkat komunitas).
Beberapa di antara alasan kunci tersebut mudah, sementara yang lainnya sulit
dipahami. Ketika ini dilakukan di tingkat masyarakat kita sebaiknya menggunakan kata-
kata dan pemaknaan/bahasa yang lebih singkat dan mudah dipahami. Sebagai contoh
sederhana kita dapat menceritakan pengalaman aktual yang terjadi pada suatu
masyarakat, seperti di bawah ini:
Pada satu wilayah, sekelompok pengembangan masyarakat membandingkan evaluasi
mengenai perjalanan dengan mengendarai sebuah bis yang tidak diketahui arahnya.
Sambil menatap keluar melalui jendela para pengembang merasa gembira karena dapat
melihat kemajuan yang ada. Tiba-tiba hujan turun sehingga tirai jendela mobil ditutup.
Kondisi ini membuat mereka tidak dapat melihat suasana luar. Mereka tahu bahwa mobil
terus melaju, namun tidak dapat menceritakan seberapa cepat atau apakah mereka telah
mendekati tujuan.
Evaluasi itu seperti melihat dimana dan secepat apa anda pergi dan memperkirakan
kapan anda ingin mencapai tujuan. Dari jawaban yang ada sangat jelas bahwa evaluasi
telah dilakukan utamanya dengan mempertimbangkan: aktivitas program, sumber daya
manusia, sumber daya alam, informasi, gambaran dan fakta-fakta.
Hal tersebut dimaksudkan agar:
12
Memonitor kemajuan dan efektivitas evaluasi, mempertimbangakn biaya dan efisiensi,
menunjukkan apakah perubahan dibutuhkan, dan membantu merencanakan secara lebih
efektif untuk ke depan.
Jadi, di samping ada beberapa alasan lain juga terdapat perbedaan dalam
mengevaluasi. Ini adalah beberapa di antara alasan itu yang menjadi lebih jelas jika kita
melihat jawaban yang diberikan masyarakat.
• Karena pesanan penyandang dana
• Karena pesanan menteri/pemerintah
• Karena pesanan sponsor yang ingin melihat apakah mereka tetap ingin mendukung
program
• Karena peneliti ingin mencoba teknik evaluasi yang baru
• Karena materi-materi baru dibutuhkan untuk tujuan publikasi
Dari beberapa jawaban ini, jelas bahwa evaluasi dilakukan untuk beberapa alasan
tertentu. Meskipun, beberapa alsaan itu barangkali belum terlalu jelas bagi semua pihak
yang terlibat dalam evaluasi.
Contohnya, evaluasi telah digunakan pada program berbasis partisipasi dengan
harapan hasilnya akan digunakan dalam pengambilan keputusan berkaitan dengan
penyandang dana program, dimana pada kenyataannya keputusan pendanaan telah
diambil alih oleh penyandang dana program sebelum evaluasi dimulai. Jadi, hasil evaluasi
tidaklah membuat perbedaan berarti dalam pengambilan keputusan yang telah dibuat oleh
penyandanga dana.
Evaluasi juga digunakan pada beberapa kasus untuk membenarkan/mendukung
program yang lemah atau program yang gagal, atau sebagai upaya untuk mencoba
membentengi program-program yang gagal. Contohnya, evaluasi hanya tampak sukses
pada bagian tertentu dari program dan bukan pada keseluruhan program. Bila hanya
bagian tertentu dari program yang dilihat maka hanya sedikit peluang untuk melihat
kelemahan program secara keseluruhan.
Beberapa evaluasi telah berhasil dalam merubah program, contohnya; ketika
program hanya dikuasai oleh orang tertentu atau sekelompok orang yang tidak setuju
dengan kegiatan atau tujuan program tersebut.
13
1.2 . Apa yang dapat dan tidak dapat dilakukan dalam Evaluasi
Kita seringkali berharap terlalu banyak dari evaluasi karena melalui evaluasi kita
dapat memperoleh informasi keberhasilan dan kemajuan yang dapat digunakan pada
pengambilan keputusan dan perencanaan. Meskipun, terkesan lebih banyak sebagai
proses evaluasi. Kesannya bahwa evaluasi itu kebanyakan berkaitan dengan segala
kemungkinakn pertanyaan dan mampu menjawab semua pertanyaan.
Ingat bahwa evaluasi bukanlah obat yang dapat mengobati semua penyakit.
Melihat Keberhasilan dan Kegagalan
Orang sering menyangkan bahwa evaluasi mampu menunjukkan secara jelas
keberhasilan telah tercapai, tetapi seringkali sulit memberi bukti yang jelas mengenai
kesuksesan itu. Kenyataannya, lebih mudah menunjukkan kegagalan, sungguhpun
kegagalan tidaklah popular.
Salah satu alasan kenapa sangat sulit menunjukkan kesuksesan atau kegagalan
karena makna keduanya dapat berbeda-beda untuk setiap orang. Contohnya, apa yang
dianggap kegagalan pada suatu tempat justru dapat menjadi kesuksesan di tempat lain.
Hal itu dapat dilihat pada kejadian lapangan di bawah ini:
Dari Pengalaman
Di Brazil dicanangkan sebuah program pengembangan pedesaan untuk menunjang
sektor pertanian lokal. Program itu gagal, dan sebagian besar disebabkan oleh kegagalan
lembaga masyarakat lokal.
Namun, setahun kemudian salah satu pengembang program kembali ke wilayah itu
untuk suatu kunjungan singkat. Dia menemukan bahwa program itu memperoleh hasil,
khususnya pada bidang kesehatan. Di antaranya, Masyarakat masih menggunakan obat
yang pernah diperkenalkan sebelumnya seperti obat malaria, disentri dan penyakit-
penyakit umum lainnya. Sebagian masyarakat juga masih menanak dan menyaring air
yang mereka konsumsi serta masih menggunakan kotak untuk menyimpan sikat gigi.
Jadi, pada program ini, meskipun dikatakan gagal, namun masih ada kesuksesan
pada wilayah tertentu yang menutupi kegagalan program secara keseluruhan.
Pada sisi lain, bijaksana kiranya untuk berhati-hati ketika mengklaim kesuksesan.
Apa yang awalnya dianggap kesuksesan dapat saja menjadi kegagalan pada waktu lain.
14
Contohnya, kasus pembuatan jamban untuk meningkatkan kesehatan masyarakat pada
dua wilayah di Negara Amerika Selatan.
Mulanya program pengadaan jamban berjalan baik, namun seiring dengan waktu
pemanfaatan jamban makin berkurang, perawatannyapun makin terabaikan. Akhirnya,
justru menjadi sumber masalah kesehatan.
Pada program lain yang dialokasikan pada wilayah sangat miskin, jambannya
dibangun dari bata dan pintunya dipasangi kunci. Mereka tidak mengunci jamban tersebut
dan dijadikan sebagai tempat barang, seperti sepeda bahkan sebagai kandang ayam.
Sejauh ini jamban bukannya untuk tujuan sanitasi melainkan dijadikan gudang
penampungan barang.
Evaluasi dilihat dari segi Kuantitas dan Kualitas
Setiap evaluasi mengarah pada sesuatu yang dapat dihitung/diukur. Contohnya,
jumlah masyarakat yang ikut dalam program, jumlah produksi atau layanan produk,
jumlah sumber bahan-bahan yang tersedia, anggaran biaya program yang sedang
berlangsung atau luas suatu area yang dikelola. Angka-angka, jumlah dan kuantitas
seringkali digambarkan sebagai aspek kuantitatif dari evaluasi.
Tidaklah terlau sulit menentukan aspek kuantitaif suatu evaluasi. Contohnya, suatu
program vaksinasi dua bulanan yang bertujuan mencapai jumlah pasti anak yang divaksin
pada waktu yang pasti. Ketika program selesai maka muncullah jumlah pasti berapa anak
yang terjangkau oleh program tersebut.
Bagaimanapun, program tidak hanya terdiri dari berbagai faktor yang dapat dihitung
atau diukur. Melainkan, juga terdiri dari faktor-faktor yang sangat sulit diukur atau
dihitung namun mempengaruhi program yang sukses atau gagal pada jalur yang penting.
Termasuk didalamnya; sikap, kemampuan, kualitas, perilaku, nilai, dan motivasi serta
bagaimana hubungan masyarakat satu sama lain termasuk dengan program yang ada. Ini
merupakan gambaran dari aspek-aspek kualitatif evaluasi karena hal ini berhubungan
dengan kualitas sesuatu yang telah dievaluasi.
Beberapa faktor menjadi penting karena mereka membantu menjelaskan kenapa
program pada tempat-tempat tertentu dilakukan dengan cara khusus, dan kenapa
memiliki kelemahan dan kelebihan, solusi dan masalah, penyelesaian terduga dan tak
15
terduga. Ini juga mempengaruhi kesuksesan atau kegagalan program. Evaluasi mesti
dilihat pada keseluruhan karakter atau sifat alamiah program.
Mengetahui mengapa suatu program sukses atau gagal jauh lebih penting
dari pada knowing it does
Untuk menjawab pertanyaan tentang apa yang dapat dilakukan dalam mengevaluasi,
secara jelas kita dapat melihat bahwa memang kita tidak dapat melakukan semua.
Namun, paling tidak kita dapat:
• Menunjukkan keberhasilan dan kegagalan utama
• Menunjukkan dimana dan bagaimana kebutuhan akan perubahan dibutuhkan
• Menunjukkan bagaimana kekuatan-kekuatan dapat dibangun
• Menyediakan informasi dan menambah keterampilan untuk kepentingan
pengambilan keputusan dan perencanaan, dan
• Membantu pihak-pihak yang terlibat untuk melihat semakin meluas konteks dan
implikasi pekerjaan mereka
1.3. Siapa yang Dapat Mengevaluasi?
Dewasa ini masih berkembang anggapan bahwa hanya para ‘ahlilah’ yang dapat
melakukan evaluasi. Tanpa diragukan sesungguhnya banyak proses evaluasi yang hasilnya
jauh lebih baik jika dilakukan oleh tanaga evaluasi yang terlatih khusus.Terdapat banyak
jenis evaluasi yang dilakukan di dalam laboratorium, institusi, universitas, maupun di
rumah sakit.
Bagaimana dengan monitoring dan evaluasi yang dilakukan pada program
pengembangan dasar masyarakat baik dalam skala kecil maupun skala besar? Masyarakat
seringkali terlibat dalam program kesehatan, pertanian, pengembangan masyarakat dan
pendidikan orang dewasa. Selama ini mereka menggunakan metode monitoring yang
sudah terbiasa melibatkan masyarakat pada setiap program.
Namun demikian, meskipun masyarakat pada tingkatan komunitas atau distrik tetap
mengumpulkan informasi dan data statistik berkenaan dengan pekerjaan mereka, tetapi
mereka tidak terlibat dalam proses analisis. Sehingga seringkali mereka tidak paham akan
diapakan atau dibawa kemana data yang telah terkumpul tersebut.Bahkan terkadang
merasa tidak butuh dengan hasil analisis evaluasi yang telah dilakukan.
16
Karena meskipun mereka melihat hasil laporan evaluasi, mereka kesulitan dalam
memahami istilah-istilah khusus dan tampilan data statistik yang ada. Bagi pekerja di
tingkat masyarakat dan hasil kajian analisis yang mencengangkan, muncul kesan bahwa
hasil evaluasi dilakukan dan diperuntukkan bagi orang lain dan bukan untuk komunitas
mereka.
Tugas dan peran pekerja di tingkat masyarakat dan staf program secara umum
adalah melakukan monitoring dan evaluasi pekerjaan mereka termasuk di dalamnya
merekam, berpartisipasi dalam pertemuan-pertemuan regular, diskusi-diskusi kelompok,
lokakarya penilaian perkembangan kegiatan, dan membuat laporan berkala (mingguan,
bulanan, empat bulanan, dan tahunan).
Beberapa staf program, seperti para teknisi dan profesional mesti memiliki
keterampilan dan pengalaman khusus dalam hal evaluasi. Terkadang evaluator atau para
evaluator bukan bagian dari staf program. Mereka bekerja secara individu atau dalam tim
dan datang dari dalam maupun luar wilayah pelaksanaan program. Mereka terkadang
diminta untuk mengevaluasi pekerjaan evaluator program atau diminta sebagai penasihat
dalam proses evaluasi. Kalangan ini biasa disebut eksternal evaluator.
Eksternal dan Internal Evaluator: Siapa yang dapat memberikan gambaran
yang paling jelas?
Seorang eksternal evaluator adalah orang yang dapat mengambil bagian (a fresh
look) secara santai dalam program karena mereka tidak terlibat secara personal.
Contohnya, mereka tidak akan terlalu terpengaruh oleh intervensi staf program maupun
penyandang dana. Oleh karena itu, terhindar dari bias program dan lebih objektif dalam
penilaian.
Seorang internal evaluator adalah orang mengenal program dengan baik. Dia telah
mengetahui dengan baik tujuan, fungsi, masalah, kelebihan dan kelemahan program. Oleh
karena itu, biasanya kalangan internal evaluator cenderung bias dalam melaksanakan
fungsinya, hal ini dipengaruhi oleh berbagai faktor, seperti perasaan suka dan tidak suka,
persahabatan, atau bahkan ambisi pribadi. Dengan kata lain, mereka akan sangat
subyektif dalam menilai. Sungguhpun subyektivitas tidaklah selamanya lemah, namun
dalam evaluasi sikap subyektif dapat mempengaruhi jalan pikiran dan hasil laporan yang
jujur.
17
Hal tersebut akan jelas bila kita memperhatikan beberapa hal di bawah ini:
Kelebihan dan Kekurangan Evaluator Internal dan Evaluator Eksternal
Eksternal Internal
Tampak santai dalam program Mengetahui program dengan baik
Tidak terlibat secara personal sehingga Bagian dari struktur kekuasaan
obyektif dalam penilaian
Tidak memperoleh apa-apa dari program Termotivasi secara individu
namun memperoleh prestise dari evaluasi
Terlatih dalam metode evaluasi. Memiliki Bisa saja tidak terlatih khusus dalam
pengalaman pada evaluasi lain, dihargai metode evaluasi.
sebagai ahli dalam program
Orang luar yang tidak mengerti program Terbiasa dan mengerti program
serta
atau orang-orang yang terlibat mampu menginterpretasi sikap
personal
Dapat menyebabkan kegelisahan sbg staf Memahami program dengan baik,
program dan peserta tidak yakin akan sehingga tidak merasa ragu dalam
motivasinya ikut dalam program mengikuti program
Meningkatkan Rasa Percaya Diri Masyarakat dengan Kemampuan Mereka
Sendiri
Seringkali staf program dan masyarakat merasa tidak memiliki kemampuan dan
keterampilan mengevaluasi pekerjaan yang mereka lakukan. Mengembangkan metode-
metode manajemen yang baik akan meningkatkan rasa percaya diri, keterampilan dan
kemampuan mereka.
Khususnya pada tingkat komunitas, masyarakat seringkali beranggapan bahwa mereka
tidak mampu melakukan evaluasi karena keterbatasan kemampuan baik dalam ilmu
maupun keterampilan menyampaikan pendapat mereka di muka umum.
Kesulitan pertama akan mereka hadapi ketika berhadapan dengan orang luar, hal ini
terjadi bukan hanya karena faktor bahasa, budaya, dan pendidikan melainkan juga karena
ketidakpahaman orang luar terhadap kondisi nyata masyarakat lokal.
18
Beberapa cara dapat dilakukan untuk membuat masyarakat lokal merasa dibutuhkan
dan memiliki kamampuan dalam proses evalausi program adalah:
• Merekalah yang paling tahu akan wilayahnya, karakterisitik masyarakat (kondisi lahan
dan musim)
• Mereka paham bagaimana kehidupannya, hubungan masyarakat satu sama lain, siapa
yang memiliki kekuasan dan kenapa, bagaimana perasaan masyarakat, nilai-nilai apa
yang ada, bagaimana mereka menyelesaikan masalah, dan apa yang mereka harapkan
dan tidak harapkan
• Mereka yang paling tahu apa yang dapat dilakukan, apa yang mesti dihindari, apa
yang mesti dipelajari, dan bagaimana mereka menggunakan apa yang telah dipelajari
• Mereka telah tahu banyak tentang program, (seperti, mana program yang lalu,
sekarang, dan masa yang akan datang) sementara staf program hanya tahu yang
bersifat detail seperti pendanaan.
• Mereka telah sangat terbiasa dengan program monitoring berkala, seperti
mengumpulkan informasi dan data-data statistik, melakukan survey, membuat laporan
dan mengadakan berbagai pertemuan
Tantangannya adalah menemukan cara terbaik bagi masyarakat untuk membuat mereka
merasa terlibat ketika proses evaluasi dilakukan.
1.4. Partisipasi dalam Evaluasi
Kita mesti kembali melihat apa sebetulnya pengertian partisipasi atau mengambil
bagian dalam proses evaluasi. Tentunya ini akan menimbulkan banyak pengertian.
Contohnya, orang yang terlibat dalam menjawab berbagai pertanyaan survey. Paling tidak
mereka ikut ambil bagian dalam proses tanya jawab yang dilakukan meskipun secara
pasif, atau yang mereka lakukan lebih bermakna kerjasama daripada berpartisipasi.
Perbedaan cara masyarakat berpartisipasi dalam evaluasi dapat terlihat lebih jelas pada
empat contoh di bawah ini, mulai dari A ke D
Contoh A: Tipe evaluasi ‘Contoh studi’
Dalam hal ini masyarakat hanya diberi peran sedikit dalam evaluasi. Ketika tim evaluator
telah menjelaskan tujuan diadakannya evaluasi masyarakat serta merta setuju dimintai
informasi, dsb. Mereka tidak diajak untuk melakukan hal yang lebih dari sekedar memberi
informasi. Karena jika itu dilakukan maka mereka dianggap mengacaukan evaluasi. Hasil
19
evaluasi kemudian diambil alih oleh tim evaluasi dan tidak mengharapkan adanya
tanggapan dari masyarakat.
Contoh B; Tipe Evaluasi ‘Penolakan Membagi Hasil’
Beberapa diantara tujuan evaluasi biasanya disampaikan kepada masyarakat. Mereka
kemudian menjawab pertanyaan yang diajukan dalam kuesioner dan sedikit berperan
pada proses analisis informasi. Mereka juga barangkali ambil bagian dalam prosedur
evaluasi. Pada akhir evaluasi masyarakat mendapat tanggapan yang dibuat sesuai dengan
kebutuhan tim evaluasi.
Contoh C: Tipe Evaluasi ‘locking up (membatasi) keahlian’
Masyarakat mengambil bagian dalam evaluasi termasuk menentukan tujuan dan metode
evaluasi. Mereka berpartisipasi dalam analisis hasil evaluasi, tanggapan terhadap hasil
evaluasi yang dilakukan masyarakat secara luas dan menjadikannya sebagai bahan
rekomendasi.
Meskipun tidak ada sistem monitoring yang betul-betul efektif dalam program yang
memungkinkan masyarakat dan para staf berjalan sendiri. Masyarakat masih saja
tergantung pada bantuan pihak luar bila mereka akan melakukan evaluasi lain.
Contoh D: Tipe Evaluasi ‘Real Partnership -Hubungan Nyata- dalam Pengembangan’
Masyarakat mengambil bagian dalam menentukan kapan dan bagaimana mengevaluasi,
menentukan metode yang digunakan, mengumpulkan dan menganalisis data-data,
menyiapkan laporan dan menentukan bagaimana menggunakan hasil-hasil yang ada dan
mengejawatahkan rekomendasi yang ada ke lapangan.
Ketika metode monitoring berkala belum digunakan, maka metode baru akan
dikembangkan dalam program. Sehingga masyarakat memiliki akses berkala terhadap
kemajuan mereka dan mampu melakukan evalausi secara berkelanjutan.
1.5. Untuk Siapa Evaluasi itu?
Terkadang evalausi dilakukan untuk kepentingan pemerintah yang ingin mengetahui
apakah kebijakan yang pernah diambil berhasil atau tidak. Di samping itu, para
penyandang dana dana juga melakukan itu untuk tujuan yang sama.
20
Staf program pada tingkat masyarakat melihat tujuan utama diadakannya evaluasi
lebih pada hal yang berkaitan dengan sesuatu yang praktis. Mereka ingin tahu apa yang
program mereka telah capai, apakah upaya yang dilakukan telah efektif, dan apakah
sumber-sumber yang tersedia telah digunakan secara efisien untuk mencapai tujuan
program.
Kadang-kadang pihak perguruan tinggi juga dilibatkan, termasuk para mahasiswa
dan staf dengan maksud agar mereka memperoleh pengetahuan tentang evaluasi
ditingkat masyarakat. Hasil temuannya dapat dipublikasikan dalam bentuk buku atau
artikel dan memanfaatkan hasil pengalaman evaluasi itu untuk kepentingan studi mereka.
Ketika evaluasi dilakukan tentunya pihak-pihak yang terlibat dalam evaluasi itu
memiliki tujuan, motif dan harapan yang berbeda-beda.
Baik, jika kita membandingkan perkembangan evaluasi dengan memakai contoh
perjalanan menggunakan sarana transporatasi bis, sangat jelas bahwa akan terjadi
kebingungan bila para penumpangnya tidak memiliki tujuan yang jelas, mengapa mereka
ada di sana dan apa yang mereka harapkan.
Sebelum memulai suatu evaluasi, maka hal terpenting yang mesti dilakukan adalah
menentukan tujuan masing-masing orang.
Seringkali sangat sulit menemukan solusi ketika terdapat banyak sekali keinginan
dan kebutuhan yang mesti diakomodir. Situasi dan realitas tertentu suaitu program akan
menentukan apa yang akan dilakukan. Apa yang pentng adalah meyakinkan bahwa
kebutuhan dan tujuan yang berbeda yang ada di tingkat masyarakat tidak akan diabaikan
begitu saja. Tujuan, metode, dan hasil evaluasi diharapakan mendekati kebutuhan,
kenyataan, masalah, dan harapan masyarakat.
Kementerian, departemen, organisasi, perguruan tinggi, dan agen-agen yang ada
diharapkan juga memiliki kebutuhan dan harapan dari evaluasi. Seringkali sulit bagi
evaluasi yang tunggal untuk menyediakan berbagai informasi yang dibutuhkan bagi
masyarakat dan tingkatan lain dalam masyarakat (termasuk tingkat nasional maupun
internasional).
1.6. Kapan Evaluasi Harus Dilakukan?
Di samping monitoring biasa, yang dilakukan pada program yang sementara
berlangsung, ada pula kebutuhan atas evaluasi pada interval biasa untuk mencegah
terjadinya kekacauan informasi dan untuk mencapai gambaran yang lebih jelas mengenai
21
dampak dan kemajuan program. Bagi beberapa program dua ke tiga tahun jarak
pekerjaan evaluasi yang baik.
Meskipun, keputusan tentang kapan mengevaluasi akan tergantung, pada setiap
kasus, pada berbagai faktor dari program. Contohnya:
Apakah program telah mencapai tujuan-tujuan jangka panjang?
Jika ya, maka hanya akan sia-sia bila mngevaluasi kemajuan secara teresa-gesa.
Barangkali kurang dari dua tahun itu terlalu cepat.
Sudahkah program mencapai tujuan-tujuan jangka pendek (seperti program
vaksinasi dua bulanan)?
Pada kasus seperti ini, evaluasi seringali dilakukan ketika program telah selesai.
Metode monitoring apa yang telah digunakan?
Proses perekaman perlu dilakukan jauh sebelum evaluasi dimulai, apakah telah banyak hal
yang telah dikumpulkan? Apakah dibutuhkan tambahan waktu untuk melakukan ini?
Apakah evaluator eksternal dilibatkan dalam evaluasi?
Jika ya, ini akan berpengaruhh terhadap waktu, kapan mereka bisa datang dan butuh
berapa lama bagi mereka untuk sampai ke lokasi program? Berapa lama mereka dapat
tinggal?
Bagaimana dengan iklim/musim dan cuaca?
Pada musim hujan, mungkinkah mencapai wilayah yang terisolasi? Pada musim kering
sungai mungkin menjadi kering dan wilayah yang akan dikunjungi tidak dapat dijangkau
dengan perahu. Pada wilayah perkotaan, sangat sulit berkonsentarasi pada cuaca panas.
Bagaimana dengan waktu masyarakat?
Pada musim panen, apakah masyarakat punya waktu dan ketertarikan dalam evaluasi?
Pada waktu tertentu masyarakat tidak punya persediaan uang dan makanan yang cukup.
Apakah memungkinkan memilih waktu ketika masyarakat mungkin lebih santai dan ingin
menyediakan waktunya untuk tahapan evaluasi?
Bagaimana dengan waktu staf program?
Mereka juga tentunya punya waktu sibuk, manakah waktu yang terbaik buat mereka?
Bagaimana dengan pemerintah dan organisasi penyandang dana?
Mereka juga tentunya memiliki saran berkaitan dengan waktu.
22
1.7. Dimana Evaluasi dilakukan dan kenapa?
Sebuah evalausi seringkali dirancang diluar wilayah tempat akan dilakuaknnya evaluasi,
contohnya, seorang evaluator eksternal.
1.8. Berapa Lama Evalausi Dilakukan?
Bisa beberapa hari, beberapa bulan, bahkan bertahun-tahun. Ini sangat ditentukan oleh
berbagai faktor, antara lain:
1.9. Berapa Biaya yang Dibutuhkan dalam Evaluasi
1.10. Siapa Pemilik Hasil Evaluasi?
Siapakah yang menjadi pemilik hasil evaluasi, apakah hanya menjadi milik penyandang
dana? Bagaimana dengan tim pelaksana atau orang yang terlibat di dalamnya?
Evaluasi menjadi milik semua pihak termasuk yang mendanai dan yang meluangkan waktu
dan tenaga untuk itu.
2.2. Mengapa Perlu Merencanakan Evaluasi?
Apa arti perencanaan evaluasi? Perencanaan adalah suatu pengorganisasian metode kerja
tentang bagaimana kecenderungan anda dan kapan mencapai tujuan evaluasi.
Perencanaan membantu anda untuk:
• Menentukan prioritas dan tujuan evaluasi
• Menentukan jenis metode yang dibutuhkan
• Menentukan apa yang dibutuhkan secara lebih mendetail
• Menentukan peran setiap pihak dalam proses evaluasi
• Menentukan waktu dan biaya yang dgunakan
• Melihat bagaimana hubungan setiap bagian dari evaluasi
• Menambah keterampilan dalam perencanaan dan pengorganisasian
2.3. Membuat Perencanaan untuk Menyesuaikan dengan Kebutuhan
Terdapat berbagai macama jenis perencanaan evaluasi. (terkadang kata ‘desain’
digunakan untuk mengacu pada ‘perencanaan’). Pilihan jenis perencanaan yang digunakan
akan dipengaruhi oleh beberapa factor di bawah ini:
23
• Tujuan evaluasi. Contoh, evaluasi dampak program, atau menyediakan informasi
untuk mengembangakan efektivitas dan pengelolaan program.
• Ruang lingkup evaluasi. Untuk mengetahui apakah ruang lingkupnya besar atau kecil
• Orang-orang yang akan terlibat dan sumber daya yang tersedia
Cara terbaik dalam merencanakan setiap evaluasi adalah, pertama-tama melihat
rancangan program mereka. Dalam hal ini tujuan, tipe orang-orang yang terlibat, metode
organisasi, capaian dan masalah-masalahnya, dapat dipahami lebih jelas, dan kondisi
nyata program digunakan utnuk mempertajam perencanaan evaluasi.
Dalam evaluasi partisipasi perencanaan partisipasi msti mempertimbangkan
kemmapuan staf dan pesertanya. Analisa pertama terhadap informasi dikumpulkan oleh
staf dan peserta yang selanjutnya akan diolah dengan komputer. Hal ini menunjukkan
bahwa evalausi mesti dipahami oleh setiap pelaku.
Dalam proses ini koordinator evaluasi bertanggung jawab atas segala persiapan
akhir perencanaan evaluasi. Mereka mengkoordinasi masukan dari peserta program
lainnya.
2.4. Mengevaluasi (program yang sedang berjalan) “A Moving Program”
Program terdiri dari staf dan partisipan, struktur dan objek material (bangunan,
perlengakapan, kendaraan, mesin, perekam, anggaran, obat-obatan, suplai, radio) dan
kegiatan berupa pola manajemen,, organisasi, dan tindakan dalam berbagai bentuk.
Beberapa bagian dari program dapat dilihat dan disentuh secara easily. Beberapa
bagian butuh waktu dalam memperoleh bukti, melalui percakapan atau tulisan.
Contohnya, masyarakat dapat mengungkapkan bagaimana mereka melihat dan
mengalami sesuatu.
Suatu program berkembangan dari hari ke hari sesuai dengan apa yang dirasakan
masyarkat, atau hal-hal khusus yang terjadi ketika itu. Pada kondisi ini suatu program
terasa hidup. Setidaknya, pada suatu program jangka pendek (seperti kampanye
vaksinasi berjangka 3 bulan) evaluasi seringkali terjadi ketika program masih sementara
berjalan.
Berbagai program juga seringkali tampil memberi pelayanan masyarakat, seperti
pelayanan kesehatan atau penyuluh pertanian. Jadi evaluasi seringkali berlangsung ketika
program juga sementara berjalan. Program yang memiliki sistem monitoring yang baik.
24
Juga tentunya mempunyai pengalokasian waktu yang tepat. Jenis metode dan
perencanaan evaluasi yang terbaik mesti mempertimbangkan semua faktor yang
mendukung dan menghambat jalannya program seperti ini.
2.5. Tujuan Evaluasi dan Tujuan Program
Tujuan dari sebagian besar evaluasi adalah untuk melihat kemajuan apa yang telah dibuat
dalam rangka pencapaian tujua.
Ada banyak alasan mengapa seringkali sangat sulit mengevaluasi tujuan program dengan
cara ini. Berbagai contoh berikut membantu kita menunjukkan hal tersebut:
• Berbagai tujuan mungkin hanya akan ada pada cara yang sangat umum ketika
program berlangsung (contohnya: memulihkan penderitaan atau mengembangkan
gaya hidup). Pada beberpa kasus sangat sulit mengalihkan berbagai tujuan ini ke
dalam sesuatu kegiatan yang sulit dievaluasi.
Evaluasi seringkali hanya melakukan apa yang mudah dikaji
bukan apa yang harus dikaji
2.6. Mengapa Indikator menjadi Penting?
Suatu indikator merupakan penanda. Hal ini dapat dibandingkan dengan tanda jalan yang
menunjukkan apakah anda berada pada jalan yang tepat, sudah berapa jauh berjalan dan
berapa jauh lagi anda mesti berjalan untuk mencapai tujuan. Berbagai indicator
menunjukkan kemajuan dan membantu mengukur perubahan.
Beberapa indikator terdiri dari pengukuran dan ditunjukkan dalam jumlah, seperti::
• suatu persentase (bagian dari jumlah), seperti 50 persen (setengah) petani pedesaan
yang menggunakan pupuk kimia.
• Suatu tingkatan, seperti tingkat kematian bayi, dimana jumlah bayi di bawah satu
tahun meninggal dalam setahun. Dalam hubungannya dengan kelahiran 1000 bayi
hidup pada tahun yang sama.
• Suatu Perbandingan, seperti jumlah guru dikaitkan dengan jumlah anak usia sekolah
pada wilayah-wilayah tertentu (contohl; satu guru menangani 20 siswa).
25
2.7. Berbagai Indikator yang tidak Jelas
Dalam berbagai program, tujuan seperti yang kita ketahui, mungkin belum terlalu
jelas. Tanpa adanya tujuan yang jelas dan terukur sangat sulit memiliki indikator yang
jelas. Jika anda tidak terlalu yakin kemana mau pergi, bagaimana mungkin menilai
apakah anda ada di sana.
Jika tujuan program dan inidikator2 belum jelas terdefinisikan, maka ada cara
sederhana puntuk membantu meletakkan ini pada posisi yang tepat sebelum evaluasi
dimulai.
Awalnya, peserta program butuh memantau secara hati-hati apa yang sebenarnya
dilakukan dan mengapa. Mereka kemudian perlu menuliskan apa yang mereka lakukan
dengan menggunakan petunjuk seperti ‘pelatihan’ manajemen, dan aktivitas/kerja lapang.
Kemudian mereka mesti lebih dekat dalam melihat berbagai bagian dari program. Mereka
dapat melakukan ini dengan menggunakan/menanyakan pertanyaan.
Menanyakan pertanyaan-pertanyaan dasar
Contoh di bawah ini diadopsi dari konferensi nasional dari evaluasi partisipasi yang
dilakukan di Philipina tahun 1984. Pesertanya dari 27 program pengembangan kesehatan
dasar masyarakat yang disebut ‘social awareness building’ dimana masyarakat dari
tingkatan komunitas menghadiri seminar-seminar orientasi.
Pengalaman:
Membangun kesadaran sosial
Pertanyaan:
1. Berapa banyak peserta yang hadir pada seminar itu?
2. how many had been expected?
3. Apa latar belakang pendidikan dan pekerjaan para peserta?
4. Bagaimana tingkat kesadaran peserta pada awal seminar?
5. Apa isi seminar itu?
6. Bagaimana efektivitas metode training berbeda yang digunakan?
7. Berapa lama seminar itu berlangsung?
8. Berapa banyak peserta seminar yang telah mampu meningkatkan level kesadarannya
pada akhir seminar?
26
Pertanyaan-pertanyaan dasar membuat indikator dan tujuan program menjadi
semakin jelas.jawaban-jawaban yang ada menyediakan informasi-informasi yang berguna
bagi pelaksanaan evaluasi. Beberapa pertanyaan menjadi lebih sulit dijawab daripada
pertanyaan yang lain (cth, pertanyaan no. 4, 6, dan 8 yangberkaitan dengan kualitas
kesadaran, pembelajaran dan keefektivitasan)
Dengan menggunakan metode pertanyaan-jawaban peserta juga dapat mulai
melihat perbedaan antara upaya evaluasi, efisiensi, dan efek atau dampaknya. Bagian
pertama dan kedua seringkali telah dimonitor secara berkala oleh program. Ketiga, efek
atau dampak merupakan hal yang paling penting dalam evaluasi.
Setelah menentukan secara pasti apa yang dicari dalam evaluasi, langkah selanjutnya
adalah menyelekasi metode terbaik dalam penerapan evaluasi.
2.8. Memilih Metode-metode Evaluasi yang tepat
Terdapat banyak jenis metode evaluasi. Beberapa diantaranya untuk evaluasi
Dampak program terhadap masyarakat, beberapa di antaranya membantu dalam
mengevaluasi organisasi dan struktur program. Dan lainnya melayani efek kegiatan
program.
Masyarakat (metode yang umum digunakan)
• Ukuran secara fisik, seperti tinggi, berat, dan tes kesehatan, contohnya; pemeriksaan
darah dan urin
• Pertanyaan-pertanyaan verbal, pertanyaan dalam bentuk kuesioner, wawancara, test
keterampilan dan pengetahuan, rekaman, pertemuan dan diskusi
• Pertanyaan-pertanyaan tertulis, pertanyaan dalam kuesioner, tes pengetahuan,
keterampilan dan sikap.
• Analisa existing informasi, seperti rekaman, laporan, diari dan autobiografi
• Obeservasi, foto, gambar, praktek dan prosedur
Struktur Program dan Organisasi
seperti halnya metode yang digunakan dalam mengevaluasi, kita juga dapat
menggunakan:
• Informasi Tertulis; seperti rekaman, laporan, anggaran, rencana, evaluasi kinerja
sebelumnya, anggaran, perencanaan, ujian, ceklis, lamanya pertemuan
27
• Daftar pertanyaan tertulis dan verbal; seperti kuesioner
• Wawancara
• Observasi
• Diskusi dan alat perekam
• Hasil kerja individu atau diari kerja
Aktivitas Program
Banyak metode yang dapat digunakan dalam mengevaluasi dampak-dampak aktivitas
program, seperti:
• Pengukuran-pengukuran; mengcover wilayah, jumlah penduduk atau perumahan,
tingkat produksi, jumlah pendapatan, atau tingkat partisipasi dalam progra
• Tes fisik
• Pertanyaan verbal dan tertulis seperti kuesioner, wawancara, survey, pertemuan dan
rekaman kaset
28
Modul 2 Topik: Melakukan Monev Partisipatif BKM/LKM
1. Peserta memahami bagaimana caranya melakukan monev partisipatif
2. Peserta mengkaji dan memahami penggunaan panduan memandu monev partisipatif BKM – LKM /KSM/UP
Kegiatan 1 : Permainan mengamati benda
Kegiatan 2 : Diskusi berputar
Kegiatan 3 : Diskusi kelompok memahami panduan memandu monev BKM – LKM /KSM/UP
6 Jpl ( 270 ’)
Bahan Bacaan – Bagaimana melakukan monev
Bahan Bacaan – Panduan memandu monev partisipatif BKM/KSM/UP
• Kerta Plano, Kuda-kuda untuk Flip-chart
• LCD
• Metaplan, Spidol, selotip kertas dan jepitan besar
• Papan Tulis dengan perlengkapannya
• Benda-benda lain untuk mendukung game mengamati barang di baki
29
Permainan Mengamati Barang 1) Awali sesi ini dengan menyampaikan tujuan, yakni agar peserta memahami bagaimana caranya
melakukan monev partisipatif. Sebelum peserta memasuki ruangan untuk memulai sesi ini, sebaiknya pemandu melakukan persiapan dengan mengumpulkan barang-barang sejumlah peserta (misalnya ballpen, penghapus papan tulis, buku, pensil, kertas, kartu metaplan, boneka kecil atau gantungan kunci, buah-buahan, rumput, dll) dan menyimpannya pada baki. Tutuplah baki tersebut dengan sehelai kain, agar peserta tidak bisa melihat isinya. Letakan baki tertutup tersebut pada sebuah meja yang diletakkan di tengah-tengah ruangan.
2) Jelaskan kepada peserta, bahwa selanjutnya peserta akan diajak melakukan permainan yang berkaitan dengan monev. Sampaikan bahwa pemandu akan membuka kain yang menutupi baki tersebut selama sepuluh detik, dan peserta dipersilakan mengamati isi baki secara cepat. Setelah itu pemandu akan menutup lagi baki tersebut.
3) Persilakan peserta untuk menuliskan barang-barang apa saja yang tadi terlihat, dan berapa jumlahnya. Ingatkan peserta agar bekerja sendiri-sendiri. Beri kesempatan pada peserta untuk menulis. Setelah selesai, persilakan salah satu peserta untuk menuliskan daftar yang dibuatnya pada papan tulis.
4) Persilakan peserta lain untuk menambahkan daftar tersebut berdasarkan catatannya.
5) Pastikan bahwa semua peserta telah melengkapi daftar tersebut. Perhatikan apakah daftar tersebut cukup lengkap atau tidak. Tanyakan hal-hal sebagai berikut:
• Dari sejumlah barang (sebutkan jumlah yang anda simpan di baki) berapa yang berhasil didaftar (berapa %)?
• Apakah hasil pengamatan setiap orang sama? Mengapa?
6) Setelah beberapa pendapat peserta, simpulkan bahwa:
Pengamatan setiap orang berbeda karena hal yang dianggap penting oleh setiap orang berbeda. Oleh karena itu, bisa dibayangkan tidak fokusnya hasil pengamatan, jika dilakukan oleh suatu kelompok/tim. Oleh karena itu dalam sebuah monev partisipatif, hal yang terlebih dahulu harus dilakukan adalah adanya kesepakatan bersama tentang hal yang harus diamati dan dievaluasi.
Bisa dibayangkan juga jika monev dilakukan hanya oleh salah satu pihak, misalnya oleh beberapa orang ahli, terhadap suatu proyek yang dilakukan masyarakat. Hasilnya akan cenderung berdasarkan apa yang dianggap penting bagi orang tersebut, bukan bagi masyarakat. Dengan monev partisipatif, diharapkan terjadi persamaan pandangan mengenai hal-hal penting yang harus diamati perkembangannya.
30
Diskusi Kelompok-Berputar : Bagaimana Melakukan Monev 1) Pemandu menjelaskan bahwa dalam sessi ini peserta akan diminta melakukan curah pendapat
tentang bagaimana melakukan monev.
2) Persilakan peserta untuk membentuk empat kelompok. Kemudian persilakan masing-masing kelompok untuk berdiskusi tentang topik-topik berikut ini, dan menuliskannya pada kertas plano:
Kelompok Topik Diskusi 1 Apa yang harus di-monev dalam PNPMMP? 2 Indikator yang digunakan dalam PNPMMP 3 Siapa yang mengendalikan monev? Siapa yang melakukan monev? Siapa
yang perlu dilibatkan dalam monev? Apa peranan masing-masing? 4 Kapan dan dimana monev dilakukan?
3) Setelah beberapa menit, mintalah setiap kelompok untuk berhenti berdiskusi. Persilakan semua kelompok meninggalkan hasil diskusinya di tempat masing-masing, sedangkan mereka bergeser ke tempat diskusi kelompok di sebelahnya (kel. 1 pindah ke tempat diskusi kel. 2, kel. 2 pindah ke kel. 3, dst.) Kemudian persilakan setiap kelompok melanjutkan/mengoreksi hasil diskusi kelompok tersebut. Ulangi proses tersebut hingga seluruh kelompok selesai membahas keempat topik diskusi.
4) Persilakan masing-masing kelompok untuk mempresentasikan hasil diskusinya yang telah dilengkapi oleh kelompok lain. Persilakan peserta dari kelompok lain untuk mengkonfirmasi hal-hal yang belum jelas.
5) Tambahkan penjelasan berdasarkan bahan bacaan.
6) Tutup diskusi dengan menyampaikan kesimpulan-kesimpulan penting mengenai bagaimana melakukan monev.
Diskusi Memahami Panduan Memandu Monev BKM – LKM /KSM
1) Sampaikan bahwa setelah cukup jelas mengenai bagaimana cara melakukan monev partisipatif,
peserta akan diajak untuk mempelajari pedoman monev partisipatif PNPMMP, untuk BKM – LKM /KSM. Tujuannya agar peserta terampil menggunakan panduan monev tersebut.
2) Mintalah peserta untuk tetap berkelompok. Kemudian bagikan panduan memandu monev
partisipatif untuk BKM – LKM /KSM/UP kepada setiap peserta. Persilakan peserta berdiskusi kelompok tentang:
31
1. Cukup mudahkah proses ini untuk dilakukan bersama masyarakat? Mengapa? 2. Bagian mana saja yang paling sulit untuk dilakukan? Mengapa? 3. Menurut pengalaman, apa yang menjadi hambatan utama dalam menerapkan monev
semacam ini? 4. Kaji panduan ini, apakah sudah cukup memposisikan masyarakat secara setara? Apakah
cukup mendorong tumbuhnya demokrasi? Apakah sudah cukup pro-gender? Mengapa? 5. Apa saran kelompok anda untuk memperbaiki panduan ini?
3) Setelah kelompok selesai berdiskusi dan menuliskan kesepakatan kelompoknya pada kertas
plano, persilakan perwakilan kelompok untuk menyampaikannya pada diskusi pleno (kelompok 1 menjawab nomer 1 dan 5, kelompok 2: nomer 2 dan 5, kelompok 3 menjawab nomer 3 dan 5, dan kelompok 4 menjawab nomer 4 dan 5). Beri kesempatan kepada kelompok-kelompok lain untuk menanggapi.
4) Catatlah point-point penting dari proses diskusi pleno, sebagai hasil diskusi kelompok.
Kemudian simpulkan hasil diskusi dan tutup sesi ini dengan me,berikan penghargaan atas partisipasi aktif semua peserta.
32
Bagaimana Melakukan Monev?
Sebagaimana dengan sebuah rencana kerja, rencana monev pun harus mudah dipahami oleh orang yang berkepentingan. Karenanya, rencana monev perlu dengan lengkap menjelaskan: a) siapa yang akan me-monev; b) apa yang dimonev; c) bagaimana cara memonev; d) kapan monev dilakukan; dan e) dimana monev dilakukan.
Pertanyaan-pertanyaan berikut dapat kita pegang untuk menyusun rencana monev.
1. Apa yang perlu di monev?
2. Tolok ukur (indikator) apa yang dipakai?
3. Siapa yang mengendalikan dan mengkoordinasi proses monev?
4. Siapa yang perlu dilibatkan dalam monev? Apa perannya?
5. Kapan dan dimana masing-masing langkah monev akan dilaksanakan?
6. Bagaimana monev akan dilakukan (pilihan bentuk, cara dan alat)?
7. Bagaimana kita akan mengemas hasil monev?
8. Kepada siapa kita akan membagikan hasil monev?
1. Apa yang dimonev?
Hal-hal yang akan dimonev sangat tergantung tujuan monev itu sendiri.
Perencanaan, apakah perencanaan program telah dilakukan bersama-sama (mengundang banyak pihak yang akan dilibatkan dalam program)?
Kegiatan, apakah kegiatan yang direncanakan telah terlaksana dengan baik (tepat waktu, sesuai anggaran, partisipasi semua pihak, dll)
Penggunaan sumber daya, apakah penggunaan sumber daya sudah cukup baik? (tidak boros, tidak berlebihan)?
Pelaku kegiatan, apakah masing-masing penanggung jawab kegiatan sudah berperan sesuai kesepakatan? Apakah kita telah melibatkan pihak-pihak terkait (masyarakat lain, LSM, pemerintah, donor, dll) sesuai kesepakatan?
Hasil, apakah hasil yang diharapkan telah tercapai atau belum?
Tujuan dan manfaat, apakah tujuan program sudah tercapai? Apakah masyarakat bisa merasakan manfaat dari program?
Nilai-nilai, apakah nilai-nilai yang telah disepakati masih ditaati oleh semua pihak?
33
2. Indikator yang digunakan
Indikator digunakan untuk memudahkan dalam menilai keberhasilan, kegagalan atau kondisi suatu program. Indikator yang biasa dipakai untuk mengevaluasi sebuah program:
Ketersediaan sarana untuk mencapai tujuan yang diinginkan
Apakah hasil proyek sesuai dengan tujuan yang ingin dicapai
Apakah sarana atau kegiatan yang dibuat benar-benar dapat dicapai atau dimanfaatkan oleh orang-orang yang benar-benar membutuhkannya
Apakah sarana yang disediakan benar-benar digunakan untuk tujuan semula
Berapa persen jumlah atau luas sasaran sebenarnya yang dapat dijangkau oleh program
Bagaimana mutu pekerjaan dan sarana yang dihasilkan program (kualitas hidup, kualitas tanaman yang ditanam)
Berapa banyak sumber daya (tenaga, barang, dana) yang sudah digunakan (diinvestasikan) untuk mencapai tujuan
Apakah sumber daya dan kegiatan yang dilakukan benar-benar dimanfaatkan secara maksimal
Apakah kegiatan yang dilakukan benar-benar memberikan masukan terhadap perubahan yang diinginkan
3. Siapa yang melakukan monev
Sebelum menjawab pertanyaan siapa yang melakukan monev, maka kita perlu membedakan dua pertanyaan berikut:
a. Siapa yang mengendalikan dan mengkoordinasikan proses monev?
b. Siapa yang perlu dilibatkan dalam monev? Perannya apa?
Seperti dalam permainan sepakbola, pertanyaan pertama adalah sama dengan siapa yang menjadi kapten. Pertanyaan kedua adalah sama dengan siapa yang menjadi pengatur serangan, penjaga gawang, penyerang, dsb.
Jika monev dibuat dengan tujuan sebagai media untuk belajar dari pengalaman, maka pada prinsipnya semakin banyak pihak yang melakukan monev, semakin baik. Namun demikian pihak yang paling merasakan dampak program lah yang harus menjadi pengendali proses monev, dan mereka berhak menentukan siapa saja yang perlu dilibatkan.
4. Kapan dan dimana dilakukan?
Pada prinsipnya monev dilakukan kapan saja, dan menjadi bagian tidak terpisahkan seiring dengan berjalannya kegiatan atau program. Namun demikian, seringkali
34
kegiatan monev menjadi terlupakan karena tidak ditetapkan waktunya. Guna menetapkan waktu yang paling cocok, pertimbangkan saat strategis sesuai program kerja. Pilihannya adalah:
Awal, pertengahan dan akhir program
Terus menerus, perbulan, perkuartal, pertahunan
Beberapa bulan setelah program atau proyek selesai
Mengikuti alur kegiatan yang disepakati bersama
Penentuan tempat monev, tergantung apa yang dimonev dan cara yang dipilih. Secara umum:
Untuk pengamatan secara langsung, monev perlu dilakukan di tempat pelaksanaan kegiatan
Untuk diskusi dan pelaporan sebaiknya dilakukan di tempat yang nyaman dan gampang dijangkau oleh semua pihak yang perlu terlibat.
Sumber:
Monitoring & Evaluasi: Sebagai Media Belajar,
DFID, 2001
35
Panduan Memandu Monev Partisipatif Kegiatan BKM – LKM /KSM/UP
• Mengidentifikasi dan menganalisis siapa saja yang berpartisipasi dalam kegiatan, khususnya partisipasi masyarakat miskin dan kaum perempuan.
• Mengidentifikasi dan menganalisis siapa saja yang mengambil keputusan dalam kegiatan.
• Mengidentifikasi dan menganalisis penerima manfaat kegiatan.
• Mendiskusikan cara untuk meningkatkan partisipasi, pengambilan keputusan dan kepuasaan masyarakat miskin dan kaum perempuan.
• Kertas plano, selotip kertas • Spidol warna-warni • Kertas metaplan warna warni
Peserta
Pertemuan warga ini diadakan setelah satu kegiatan selesai. Pertemuan kecil ini dihadiri oleh pihak-pihak yang ikut dalam kegiatan, terutama perempuan miskin, laki-laki miskin, dan pengelola kegiatan (panitia). Relawan dapat menjadi pemandu monev partisipatif ini.
IDENTIFIKASI & ANALISIS PARTISIPASI 1. Sampaikan tujuan kita melakukan monev partisipatif
kegiatan. Pastikan warga yang hadir memahami kegunaan pertemuan ini.
2. Buatlah daftar rangkaian sub-kegiatan yang telah dilakukan
dalam pelaksanaan kegiatan, termasuk misalnya rapat-rapat, mencetak undangan, menyebarkan undangan, menyediakan konsumsi, mempersiapkan tempat kegiatan, dsb.
3. Salinlah contoh matriks Siapa berpartisipasi dalam
kegiatan ke dalam kertas plano. Pastikan peserta memahami kelompok orang yang berpartisipasi dalam kegiatan.
36
Siapa Berpartisipasi dalam Kegiatan? Daftar Sub-
Kegiatan 1 2 3 4 5 6
1. 2. 3.
Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain. 4. Persilahkan setiap orang untuk memberi suara (gunakan
tanda X atau lingkaran) pada kelompok yang mereka pikir terlibat dalam masing-masing sub-kegiatan.
5. Setelah semua memberikan suara, diskusikan bersama
kelompok mana yang paling banyak berpartisipasi (terlibat kegiatan) dan mengapa. Hal ini penting untuk memahami mengapa kelompok tertentu dominan atau absen melakukan sub-kegiatan tertentu. Misalnya, perempuan hanya berperan sebagai penyedia makanan-minuman.
6. Cermati bersama, apakah warga miskin dan perempuan
banyak terlibat dalam kegiatan. Keterlibatan ini penting karena pada dasarnya kegiatan yang dilakukan terutama ditujukan untuk memberdayakan warga miskin dan perempuan.
7. Diskusikan apakah situasi ini perlu dirubah dan bila perlu,
bagaimana melakukannya. IDENTIFIKASI & ANALISIS PENGAMBILAN KEPUTUSAN 8. Buatlah daftar seluruh keputusan yang telah diambil dalam
pelaksanaan kegiatan, termasuk misalnya penentuan jenis kegiatan, waktu atau lokasi, pembentukan panitia, penentuan penerima manfaat, dsb.
37
9. Salinlah contoh matriks Pengambil Keputusan ke dalam kertas plano. Pastikan peserta memahami kelompok orang pengambil keputusan.
Pengambil Keputusan? Daftar
Keputusan 1 2 3 4 5 6 1. 2. 3.
Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain 10. Persilahkan setiap orang untuk memberi suara (gunakan
tanda X atau lingkaran) pada kelompok yang mereka pikir pengambil keputusan untuk masing-masing keputusan.
11. Setelah semua memberikan suara, diskusikan bersama
peserta kelompok mana saja yang paling banyak berperan dalam pengambilan keputusan. Sangat penting untuk memahami mengapa kelompok tertentu (seperti warga miskin dan perempuan) tidak berperan dalam pengambilan keputusan.
Tak jarang kita menemukan bahwa keputusan sebenarnya ditentukan oleh pihak luar. Kondisi ini menunjukkan masyarakat, terutama miskin, belum memiliki kesempatan untuk memutuskan hal-hal yang berkaitan dengan dirinya.
12. Diskusikan apa yang dapat dilakukan sehingga warga miskin
dan perempuan dapat lebih berperan dalam pengambilan keputusan.
IDENTIFIKASI & ANALISIS PENERIMA MANFAAT 13. Buatlah daftar manfaat apa saja yang diperoleh dalam
pelaksanaan kegiatan, baik berupa barang/fisik maupun non-fisik seperti peningkatan pengetahuan, dsb.
38
14. Salinlah contoh matriks Penerima Manfaat ke dalam kertas plano. Pastikan peserta memahami kelompok orang penerima manfaat.
Penerima Manfaat? Jenis Manfaat
1 2 3 4 5 6 1. 2. 3.
Keterangan: Kelompok 1 : Pihak luar desa/kelurahan (faskel, proyek, dll). Kelompok 2 : Aparat pemerintahan (kades, lurah, dsb) Kelompok 3 : Tokoh masyarakat laki-laki Kelompok 4 : Tokoh masyarakat perempuan Kelompok 5 : Warga miskin laki-laki Kelompok 6 : Warga miskin perempuan. Kelompok 7 : dan lain-lain 15. Persilahkan setiap orang untuk memberi suara (gunakan
tanda X atau lingkaran) pada kelompok yang mereka pikir penerima manfaat pada masing-masing jenis manfaat.
16. Setelah semua memberikan suara, diskusikan bersama
peserta siapa saja yang sebenarnya mengambil manfaat paling banyak dari pelaksanaan kegiatan. Cermati seberapa banyak warga miskin dan perempuan menerima manfaat dari kegiatan.
17. Diskusikan apa yang dapat dilakukan sehingga warga miskin
dan perempuan benar-benar menerima manfaat dari pelaksanaan kegiatan.
USULAN DARI MASYARAKAT - tindakan yang bisa dilakukan
untuk meningkatkan partisipasi warga miskin, untuk menjamin kepuasan kelompok sasaran, untuk meningkatkan pembelajaran di masyarakat, dan keberlanjutan
Menurut Perempuan
Menurut Laki-laki (Panduan ini diadaptasi dari Organisational Development Snapshot Tool, ACCESS, 2007, dikembangkan untuk membangun kultur monev partisipatif di masyarakat melalui program PNPM Mandiri Perkotaan).
DEPARTEMEN
PEKERJAAN
UMUMDirektorat Jenderal Cipta Karya
Perkotaan