uji kompetensi tenaga kesehatan bpsdm
TRANSCRIPT
PRAKTIK BAIK UJI KOMPETENSI
TENAGA KESEHATAN
KOMPONEN 2 Health Professional Education
Quality Project
• National and globalchallenge
• Multidimensional HealthProblem
• Implementation of education principle
• Implementation of legal aspect
INSTITUTIONAL RESPONSE
Standardized quality & competency of graduates
National Competency Examination
Latar Belakang
Standarisasi output
pendidikan & kompetensi nakes
Globalisasi
Pelayanan kesehatan
yang paripurna
Penerapan beberapa
aturan hukum
Kurikulum berbasis
kompetensi
Uji kompeten
si Prinsip Student Assessment - Validitas - Reliabilitas - Feasibilitas - Dampak bagi mahasiswa
& institusi pendidikan
Assessment
Jumlah Distribusi
Kualitas pendidika
n Institusi Pendidikan Tenaga
Kesehatan
Set up standard Drives learningDrive processProvide feedback
Objective of NCE
• Certification & Registration
• High quality of health service
• Educational Evaluation
• Standardized of Health Service
Ministry of Health Ministr
y of educat
ion
Health professiona
ls
Patient
BATASAN & RUANG LINGKUP
Uji Kompetensi: ujian yang dilaksanakan untuk menilai pencapaian kompetensi sesuai Standar Kompetensi dalam rangka memperoleh sertifikat kompetensi.
Uji kompetensi = competence-based assessment sebagai longitudinal assessment, ujian standarisasi nasional/ uji kompetensi bagian integral dan komplementer terhadap sistem ujian kompetensi di institusi.
Principle of Assessment
• Validity• Reliable.• Practicability.• Defensible• Impact on Learning.
Assessment of clinical competence
Knows
Knows how
Shows how UKDI=OSCEs
EMQs, SEQs
Mini CEX
UKDI=MCQs
Behaviour~attitude/skills
Cognition~knowledge
Does
Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Uji Kompetensi sebagai sebuah Sistem
Ujian Standarisasi Nasional
Benchmarking Regional
Sistem Ujian Institusi- Implementasi KBK- 100% isi kurikulum- Syarat kelulusan
- Implementasi KBK- Fase akademik (pre-diagnostik/treatment)- Fungsi formatif
- Implementasi KBK- 80% isi kurikulum- Syarat kelulusan
Aspek Praktik Baik Pengembangan Materi Uji Kompetensi
AsupanProses
Luaran
1. Blueprinting-metode ujian
2. Kontributor soal
3. Metode Ujian
4. Pedoman ujian
5. Dukungan IT
1.Review Soal
2.Try-out item
3.Pengelolaan ujian
4.Pengelolaan bank soal
1. Standard setting
2. Pengumuman
3. Umpan balik Pendidikan
Blue Print
• Disusun berdasarkan Standar Kompetensi Tenaga Kesehatan yang dikeluarkan oleh
Konsil/Profesi
• Terdiri dari 7 Tinjauan dengan beberapa kriteria, lengkap dengan pembobotannya
7 AREA KOMPETENSI DOKTER
KOM
UN
IKASI EFEKTIF
1 2
KETRAMPILAN
KLINIS
ILMU
KEDO
KT. ILMIAH
3
MAN
AJEM
EN M
ASALAH
KESEHATAN
4
MAN
AJEM
EN IN
FORM
ASI KESEH
ATAN
5 6M
AWAS D
IRI DAN
MEN
GEM
BANG
KAN D
IRI
ETIKA, M
ORAL, M
EDIKO
LEG
AL, PROFESIO
NAL ‘N
KESELAM
ATAN PASIEN
7
KEMAMPUAN
Tinjauan 1: SKDI Tinjauan 2
Tinjauan 3
Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7
Keterampilan dasar klinis
Kognitif Recall Reproduksi Pertumbuhan, perkembangan, dan degenerasi
Promosi kesehatan dan pencegahan penyakit
Individu
Aplikasi biomedis, perilaku, klinis, & epidemiologi pada kedokteran keluarga
Prosedural Reasoning Kepala dan leher
Kelainan genetik dan kongenital
Penapisan (Diagnosis)
Keluarga
Komunikasi efektif Konatif Syaraf & Perilaku
Penyakit infeksi dan imunologi
Manajemen (Terapi)
Masyarakat
Manajemen masalah kesehatan primer
Dermatomusculoskeletal
Penyakit neoplasma
Rehabilitasi
Penelusuran, kritisi, dan manajemen informasi
Hemato dan immunology
Penyakit akibat trauma atau kecelakaan
Profesionalisme, moral, dan etika praktik kedokteran
Cardiovascular
Kesadaran, pemeliharaan, dan pengembangan personal
Gatrointestinal, hepatobilier, dan pankreas
Respiratory
Urogenital
Endokrin dan Metabolisme
Blueprinting MCQ UKDI
Metode Ujian
Pengetahuan: Pilihan berganda dengan key feature menggunakan komputer (CBT) atau kertas (PBT)
Keterampilan Klinik: Objective Structured Clinical Examination (OSCE)
Soal Key Feature Stem/Vignette:
Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat latihan tenis.
Lead in/Pertanyaan: Apakah pemeriksaan yang paling tepat saudara minta untuk memastikan diagnosis pasien di atas?
Option/Distractor:
A. Foto toraks dan EKG
B. Ekokardiografi dan EKG
C. Ekokardiografi dan enzim CPK
D. EKG dan enzim CPK
E. Foto toraks dan Ekokardiografi
Bank Soal Uji Kompetensi
Penulis SoalPengelola Bank Soal Institusi
Pengelola Bank Soal Regional
Review Soal Regional
ITEM BANK- 1
Pengelolaan Bank Soal Nasional
PANEL EXPERT REVIEW
ITEM BANK – 2
UJI COBA ITEM BANK
– 3Proses Pemilihan
Soal Uji
Kompetensi
ITEM BANK– 4
(-)
(-)
(-)
(-)
Rekap Workshop CBT Uji KompetensiDokter, Dokter Gigi, Perawat dan Bidan
Tahun 2012
Keterangan Dokter Dokter Gigi
D-III Keperawatan Ners Bidan
A. Workshop Pengembangan Soal
1) Item Development - - 2 3 -2) Item Review 3 3 3 3 43) Panel Expert 3 1 2 2 2
B. Sumber Daya Penulis Soal1) Item Writer Nasional 49 46 74 113 702) Item Reviewer Nasional 49 46 51 98 703) Panel Expert 42 13 35 58 24
C. Bank Soal
1) Soal hasil item development > 4.000 na 1.311 1.621 >2.0002) Soal hasil item review 2.430 540 1.176 1.354 1.648
3) Soal hasil panel expert 1.601 102 870 1.160 1.080
Item #1
Group A B C* DE F
Hi 64 551 15294 48 6
Lo 117 456 44262 65 15
Total 322 1900 107 982207 32
p-value: 3 discrimination index: ‑0.031
Waktu Ujian vs Reliability
1919
Standarisasi Pengembangan Soal
• Profil Uji Kompetensi Tenaga Kesehatan
• Standarisasi cara pembuatan soal yang baik.
• Standarisasi bahasa dan istilah.• Standarisasi form soal.• Standarisasi batang tubuh soal dan
kelengkapannya.• Standarisasi tingkat kompetensi• Formulir review soal • Daftar riwayat hidup penulis dan
reviewer soal
Rekap Pelaksanaan Uji Coba Uji KompetensiNers, Perawat dan Bidan
Tahun 2011 - 2012
No Keterangan
2011 (CBT) 2012 (CBT & PBT)*
D-III Peraw
atNers Bida
nD-III
PerawatNers Bidan
1 Jumlah Pelaksanaan Ujicoba
- 1 1 1 1 2
2 Jumlah Peserta Ujicoba - 862 617 2325 1418 2077
3 Jumlah soal/buku - 180 200 180 180 180
4 Jumlah buku soal - 2 1 3 4 4
5 Jumlah bank soal 3 (pasca ujicoba) - 146 92 263 292 314
6 KR21 buku soal - 0,74 0,86 0,79 0,72 0,82*: Bidan & D3 Perawat menggunakan CBT & PBT, tidak ada perbedaan antara PBT & CBT
Umpan Balik bagi Insitusi Pendidikan
Aspek Praktik Baik Pengembangan Pengelolaan Uji Kompetensi
Input
• Jadwal ujian • Registrasi online • Validasi &
Verfikasi • Distribusi per
lokasi • SDM • Finansial
Proses
• Briefing H-1• Pelaksanaan
Ujian• Proses Hasil Ujian
Luaran
• Standard setting• Pengumuman • Umpan balik
peserta & institusi
• Evaluasi SDM, sistem ujian, soal, lokasi ujian
SISTEM PENGELOLAAN UJIAN TERINTEGRASI BERBASIS IT
23
Pengelolaan Ujian•Pengorganisasian: Pusat-Regional-Lokasi Ujian.
•Pengawas independen-imparsial (disilang antar institusi)
•Jadwal pelaksanaan ujian.
•Aturan pelaksanaan ujian: ketepatan waktu, standard lokasi ujian, rasio pengawas-peserta.
12
Standard Setting
• Ditentukan oleh sekumpulan (panel expert judge) yang terdiri dari perwakilan seluruh institusi pendidikan dan organisasi profesi
• Metode Absolut Modified Angoff (criterion reference)
Dukungan TI • Website: www.nace.org• © SIPENA 02.01 ss-100828
Pendaf-taran
Item Review
Item Bank
Pelak-sanaan Ujian (CBT & OSCE)
Item Analysis
Standard Setting
Pengumuman hasil
SIPENA Development Road Map
IT Modules - interconnectivity
Examinee OL-Reg
Examinee On Line
Registration
Information Web
Exam Location Adm
Local Exam Supervisor
Registration
National Exam Supervisor
Registration
Exam Process
PBT
CBT
OSCE
BAU
Summative - Scoring
Absolut
Normatif
Formative - Institution
Selected Item Bank
Tested Item Bank
New Item Bank
Summative - Assesment
Bank 1 : New Item
Bank 2 : Reviewed Item
Bank 3 : Tested Item
Bank 4 : Selected Item
Call for Item
Item Writer / Reviewer Registration
Peer Review
Panel Expert
Blinding
Review
Blinding – Review
Hasil UKDI
High Validity n Reliability, high Yields (75% Success Rates)
with PASSMARK 62% of Total Scores
Perbandingan Hasil UKDI First vs Re-Taker UKDI 1st Taker Re-Taker Pass
mark
Retaker Lulus lewat ujian tulis
N peserta
Failure rate (%)
Successful Rate (%)
N peserta
Failure rate (%)
Successful Rate
(%)
I 262 20,23 79,77 n,a n,a 40 n,a II 2150 18,42 81,58 48 83,33 16,67 44 8III 1966 23,91 76,09 368 80,99 19,01 45 69IV 1422 28,97 71,03 460 63,69 36,31 45 167V 1310 27,40 72,6 393 60,05 39,95 45 157VI 2166 23,58 76,42 346 90,75 9,25 50 32VII 1999 29,86 70,14 468 71,15 28,85 50 135VIII 1351 34,49 65,51 531 75,52 24,48 50 130IX 1375 32,65 67,35 806 75,56 24,44 50 197X 2584 35,06 64,94 966 90,37 9,63 50 139XI 1835 32,32 67,68 1370 55 45 51 613XII 1728 31,42 68,58 1327 63,6 36,4 51 483XIII 1982 28,36 71,64 1338 71,38 28,62 53 383XIV 2596 12,80 87,2 1338 43,5 56,5 58 756XV 3111 13,89 86,11 1023 48,09 51,91 58 531XVI 1723 20,55 79,45 827 63,12 36,88 58 305XVII 1747 41,44 58,56 806 90,94 9,06 58 73XVIII 2891 28,33 71,67 1446 63,21 36,79 61 532XIX 2678 20,76 79,24 1643 63,3 36,7 62 603XX 1930 23,26 76,74 1521 53,32 46,68 62 710XXI 1983 29,75 70,25 1263 70,7 29,3 62 370Σ 40789 18288 6393
UKDI Nilai Rerata SD Nilai tertinggi Nilai terendah KR-21 buku soal
I 49,59 10,7 76 26 0,89II 56,37 13,6 86,5 19 0,94III 51,77 13,6 87,5 17 0,94IV 49,8 14,6 85,5 13 0,95V 50,35 12,1 81 17,5 0,92VI 57,3 15,7 89 18,5 0,96VII 54,24 13,7 87 13 0,94VIII 50,42 11,2 80,5 17,5 0,9IX 50,87 12,5 85,5 5,5 0,92X 52,99 10,9 77 14,5 0,91XI 55,73 12,2 80,5 13,5 0,92XII 55,7 11,8 81,5 20 0,92XIII 60,9 14 88,5 21,5 0,95XIV 70,35 10,9 91,5 19 0,94XV 71,13 11,8 90,5 21,5 0,95XVI 67,78 13,2 90,5 19,5 0,95XVII 58,05 11,6 83 18 0,93
XVIII 65,3 11,8 88 18 0,94 / 0,94 XIX 65,1 12,4 88 22 0,93 / 0,94 XX 68,8 13,4 90,5 21 0,95/0,95XXI 70,25 12,1 87,5 20,51 0,94/0,91
Hasil TO UKBI
Try Out 2011Juli 2012 September 2012
TOTAL Buku 1 Buku 2 TOTAL Buku 1 Buku 2
Jumlah Peserta 617 1344 676 668 733 357 376
Jumlah Soal 200 360 180 180 360 180 180
Nilai Rerata (+ SB)
54,42 (+ 9,33)
49,37 (+ 9,60)
50,46 (+ 8,11)
48,26 (+ 10,79)
52,36 (+ 8,27)
52,96 (+ 8,08)
51,76(+8,45)
Nilai Tertinggi 75,50 71,11 71,11 70,56 68,89 67,78 68.89
Nilai Terendah 24,50 12,22 26,67 12,22 20,56 25,56 20,56
KR21 0,86 0,84 0,79 0,89 0,80 0,79 0,81
Rerata Indeks Kesulitan 0,54 0,49 0,50 0,48 0,52 0,53 0.50
% Soal Baik 92 (46%)
165 (45,8%)
78 (43%)
87 (48%)
149 (41,4%)
74 (41,11%)
75 (41,67%)
Hasil TO UKDiKI
Try Out TOTAL Buku 1 Buku 2 Buku 3
Jumlah Peserta 2325 781 777 767Jumlah Soal 540 180 180 180Nilai Rerata (+ SB) 40,36 (+ 7,88) 39,46 (+ 7,99) 40,73 (+ 7,46) 40,88 (+ 8,20) Nilai Tertinggi 60,00 58,89 60,00 59,44
Nilai Terendah 8,89 11,67 11,67 8,89
KR21 0,79 0,80 0,76 0,81
Rerata Indeks Kesulitan
0,40 0,39 0,41 0,41
% Soal Baik 263 (48,7%) 88 (48,89%) 73 (40,56%) 102 (56,57%)
Hasil TO UKNI Try Out 2011 2012Buku TOTA
L 1 2 TOTAL 1 2 3 4
Jumlah Peserta
862 437 425 1418 358 352 354 354
Jumlah Soal 360 180 180 720 180 180 180 180
Nilai Rerata (+ SB)
45.16 (+
7.31)
45.08 (+ 6.92)
45.24 (+ 7.68)
44.84 (+6.99)
44.53 (+
6.52)
44.63 (+
7.20)
45.70 (+
7.21)
44.49 (+ 6.95)
Nilai Tertinggi
68.33 61.67 68.33 63.89 60.00 61.11 63.89 62.78
Nilai Terendah
24.44 26.67 24.44 21.11 23.89 23.89 21.11 25.00
KR21 0.74 0.72 0.77 0.72 0.68 0.74 0.74 0.72
Rerata Indeks Kesulitan
0.45 0.45 0.45 0.45 0.45 0.45 0.46 0.44
% Soal Baik 40.56 38.89 42.22 40.56 38.33 42.22 39.44 42.22
Lembaga Pengembangan Uji Kompetensi
(LPUK
Kementerian Pendidikan Nasional
Kementerian Kesehatan
Organisasi Profesi
Asosiasi Institusi
Pendidikan
Pengembangan Uji Kompetensi
35
Remediasi Re-taker dan issue lainnya
Akumulasi Re-taker
Compliance remediasi rendah
Waktu tunggu yang lama
Akuntabilitas hasil ujian
Ujian di Institusi Uji Kompetensi
IjazahSertifikat Kompetensi
Institusi PendidikanKolegium
Sertifikat Kompetensi
Ijazah
Uji Kompetensi Exit Exam
Sequence approach
Integral approach
Ujian Standarisasi Nasional
Benchmarking Regional
Sistem Ujian Institusi
HEALTH PROFESSIONAL EDUCATION QUALITY PROJECT (HPEQ)
Sub-komponen pada Komponen 2
• Pembentukan lembaga independen pengembangan uji kompetensi profesi kesehatan.Sub-
Komponen 1
• Peningkatan kualitas metode dan pengelolaan ujian nasional.
Sub-komponen
2 • Pengembangan jaringan bank soal nasional untuk ujian nasional dan pengembangan institusi.
Sub-komponen
3
Activity Pathway Main Activity 2010 2011 2012 2013 2014
Lembaga Pengembangan Uji Kompetensi (LPUK)
Preparation EstablishmentMid-term
evaluationFinal
evaluationSustainable
Computer-based Testing (CBT)
Paper-based, preparation &
try out
Implementation
Implementation
Implementation
Implementation
Preparation Preparation Preparation and try out
Implementation
Implementation
Objective Structured Clinical
Examination (OSCE)
Preparation Try-out Implementati
onImplementati
onImplementati
on
Preparation Preparation Preparation Try outImplementati
on
National Item Bank Networking for
Assessment (NIBNA)
Preparation EstablishmentEnhancement for pre-clinical formative test
Enhancement for clinical
formative test
Enhancement for progress
test
Preparation Preparation Preparation PreparationEstablishmen
t
Medicine/Dentist
Nurse/Midwife
Organisasi LPUK
Direktur
Divisi UjianDivisi
Pengelolaan Aset
Divisi Pengelolaa
n TI
Divisi Litbang
Divisi Pengelolaan Bank Soal
Sekretaris Eksekutif
Dewan Pendiri
Pengelolaan Nasional
Pengelolaan Regional
CBT Center OSCE Center
Tempat Pelaksanaan Ujian
Regionalisasi
Milestone LPUK
KESIMPULAN & SARAN
Kesimpulan dan Saran
• Uji Kompetensi untuk Tenaga Kesehatan adalah suatu keniscayaan & keharusan
• Implementasi Praktik Baik pada semua proses dan jenjang: nasional, regional dan institusional.
Kesimpulan dan Saran
• Kerja sama seluruh pihak terkait (institusi pendidikan, profesi, pemerintah)
• Pengelolaan oleh suatu lembaga independen yang diterima oleh semua pihak
• Keterbukaan informasi kepada masyarakat untuk penjaminan mutu
• Perlu penyiapan 3 M (Man, materials, methods) melalui pelatihan dan pengkoordinasian tingkat nasional dan regional.
• Perlu komitmen dalam upaya continuing quality improvement berdasarkan lesson learnt implementasi menuju praktik yang lebih baik.
“Old” Style Biochemistry QuestionTesting Recall of an Isolated Fact
Acute intermittent porphyria adalah akibat gangguan pada biosintesis dari:
A. kolagen
B. kortikosteroid
C. asam lemak
D. glukosa
E. heme
F. tiroksinE 85 29
E
E 85 29
EYEL Slide also in biochem.ppt
Application of Knowledge Item: Biochemistry/GeneticsSeorang laki-laki berusia 30 tahun datang dengan keluhan badan lemah, kehilangan keseimbangan dan nyeri perut tanpa diare. Tante dan saudaranya juga memiliki keluhan yang sama. Pada pemeriksaan fisik didapatkan perut kembung, penurunan bising usus. Pemeriksaan neurologik didapatkan kelemahan pada lengan atas. Kelainan biosintesis apakah yang paling mungkin menyebabkan permasalahan pasien tersebut?
A. collagenB. corticosteroidC. fatty acidD. glucoseE. hemeF. thyroxine
Problems with traditional MCQ
• Test fact recall – often of isolated trivia
• Did not test application or integration
• Did not test reasoning or problem solving
• Not consistent with current educational principles
• Promote memorization rather than understanding
Avoiding Problems
• Avoid simple fact/recall questions ie answer cannot be found simply on a single page in a textbook.
• Avoid questions which promote simple memorization
• Always test application, integration or understanding
• Use relevant scenarios as stems
Principles
• Assess application/integration of knowledge
• Use clinical scenarios to present problems
• Test reasoning and Problem Solving
• Address important content – avoid trivia
• Provide a single BEST answer
• Make distractors homogeneous
• Avoid simple fact/knowledge recall
The Basic Rules for One-Best-Answer Items
Each item should focus on an important concept, typically a common or potentially catastrophic clinical problems
Each item should assess application of knowledge, not recall of an isolated fact
The stem of the item must pose a clear question, and it should be possible to arrive at an answer with the options
All distracters (i.e., incorrect options) should be homogenous Avoid technical item flaws that provide special benefit to test-wise examinees or that pose irrelevant difficulty
Steps in Question Construction
• Determine the Content/Topic
• Select 2-3 Key Features
• Select a clinical scenario– Common, serious, aimed at generalist
• Write the Clinical Case
• Pose the Question
• Write the correct answer
• Write the distractors
Key Features
• Use Key Features Principles• What are the essential elements• Build the case around the key features• Several questions built around one scenario
Use QUESTIONS to Teach
• First order – knowledge and facts
• Second order – application
• Third order – problem solving (what if)