Dari Temuan ke Perubahan
Semester 3 | Periode 2 | MK Evaluasi Program Kesehatan Reproduksi (4 SKS) | Sesi 1 | Modul 5
Dr.dr. Budi Siswanto, Sp.OG., Subsp.Obginsos., SH., S.Kom.
Juni 2025. Ruang rapat Dinas Kesehatan Provinsi Sulawesi Tenggara.
Dr. Farid meletakkan draft laporan evaluasi setebal 87 halaman di meja. Di ruangan itu duduk delapan orang: Kepala Dinas, dua Kepala Bidang, perwakilan UNFPA, seorang akademisi dari Universitas Halu Oleo, tiga kepala seksi yang programnya dievaluasi, dan seorang jurnalis kesehatan yang diundang oleh Kepala Dinas.
Setelah tiga bulan kerja keras mengumpulkan dan menganalisis data, Dr. Farid tahu bahwa momen ini adalah yang paling menentukan. Bukan analisisnya — meskipun ia bangga dengan rigornya. Bukan datanya — meskipun kualitasnya jauh lebih baik dari evaluasi sebelumnya.
Yang menentukan adalah: apakah temuan evaluasi ini akan benar-benar mengubah sesuatu?
Ia melihat wajah-wajah di ruangan itu. Kepala Dinas tampak sibuk dengan teleponnya. Kepala Bidang yang programnya mendapat temuan kritis tampak defensif bahkan sebelum presentasi dimulai. Perwakilan UNFPA membawa laptop dan tampaknya sudah menyiapkan pertanyaan. Akademisi itu mengerutkan dahi membaca executive summary.
Laporan yang sempurna yang tidak dibaca tidak berguna, pikir Dr. Farid. Temuan yang tidak dapat dikomunikasikan tidak akan mengubah kebijakan. Dan rekomendasi yang tidak dimiliki oleh orang yang harus mengimplementasikannya tidak akan pernah dijalankan.
Ia membuka laptopnya dan memulai presentasi.
Analisis data yang cermat adalah kondisi perlu tetapi tidak cukup untuk evaluasi yang berguna. Evaluasi mencapai tujuannya hanya ketika temuan dikomunikasikan secara efektif kepada audiens yang tepat, dalam format yang tepat, pada waktu yang tepat — dan ketika proses evaluasi dirancang sejak awal untuk memaksimalkan kemungkinan bahwa temuannya akan digunakan. Modul ini membangun kapasitas untuk menulis laporan evaluasi yang dibaca, mempresentasikan temuan yang menggerakkan keputusan, dan merancang strategi utilisasi yang mengubah evaluasi dari dokumen menjadi perubahan nyata.
Setelah menyelesaikan modul ini, peserta didik mampu:
IMPLIKASI:
Apa yang harus dilakukan, secara konkret?
Bukan: "Tingkatkan pelatihan petugas"
Ya: "Adakan pelatihan refresher konseling KB selama 2 hari untuk seluruh bidan di 14 Puskesmas Kabupaten B yang mendapat skor observasi di bawah 60/100"
Bagaimana keberhasilan implementasi rekomendasi akan diketahui?
"...dengan indikator keberhasilan: ≥80% bidan lulus post-test dengan skor ≥70"
Realistis dengan sumber daya yang tersedia atau yang dapat dimobilisasi
Terhubung langsung dengan temuan evaluasi yang spesifik
Cantumkan referensi: "Berdasarkan temuan Bagian 3.2 bahwa..."
Kapan harus dimulai? Kapan harus selesai?
"...dalam 3 bulan pertama tahun anggaran berikutnya"
Bedakan: rekomendasi prioritas tinggi (harus segera) vs. menengah vs. jangka panjang
Berikan justifikasi prioritisasi
Kepala Dinas Kesehatan Provinsi bersama Kepala Dinas Kabupaten B dan C harus mengalokasikan anggaran untuk renovasi sederhana ruang konseling KB di 17 Puskesmas yang tidak memiliki ruang konseling terpisah. Berdasarkan temuan Bagian 3.3, ketiadaan privasi adalah hambatan akses yang disebutkan oleh 73% informan wawancara dan berkorelasi secara signifikan dengan utilisasi layanan yang lebih rendah (OR 0.41, 95% CI 0.22–0.76). Indikator keberhasilan: 100% Puskesmas memiliki ruang konseling terpisah dalam 6 bulan. Estimasi biaya: Rp 8–15 juta per Puskesmas.
Tim program harus merevisi strategi sosialisasi untuk mengintegrasikan peer educator remaja sebagai agen utama komunikasi program. Temuan Bagian 4.2 menunjukkan bahwa remaja yang direkrut melalui peer educator memiliki retensi program 2.3 kali lebih tinggi, namun saat ini hanya 8% Puskesmas yang memiliki peer educator terlatih. Target: minimal 2 peer educator terlatih per Puskesmas dalam 12 bulan, dengan anggaran dari realokasi 30% biaya sosialisasi media cetak yang terbukti tidak efektif.
SATU TEMUAN, BANYAK VERSI:
DEFINISI: Dokumen 2–4 halaman yang menyajikan temuan dan rekomendasi evaluasi untuk pembuat kebijakan. Bukan ringkasan teknis — bukan abstrak ilmiah. Dirancang untuk seseorang yang sibuk, non-teknis, dan perlu mengambil keputusan.
STRUKTUR POLICY BRIEF YANG EFEKTIF:
PREMIS DASAR:
IMPLIKASI UNTUK DESAIN EVALUASI:
Definisi: Temuan langsung digunakan untuk mengubah keputusan program atau kebijakan
Contoh: evaluasi menemukan bahwa strategi A tidak efektif → program beralih ke strategi B
Catatan: Paling mudah terlihat, tapi tidak selalu yang paling bermakna
Definisi: Evaluasi mengubah cara stakeholder berpikir tentang masalah atau program, meskipun tidak ada perubahan kebijakan yang langsung
Contoh: evaluasi menunjukkan bahwa hambatan akses layanan KR bersifat sosial-budaya, bukan hanya geografis → mengubah mental model pembuat kebijakan tentang penyebab rendahnya cakupan
Catatan: Sering lebih berkelanjutan dari instrumental use
Definisi: Perubahan terjadi karena PROSES evaluasi, bukan karena temuan
Contoh: selama proses evaluasi, program staf terlibat dalam wawancara dan analisis → membangun kapasitas evaluasi mereka sendiri, mengubah cara mereka memonitor program
Catatan: Sering diabaikan dalam perencanaan evaluasi, padahal sangat bernilai
Definisi: Evaluasi digunakan untuk melegitimasi keputusan yang sudah diambil sebelumnya
Contoh: evaluasi digunakan untuk membenarkan penghentian program yang secara politis tidak diinginkan, atau untuk membuktikan kepada donor bahwa uang mereka digunakan dengan baik
Catatan: Tidak selalu negatif, tapi perlu evaluator waspadai
Evaluator melaksanakan evaluasi dengan standar metodologis tertinggi yang feasible dalam keterbatasan yang ada. Tidak mengklaim ketelitian yang melebihi metodologi yang digunakan. Melaporkan keterbatasan secara jelas.
Evaluator hanya menerima penugasan yang sesuai dengan kompetensinya. Untuk evaluasi KR: perlu kompetensi dalam metodologi evaluasi DAN pemahaman tentang program dan populasi KR.
Transparansi tentang tujuan, kemampuan, temuan, dan keterbatasan. Menolak tekanan untuk mengubah temuan. Mengungkap konflik kepentingan.
Menghormati keamanan, martabat, dan hak mandiri partisipan. Memperhatikan perbedaan budaya. Khusus untuk KR: populasi yang terlibat sering rentan dan sensitif.
Evaluator mempertimbangkan dampak evaluasi terhadap publik yang lebih luas. Temuan evaluasi KR dapat mempengaruhi akses layanan bagi ribuan orang.
Modul 5 diikuti oleh Quiz 1 Sesi 1 pada Minggu ke-5. Thread diskusi di bawah ini adalah refleksi paralel.
Pertanyaan 1: Dr. Farid menyelesaikan laporan evaluasi 87 halaman yang menemukan bahwa program KR Remaja efektif di tiga dari enam kabupaten, tidak efektif di dua kabupaten, dan bahkan menunjukkan tanda-tanda "program capture" oleh kelompok remaja yang sudah berpengetahuan tinggi — bukan yang paling membutuhkan — di satu kabupaten. Pengelola program memintanya untuk "menyeimbangkan" laporan dengan lebih banyak narasi keberhasilan agar tidak merusak moril staf. (a) Bagaimana Dr. Farid seharusnya merespons permintaan ini berdasarkan prinsip etika evaluasi? (b) Apakah ada cara untuk mengakomodasi kekhawatiran pengelola program tanpa mengkompromikan integritas temuan? (c) Bagaimana ia seharusnya mengkomunikasikan temuan tentang "program capture" kepada audiens yang berbeda: Kepala Dinas, staf program, dan perwakilan UNFPA?
Pertanyaan 2: Bayangkan Anda menerima laporan evaluasi program KR yang menemukan: (1) cakupan meningkat 23%, (2) pengetahuan remaja meningkat signifikan (Cohen's d = 0.41), dan (3) tidak ada perubahan dalam angka kehamilan remaja. (a) Bagaimana Anda menginterpretasikan kombinasi temuan ini secara kohesif — apakah program berhasil atau gagal? (b) Temuan mana yang paling penting untuk dilaporkan kepada Kepala Dinas, dan mengapa? (c) Rancang satu rekomendasi SMART+E berdasarkan temuan ketiga (tidak ada perubahan angka kehamilan) yang akan mengubah program secara konkret.
Mata Kuliah: Evaluasi Program Kesehatan Reproduksi
Semester 3 | Periode 2 | Sesi 1
| Petunjuk Teknis | Detail |
|---|---|
| Jenis Penilaian | Quiz Pertama — Sesi 1 |
| Minggu | Minggu ke-5 |
| Cakupan Materi | Modul 1–5 (Sesi 1) |
| Jumlah Soal | 10 soal pilihan ganda |
| Bobot Nilai | 10% dari nilai akhir mata kuliah |
| Waktu Pengerjaan | 30 menit |
| Pengerjaan | Individual, closed book |
| Format Jawaban | Pilih satu jawaban yang paling tepat (A/B/C/D) |
Dinas Kesehatan Kabupaten X ingin mengetahui mengapa cakupan KB pasca persalinan rendah di wilayah terpencil, meskipun data SIMPUS menunjukkan jumlah kunjungan Puskesmas sudah meningkat. Berdasarkan kerangka yang dibahas dalam Modul 2, pertanyaan evaluasi ini berada pada level:
Dr. Farid mengembangkan theory of change (ToC) program KR Remaja. Ia mengidentifikasikan asumsi kritis: "Remaja perempuan yang mendapat pengetahuan tentang kontrasepsi modern akan mengubah intensi perilakunya menuju penggunaan kontrasepsi." Pernyataan yang paling tepat tentang fungsi asumsi ini dalam evaluasi adalah:
Sebuah evaluasi program kesehatan ibu menggunakan survei yang sama kepada 500 ibu hamil di awal program dan kepada 500 ibu hamil yang berbeda di akhir program dua tahun kemudian, untuk membandingkan pengetahuan ANC. Desain evaluasi ini disebut:
Seorang enumerator melaporkan bahwa ketika mewawancarai remaja tentang penggunaan kontrasepsi, hampir semua responden menjawab bahwa mereka tidak aktif secara seksual — meskipun data klinik menunjukkan angka kehamilan remaja yang tinggi di area tersebut. Fenomena ini paling tepat dijelaskan oleh:
Evaluasi program KB menggunakan data SIMPUS dari 36 bulan sebelum program dan 24 bulan setelah program dimulai untuk menganalisis tren cakupan KB. Desain evaluasi ini memberikan estimasi dampak program yang lebih kuat dibandingkan desain pre-post sederhana karena:
Dalam analisis thematic data kualitatif dari wawancara dengan 15 bidan tentang implementasi program KB pasca persalinan, tema yang muncul adalah: "Bidan menghadapi tekanan ganda — tekanan dari program untuk mencapai target akseptor KB dan tekanan dari klien yang memiliki preferensi metode tertentu — dan menyelesaikan konflik ini dengan cara yang tidak selalu konsisten dengan informed consent." Pernyataan yang paling tepat tentang tema ini adalah:
Evaluasi program KR menunjukkan: survei menemukan 78% responden menyatakan puas dengan layanan konseling KB; namun wawancara mendalam dengan 12 klien mengungkapkan bahwa sebagian besar merasa tidak dapat mengekspresikan ketidakpuasan karena khawatir akan mempengaruhi akses mereka ke layanan di masa depan. Cara terbaik untuk menginterpretasikan temuan yang divergen ini adalah:
Seorang konsultan evaluasi menemukan bahwa program KR yang ia evaluasi tidak efektif dalam mengubah perilaku seksual remaja, meskipun cakupan dan pengetahuan meningkat. Pengelola program memintanya untuk "menekankan keberhasilan cakupan dan pengetahuan" dan "tidak menonjolkan temuan tentang perilaku karena datanya terbatas." Respons yang paling tepat dari evaluator yang menjunjung integritas adalah:
Sebuah laporan evaluasi program KB berisi 52 rekomendasi. Berdasarkan prinsip utilisasi hasil evaluasi, masalah utama dari pendekatan ini adalah:
Program kesehatan reproduksi remaja di Provinsi Z menunjukkan peningkatan pengetahuan yang signifikan (Cohen's d = 0.52) tetapi tidak ada perubahan dalam angka kehamilan remaja setelah 3 tahun program. Interpretasi yang paling tepat dan berguna untuk pengambilan keputusan program adalah:
(Untuk Dosen — Tidak Didistribusikan kepada Peserta Didik)
Soal 1 — Jawaban: C
Pertanyaan "mengapa cakupan rendah" adalah pertanyaan kausal — mencari penjelasan mekanistik tentang penyebab fenomena. Ini bukan Level 1 (deskripsi tentang apa yang terjadi) dan bukan Level 2 (penilaian apakah sudah baik atau tidak). Level 3 adalah pertanyaan tentang kausalitas — baik dalam arti strict causal attribution maupun dalam arti lebih luas tentang mekanisme dan faktor penentu. Opsi D menarik tetapi kurang tepat: pertanyaan "mengapa" secara fundamental adalah kausal, bukan penilaian.
Soal 2 — Jawaban: B
Asumsi kritis dalam ToC adalah link mekanistik yang harus benar agar program dapat menghasilkan dampak. Jika asumsi ini tidak terbukti (pengetahuan tidak mengubah intensi), ini menjelaskan mengapa program bisa menghasilkan output (remaja yang berpengetahuan) tanpa outcome yang diinginkan (perubahan perilaku). Fungsi evaluasi adalah menguji asumsi-asumsi ini. Opsi A terlalu kuat — asumsi bukan sesuatu yang harus "dibuktikan" sebelum program dilanjutkan, tetapi dieksplorasi dalam evaluasi. Opsi C tentang kondisi eksternal tidak tepat — asumsi ini adalah tentang mekanisme internal program.
Soal 3 — Jawaban: B
Karena dua kelompok berbeda disurvei (bukan kelompok yang sama diikuti dari waktu ke waktu), ini bukan repeated measures. Ini adalah serial cross-sectional — dua survei cross-sectional pada dua titik waktu dengan sampel berbeda. Ini lebih lemah dari kohort (yang mengikuti individu yang sama) untuk menilai perubahan, tetapi lebih praktis dan valid untuk menilai tren populasi.
Soal 4 — Jawaban: B
Social desirability bias terjadi ketika responden menjawab sesuai norma sosial yang "benar" bukan kondisi nyata — sangat relevan untuk pertanyaan tentang perilaku seksual. Bukti tambahan adalah angka kehamilan yang tinggi di area yang sama, yang menunjukkan bahwa laporan "tidak aktif secara seksual" tidak mencerminkan realitas. Selection bias (A) tidak tepat karena masalahnya bukan tentang siapa yang bersedia diwawancarai. Attrition bias (C) tidak relevan karena tidak ada follow-up. Measurement effect (D) tentang perubahan perilaku akibat mengisi survei, bukan tentang jawaban yang tidak jujur.
Soal 5 — Jawaban: B
Kekuatan utama interrupted time series (ITS) adalah kemampuannya untuk memisahkan tren yang sudah ada sebelum program (pre-program trend) dari perubahan yang terjadi setelah program dimulai. Pre-post sederhana hanya melihat perbedaan dua titik dan tidak dapat membedakan apakah perubahan adalah kelanjutan tren yang sudah ada atau efek program. Opsi A tentang statistical power adalah efek samping bukan alasan utama. Opsi C salah — validitas tidak bergantung pada apakah data primer atau sekunder. Opsi D salah — pertanyaan etika tidak relevan di sini.
Soal 6 — Jawaban: B
Tema yang baik adalah klaim substantif tentang pola bermakna dalam data, bukan sekadar topik atau ringkasan. Tema ini melakukan hal tersebut dengan mengidentifikasikan "tekanan ganda" dan "penyelesaian konflik yang tidak konsisten dengan informed consent" — sebuah klaim interpretatif yang bermakna. Opsi A salah — tema kualitatif yang baik memang mengandung interpretasi evaluator, bukan hanya refleksi kata-kata informan. Opsi C kurang tepat — menggabungkan kedua tekanan dalam satu tema justru menangkap dinamika yang lebih kompleks. Opsi D salah — tema kualitatif tidak perlu "dikonfirmasi" oleh data kuantitatif untuk valid.
Soal 7 — Jawaban: C
Divergensi antara data survei (78% puas) dan data kualitatif (perasaan tidak dapat mengekspresikan ketidakpuasan) bukan masalah yang harus "diselesaikan" dengan memilih satu metode sebagai lebih valid. Ini adalah temuan substantif yang mengungkapkan social desirability bias yang mengkontaminasi data survei kepuasan. Temuan kualitatif memberikan penjelasan mekanistik mengapa survei menghasilkan angka kepuasan yang tinggi yang tidak mencerminkan pengalaman sebenarnya. Ini adalah contoh klasik bagaimana mixed methods menghasilkan pemahaman yang lebih dalam dari salah satu metode saja.
Soal 8 — Jawaban: C
Evaluator yang berintegritas tidak dapat mengubah substansi temuan atau menyembunyikan temuan kritis. Namun, mengakomodasi kekhawatiran yang legitim (data perilaku terbatas) dengan memberikan konteks yang memadai adalah komunikasi yang cerdas dan profesional. Opsi A melanggar integritas evaluasi. Opsi B terlalu konfrontatif dan tidak mempertimbangkan hubungan kerja yang konstruktif. Opsi D adalah bentuk penyembunyian temuan yang dikemas sebagai "technical annex" — ini tetap melanggar integritas.
Soal 9 — Jawaban: B
Masalah utama dengan 52 rekomendasi adalah utilisasi — tidak ada yang akan diprioritaskan dan diimplementasikan. Evaluasi yang menghasilkan banyak rekomendasi tanpa prioritisasi sering tidak mengubah apapun. Opsi A salah — jumlah rekomendasi tidak mempengaruhi kredibilitas metodologis. Opsi C adalah penilaian yang tidak adil. Opsi D salah — tidak ada standar internasional yang menetapkan jumlah maksimum rekomendasi secara numerik, meskipun praktik baik menyarankan prioritisasi.
Soal 10 — Jawaban: C
Ini adalah contoh temuan yang "mixed" yang paling informatif untuk program. Peningkatan pengetahuan tanpa perubahan perilaku adalah signal yang sangat jelas tentang kelemahan ToC: program mengasumsikan bahwa pengetahuan cukup untuk mengubah perilaku, tetapi bukti menunjukkan bahwa ada hambatan lain (akses, norma sosial, faktor relasional) yang harus diatasi. Opsi A terlalu nihilistik dan mengabaikan progress yang nyata. Opsi B terlalu optimistik dan mengabaikan kegagalan untuk mencapai dampak utama. Opsi D adalah penggunaan keterbatasan metodologis sebagai alasan untuk tidak mengambil kesimpulan — ini adalah contoh penghindaran yang tidak produktif.
Malang, Maret 2026
Penyusun