Analisis Data Evaluasi Program Kesehatan Reproduksi

Dari Data Mentah ke Temuan yang Bermakna

Semester 3 | Periode 2 | MK Evaluasi Program Kesehatan Reproduksi (4 SKS) | Sesi 1 | Modul 4

Dr.dr. Budi Siswanto, Sp.OG., Subsp.Obginsos., SH., S.Kom.

πŸ“Š Fokus: Analisis Data πŸ“‹ Tugas Kelompok Minggu 4 πŸ” Kuantitatif, Kualitatif & Mixed Methods

πŸ“‹ Daftar Isi Modul

A. Deskripsi Modul

Mei 2025. Ruang kerja Dr. Farid, pukul 21.30.

Laptop di mejanya menampilkan tiga jendela sekaligus: spreadsheet dengan 847 baris data survei, transkrip wawancara dari dua belas informan yang sudah diketik rapi oleh asisten, dan laporan bulanan program dari enam kabupaten yang sudah ia scan dan ubah menjadi tabel.

Semua data sudah ada. Tim enumerator sudah bekerja keras selama tiga minggu. Kepala Dinas menunggu laporan.

Dan Dr. Farid merasa bingung.

Bukan karena tidak tahu cara menggunakan SPSS β€” ia sudah menguasai itu sejak S2. Kebingungannya lebih mendasar: Apa yang sebenarnya harus saya lakukan dengan semua data ini? Dari mana saya mulai? Bagaimana saya tahu analisis saya sudah menjawab pertanyaan evaluasi, bukan hanya menghasilkan angka yang terlihat meyakinkan?

Ia juga menatap transkrip wawancara dan bertanya-tanya: Data kualitatif ini kaya sekali β€” ada banyak hal yang mengejutkan dan menggerakkan hati. Tapi bagaimana saya menganalisisnya dengan cara yang rigoros, bukan sekadar memilih kutipan yang saya suka?

Dan yang paling sulit: Bagaimana saya mengintegrasikan temuan dari survei, wawancara, dan laporan program menjadi satu narasi evaluasi yang kohesif?

Pengumpulan data yang cermat tidak otomatis menghasilkan temuan yang bermakna. Analisis data evaluasi adalah proses yang memerlukan keputusan metodologis yang sadar, ketelitian teknis, dan kemampuan interpretasi yang melampaui sekadar menjalankan prosedur statistik. Modul ini membangun kapasitas untuk menganalisis data evaluasi program kesehatan reproduksi secara rigoros β€” dari analisis kuantitatif dasar hingga analisis kualitatif tematik, hingga integrasi mixed methods yang menghasilkan pemahaman yang lebih kaya dari yang mungkin dicapai oleh satu pendekatan saja.

B. Capaian Pembelajaran Modul

Setelah menyelesaikan modul ini, peserta didik mampu:

  1. Memilih dan menerapkan metode analisis kuantitatif yang sesuai untuk pertanyaan evaluasi program kesehatan reproduksi
  2. Melaksanakan analisis data kualitatif yang rigoros menggunakan pendekatan tematik atau framework analysis
  3. Mengintegrasikan temuan kuantitatif dan kualitatif dalam analisis mixed methods yang kohesif
  4. Mengidentifikasi dan mengatasi keterbatasan analisis yang harus diakui secara transparan dalam laporan evaluasi
  5. Menginterpretasikan temuan analisis dalam konteks program dan kebijakan kesehatan reproduksi

C. Materi Inti

C.1. Analisis Data Kuantitatif dalam Evaluasi Program KR

C.1.1. Prinsip Analisis Kuantitatif yang Dipandu Pertanyaan Evaluasi

⚠️ KESALAHAN PALING UMUM DALAM ANALISIS EVALUASI
KESALAHAN 1 β€” ANALISIS TANPA RENCANA:
β†’ Membuka dataset dan "melihat apa yang menarik"
β†’ Menghasilkan: banyak tabel dan grafik yang tidak menjawab pertanyaan apapun
β†’ Solusi: buat Analysis Plan sebelum menyentuh data β€” daftar eksplisit setiap pertanyaan evaluasi dan analisis yang akan menjawabnya
KESALAHAN 2 β€” FISHING FOR SIGNIFICANCE:
β†’ Menjalankan puluhan uji statistik sampai menemukan yang p < 0.05
β†’ Menghasilkan: false positives yang menggelembungkan klaim efektivitas program
β†’ Solusi: tetapkan primary outcomes dan analisis sebelum melihat data (pre-registration)
KESALAHAN 3 β€” CONFUSING STATISTICAL WITH PRACTICAL SIGNIFICANCE:
β†’ Peningkatan pengetahuan dari skor 52 ke 54 (p=0.001) dilaporkan sebagai "signifikan"
β†’ Menghasilkan: kesimpulan yang menyesatkan tentang dampak program
β†’ Solusi: selalu laporkan effect size (Cohen's d, relative risk) di samping p-value

πŸ“‹ ANALYSIS PLAN: FONDASI ANALISIS YANG RIGOROS

Komponen Analysis Plan:

  1. PERTANYAAN EVALUASI YANG AKAN DIJAWAB: Daftar eksplisit semua pertanyaan evaluasi. Prioritas: primary vs. secondary questions.
  2. OUTCOMES DAN INDIKATOR: Untuk setiap pertanyaan: outcome primer dan sekunder. Definisi operasional yang tepat.
  3. UNIT ANALISIS: Individu? Fasilitas? Kabupaten? Harus konsisten dengan desain sampling.
  4. METODE ANALISIS: Untuk setiap pertanyaan: metode statistik yang akan digunakan. Diputuskan SEBELUM melihat data.
  5. SUBGROUP ANALYSIS: Kelompok mana yang akan dianalisis secara terpisah? (jenis kelamin, usia, kabupaten). Dibatasi untuk mencegah overfitting.
  6. HANDLING MISSING DATA: Metode yang akan digunakan: complete case analysis, multiple imputation, dll.

C.1.2. Analisis Deskriptif: Fondasi yang Sering Diremehkan

πŸ” MENGAPA ANALISIS DESKRIPTIF PENTING

  • Memberikan gambaran tentang "siapa" yang terjangkau program β€” apakah sesuai target?
  • Mengidentifikasikan pola yang perlu penjelasan lebih lanjut
  • Mendeteksi masalah data yang harus diatasi sebelum analisis lebih lanjut
  • Dasar untuk membandingkan dengan baseline atau standar

ANALISIS DESKRIPTIF STANDAR UNTUK EVALUASI PROGRAM KR:

πŸ‘₯ KARAKTERISTIK POPULASI YANG TERJANGKAU
  • Distribusi usia, jenis kelamin, tingkat pendidikan, status pernikahan
  • Distribusi geografis (kabupaten, perkotaan vs. pedesaan)
  • Bandingkan dengan populasi target yang direncanakan: apakah program menjangkau yang seharusnya dijangkau?
πŸ“Š ANALISIS CAKUPAN (COVERAGE ANALYSIS)
  • Crude coverage: jumlah yang terjangkau / total populasi target Γ— 100%
  • Effective coverage: jumlah yang mendapat layanan berkualitas (bukan hanya terpapar) / total yang membutuhkan Γ— 100%
  • Equity analysis: apakah cakupan setara antar sub-kelompok? (miskin vs. kaya, perkotaan vs. pedesaan)
πŸ“ˆ ANALISIS TREN
  • Bagaimana indikator berubah dari waktu ke waktu?
  • Visualisasi: line chart dengan titik data per bulan atau kuartal
  • Perhatikan: tren sebelum program vs. setelah program dimulai (dasar interrupted time series)

ANALISIS DESKRIPTIF: PILIHAN STATISTIK:

πŸ“ UNTUK VARIABEL KONTINU
  • Mean Β± SD: untuk distribusi normal (tes: Shapiro-Wilk atau histogram)
  • Median (IQR): untuk distribusi skewed atau ordinal
  • Selalu laporkan n dan rentang
πŸ“‹ UNTUK VARIABEL KATEGORIK
  • Frekuensi dan persentase
  • Confidence interval untuk proporsi (terutama jika sampel kecil)
🎨 VISUALISASI YANG TEPAT
  • Distribusi kontinu: histogram atau box plot
  • Perbandingan kategori: bar chart (bukan pie chart untuk lebih dari 3 kategori)
  • Tren waktu: line chart
  • Distribusi geografis: peta tematik (choropleth)
  • Prinsip: visualisasi harus memperjelas, bukan menghias

C.1.3. Analisis Inferensial: Menguji Hipotesis Evaluasi

πŸ”„ PRE-POST COMPARISON (TANPA KONTROL)

Uji yang tepat:

  • Variabel kontinu, distribusi normal: paired t-test
  • Variabel kontinu, non-normal: Wilcoxon signed-rank test
  • Variabel kategorik (proporsi): McNemar test

Interpretasi hati-hati:

  • Perubahan yang signifikan secara statistik TIDAK berarti disebabkan program
  • Harus disertai diskusi eksplisit tentang ancaman internal validity

Effect size wajib:

  • Cohen's d untuk mean difference (kecil: 0.2, sedang: 0.5, besar: 0.8)
  • Relative Risk atau Odds Ratio untuk proporsi
  • Number Needed to Treat (NNT) untuk intervensi klinis
πŸ”€ COMPARISON GROUP ANALYSIS

Uji yang tepat:

  • Variabel kontinu, dua kelompok: independent t-test (normal) atau Mann-Whitney U (non-normal)
  • Variabel kontinu, lebih dari dua kelompok: ANOVA (normal) atau Kruskal-Wallis (non-normal)
  • Variabel kategorik: Chi-square atau Fisher's exact (n kecil)

Difference-in-Differences:

  • Software: R (did package), Stata (xtreg), atau SPSS (mixed model)
  • Model dasar: Y = Ξ²β‚€ + β₁(waktu) + Ξ²β‚‚(program) + β₃(waktuΓ—program) + Ξ΅
  • β₃ adalah estimasi DiD β€” efek program bersih
  • Asumsi kritis (parallel trends): tanpa program, kelompok program dan kontrol akan bergerak secara paralel β†’ harus diverifikasi dengan data pre-program
πŸ“ ANALISIS REGRESI UNTUK EVALUASI

MENGAPA REGRESI DIPERLUKAN:

  • Mengontrol faktor perancu (confounders) yang berhubungan dengan outcome DAN dengan paparan program
  • Mengidentifikasikan subgroup yang paling mendapat manfaat (effect modification)
  • Memperhitungkan clustering dalam data (jika data dari beberapa fasilitas atau kabupaten)

JENIS REGRESI:

  • Outcome kontinu: linear regression (OLS) atau mixed effects (untuk clustered data)
  • Outcome biner: logistic regression β†’ hasilkan OR dengan CI 95%
  • Outcome count: Poisson atau negative binomial regression
  • Outcome time-to-event: Cox proportional hazards

VARIABEL YANG PERLU DIKONTROL:

  • Demografis: usia, pendidikan, status sosial-ekonomi
  • Baseline outcome (jika ada data pre)
  • Faktor konfounding yang secara substansial berhubungan dengan program DAN outcome
  • Hindari overfitting: aturan kasar β€” minimal 10 events per predictor untuk logistic regression

MELAPORKAN REGRESI:

  • Laporkan unadjusted DAN adjusted estimates
  • Tabel format standar: variabel, koefisien/OR, CI 95%, p-value
  • Jelaskan pilihan kovariat dan model building strategy
  • Periksa asumsi: residual plots, multicollinearity (VIF), influential observations

C.2. Analisis Data Kualitatif: Rigour tanpa Angka

C.2.1. Thematic Analysis untuk Evaluasi Program KR

πŸ’‘ MENGAPA THEMATIC ANALYSIS PALING SERING TEPAT
  • Fleksibel: dapat digunakan dengan berbagai pertanyaan evaluasi
  • Dapat digunakan secara induktif (membiarkan tema muncul dari data) ATAU deduktif (menguji apakah data mendukung tema yang sudah diantisipasi)
  • Dapat dikombinasikan dengan quantitative content analysis
  • Aksesibel untuk evaluator yang tidak terlatih dalam metode kualitatif yang lebih kompleks (seperti grounded theory atau IPA)

PROSES THEMATIC ANALYSIS (BRAUN & CLARKE, 2006):

  1. FASE 1 β€” FAMILIARISASI DENGAN DATA: Baca semua transkrip secara menyeluruh β€” setidaknya dua kali. Catat kesan awal, ide, pertanyaan yang muncul. Jangan terburu-buru ke coding: familiarisasi yang mendalam adalah investasi yang menghemat waktu di fase berikutnya. Untuk evaluasi KR: perhatikan bahasa yang digunakan untuk membicarakan layanan, hak, dan pengalaman kesehatan reproduksi β€” ini sering lebih informatif dari content eksplisit.
  2. FASE 2 β€” INITIAL CODING: Tandai setiap segmen data yang relevan dengan label deskriptif (kode). Kode dekat dengan data: gunakan bahasa informan jika mungkin. Kode bersifat inklusif: kode sebanyak mungkin di tahap ini, jangan terlalu selektif. Tools: NVivo, Atlas.ti, MAXQDA (software), atau Word dengan comment function, atau bahkan kertas dan spidol warna untuk dataset kecil. Untuk tim: codebook eksplisit + double coding + inter-rater reliability check.
  3. FASE 3 β€” SEARCHING FOR THEMES: Kelompokkan kode-kode yang berkaitan ke dalam tema potensial. Gunakan affinity diagram atau thematic map. Tema adalah pola yang bermakna di seluruh dataset β€” bukan sekadar frekuensi. Tema bukan hanya topik (bukan: "informan berbicara tentang akses") β€” tetapi claim tentang data (ya: "hambatan akses bersifat berlapis: finansial, geografis, dan sosial-budaya, dan ketiganya berinteraksi").
  4. FASE 4 β€” REVIEWING THEMES: Level 1: apakah tema ini didukung oleh data yang cukup? (baca ulang semua kutipan dalam tema). Level 2: apakah tema ini kohesif secara internal dan berbeda dari tema lain? Revisi: gabungkan tema yang terlalu mirip, pecah tema yang terlalu heterogen, drop tema yang tidak cukup didukung data.
  5. FASE 5 β€” DEFINING AND NAMING THEMES: Setiap tema harus memiliki: Nama yang informatif (bukan sekadar label topik); Deskripsi singkat apa yang dicakup tema ini; Relationship dengan tema lain. Buat thematic map: visualisasi hubungan antar tema.
  6. FASE 6 β€” WRITING UP: Narasi analitik per tema, didukung kutipan representatif. Kutipan bukan hanya ilustrasi β€” dipilih karena merepresentasikan tema atau justru menantang tema. Selalu link kembali ke pertanyaan evaluasi: apa yang temuan ini berarti untuk program?
πŸ—‚οΈ FRAMEWORK ANALYSIS (ALTERNATIF UNTUK EVALUASI)
  • Dikembangkan khusus untuk penelitian kebijakan dan evaluasi (Ritchie & Spencer, 1994)
  • Lebih deduktif: menggunakan kerangka analitik yang sudah ada (bisa berdasarkan pertanyaan evaluasi, ToC, atau teori)
  • Matrix output: rows = kasus (informan), columns = tema (dari kerangka) β†’ sel berisi ringkasan data dari setiap kasus untuk setiap tema
  • Kelebihan untuk evaluasi: lebih mudah dibandingkan antar kasus, lebih transparan proses analisisnya, lebih mudah diaudit
  • Cocok untuk: evaluasi dengan pertanyaan yang sudah jelas dan evaluator yang perlu menunjukkan transparansi

RIGOUR DALAM ANALISIS KUALITATIF:

🎯 Credibility (analog dengan internal validity)
  • Prolonged engagement: cukup waktu di lapangan untuk memahami konteks
  • Triangulasi: multiple sumber, multiple metode, multiple evaluator
  • Member checking: verifikasi temuan dengan informan kunci
  • Negative case analysis: aktif mencari data yang TIDAK mendukung tema
🌍 Transferability (analog dengan external validity)
  • Thick description: deskripsi konteks yang cukup detail sehingga pembaca dapat menilai apakah temuan relevan untuk konteks mereka
πŸ”„ Dependability (analog dengan reliability)
  • Audit trail: dokumentasi semua keputusan analitik
  • Peer debriefing: konsultasi dengan kolega tentang proses analisis
βš–οΈ Confirmability (analog dengan objectivity)
  • Reflexivity: evaluator mendokumentasikan posisi dan asumsi awal mereka dan bagaimana ini mungkin mempengaruhi analisis

C.3. Integrasi Mixed Methods: Lebih dari Jumlah Bagian-bagiannya

C.3.1. Strategi Integrasi dalam Evaluasi Program KR

TIGA LEVEL INTEGRASI:

πŸ“„ LEVEL 1 β€” NARASI PARALEL

Paling lemah: temuan kuantitatif dan kualitatif dilaporkan secara terpisah, disandingkan tanpa integrasi eksplisit

Masih lebih baik dari tidak ada mixed methods

Cocok untuk: evaluasi dengan pertanyaan yang benar-benar terpisah untuk setiap metode

πŸ’¬ LEVEL 2 β€” INTEGRASI INTERPRETATIF

Lebih kuat: dalam diskusi, temuan dari satu metode digunakan untuk menjelaskan, mengkonfirmasi, atau menantang temuan dari metode lain

Konvergensi: "Survei menunjukkan utilisasi layanan rendah di kalangan remaja laki-laki; wawancara menjelaskan bahwa laki-laki merasa stigmatized jika terlihat pergi ke klinik KB"

Divergensi: "Survei menunjukkan kepuasan layanan tinggi (82%), namun wawancara mengungkapkan bahwa responden tidak berani mengekspresikan ketidakpuasan dalam kuesioner yang diberikan oleh staf Puskesmas β€” temuan ini menunjukkan social desirability bias yang substansial dalam data survei"

πŸ”— LEVEL 3 β€” INTEGRASI ANALITIK

Paling kuat: data kualitatif dan kuantitatif digabungkan dalam satu analisis terintegrasi

Contoh: joint display β€” tabel yang menampilkan data kuantitatif dan kualitatif secara berdampingan untuk setiap kasus/site

Contoh: typology development β€” menggunakan analisis cluster kuantitatif untuk mengidentifikasikan tipe program, kemudian data kualitatif untuk menjelaskan apa yang membedakan setiap tipe

JOINT DISPLAY UNTUK EVALUASI PROGRAM KR:

CONTOH JOINT DISPLAY SITE-BY-SITE:

Kabupaten Skor Kualitas Layanan (survei) Cakupan Remaja (%) Tema Kualitatif Utama Faktor Kunci Keberhasilan/Kegagalan
Kab. A 78/100 42% "Bidan yang ramah dan tidak menghakimi" Kepemimpinan bidan koordinator yang kuat
Kab. B 61/100 28% "Malu datang karena ruang tunggu campur" Ketiadaan ruang konseling terpisah
Kab. C 85/100 67% "Programnya sudah jadi bagian biasa di sekolah" Integrasi program dengan sekolah yang kuat

β†’ Joint display ini segera mengungkapkan bahwa Kab. C lebih berhasil bukan hanya karena kualitas layanan lebih tinggi, tetapi karena strategi integrasi sekolah yang tidak dimiliki kabupaten lain

β†’ Insight ini tidak dapat diperoleh dari data survei saja atau wawancara saja

MENGELOLA DIVERGENSI:

C.4. Interpretasi Temuan: Dari Analisis ke Makna

C.4.1. Menempatkan Temuan dalam Konteks

🧠 INTERPRETASI BUKAN HANYA RINGKASAN DATA

Interpretasi yang baik:

  • Menghubungkan temuan dengan pertanyaan evaluasi yang menjadi tujuan
  • Menempatkan temuan dalam konteks teori dan bukti yang lebih luas
  • Membedakan apa yang ditemukan vs. apa yang mungkin artinya
  • Mengakui dengan jujur keterbatasan dan ambiguitas

KONTEKSTUALISASI TEMUAN EVALUASI KR:

πŸ“Š BANDINGKAN DENGAN BASELINE
  • Perubahan dari kondisi awal β€” seberapa besar? Ke arah mana?
  • Apakah perubahan ini klinisnya bermakna? (bukan hanya statisiknya signifikan)
πŸ“ BANDINGKAN DENGAN STANDAR
  • Apakah cakupan mencapai target yang ditetapkan?
  • Apakah kualitas layanan memenuhi standar WHO/Kemenkes?
  • Apakah perubahan outcome konsisten dengan apa yang diharapkan berdasarkan teori?
πŸ” BANDINGKAN DENGAN PROGRAM SERUPA
  • Apakah hasil program ini setara dengan, lebih baik, atau lebih buruk dari evaluasi program sejenis di tempat lain?
  • Konteks harus dipertimbangkan: hasil yang sama dengan sumber daya yang lebih sedikit bisa jadi lebih impresif
❓ JELASKAN TEMUAN YANG TIDAK TERDUGA
  • Temuan yang bertentangan dengan hipotesis atau teori program memerlukan penjelasan yang lebih mendalam
  • Tidak boleh dikubur dalam lampiran atau diabaikan
  • Sering menghasilkan learning paling berharga untuk program

ATTRIBUTION VS. CONTRIBUTION:

🎯 ATTRIBUTION CLAIM

Contoh: "Program ini menyebabkan penurunan angka kehamilan remaja sebesar 15%"

  • Hanya valid jika desain evaluasi mendukung klaim kausal (RCT atau quasi-experimental yang kuat)
  • Sering tidak valid untuk evaluasi program pemerintah
🀝 CONTRIBUTION CLAIM (LEBIH SERING TEPAT)

Contoh: "Bukti yang tersedia konsisten dengan program yang berkontribusi pada penurunan angka kehamilan remaja, meskipun kontribusi faktor lain juga tidak dapat dikesampingkan"

  • Lebih jujur dan lebih defensible
  • Didukung dengan:
    • Bukti bahwa program diimplementasikan sesuai ToC
    • Bukti bahwa mekanisme perubahan yang dihipotesiskan bekerja
    • Analisis dan argumen tentang faktor alternatif yang tidak dapat menjelaskan perubahan yang ada

TEMUAN NEGATIF DAN MIXED FINDINGS:

D. Pertanyaan Diskusi (Thread Dosen β€” Minggu 4)

Modul 4 memiliki Tugas Kelompok 2 yang dikumpulkan Minggu ke-4. Thread diskusi di bawah ini adalah refleksi paralel.

Pertanyaan 1: Dr. Farid menjalankan uji paired t-test untuk membandingkan skor pengetahuan remaja sebelum dan sesudah program, dan mendapatkan hasil: Mean pre = 62.3 (SD 14.7), Mean post = 67.1 (SD 13.2), p = 0.003, Cohen's d = 0.34. (a) Interpretasikan hasil ini secara lengkap β€” termasuk signifikansi statistik, signifikansi praktis, dan keterbatasan kausal; (b) Desain analisis ini menggunakan pre-post tanpa kelompok kontrol β€” ancaman internal validity mana yang paling relevan dalam konteks program KR remaja di Sulawesi Tenggara? Bagaimana Dr. Farid dapat memperkuat argumen tentang kontribusi program meskipun tanpa kelompok kontrol?

Pertanyaan 2: Dari dua belas wawancara mendalam dengan remaja peserta program, tema yang paling kuat adalah: "Perubahan perilaku bergantung pada dukungan sosial β€” remaja yang memiliki teman sebaya yang juga ikut program jauh lebih mungkin menerapkan pengetahuan yang didapat." Namun dalam survei kuantitatif, variabel "dukungan teman sebaya" tidak diukur. (a) Bagaimana Anda akan mengintegrasikan temuan kualitatif ini dengan data kuantitatif yang ada untuk membangun argumen yang lebih kuat? (b) Apa implikasi temuan ini untuk evaluasi di masa depan β€” indikator apa yang harus ditambahkan? (c) Bagaimana temuan ini mengubah rekomendasi program Anda?

E. Rangkuman

  1. Analisis data evaluasi yang rigoros dimulai dari Analysis Plan yang dibuat sebelum menyentuh data β€” mendaftar secara eksplisit setiap pertanyaan evaluasi, outcome yang akan diukur, dan metode statistik yang akan digunakan; tanpa Analysis Plan, risiko analisis yang didorong oleh data (data-dredging) dan klaim yang berlebihan (overstating findings) sangat tinggi
  2. Analisis deskriptif adalah fondasi yang sering diremehkan β€” analisis cakupan, equity, dan tren memberikan informasi substantif tentang siapa yang terjangkau program dan apakah distribusi manfaat sesuai dengan tujuan; effect size harus selalu dilaporkan di samping p-value karena signifikansi statistik tidak sama dengan signifikansi praktis atau klinis
  3. Thematic analysis dan framework analysis adalah pendekatan analisis kualitatif yang paling tepat untuk evaluasi program β€” keduanya menghasilkan tema yang merupakan klaim substantif tentang data, bukan sekadar ringkasan topik; rigour dalam analisis kualitatif dicapai melalui triangulasi, negative case analysis, audit trail, dan reflexivity, bukan melalui replikasi prosedur statistik
  4. Kekuatan mixed methods evaluasi terletak pada integrasi β€” bukan pada penggunaan dua metode yang berjalan paralel tanpa dialog satu sama lain; integrasi interpretatif menggunakan temuan satu metode untuk menjelaskan, mengkonfirmasi, atau menantang temuan metode lain; divergensi antara temuan kuantitatif dan kualitatif bukan masalah yang harus diselesaikan tetapi temuan yang mengungkapkan kompleksitas realitas program
  5. Interpretasi yang jujur membedakan antara attribution claim (program menyebabkan perubahan) dan contribution claim (program berkontribusi pada perubahan) β€” untuk sebagian besar evaluasi program pemerintah yang tidak menggunakan desain eksperimental, contribution claim adalah yang paling defensible; temuan negatif dan mixed harus dilaporkan dengan keberanian yang sama karena sering menghasilkan guidance yang paling actionable untuk perbaikan program

F. Referensi

  1. Braun V, Clarke V. Using thematic analysis in psychology. Qualitative Research in Psychology. 2006;3(2):77-101. DOI: https://doi.org/10.1191/1478088706qp063oa
  2. Gelman A, Hill J, Vehtari A. Regression and Other Stories. Cambridge: Cambridge University Press; 2020. DOI: https://doi.org/10.1017/9781139161879
  3. Ritchie J, Spencer L. Qualitative data analysis for applied policy research. In: Bryman A, Burgess RG, eds. Analysing Qualitative Data. London: Routledge; 1994:173-194.
  4. Creswell JW, Plano Clark VL. Designing and Conducting Mixed Methods Research. 3rd ed. Thousand Oaks: SAGE; 2018.
  5. Mayne J. Useful theory of change models. Canadian Journal of Program Evaluation. 2015;30(2):119-142. DOI: https://doi.org/10.3138/cjpe.230
  6. Lincoln YS, Guba EG. Naturalistic Inquiry. Beverly Hills: SAGE; 1985.
  7. Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale: Lawrence Erlbaum; 1988.
  8. Patton MQ. Qualitative Research and Evaluation Methods. 4th ed. Thousand Oaks: SAGE; 2015.
  9. WHO. Analysing and Presenting Results. Geneva: WHO; 2000. URL: https://www.who.int/reproductivehealth/publications/monitoring/9789241502306/en
  10. Bamberger M, Rugh J, Mabry L. RealWorld Evaluation: Working Under Budget, Time, Data, and Political Constraints. 3rd ed. Thousand Oaks: SAGE; 2019.

TUGAS KELOMPOK 2 β€” SESI 1 (MINGGU 4)

Mata Kuliah: Evaluasi Program Kesehatan Reproduksi
Semester 3 | Periode 2 | Sesi 1

Identitas Tugas Detail
Jenis TugasTugas Kelompok Kedua β€” Sesi 1
MingguMinggu ke-4
MateriModul 1–4
Bobot Nilai15% dari nilai akhir mata kuliah
PengerjaanKelompok (3–4 orang, kelompok yang sama dengan TK1)
Batas PengumpulanAkhir Minggu ke-4 (7 hari sejak tugas dibuka)
Format LuaranLaporan Analisis Data, format Word atau PDF
Panjang1.800–2.500 kata (tidak termasuk tabel, lampiran, dan referensi)
ReferensiMinimal 5 referensi dalam format Vancouver

PETUNJUK PENGERJAAN

  1. Tugas ini adalah latihan analisis data evaluasi menggunakan dataset simulasi yang disediakan β€” kelompok tidak perlu mengumpulkan data baru
  2. Dataset terdiri dari dua bagian: (A) data survei kuantitatif simulasi dalam format spreadsheet, dan (B) empat transkrip wawancara simulasi dalam format teks β€” keduanya tersedia di LMS
  3. Kelompok harus melakukan analisis sesungguhnya menggunakan software statistik dan analisis kualitatif, bukan hanya mendiskusikan bagaimana analisis akan dilakukan
  4. Laporan harus menunjukkan jejak analitik yang transparan: pembaca harus dapat mengikuti proses dari data mentah ke interpretasi

πŸ—‚οΈ DATASET SIMULASI

Dataset A β€” Survei Kuantitatif (n = 120 responden)
Dataset mencakup variabel berikut untuk remaja peserta program KB Pasca Persalinan:

  • Variabel demografis: usia, pendidikan, status pernikahan, kabupaten (A, B, atau C)
  • Pengetahuan KB pasca persalinan: skor 0–20 (pre-program dan post-program)
  • Utilisasi layanan: jumlah kunjungan ke klinik dalam 6 bulan
  • Metode KB yang digunakan (kategorik)
  • Skor kepuasan layanan: 0–100
  • Variabel sosial-ekonomi: quintile pendapatan

Dataset B β€” Transkrip Wawancara (4 informan)

  • Informan 1: Ibu pasca persalinan, Kabupaten A, menggunakan KB implan
  • Informan 2: Ibu pasca persalinan, Kabupaten B, tidak menggunakan KB
  • Informan 3: Bidan koordinator, Kabupaten A
  • Informan 4: Kader Posyandu, Kabupaten C

TUGAS

Kelompok Anda bertugas menyusun Laporan Analisis Data yang mencakup empat bagian:

Bagian 1 β€” Analisis Deskriptif dan Cakupan Program (Β±400 kata + tabel/grafik)

Menggunakan Dataset A:
Lakukan dan laporkan analisis deskriptif lengkap:

  • Karakteristik demografis responden (tabel frekuensi dan persentase)
  • Distribusi variabel outcome utama (skor pengetahuan, utilisasi layanan, metode KB)
  • Analisis cakupan: proporsi yang menggunakan KB pasca persalinan secara keseluruhan DAN per kabupaten
  • Analisis equity: apakah cakupan berbeda berdasarkan quintile pendapatan? Visualisasikan dengan grafik yang tepat

Untuk setiap temuan deskriptif yang paling penting: berikan interpretasi satu paragraf yang menghubungkan angka dengan implikasi program.

Bagian 2 β€” Analisis Inferensial (Β±500 kata + tabel hasil)

Menggunakan Dataset A:
Lakukan dua analisis inferensial berikut:

Analisis 2a β€” Pre-Post Comparison: Uji apakah terdapat perbedaan yang signifikan dalam skor pengetahuan KB sebelum dan sesudah program. Pilih uji statistik yang tepat, jalankan, dan laporkan hasil lengkap (statistik uji, df, p-value, effect size, CI 95%).

Analisis 2b β€” Faktor yang Berhubungan dengan Utilisasi Layanan: Lakukan analisis regresi untuk mengidentifikasikan faktor-faktor yang berhubungan secara independen dengan utilisasi layanan (jumlah kunjungan ke klinik). Laporkan unadjusted dan adjusted estimates.

Untuk setiap analisis: interpretasikan hasil secara lengkap β€” termasuk signifikansi statistik, signifikansi praktis, dan keterbatasan kausal yang harus diakui.

Bagian 3 β€” Analisis Tematik Kualitatif (Β±600 kata + thematic map)

Menggunakan Dataset B:
Lakukan thematic analysis mengikuti proses Braun & Clarke (2006):

  • Dokumentasikan proses coding awal (lampirkan contoh 10–15 kode awal dari satu transkrip)
  • Identifikasikan 3–4 tema yang menjawab pertanyaan evaluasi: "Apa yang mempengaruhi keputusan ibu pasca persalinan untuk menggunakan atau tidak menggunakan KB?"
  • Buat thematic map yang menggambarkan hubungan antar tema
  • Untuk setiap tema: tuliskan deskripsi tema (2–3 kalimat) dan dukung dengan satu kutipan representatif dari transkrip

Bagian 4 β€” Integrasi dan Interpretasi (Β±700 kata)

Integrasikan temuan dari Bagian 1–3 untuk menjawab pertanyaan evaluasi utama: "Seberapa efektif program KB Pasca Persalinan ini, dan faktor apa yang menentukan efektivitasnya?"

Bagian ini harus:

  • Membangun joint display yang menampilkan temuan kuantitatif dan kualitatif per kabupaten secara berdampingan
  • Mengidentifikasikan minimal satu konvergensi dan satu divergensi yang bermakna antara temuan kuantitatif dan kualitatif
  • Membuat contribution claim yang didukung bukti β€” bukan attribution claim yang berlebihan
  • Mengakui keterbatasan analisis yang paling kritis
  • Mengakhiri dengan tiga rekomendasi yang spesifik, actionable, dan berbasis bukti untuk perbaikan program

RUBRIK PENILAIAN

Komponen Indikator Penilaian Bobot
Bagian 1 β€” Deskriptif Kelengkapan analisis; ketepatan visualisasi; kedalaman interpretasi equity 20%
Bagian 2 β€” Inferensial Ketepatan pilihan uji; kelengkapan pelaporan (statistik, ES, CI); kejujuran tentang keterbatasan kausal 25%
Bagian 3 β€” Kualitatif Rigor proses coding; kedalaman tema (claim, bukan topik); kualitas thematic map 25%
Bagian 4 β€” Integrasi Kualitas joint display; kedalaman analisis konvergensi/divergensi; ketepatan contribution claim; spesifisitas rekomendasi 30%

REFERENSI MINIMAL YANG DISARANKAN

  1. Braun V, Clarke V. Using thematic analysis in psychology. Qualitative Research in Psychology. 2006;3(2):77-101.
  2. Gelman A, Hill J, Vehtari A. Regression and Other Stories. Cambridge University Press; 2020.
  3. Creswell JW, Plano Clark VL. Designing and Conducting Mixed Methods Research. 3rd ed. Thousand Oaks: SAGE; 2018.
  4. Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2nd ed. Hillsdale: Lawrence Erlbaum; 1988.
  5. Bamberger M, Rugh J, Mabry L. RealWorld Evaluation. 3rd ed. Thousand Oaks: SAGE; 2019.

Malang, Maret 2026
Penyusun