Evaluasi Program Penjaminan Mutu KIA

Metodologi, Pengukuran Dampak, dan Pembelajaran Berkelanjutan

Semester 3 | Periode 1 | MK Penjaminan Mutu & Akreditasi Layanan KIA (4 SKS) | Sesi 2 | Modul 9

Dr.dr. Budi Siswanto, Sp.OG., Subsp.Obginsos., SH., S.Kom.

📊 Fokus: Evaluasi & Pembelajaran 📋 Tugas Kelompok 4 — Minggu 9 🔍 Mixed Methods & Attribution

📋 Daftar Isi Modul

A. Deskripsi Modul

Desember 2024. Ruang kerja Dr. Nadia. Akhir tahun pertama program.

Di mejanya terbuka sebuah dokumen: "Laporan Evaluasi Akhir Tahun — Program Penjaminan Mutu KIA RSUD Kabupaten Muna 2024." Ia telah menulisnya selama tiga hari terakhir.

Angka-angkanya menggembirakan di permukaan: partograf lengkap naik dari 48% ke 89%. AMTSL dari 67% ke 94%. Sistem pelaporan insiden yang dulu tidak berfungsi kini menerima rata-rata 6 laporan per bulan. Drill kegawatan dilakukan dua kali. Risk register dibuat dan diperbarui tiga kali.

Tetapi ketika ia membaca ulang bagian kesimpulan, sesuatu mengganjal.

Apakah semua ini benar-benar menghasilkan perbedaan bagi pasien?

AKI kabupaten masih belum keluar data finalnya. Satu kematian maternal terjadi di bulan Oktober — seorang ibu berusia 24 tahun dengan perdarahan postpartum yang tidak tertolong karena kapasitas transfusi darah di RS yang tidak memadai. Sistem AMTSL yang sudah meningkat tidak dapat menyelamatkannya karena masalahnya ada di tempat lain.

Apakah program saya mengevaluasi hal yang tepat? Apakah saya mengukur perubahan yang sesungguhnya bermakna? Dan bagaimana saya tahu bahwa perubahan yang saya lihat disebabkan oleh program saya — bukan oleh sesuatu yang lain?

Pertanyaan-pertanyaan yang dihadapi Dr. Nadia di penghujung tahun ini adalah pertanyaan yang paling sulit dan paling penting dalam penjaminan mutu: bagaimana mengevaluasi apakah program QI benar-benar bekerja? Modul ini membangun kapasitas untuk evaluasi program yang rigorous — dari desain evaluasi yang tepat, pengukuran dampak yang valid, hingga pembelajaran yang dihasilkan dari evaluasi untuk memperkuat program di siklus berikutnya.

B. Capaian Pembelajaran Modul

Setelah menyelesaikan modul ini, peserta didik mampu:

  1. Membedakan jenis-jenis evaluasi program QI — evaluasi proses, evaluasi outcome, dan evaluasi dampak — dan memilih desain yang sesuai dengan tujuan dan sumber daya yang tersedia
  2. Merancang kerangka evaluasi yang menghubungkan secara eksplisit aktivitas program dengan indikator keberhasilan yang terukur di setiap level logic model
  3. Menganalisis secara kritis tantangan atribusi dalam evaluasi QI — membedakan perubahan yang disebabkan program dari perubahan yang terjadi karena faktor lain
  4. Menggunakan metode evaluasi campuran (mixed methods) untuk membangun pemahaman yang komprehensif tentang mengapa program berhasil atau gagal
  5. Mengintegrasikan temuan evaluasi ke dalam siklus pembelajaran program yang berkelanjutan

C. Materi Inti

C.1. Kerangka Evaluasi Program QI

C.1.1. Mengapa Evaluasi Sering Dilakukan dengan Buruk

⚠️ MASALAH UMUM EVALUASI PROGRAM QI
❌ MASALAH 1 — EVALUASI SEBAGAI PELAPORAN
  • Evaluasi dipahami sebagai "laporan akhir" yang menyusun apa yang sudah dilakukan
  • Pertanyaan yang dijawab: "Apa yang kita lakukan?"
  • Pertanyaan yang seharusnya dijawab: "Apakah yang kita lakukan menghasilkan perubahan yang kita inginkan — dan mengapa?"
❌ MASALAH 2 — MENGUKUR OUTPUT BUKAN OUTCOME
  • "Kita sudah melatih 24 bidan" (output)
  • Bukan: "Kompetensi bidan meningkat dan ini terbukti dari X" (outcome)
  • Bukan: "Praktik klinis berubah dan pasien mendapat layanan yang lebih baik" (impact)
❌ MASALAH 3 — CONFIRMATION BIAS
  • Evaluator (yang sering adalah juga pelaksana program) cenderung mencari bukti keberhasilan
  • Data negatif atau ambigu diabaikan atau diminimalkan
❌ MASALAH 4 — ATRIBUSI YANG SALAH
  • Seperti yang dihadapi Dr. Nadia: sesuatu berubah — tetapi apakah karena program kita?
  • Tanpa desain evaluasi yang tepat: tidak bisa menjawab pertanyaan ini dengan keyakinan
❌ MASALAH 5 — TERLALU DINI ATAU TERLALU LAMBAT
  • Evaluasi yang dilakukan terlalu cepat setelah intervensi: perubahan outcome belum terlihat
  • Evaluasi yang dilakukan terlalu lambat: tidak ada lagi kesempatan untuk memperbaiki program jika bermasalah

TIPOLOGI EVALUASI PROGRAM:

🔧 FORMATIVE EVALUATION (EVALUASI FORMATIF)

Tujuan: memperbaiki program yang sedang berjalan

Dilakukan: selama implementasi, secara berkelanjutan

Pertanyaan utama: "Apakah program berjalan sesuai rencana? Apa yang perlu disesuaikan?"

Output: rekomendasi perbaikan yang dapat diimplementasikan segera

Contoh: monitoring bulanan indikator proses; review PDSA setiap siklus

⚙️ PROCESS EVALUATION (EVALUASI PROSES)

Tujuan: memahami bagaimana program diimplementasikan

Pertanyaan utama: "Apakah program diimplementasikan sesuai desain? Apakah ada variasi yang tidak direncanakan?"

Output: pemahaman tentang fidelity implementasi dan faktor kontekstual yang mempengaruhi

Contoh: apakah pelatihan dilakukan sesuai kurikulum? Berapa persen staf yang sesungguhnya mengikuti? Apa yang terjadi yang tidak direncanakan?

📈 OUTCOME EVALUATION (EVALUASI OUTCOME)

Tujuan: mengukur apakah program menghasilkan perubahan yang diharapkan

Pertanyaan utama: "Apakah outcome yang ditargetkan tercapai?"

Output: data tentang perubahan indikator outcome sebelum dan sesudah

Contoh: apakah % AMTSL meningkat? Apakah rate perdarahan postpartum turun?

🎯 IMPACT EVALUATION (EVALUASI DAMPAK)

Tujuan: mengukur apakah perubahan yang diamati dapat diatribusikan kepada program (bukan faktor lain)

Pertanyaan utama: "Apakah program ini yang menyebabkan perubahan?"

Output: estimasi dampak kausal program

Catatan: Paling rigorous tetapi paling sulit dan mahal untuk dilakukan

MEMILIH JENIS EVALUASI YANG TEPAT:

🏥 Untuk Program QI di Fasilitas Tunggal
  • Formative evaluation: SELALU dilakukan (ini adalah PDSA)
  • Process evaluation: PENTING untuk memahami mengapa program berhasil atau gagal
  • Outcome evaluation: DIPERLUKAN untuk menunjukkan bahwa program menghasilkan sesuatu
  • Impact evaluation: SULIT di fasilitas tunggal tanpa kelompok kontrol; gunakan quasi-experimental designs sebagai pendekatan praktis
🌐 Untuk Program Multi-Site

(misalnya program Dinkes yang mencakup beberapa Puskesmas)

  • Semua jenis evaluasi lebih feasible
  • Impact evaluation menggunakan comparison sites yang tidak mendapat program
  • Memungkinkan randomisasi atau quasi-experimental designs yang lebih kuat

C.2. Desain Evaluasi: Dari Kerangka Evaluasi ke Pertanyaan Spesifik

C.2.1. Membangun Kerangka Evaluasi Berbasis Logic Model

🔗 HUBUNGAN EVALUASI DENGAN LOGIC MODEL

Logic model yang sudah dirancang (Modul 6) adalah fondasi evaluasi:

INPUTS
Evaluasi: ketersediaan sumber daya
→
ACTIVITIES
Evaluasi proses: fidelity implementasi
→
OUTPUTS
Evaluasi proses: produk langsung
→
SHORT-TERM
Evaluasi outcome: pengetahuan, sikap
→
MEDIUM-TERM
Evaluasi outcome: proses layanan
→
LONG-TERM
Evaluasi dampak: outcome populasi

EVALUABILITY ASSESSMENT:

Sebelum merancang evaluasi: tanyakan apakah program ini dapat dievaluasi dengan cara yang bermakna

Kondisi yang diperlukan untuk evaluasi yang berguna:

  1. TUJUAN YANG JELAS: Apakah ada aim statement yang spesifik dan terukur? Tanpa aim yang jelas: tidak ada yang bisa dievaluasi
  2. INDIKATOR YANG TERSEDIA: Apakah data yang diperlukan dapat dikumpulkan? Apakah baseline data ada atau dapat direkonstruksi?
  3. TIMEFRAME YANG REALISTIS: Apakah perubahan yang ditargetkan realistis untuk terlihat dalam periode evaluasi? AKI kabupaten tidak akan berubah secara terukur karena program 6 bulan di satu RS — tetapi indikator proses bisa
  4. PLAUSIBLE THEORY OF CHANGE: Apakah ada alasan yang masuk akal bahwa aktivitas program akan menghasilkan outcome yang ditargetkan? Jika teori perubahannya lemah: bahkan evaluasi yang sempurna pun tidak akan menghasilkan temuan yang bermakna

KERANGKA EVALUASI — STRUKTUR STANDAR:

🎯 TUJUAN EVALUASI

Pernyataan eksplisit tentang mengapa evaluasi dilakukan dan apa keputusan yang akan diinformasikan

❓ PERTANYAAN EVALUASI

3-5 pertanyaan spesifik yang akan dijawab. Bukan terlalu luas ("apakah program berhasil?") tetapi cukup spesifik untuk dapat dijawab dengan data. Contoh yang baik: "Apakah kepatuhan AMTSL meningkat dari baseline 67% menjadi ≥ 90% pada minggu ke-12 di unit kamar bersalin RSUD Muna?"

📊 INDIKATOR DAN SUMBER DATA

Untuk setiap pertanyaan evaluasi: indikator yang spesifik, sumber data, metode pengumpulan, frekuensi

🔬 DESAIN EVALUASI

Pre-post / interrupted time series / comparison group / mixed methods — pilih yang sesuai dengan pertanyaan dan sumber daya

📅 TIMEFRAME

Kapan baseline dikumpulkan? Kapan midline (jika ada)? Kapan endline?

📝 ANALISIS DAN PELAPORAN

Bagaimana data akan dianalisis? Kepada siapa hasil akan dilaporkan? Dalam format apa?

CONTOH KERANGKA EVALUASI PROGRAM AMTSL DR. NADIA:

TUJUAN EVALUASI: Menilai efektivitas program peningkatan AMTSL dan mengidentifikasikan faktor yang mendukung atau menghambat keberlanjutannya

PERTANYAAN EVALUASI:

  1. Apakah % persalinan dengan AMTSL yang terdokumentasi meningkat dari 67% (baseline) menjadi ≥ 90% dalam 12 minggu? (outcome evaluation)
  2. Apakah kompetensi bidan dalam melakukan AMTSL meningkat setelah pelatihan refresher, diukur melalui simulasi? (short-term outcome)
  3. Apakah program diimplementasikan sesuai rencana — berapa % bidan mengikuti pelatihan, berapa supervisory visit dilakukan? (process evaluation)
  4. Faktor apa yang memfasilitasi atau menghambat peningkatan kepatuhan AMTSL? (process evaluation kualitatif)
  5. Apakah rate perdarahan postpartum berubah dalam periode yang sama? (medium-term outcome)

INDIKATOR DAN SUMBER DATA:

C.3. Tantangan Atribusi dan Desain Quasi-Experimental

C.3.1. Masalah Atribusi dalam Evaluasi QI

🔍 APA ITU MASALAH ATRIBUSI

Pertanyaan atribusi: "Apakah perubahan yang kita amati disebabkan oleh program kita — atau oleh sesuatu yang lain?"

Mengapa ini sulit:

  • Layanan kesehatan adalah sistem yang kompleks: banyak hal terjadi bersamaan
  • Perubahan yang kita amati bisa disebabkan oleh:
    • Program kita
    • Program lain yang berjalan bersamaan
    • Perubahan kebijakan nasional/daerah
    • Musim atau siklus (misalnya: musim hujan yang mempengaruhi utilisasi fasilitas)
    • Perubahan dalam kualitas pelaporan
    • Regression to the mean: fasilitas yang dipilih untuk program karena kinerjanya buruk akan cenderung membaik sendiri

FAKTOR-FAKTOR YANG MENGANCAM VALIDITAS INTERNAL EVALUASI:

📅 HISTORY: Peristiwa eksternal yang terjadi bersamaan dengan program yang mungkin menjelaskan perubahan. Contoh: program vaksinasi nasional berjalan bersamaan dengan program QI kita
👴 MATURATION: Perubahan yang terjadi seiring waktu — staf yang berpengalaman menjadi lebih kompeten, sistem yang berjalan lama menjadi lebih efisien. Sulit dipisahkan dari dampak program
🧪 TESTING: Pengukuran berulang dapat mengubah perilaku yang diukur. Staf tahu bahwa AMTSL dimonitor → meningkatkan kepatuhan bahkan tanpa intervensi konten
🎯 SELECTION BIAS: Fasilitas yang berpartisipasi dalam program mungkin sudah lebih termotivasi atau berkompeten dari yang tidak
📉 REGRESSION TO THE MEAN: Fasilitas dipilih untuk program karena kinerjanya buruk → kinerjanya akan cenderung membaik dengan sendirinya menuju rata-rata, independen dari program

DESAIN EVALUASI YANG MENGATASI TANTANGAN ATRIBUSI:

🥇 GOLD STANDARD — RCT (Randomized Controlled Trial)
  • Fasilitas atau individu secara acak mendapat intervensi atau tidak
  • Mengatasi hampir semua ancaman validitas internal
  • Praktis tidak mungkin untuk evaluasi program QI di fasilitas tunggal
  • Etis bermasalah: menahan intervensi yang diyakini bermanfaat dari kelompok kontrol

QUASI-EXPERIMENTAL DESIGNS:

1️⃣ INTERRUPTED TIME SERIES (ITS)
  • Pengukuran indikator secara berulang sebelum dan sesudah intervensi
  • Analisis: apakah ada perubahan dalam level atau tren yang terjadi tepat pada waktu intervensi?
  • Kelebihan: tidak memerlukan kelompok kontrol; dapat dilakukan dengan data yang tersedia secara rutin
  • Kelemahan: rentan terhadap history bias — peristiwa lain yang terjadi bersamaan dapat mengkonfundir

Contoh untuk AMTSL: Kumpulkan data % AMTSL selama 6 bulan sebelum intervensi (12 titik data mingguan) → Implementasikan program pelatihan + supervisory visit → Kumpulkan data selama 6 bulan sesudah → Analisis: apakah ada perubahan level (shift langsung) atau perubahan tren yang bertepatan dengan waktu intervensi?

2️⃣ CONTROLLED ITS

(Interrupted Time Series with Comparison Group)

  • Sama seperti ITS tetapi ditambah satu atau lebih fasilitas yang tidak mendapat intervensi sebagai pembanding
  • Kontrol lebih kuat terhadap history bias
  • Memerlukan data dari fasilitas pembanding yang serupa
3️⃣ DIFFERENCE IN DIFFERENCES
  • Membandingkan perubahan di fasilitas yang mendapat intervensi vs. yang tidak, sebelum dan sesudah
  • Mengendalikan perbedaan baseline antara kelompok

PENDEKATAN PRAKTIS UNTUK EVALUASI QI DI FASILITAS TUNGGAL:

Ketika RCT dan controlled designs tidak feasible:

  1. PENDEKATAN 1 — ITS YANG KETAT: Kumpulkan data baseline selama minimal 3-6 bulan sebelum intervensi. Dokumentasikan semua peristiwa lain yang terjadi bersamaan yang mungkin mempengaruhi outcome. Analisis: apakah ada pola yang jelas dari data time series?
  2. PENDEKATAN 2 — CONTRIBUTION ANALYSIS: Tidak mencoba membuktikan kausalitas tetapi membangun argumen yang meyakinkan bahwa program berkontribusi. Langkah: (1) tetapkan teori perubahan; (2) kumpulkan bukti bahwa setiap langkah dalam teori perubahan terjadi; (3) periksa penjelasan alternatif dan tunjukkan mengapa less plausible. Output: narasi yang meyakinkan tentang kontribusi program, bukan klaim kausalitas yang kuat.
  3. PENDEKATAN 3 — MIXED METHODS: Data kuantitatif menunjukkan bahwa perubahan terjadi. Data kualitatif (wawancara staf dan pasien) menjelaskan mekanisme: "Apa yang berbeda sekarang? Mengapa perilaku berubah?" Triangulasi dari dua sumber memberikan gambaran yang lebih meyakinkan dari satu sumber saja.

C.4. Mixed Methods dalam Evaluasi Program QI

C.4.1. Mengapa Kuantitatif Saja Tidak Cukup

⚠️ KETERBATASAN DATA KUANTITATIF DALAM EVALUASI QI
  • Data kuantitatif dapat menunjukkan BAHWA sesuatu berubah tetapi tidak menjelaskan MENGAPA
  • Tanpa pemahaman tentang mengapa: tidak tahu apa yang perlu dipertahankan jika berhasil, atau apa yang perlu diubah jika gagal
  • Angka yang baik dengan pemahaman mekanisme yang buruk: program berikutnya tidak bisa belajar dari yang ini

CONTOH: Program AMTSL berhasil meningkatkan kepatuhan dari 67% ke 89%. Data kuantitatif: berhasil. Tetapi: apakah karena pelatihan? Karena supervisory visit? Karena run chart yang memotivasi? Karena bidan senior yang menjadi champion? Karena kombinasinya? Tanpa data kualitatif: tidak tahu mana komponen yang paling berkontribusi dan mana yang dapat dikurangi jika sumber daya terbatas.

METODE KUALITATIF UNTUK EVALUASI QI:

🗣️ WAWANCARA MENDALAM (In-Depth Interview)

Cocok untuk: memahami perspektif individu yang kompleks, pengalaman personal dengan program, hambatan yang tidak mudah diungkap dalam kelompok

Dengan siapa: staf kunci yang terlibat dalam program, staf yang tidak terlibat (mengapa?), pasien yang menerima layanan

👥 FOCUS GROUP DISCUSSION

Cocok untuk: memahami dinamika kelompok, norma sosial, pandangan bersama vs. pandangan individual

Dengan siapa: tim bidan kamar bersalin; kelompok ibu postpartum

👁️ OBSERVASI

Cocok untuk: memahami praktik nyata vs. yang dilaporkan, interaksi tim, faktor lingkungan

  • Observasi terstruktur: menggunakan checklist
  • Observasi etnografis: mengamati secara naturalistik
📄 DOCUMENT REVIEW
  • Rekam medis untuk verifikasi
  • Notulen rapat tim untuk memahami dinamika
  • Laporan insiden untuk pola yang tidak terlihat dari angka

ANALISIS KUALITATIF YANG RIGOR:

THEMATIC ANALYSIS:
  1. Familiarisasi dengan data (baca transkip berulang)
  2. Generate initial codes: unit makna yang berulang
  3. Kelompokkan codes menjadi tema yang lebih besar
  4. Review tema: apakah mencerminkan data?
  5. Definisikan dan namai tema
  6. Tulis temuan dengan kutipan yang mendukung

MEMBER CHECKING: Kembalikan temuan sementara kepada peserta untuk verifikasi. "Apakah ini mencerminkan apa yang Anda maksudkan?" Meningkatkan validitas temuan.

INTEGRASI MIXED METHODS:

🔄 CONVERGENT DESIGN
  • Data kuantitatif dan kualitatif dikumpulkan bersamaan
  • Dianalisis secara terpisah
  • Kemudian diintegrasikan: apakah keduanya mengarah ke kesimpulan yang sama?
  • Jika converge: kesimpulan lebih meyakinkan
  • Jika diverge: ada sesuatu yang menarik untuk dipahami lebih dalam
📊 EXPLANATORY SEQUENTIAL DESIGN
  • Fase 1: data kuantitatif menunjukkan pola
  • Fase 2: data kualitatif menjelaskan mengapa pola itu ada
  • Cocok untuk evaluasi QI: run chart menunjukkan kapan terjadi perubahan, kemudian wawancara menjelaskan apa yang berbeda pada titik itu

CONTOH INTEGRASI UNTUK EVALUASI PROGRAM AMTSL:

Kuantitatif menunjukkan:

  • Kepatuhan AMTSL meningkat minggu 1-6, plateau di minggu 7-8, kemudian naik lagi minggu 9-12
  • Peningkatan paling besar di shift pagi; shift malam meningkat lebih lambat

Kualitatif (FGD bidan) menjelaskan:

  • "Plateau di minggu 7-8 karena Bidan Senior Wati cuti selama dua minggu — saat ia tidak ada, supervisi shift pagi menurun"
  • "Shift malam lebih lambat karena kami masih merasa tidak percaya diri saat sendirian"

Integrasi memberikan pemahaman yang jauh lebih actionable:

  • Program terlalu bergantung pada satu supervisor kunci
  • Bidan junior masih perlu lebih banyak dukungan untuk shift malam
  • Intervensi selanjutnya: distribusi kepemimpinan + buddy system shift malam

C.5. Dari Evaluasi ke Pembelajaran: Menutup Loop

C.5.1. Menggunakan Temuan Evaluasi untuk Memperkuat Program

❓ MENGAPA PEMBELAJARAN DARI EVALUASI SERING TIDAK TERJADI
  • Laporan evaluasi ditulis dan diarsip tanpa digunakan
  • Tidak ada forum yang terstruktur untuk mendiskusikan temuan secara kritis
  • Temuan negatif disembunyikan karena "memalukan" bagi program
  • Tidak ada mekanisme untuk menghubungkan temuan evaluasi dengan keputusan program berikutnya

PRINSIP EVALUATIVE THINKING:

Evaluative thinking bukan sekadar melakukan evaluasi sesekali — tetapi membangun pola pikir yang selalu bertanya:

Ini adalah pola pikir yang sama dengan PDSA — tetapi diterapkan pada level program, bukan hanya intervensi spesifik.

LEARNING LOOPS DALAM PROGRAM QI:

🔄
SHORT LOOP (mingguan/bulanan)
Run chart diupdate → Tim mendiskusikan: ada perubahan? Mengapa? → Keputusan segera: lanjutkan / ubah / hentikan → Ini adalah formative evaluation dalam aksi
📊
MEDIUM LOOP (triwulanan/semesteran)
Review lebih mendalam: semua indikator, proses evaluasi, data kualitatif dari observasi dan wawancara → Pertanyaan: apakah program berjalan sesuai teori perubahan? Asumsi mana yang perlu direvisi? → Keputusan: penyesuaian signifikan dalam program
🎯
LONG LOOP (tahunan)
Evaluasi komprehensif → Pertanyaan: apakah program ini masih yang paling tepat untuk masalah ini? Apakah ada pendekatan yang lebih efektif? → Keputusan: lanjutkan dengan penyesuaian / redesain / hentikan dan ganti strategi

AFTER ACTION REVIEW (AAR):

Metode pembelajaran yang sederhana dan efektif, berasal dari militer AS:

4 pertanyaan AAR:

  1. APA YANG DIRENCANAKAN? Apa aim dan rencana yang ada?
  2. APA YANG SESUNGGUHNYA TERJADI? Apa yang benar-benar terjadi? Apa yang berbeda dari rencana?
  3. MENGAPA ADA PERBEDAAN? Faktor apa yang menjelaskan gap antara rencana dan kenyataan?
  4. APA YANG AKAN KITA LAKUKAN BERBEDA? Pelajaran yang akan diterapkan ke depan?

Karakteristik AAR yang efektif:

KOMUNIKASI TEMUAN EVALUASI:

👥 KEPADA TIM PROGRAM
  • Format: diskusi informal dengan data visual
  • Nada: "kita belajar bersama" bukan "ini adalah hasilmu"
  • Fokus: implikasi untuk langkah selanjutnya
💼 KEPADA MANAJEMEN
  • Format: laporan ringkas 1-2 halaman dengan rekomendasi yang jelas
  • Nada: berbasis keputusan — "ini temuan kita, ini yang kita rekomendasikan, ini yang kita perlukan dari Anda"
  • Penting: Jangan sembunyikan temuan negatif: manajemen perlu tahu agar dapat mendukung perbaikan
🏛️ KEPADA REGULATOR DAN DONOR
  • Format: laporan formal dengan metodologi yang transparan
  • Sertakan temuan negatif dengan analisis mengapa dan rencana perbaikan
  • Evaluasi yang jujur tentang kegagalan jauh lebih berguna dari laporan keberhasilan yang tidak akurat
🌐 KEPADA KOMUNITAS PROFESIONAL
  • Publikasi atau presentasi dalam seminar
  • Pembelajaran dari satu fasilitas dapat berguna bagi banyak fasilitas lain
  • Studi kasus: "ini yang kita lakukan, ini yang terjadi, ini yang kita pelajari" — bahkan jika tidak berhasil penuh

EVALUASI DAN AKREDITASI:

Akreditasi mensyaratkan fasilitas untuk menunjukkan bahwa program PMKP menghasilkan perbaikan:

D. Pertanyaan Diskusi (Thread Dosen — Minggu 9)

Modul 9 memiliki Tugas Kelompok 4 yang dikumpulkan Minggu ke-9. Thread diskusi di bawah ini adalah refleksi paralel.

Pertanyaan 1: Dr. Nadia menghadapi pertanyaan yang sulit: apakah peningkatan AMTSL dan partograf yang ia amati benar-benar disebabkan oleh programnya, atau oleh faktor lain? Menggunakan kerangka tantangan atribusi dan desain quasi-experimental: (a) identifikasikan minimal tiga ancaman validitas internal yang paling relevan dalam evaluasi program Dr. Nadia dan jelaskan mengapa masing-masing relevan dalam konteks spesifik ini; (b) rancang desain Interrupted Time Series yang dapat Dr. Nadia terapkan secara retroaktif menggunakan data yang sudah ada — termasuk berapa titik data minimum yang diperlukan, titik intervensi yang jelas, dan bagaimana menginterpretasikan pola yang muncul; (c) menggunakan contribution analysis, bangun argumen yang meyakinkan (meskipun tidak dapat membuktikan kausalitas secara penuh) bahwa program Dr. Nadia berkontribusi terhadap perubahan yang diamati.

Pertanyaan 2: Anda diminta merancang evaluasi komprehensif untuk program QI KIA yang baru saja selesai tahun pertamanya di sebuah Dinkes Kabupaten yang mencakup 12 Puskesmas. Program mencakup: pelatihan PONED untuk bidan, pendampingan akreditasi, dan implementasi sistem AMP. Sumber daya evaluasi sangat terbatas: satu staf evaluasi dan anggaran Rp 25 juta. (a) rancang kerangka evaluasi dengan 4 pertanyaan evaluasi yang paling penting — berikan justifikasi mengapa pertanyaan-pertanyaan ini dipilih di atas yang lain; (b) pilih desain evaluasi yang paling tepat untuk menjawab pertanyaan tentang efektivitas program dalam keterbatasan sumber daya ini; (c) rancang rencana sampling untuk data kualitatif — dari 12 Puskesmas dan ratusan bidan, bagaimana Anda memilih siapa yang akan diwawancara dan mengapa?

E. Rangkuman

  1. Evaluasi program QI yang bermakna jauh melampaui pelaporan aktivitas — ia harus menjawab apakah program menghasilkan perubahan yang diinginkan dan mengapa; empat jenis evaluasi yang melengkapi satu sama lain (formative, process, outcome, impact) memberikan gambaran yang komprehensif, dan pemilihan jenis evaluasi yang tepat bergantung pada pertanyaan yang paling penting untuk dijawab, sumber daya yang tersedia, dan keputusan yang akan diinformasikan
  2. Kerangka evaluasi yang dibangun di atas logic model memastikan bahwa setiap komponen program memiliki indikator keberhasilan yang jelas di setiap level — dari input hingga long-term impact; evaluability assessment sebelum merancang evaluasi menghindari investasi dalam evaluasi program yang tujuannya tidak jelas, datanya tidak tersedia, atau periode waktu yang tidak realistis untuk melihat perubahan outcome
  3. Tantangan atribusi adalah tantangan terbesar dalam evaluasi QI — perubahan yang diamati dapat disebabkan oleh program, oleh faktor eksternal, atau oleh kombinasi keduanya; desain quasi-experimental seperti Interrupted Time Series dan contribution analysis memberikan pendekatan praktis untuk membangun argumen yang meyakinkan tentang kontribusi program tanpa memerlukan RCT yang tidak feasible dalam konteks fasilitas kesehatan Indonesia
  4. Mixed methods menggabungkan kekuatan data kuantitatif (menunjukkan bahwa dan seberapa besar perubahan terjadi) dengan data kualitatif (menjelaskan mengapa dan mekanisme apa yang bekerja) untuk menghasilkan pemahaman yang jauh lebih actionable — integrasi dua sumber data ini, terutama ketika keduanya converge, menghasilkan kesimpulan yang lebih meyakinkan dari satu metode saja, dan ketika keduanya diverge menghasilkan pertanyaan yang penting untuk diselidiki lebih dalam
  5. Nilai evaluasi tidak terletak pada laporan yang dihasilkan tetapi pada pembelajaran yang digunakan untuk memperkuat program — learning loops yang berbeda frekuensinya (mingguan, triwulanan, tahunan) memastikan temuan evaluasi menginformasikan keputusan pada waktu yang tepat; After Action Review adalah metode sederhana yang dapat dilakukan oleh tim manapun untuk mengekstrak pembelajaran secara sistematis, dan budaya evaluative thinking yang menormalkan pertanyaan "apa yang bekerja dan mengapa" adalah prasyarat untuk program QI yang benar-benar berkembang dari waktu ke waktu

F. Referensi

  1. Patton MQ. Utilization-Focused Evaluation. 4th ed. Thousand Oaks: SAGE; 2008.
  2. Rossi PH, Lipsey MW, Henry GT. Evaluation: A Systematic Approach. 8th ed. Thousand Oaks: SAGE; 2019.
  3. Mayne J. Contribution analysis: coming of age? Evaluation. 2012;18(3):270-280. DOI: https://doi.org/10.1177/1356389012451663
  4. Penfold RB, Zhang F. Use of interrupted time series analysis in evaluating health care quality improvements. Academic Pediatrics. 2013;13(6 Suppl):S38-44. DOI: https://doi.org/10.1016/j.acap.2013.08.002
  5. Creswell JW, Plano Clark VL. Designing and Conducting Mixed Methods Research. 3rd ed. Thousand Oaks: SAGE; 2017.
  6. Braun V, Clarke V. Using thematic analysis in psychology. Qualitative Research in Psychology. 2006;3(2):77-101. DOI: https://doi.org/10.1191/1478088706qp063oa
  7. Dixon-Woods M, Martin GP. Does quality improvement improve quality? Future Hospital Journal. 2016;3(3):191-194. DOI: https://doi.org/10.7861/futurehosp.3-3-191
  8. Berwick DM. The question of improvement. JAMA. 2012;307(19):2093-2094. DOI: https://doi.org/10.1001/jama.2012.4146
  9. WHO. A Framework for the Integration of Quality Improvement and Evaluation in Health. Geneva: WHO; 2022. URL: https://www.who.int/publications/i/item/9789240041455
  10. Kementerian Kesehatan RI. Pedoman Monitoring dan Evaluasi Program KIA. Jakarta: Kemenkes RI; 2022. URL: https://www.kemkes.go.id

TUGAS KELOMPOK 4 — SESI 2 (MINGGU 9)

Mata Kuliah: Penjaminan Mutu & Akreditasi Layanan KIA
Semester 3 | Periode 1 | Sesi 2

Identitas Tugas Detail
Jenis TugasTugas Kelompok Keempat — Sesi 2
MingguMinggu ke-9
MateriModul 6–9 (penekanan pada Modul 9)
Bobot Nilai15% dari nilai akhir mata kuliah
Komposisi Kelompok3–4 orang (kelompok yang sama)
Batas PengumpulanAkhir Minggu ke-9 (7 hari sejak tugas dibuka)
Format Luaran(1) Kerangka evaluasi lengkap; (2) Laporan evaluasi naratif; (3) Rencana pembelajaran dan tindak lanjut
Panjang Laporan2.500–3.200 kata narasi (tidak termasuk tabel kerangka evaluasi)
ReferensiMinimal 6 referensi dalam format Vancouver

PETUNJUK PENGERJAAN

  1. Tugas ini mensimulasikan pekerjaan evaluasi nyata — kelompok berperan sebagai tim evaluasi eksternal yang diminta menilai program QI yang sudah berjalan satu tahun
  2. Bagian 1 (kerangka evaluasi) harus diselesaikan sebelum menganalisis data — ini melatih kebiasaan menetapkan pertanyaan evaluasi sebelum melihat data
  3. Bagian 2 (analisis data) memerlukan pemikiran kritis yang jujur — data yang disajikan sengaja ambigus dan tidak semua mengindikasikan keberhasilan
  4. Bagian 3 (pembelajaran) adalah yang paling penting dalam konteks penjaminan mutu — temuan evaluasi hanya bermakna jika menghasilkan pembelajaran yang ditindaklanjuti

🗺️ SKENARIO: "Setahun Berjalan: Menilai yang Sesungguhnya Terjadi"

Program Peningkatan Mutu KIA Kabupaten Konawe, Sulawesi Tenggara. Satu tahun yang lalu, Dinkes Kabupaten Konawe meluncurkan program komprehensif yang mencakup 8 Puskesmas PONED. Program dirancang oleh Dr. Tara, SpOG., Subsp.Obginsos., sebagai konsultan teknis, dengan tiga komponen utama:

Komponen 1 — Penguatan Kapasitas Klinis:

  • Pelatihan refresher PONED 3 hari untuk semua bidan (64 bidan di 8 Puskesmas)
  • Pengembangan dan distribusi SOP kegawatan obstetri yang distandarisasi
  • Drill kegawatan obstetri 2 kali per Puskesmas

Komponen 2 — Penguatan Sistem Mutu:

  • Pendampingan implementasi sistem pelaporan insiden sederhana
  • Pelatihan penggunaan partograf dan AMTSL berbasis observasi langsung
  • Implementasi checklist pre-persalinan di semua Puskesmas

Komponen 3 — Penguatan Jejaring:

  • Penguatan sistem rujukan melalui grup WhatsApp koordinasi lintas fasilitas
  • Pertemuan koordinasi bulanan bidan koordinator 8 Puskesmas dengan Dinkes

Anggaran program: Rp 480 juta (60 juta per Puskesmas) Periode: Januari–Desember 2024

DATA YANG TERSEDIA UNTUK EVALUASI:

📊 DATA KUANTITATIF — INDIKATOR PROSES:
Indikator Baseline (Des 2023) 6 Bulan (Jun 2024) Endline (Des 2024) Target
% persalinan dengan partograf lengkap 54% 71% 83% ≥90%
% persalinan dengan AMTSL 61% 78% 88% ≥95%
% kasus komplikasi dengan respons ≤15 menit 48% 59% 67% ≥80%
Jumlah laporan insiden per bulan (total 8 Pkm) 1,2 4,8 7,3 ≥15
% bidan yang mendapat pelatihan PONED tahun ini 0% 72% 89% 100%
% drill kegawatan selesai sesuai jadwal — 50% 75% 100%
📈 DATA KUANTITATIF — INDIKATOR OUTCOME:
Indikator 2023 (baseline year) 2024 (program year) Perubahan
Jumlah kematian maternal (8 Pkm) 4 3 -1
Jumlah kematian neonatal (8 Pkm) 11 9 -2
Rate PPH per 1.000 persalinan 38,2 31,4 -6,8
Rate rujukan emergensi per 1.000 persalinan 24,6 29,1 +4,5
Rata-rata waktu rujukan (diagnosis ke transfer) 68 menit 54 menit -14 menit
🗣️ DATA KUALITATIF — RINGKASAN TEMUAN:

Dari FGD dengan 24 bidan (3 per Puskesmas, dipilih secara acak):

Dari wawancara mendalam dengan 4 Kepala Puskesmas:

Catatan kontekstual dari Dr. Tara:

TUGAS

Bagian 1 — Kerangka Evaluasi (25%)

1a. Pertanyaan Evaluasi (10%)

Sebelum menganalisis data, tetapkan 5 pertanyaan evaluasi yang paling penting untuk program ini. Untuk setiap pertanyaan:

  • Rumuskan pertanyaan secara spesifik dan dapat dijawab
  • Tentukan jenis evaluasi yang tercermin (process / outcome / impact)
  • Tentukan indikator utama yang akan menjawab pertanyaan ini
  • Tentukan sumber data yang akan digunakan

1b. Kerangka Atribusi (15%)

Sebelum menganalisis data outcome:

  • Identifikasikan semua faktor eksternal yang diketahui atau dapat mendistorsi interpretasi data outcome program ini
  • Untuk setiap faktor: jelaskan arah pengaruhnya (apakah membuat program terlihat lebih berhasil, atau kurang berhasil, dari yang sesungguhnya?)
  • Rancang pendekatan analitik yang akan Anda gunakan untuk mengatasi tantangan atribusi ini — mengingat keterbatasan desain evaluasi yang tersedia (tidak ada comparison group, tidak ada randomisasi)

Bagian 2 — Analisis dan Interpretasi Data (45%)

2a. Analisis Data Proses (15%)

Analisis data indikator proses secara kritis:

  • Identifikasikan mana komponen program yang implementasinya paling kuat dan mana yang paling lemah — berikan interpretasi berbasis data, bukan sekadar deskripsi angka
  • Gunakan data kualitatif untuk menjelaskan pola yang terlihat dalam data kuantitatif — di mana keduanya converge? Di mana keduanya diverge?
  • Identifikasikan dua kesenjangan implementasi yang paling signifikan dan analisis mengapa terjadi berdasarkan data yang tersedia

2b. Analisis Data Outcome (15%)

Analisis data indikator outcome secara kritis:

  • Untuk setiap indikator outcome: buat interpretasi yang hati-hati — apakah perubahan ini mengindikasikan keberhasilan program, dan seberapa meyakinkan?
  • Berikan perhatian khusus pada dua temuan yang potensial kontradiktif: (1) rate PPH turun tetapi target AMTSL belum tercapai; (2) kematian maternal turun satu tetapi rate rujukan emergensi naik
  • Untuk kenaikan rate rujukan: apakah ini merupakan tanda keberhasilan program, kegagalan, atau keduanya? Bangun argumen yang didukung data

2c. Penilaian Atribusi (15%)

Menggunakan contribution analysis:

  • Bangun narasi tentang seberapa meyakinkan argumen bahwa program ini berkontribusi terhadap perubahan outcome yang diamati
  • Identifikasikan komponen program mana yang paling mungkin berkontribusi terhadap outcome positif yang terlihat — dan mengapa
  • Sebutkan secara eksplisit apa yang tidak dapat disimpulkan dari data yang tersedia, dan mengapa

Bagian 3 — Pembelajaran dan Tindak Lanjut (30%)

3a. Sintesis Pembelajaran Utama (15%)

Buat sintesis 5 pembelajaran utama dari evaluasi ini — bukan ringkasan temuan, tetapi pembelajaran yang actionable dan spesifik untuk pengambilan keputusan. Untuk setiap pembelajaran:

  • Nyatakan pembelajaran secara ringkas dan jelas
  • Dukung dengan bukti dari data (kuantitatif dan/atau kualitatif)
  • Jelaskan implikasinya: apa yang harus berubah dalam program selanjutnya?

3b. Rekomendasi untuk Siklus Program Berikutnya (10%)

Berdasarkan evaluasi ini, rancang rekomendasi strategis untuk Program Peningkatan Mutu KIA Kabupaten Konawe 2025:

  • Komponen mana yang harus dilanjutkan tanpa perubahan signifikan?
  • Komponen mana yang harus dimodifikasi — dan modifikasi apa yang spesifik?
  • Komponen mana yang sebaiknya dihentikan atau diganti dengan pendekatan yang berbeda?
  • Apa satu prioritas baru yang harus ditambahkan dalam program 2025 berdasarkan gap yang teridentifikasi?

3c. Rancangan After Action Review (5%)

Rancang sesi After Action Review (AAR) 90 menit yang akan membahas hasil evaluasi ini bersama tim program (Dr. Tara, 8 Koordinator KIA Puskesmas, dan perwakilan Dinkes):

  • Agenda dan alokasi waktu yang spesifik
  • 4 pertanyaan AAR yang diadaptasi untuk konteks ini
  • Bagaimana memastikan diskusi menghasilkan komitmen tindakan konkret, bukan hanya diskusi yang menarik

RUBRIK PENILAIAN

Bagian Komponen Penilaian Utama Bobot
1a — Pertanyaan Evaluasi Spesifisitas pertanyaan; relevansi dengan program; ketepatan jenis evaluasi; operasionalisasi indikator 10%
1b — Kerangka Atribusi Kelengkapan identifikasi faktor eksternal; ketepatan analisis arah pengaruh; realisme pendekatan analitik 15%
2a — Proses Kedalaman analisis (bukan sekadar deskripsi); kualitas integrasi kuantitatif-kualitatif; ketajaman identifikasi kesenjangan 15%
2b — Outcome Kehati-hatian interpretasi; kualitas analisis temuan kontradiktif; originalitas argumentasi 15%
2c — Atribusi Kualitas contribution analysis; kejujuran tentang keterbatasan; identifikasi komponen yang paling berkontribusi 15%
3a — Pembelajaran Actionability pembelajaran; dukungan bukti; kualitas implikasi 15%
3b — Rekomendasi Spesifisitas rekomendasi; koherensi dengan temuan; realisme untuk konteks kabupaten 10%
3c — AAR Kualitas agenda; relevansi pertanyaan AAR; mekanisme untuk memastikan tindakan 5%

REFERENSI MINIMAL YANG DISARANKAN

  1. Mayne J. Contribution analysis: coming of age? Evaluation. 2012;18(3):270-280.
  2. Penfold RB, Zhang F. Use of interrupted time series analysis in evaluating health care quality improvements. Acad Pediatr. 2013;13(6 Suppl):S38-44.
  3. Creswell JW, Plano Clark VL. Designing and Conducting Mixed Methods Research. 3rd ed. Thousand Oaks: SAGE; 2017.
  4. Patton MQ. Utilization-Focused Evaluation. 4th ed. Thousand Oaks: SAGE; 2008.
  5. Dixon-Woods M, Martin GP. Does quality improvement improve quality? Future Hosp J. 2016;3(3):191-194.
  6. WHO. A Framework for the Integration of Quality Improvement and Evaluation in Health. Geneva: WHO; 2022.

Malang, Maret 2026
Penyusun