A. Deskripsi Modul
Juli 2025. Sebuah Puskesmas di kabupaten terpencil, Sulawesi Tenggara.
Dr. Farid duduk di ruang tunggu yang sempit bersama seorang bidan muda bernama Rini. Laporan evaluasi sudah diserahkan sebulan lalu. Kepala Dinas sudah membaca executive summary. Rekomendasi sudah disetujui dalam rapat koordinasi.
Tapi hari ini Dr. Farid kembali ke lapangan bukan untuk mengumpulkan data. Ia datang karena sebuah pertanyaan yang terus mengganggunya sejak laporan diselesaikan: mengapa dua program yang dirancang identik — dengan anggaran yang sama, kurikulum yang sama, dan pelatihan yang sama — menghasilkan hasil yang sangat berbeda di Kabupaten A dan Kabupaten B?
Rini, bidan yang mengelola program di Kabupaten A yang berhasil, mencoba menjelaskan. "Pak Dokter, di sini kami tidak jalankan program seperti yang tertulis di panduan. Panduan bilang konseling harus 30 menit — kami tidak punya waktu 30 menit per klien. Jadi kami modifikasi: konseling singkat dulu, lalu kirim ke grup WhatsApp bidan yang kami buat khusus untuk follow-up pertanyaan. Kadang kami konsultasi jam 10 malam. Itu yang bikin klien kami loyal."
Dr. Farid mencatat. Ini bukan di dalam laporan evaluasi saya. Saya mengukur output dan outcome — tapi saya tidak memahami bagaimana program ini benar-benar bekerja di lapangan.
Ia menyadari bahwa evaluasi Sesi 1 — yang berfokus pada desain, pengumpulan data, analisis, dan pelaporan — baru menjawab apakah program menghasilkan perubahan. Sesi 2 ini akan membangun kapasitas yang berbeda dan lebih dalam: bagaimana program bekerja, mengapa hasilnya berbeda antar konteks, dan apa yang harus diubah untuk memperbaiki program di dunia nyata yang penuh dengan keterbatasan, adaptasi, dan inovasi yang tidak tertulis dalam panduan.
Evaluasi implementasi — kadang disebut process evaluation atau fidelity evaluation — adalah pendekatan yang berfokus bukan pada apakah program menghasilkan dampak, tetapi pada bagaimana program dijalankan: seberapa setia pada desain aslinya, di mana terjadi adaptasi, mengapa adaptasi terjadi, dan apa konsekuensinya bagi efektivitas. Modul ini membangun landasan konseptual dan metodologis untuk evaluasi implementasi program kesehatan reproduksi.
C. Materi Inti
C.1. Fondasi Evaluasi Implementasi
C.1.1. Mengapa Evaluasi Implementasi Sering Lebih Penting dari Evaluasi Dampak
⚖️ PARADOKS PROGRAM YANG EFEKTIF DI ATAS KERTAS
- Banyak intervensi kesehatan reproduksi yang terbukti efektif dalam RCT gagal menghasilkan dampak ketika direplikasi di sistem nyata
- Penyebab paling umum: bukan karena intervensinya tidak efektif — tetapi karena intervensinya tidak diimplementasikan seperti yang dimaksudkan
CONTOH KLASIK:
→ Program peer education remaja: efektif dalam RCT dengan peer educator yang terlatih intensif, supervisi ketat, dan materi standar
→ Ketika direplikasi di 200 sekolah: peer educator hanya mendapat pelatihan 1 hari (bukan 3 minggu), tidak ada supervisi, materi dimodifikasi untuk "menyesuaikan budaya lokal"
→ Hasilnya: tidak ada dampak — bukan karena model tidak valid, tetapi karena yang diimplementasikan bukan model yang sama
TIGA PERTANYAAN EVALUASI IMPLEMENTASI:
❓ PERTANYAAN 1 — FIDELITY
"Apakah program diimplementasikan sesuai desain?"
- Seberapa setia pada komponen kritis yang membuat program efektif?
- Di mana dan mengapa terjadi deviasi?
🔄 PERTANYAAN 2 — ADAPTASI
"Adaptasi apa yang terjadi, dan apakah adaptasi itu tepat?"
- Tidak semua adaptasi adalah masalah: adaptasi kontekstual yang mempertahankan "active ingredients" bisa meningkatkan relevansi tanpa mengurangi efektivitas
- Adaptasi yang menghilangkan komponen kritis adalah masalah
⚙️ PERTANYAAN 3 — MEKANISME
"Bagaimana program menghasilkan (atau gagal menghasilkan) perubahan?"
- Ini menghubungkan evaluasi implementasi dengan theory of change
- Komponen mana yang benar-benar aktif menghasilkan perubahan?
- Mekanisme apa yang bekerja untuk sub-populasi yang berbeda?
HUBUNGAN EVALUASI IMPLEMENTASI DENGAN EVALUASI DAMPAK:
- Evaluasi dampak tanpa evaluasi implementasi: seperti uji coba obat tanpa memeriksa apakah pasien benar-benar meminum obatnya dan dengan dosis yang tepat
- Temuan negatif dari evaluasi dampak tidak dapat diinterpretasikan tanpa data implementasi: apakah program tidak efektif, atau tidak diimplementasikan?
- Temuan positif juga memerlukan data implementasi: komponen mana yang berkontribusi pada efektivitas?
💊 DOSE-RESPONSE RELATIONSHIP
Konsep dari farmakologi yang sangat berguna untuk evaluasi program
- Jika peserta yang mendapat "dosis" program lebih tinggi (lebih banyak sesi, lebih banyak kontak dengan petugas) menunjukkan outcome yang lebih baik: ini adalah bukti mekanistik yang mendukung kausalitas
- Cara operasionalisasi: ukur "dosis" yang diterima setiap peserta (bukan hanya apakah mereka "ikut program") dan analisis hubungannya dengan outcome
C.1.2. Kerangka Evaluasi Implementasi
📊 FRAMEWORK DUSENBURY ET AL. (2003) — DIMENSI FIDELITY:
✅ ADHERENCE
Apakah komponen-komponen yang dimaksudkan disampaikan?
Ukur: checklist komponen yang seharusnya ada vs. yang benar-benar ada
Contoh untuk program KB pasca persalinan: apakah semua metode KB dijelaskan? Apakah konseling tentang efek samping diberikan?
📦 DOSE DELIVERED
Berapa banyak program yang disampaikan (dari sisi penyedia)?
Ukur: jumlah sesi, total waktu, jumlah klien yang terjangkau
👥 DOSE RECEIVED
Berapa banyak program yang diterima dan diproses peserta (dari sisi penerima)?
Berbeda dari dose delivered: seseorang bisa hadir dalam sesi tetapi tidak terlibat
Ukur: engagement (tingkat partisipasi aktif), comprehension (pemahaman materi)
⭐ QUALITY
Seberapa baik program disampaikan?
Ukur: kompetensi petugas, kualitas materi, kondisi lingkungan
🔍 PROGRAM DIFFERENTIATION
Apakah program dapat dibedakan dari aktivitas rutin lainnya?
Penting untuk evaluasi dampak: jika program tidak jelas berbeda dari "business as usual", sulit mengatribusikan perubahan
🤝 PARTICIPANT RESPONSIVENESS
Seberapa antusias dan terlibat peserta?
Ukur: kepuasan, engagement selama sesi, aplikasi pasca sesi
🧭 NORMALIZATION PROCESS THEORY (NPT — MAY ET AL.):
💡 Teori yang menjelaskan bagaimana intervensi baru diintegrasikan (atau tidak) ke dalam praktik rutin
Sangat berguna untuk evaluasi program KR yang diintegrasikan ke dalam layanan Puskesmas
🧩 COHERENCE
Apakah petugas memahami dan memaknai program secara konsisten?
"Apa program ini dan apa bedanya dari yang sudah kami lakukan?"
Tanpa coherence: petugas mengimplementasikan program dengan pemahaman yang berbeda-beda
🤝 COGNITIVE PARTICIPATION
Apakah petugas terlibat secara aktif dan committed?
"Apakah ini program saya atau program yang dipaksakan kepada saya?"
Tanpa ini: program dijalankan secara minimal (compliance without commitment)
⚙️ COLLECTIVE ACTION
Apakah program dapat diintegrasikan ke dalam alur kerja yang ada?
"Bagaimana saya menjalankan ini di antara semua tanggung jawab saya yang lain?"
Ini adalah hambatan paling umum di Puskesmas yang sudah overloaded
🔄 REFLEXIVE MONITORING
Apakah petugas mengevaluasi dan menyesuaikan implementasi secara informal?
"Apakah ini berhasil? Apa yang perlu saya ubah?"
Ini adalah mekanisme adaptasi yang sehat — dan yang dilakukan Rini dengan grup WhatsApp-nya
🎯 RE-AIM FRAMEWORK (GLASGOW ET AL.):
REACH: Siapa yang dijangkau? Apakah representatif dari populasi target?
Pertanyaan kritis equity: apakah kelompok yang paling membutuhkan terjangkau?
EFFECTIVENESS: Apakah program menghasilkan perubahan?
Termasuk: efek samping yang tidak diinginkan
ADOPTION: Berapa banyak settings/sites yang mengadopsi program?
Karakteristik: settings yang mengadopsi vs. yang tidak
IMPLEMENTATION: Seberapa konsisten program diimplementasikan di berbagai settings?
Variasi implementasi antar site
MAINTENANCE: Apakah program dipertahankan dalam jangka panjang?
Baik di level individu (apakah perubahan perilaku bertahan?) maupun level sistem (apakah program dilanjutkan?)
C.2. Dimensi Implementasi yang Kritis untuk Program KR
C.2.1. Fidelity vs. Adaptasi: Menemukan Keseimbangan
🤔 DILEMA FIDELITY-ADAPTATION:
✅ ARGUMEN UNTUK FIDELITY YANG KETAT
- Intervensi terbukti efektif dalam kondisi tertentu — mengubahnya berisiko menghilangkan "active ingredients"
- Adaptasi yang tidak terkontrol membuat evaluasi dampak sulit: "program" yang berbeda di setiap site bukan program yang sama
- Standarisasi memungkinkan perbandingan dan replikasi
🔄 ARGUMEN UNTUK ADAPTASI YANG FLEKSIBEL
- Program yang dirancang di Jakarta tidak otomatis tepat untuk Sulawesi Tenggara
- Adaptasi kontekstual dapat meningkatkan relevansi dan penerimaan tanpa mengurangi efektivitas
- Petugas yang tidak boleh beradaptasi kehilangan agency dan komitmen terhadap program
🔑 KERANGKA "CORE COMPONENTS vs. ADAPTABLE ELEMENTS":
🔴 CORE COMPONENTS (TIDAK BOLEH DIUBAH)
Komponen yang diidentifikasikan sebagai mekanisme aktif berdasarkan ToC
Contoh untuk program konseling KB:
- Informed consent untuk pemilihan metode (CORE — tidak bisa dihilangkan)
- Penjelasan semua metode KB yang tersedia (CORE)
- Waktu konseling minimal (CORE — tapi durasinya bisa fleksibel)
🟡 ADAPTABLE ELEMENTS (DAPAT DISESUAIKAN)
Aspek implementasi yang dapat disesuaikan tanpa mengubah mekanisme inti
Contoh:
- Media yang digunakan (leaflet, video, WhatsApp — fleksibel)
- Bahasa dan terminologi (harus disesuaikan konteks lokal)
- Urutan komponen (bisa disesuaikan dengan alur kerja)
- Setting konseling (klinik, rumah, posyandu — fleksibel)
🔍 EVALUASI ADAPTASI:
Cara menilai apakah adaptasi yang terjadi tepat atau bermasalah:
- LANGKAH 1 — IDENTIFIKASI ADAPTASI: Dokumentasikan semua deviasi dari protokol standar. Sumber data: observasi, wawancara petugas, review dokumen
- LANGKAH 2 — KATEGORIKAN: Apakah adaptasi ini modifikasi core component atau adaptable element? Apakah adaptasi ini karena keterbatasan sumber daya (terpaksa) atau karena penilaian profesional (disengaja)?
- LANGKAH 3 — NILAI KONSEKUENSI: Apakah adaptasi ini berkorelasi dengan outcome yang lebih baik atau lebih buruk? Apakah ada rasionalitas teoritis yang mendukung adaptasi ini?
- LANGKAH 4 — REKOMENDASI: Adaptasi yang meningkatkan efektivitas tanpa mengubah core: pertimbangkan untuk di-formalize dalam protokol. Adaptasi yang menghilangkan core component: address sebagai masalah fidelity yang perlu diperbaiki
C.2.2. Faktor Kontekstual yang Mempengaruhi Implementasi
🌍 KONTEKS SEBAGAI VARIABEL AKTIF
- Konteks bukan sekadar "latar belakang" yang pasif — konteks secara aktif membentuk bagaimana program diimplementasikan dan apakah ia efektif
- Evaluasi implementasi yang baik memetakan faktor kontekstual yang paling relevan untuk program yang dievaluasi
FAKTOR KONTEKSTUAL UNTUK PROGRAM KR DI INDONESIA:
🏥 LEVEL FASILITAS
Kepemimpinan:
- Dukungan atau resistensi Kepala Puskesmas sangat menentukan
- Kepala Puskesmas yang mendukung: mengalokasikan waktu khusus, melindungi staf dari tugas konflik, memprioritaskan program dalam rapat
- Kepala Puskesmas yang netral atau resistif: program berjalan dengan energi minimal
Budaya Organisasi:
- Apakah Puskesmas memiliki budaya pembelajaran dan perbaikan, atau budaya compliance tanpa refleksi?
- Rini dan grup WhatsApp-nya adalah contoh budaya pembelajaran
Beban Kerja:
- Puskesmas yang kekurangan staf atau overloaded dengan program lain: implementasi program baru selalu terkorbankan
- Fenomena "program fatigue": petugas yang sudah mengelola 12 program berbeda tidak dapat memberikan perhatian yang cukup untuk program ke-13
Infrastruktur:
- Ruang konseling tersedia atau tidak
- Konektivitas internet untuk data dan komunikasi
- Stok logistik KB yang konsisten
👥 LEVEL KOMUNITAS
Norma Sosial dan Budaya:
- Norma tentang KB, seksualitas, dan peran gender
- Kepercayaan terhadap sistem kesehatan formal
- Peran tokoh agama dan adat dalam kesehatan reproduksi
Akses Geografis:
- Jarak dan waktu tempuh ke fasilitas
- Ketersediaan transportasi
- Implikasi: program yang dirancang untuk Puskesmas perlu dimodifikasi untuk menjangkau komunitas terpencil
Kondisi Sosial-Ekonomi:
- Kemiskinan sebagai barrier akses: biaya transportasi, opportunity cost (waktu yang dihabiskan di klinik adalah waktu yang tidak bekerja)
- Pendidikan dan literasi kesehatan mempengaruhi comprehension dan engagement
🏛️ LEVEL SISTEM
Kebijakan dan Regulasi:
- Dukungan atau hambatan kebijakan nasional dan daerah
- Kesesuaian program dengan JKN dan sistem pembiayaan yang ada
- Persyaratan pelaporan yang memberatkan
Dukungan dan Supervisi:
- Kualitas dan frekuensi supervisi dari Dinkes
- Sistem mentoring dan capacity building yang berkelanjutan
- Feedback loop: apakah data kinerja dikembalikan ke fasilitas dengan cara yang berguna?
C.3. Metode Evaluasi Implementasi
C.3.1. Penilaian Fidelity: Instrumen dan Prosedur
📋 FIDELITY ASSESSMENT CHECKLIST:
Dikembangkan dari komponen program yang terdokumentasi dalam panduan implementasi.
STRUKTUR STANDAR:
- Bagian A — PENILAIAN KOMPONEN (ADHERENCE): Daftar setiap komponen kritis program. Skala penilaian: Tidak dilakukan (0) / Dilakukan sebagian (1) / Dilakukan sepenuhnya (2). Sumber data: observasi langsung atau review rekam medis
- Bagian B — KUALITAS PELAKSANAAN: Untuk komponen yang dilakukan: seberapa baik? Skala: 1 (sangat buruk) — 5 (sangat baik). Indikator kualitas: spesifik untuk setiap komponen
- Bagian C — KONTEKS DAN HAMBATAN: Faktor apa yang mempengaruhi implementasi hari ini? Catatan observer tentang kondisi yang tidak biasa
CONTOH FIDELITY CHECKLIST UNTUK KONSELING KB PASCA PERSALINAN:
KOMPONEN 1 — Penilaian kebutuhan KB dan riwayat kontrasepsi
□ Tidak dilakukan
□ Dilakukan sebagian (ditanya tapi tidak dicatat)
□ Dilakukan sepenuhnya (ditanya dan didokumentasikan)
KOMPONEN 2 — Informasi tentang semua metode KB yang tersedia
□ Tidak dilakukan
□ 1-2 metode disebutkan
□ Semua metode dijelaskan dengan keuntungan/kerugian
KOMPONEN 3 — Informed consent untuk metode yang dipilih
□ Tidak ada consent
□ Consent verbal saja
□ Consent tertulis dengan penjelasan komplikasi dan hak menolak
KOMPONEN 4 — Instruksi tentang penggunaan dan follow-up
□ Tidak diberikan
□ Instruksi singkat tanpa jadwal follow-up
□ Instruksi lengkap dengan jadwal follow-up yang didokumentasikan
🔍 PENGUMPULAN DATA FIDELITY:
👁️ OBSERVASI LANGSUNG
- Metode terbaik untuk penilaian fidelity
- Tantangan: observer effect (petugas berperilaku berbeda ketika diobservasi)
- Mitigasi: multiple observations selama periode berbeda
- Informed consent klien: wajib, dengan hak untuk menolak
📄 REVIEW REKAM MEDIS
- Verifikasi dokumentasi komponen yang seharusnya dicatat
- Lebih efisien dari observasi untuk volume besar
- Keterbatasan: hanya menangkap yang terdokumentasi, bukan apa yang sesungguhnya terjadi
🗣️ WAWANCARA PETUGAS
- Self-report fidelity: "Apa yang biasanya Anda lakukan ketika klien datang untuk KB pasca persalinan?"
- Berguna untuk memahami persepsi petugas tentang protokol dan mengidentifikasi hambatan
- Tidak dapat diandalkan sebagai satu-satunya sumber data fidelity karena social desirability
🕵️ MYSTERY CLIENT
- "Klien" terlatih yang berpura-pura sebagai klien nyata untuk menilai kualitas layanan
- Sangat valid untuk menilai fidelity tanpa observer effect
- Pertimbangan etis: deception yang harus dijustifikasi dengan kebutuhan data yang tidak dapat diperoleh dengan cara lain, dan debrief setelah observasi
C.3.2. Analisis Dosis-Respons dan Profil Implementasi
💊 DOSE-RESPONSE ANALYSIS:
- LANGKAH 1 — OPERASIONALISASIKAN "DOSIS": Tentukan satuan dosis yang relevan. Contoh untuk program KR remaja: Jumlah sesi yang dihadiri (0, 1, 2, 3, atau semua sesi); Total durasi kontak dengan program (jam); Skor engagement (composite dari kehadiran + partisipasi aktif)
- LANGKAH 2 — UKUR DOSIS PER PESERTA: Tracking kehadiran per individu. Catatan petugas tentang partisipasi
- LANGKAH 3 — ANALISIS: Bandingkan outcome antar kelompok dosis. Metode: ANOVA, regresi linear, atau analisis kategori dosis. Visualisasi: scatter plot dosis vs. outcome, atau bar chart per kategori dosis
INTERPRETASI:
- Dose-response relationship yang positif: bukti mekanistik yang mendukung bahwa program berkontribusi pada perubahan
- Tidak ada dose-response: mungkin ada threshold effect (dosis minimum tertentu sudah cukup), atau faktor lain yang mendominasi
📊 PROFIL IMPLEMENTASI ANTAR SITE:
Untuk evaluasi multi-site (beberapa Puskesmas atau kabupaten): buat profil implementasi per site
Profil mencakup: skor fidelity keseluruhan, skor per dimensi, variasi dalam site, konteks kunci
FORMAT VISUAL PROFIL IMPLEMENTASI:
| Site |
Adherence |
Kualitas |
Reach |
Maintenance |
Konteks Kunci |
| PKM A |
87% |
4.2/5 |
91% |
Tinggi |
Kepala PKM suportif, ruang konseling ada |
| PKM B |
61% |
3.1/5 |
74% |
Rendah |
Staf turnover tinggi, tidak ada ruang konseling |
| PKM C |
78% |
3.9/5 |
83% |
Sedang |
Beban kerja tinggi, adaptasi kreatif |
- Profil ini segera mengungkapkan variasi implementasi yang menjelaskan perbedaan outcome
- PKM A dengan adherence tinggi dan konteks suportif: outcome terbaik
- PKM B dengan adherence rendah dan konteks menantang: outcome terburuk
- PKM C menunjukkan bahwa adaptasi kreatif (seperti Rini) dapat mempertahankan outcome yang baik meskipun adherence tidak sempurna
C.4. Evaluasi Implementasi dalam Konteks Program KR Indonesia
C.4.1. Tantangan Spesifik Implementasi Program KR di Sistem Kesehatan Indonesia
🗂️ DESENTRALISASI DAN VARIASI IMPLEMENTASI:
→ Desentralisasi kesehatan di Indonesia menciptakan variasi yang sangat besar dalam kapasitas dan komitmen implementasi
→ Program KR nasional yang dirancang oleh Kemenkes diimplementasikan oleh 514 kabupaten/kota dengan kapasitas yang sangat berbeda
→ Implikasi evaluasi: tidak bisa mengevaluasi "program nasional" sebagai entitas tunggal — perlu memetakan variasi implementasi sebagai bagian dari evaluasi
📦 MULTI-PROGRAM ENVIRONMENT:
→ Puskesmas di Indonesia mengelola rata-rata 20+ program vertikal dari berbagai kementerian dan lembaga
→ Setiap program memiliki sistem pelaporan, target, dan kunjungan supervisi tersendiri
→ "Program fatigue" dan "reporting fatigue" adalah fenomena nyata yang menghambat implementasi berkualitas
→ Evaluasi implementasi program KR harus mempertimbangkan kompetisi ini untuk waktu dan perhatian petugas
👩⚕️ TENAGA KESEHATAN DAN KOMPETENSI:
→ Kompetensi bidan dalam konseling KR sangat bervariasi
→ Pelatihan pra-jabatan sering tidak mencakup konseling kontrasepsi yang memadai
→ Pelatihan in-service: satu kali, tidak berkelanjutan, tidak ada follow-up
→ Implikasi evaluasi: skor fidelity rendah sering bukan karena petugas tidak mau — tetapi karena tidak mampu (belum pernah melihat konseling yang baik dilakukan secara langsung)
💻 SISTEM INFORMASI DAN AKUNTABILITAS:
→ Data SIMPUS yang tidak lengkap dan tidak akurat membuat monitoring implementasi sangat sulit
→ Tidak ada feedback loop yang efektif: data yang dikumpulkan tidak dikembalikan ke fasilitas dalam bentuk yang berguna untuk perbaikan
→ Target berbasis cakupan angka (bukan kualitas) menciptakan insentif yang salah: melaporkan angka yang memenuhi target, bukan melaporkan realitas
🏘️ COMMUNITY READINESS:
→ Program KR yang efektif memerlukan tidak hanya sistem kesehatan yang siap, tetapi komunitas yang siap menerima program
→ Community Readiness Model (Tri-Ethnic Center, Colorado): mengukur kesiapan komunitas di 9 dimensi dan 6 tahap (No Awareness → Preplanning → Preparation → Initiation → Stabilization → Confirmation/Expansion → Professionalization → Community Ownership)
→ Program yang diluncurkan sebelum komunitas siap akan menghadapi resistensi dan utilisasi rendah yang tidak dapat diatasi hanya dengan supply-side intervention