Cara Memilih Acak?

1. Cara Memilih Acak? Pascaline Dupas povertyactionlab.org

2. Garis Besar Kuliah Hari Ini Topik Dasar: Bagaimana Sebenarnya Memilih Secara Acak? Kuliah ini Tinjauan atas berbagai cara memilih secara acak Meyakinkan orang/ Cara mendapatkan dukungan untuk evaluasi Kuliah sore Tingkat/ Derajat pengacakan Mekanisme pengacakan Stratifikasi (penetapan tingkatan) povertyactionlab.org

3. Cara-cara Memilih Acak povertyactionlab.org

4. Pengacakan Sederhana Pikirkan “percobaan klinis” Kumpulkan 1000 orang dan beri setengah dari mereka obatnya Dapatkah kita menerapkan gagasan ini pada program-program kemasyarakatan? povertyactionlab.org

5. Apa saja batasannya bila kita melakukan pengacakan pada situasi-situasi kemasyarakatan? povertyactionlab.org

6. Batasan-batasan Utama Tidak boleh secara signifikan mengganggu jalannya program Model “percobaan klinis” di atas jarang cocok untuk LSM Tidak boleh dipandang sebagai tak adil Harus bersifat “politically feasible” (tidak berbenturan dengan kepentingan politik mana pun) Harus etis (memenuhi norma-norma kepantasan & kesopansantunan) povertyactionlab.org

7. Sumber Daya Terbatas Banyak program mempunyai sumber-daya yang terbatas Dalam bidang-bidang pelayanan seperti: Pelatihan bagi wirausaha atau petani Program untuk sekolah atau klinik X terdapat lebih banyak calon penerima yang memenuhi syarat daripada sumber-daya yang dapat melayani Bagaimana cara mengalokasikan sumber-daya itu? povertyactionlab.org

8. Rancang Undian Pilih secara acak dari sekumpulan pelamar Dalam rancangan ini peserta diberitahu secara eksplisit bahwa “pemenang” dan “mereka yang kalah” akan mencapai hasil yang berbeda Gunakanlah apabila tak ada alasan untuk memilih di antara sekelompok kecil pelamar Undian dipandang sebagai adil Tidak harus transparan Secara politis seringkali lebih mudah dilaksanakan

9. Kepantasan & Ke”ramah-politik”an • Transparansi seringkali membantu • Bagaimana memastikan adanya kerjasama dari mereka yang kalah undian (kelompok kontrol)? • Dapatkah kita memberi sesuatu kepada daerah-daerah kontrol? • Uji A lawan B, bukan A lawan kosong povertyactionlab.org

10. Tindakan Ganda Kadang kita tak yakin intervensi macam apa yang perlu kita lakukan Maka kita dapat mengacak beragam intervensi dengan berbagai populasi (yang dipilih secara acak) Apakah kita jadi tahu akan manfaat dari suatu intervensi tertentu? Keuntungannya: sama-sama menguntungkan bagi operasinya, dapat menjawab pertanyaan bagi mereka, lebih dari sekedar “dampak”! povertyactionlab.org

11. Apa yang kita perbuat bila program menarik 500 pelamar untuk tempat yang hanya sekitar 500? Atau kurang? povertyactionlab.org

12. Rancang Undian yang tak terlalu kasat mata Satu akal: Iklankan programnya dan naikkan jumlah pelamarnya secara besar-besaran Sekarang undian dapat dilakukan Etiskah ini? povertyactionlab.org

13. Dalam hal apa undian tidak memungkinkan? povertyactionlab.org

14. Di mana undian gagal Andaikan ada 2000 pelamar Screening thd aplikasi/ kebutuhan menghasilkan 500 calon “layak” Ada 500 tempat Undian tak memungkinkan povertyactionlab.org

15. Apa yang dapat dilakukan dalam situasi ini? povertyactionlab.org

16. Solusi Potensial Banyak bagian dari suatu aturan pemilihan dirancang hanya untuk menyisihkan calon Diskusikanlah dengan partner untuk lebih memahami dasar pemikiran aturan seleksi/ penyisihan itu Apa yang dicari? Unsur-unsur apa yang harus ada? Unsur-unsur apa yang boleh ada, boleh tidak? Dapatkah kita mengubah aturan untuk memperbesar kelompok pelamar yang memenuhi syarat? Contoh: Program Pelatihan 2000 calon 1000 memenuhi kriteria, seperti cukup miskin untuk dipilih, cukup memenuhi syarat untuk menarik manfaat dari pelatihannya 250 terpilih dari 1000 berdasarkan sifat-sifat tertentu LSM bersedia menempatkan yang 250 lagi melalui undian

17. Pengacakan dalam “gelembung” • Orang-orang “dalam gelembung” adalah mereka yang nyaris memenuhi syarat • Pas di atas ambang batas  tak memenuhi syarat, namun nyaris • Bila partner tak bersedia mengacak di antara orang-orang yang memenuhi syarat, mungkin bersedia mengacak di antara mereka yang “dalam gelembung” • Berikan program kepada lebih banyak orang daripada yang direncanakan, namun lakukan pengacakan thd “orang-orang tambahan” • Dampak perlakuan/ tindakan apa yang kita ukur? Apa artinya bagi validitas eksternal?

18. Kemungkinan rancangan-rancangan acak lainnya povertyactionlab.org

19. Cari waktu yang tepat Program-program pun punya siklus kehidupan Punya tahap-tahap awal Mereka berkembang Beberapa tahapan lebih cocok diacak daripada beberapa yang lain povertyactionlab.org

20. Rancang Masuk Bertahap Dalam rancangan ini tiap orang diberitahu bahwa mereka akan tiba pada hasil yang sama, tapi beberapa lebih lambat daripada yang lain Gunakan fakta bahwa program itu akan berkembang Contoh: Dalam waktu 5 tahun, 500 sekolah akan terliput Dalam waktu 5 tahun, 250 kecamatan akan menerima kepemilikan tanah Apa yang menentukan sekolah/ kecamatan mana yang akan diliput dalam tahun yang mana? Beberapa pilihan mungkin berdasarkan kebutuhan, dampak potensial, dsb. Beberapa pilihan sangat tergantung pengambil keputusan Maka kita dapat secara acak memilih siapa yang mendapat program lebih dahulu Lakukanlah ini pada populasi yang pilihan-pilihannya bersifat arbitrer povertyactionlab.org

21. Rancang Percobaan • Pertimbangkan satu langkah sebelumnya. Anda sedang menguji suatu gagasan tertentu • Acapkali digunakan sebuah percobaan/percontohan nyata • Ini waktu yang tepat untuk melakukan pengacakan • Lakukanlah percobaan pada sekelompok kecil klien yang dipilih acak

22. Rancang Rotasi • Kelompok-kelompok menerima tindakan/ upaya perbaikan secara bergiliran • Kelompok A menerima tindakan pada periode I • Kelompok B menerima tindakan pada periode II • Keuntungannya? • Dipandang sebagai lebih adil; lebih mudah diterima • Kerugiannya? • Bila orang-orang di Kelompok B mengantisipasi bahwa mereka akan menerima tindakan di periode berikut, mereka mungkin akan bersikap lain di periode I • Tidak mungkin mengukur dampak jangka panjang karena setelah periode I tidak ada kelompok kontrol

23. Rancangan Lain povertyactionlab.org

24. Rancang Dorongan Dalam rancangan ini tiap orang langsung layak menerima program – ada cukup dana untuk meliput semua Namun mungkin tidak semua akan menggunakan kesempatan ini Pilih beberapa orang secara acak dan dorong mereka untuk menggunakan programnya Sebagai kontrol, gunakan mereka yang tidak didorong Etiskah? Pada populasi yang manakah hal ini merupakan dampak perlakuan/ tindakan? povertyactionlab.org

25. Dorongan • Apa yang dimaksud dengan “dorongan”? • Sesuatu yang membuat beberapa orang (kelompok tindakan) lebih mungkin bergabung daripada yang lain (kelompok kontrol) • Kriteria kunci: • Dorongan itu sendiri tidak boleh merupakan “perlakuan/ tindakan” • Gagasan buruk: program pelatihan intensif kewirausahaan, sebagai dorongan untuk mendapatkan kredit • Gagasan baik: pasarkan kepada beberapa orang tapi jangan semua orang; pastikan pemasarannya tidak informatif berlebihan • Pikirkanlah siapa yang menanggapi dorongan itu. Berbedakah mereka? • Gagasan buruk: berpesta dengan membagikan rokok gratis

26. Rancang Dorongan:Mengapa Ini Efektif? Contoh ekstrim dahulu: penerimaan total oleh mereka yang diberi perlakuan, tiada penerimaan oleh mereka yang tidak diberi perlakuan povertyactionlab.org

27. Rancang Dorongan:Mengapa Ini Efektif? Sekarang, tambahkan mereka yang tak menerima dalam kelompok yang didorong povertyactionlab.org

28. Rancang Dorongan:Mengapa Ini Efektif? Akhirnya, tambahkan mereka yang menerima dalam kelompok “tak didorong”… povertyactionlab.org

29. Ringkasnya: Kemungkinan Rancang-rancang Pengacakan • Undian Sederhana Tindakan / Kontrol • Undian dengan Tindakan Ganda • Pengacakan dalam “gelembung” • Undian untuk Percontohan • Masuk Bertahap secara Teracak • Rotasi • Rancang Dorongan • Catatan: Pilihan-pilihan ini tidak bersifat saling meniadakan

30. Bagaimana meyakinkan partner / pemangku kepentingan utk melakukan pengacakan?

31. Meyakinkan Para Praktisi Tiga hal kritis: Kenalilah identitas para pemain utama serta sudut pandang mereka Pasang telinga. Cari jalan untuk menjawab pertanyaan-pertanyaan operasional mereka sewaktu melakukan riset itu Budaya itu perlu Kadang sulit untuk menyatakan ketidaksetujuan. Sejatikah persetujuan mereka? povertyactionlab.org

32. Macam-macam argumen menentang pengacakan? Tapi saya sudah tahu jawabannya… (yang sebetulnya ada di pikiran): Tapi saya tidak mau ambil risiko menemukan bahwa usaha kita tidak berdampak povertyactionlab.org

33. Meyakinkan Para Praktisi Kekhawatiran spesifik yang khas: Tak mungkin mempertahankan kelompok kontrol karena informasi akan tersebar … Keadilan Ongkos Kebijakan-kebijakan SDM Lamanya penelitian Etika berekseperimen

34. Meyakinkan Para Praktisi Kontaminasi: Akan kita diskusikan lebih rinci pada hari ke 4 Pada setting tertentu, kontaminasi itu baik Jika intervensinya mengenai informasi, maka kontaminasi berarti dampak yang lebih besar Sebaiknya Anda mengatur eksperimennya agar Anda dapat mengukur dampak totalnya: Dampak langsung pada mereka yang diberi tindakan oleh program Dampak tak langsung melalui kontaminasi povertyactionlab.org

35. Meyakinkan Para Praktisi Keadilan Kasus SDM tak terbatas itu jarang Bila sumberdaya tak terbatas, “keadilan” sepenuhnya tergantung bagaimana membingkainya: Beri tiap orang 50% kemungkinan untuk menerima tindakan Beri mereka yang datang lebih dahulu sedikitnya 100% kemungkinan untuk menerima tindakan, dan 0% bagi mereka yang tidak Pemilihan acak memberi kita kesempatan untuk lebih memahami seperti apakah peserta ideal itu Bila menggunakan metode non-acak, kita mungkin membuat kesalahan, dan karenanya tidak memaksimalkan dampak povertyactionlab.org

36. Meyakinkan Para Praktisi Ongkos Tak harus lebih mahal daripada evaluasi non-eksperimental, karena ongkos mengumpulkan datanya sama Pikirkan keuntungannya: Bila evaluasi menunjukkan bhw program tdk efektif, kita akan menghemat banyak uang dengan TIDAK memperluas daerah cakupan program … Bila evaluasi menunjukkan program efektif, maka hasil evaluasinya dapat digunakan untuk mendapatkan dana lebih banyak bagi program itu povertyactionlab.org

37. Meyakinkan Para Praktisi Masalah-masalah sumber daya manusia Seringkali masalah SDM timbul jika gaji tergantung pada kinerja Maka, jika tindakan mempengaruhi kinerja, masalah mulai timbul Atau, tindakan itu sendiri dapat menyajikan pilihan yang mungkin mengancam pekerjaan mereka! Jalan keluarnya? povertyactionlab.org

38. Meyakinkan Para Praktisi Lamanya Penelitian: “kita tak mungkin menunggu beberapa tahun untuk mengetahui apakah programnya efektif atau tidak” Pemerintah membutuhkan hasil cepat agar dapat dipilih ulang … LSM membutuhkan hasil cepat untuk mendapatkan dana … Tanggapan? povertyactionlab.org

39. Meyakinkan Para Praktisi Etika bereksperimen: “Adalah salah menggunakan orang sebagai kelinci percobaan. Jika Anda pikir cara ini efektif, maka adalah salah jika tidak melakukan tindakan terhadap semua orang” Jawaban: Sumber daya terbatas. Bagaimana pun penempatan harus terjadi. Mengapa tidak belajar sambil melakukannya? Buatlah suatu kebaikan umum bagi generasi-generasi mendatang. povertyactionlab.org

40. Evaluasi yang baik akan memberitahu Anda … • Bukan hanya “Sejauh mana program Anda berhasil baik?” • Namun juga “Mengapa program itu (tidak) efektif? Bagaimana membuatnya menjadi bahkan lebih baik lagi?” • Unsur-unsur utama: • Ketahuilah pertanyaan-pertanyaan para pelaksana • Jawablah pertanyaan-pertanyaan itu • Jadikan riset ini suatu kemenangan bersama bagi (tim) operasi povertyactionlab.org