4.5.1 Gunakan lingkungan yang ada

Anda dapat menjalankan eksperimen dalam lingkungan yang ada, sering tanpa coding atau kemitraan.

Secara logistik, cara termudah untuk melakukan eksperimen digital adalah melapisi eksperimen Anda di atas lingkungan yang ada. Eksperimen semacam itu dapat dijalankan dalam skala yang cukup besar dan tidak memerlukan kemitraan dengan perusahaan atau pengembangan perangkat lunak yang ekstensif.

Misalnya, Jennifer Doleac dan Luke Stein (2013) mengambil keuntungan dari pasar online yang mirip dengan Craigslist untuk menjalankan eksperimen yang mengukur diskriminasi ras. Mereka mengiklankan ribuan iPod, dan dengan mengubah karakteristik penjual secara sistematis, mereka dapat mempelajari pengaruh ras pada transaksi ekonomi. Lebih lanjut, mereka menggunakan skala percobaan mereka untuk memperkirakan kapan efeknya lebih besar (heterogenitas efek pengobatan) dan untuk menawarkan beberapa gagasan tentang mengapa efek dapat terjadi (mekanisme).

Iklan iPod Doleac dan Stein bervariasi menurut tiga dimensi utama. Pertama, para peneliti memvariasikan karakteristik penjual, yang ditandai dengan tangan berfoto memegang iPod [putih, hitam, putih dengan tato] (gambar 4.13). Kedua, mereka memvariasikan harga yang diminta [$ 90, $ 110, $ 130]. Ketiga, mereka memvariasikan kualitas teks iklan [berkualitas tinggi dan berkualitas rendah (misalnya, kesalahan cApitalization dan kesalahan spelin)]. Dengan demikian, para penulis memiliki 3 \(\times\) 3 \(\times\) 2 desain yang dikerahkan di lebih dari 300 pasar lokal, mulai dari kota-kota (misalnya, Kokomo, Indiana dan North Platte, Nebraska) ke mega- kota-kota (misalnya, New York dan Los Angeles).

Gambar 4.13: Tangan digunakan dalam percobaan Doleac and Stein (2013) . iPod dijual oleh penjual dengan karakteristik berbeda untuk mengukur diskriminasi di pasar online. Direproduksi dengan izin dari Doleac and Stein (2013) , gambar 1.

Rata-rata di semua kondisi, hasilnya lebih baik untuk penjual putih daripada penjual hitam, dengan penjual bertato memiliki hasil menengah. Misalnya, penjual putih menerima lebih banyak penawaran dan memiliki harga jual akhir yang lebih tinggi. Di luar efek rata-rata ini, Doleac dan Stein memperkirakan heterogenitas efek. Sebagai contoh, satu prediksi dari teori sebelumnya adalah bahwa diskriminasi akan lebih sedikit di pasar di mana ada lebih banyak persaingan antara pembeli. Menggunakan jumlah penawaran di pasar itu sebagai ukuran dari jumlah persaingan pembeli, para peneliti menemukan bahwa penjual hitam memang menerima penawaran yang lebih buruk di pasar dengan tingkat persaingan yang rendah. Lebih lanjut, dengan membandingkan hasil untuk iklan dengan teks berkualitas tinggi dan berkualitas rendah, Doleac dan Stein menemukan bahwa kualitas iklan tidak mempengaruhi kerugian yang dihadapi oleh penjual hitam dan bertato. Akhirnya, mengambil keuntungan dari fakta bahwa iklan ditempatkan di lebih dari 300 pasar, penulis menemukan bahwa penjual gelap lebih dirugikan di kota-kota dengan tingkat kejahatan yang tinggi dan segregasi perumahan yang tinggi. Tak satu pun dari hasil ini memberi kita pemahaman yang tepat tentang persis mengapa penjual gelap memiliki hasil yang lebih buruk, tetapi, ketika dikombinasikan dengan hasil penelitian lain, mereka dapat mulai menginformasikan teori tentang penyebab diskriminasi rasial dalam berbagai jenis transaksi ekonomi.

Contoh lain yang menunjukkan kemampuan peneliti untuk melakukan percobaan lapangan digital dalam sistem yang ada adalah penelitian oleh Arnout van de Rijt dan rekan (2014) tentang kunci menuju sukses. Dalam banyak aspek kehidupan, orang-orang yang tampaknya serupa berakhir dengan hasil yang sangat berbeda. Satu penjelasan yang mungkin untuk pola ini adalah bahwa keuntungan kecil — dan pada dasarnya acak — dapat mengunci dan berkembang seiring waktu, suatu proses yang oleh para peneliti disebut sebagai keuntungan kumulatif . Untuk menentukan apakah keberhasilan awal kecil mengunci atau memudar, van de Rijt dan rekan (2014) campur tangan dalam empat sistem yang berbeda menganugerahkan keberhasilan pada peserta yang dipilih secara acak, dan kemudian mengukur dampak selanjutnya dari keberhasilan yang sewenang-wenang ini.

Lebih khusus lagi, van de Rijt dan rekan (1) menjanjikan uang untuk proyek-proyek yang dipilih secara acak di Kickstarter, situs web crowdfunding; (2) ulasan yang dipilih secara acak secara positif pada Epinions, situs web tinjauan hasil; (3) memberikan penghargaan kepada kontributor yang dipilih secara acak ke Wikipedia; dan (4) menandatangani petisi yang dipilih secara acak di change.org. Mereka menemukan hasil yang sangat mirip di semua empat sistem: dalam setiap kasus, peserta yang secara acak diberi beberapa keberhasilan awal kemudian melanjutkan untuk memiliki lebih banyak kesuksesan daripada rekan mereka yang benar-benar tidak dapat dibedakan (gambar 4.14). Fakta bahwa pola yang sama muncul di banyak sistem meningkatkan validitas eksternal dari hasil ini karena mengurangi kemungkinan bahwa pola ini adalah artifak dari sistem tertentu.

Gambar 4.14: Efek jangka panjang dari keberhasilan yang diberikan secara acak dalam empat sistem sosial yang berbeda. Arnout van de Rijt dan rekan (2014) (1) menjanjikan uang untuk proyek-proyek yang dipilih secara acak di Kickstarter, situs web crowdfunding; (2) ulasan yang dipilih secara acak secara positif pada Epinions, situs web tinjauan hasil; (3) memberikan penghargaan kepada kontributor yang dipilih secara acak ke Wikipedia; dan (4) menandatangani petisi yang dipilih secara acak di change.org. Diadaptasi dari Rijt et al. (2014) , gambar 2.

Bersama-sama, dua contoh ini menunjukkan bahwa peneliti dapat melakukan eksperimen lapangan digital tanpa perlu bermitra dengan perusahaan atau membangun sistem digital yang kompleks. Lebih lanjut, tabel 4.2 menyediakan lebih banyak lagi contoh yang menunjukkan kisaran dari apa yang mungkin ketika peneliti menggunakan infrastruktur sistem yang ada untuk memberikan perawatan dan / atau mengukur hasil. Eksperimen ini relatif murah bagi para peneliti dan mereka menawarkan tingkat realisme yang tinggi. Tetapi mereka menawarkan para peneliti kontrol terbatas atas peserta, perawatan, dan hasil yang akan diukur. Selanjutnya, untuk percobaan yang dilakukan hanya dalam satu sistem, peneliti perlu khawatir bahwa efeknya dapat didorong oleh dinamika spesifik sistem (misalnya, cara Kickstarter memeringkat proyek atau cara change.org memeringkat petisi; untuk informasi lebih lanjut, lihat diskusi tentang pengganggu algoritmik di bab 2). Akhirnya, ketika peneliti melakukan intervensi dalam sistem kerja, pertanyaan etis yang rumit muncul tentang bahaya yang mungkin terjadi pada peserta, non-peserta, dan sistem. Kami akan mempertimbangkan pertanyaan etis ini secara lebih rinci dalam bab 6, dan ada diskusi yang sangat bagus tentang mereka dalam apendiks van de Rijt et al. (2014) . The trade-off yang datang dengan bekerja dalam sistem yang ada tidak ideal untuk setiap proyek, dan karena alasan itu beberapa peneliti membangun sistem eksperimental mereka sendiri, seperti yang akan saya ilustrasikan berikutnya.