4.5.1.1 lingkungan Gunakan yang ada

Anda dapat menjalankan eksperimen dalam lingkungan yang ada, sering tanpa coding atau kemitraan.

Logistik, cara termudah untuk melakukan eksperimen digital adalah untuk overlay percobaan di atas sebuah lingkungan yang ada, memungkinkan Anda untuk menjalankan percobaan lapangan digital. Percobaan ini dapat dijalankan pada skala yang cukup besar dan tidak memerlukan kemitraan dengan perusahaan atau pengembangan perangkat lunak yang luas.

Misalnya, Jennifer Doleac dan Lukas Stein (2013) mengambil keuntungan dari pasar online (misalnya, craigslist) untuk menjalankan eksperimen yang diukur diskriminasi rasial. Doleac dan Stein diiklankan ribuan iPod, dan dengan sistematis berbagai karakteristik penjual, mereka mampu mempelajari pengaruh ras transaksi ekonomi. Selanjutnya, Doleac dan Stein digunakan skala percobaan mereka untuk memperkirakan kapan efeknya lebih besar (heterogenitas efek pengobatan) dan menawarkan beberapa ide tentang mengapa efek mungkin terjadi (mekanisme).

Sebelum studi Doleac dan Stein, ada dua pendekatan utama untuk eksperimental mengukur diskriminasi. Dalam korespondensi studi peneliti membuat resume dari orang fiksi dari berbagai ras dan menggunakan resume ini untuk, misalnya, melamar pekerjaan yang berbeda. Bertrand dan Mullainathan ini (2004) kertas dengan judul mengesankan "Apakah Emily dan Greg lebih dipekerjakan Dari Lakisha dan Jamal? Eksperimen Lapangan di Pasar Tenaga Kerja Diskriminasi "adalah ilustrasi yang indah dari sebuah studi korespondensi. Studi korespondensi memiliki biaya yang relatif rendah per observasi, yang memungkinkan seorang peneliti tunggal untuk mengumpulkan ribuan pengamatan dalam studi khas. Tapi, studi korespondensi diskriminasi rasial telah dipertanyakan karena nama berpotensi sinyal banyak hal selain ras pemohon. Artinya, nama-nama seperti Greg, Emily, Lakisha, dan Jamal mungkin menandakan kelas sosial selain untuk balapan. Dengan demikian, perbedaan dalam pengobatan untuk resume dari Greg dan Jamal mungkin karena lebih dari perbedaan ras diduga dari pelamar. Studi Audit, di sisi lain, melibatkan menyewa aktor dari berbagai ras untuk menerapkan secara pribadi untuk pekerjaan. Meskipun studi audit yang memberikan sinyal yang jelas dari ras pemohon, mereka sangat mahal per observasi, yang berarti bahwa mereka biasanya hanya memiliki ratusan pengamatan.

Dalam percobaan bidang digital mereka, Doleac dan Stein mampu menciptakan hibrida yang menarik. Mereka mampu mengumpulkan data dengan biaya yang relatif rendah per observasi-mengakibatkan ribuan pengamatan (seperti dalam studi korespondensi) -dan mereka mampu sinyal ras menggunakan foto-mengakibatkan sinyal uncounfounded jelas ras (seperti dalam studi Audit ). Dengan demikian, lingkungan online kadang-kadang memungkinkan peneliti untuk membuat pengobatan baru yang memiliki sifat yang sulit untuk membangun sebaliknya.

Iklan iPod dari Doleac dan Stein bervariasi sepanjang tiga dimensi utama. Pertama, mereka bervariasi karakteristik penjual, yang ditandai dengan tangan difoto memegang iPod [putih, hitam, putih dengan tato] (Gambar 4.12). Kedua, mereka bervariasi harga yang diminta [$ 90, $ 110, $ 130]. Ketiga, mereka bervariasi kualitas teks iklan [berkualitas tinggi dan berkualitas rendah (misalnya, kesalahan kapitalisasi dan kesalahan spelin)]. Dengan demikian, penulis memiliki 3 X 3 X 2 desain yang dikerahkan di seluruh lebih dari 300 pasar lokal mulai dari kota-kota (misalnya, Kokomo, IN dan North Platte, NE) untuk mega-kota (misalnya, New York dan Los Angeles).

Gambar 4.12: Tangan yang digunakan dalam percobaan Doleac and Stein (2013) . iPod yang dijual oleh penjual dengan karakteristik yang berbeda untuk mengukur diskriminasi dalam pasar online.

Rata-rata di semua kondisi, hasil yang lebih baik bagi penjual putih dari penjual hitam, dengan penjual bertato memiliki hasil antara. Misalnya, penjual putih menerima tawaran lebih dan memiliki harga jual akhir yang lebih tinggi. Di luar efek rata, Doleac dan Stein diperkirakan heterogenitas efek. Misalnya, salah satu prediksi dari teori sebelumnya adalah bahwa diskriminasi akan kurang di pasar yang lebih kompetitif. Menggunakan jumlah penawaran yang diterima sebagai proxy untuk persaingan pasar, penulis menemukan bahwa penjual hitam memang menerima penawaran lebih buruk di pasar dengan tingkat persaingan yang rendah. Selanjutnya, dengan membandingkan hasil untuk iklan dengan kualitas tinggi dan berkualitas rendah teks, Doleac dan Stein menemukan bahwa kualitas iklan tidak berdampak merugikan dihadapi oleh penjual hitam dan bertato. Akhirnya, mengambil keuntungan dari fakta bahwa iklan ditempatkan di lebih dari 300 pasar, penulis menemukan bahwa penjual hitam lebih kurang beruntung di kota dengan tingkat kejahatan tinggi dan segregasi perumahan yang tinggi. Tak satu pun dari hasil ini memberikan kita pemahaman yang tepat persis mengapa penjual hitam memiliki hasil yang lebih buruk, tapi, bila dikombinasikan dengan hasil penelitian lain, mereka dapat mulai untuk menginformasikan teori tentang penyebab diskriminasi rasial dalam berbagai jenis transaksi ekonomi.

Contoh lain yang menunjukkan kemampuan peneliti untuk melakukan eksperimen bidang digital dalam sistem yang ada adalah penelitian oleh Arnout van de Rijt dan rekan (2014) pada kunci keberhasilan. Dalam banyak aspek kehidupan, orang yang tampaknya serupa berakhir dengan hasil yang sangat berbeda. Satu penjelasan yang mungkin untuk pola ini adalah bahwa kecil-dan pada dasarnya acak-keuntungan dapat mengunci-in dan tumbuh dari waktu ke waktu, sebuah proses yang peneliti sebut keuntungan kumulatif. Dalam rangka untuk menentukan apakah keberhasilan awal kecil mengunci-in atau memudar, van de Rijt dan rekan (2014) melakukan intervensi ke dalam empat sistem yang berbeda menganugerahkan sukses di peserta yang dipilih secara acak, dan kemudian mengukur dampak jangka panjang dari keberhasilan sewenang-wenang ini.

Lebih khusus, van de Rijt dan rekan 1) berjanji uang untuk dipilih secara acak proyek di kickstarter.com , sebuah situs crowdfunding; 2) dinilai positif ulasan yang dipilih secara acak di situs epinions ; 3) memberikan penghargaan kepada dipilih secara acak kontributor Wikipedia ; dan 4) menandatangani dipilih secara acak petisi di change.org . Para peneliti menemukan hasil yang sangat mirip di semua empat sistem: dalam setiap kasus, peserta yang secara acak diberikan beberapa keberhasilan awal melanjutkan untuk lebih sukses berikutnya dari rekan-rekan dinyatakan benar-benar tidak bisa dibedakan mereka (Gambar 4.13). Fakta bahwa pola yang sama muncul di banyak sistem meningkatkan validitas eksternal dari hasil ini karena mengurangi kesempatan bahwa pola ini adalah artefak dari setiap sistem tertentu.

Gambar 4.13: Efek jangka panjang dari keberhasilan secara acak diberikan dalam empat sistem sosial yang berbeda. Arnout van de Rijt dan rekan (2014) 1) berjanji uang untuk dipilih secara acak proyek di kickstarter.com , sebuah situs crowdfunding; 2) dinilai positif ulasan yang dipilih secara acak di situs epinions ; 3) memberikan penghargaan kepada dipilih secara acak kontributor Wikipedia ; dan 4) menandatangani dipilih secara acak petisi di change.org .

Bersama-sama, dua contoh ini menunjukkan bahwa peneliti dapat melakukan percobaan lapangan digital tanpa perlu bermitra dengan perusahaan atau kebutuhan untuk membangun sistem digital yang kompleks. Selanjutnya, Tabel 4.2 memberikan lebih contoh yang menunjukkan kisaran apa yang mungkin ketika peneliti menggunakan infrastruktur sistem yang ada untuk memberikan hasil pengobatan dan / atau ukuran. Percobaan ini relatif murah bagi para peneliti dan mereka menawarkan tingkat tinggi realisme. Tapi, percobaan ini menawarkan peneliti kontrol terbatas atas peserta, perawatan, dan hasil yang akan diukur. Selanjutnya, untuk percobaan berlangsung hanya dalam satu sistem, peneliti perlu khawatir bahwa efek dapat didorong oleh sistem yang dinamika (misalnya, cara Kickstarter peringkat proyek atau cara yang change.org peringkat petisi, untuk informasi lebih lanjut, lihat diskusi tentang pengganggu algoritmik pada Bab 2). Akhirnya, ketika para peneliti melakukan intervensi dalam sistem bekerja, pertanyaan etis rumit muncul tentang kemungkinan membahayakan peserta, non-peserta, dan sistem. Kami akan mempertimbangkan ini pertanyaan etis secara lebih rinci dalam Bab 6, dan ada diskusi yang sangat baik dari mereka dalam lampiran van de Rijt (2014) . Trade-off yang datang dengan bekerja di sebuah sistem yang ada tidak ideal untuk setiap proyek, dan untuk alasan itu beberapa peneliti membangun sistem eksperimental mereka sendiri, topik bagian berikutnya.