4.6.1 Buat nol data biaya variabel

Kunci untuk menjalankan eksperimen besar adalah mendorong biaya variabel Anda ke nol. Cara terbaik untuk melakukan ini adalah otomatisasi dan merancang eksperimen yang menyenangkan.

Eksperimen digital dapat memiliki struktur biaya yang sangat berbeda, dan ini memungkinkan para peneliti untuk menjalankan eksperimen yang tidak mungkin di masa lalu. Salah satu cara untuk memikirkan perbedaan ini adalah dengan mencatat bahwa eksperimen umumnya memiliki dua jenis biaya: biaya tetap dan biaya variabel. Biaya tetap adalah biaya yang tetap tidak berubah terlepas dari jumlah peserta. Misalnya, dalam eksperimen laboratorium, biaya tetap mungkin adalah biaya menyewa ruang dan membeli furnitur. Biaya variabel , di sisi lain, berubah tergantung pada jumlah peserta. Misalnya, dalam eksperimen laboratorium, biaya variabel mungkin berasal dari membayar staf dan peserta. Secara umum, percobaan analog memiliki biaya tetap rendah dan biaya variabel tinggi, sementara eksperimen digital memiliki biaya tetap tinggi dan biaya variabel rendah (gambar 4.19). Meskipun eksperimen digital memiliki biaya variabel rendah, Anda dapat membuat banyak peluang menarik saat Anda mendorong biaya variabel ke nol.

Gambar 4.19: Skema struktur biaya dalam percobaan analog dan digital. Secara umum, percobaan analog memiliki biaya tetap rendah dan biaya variabel tinggi sedangkan eksperimen digital memiliki biaya tetap tinggi dan biaya variabel rendah. Struktur biaya yang berbeda berarti eksperimen digital dapat berjalan pada skala yang tidak mungkin dengan percobaan analog.

Ada dua elemen utama dari biaya variabel — pembayaran kepada staf dan pembayaran kepada peserta — dan masing-masing dapat didorong ke nol dengan menggunakan strategi yang berbeda. Pembayaran kepada staf berasal dari pekerjaan yang dilakukan asisten penelitian untuk merekrut peserta, memberikan perawatan, dan mengukur hasil. Misalnya, percobaan lapangan analog Schultz dan rekan (2007) tentang penggunaan listrik membutuhkan asisten penelitian untuk melakukan perjalanan ke setiap rumah untuk memberikan perawatan dan membaca meteran listrik (gambar 4.3). Semua upaya ini oleh asisten penelitian berarti menambahkan rumah tangga baru ke dalam studi akan menambah biaya. Di sisi lain, untuk percobaan lapangan digital dari Restivo dan van de Rijt (2012) tentang pengaruh penghargaan pada editor Wikipedia, peneliti dapat menambahkan lebih banyak peserta hampir tanpa biaya. Strategi umum untuk mengurangi biaya administrasi variabel adalah mengganti pekerjaan manusia (yang mahal) dengan kerja komputer (yang murah). Secara kasar, Anda dapat bertanya pada diri sendiri: Dapatkah percobaan ini berjalan saat semua orang di tim penelitian saya sedang tidur? Jika jawabannya ya, Anda telah melakukan otomatisasi dengan sangat baik.

Jenis biaya variabel utama kedua adalah pembayaran kepada peserta. Beberapa peneliti telah menggunakan Amazon Mechanical Turk dan pasar tenaga kerja online lainnya untuk mengurangi pembayaran yang diperlukan bagi para peserta. Untuk mendorong biaya variabel ke nol, pendekatan yang berbeda diperlukan. Untuk waktu yang lama, peneliti telah merancang eksperimen yang sangat membosankan sehingga mereka harus membayar orang untuk berpartisipasi. Tetapi bagaimana jika Anda dapat membuat eksperimen yang diinginkan orang-orang? Ini mungkin terdengar tidak masuk akal, tapi saya akan memberikan contoh di bawah ini dari pekerjaan saya sendiri, dan ada lebih banyak contoh di tabel 4.4. Perhatikan bahwa gagasan merancang eksperimen yang menyenangkan ini menggemakan beberapa tema di Bab 3 tentang merancang survei yang lebih menyenangkan dan dalam bab 5 mengenai desain kolaborasi massa. Jadi, saya pikir kenikmatan partisipan — apa yang mungkin juga disebut pengalaman pengguna — akan menjadi bagian yang semakin penting dari desain penelitian di era digital.

Jika Anda ingin membuat eksperimen dengan data biaya variabel nol, Anda harus memastikan bahwa semuanya sepenuhnya otomatis dan bahwa peserta tidak memerlukan pembayaran apa pun. Untuk menunjukkan bagaimana ini mungkin, saya akan menjelaskan penelitian disertasi saya tentang keberhasilan dan kegagalan produk budaya.

Disertasi saya dimotivasi oleh sifat keberhasilan yang membingungkan untuk produk-produk budaya. Lagu-lagu hit, buku-buku terlaris, dan film blockbuster jauh lebih sukses daripada rata-rata. Karena itu, pasar untuk produk-produk ini sering disebut pasar "pemenang-ambil-semua". Namun, pada saat yang sama, lagu, buku, atau film tertentu yang akan menjadi sukses sangat tidak dapat diprediksi. Penulis skenario William Goldman (1989) elegan menyimpulkan banyak penelitian akademis dengan mengatakan bahwa, ketika datang untuk memprediksi kesuksesan, "tidak ada yang tahu apa-apa." Ketidakpastian pasar pemenang-mengambil-semua membuat saya bertanya-tanya seberapa besar kesuksesan adalah hasilnya kualitas dan berapa banyak hanya keberuntungan. Atau, diungkapkan sedikit berbeda, jika kita bisa menciptakan dunia paralel dan membuat mereka semua berkembang secara mandiri, apakah lagu yang sama akan menjadi populer di setiap dunia? Dan, jika tidak, apa yang mungkin menjadi mekanisme yang menyebabkan perbedaan-perbedaan ini?

Untuk menjawab pertanyaan-pertanyaan ini, kami — Peter Dodds, Duncan Watts (penasihat disertasi saya), dan saya — menjalankan serangkaian percobaan lapangan online. Secara khusus, kami membangun situs web bernama MusicLab tempat orang-orang dapat menemukan musik baru, dan kami menggunakannya untuk serangkaian eksperimen. Kami merekrut peserta dengan menjalankan iklan spanduk di situs web remaja (gambar 4.20) dan melalui penyebutan di media. Para peserta yang tiba di situs web kami memberikan informed consent, melengkapi kuesioner singkat latar belakang, dan secara acak ditugaskan ke salah satu dari dua kondisi eksperimental — pengaruh independen dan sosial. Dalam kondisi independen, peserta membuat keputusan tentang lagu mana yang didengarkan, hanya diberi nama band dan lagu. Sambil mendengarkan lagu, peserta diminta untuk memberi peringkat setelah mereka memiliki kesempatan (tetapi bukan kewajiban) untuk mengunduh lagu. Dalam kondisi pengaruh sosial, peserta memiliki pengalaman yang sama, kecuali mereka juga dapat melihat berapa kali setiap lagu diunduh oleh peserta sebelumnya. Selanjutnya, peserta dalam kondisi pengaruh sosial secara acak ditugaskan ke salah satu dari delapan dunia paralel, yang masing-masing berevolusi secara mandiri (gambar 4.21). Dengan menggunakan desain ini, kami menjalankan dua eksperimen terkait. Pada bagian pertama, kami mempresentasikan lagu-lagu kepada para peserta dalam kisi yang tidak disortir, yang memberi mereka sinyal lemah popularitas. Dalam percobaan kedua, kami mempresentasikan lagu-lagu dalam daftar peringkat, yang memberikan sinyal popularitas yang jauh lebih kuat (gambar 4.22).

Gambar 4.20: Contoh iklan spanduk yang saya dan rekan saya gunakan untuk merekrut peserta untuk eksperimen MusicLab (Salganik, Dodds, and Watts 2006) . Direproduksi atas izin dari Salganik (2007) , gambar 2.12.

Gambar 4.21: Desain eksperimental untuk eksperimen MusicLab (Salganik, Dodds, and Watts 2006) . Peserta secara acak ditugaskan untuk salah satu dari dua kondisi: pengaruh sosial dan independen. Peserta dalam kondisi independen membuat pilihan mereka tanpa informasi apa pun tentang apa yang telah dilakukan orang lain. Peserta dalam kondisi pengaruh sosial secara acak ditugaskan ke salah satu dari delapan dunia paralel, di mana mereka dapat melihat popularitas — sebagaimana diukur dengan unduhan peserta sebelumnya — dari setiap lagu di dunia mereka, tetapi mereka tidak dapat melihat informasi apa pun tentang, juga tidak bahkan tahu tentang keberadaan, salah satu dari dunia lain. Diadaptasi dari Salganik, Dodds, and Watts (2006) , figur s1.

Kami menemukan bahwa popularitas lagu berbeda di seluruh dunia, menunjukkan bahwa keberuntungan memainkan peran penting dalam kesuksesan. Sebagai contoh, di satu dunia lagu "Lockdown" oleh 52Metro datang di urutan ke 1 dari 48 lagu, sementara di dunia lain itu datang di 40. Ini adalah lagu yang sama yang bersaing dengan semua lagu yang sama, tetapi di satu dunia itu beruntung dan yang lain tidak. Lebih lanjut, dengan membandingkan hasil di dua percobaan, kami menemukan bahwa pengaruh sosial meningkatkan sifat pemenang-mengambil-semua dari pasar-pasar ini, yang mungkin menunjukkan pentingnya keterampilan. Namun, melihat ke seluruh dunia (yang tidak dapat dilakukan di luar eksperimen dunia paralel semacam ini), kami menemukan bahwa pengaruh sosial sebenarnya meningkatkan pentingnya keberuntungan. Lebih lanjut, yang mengejutkan, itu adalah lagu-lagu dari daya tarik tertinggi di mana keberuntungan paling penting (gambar 4.23).

Gambar 4.22: Layar dari kondisi pengaruh sosial dalam eksperimen MusicLab (Salganik, Dodds, and Watts 2006) . Dalam kondisi pengaruh sosial dalam percobaan 1, lagu-lagu, bersama dengan jumlah unduhan sebelumnya, disajikan kepada peserta yang disusun dalam 16 \(\times\) 3 kotak persegi panjang, di mana posisi lagu secara acak ditetapkan untuk masing-masing peserta. Dalam percobaan 2, peserta dalam kondisi pengaruh sosial diperlihatkan lagu-lagu, dengan jumlah unduhan, disajikan dalam satu kolom dalam urutan menurun dari popularitas saat ini.

Gambar 4.23: Hasil dari percobaan MusicLab yang menunjukkan hubungan antara daya tarik dan kesuksesan (Salganik, Dodds, and Watts 2006) . The \(x\) -axis adalah pangsa pasar dari lagu di dunia independen, yang berfungsi sebagai ukuran daya tarik lagu, dan \(y\) -axis adalah pangsa pasar dari lagu yang sama di kedelapan dunia pengaruh sosial, yang berfungsi sebagai ukuran keberhasilan lagu-lagu. Kami menemukan bahwa meningkatkan pengaruh sosial yang dialami para peserta — khususnya, perubahan tata letak dari eksperimen 1 ke eksperimen 2 (gambar 4.22) —menyebabkan keberhasilan menjadi lebih tak terduga, terutama untuk lagu-lagu dengan daya tarik tertinggi. Diadaptasi dari Salganik, Dodds, and Watts (2006) , gambar 3.

MusicLab dapat berjalan pada nol biaya variabel karena cara itu dirancang. Pertama, semuanya sepenuhnya otomatis sehingga bisa dijalankan saat aku sedang tidur. Kedua, kompensasi adalah musik gratis, jadi tidak ada biaya kompensasi peserta variabel. Penggunaan musik sebagai kompensasi juga menggambarkan bagaimana kadang-kadang ada pertukaran antara biaya tetap dan biaya variabel. Menggunakan musik meningkatkan biaya tetap karena saya harus menghabiskan waktu untuk mendapatkan izin dari band dan menyiapkan laporan untuk mereka tentang reaksi para peserta terhadap musik mereka. Tetapi dalam kasus ini, meningkatkan biaya tetap untuk mengurangi biaya variabel adalah hal yang benar untuk dilakukan; itulah yang memungkinkan kami menjalankan eksperimen yang kira-kira 100 kali lebih besar dari eksperimen laboratorium standar.

Lebih lanjut, percobaan MusicLab menunjukkan bahwa biaya variabel nol tidak harus menjadi tujuan itu sendiri; sebaliknya, ini bisa menjadi sarana untuk menjalankan jenis eksperimen baru. Perhatikan bahwa kami tidak menggunakan semua peserta kami untuk menjalankan percobaan laboratorium pengaruh sosial standar sebanyak 100 kali. Sebaliknya, kami melakukan sesuatu yang berbeda, yang dapat Anda anggap sebagai beralih dari eksperimen psikologis ke eksperimen sosiologis (Hedström 2006) . Daripada berfokus pada pengambilan keputusan individu, kami memfokuskan eksperimen kami pada popularitas, hasil kolektif. Peralihan ke hasil kolektif ini berarti bahwa kami membutuhkan sekitar 700 peserta untuk menghasilkan satu titik data (ada 700 orang di setiap dunia paralel). Skala itu hanya mungkin karena struktur biaya eksperimen. Secara umum, jika peneliti ingin mempelajari bagaimana hasil kolektif muncul dari keputusan individu, eksperimen kelompok seperti MusicLab sangat menarik. Di masa lalu, mereka secara logistik sulit, tetapi kesulitan itu memudar karena kemungkinan nol data biaya variabel.

Selain mengilustrasikan manfaat dari data biaya variabel nol, percobaan MusicLab juga menunjukkan tantangan dengan pendekatan ini: biaya tetap yang tinggi. Dalam kasus saya, saya sangat beruntung dapat bekerja dengan pengembang web berbakat bernama Peter Hausel selama sekitar enam bulan untuk membuat eksperimen. Ini hanya mungkin karena penasihat saya, Duncan Watts, telah menerima sejumlah hibah untuk mendukung penelitian semacam ini. Teknologi telah meningkat sejak kami membangun MusicLab pada tahun 2004 sehingga akan lebih mudah untuk membangun eksperimen seperti ini sekarang. Namun, strategi biaya tetap yang tinggi benar-benar hanya mungkin bagi para peneliti yang entah bagaimana dapat menutupi biaya-biaya tersebut.

Kesimpulannya, eksperimen digital dapat memiliki struktur biaya yang sangat berbeda dari percobaan analog. Jika Anda ingin menjalankan eksperimen yang sangat besar, Anda harus mencoba untuk mengurangi biaya variabel sebanyak mungkin dan idealnya sampai nol. Anda dapat melakukan ini dengan mengotomatisasi mekanisme eksperimen Anda (misalnya, mengganti waktu manusia dengan waktu komputer) dan merancang eksperimen yang diinginkan orang. Peneliti yang dapat mendesain eksperimen dengan fitur ini akan dapat menjalankan jenis eksperimen baru yang tidak mungkin di masa lalu. Namun, kemampuan untuk menciptakan eksperimen biaya variabel nol dapat meningkatkan pertanyaan etis baru, topik yang akan saya bahas sekarang.