4.6.1 Buat sifar data kos berubah

Kunci untuk menjalankan percubaan besar ialah memacu kos berubah menjadi sifar. Cara terbaik untuk melakukan ini adalah automasi dan mereka bentuk eksperimen yang menyeronokkan.

Eksperimen digital boleh mempunyai struktur kos yang berbeza secara dramatik, dan ini membolehkan penyelidik menjalankan eksperimen yang mustahil pada masa lalu. Salah satu cara untuk memikirkan perbezaan ini adalah untuk mengetahui bahawa eksperimen umumnya mempunyai dua jenis kos: kos tetap dan kos berubah. Kos tetap ialah kos yang tidak berubah tanpa mengira bilangan peserta. Sebagai contoh, dalam percubaan makmal, kos tetap mungkin adalah kos menyewa ruang dan membeli perabot. Kos berubah , sebaliknya, berubah bergantung kepada jumlah peserta. Sebagai contoh, dalam percubaan makmal, kos pembolehubah mungkin datang daripada membayar kakitangan dan peserta. Secara umum, eksperimen analog mempunyai kos tetap rendah dan kos pembolehubah yang tinggi, manakala eksperimen digital mempunyai kos tetap tinggi dan kos pembolehubah yang rendah (angka 4.19). Walaupun eksperimen digital mempunyai kos pembolehubah yang rendah, anda boleh mencipta banyak peluang menarik apabila anda memacu kos pembolehubah sepanjang jalan ke sifar.

Rajah 4.19: Skema struktur kos dalam eksperimen analog dan digital. Secara umum, eksperimen analog mempunyai kos tetap rendah dan kos pembolehubah yang tinggi manakala eksperimen digital mempunyai kos tetap yang tinggi dan kos pembolehubah yang rendah. Struktur kos yang berbeza bermakna eksperimen digital boleh berjalan pada skala yang tidak mungkin dengan eksperimen analog.

Terdapat dua elemen utama pembayaran kos berubah-ubah kepada kakitangan dan bayaran kepada peserta-dan masing-masing boleh didorong ke sifar menggunakan strategi yang berbeza. Pembayaran kepada kakitangan berpunca daripada kerja yang pembantu penyelidik melakukan merekrut peserta, menyampaikan rawatan, dan mengukur hasil. Sebagai contoh, eksperimen medan analog Schultz dan rakan-rakan (2007) mengenai penggunaan elektrik memerlukan pembantu penyelidik untuk pergi ke setiap rumah untuk menyampaikan rawatan dan membaca meter elektrik (angka 4.3). Kesemua usaha ini oleh pembantu penyelidikan bermakna menambah rumah baru dalam kajian itu akan menambah kos. Sebaliknya, untuk percubaan medan digital Restivo dan van de Rijt (2012) mengenai kesan anugerah pada editor Wikipedia, para penyelidik dapat menambah lebih banyak peserta secara hampir tanpa sebarang kos. Strategi umum untuk mengurangkan kos pengurusan berubah-ubah adalah untuk menggantikan kerja manusia (yang mahal) dengan kerja komputer (yang murah). Secara kasar, anda boleh bertanya kepada diri sendiri: Bolehkah percubaan ini berjalan sementara semua orang dalam pasukan penyelidikan sedang tidur? Sekiranya jawapannya ya, anda telah melakukan kerja automasi yang hebat.

Jenis kedua kos berubah ialah bayaran kepada peserta. Beberapa penyelidik telah menggunakan Amazon Mechanical Turk dan pasaran buruh dalam talian lain untuk mengurangkan pembayaran yang diperlukan untuk peserta. Untuk memacu kos berubah-ubah ke jalan sifar, bagaimanapun, pendekatan yang berbeza diperlukan. Untuk masa yang lama, penyelidik telah mencipta eksperimen yang sangat membosankan, mereka perlu membayar orang untuk turut serta. Tetapi bagaimana jika anda boleh mencipta percubaan yang orang mahu masuk? Ini mungkin terdengar jauh, tetapi saya akan memberikan contoh di bawah ini dari kerja saya sendiri, dan terdapat lebih banyak contoh dalam jadual 4.4. Perhatikan bahawa idea untuk merekabentuk eksperimen yang menyeronokkan menggema beberapa tema dalam bab 3 mengenai merancang tinjauan yang lebih menyeronokkan dan dalam bab 5 mengenai reka bentuk kolaborasi massa. Oleh itu, saya rasa keseronokan peserta-apa yang mungkin juga dipanggil pengalaman pengguna-akan menjadi bahagian penting dalam reka bentuk penyelidikan dalam era digital.

Sekiranya anda ingin membuat eksperimen dengan data kos pembolehubah sifar, anda perlu memastikan segala-galanya sepenuhnya automatik dan peserta tidak memerlukan apa-apa pembayaran. Untuk menunjukkan bagaimana ini mungkin, saya akan menerangkan penyelidikan disertasi saya mengenai kejayaan dan kegagalan produk budaya.

Disertasi saya didorong oleh sifat kejayaan yang membingungkan bagi produk budaya. Hit lagu, buku laris, dan filem blockbuster banyak, jauh lebih berjaya daripada purata. Kerana ini, pasaran bagi produk ini sering disebut sebagai "pemenang-mengambil-semua" pasaran. Walau bagaimanapun, pada masa yang sama, lagu, buku, atau filem tertentu akan berjaya adalah sangat tidak dapat diramalkan. Penulis skrip, William Goldman (1989) menyimpulkan banyak penyelidikan akademik dengan mengatakan bahawa, apabila meramalkan kejayaan, "tiada siapa yang tahu apa-apa." Ketidakpastian semua pasaran pemenang membuat saya tertanya-tanya berapa banyak kejayaan adalah hasilnya kualiti dan berapa banyak nasib semata. Atau, menyatakan sedikit berbeza, jika kita boleh mencipta dunia selari dan memilikinya semuanya berubah secara bebas, adakah lagu-lagu yang sama menjadi popular di setiap dunia? Dan jika tidak, apakah mekanisme yang menyebabkan perbezaan ini?

Untuk menjawab soalan-soalan ini, kami-Peter Dodds, Duncan Watts (penasihat disertasi saya), dan I-ran satu siri eksperimen lapangan dalam talian. Khususnya, kami membina laman web yang dipanggil MusicLab di mana orang dapat menemui muzik baru, dan kami menggunakannya untuk satu siri eksperimen. Kami merekrut peserta dengan menjalankan iklan banner di laman web minat remaja (angka 4.20) dan melalui sebutan di media. Peserta yang tiba di laman web kami memberikan persetujuan yang dimaklumkan, menyelesaikan soal selidik latar belakang yang singkat, dan secara rawak ditugaskan kepada salah satu daripada dua keadaan percubaan-pengaruh bebas dan sosial. Dalam keadaan bebas, para peserta membuat keputusan tentang mana lagu-lagu untuk didengar, hanya diberikan nama-nama band dan lagu-lagu. Semasa mendengarkan lagu, para peserta diminta menarafkannya selepas itu mereka mempunyai peluang (tetapi tidak wajib) untuk memuat turun lagu tersebut. Dalam keadaan pengaruh sosial, peserta mempunyai pengalaman yang sama, kecuali mereka juga dapat melihat berapa kali setiap lagu telah dimuat turun oleh peserta terdahulu. Selain itu, peserta dalam keadaan pengaruh sosial secara rawak ditugaskan ke salah satu daripada lapan dunia selari, masing-masing berkembang secara bebas (angka 4.21). Dengan menggunakan reka bentuk ini, kami menjalankan dua eksperimen yang berkaitan. Pada mulanya, kami membentangkan lagu-lagu kepada para peserta dalam grid yang tidak disokong, yang memberi mereka tanda populariti yang lemah. Dalam eksperimen kedua, kami menyampaikan lagu-lagu dalam senarai peringkat, yang memberikan isyarat populariti yang lebih kuat (angka 4.22).

Rajah 4.20: Satu contoh iklan spanduk yang rakan-rakan saya dan saya digunakan untuk merekrut peserta untuk eksperimen (Salganik, Dodds, and Watts 2006) . Diterbitkan semula dengan izin dari Salganik (2007) , angka 2.12.

Reka bentuk 4.21: Reka bentuk eksperimen untuk eksperimen (Salganik, Dodds, and Watts 2006) . Para peserta secara rawak diberikan kepada salah satu daripada dua syarat: pengaruh bebas dan sosial. Peserta dalam keadaan bebas membuat pilihan mereka tanpa apa-apa maklumat mengenai apa yang dilakukan oleh orang lain. Peserta dalam keadaan pengaruh sosial secara rawak ditugaskan ke salah satu daripada lapan dunia selari, di mana mereka dapat melihat populariti-seperti yang diukur oleh muat turun peserta terdahulu-setiap lagu di dunia mereka, tetapi mereka tidak dapat melihat apa-apa maklumat tentang, atau juga mereka bahkan tahu tentang kewujudan, mana-mana dunia lain. Diadaptasi dari Salganik, Dodds, and Watts (2006) , angka s1.

Kami mendapati bahawa populariti lagu berbeza di seluruh dunia, menunjukkan bahawa nasib memainkan peranan penting dalam kejayaan. Sebagai contoh, dalam satu dunia lagu "Lockdown" oleh 52Metro muncul dalam 1 daripada 48 lagu, manakala di dunia lain ia datang pada ke-40. Ini adalah lagu yang sama bersaing dengan semua lagu lain yang sama, tetapi dalam satu dunia ia bertuah dan yang lain tidak. Selanjutnya, dengan membandingkan hasil di kedua-dua eksperimen, kami mendapati bahawa pengaruh sosial meningkatkan sifat pemenang semua pasaran ini, yang mungkin mencadangkan kepentingan kemahiran. Tetapi, melihat seluruh dunia (yang tidak dapat dilakukan di luar percubaan dunia seperti ini), kami mendapati bahawa pengaruh sosial sebenarnya meningkatkan kepentingan nasib. Selanjutnya, mengejutkan, lagu-lagu rayuan tertinggi di mana keberuntungan paling penting (angka 4.23).

Rajah 4.22: Skrin daripada keadaan pengaruh sosial dalam eksperimen (Salganik, Dodds, and Watts 2006) . Dalam keadaan pengaruh sosial dalam eksperimen 1, lagu-lagu, bersama-sama dengan jumlah muat turun sebelumnya, telah dibentangkan kepada peserta disusun dalam 16 \(\times\) 3 segiempat grid, di mana posisi lagu secara rawak bagi setiap peserta. Dalam eksperimen 2, peserta dalam keadaan pengaruh sosial ditunjukkan lagu-lagu, dengan jumlah unduhan, disajikan dalam satu lajur dalam urutan menurun populariti semasa.

Rajah 4.23: Hasil daripada eksperimen MusicLab menunjukkan hubungan antara rayuan dan kejayaan (Salganik, Dodds, and Watts 2006) . The \(x\) -axis adalah bahagian pasaran lagu dalam dunia bebas, yang berfungsi sebagai ukuran rayuan lagu, dan \(y\) -axis adalah pangsa pasar lagu yang sama dalam lapan dunia pengaruh sosial, yang berfungsi sebagai ukuran kejayaan lagu-lagu. Kami mendapati bahawa meningkatkan pengaruh sosial yang dialami peserta-khususnya, perubahan dalam susun atur dari percubaan 1 ke percubaan 2 (angka 4.22) -mendapatkan kejayaan untuk menjadi lebih tidak dapat diramalkan, terutamanya untuk lagu-lagu dengan daya tarikan tertinggi. Diadaptasi dari Salganik, Dodds, and Watts (2006) , angka 3.

MusicLab dapat berjalan pada dasarnya sifar kos berubah kerana cara itu direka. Pertama, segala-galanya telah diautomatikkan sepenuhnya supaya dapat berjalan semasa saya sedang tidur. Kedua, pampasan itu adalah muzik percuma, jadi tidak ada kos kompensasi peserta yang berubah-ubah. Penggunaan muzik sebagai pampasan juga menggambarkan bagaimana ada kadang-kadang pertukaran antara kos tetap dan berubah-ubah. Menggunakan muzik meningkatkan kos tetap kerana saya terpaksa menghabiskan masa mendapatkan kebenaran daripada band dan menyediakan laporan untuk mereka tentang reaksi peserta terhadap muzik mereka. Tetapi dalam kes ini, peningkatan kos tetap untuk mengurangkan kos pembolehubah adalah perkara yang betul untuk dilakukan; itulah yang membolehkan kita menjalankan eksperimen yang kira-kira 100 kali lebih besar daripada eksperimen makmal standard.

Selanjutnya, eksperimen MusicLab menunjukkan bahawa kos pembolehubah sifar tidak perlu berakhir dengan sendirinya; Sebaliknya, ia boleh menjadi cara untuk menjalankan jenis percubaan baru. Perhatikan bahawa kami tidak menggunakan semua peserta kami untuk menjalankan eksperimen makmal pengaruh sosial standard sebanyak 100 kali. Sebaliknya, kami melakukan sesuatu yang berbeza, yang boleh anda fikirkan sebagai berpindah dari percubaan psikologi ke satu sosiologi (Hedström 2006) . Daripada memberi tumpuan kepada membuat keputusan individu, kami menumpukan percubaan kami terhadap populariti, hasil kolektif. Perubahan ini kepada hasil kolektif bermakna kita memerlukan sekitar 700 peserta untuk menghasilkan satu titik data (terdapat 700 orang di setiap dunia selari). Skala itu hanya mungkin kerana struktur biaya eksperimen. Pada umumnya, jika penyelidik ingin mempelajari bagaimana hasil kolektif timbul daripada keputusan individu, eksperimen kumpulan seperti MusicLab sangat menarik. Pada masa lalu, mereka telah logistik sukar, tetapi kesukaran itu pudar kerana kemungkinan data kos pembolehubah sifar.

Di samping menggambarkan manfaat data kos pembolehubah sifar, eksperimen MusicLab juga menunjukkan cabaran dengan pendekatan ini: kos tetap tinggi. Dalam kes saya, saya amat bertuah kerana dapat bekerja dengan pemaju web berbakat bernama Peter Hausel selama kira-kira enam bulan untuk membina eksperimen tersebut. Ini hanya mungkin kerana penasihat saya, Duncan Watts, telah menerima beberapa geran untuk menyokong penyelidikan semacam ini. Teknologi telah bertambah baik sejak kami membina MusicLab pada tahun 2004 jadi lebih mudah untuk membina percubaan seperti ini sekarang. Namun, strategi kos tetap tinggi hanya mungkin bagi para penyelidik yang boleh menampung kos tersebut.

Sebagai kesimpulan, eksperimen digital boleh mempunyai struktur kos yang jauh berbeza daripada eksperimen analog. Sekiranya anda ingin menjalankan percubaan yang benar-benar besar, anda harus cuba mengurangkan kos pembolehubah anda sebanyak mungkin dan idealnya ke sifar. Anda boleh melakukan ini dengan mengotomatikkan mekanik percubaan anda (contohnya, menggantikan masa manusia dengan masa komputer) dan merancang eksperimen yang ingin dilakukan oleh orang. Penyelidik yang boleh merekabentuk eksperimen dengan ciri-ciri ini akan dapat menjalankan jenis eksperimen yang baru tidak mungkin pada masa lalu. Walau bagaimanapun, keupayaan untuk membuat percubaan kos pembolehubah sifar dapat menimbulkan persoalan etika yang baru, topik yang akan saya hadapi sekarang.