4.6.1 Lumikha zero variable data ng gastos

Ang susi sa pagpapatakbo ng mga malalaking eksperimento ay upang himukin ang iyong variable cost sa zero. Ang pinakamainam na paraan upang gawin ito ay automation at pagdidisenyo ng mga kasiya-siyang eksperimento.

Ang mga digital na eksperimento ay maaaring magkaroon ng iba't ibang mga istraktura ng gastos, at nagbibigay-daan ito sa mga mananaliksik na magpatakbo ng mga eksperimento na imposible sa nakaraan. Ang isang paraan upang mag-isip tungkol sa pagkakaiba ay ang tandaan na ang mga eksperimento sa pangkalahatan ay may dalawang uri ng mga gastos: mga nakapirming mga gastos at variable na mga gastos. Ang mga naayos na gastos ay mga gastos na mananatiling hindi nagbabago anuman ang bilang ng mga kalahok. Halimbawa, sa eksperimentong lab, ang mga nakapirming gastos ay maaaring ang mga gastos sa pag-upa ng espasyo at pagbili ng mga kasangkapan. Ang mga variable na gastos , sa kabilang banda, ay nagbabago depende sa bilang ng mga kalahok. Halimbawa, sa eksperimentong lab, ang mga variable na gastos ay maaaring magmula sa pagbabayad ng kawani at mga kalahok. Sa pangkalahatan, ang mga analog na eksperimento ay may mababang mga nakapirming gastos at mataas na variable na mga gastos, habang ang mga digital na eksperimento ay may mataas na nakapirming mga gastos at mababa ang mga variable na gastos (tayahin 4.19). Kahit na ang mga digital na eksperimento ay may mga mababang gastos sa variable, maaari kang lumikha ng maraming kapana-panabik na mga pagkakataon kapag pinapalakad mo ang variable na gastos sa lahat ng paraan hanggang sa zero.

Figure 4.19: Mga eskematiko ng mga estrukturang gastos sa analog at digital na mga eksperimento. Sa pangkalahatan, ang mga analog na eksperimento ay may mababang mga nakapirming gastos at mataas na variable na mga gastos samantalang ang mga digital na eksperimento ay may mataas na nakapirming mga gastos at mababang mga gastos sa variable. Ang iba't ibang mga istrukturang gastos ay nangangahulugan na ang mga digital na eksperimento ay maaaring tumakbo sa isang sukat na hindi posible sa mga analog na eksperimento.

Mayroong dalawang pangunahing elemento ng variable na mga pagbabayad sa gastos sa mga kawani at mga pagbabayad sa mga kalahok-at ang bawat isa sa mga ito ay maaaring itaboy sa zero gamit ang iba't ibang mga estratehiya. Ang mga pagbabayad sa kawani ay nagmumula sa trabaho na ang mga katulong sa pananaliksik ay nagre-recruit ng mga kalahok, naghahatid ng paggamot, at sumusukat sa mga resulta. Halimbawa, ang experimental analog field ng Schultz at mga kasamahan (2007) sa paggamit ng kuryente ay nangangailangan ng mga katulong sa pananaliksik upang maglakbay sa bawat tahanan upang maihatid ang paggamot at basahin ang electric meter (tayahin 4.3). Ang lahat ng pagsisikap na ito ng mga katulong na pananaliksik ay nangangahulugang ang pagdaragdag ng isang bagong sambahayan sa pag-aaral ay idinagdag sa gastos. Sa kabilang banda, para sa digital field experiment ng Restivo at van de Rijt (2012) sa epekto ng mga parangal sa mga editor ng Wikipedia, ang mga mananaliksik ay maaaring magdagdag ng higit pang mga kalahok sa halos walang gastos. Ang isang pangkalahatang diskarte para sa pagbawas ng mga variable na gastos sa pamamahala ay upang palitan ang trabaho ng tao (na kung saan ay mahal) sa computer na trabaho (na kung saan ay mura). Halos, maaari mong tanungin ang iyong sarili: Maaari ba ang eksperimento na ito habang ang lahat sa aking koponan sa pananaliksik ay natutulog? Kung ang sagot ay oo, nagawa mo na ang isang mahusay na trabaho ng automation.

Ang pangalawang pangunahing uri ng variable cost ay pagbabayad sa mga kalahok. Ginamit ng ilang mga mananaliksik ang Amazon Mechanical Turk at iba pang mga online na labor market upang bawasan ang mga pagbabayad na kinakailangan para sa mga kalahok. Upang humimok ng mga variable na gastos sa lahat ng mga paraan upang zero, gayunpaman, ang isang iba't ibang mga diskarte ay kinakailangan. Sa loob ng mahabang panahon, dinisenyo ng mga mananaliksik ang mga eksperimento na napakababa ang kailangan nilang bayaran ang mga tao upang makilahok. Ngunit ano kung maaari kang lumikha ng isang eksperimento na gusto ng mga tao? Ito ay maaaring tunog na malayo, ngunit magbibigay ako sa iyo ng isang halimbawa sa ibaba mula sa aking sariling gawain, at mayroong higit pang mga halimbawa sa talahanayan 4.4. Tandaan na ang ideyang ito ng pagdisenyo ng mga kasiya-siya na eksperimento ay nagpapahiwatig ng ilan sa mga tema sa kabanata 3 tungkol sa pagdisenyo ng mas kasiya-siyang mga survey at sa kabanata 5 tungkol sa disenyo ng pakikipagtulungan ng masa. Kaya, sa palagay ko ang kasiyahan ng kalahok-kung ano ang maaaring tinatawag na karanasan ng gumagamit-ay magiging isang lalong mahalagang bahagi ng disenyo ng pananaliksik sa digital age.

Kung nais mong lumikha ng mga eksperimento na may zero variable na data ng gastos, kakailanganin mong matiyak na lahat ng bagay ay ganap na awtomatiko at ang mga kalahok ay hindi nangangailangan ng anumang pagbabayad. Upang maipakita kung paano ito posible, ilalarawan ko ang aking pananaliksik sa disertasyon sa tagumpay at kabiguan ng mga produkto ng kultura.

Ang aking disertasyon ay pinasigla ng puzzling na katangian ng tagumpay para sa mga produkto ng kultura. Makita ang mga kanta, pinakamahusay na nagbebenta ng mga libro, at mga blockbuster na pelikula ay magkano, mas matagumpay kaysa sa average. Dahil dito, ang mga merkado para sa mga produktong ito ay madalas na tinatawag na "winner-take-all" na mga merkado. Gayunpaman, sa parehong oras, kung anong partikular na kanta, libro, o pelikula ang magiging matagumpay ay hindi kapani-paniwala. Ang tagasulat ng senaryo na si William Goldman (1989) lubos na summed up ng maraming pananaliksik na pang-akademiko sa pagsasabi na, pagdating sa predicting tagumpay, "walang nakakaalam ng anumang bagay." Ang hindi mapagtatanggol ng mga nagwagi ng lahat ng mga merkado ay nakapagtataka sa akin kung gaano ang tagumpay ay resulta ng kalidad at gaano ang kapalaran. O, bahagyang naiiba ang ipinahayag, kung makagawa tayo ng magkakatulad na mundo at magkaroon ng lahat ng ito ay nagbabago nang nakapag-iisa, magiging popular ba ang mga awitin sa bawat mundo? At, kung hindi, ano ang maaaring isang mekanismo na nagdudulot ng mga pagkakaiba na ito?

Upang masagot ang mga tanong na ito, kami-Peter Dodds, Duncan Watts (aking tagapayo sa disertasyon), at nagpatakbo ng isang serye ng mga online na eksperimento sa field. Sa partikular, nagtayo kami ng isang website na tinatawag na MusicLab kung saan maaaring matuklasan ng mga tao ang bagong musika, at ginamit namin ito para sa isang serye ng mga eksperimento. Inirerekrut namin ang mga kalahok sa pamamagitan ng pagpapatakbo ng mga ad ng banner sa isang teen-interest website (figure 4.20) at sa pamamagitan ng pagbanggit sa media. Ang mga kalahok na dumarating sa aming website ay nagbibigay ng kaalamang pahintulot, nakumpleto ang isang maikling palatanungan na tanong, at random na nakatalaga sa isa sa dalawang pang-eksperimentong mga kondisyon-independiyenteng at panlipunang impluwensiya. Sa malayang kondisyon, ang mga kalahok ay gumawa ng mga desisyon tungkol sa kung aling mga kanta ang pakikinggan, na ibinigay lamang ang mga pangalan ng mga banda at mga kanta. Habang nakikinig sa isang kanta, hiniling ang mga kalahok upang i-rate ito pagkatapos kung saan nagkaroon sila ng pagkakataon (ngunit hindi ang obligasyon) upang i-download ang kanta. Sa kondisyon ng impluwensyang panlipunan, ang mga kalahok ay nagkaroon ng parehong karanasan, maliban sa maaari nilang makita kung gaano karaming beses ang bawat kanta ay na-download ng mga nakaraang kalahok. Bukod dito, ang mga kalahok sa kondisyon ng impluwensya sa lipunan ay random na nakatalaga sa isa sa walong parallel worlds, na ang bawat isa ay lumaki nang malaya (tayahin 4.21). Gamit ang disenyo na ito, nagpatakbo kami ng dalawang kaugnay na mga eksperimento. Sa una, ipinakita namin ang mga kanta sa mga kalahok sa isang unsorted grid, na ibinigay sa kanila ng isang mahinang signal ng katanyagan. Sa ikalawang eksperimento, iniharap namin ang mga kanta sa isang listahan ng ranggo, na nagbibigay ng isang mas malakas na signal of popularity (tayahin 4.22).

Figure 4.20: Isang halimbawa ng ad na banner na ginamit ng aking mga kasamahan sa pag-recruit ng mga kalahok para sa mga eksperimento ng MusicLab (Salganik, Dodds, and Watts 2006) . Salganik (2007) ng pahintulot mula sa Salganik (2007) , tayahin 2.12.

Figure 4.21: Eksperimental na disenyo para sa mga eksperimento ng MusicLab (Salganik, Dodds, and Watts 2006) . Ang mga kalahok ay random na nakatalaga sa isa sa dalawang kondisyon: independiyenteng at panlipunang impluwensya. Ang mga kalahok sa malayang kalagayan ay gumawa ng kanilang mga pagpili nang walang anumang impormasyon tungkol sa kung ano ang ginawa ng ibang mga tao. Ang mga kalahok sa kundisyon ng panlipunang impluwensiya ay random na nakatalaga sa isa sa walong magkakatulad na mundo, kung saan makikita nila ang katanyagan-na sinusukat ng mga pag-download ng nakaraang mga kalahok-ng bawat kanta sa kanilang mundo, ngunit hindi nila makita ang anumang impormasyon tungkol sa, ni hindi sila kahit na alam tungkol sa pagkakaroon ng, alinman sa iba pang mga mundo. Inangkop mula sa Salganik, Dodds, and Watts (2006) , figure s1.

Nalaman namin na ang popularidad ng mga kanta ay naiiba sa buong mundo, na nagpapahiwatig na ang luck ay may mahalagang papel sa tagumpay. Halimbawa, sa isang mundo ang awit na "Lockdown" ng 52Metro ay dumating sa ika-1 ng 48 na kanta, habang sa isa pang mundo ito ay dumating sa ika-40. Ito ay eksaktong magkatulad na kanta na nakikipagkumpitensya laban sa lahat ng katulad na ibang mga kanta, ngunit sa isang mundo ito ay naging masuwerteng at sa iba pa ay hindi ito. Dagdag pa, sa pamamagitan ng paghahambing ng mga resulta sa dalawang eksperimento, natagpuan namin na ang panlipunang impluwensya ay nagdaragdag sa lahat ng likas na katangian ng mga pamilihan na ito, na maaaring nagmumungkahi ng kahalagahan ng kasanayan. Ngunit, naghahanap sa buong mundo (na hindi maaaring gawin sa labas ng ganitong uri ng eksperimentong mga eksperimentong mundo), nalaman namin na ang panlipunang impluwensya ay tumaas ang kahalagahan ng kapalaran. Dagdag pa, kamangha-mangha, ito ay ang mga awit ng pinakamataas na apela kung saan ang pinakamahalaga ang mahalaga (tayahin 4.23).

Figure 4.22: Mga screenshot mula sa mga kondisyon ng impluwensya sa lipunan sa mga eksperimento ng MusicLab (Salganik, Dodds, and Watts 2006) . Sa kondisyon ng panlipunang impluwensiya sa eksperimentong 1, ang mga kanta, kasama ang bilang ng mga naunang pag-download, ay iniharap sa mga kalahok na isinaayos sa isang grid na hugis ng 16, \(\times\) 3 \(\times\) , kung saan ang mga posisyon ng mga awit ay random na itinalaga para sa bawat isa kalahok. Sa eksperimento 2, ang mga kalahok sa kondisyon ng impluwensya sa lipunan ay ipinapakita ang mga kanta, na may mga bilang ng pag-download, na ipinakita sa isang hanay sa pababang pagkakasunud-sunod ng kasalukuyang katanyagan.

Figure 4.23: Mga resulta mula sa mga eksperimento ng MusicLab na nagpapakita ng ugnayan sa pagitan ng apela at tagumpay (Salganik, Dodds, and Watts 2006) . Ang \(x\) -axis ay bahagi ng merkado ng kanta sa malayang mundo, na nagsisilbi bilang isang sukatan ng apila ng kanta, at ang \(y\) -axis ay bahagi ng merkado ng parehong kanta sa ang walong panlipunan impluwensya mundo, na nagsisilbing bilang isang sukatan ng tagumpay ng mga kanta. Nalaman namin na ang pagtaas ng panlipunan impluwensiya na nakaranas ng kalahok-partikular, ang pagbabago sa layout mula sa eksperimento 1 hanggang eksperimentong 2 (figure 4.22) -ang ginagamit na tagumpay upang maging mas mahuhulaan, lalo na para sa mga awit na may pinakamataas na apela. Inangkop mula sa Salganik, Dodds, and Watts (2006) , tayahin 3.

Nagawa ang MusicLab na tumakbo sa zero cost variable dahil sa paraan na ito ay dinisenyo. Una, ang lahat ng bagay ay ganap na automated kaya nakapagpatakbo ito habang natutulog ako. Ikalawa, ang kompensasyon ay libre na musika, kaya walang bayad na kabayaran sa kalahok. Ang paggamit ng musika bilang kompensasyon ay naglalarawan din kung minsan kung minsan ay isang trade-off sa pagitan ng mga nakapirming at variable na mga gastos. Ang paggamit ng musika ay nadagdagan ang mga nakapirming gastos dahil kailangan kong gumastos ng oras sa pagkuha ng pahintulot mula sa mga banda at paghahanda ng mga ulat para sa kanila tungkol sa reaksyon ng mga kalahok sa kanilang musika. Ngunit sa kasong ito, ang pagtaas ng mga nakapirming gastos upang mabawasan ang mga gastos sa variable ay ang tamang bagay na dapat gawin; iyon ang nagpapaandar sa amin na magpatakbo ng isang eksperimento na halos 100 beses na mas malaki kaysa sa karaniwang eksperimento ng lab.

Dagdag pa, ipinapakita ng mga eksperimento ng MusicLab na ang zero variable na gastos ay hindi kailangang maging isang dulo sa sarili nito; sa halip, maaari itong maging isang paraan upang magpatakbo ng isang bagong uri ng eksperimento. Pansinin na hindi namin ginamit ang lahat ng aming mga kalahok upang magpatakbo ng isang karaniwang panlipunang impluwensyang lab eksperimentong 100 beses. Sa halip, gumawa kami ng ibang bagay, na maaari mong isipin na lumilipat mula sa isang sikolohikal na eksperimento sa isang sosyolohikal na isa (Hedström 2006) . Sa halip na tumuon sa indibidwal na paggawa ng desisyon, nakatuon ang aming eksperimento sa pagiging popular, isang kolektibong resulta. Ang paglipat na ito sa isang kolektibong kinalabasan ay nangangahulugan na kailangan namin ang tungkol sa 700 kalahok upang makabuo ng isang solong punto ng data (mayroong 700 mga tao sa bawat isa sa mga parallel na mundo). Ang sukat na iyon ay posible lamang dahil sa istraktura ng gastos ng eksperimento. Sa pangkalahatan, kung gusto ng mga mananaliksik na pag-aralan kung paano ang mga kolektibong kinalabasan ay nagmumula sa mga indibidwal na pagpapasya, ang mga eksperimentong grupo tulad ng MusicLab ay kapana-panabik. Sa nakaraan, sila ay mahirap na logistically, ngunit ang mga paghihirap ay nalabo dahil sa posibilidad ng zero variable na data ng gastos.

Bilang karagdagan sa naglalarawan ng mga benepisyo ng zero variable na data ng gastos, ang mga eksperimento ng MusicLab ay nagpapakita rin ng isang hamon sa diskarteng ito: mataas na nakapirming mga gastos. Sa aking kaso, labis akong masuwerteng nakapagtrabaho sa isang may talino na web developer na si Peter Hausel sa loob ng anim na buwan upang maitayo ang eksperimento. Posible lamang ito dahil ang aking tagapayo, si Duncan Watts, ay nakatanggap ng ilang mga gawad upang suportahan ang ganitong uri ng pananaliksik. Ang teknolohiya ay bumuti mula noong itinayo namin ang MusicLab noong 2004 upang mas madali itong bumuo ng isang eksperimentong tulad nito ngayon. Subalit, ang mga estratehiyang mataas na nakapirming gastos ay talagang posible lamang para sa mga mananaliksik na maaaring kahit paano masakop ang mga gastos.

Sa konklusyon, ang mga digital na eksperimento ay maaaring magkaroon ng kapansin-pansing iba't ibang mga estrakturang gastos kaysa sa mga eksperimento ng analog. Kung gusto mong magpatakbo ng mga tunay na malaking eksperimento, dapat mong subukan na bawasan ang iyong variable na gastos hangga't maaari at perpekto sa lahat ng paraan upang zero. Maaari mong gawin ito sa pamamagitan ng pag-automate ng mekanika ng iyong eksperimento (halimbawa, pagpapalit ng oras ng tao sa oras ng computer) at pagdidisenyo ng mga eksperimento na gusto ng mga tao. Ang mga mananaliksik na maaaring magdisenyo ng mga eksperimento sa mga tampok na ito ay makakapagpatakbo ng mga bagong uri ng mga eksperimento na hindi posible sa nakaraan. Gayunpaman, ang kakayahang lumikha ng zero na mga eksperimentong gastos sa gastos ay maaaring magpalabas ng mga bagong etikal na tanong, ang paksa na dapat ko ngayong tugunan.