4.6.1 Búa núll breytilega gögn kostnaður

Lykillinn að keyra stór tilraunir er akstur breytilegum kostnaði á núll. Besta leiðin til að gera þetta eru sjálfvirkni og hanna skemmtilegt tilraunir.

Stafræn tilraunir geta haft verulega mismunandi mannvirki kostnaður og þetta gerir vísindamönnum kleift að keyra tilraunir sem voru ómögulegt í fortíðinni. Nánar tiltekið, tilraunir hafa yfirleitt tvær helstu tegundir af kostnaði:. Fastan og breytilegan kostnað Fastur kostnaður er kostnaður sem breytast ekki eftir því hversu margir þátttakendur þú hefur. Til dæmis, í Lab tilraun, fastur kostnaður gæti verið kostnaður við að leigja pláss og kaupa húsgögn. Breytilegur kostnaður, hins vegar, breyting eftir því hversu mörg þátttakendur þú hefur. Til dæmis, í Lab tilraun, breytilegur kostnaður gæti komið frá því að borga starfsfólki og þátttakendum. Almennt hafa hliðstæðum tilraunum lágt föstum kostnaði og hár breytilegan kostnað, og stafræn tilraunir hafa háan fastan kostnað og lágan breytilegan kostnað (mynd 4.18). Með viðeigandi hönnun, getur þú keyra breytilegan kostnað tilraunarinnar alla leið í núll, og þetta getur skapað spennandi tækifæri rannsóknir.

Mynd 4.18: Yfirlit um kostnað mannvirki í analog og stafrænar tilraunum. Almennt hafa hliðstæðum tilraunum lágt föstum kostnaði og hár breytilegan kostnað en stafræn tilraunir hafa háan fastan kostnað og lágan breytilegan kostnað. Mismunandi mannvirki kostnaður meina að stafræn tilraunir geta keyrt á mælikvarða sem er ekki hægt með hliðstæðum tilraunum.

Það eru tveir helstu þættir breytilegum kostnaði greiðslur til starfsmanna og greiðslur til þátttakenda-og hvert þær geta verið ekið á núll nota mismunandi aðferðir. Greiðslur til starfsmanna stilkur af vinnu sem rannsóknir aðstoðarmenn ekki ráða þátttakendur, skila meðferðir, og mæla árangur. Til dæmis, flaumi sviði tilraun Schultz og samstarfsmenn (2007) um félagslegum viðmiðum og rafmagn notkun þarf rannsóknir aðstoðarmenn til að ferðast á hvert heimili til að skila meðferð og lesa rafmagns mælirinn (mynd 4.3). Allt þetta átak aðstoðarmönnum rannsóknir þýddi að bæta við nýjum heimili í rannsókninni hefði bætt við kostnaði. Á hinn bóginn, fyrir stafræna sviði tilraun Restivo og van de Rijt (2012) á umbun í Wikipediu, vísindamenn gátu bæta við fleiri þátttakendum á nánast án kostnaðar. Almenn stefna um að draga úr breytilegum rekstrarkostnaður er að skipta mönnum vinnu (sem er dýrt) með vinnu tölva (sem er ódýrt). Um það bil, getur þú spyrja sjálfan þig: getur þetta tilraun keyrt á meðan allir í liði rannsóknum mínum er sofandi? Ef svarið er já, þú hefur unnið mikið starf sjálfvirkni.

Hin helsta tegund af breytilegum kostnaði er greiðslur til þátttakenda. Sumir vísindamenn hafa notað Amazon Mechanical Turk og öðrum mörkuðum netinu vinnuafl að lækka greiðslur sem eru nauðsynlegar fyrir þátttakendur. Að aka Breytilegur kostnaður alla leið til núll, þó mismunandi nálgun er þörf. Í langan tíma hafa vísindamenn hannað tilraunir sem eru svo leiðinlegur að þeir þurfa að borga fólki til að taka þátt. En, hvað ef þú gætir búið tilraun sem fólk vill vera í? Þetta gæti hljómað langt sóttur, en ég skal gefa ykkur dæmi hér frá eigin starfi mínu, og það eru fleiri dæmi í töflu 4.4. Athugið að þessi aðferð við að hanna skemmtilegt tilraunir Echoes sumir af þeim þemum í 3. kafla varðandi hanna meira skemmtilegt kannanir og í 5. kafla um hönnun massa samvinnu. Þannig held ég að þátttakandi ánægju-hvað gæti einnig verið kallaður notandi reynsla, verður sífellt mikilvægari þáttur í hönnun rannsókna í stafrænni öld.

Ef þú vilt búa til núll breytilegum kostnaði tilraunir þú þarft að tryggja að allt sé fullkomlega sjálfvirkt og að þátttakendur þurfa ekki allir greiðslur. Til þess að sýna hvernig þetta er hægt, ég lýsa ritgerð rannsóknum mínum á velgengni og bilun af menningarlegum afurðum. Þetta dæmi sýnir einnig að núll breytilegur kostnaður gögn er ekki bara um að gera hlutina ódýrari. Frekar, það er um gera tilraunir sem myndi ekki vera hægt annað.

ritgerð mín var hvatinn af furðulegu eðli árangri fyrir menningarlegum afurðum. Hit Songs, best að selja bækur, og risasprengja kvikmyndir eru miklu, miklu meiri árangri en að meðaltali. Vegna þessa, eru markaðir fyrir þessar vörur oft kölluð "sigurvegari-taka-allur" mörkuðum. Samt, á sama tíma, sem einkum lagið, bók eða bíómynd mun verða vel er ótrúlega óútreiknanlegur. Handritshöfundurinn William Goldman (1989) glæsilega kjarni fullt af fræðilegum rannsóknum með því að segja að þegar það kemur að því að spá velgengni, "enginn veit neitt." Unpredictability sigurvegari-taka-allt mörkuðum gerði mig furða hversu mikið af velgengni er afleiðing um gæði og hversu mikið er bara heppni. Eða, gefið örlítið öðruvísi, ef við gætum búið til samhliða heima og hafa þá alla þróast sjálfstætt, myndi sömu lög verða vinsæl í hvers heiminum? Og ef ekki, hvað gæti verið vélbúnaður sem veldur þessum mismun?

Til að svara þessum spurningum, við-Peter Dodds, Duncan Watts (ritgerð ráðgjafi minn), og I-hljóp röð af online tilraunir sviði. Einkum byggt við a website gestur MusicLab þar sem fólk gæti uppgötva nýja tónlist, og við notuðum það fyrir röð tilrauna. Við ráðinn þátttakendur með því að keyra auglýsingaborða á unglinga-vexti vefsíðu (Mynd 4.19) og í gegnum nefnir í fjölmiðlum. Þátttakendur koma á heimasíðu veitt upplýsts samþykkis okkar, lauk Stutt bakgrunnur spurningalista, og voru af handahófi úthlutað til einn af tveimur tilraunaskilyrðunum-sjálfstæður og félagsleg áhrif. Í sjálfstæða ástandi, þátttakendur tekið ákvarðanir um hvaða lög til að hlusta á, gefið aðeins nöfn hljómsveitum og lög. Þó að hlusta á lag, voru þátttakendur beðnir um að gefa það eftir sem þeir höfðu tækifæri (en ekki skyldu) til að sækja lagið. Í félagsleg áhrif ástandi, þátttakendur höfðu sömu reynslu, nema þeir gætu einnig séð hversu oft hvert lag hefði verið sótt af fyrri þátttakendum. Ennfremur, þátttakendur í félagslegri áhrifum ástandi voru af handahófi úthlutað til einn af átta samhliða heimum hver þeirra þróast sjálfstætt (Mynd 4.20). Using this hönnun, hljóp við tvær tengdar tilraunir. Í fyrsta, kynnti við þátttakendum lögin í óflokkuðu rist, sem veitt þeim veikburða merki um vinsældir. Í annarri tilraun, kynnti við lögin í a raðað lista, sem kveðið er mun sterkari merki um vinsældir (mynd 4.21).

Mynd 4.19: Dæmi um auglýsingu borði sem samstarfsmenn mínir og ég nota til að ráða þátttakendum um MusicLab tilraunir (Salganik, Dodds, and Watts 2006) .

Mynd 4.20: Experimental hönnun fyrir MusicLab tilraunir (Salganik, Dodds, and Watts 2006) . Þátttakendur voru af handahófi í einn af tveimur skilyrðum: óháðum og félagsleg áhrif. Þátttakendur í sjálfstæðum ástandi gerði val þeirra án frekari upplýsinga um hvað annað fólk hafði gert. Þátttakendur í félagsleg áhrif ástandi voru af handahófi úthlutað í einn af átta samhliða heima, þar sem þeir gætu séð vinsældir-mælt með niðurhal af fyrri þátttakenda, sem hvert lag í heimi þeirra, en þeir gátu ekki séð neinar upplýsingar, né gerðu þeir jafnvel vita um tilvist, einhverju öðru heima.

Við teljum að vinsældir af the lög ólík yfir the veröld bendir mikilvægu hlutverki heppni. Til dæmis, í einum heimi lagið "læst" eftir 52Metro kom í 1., og í annan heim og það kom í 40. út af 48 lög. Þetta var nákvæmlega það sama lagið keppa á móti öllum sömu lög, en í einum heimi og það var heppinn og í öðrum það ekki. Ennfremur með því að bera niðurstöður yfir tveimur tilraunum við komist að því að félagsleg áhrif leiðir til ójafnari árangur, sem kannski skapar útliti fyrirsjáanlegt. En, leita yfir heima (sem ekki er að gert utan af þessu tagi samhliða heima tilraun), fannst við að félagsleg áhrif í raun aukið unpredictability. Ennfremur furðu, það var lög af hæsta áfrýjun sem hafa mest ófyrirsjáanlegum afleiðingum (Figure 4.22).

Mynd 4.21: Skjámyndir úr félagslegum áhrifum aðstæður í MusicLab tilraunum (Salganik, Dodds, and Watts 2006) . Í félagsleg áhrif ástandi í tilraun 1, lögin, ásamt fjölda fyrri niðurhal, voru lagðir fyrir þátttakendur raðað í 16 x 3 rétthyrndum rist, þar sem staða lögunum voru af handahófi úthlutað fyrir hvern þátttakanda. Í tilraun 2, þátttakendur í félagslegri áhrifum ástandi voru sýndar lögin, með sækja talningu, sem í einn dálk í röð núverandi vinsældum.

Mynd 4.22: Niðurstöður úr MusicLab tilraunum sem sýna tengsl milli áfrýjun og velgengni (Salganik, Dodds, and Watts 2006) . X-ás er markaðshlutdeild af laginu í óháðu heimi, sem þjónar sem mælikvarði á áfrýjun af laginu, og y-ás er markaðshlutdeild sama lagið í 8 félagsleg áhrif heimum, sem þjónar sem mælikvarði á velgengni lögunum. Við komumst að því að auka félagsleg áhrif sem þátttakendur upplifað-sérstaklega, breyting á útliti frá tilraun 1 að prófa 2 (mynd 4.21) -caused árangri að verða meira óútreiknanlegur, sérstaklega fyrir hæstu áfrýjun lög.

MusicLab var fær til að keyra á í raun núll breytilegan kostnað vegna þess hvernig það var hannað. Fyrst var allt fullkomlega sjálfvirkt þannig að það var hægt að hlaupa á meðan ég var sofandi. Í öðru lagi, bætur var frjáls tónlist þannig að það var engin breytilegur þátttakandi bætur kostnað. Notkun tónlistar sem bætur sýnir einnig hvernig það er stundum málamiðlun milli fastan kostnað og breytilegan kostnað. Notkun tónlist aukið föstum kostnaði vegna þess að ég þurfti að eyða tíma tryggja leyfi frá hljómsveitum og undirbúa skýrslur fyrir hljómsveitum um viðbrögð þátttakenda við tónlist þeirra. En í þessu tilfelli, auka fastan kostnað í því skyni að minnka breytur kostnaði var rétt að gera; það er það sem gerði okkur kleift að keyra tilraun sem var um 100 sinnum stærra en venjulega Lab tilraun.

Ennfremur MusicLab tilraunir sýna að núll breytilegur kostnaður þarf ekki að vera markmið í sjálfu sér; frekar, það getur verið leið til að keyra nýja tegund af tilraun. Takið eftir að við vissum ekki að nota alla þátttakendur okkar til að keyra staðlað félagsleg áhrif Lab Experiment 100 sinnum. Þess í stað, gerði við eitthvað annað, sem þú gætir hugsað sem skipta frá sálfræðilegu tilraun til félagslegu tilraun (Hedström 2006) . Frekar en að einblína á einstaka ákvarðanatöku, með áherslu við tilraun okkar á vinsældir, sameiginlega niðurstöðu. Þessi rofi til sameiginlega niðurstöðu þýddi að við þurfa um 700 þátttakendum til að framleiða eina gögn benda (það voru 700 manns í hverjum samhliða heima). Sá mælikvarði var aðeins hægt vegna kostnaðar uppbyggingu tilraunarinnar. Almennt, ef vísindamenn vilja til að læra hvernig sameiginlega niðurstöður koma frá einstökum ákvörðunum, hópur tilraunir ss MusicLab eru mjög spennandi. Í the fortíð, hafa þeir verið skipulagslega erfitt, en þessir erfiðleikar eru að hverfa vegna möguleika á núll breytilegum gögnum kostnaður.

Auk þess að sýna ávinning af núll breytilegum gögnum kostnaði, MusicLab tilraunir sýna einnig áskorun með þessari aðferð: hár fastur kostnaður. Í mínu tilfelli, ég var mjög heppin að vera fær um að vinna með hæfileikaríku vefur verktaki heitir Peter Hausel um sex mánuði að smíða tilraunina. Þetta var einungis mögulegt vegna ráðgjafi minn, Duncan Watts, hafði fengið fjölda styrkja til að styðja þessa tegund af rannsóknum. Tækni hefur batnað síðan við reist MusicLab árið 2004, og það væri miklu auðveldara að byggja tilraun svona núna. En, hár fastur kostnaður aðferðir eru í raun aðeins mögulegt fyrir vísindamenn sem geta einhvern veginn ná þeim kostnaði.

Að lokum, stafræn tilraunir geta haft verulega mismunandi mannvirki kostnaði en byggður á hliðstæðum tilraunum. Ef þú vilt keyra virkilega stórar tilraunir, ættir þú að reyna að lækka breytilegan kostnað eins mikið og mögulegt er og helst alla leið til 0. Þú getur gert þetta með því að sjálfvirkur aflfræði af tilrauninni (td, skipta mönnum tíma með tölvu tíma) og hanna tilraunir sem fólk vill vera í. Vísindamenn sem geta hanna tilraunir með þessar aðgerðir verður að vera fær til hlaupa nýjar tegundir af tilraunum sem voru ekki mögulegt í fortíðinni.