4.6.1 Búa núll breytilega gögn kostnaður

Lykillinn að því að keyra stórar tilraunir er að keyra breytilegan kostnað í núll. Besta leiðin til að gera þetta eru sjálfvirkni og hönnun skemmtilegra tilrauna.

Stafrænar tilraunir geta haft verulega ólíkan kostnaðarsamsetningu og það gerir vísindamenn kleift að keyra tilraunir sem voru ómögulegar í fortíðinni. Ein leið til að hugsa um þennan mun er að hafa í huga að tilraunir hafa venjulega tvær tegundir af kostnaði: föstum kostnaði og breytilegum kostnaði. Fastir kostnaður er kostnaður sem er óbreytt óháð fjölda þátttakenda. Til dæmis, í rannsóknarstofu, geta fastar kostnaður verið kostnaður við að leigja pláss og kaupa húsgögn. Breytilegir kostnaður breytist hins vegar eftir fjölda þátttakenda. Til dæmis, í rannsóknarreynslu gætu breytilegir kostnaður komið frá því að borga starfsfólk og þátttakendur. Almennt hafa hliðstæðar tilraunir lágt fastan kostnað og miklar breytilegar kostnað, en stafrænar tilraunir hafa mikla fasta kostnað og lágan breytilega kostnað (mynd 4.19). Jafnvel þótt stafrænar tilraunir hafi litla breytilegan kostnað getur þú búið til mikið af spennandi tækifærum þegar þú ert að breyta breytilegum kostnaði alla leið niður í núll.

Mynd 4.19: Skýringarmynd á kostnaðarskipulagi í hliðstæðum og stafrænum tilraunum. Almennt hafa hliðstæðar tilraunir lágt fastan kostnað og miklar breytilegir kostnaður en stafrænar tilraunir hafa mikla fasta kostnað og lítil breytileg kostnaður. Hinar mismunandi kostnaðarskipanir þýða að stafrænar tilraunir geta keyrt á mælikvarða sem ekki er hægt með hliðstæðum tilraunum.

Það eru tveir meginþættir breytilegra kostnaðargreiðslna til starfsfólks og greiðslur til þátttakenda - og hver þessara er hægt að keyra í núll með mismunandi aðferðum. Greiðslur til starfsfólks stafast af þeirri vinnu sem rannsóknaraðstoðarmenn ráða við þátttakendur, afhenda meðferðir og mæla niðurstöður. Til dæmis, á hliðstæða sviði tilraun Schultz og samstarfsmanna (2007) um rafmagnsnotkun, þurftu rannsóknaraðilar að ferðast til hvers heimili til að afhenda meðferð og lesa rafmagnsmælirinn (mynd 4.3). Allt þetta viðleitni rannsóknaraðstoðar þýddi að bæta við nýju heimili við rannsóknin hefði bætt við kostnaðinum. Á hinn bóginn, fyrir stafræna reitarsýninguna af Restivo og van de Rijt (2012) um áhrif verðlauna á Wikipedia ritstjóra, gætu vísindamenn bætt við fleiri þátttakendum á næstum engum kostnaði. Almenn stefna til að draga úr breytilegum stjórnsýslukostnaði er að skipta um vinnu manna (sem er dýrt) með tölvuvinnu (sem er ódýrt). Gróft er hægt að spyrja sjálfan þig: Getur þessi tilraun hlaupið á meðan allir í rannsóknarhópnum eru sofandi? Ef svarið er já, hefur þú gert frábært starf sjálfvirkni.

Annað aðalgerð breytilegs kostnaðar er greiðslur til þátttakenda. Sumir vísindamenn hafa notað Amazon Mechanical Turk og aðrar vinnumarkaðir á netinu til að draga úr þeim greiðslum sem þörf er á fyrir þátttakendur. Að keyra breytu kostar alla leið niður í núll, hins vegar er þörf á mismunandi nálgun. Í langan tíma hafa vísindamenn hannað tilraunir sem eru svo leiðinlegar að þeir þurfi að borga fólki til að taka þátt. En hvað ef þú gætir búið til tilraun sem fólk vill vera í? Þetta kann að hljóma langt, en ég mun gefa þér dæmi hér að neðan úr eigin vinnu, og það eru fleiri dæmi í töflu 4.4. Athugaðu að þessi hugmynd að því að hanna skemmtilegar tilraunir fjallar sumum þemum í kafla 3 varðandi hönnun á skemmtilegri könnunum og í kafla 5 varðandi hönnun samvinnu í massa. Þannig held ég að þátttakandi ánægju - hvað gæti líka verið kallað notendavara - mun verða sífellt mikilvægari hluti rannsóknarhönnunar á stafrænu aldri.

Ef þú vilt búa til tilraunir með núllbreytilegan kostnaðargögn þarftu að tryggja að allt sé fullkomlega sjálfvirkt og að þátttakendur þurfa ekki greiðslu. Til að sýna hvernig þetta er mögulegt lýsir ég ritgerðarniðurstöðum mínum um árangur og bilun menningarafurða.

Ritgerðin mín var hvatt af ógnvekjandi eðli velgengni menningarafurða. Högglög, seldu bækur og kvikmyndir eru miklu, miklu betri en meðaltal. Vegna þessa er markaðurinn fyrir þessar vörur oft kallaðir "sigurvegari-taka-allt" markaðir. Samt, á sama tíma, hvaða lag, bók eða kvikmynd verður árangursríkt er ótrúlega ófyrirsjáanlegt. Handritshöfundur William Goldman (1989) lýsti glæsilega miklum fræðilegum rannsóknum með því að segja að þegar það kemur að því að spá fyrir velgengni, "enginn veit neitt." Ófyrirsjáanlegt af víngerðarmörkum öllum mörkuðum gerði mig að velta fyrir mér hversu mikið af árangri er afleiðing af gæðum og hversu mikið er bara heppni. Eða lýsti svolítið öðruvísi, ef við gætum búið til samhliða heima og ef þau þróast sjálfstætt, myndu sömu lögin verða vinsæl í hverri heimi? Og, ef ekki, hvað gæti verið vélbúnaður sem veldur þessum munum?

Til þess að svara þessum spurningum, við-Peter Dodds, Duncan Watts (ritgerðarráðgjafi mín) og ég-hljóp röð af tilraunum á netinu. Sérstaklega byggðum við vefsíðu sem heitir MusicLab þar sem fólk gæti fundið nýjan tónlist og notum það fyrir röð tilrauna. Við ráðnuðu þátttakendur með því að keyra auglýsingaborða á vefsíðu fyrir unglingavexti (mynd 4.20) og í gegnum umfjöllun í fjölmiðlum. Þátttakendur sem komu á vefsíðuna okkar veittu upplýst samþykki, luku stuttri spurningalista og voru handahófi úthlutað einum af tveimur tilraunaástandi, óháðum og félagslegum áhrifum. Í sjálfstæðu ástandi gerðu þátttakendur ákvarðanir um hvaða lög að hlusta á, gefið aðeins nöfn hljómsveitarinnar og lögin. Þó að hlusta á lag, voru þátttakendur beðnir um að meta það eftir það sem þeir fengu tækifæri (en ekki skylduna) til að hlaða niður laginu. Í félagslegum áhrifum, þátttakendur höfðu sömu reynslu, nema þeir gætu líka séð hversu oft hvert lag var hlaðið niður af fyrri þátttakendum. Að auki voru þátttakendur í félagslegum áhrifum ástand slembiraðs úthlutað til einnar af átta samhliða heima, sem hver um sig þróast sjálfstætt (mynd 4.21). Með því að nota þessa hönnun, hljópum við tvær tengdar tilraunir. Í fyrsta lagi kynntum við lögin til þátttakenda í óflokkuðu rist, sem veitti þeim slæm merki um vinsældir. Í annarri tilrauninni kynntum við lögin á raðað listanum, sem veittu miklu sterkari merki um vinsældir (mynd 4.22).

Mynd 4.20: Dæmi um auglýsingaborða sem samstarfsmenn mínir og ég notuðu til að ráða þátttakendur í MusicLab tilraunirnar (Salganik, Dodds, and Watts 2006) . Salganik (2007) með leyfi frá Salganik (2007) , mynd 2.12.

Mynd 4.21: Tilraunahönnun fyrir MusicLab tilraunirnar (Salganik, Dodds, and Watts 2006) . Þátttakendur voru handahófi úthlutað einum af tveimur skilyrðum: sjálfstæð og félagsleg áhrif. Þátttakendur í sjálfstætt ástandi gerðu val sitt án þess að fá upplýsingar um hvað annað fólk hafði gert. Þátttakendur í félagslegum áhrifum voru handahófi úthlutað til einn af átta samhliða heima, þar sem þeir gátu séð vinsældirnar - eins og mælt var með niðurhalum fyrri þátttakenda - af hverju lagi í heimi þeirra, en þeir gátu ekki séð neinar upplýsingar um né gerðu þau jafnvel vita um tilvist einhvers hinna heima. Aðlaga frá Salganik, Dodds, and Watts (2006) , mynda s1.

Við komumst að því að vinsældir löganna voru mismunandi um allan heim og bendir til þess að heppni hafi gegnt mikilvægu hlutverki í velgengni. Til dæmis, í einum heimi kom lagið "Lockdown" eftir 52Metro í 1. af 48 lögum, en í annarri heimi kom það í 40. sæti. Þetta var nákvæmlega það sama lag sem keppti gegn öllum sama lögunum, en í einum heimi varð það heppin og í öðrum gerðu það ekki. Enn fremur, með því að bera saman niðurstöður í báðum tilraunum, fannst okkur að félagsleg áhrif auka eilífðarviðfangsefni þessara markaða, sem hugsanlega bendir til mikilvægis þekkingar. En að horfa yfir heiminn (sem ekki er hægt að gera utan þessa tilraun í samhliða heimi), komumst við að félagsleg áhrif aukið reyndar mikilvægi heppni. Enn fremur var það lögin af hæstu áfrýjun þar sem heppni skiptir mestu máli (mynd 4.23).

Mynd 4.22: Skjámyndir frá félagslegum áhrifum í MusicLab tilraunum (Salganik, Dodds, and Watts 2006) . Í félagslegum áhrifum ástandi í tilraun 1, lögin, ásamt fjölda fyrri niðurhal, voru lagðir fyrir þátttakendur raða í 16 \(\times\) 3 rétthyrndum rist, þar með embætti lög var slembiraðað fyrir hvern þátttakandi. Í tilraun 2 voru þátttakendur í félagslegum áhrifum ástand sýndar lögin, með niðurhalsfjölda, kynntar í einum dálki í lækkandi röð af núverandi vinsældum.

Mynd 4.23: Niðurstöður úr MusicLab tilraunum sem sýna tengslin milli áfrýjunar og velgengni (Salganik, Dodds, and Watts 2006) . The \(x\) -ásinn er markaðshlutdeild lagsins í sjálfstæðu heimi, sem þjónar sem mælikvarði á áfrýjun lagsins og \(y\) -ásinn er markaðshlutdeild sama lagsins í Átta félagsleg áhrif heima, sem þjónar sem mælikvarði á velgengni löganna. Við komumst að því að auka félagsleg áhrif sem þátttakendur upplifðu, sérstaklega, breytingin á skipulagi frá tilraun 1 til að gera tilraun 2 (mynd 4.22) - varð til þess að velgengni varð ófyrirsjáanlegri, sérstaklega fyrir lögin með hæstu áfrýjun. Aðlaga frá Salganik, Dodds, and Watts (2006) , mynd 3.

MusicLab var fær um að keyra á í raun núllbreytilegum kostnaði vegna þess hvernig hann var hannaður. Í fyrsta lagi var allt fullkomlega sjálfvirkt þannig að það var hægt að keyra á meðan ég var sofandi. Í öðru lagi var bótin frjáls tónlist, þannig að það var enginn breytilegur þátttakandi bætur kostnaður. Notkun tónlistar sem bætur sýnir einnig hvernig það er stundum afgreiðsla milli fasta og breytilega kostnaðar. Notkun tónlistar jókst fastan kostnað vegna þess að ég þurfti að eyða tíma til að fá leyfi frá hljómsveitunum og undirbúa skýrslur fyrir þá um viðbrögð þátttakenda við tónlist sína. En í þessu tilfelli, að auka fasta kostnað til að lækka breytur kostnaður var rétt að gera; það er það sem gerði okkur kleift að keyra tilraun sem var um það bil 100 sinnum stærri en venjulegt rannsóknarverkefni.

Ennfremur sýndu MusicLab tilraunirnar að núll breytilegur kostnaður þarf ekki að vera endir í sjálfu sér; frekar getur það verið leið til að keyra nýja tegund af tilraun. Takið eftir því að við notum ekki alla þátttakendur okkar til að keyra staðlað félagsleg áhrif lab tilraun 100 sinnum. Í staðinn gerðum við eitthvað annað, sem þú gætir hugsað um að skipta úr sálfræðilegri tilraun til félagsfræðinnar (Hedström 2006) . Frekar en að einblína á einstaka ákvarðanatöku var lögð áhersla á tilraun okkar um vinsældir, sameiginlega niðurstöðu. Þetta skipta yfir í sameiginlega niðurstöðu þýddi að við þurftu um 700 þátttakendur að framleiða eitt gagnapunkt (700 manns voru í samhliða heimi). Þessi mælikvarði var aðeins mögulegt vegna kostnaðaruppbyggingar tilraunarinnar. Almennt, ef vísindamenn vilja læra hvernig sameiginlegar niðurstöður stafar af einstökum ákvörðunum, eru hópur tilraunir eins og MusicLab mjög spennandi. Í fortíðinni hafa þau verið logistically erfitt, en þessar erfiðleikar hverfa vegna möguleika á núllbreytilegum kostnaði.

Auk þess að sýna fram á kosti góðs af núllbreytilegum kostnaðarupplýsingum, sýna MusicLab-tilraunirnar einnig áskorun með þessari nálgun: háir fastir kostnaður. Í mínu tilviki var ég mjög heppinn að geta unnið með hæfileikaríkan vefur verktaki sem heitir Peter Hausel í um það bil sex mánuði til að búa til tilraunina. Þetta var aðeins mögulegt vegna þess að ráðgjafi mín, Duncan Watts, hafði fengið fjölda styrkja til að styðja þessa rannsókn. Tækni hefur batnað frá því að við byggðum MusicLab árið 2004 svo það væri miklu auðveldara að búa til tilraun eins og þetta núna. En háir kostnaðaraðferðir eru í raun aðeins mögulegar fyrir vísindamenn sem geta einhvern veginn haldið þessum kostnaði.

Niðurstaðan er sú að stafrænar tilraunir geta haft verulega mismunandi kostnaðarskipanir en hliðstæðar tilraunir. Ef þú vilt keyra mjög stórar tilraunir ættir þú að reyna að lækka breytilegan kostnað eins mikið og mögulegt er og helst allt til núlls. Þú getur gert þetta með því að gera sjálfvirkan aflfræði tilraunarinnar (td skipta um tíma manna með tölvutímum) og hanna tilraunir sem fólk vill vera inn. Rannsakendur sem geta hannað tilraunir með þessum eiginleikum munu geta keyrt nýjar tegundir tilrauna sem voru ekki mögulegt í fortíðinni. Hins vegar geta hæfileikar til að búa til núllkostnaðar tilraunir hækka nýjar siðferðilegar spurningar, það efni sem ég skal nú fjalla um.