4.6.1 Opprett null variable kostnadsdata

Nøkkelen til å kjøre store eksperimenter kjører din variable kostnader til null. De beste måtene å gjøre dette på er automatisering og utforme hyggelig eksperimenter.

Digitale eksperimenter kan ha dramatisk ulike kostnadsstrukturer og dette gjør forskere til å drive forsøk som var umulig i det siste. Mer spesifikt, eksperimenter har vanligvis to hovedtyper av kostnader:. Faste kostnader og variable kostnader Faste kostnader er kostnader som ikke endres avhengig av hvor mange deltakere du har. For eksempel, i en lab eksperiment, kan faste kostnader være kostnadene ved å leie plass og kjøpe møbler. Variable kostnader, på den annen side, endre avhengig av hvor mange deltakere du har. For eksempel, i en lab eksperiment, kan variable kostnader kommer fra å betale ansatte og deltakere. Generelt analoge eksperimenter har lave faste kostnader og høye variable kostnader, og digitale eksperimenter har høye faste kostnader og lave variable kostnader (figur 4.18). Med riktig design, kan du kjøre den variable kostnadene for eksperimentet hele veien til null, og dette kan skape spennende forskningsmuligheter.

Figur 4.18: Skjematisk av kostnadsstruktur i analoge og digitale eksperimenter. Generelt analoge eksperimenter har lave faste kostnader og høye variable kostnader, mens digitale eksperimenter har høye faste kostnader og lave variable kostnader. De forskjellige kostnadsstruktur betyr at digitale eksperimenter kan kjøres på en skala som ikke er mulig med analoge forsøk.

Det er to hovedelementer av variable kostnads-utbetalinger til ansatte og utbetalinger til deltakerne-, og hver av disse kan bli kjørt til null ved hjelp av ulike strategier. Utbetalinger til ansatte stammer fra det arbeidet som forskningsassistenter trenger å rekruttere deltakere, leverer behandlinger, og måle resultater. For eksempel, den analoge felteksperiment fra Schultz og kolleger (2007) til på sosiale normer og strømforbruk nødvendig forskningsassistenter reise til hvert hjem for å levere den behandlingen og lese strømmåleren (figur 4.3). Alt dette arbeidet ved forskningsassistenter mente at å legge en ny husholdning til studiet ville ha lagt til kostnaden. På den annen side, for det digitale feltet eksperiment Restivo og van de Rijt (2012) på belønning i Wikipedia, kan forskerne legge til flere deltakere på nesten ingen kostnad. En generell strategi for å redusere variable administrative kostnader er å erstatte menneskelig arbeid (som er dyrt) med dataarbeid (som er billig). Grovt sett kan du spørre deg selv: kan dette eksperimentet kjøre mens alle på min forskerteam sover? Hvis svaret er ja, du har gjort en god jobb med automatisering.

Den andre hovedtypen av variable kostnader er utbetalinger til deltakerne. Enkelte forskere har brukt Amazon Mechanical Turk og andre elektroniske arbeidsmarkeder for å redusere utbetalingene som er nødvendig for deltakerne. For å drive variable kostnader helt frem til null, er imidlertid en annen tilnærming er nødvendig. I lang tid har forskerne utviklet eksperimenter som er så kjedelig at de må betale folk til å delta. Men hva om du kunne lage et eksperiment som folk ønsker å være i? Dette kan høres langt hentet, men jeg skal gi deg et eksempel nedenfor fra mitt eget arbeid, og det er flere eksempler i tabell 4.4. Merk at denne tilnærmingen til å utforme fornøye eksperimenter ekko noen av temaene i kapittel 3 om å designe mer underholdende undersøkelser og i kapittel 5 om utforming av masse samarbeid. Derfor tror jeg at deltaker nytelse-hva kan også bli kalt brukererfarings vil bli en stadig viktigere del av forskningsdesign i den digitale tidsalderen.

Hvis du ønsker å opprette null variable kostnader eksperimenter vil du ønsker å sørge for at alt er helautomatisk, og at deltakerne ikke krever noen utbetalinger. For å vise hvordan dette er mulig, vil jeg beskrive min avhandling forskning på suksess og fiasko for kulturelle produkter. Dette eksempelet viser også at null variable kostnader data er ikke bare om å gjøre ting billigere. Snarere er det om aktivering av eksperimenter som ikke ville være mulig ellers.

Min avhandling ble motivert av den underlige natur suksess for kulturelle produkter. Slagerne, bestselgende bøker, og storfilmer er mye, mye mer vellykket enn gjennomsnittet. På grunn av dette, er markedene for disse produktene ofte kalt "vinneren tar alt" markeder. Men på samme tid, noe som bestemt sang, bok eller film vil bli vellykket er utrolig uforutsigbar. Den manusforfatter William Goldman (1989) elegant oppsummerte mye akademisk forskning ved å si at når det gjelder å forutsi suksess, "ingen vet noe." The uforutsigbarhet vinneren tar alle markeder gjorde meg lurer på hvor mye av suksessen er et resultat av kvalitet og hvor mye er bare flaks. Eller, uttrykt litt annerledes, hvis vi kan skape parallelle verdener og ha dem alle utvikle seg uavhengig av hverandre, ville de samme sangene blitt populært i hver verden? Og hvis ikke, kan det være en mekanisme som forårsaker disse forskjellene?

For å svare på disse spørsmålene,-løp jeg vi-Peter Dodds, Duncan Watts (min avhandling rådgiver), og en rekke elektroniske feltforsøk. Spesielt bygde vi en nettside som heter MusicLab hvor folk kunne oppdage ny musikk, og vi brukte den for en rekke eksperimenter. Vi rekrutterte deltakere ved å kjøre bannerannonser på en teen-interesse hjemmeside (figur 4.19) og gjennom nevner i media. Deltakere som ankommer på vår nettside gitt informert samtykke, fullførte en kort bakgrunn spørreskjema, og ble randomisert til en av to eksperimentelle forhold uavhengig og sosial påvirkning. I den uavhengige tilstand, deltakerne gjort vedtak om hvilke sanger å lytte til, gitt bare navnene på band og sanger. Mens du lytter til en sang, ble deltakerne bedt om å rangere det etter som de hadde mulighet (men ikke plikt) til å laste ned sangen. I sosial innflytelse tilstand, deltakerne hadde samme erfaring, bortsett fra at de kunne også se hvor mange ganger hver sang hadde blitt lastet ned av tidligere deltakere. Videre deltakere i sosial påvirkning tilstand ble randomisert til ett av åtte parallelle verdener som hver utviklet seg uavhengig (figur 4.20). Ved hjelp av denne design, kjørte vi to beslektede eksperimenter. I den første, presenterte vi deltakerne sangene i en usortert rutenett, som ga dem et svakt signal på popularitet. I det andre forsøket, presenterte vi sangene i en rangert liste, som ga et mye sterkere signal av popularitet (figur 4.21).

Figur 4.19: Eksempel på bannerannonse som mine kolleger og jeg pleide å rekruttere deltakere for MusicLAB eksperimenter (Salganik, Dodds, and Watts 2006) .

Figur 4.20: Eksperimentell design for MusicLAB eksperimenter (Salganik, Dodds, and Watts 2006) . Deltakerne ble randomisert til en av to betingelser: selvstendig og sosial påvirkning. Deltakerne i den uavhengige tilstand gjort sine valg uten noen informasjon om hva andre mennesker hadde gjort. Deltakere i sosial påvirkning tilstand ble randomisert til ett av åtte parallelle verdener, hvor de kunne se populariteten-målt ved nedlasting av tidligere deltakere-av hver sang i deres verden, men de kunne ikke se noe informasjon, heller ikke de selv vite om eksistensen av, en hvilken som helst av de andre verdener.

Vi fant at populariteten av sangene forskjellig på tvers av verdener som tyder på en viktig rolle av flaks. For eksempel, i en verden sangen "Lockdown" av 52Metro kom i første, og i en annen verden det kom inn 40 ut av 48 sanger. Dette var akkurat den samme sangen konkurrerer mot alle de samme sangene, men i en verden det hadde flaks og i de andre gjorde det ikke. Videre, ved å sammenlikne resultatene på tvers av de to eksperimenter fant vi at sosial påvirkning fører til større forskjeller i suksess, noe som kanskje skaper inntrykk av forutsigbarhet. Men, ser over verdens (som ikke kan gjøres utenfor denne slags parallell verdener eksperiment), fant vi at sosial påvirkning faktisk økt uforutsigbarhet. Videre overraskende, var det sanger av høyeste appell som har de mest uforutsigbare utfall (figur 4.22).

Figur 4.21: Skjermbilder fra de sosiale påvirkningsforhold i MusicLAB eksperimenter (Salganik, Dodds, and Watts 2006) . I sosial innflytelse tilstanden i forsøk 1, sangene, sammen med antall tidligere nedlastinger, ble presentert for deltakerne arrangert i en 16 X 3 rektangulært rutenett, hvor posisjonene til sangene ble randomisert for hver deltaker. I forsøk 2 ble deltakerne i sosial påvirkning tilstanden vist sangene, med nedlasting teller, presentert i en kolonne i synkende rekkefølge av nåværende popularitet.

Figur 4.22: Resultater fra MusicLAB eksperimenter som viser forholdet mellom appell og suksess (Salganik, Dodds, and Watts 2006) . X-aksen er markedsandelen av sangen i den uavhengige verden, som fungerer som et mål på anken av sangen, og y-aksen er markedsandelen av den samme sangen i de 8 sosiale innflytelse verdener, som serverer som et mål på suksess for sangene. Vi fant at ved å øke sosial påvirkning at deltakerne opplevde-spesifikt, den endring i layout fra eksperiment 1 til å eksperimentere 2 (figur 4,21) -caused suksess til å bli mer uforutsigbar, særlig for de høyeste klage låtene.

MusicLab var i stand til å kjøre på i hovedsak null variable kostnader på grunn av måten den ble utformet. Først alt var fullt automatisert, slik det var i stand til å kjøre mens jeg sov. For det andre kompensasjonen var gratis musikk så det var ingen variabel deltaker kompensasjonskostnader. Bruk av musikk som kompensasjon illustrerer også hvordan det er ofte en avveining mellom faste kostnader og variable kostnader. Ved hjelp av musikk økte faste kostnader fordi jeg måtte bruke tid på å sikre tillatelse fra båndene og utarbeide rapporter for bandene om deltakernes reaksjon på musikken deres. Men, i dette tilfellet, økende faste kostnader for å redusere variable kostnader var den riktige tingen å gjøre; det er det som gjorde oss i stand til å kjøre et eksperiment som var omtrent 100 ganger større enn en standard lab eksperiment.

Videre viser MusicLAB forsøk viser at null variable kostnader ikke behøver å være et mål i seg selv; heller, kan det være et middel til å drive en ny type eksperiment. Legg merke til at vi ikke fikk bruke alle våre deltakere for å kjøre en standard sosial påvirkning lab eksperiment 100 ganger. I stedet, vi gjorde noe annet, som du kunne tenke på som å bytte fra et psykologisk eksperiment til et sosiologisk eksperiment (Hedström 2006) . Snarere enn å fokusere på individuelle beslutninger, fokuserte vi vårt eksperiment på popularitet, et kollektivt utfall. Denne bryteren til et kollektivt utfall betydde at vi krevde rundt 700 deltakere til å produsere en enkelt datapunkt (det var 700 personer i hver av de parallelle verdener). Denne skalaen var bare mulig på grunn av kostnadsstrukturen av forsøket. Generelt, hvis forskerne vil studere hvordan kollektive utfall oppstå fra enkeltvedtak, gruppe eksperimenter som MusicLab er veldig spennende. I det siste har de vært logistisk vanskelig, men disse vanskelighetene er filtrert på grunn av muligheten for null variable kostnadsdata.

I tillegg til å illustrere fordelene med null variable kostnadsdata, de MusicLAB eksperimenter viser også en utfordring med denne tilnærmingen: høye faste kostnader. I mitt tilfelle var jeg ekstremt heldig å være i stand til å jobbe med en dyktig webutvikler som heter Peter Hausel i ca seks måneder å konstruere eksperimentet. Dette var bare mulig fordi min rådgiver, Duncan Watts hadde mottatt en rekke stipender for å støtte denne typen forskning. Teknologien har blitt bedre siden vi bygde MusicLab i 2004, og det ville være mye lettere å bygge et eksperiment som dette nå. Men, høye faste kostnader strategier er egentlig bare mulig for forskere som liksom kan dekke disse kostnadene.

Som konklusjon, kan digitale eksperimenter ha dramatisk forskjellig kostnadsstruktur enn analoge eksperimenter. Hvis du ønsker å kjøre virkelig store eksperimenter, bør du prøve å redusere variable kostnadene så mye som mulig og helst hele veien til 0. Du kan gjøre dette ved å automatisere mekanikerne av eksperimentet (f.eks erstatte menneskelig tid med datamaskinen tid) og designe eksperimenter som folk ønsker å være i. Forskere som kan designe eksperimenter med disse funksjonene vil være i stand til å kjøre nye typer eksperimenter som ikke var mulig tidligere.