4.6.1 Opprett null variable kostnadsdata

Nøkkelen til å kjøre store eksperimenter er å drive den variable kostnaden til null. De beste måtene å gjøre dette på er automatisering og utforming hyggelige eksperimenter.

Digitale eksperimenter kan ha dramatisk forskjellige kostnadsstrukturer, og dette gjør det mulig for forskere å kjøre eksperimenter som var umulige i fortiden. En måte å tenke på denne forskjellen er å merke seg at eksperimenter generelt har to typer kostnader: faste kostnader og variable kostnader. Faste kostnader er kostnader som forblir uendret uavhengig av antall deltakere. For eksempel, i et laboratorieeksperiment kan faste kostnader være kostnadene ved å leie plass og kjøpe møbler. Variable kostnader , derimot, endres avhengig av antall deltakere. For eksempel, i et laboratorieeksperiment, kan variable kostnader komme fra betalende ansatte og deltakere. Analoge eksperimenter har generelt lave faste kostnader og høye variable kostnader, mens digitale eksperimenter har høye faste kostnader og lave variable kostnader (figur 4.19). Selv om digitale eksperimenter har lave variable kostnader, kan du skape mange spennende muligheter når du kjører variabelprisen helt til null.

Figur 4.19: Skjematisk av kostnadsstrukturer i analoge og digitale eksperimenter. Generelt har analoge eksperimenter lave faste kostnader og høye variable kostnader, mens digitale eksperimenter har høye faste kostnader og lave variable kostnader. De forskjellige kostnadsstrukturer betyr at digitale eksperimenter kan kjøre i en skala som ikke er mulig med analoge eksperimenter.

Det er to hovedelementer av variable kostnadsbetalinger til ansatte og betalinger til deltakere - og hver av disse kan kjøres til null ved hjelp av forskjellige strategier. Betalinger til ansatte stammer fra det arbeidet som forskningsassistenter rekrutterer deltakere, leverer behandlinger og måler utfall. For eksempel, det analoge felteksperimentet til Schultz og kolleger (2007) om strømforbruk, krevde forskningsmiljøer å reise til hvert hjem for å levere behandlingen og lese elmåleren (figur 4.3). Alt dette forsøket av forskningsassistenter mente at å legge til et nytt hus til studien ville ha lagt til kostnaden. På den annen side, for det digitale felteksperimentet til Restivo og van de Rijt (2012) om effekten av priser på Wikipedia-redaktører, kunne forskere legge til flere deltakere til nesten ingen kostnad. En generell strategi for å redusere variable administrative kostnader er å erstatte menneskelig arbeid (som er dyrt) med datarbeid (som er billig). Grovt kan du spørre deg selv: Kan dette eksperimentet løpe mens alle på undersøkelsesgruppen sover? Hvis svaret er ja, har du gjort en god jobb med automatisering.

Den andre hovedtypen av variabel kostnad er utbetalinger til deltakerne. Noen forskere har brukt Amazon Mechanical Turk og andre nettbaserte arbeidsmarkeder for å redusere betalingene som trengs for deltakerne. For å kjøre variable kostnader helt til null, er det imidlertid nødvendig med en annen tilnærming. I lang tid har forskere designet eksperimenter som er så kjedelige at de må betale folk for å delta. Men hva om du kunne lage et eksperiment som folk vil være i? Dette kan høres langt, men jeg gir deg et eksempel nedenfor fra mitt eget arbeid, og det er flere eksempler i tabell 4.4. Legg merke til at denne ideen om å utforme hyggelige eksperimenter ekko noen av temaene i kapittel 3 om utforming av morsommere undersøkelser og i kapittel 5 om utforming av massesamarbeid. Dermed tror jeg at deltakerenes nytelse - det som også kan kalles brukeropplevelse - blir en stadig viktigere del av forskningsdesign i digitalalderen.

Hvis du vil opprette eksperimenter med null variabelkostnadsdata, må du sørge for at alt er fullt automatisert og at deltakerne ikke krever noen betaling. For å vise hvordan dette er mulig, skal jeg beskrive avhandlingsforskningen om suksess og fiasko av kulturprodukter.

Min avhandling ble motivert av den forvirrende naturen til suksess for kulturelle produkter. Hit-sanger, bestselgende bøker og blockbuster-filmer er mye, mye mer vellykkede enn gjennomsnittet. På grunn av dette blir markedene for disse produktene ofte kalt "vinneren-ta-alle" -markeder. Likevel, på samme tid, hvilken bestemt sang, bok eller film som vil bli vellykket, er utrolig uforutsigbar. Skribent William Goldman (1989) oppsummerte mye akademisk forskning ved å si at når det gjelder å forutsi suksess, "ingen vet noe". Uforutsigbarheten av vinner-alle-markeder gjorde at jeg lurte på hvor mye suksess er et resultat av kvalitet og hvor mye er bare flaks. Eller, uttrykt litt annerledes, hvis vi kunne lage parallelle verdener og få dem alle til å utvikle seg selvstendig, ville de samme sangene bli populære i hver verden? Og, hvis ikke, hva kan være en mekanisme som forårsaker disse forskjellene?

For å svare på disse spørsmålene, dro vi Peter Dodds, Duncan Watts (min avhandlingsrådgiver), og jeg - en rekke eksperimenter på nettet. Spesielt har vi bygget et nettsted kalt MusicLab hvor folk kunne oppdage ny musikk, og vi brukte den til en rekke eksperimenter. Vi rekrutterte deltakere ved å kjøre bannerannonser på et nettsted for tenåringsrenter (figur 4.20) og gjennom omtale i media. Deltakere som ankom til nettstedet vårt, ga informert samtykke, gjennomførte et kort bakgrunnsspørsmål, og ble tilfeldig tildelt en av to eksperimentelle forhold, uavhengig og sosial innflytelse. I den uavhengige tilstanden tok deltagerne avgjørelser om hvilke sanger å høre på, gitt bare navnene på bandene og sangene. Mens du lyttet til en sang, ble deltakerne bedt om å rangere den, hvorpå de hadde mulighet (men ikke forpliktelsen) til å laste ned sangen. I sosial påvirkningstilstand hadde deltakerne samme erfaring, bortsett fra at de også kunne se hvor mange ganger hver sang var lastet ned av tidligere deltakere. Videre ble deltakerne i den sosiale innflytelseskondansen tilfeldig tilordnet en av åtte parallelle verdener, som hver utviklet seg selvstendig (figur 4.21). Ved å bruke dette designet, løp vi to relaterte eksperimenter. I det første presenterte vi sangene til deltakerne i et usortert rutenett, som ga dem et svakt signal om popularitet. I det andre eksperimentet presenterte vi sangene i en rangert liste, noe som ga et mye sterkere signal om popularitet (figur 4.22).

Figur 4.20: Et eksempel på bannerannonsen som mine kolleger og jeg pleide å rekruttere deltakere for MusicLab-eksperimentene (Salganik, Dodds, and Watts 2006) . Gjengitt med tillatelse fra Salganik (2007) , figur 2.12.

Figur 4.21: Eksperimentell design for MusicLab-eksperimentene (Salganik, Dodds, and Watts 2006) . Deltakerne ble tilfeldig tilordnet en av to forhold: uavhengig og sosial innflytelse. Deltakere i uavhengig tilstand gjorde sine valg uten informasjon om hva andre mennesker hadde gjort. Deltakere i den sosiale innflytelsestilstanden ble tilfeldig tildelt en av åtte parallelle verdener, hvor de kunne se populariteten - som målt ved nedlasting av tidligere deltakere - av hver sang i deres verden, men de kunne ikke se noen informasjon om, eller gjorde de heller ikke selv vet om eksistensen av, noen av de andre verdener. Tilpasset fra Salganik, Dodds, and Watts (2006) , figur s1.

Vi fant at populariteten til sangene var forskjellig over hele verden, noe som tyder på at flaks spiller en viktig rolle i suksess. For eksempel, i en verden kom sangen "Lockdown" av 52Metro i 1 av 48 sanger, mens den i en annen verden kom i 40. Dette var akkurat den samme sangen som konkurrerte mot alle de samme andre sangene, men i en verden ble det heldig, og i de andre gjorde det ikke. Videre, ved å sammenligne resultater over de to forsøkene, fant vi at sosial innflytelse øker vinner-ta-alle naturen på disse markedene, noe som kanskje tyder på at det er viktig med kompetanse. Men ser på tvers av verdenene (som ikke kan gjøres utenfor denne typen parallelle verdenseksperiment), fant vi at sosial innflytelse faktisk økte betydningen av flaks. Videre var det overraskende at det var sangene med høyeste appell hvor lykke bestod mest (figur 4.23).

Figur 4.22: Skjermbilder fra de sosiale innflytelsesforholdene i MusicLab-eksperimentene (Salganik, Dodds, and Watts 2006) . I sosial påvirkningstilstand i eksperiment 1 ble sangene, sammen med antall tidligere nedlastinger, presentert for deltakerne arrangert i et 16 \(\times\) 3 rektangulært rutenett, hvor stillingene til sangene ble tilfeldig tildelt for hver deltager. I eksperiment 2 ble deltakerne i sosial påvirkningstilstand vist sangene, med nedlastningstall, presentert i en kolonne i synkende rekkefølge av nåværende popularitet.

Figur 4.23: Resultater fra MusicLab-eksperimentene som viser forholdet mellom appell og suksess (Salganik, Dodds, and Watts 2006) . Den \(x\) -aksien er markedsandelen til sangen i den uavhengige verden, som tjener som et mål for appell av sangen, og \(y\) -aksien er markedsandelen til den samme sangen i de åtte sosiale innflytelsesverdenene, som tjener som et mål for suksessene til sangene. Vi fant at økende sosial innflytelse deltakerne opplevde, spesielt, endringen i layout fra eksperiment 1 til eksperiment 2 (figur 4.22) - ble brukt til å bli mer uforutsigbar, spesielt for sangene med høyeste appell. Tilpasset fra Salganik, Dodds, and Watts (2006) , figur 3.

MusicLab var i stand til å kjøre på nesten null variabel pris på grunn av måten den ble designet på. Først var alt fullt automatisert, så det var i stand til å løpe mens jeg sov. For det andre var kompensasjonen fri musikk, så det var ingen kompensasjonskostnad for variabel deltaker. Bruken av musikk som kompensasjon illustrerer også hvordan det noen ganger er en avveining mellom faste og variable kostnader. Bruke musikk økte de faste kostnadene fordi jeg måtte bruke tid på å få tillatelse fra bandene og forberede rapporter om dem om deltakernees reaksjon på musikken sin. Men i dette tilfellet, økte faste kostnader for å redusere variabler kostnadene var den riktige tingen å gjøre; Det gjorde det mulig for oss å kjøre et eksperiment som var omtrent 100 ganger større enn et standard laboratorieeksperiment.

Videre viser MusicLab-eksperimentene at null variable kostnader ikke må være en ende i seg selv; Det kan heller være et middel til å kjøre en ny type eksperiment. Legg merke til at vi ikke brukte alle våre deltakere til å kjøre et standard sosialt påvirkningslaboratorium 100 ganger. I stedet gjorde vi noe annet, som du kunne tenke på som å bytte fra et psykologisk eksperiment til en sosiologisk (Hedström 2006) . I stedet for å fokusere på individuell beslutningsprosess, fokuserte vi vårt eksperiment på popularitet, et kollektivt utfall. Dette byttet til et kollektivt utfall innebar at vi krevde ca 700 deltakere til å produsere et enkelt datapunkt (det var 700 personer i hver av de parallelle verdener). Denne skalaen var bare mulig på grunn av kostnadsstrukturen til eksperimentet. Generelt, hvis forskere ønsker å studere hvordan kollektive utfall kommer fra individuelle beslutninger, er gruppespesper som MusicLab veldig spennende. Tidligere har de vært logistiske vanskelige, men disse vanskelighetene svinder på grunn av muligheten for null variable data.

I tillegg til å illustrere fordelene med null variable kostnader, viser MusicLab-eksperimentene også en utfordring med denne tilnærmingen: høye faste kostnader. I mitt tilfelle var jeg ekstremt heldig å kunne jobbe med en talentfull webutvikler ved navn Peter Hausel i omtrent seks måneder for å konstruere eksperimentet. Dette var bare mulig fordi min rådgiver, Duncan Watts, hadde mottatt en rekke tilskudd for å støtte denne typen forskning. Teknologien har forbedret seg siden vi bygget MusicLab i 2004, så det ville være mye lettere å bygge et eksperiment som dette nå. Men høye faste kostnadsstrategier er egentlig bare mulige for forskere som på en eller annen måte kan dekke disse kostnadene.

Til slutt kan digitale eksperimenter ha dramatisk forskjellige kostnadsstrukturer enn analoge eksperimenter. Hvis du vil kjøre virkelig store eksperimenter, bør du prøve å redusere den variable kostnaden så mye som mulig og helst helt til null. Du kan gjøre dette ved å automatisere eksperimentets mekanikk (f.eks. Erstatte menneskelig tid med datatid) og designe eksperimenter som folk vil være inne. Forskere som kan designe eksperimenter med disse funksjonene, vil kunne kjøre nye typer eksperimenter som var ikke mulig i det siste. Imidlertid kan evnen til å opprette eksperimenter med variabel kostnad øke nye etiske spørsmål, emnet som jeg nå skal adressere.