4.6.1 Skapa noll variabeldata kostnads

Nyckeln till att köra stora experiment är att driva din rörliga kostnad till noll. De bästa sätten att göra detta är automatisering och utformning av trevliga experiment.

Digitala experiment kan ha dramatiskt olika kostnadsstrukturer, och det gör det möjligt för forskare att springa experiment som var omöjliga tidigare. Ett sätt att tänka på denna skillnad är att notera att experiment i allmänhet har två typer av kostnader: fasta kostnader och rörliga kostnader. Fasta kostnader är kostnader som förblir oförändrade oavsett antal deltagare. Till exempel, i ett laboratorieexperiment kan fasta kostnader vara kostnaderna för att hyra utrymme och köpa möbler. Variabla kostnader , å andra sidan, ändras beroende på antalet deltagare. Till exempel, i ett laboratorieexperiment kan rörliga kostnader komma från betalande personal och deltagare. Analoga experiment har generellt låga fasta kostnader och höga rörliga kostnader, medan digitala experiment har höga fasta kostnader och låga rörliga kostnader (figur 4.19). Även om digitala experiment har låga rörliga kostnader kan du skapa många spännande möjligheter när du kör den variabla kostnaden hela vägen till noll.

Figur 4.19: Schematisk av kostnadsstrukturer i analoga och digitala experiment. Analoga experiment har generellt låga fasta kostnader och höga rörliga kostnader, medan digitala experiment har höga fasta kostnader och låga rörliga kostnader. De olika kostnadsstrukturerna innebär att digitala experiment kan köras i en skala som inte är möjlig med analoga experiment.

Det finns två huvudelement i rörliga kostnadsbetalningar till personal och betalningar till deltagare - och vart och ett av dessa kan köras till noll med olika strategier. Betalningar till personal beror på det arbete som forskarassistenter rekryterar deltagare, levererar behandlingar och mätresultat. Exempelvis krävde forskarassistenterna från Schultz och kollegor (2007) om elanvändning att forskningsassistenter skulle resa till varje hem för att leverera behandlingen och läsa elmätaren (figur 4.3). All denna insats av forskningsassistenter innebar att tillägget skulle ha lagt till ett nytt hushåll till studien. Å andra sidan, för det digitala fälttexperimentet av Restivo och van de Rijt (2012) om effekten av utmärkelser på Wikipedia-redaktörer, kunde forskare lägga till fler deltagare till nästan ingen kostnad. En allmän strategi för att minska rörliga administrativa kostnader är att ersätta det mänskliga arbetet (vilket är dyrt) med datorarbete (vilket är billigt). Grovt kan du fråga dig själv: Kan detta experiment springa medan alla i mitt forskargrupp sover? Om svaret är ja har du gjort ett bra jobb med automatisering.

Den andra huvudtypen av rörlig kostnad är betalningar till deltagarna. Vissa forskare har använt Amazon Mechanical Turk och andra online-arbetsmarknader för att minska de betalningar som behövs för deltagarna. Att driva variabel kostar hela vägen till noll, men det behövs en annan inställning. Under lång tid har forskare utformat experiment som är så tråkiga att de måste betala folk att delta. Men vad händer om du kan skapa ett experiment som människor vill vara med? Det här låter kanske långt, men jag ger dig ett exempel nedan från mitt eget arbete, och det finns fler exempel i tabell 4.4. Observera att denna idé om att utforma roliga experiment återspeglar några av teman i kapitel 3 när det gäller att utforma roligare undersökningar och i kapitel 5 om utformningen av masssamarbete. Således tror jag att deltagarnas njutning - vad som också kan kallas användarupplevelse - kommer att bli en allt viktigare del av forskningsdesignen i den digitala tidsåldern.

Om du vill skapa experiment med nollvariabelkostnadsdata måste du se till att allt är helt automatiserat och att deltagarna inte behöver betala. För att visa hur det är möjligt beskriver jag min doktorsforskning om framgång och misslyckande av kulturprodukter.

Min avhandling motiverades av den förbryllande naturen för framgång för kulturprodukter. Hitlåtar, bästsäljande böcker och blockbuster-filmer är mycket, mycket mer framgångsrika än genomsnittet. På grund av detta kallas marknaderna för dessa produkter ofta som "vinnare-ta alla" -marknader. Ändå, samtidigt som vilken sang, bok eller film som kommer att bli framgångsrik är otroligt oförutsägbar. Screenwriter William Goldman (1989) sammanfattade en hel del akademisk forskning genom att säga att när det gäller att förutsäga framgång, "ingen vet någonting". Oförutsägbarheten hos vinnare-alla-marknader fick mig att undra hur mycket framgång det medför av kvalitet och hur mycket är bara lycka till. Eller, uttryckt lite annorlunda, om vi kunde skapa parallella världar och få dem alla att utvecklas självständigt, skulle samma låtar bli populära i varje värld? Och, om inte, vad kan det vara en mekanism som orsakar dessa skillnader?

För att svara på dessa frågor, vi-Peter Dodds, Duncan Watts (min avhandling rådgivare), och jag-sprang en rad experiment på nätet. I synnerhet byggde vi en webbplats med namnet MusicLab där folk kunde upptäcka ny musik och vi använde den för en rad experiment. Vi rekryterade deltagare genom att köra bannerannonser på en webbsajt för ränta (figur 4.20) och genom anmärkningar i media. Deltagare som anlände till vår webbplats tillhandahöll informerat samtycke, fyllde i ett kort bakgrundsformulär och slumpmässigt tilldelades ett av två experimentella förhållanden, oberoende och socialt inflytande. I det självständiga tillståndet fattade deltagarna beslut om vilka låtar att lyssna på, endast namnen på band och sångerna. När du lyssnade på en sång, blev deltagarna ombedda att betygsätta den, varefter de hade möjlighet (men inte skyldigheten) att ladda ner låten. I det sociala inflytandet hade deltagarna samma erfarenhet, förutom att de också kunde se hur många gånger varje låt var nedladdad av tidigare deltagare. Vidare tilldelades deltagare i det sociala inflytande tillståndet slumpmässigt till en av åtta parallella världar, vilka var och en utvecklades självständigt (figur 4.21). Med hjälp av denna design körde vi två relaterade experiment. I det första presenterade vi låtarna för deltagarna i ett osorterat rutnät, vilket gav dem en svag signal om popularitet. I det andra experimentet presenterade vi låtarna i en rankad lista, vilket gav en mycket starkare signal om popularitet (figur 4.22).

Figur 4.20: Ett exempel på bannerannons som mina kollegor och jag brukade rekrytera deltagare i MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . Reproducerad med tillstånd från Salganik (2007) , figur 2.12.

Figur 4.21: Experimentell design för MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . Deltagarna tilldelades slumpmässigt ett av två villkor: oberoende och socialt inflytande. Deltagarna i det oberoende tillståndet gjorde sina val utan någon information om vad andra människor hade gjort. Deltagare i det sociala inflytandet skickades slumpmässigt till en av åtta parallella världar, där de kunde se populariteten - som mätt av nedladdningar av tidigare deltagare - av varje låt i sin värld, men de kunde inte se någon information om, eller gjorde de ens vet om förekomsten av någon av de andra världarna. Anpassad från Salganik, Dodds, and Watts (2006) , figur s1.

Vi fann att sällskapets popularitet skilde sig över världarna, vilket tyder på att lycka spelade en viktig roll i framgång. Till exempel i en värld kom låten "Lockdown" av 52Metro i 1: a av 48 låtar, medan den i en annan värld kom i 40: e. Det var exakt samma sång som tävlade mot alla samma andra låtar, men i en värld hade det tur och i de andra gjorde det inte. Vidare, genom att jämföra resultat över de två experimenten, fann vi att socialt inflytande ökar vinterns alla naturen på dessa marknader, vilket kanske föreslår vikten av kompetens. Men, om man tittar över världarna (som inte kan göras utanför den här typen av parallella världs experiment), fann vi att social påverkan faktiskt ökade vikten av lycka. Vidare var det överraskande sångerna med högsta överklagande där luckan var viktigast (figur 4.23).

Figur 4.22: Skärmbilder från de sociala inflytningsförhållandena i MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . I det sociala inflytandetillståndet i experiment 1 presenterades låtarna tillsammans med antalet tidigare nedladdningar till deltagarna arrangerade i ett 16 \(\times\) 3 rektangulärt rutnät där låtens positioner slumpmässigt tilldelades för varje deltagare. I experiment 2 visades deltagare i det sociala inflytandetillståndet låtarna, med nedladdningsantal, presenterade i en kolumn i fallande ordning av nuvarande popularitet.

Figur 4.23: Resultat från MusicLab-experimenten som visar förhållandet mellan överklagande och framgång (Salganik, Dodds, and Watts 2006) . \(x\) -axen är marknadsandelen för sången i den oberoende världen, som tjänar som ett mått på överklagandet av sången, och \(y\) -axis är marknadsandelen för samma låt i De åtta sociala inflytningsvärlden, som tjänar som ett mått på framgången av låtarna. Vi fann att det ökade det sociala inflytandet som deltagarna upplevde specifikt, förändringen i layout från experiment 1 till experiment 2 (figur 4.22) -häftade framgång för att bli mer oförutsägbar, speciellt för låtarna med högsta överklagande. Anpassad från Salganik, Dodds, and Watts (2006) , figur 3.

MusicLab kunde köra med väsentligen nollvariabel kostnad på grund av det sätt det utformades. Först var allt fullt automatiserat så det kunde springa medan jag sov. För det andra var ersättningen fri musik, så det var ingen kompensationskostnad för rörlig deltagare. Användningen av musik som kompensation illustrerar också hur det ibland är ett kompromiss mellan fasta och rörliga kostnader. Att använda musik ökade de fasta kostnaderna eftersom jag var tvungen att tillbringa tid för att få tillstånd från banden och förbereda rapporter för dem om deltagarnas reaktion på deras musik. Men i det här fallet ökade de fasta kostnaderna för att minska kostnaderna för variabler den rätta saken att göra. Det gjorde det möjligt för oss att köra ett experiment som var cirka 100 gånger större än ett standardlaboratorium.

Vidare visar MusicLab-experimenten att nollvariabelkostnad inte behöver vara ett mål i sig; Det kan snarare vara ett sätt att driva en ny typ av experiment. Observera att vi inte använde alla våra deltagare att köra ett standard socialt influenslaboratorium 100 gånger. Istället gjorde vi något annat, som du kan tänka dig att byta från ett psykologiskt experiment till en sociologisk (Hedström 2006) . I stället för att fokusera på individuellt beslutsfattande fokuserade vi vårt experiment på popularitet, ett kollektivt resultat. Denna omställning till ett kollektivt resultat innebar att vi krävde cirka 700 deltagare att producera en enda datapunkt (det var 700 personer i var och en av parallellvärlden). Denna skala var endast möjlig på grund av experimentets kostnadsstruktur. I allmänhet, om forskare vill studera hur kollektiva resultat uppkommer genom individuella beslut, är gruppexperiment som MusicLab mycket spännande. Tidigare har de varit logistiskt svåra, men dessa svårigheter faller på grund av möjligheten till nollvariabelkostnadsdata.

Förutom att illustrera fördelarna med nollvariabelkostnadsdata visar MusicLab-experimenten också en utmaning med detta tillvägagångssätt: höga fasta kostnader. I mitt fall var jag extremt lycklig att kunna arbeta med en begåvad webbutvecklare som heter Peter Hausel i ungefär sex månader för att konstruera experimentet. Detta var bara möjligt eftersom min rådgivare, Duncan Watts, hade fått ett antal bidrag för att stödja denna typ av forskning. Tekniken har förbättrats sedan vi byggde MusicLab 2004, så det skulle vara mycket lättare att bygga ett experiment som detta nu. Men höga fasta kostnadsstrategier är egentligen bara möjliga för forskare som på något sätt kan täcka dessa kostnader.

Sammanfattningsvis kan digitala experiment ha dramatiskt olika kostnadsstrukturer än analoga experiment. Om du vill köra riktigt stora experiment bör du försöka minska din rörliga kostnad så mycket som möjligt och helst hela vägen till noll. Du kan göra detta genom att automatisera experimentets mekanik (t.ex. byta mänsklig tid med datortid) och designa experiment som människor vill vara in. Forskare som kan designa experiment med dessa funktioner kommer att kunna köra nya typer av experiment som var inte möjligt tidigare. Möjligheten att skapa experter med nollvariabel kostnad kan emellertid ge upphov till nya etiska frågor, det ämne som jag nu ska adressera.