4.6.1 Skapa noll variabeldata kostnads

Nyckeln till kör stora experiment driver din rörlig kostnad till noll. De bästa sätten att göra detta är automation och utforma njutbara experiment.

Digitala experiment kan ha dramatiskt olika kostnadsstrukturer och detta gör det möjligt för forskare att köra experiment som var omöjligt i det förflutna. Mer specifikt experiment har i allmänhet två huvudtyper av kostnader:. Fasta och rörliga kostnader Fasta kostnader är kostnader som inte ändras beroende på hur många deltagare du har. Till exempel, i ett labb experiment, kan de fasta kostnaderna vara kostnaden för att hyra utrymme och köpa möbler. Rörliga kostnader, å andra sidan, ändras beroende på hur många deltagare du har. Till exempel, i ett labb experiment, kan rörliga kostnaderna kommer från att betala personal och deltagare. I allmänhet analoga experiment har låga fasta kostnader och höga rörliga kostnader, och digitala experiment har höga fasta kostnader och låga rörliga kostnader (Figur 4.18). Med lämplig utformning, kan du köra den rörliga kostnaden för experimentet hela vägen till noll, och detta kan skapa spännande forskningsmöjligheter.

Figur 4.18: Schematisk bild av kostnadsstrukturer i analoga och digitala experiment. I allmänhet analoga experiment har låga fasta kostnader och höga rörliga kostnader medan digitala experiment har höga fasta kostnader och låga rörliga kostnader. De olika kostnadsstrukturer gör att digitala experiment kan köras på en skala som inte är möjligt med analoga experiment.

Det finns två huvuddelarna i varierande kostnads ​​betalningar till personal och ersättningar till deltagarna, och var och en av dessa kan drivas till noll med hjälp av olika strategier. Betalningar till anställda härrör från det arbete som forskarassistenter behöver rekrytera deltagare leverera behandlingar, och mäta resultaten. Till exempel den analoga fältförsöket av Schultz och hans kollegor (2007) att om sociala normer och elförbrukning krävs forskarassistenter resa till varje hem för att leverera behandling och läsa den elektriska mätaren (Figur 4.3). Allt detta arbete av forskningsassistenter innebar att lägga till en ny hushåll studien skulle ha lagt till kostnaden. Å andra sidan, för den digitala fältförsöket av Restivo och van de Rijt (2012) om belöningar i Wikipedia, kan forskare lägga till fler deltagare i princip utan kostnad. En allmän strategi för att minska rörliga administrativa kostnader är att ersätta mänskligt arbete (vilket är dyrt) med datorarbete (som är billiga). Grovt kan du fråga dig själv: kan detta experiment körs medan alla på min forskargrupp sover? Om svaret är ja, har du gjort ett bra jobb av automatisering.

Den andra huvudtypen av rörliga kostnader är ersättningar till deltagarna. Vissa forskare har använt Amazon Mechanical Turk och andra online-arbetsmarknader för att minska betalningar som behövs för deltagarna. För att driva de rörliga kostnaderna hela vägen till noll, krävs emellertid ett annat tillvägagångssätt. Under lång tid har forskare utformade experiment som är så tråkigt att de måste betala människor att delta. Men tänk om du kunde skapa ett experiment att människor vill vara i? Detta kanske låter långsökt, men jag ska ge dig ett exempel nedan från mitt eget arbete, och det finns fler exempel i tabell 4.4. Observera att detta sätt att utforma njutbara experiment ekon några av de teman i kapitel 3 om att utforma roligare undersökningar och i kapitel 5 om utformning av mass samarbete. Alltså, jag tror att deltagare njutning, vad kan också kallas användarupplevelse-kommer att bli en allt viktigare del av forskningsdesign i den digitala tidsåldern.

Om du vill skapa noll rörliga kostnader experiment du vill se till att allt är helt automatiserad och att deltagarna inte kräver några betalningar. För att visa hur detta är möjligt, ska jag beskriva min avhandling forskning om framgång och misslyckande av kulturella produkter. Detta exempel visar också att noll rörliga kostnaden data inte bara om att göra saker billigare. Snarare handlar det om att göra det möjligt experiment som inte skulle vara möjligt annars.

Min avhandling motiverades av förbryllande natur framgång för kulturprodukter. Hitlåtar, bäst säljande böcker, och storfilmer är mycket, mycket mer framgångsrika än genomsnittet. På grund av detta, är marknaden för dessa produkter ofta kallas "vinnaren tar allt" marknader. Men på samma gång, vilket särskilt sång, bok eller film kommer att bli framgångsrika är otroligt oförutsägbar. Manusförfattaren William Goldman (1989) elegant summeras upp massor av akademisk forskning med att säga att när det gäller att förutsäga framgång, "ingen vet någonting." The oförutsägbarheten vinnaren tar alla marknader fick mig att undra hur mycket av framgång är ett resultat kvalitet och hur mycket är bara tur. Eller, uttryckt något annorlunda, om vi kunde skapa parallella världar och få dem alla utvecklas självständigt, skulle samma låtar blivit populär i varje värld? Och om inte, kanske vad finnas en mekanism som orsakar dessa skillnader?

För att besvara dessa frågor, vi-Peter Dodds, Duncan Watts (min avhandling rådgivare), och I-sprang en serie av online fältförsök. Framför allt har vi byggt en hemsida som heter MusicLab där människor kan upptäcka ny musik, och vi använde det för en serie experiment. Vi rekryterade deltagare genom att köra annonser på en tonåring intresse webbplats (figur 4,19) och genom omnämnanden i media. Deltagarna anländer till vår webbplats som informerat samtycke, avslutade en kort bakgrund frågeformulär, och randomiserades till en av två experimentella betingelser oberoende och social påverkan. I den oberoende tillstånd deltagarna fattade beslut om vilka låtar att lyssna på, med tanke på endast namnen på de band och låtar. När du lyssnar på en låt, ombads deltagarna att gradera det varefter de hade möjlighet (men inte skyldighet) att ladda ner låten. På det sociala inflytande tillståndet deltagarna hade samma erfarenheter, förutom att de också kunde se hur många gånger varje låt hade laddats ner av tidigare deltagare. Dessutom deltagare i social påverkan tillstånd randomiserades till en av åtta parallella världar som var och en utvecklats oberoende (Figur 4.20). Med hjälp av denna konstruktion, körde vi två besläktade experiment. I den första presenterade vi deltagare låtarna i en osorterad galler, vilket gav dem en svag signal av popularitet. I det andra experimentet, presenterade vi låtarna i en rangordnad lista, vilket gav en mycket starkare signal popularitet (figur 4.21).

Figur 4.19: Ett exempel på bannerannons som mina kolleger och jag brukade rekrytera deltagare för MusicLab experiment (Salganik, Dodds, and Watts 2006) .

Figur 4.20: Experimentell design för MusicLab experiment (Salganik, Dodds, and Watts 2006) . Deltagarna randomiserades till en av två villkor: oberoende och social påverkan. Deltagare i den oberoende tillstånd gjorde sina val utan någon information om vad andra människor hade gjort. Deltagare i social påverkan tillstånd randomiserades till en av åtta parallella världar, där de kunde se populariteten-mätt genom nedladdning av tidigare deltagare-för varje låt i deras värld, men de kunde inte se någon information, inte heller gjorde de även vet om förekomsten av, någon av de andra världar.

Vi fann att populariteten av låtarna skilde över världens tyder på en viktig roll av lycka. Till exempel i en värld låten "Lockdown" av 52Metro kom i 1: a, och i en annan värld det kom i 40: e av 48 låtar. Detta var exakt samma låt tävlar mot alla samma låtar, men i en värld det fick tur och i andra fall inte. Vidare, genom att jämföra resultat över de två experimenten fann vi att social påverkan leder till mer ojämn framgång, som kanske skapar intryck av förutsägbarhet. Men, ser över de världar (som inte kan göras utanför denna typ av parallella världar experiment), fann vi att social påverkan faktiskt ökar oförutsägbarheten. Vidare, överraskande, var det låtar av högsta överklagande som har de mest oförutsägbara utfall (Figur 4.22).

Figur 4.21: Skärm från social påverkan förhållandena i MusicLab experiment (Salganik, Dodds, and Watts 2006) . På det sociala inflytande tillstånd experiment 1, låtar, tillsammans med antalet tidigare nedladdningar, presenterades för deltagarna arrangerade i en 16 x 3 rutnät, där positionerna för låtarna randomiserades för varje deltagare. I experiment 2, fick deltagarna i social påverkan visade tillståndet låtar, med nedladdnings räknas, som presenteras i en kolumn i fallande ordning nuvarande popularitet.

Figur 4.22: Resultat från MusicLab experiment som visar förhållandet mellan överklagandet och framgång (Salganik, Dodds, and Watts 2006) . X-axeln är marknadsandel av låten i den oberoende världen, som fungerar som ett mått på överklagandet av sången, och y-axeln är marknadsandel samma låt i 8 social påverkan världar, som tjänar som ett mått på framgången av låtarna. Vi fann att en ökning av social påverkan att deltagarna upplevde specifikt, förändringen i layouten från experiment 1 experimentera 2 (figur 4,21) -caused framgång att bli mer oförutsägbara, särskilt för de högsta besvärs låtar.

MusicLab kunde köra på i huvudsak noll rörlig kostnad på grund av det sätt som det var avsett. Först, allt var helt automatiserad så det kunde köra medan jag sov. För det andra, ersättningen var fri musik så det fanns ingen rörlig deltagare ersättning kostnad. Användningen av musik som ersättning illustrerar också hur det är ibland en avvägning mellan fasta och rörliga kostnader. Använda musik ökade de fasta kostnaderna eftersom jag var tvungen att tillbringa tid säkra tillstånd från banden och förbereda rapporter för banden om deltagarnas reaktion på deras musik. Men i detta fall, vilket ökar de fasta kostnaderna för att minska variabler kostnader var rätt sak att göra; det är vad det möjligt för oss att köra ett experiment som var ungefär 100 gånger större än en vanlig labb experiment.

Vidare MusicLab experiment visar att noll rörliga kostnaden inte vara ett mål i sig; snarare kan det vara ett sätt att köra en ny typ av experiment. Lägg märke till att vi inte använder alla våra deltagare att köra en vanlig social påverkan lab experiment 100 gånger. I stället gjorde vi något annat, som du kan tänka dig som byter från ett psykologiskt experiment till ett sociologiskt experiment (Hedström 2006) . Snarare än att fokusera på enskilda beslutsfattandet, fokuserade vi vårt experiment på popularitet, ett kollektivt resultat. Denna övergång till ett kollektivt resultat innebar att vi krävde ca 700 deltagare för att producera en enda datapunkt (det fanns 700 personer i vart och ett av de parallella världar). Denna skala var endast möjlig på grund av kostnadsstrukturen för experimentet. Generellt gäller att om forskarna vill studera hur kollektiva utfall uppstår från enskilda beslut, gruppsexperiment såsom MusicLab är mycket spännande. I det förflutna, har de varit logistiskt svårt, men dessa svårigheter blekning på grund av risken för nollvariabeldata kostnads.

Förutom att illustrera fördelarna med noll variabeldata kostnad, MusicLab experiment visar också en utmaning med denna metod: höga fasta kostnader. I mitt fall, jag var mycket tur för att kunna arbeta med en begåvad webbutvecklare som heter Peter Hausel i ungefär sex månader att bygga experimentet. Detta var bara möjligt eftersom min rådgivare, Duncan Watts, hade fått ett antal bidrag för att stödja denna typ av forskning. Tekniken har förbättrats sedan vi byggde MusicLab 2004, och det skulle vara mycket lättare att bygga ett experiment som detta nu. Men höga strategier fasta kostnader är egentligen bara möjligt för forskare som på något sätt kan täcka dessa kostnader.

Sammanfattningsvis kan digitala experiment har dramatiskt olika kostnadsstrukturer än analoga experiment. Om du vill köra riktigt stora experiment, bör du försöka att minska din rörliga kostnader så mycket som möjligt och helst ända till 0. Du kan göra detta genom att automatisera mekaniken av experimentet (t.ex. ersätta människors tid med datorns tid) och utforma experiment som människor vill vara i. Forskare som kan utforma experiment med dessa funktioner kommer att kunna köra nya typer av experiment som inte var möjligt tidigare.