4.6.1 Opret nul variable data omkostninger

Nøglen til at køre store eksperimenter kører din variable omkostninger til nul. De bedste måder at gøre dette er automatisering og designe underholdende eksperimenter.

Digitale eksperimenter kan have dramatisk forskellige omkostningsstrukturer og dette muliggør forskerne til at køre eksperimenter, der var umuligt i fortiden. Mere specifikt eksperimenter har generelt to hovedtyper af omkostninger:. Faste omkostninger og variable omkostninger Faste omkostninger er omkostninger, der ikke ændrer afhængigt af hvor mange deltagere, du har. For eksempel, i et laboratorium eksperiment, kan faste omkostninger være udgifter til leje af plads og købe møbler. Variable omkostninger, på den anden side, ændre afhængigt af hvor mange deltagere, du har. For eksempel, i et laboratorium eksperiment, kan variable omkostninger kommer fra at betale medarbejdere og deltagere. Generelt analoge eksperimenter har lave faste omkostninger og høje variable omkostninger, og digitale eksperimenter har høje faste omkostninger og lave variable omkostninger (Figur 4.18). Med passende design, kan du køre de variable omkostninger ved dit eksperiment hele vejen til nul, og det kan skabe spændende forskningsmuligheder.

Figur 4.18: Skematisk af omkostningsstrukturer i analoge og digitale eksperimenter. Generelt analoge eksperimenter har lave faste omkostninger og høje variable omkostninger mens digitale eksperimenter har høje faste omkostninger og lave variable omkostninger. De forskellige omkostningsstrukturer betyder, at digitale eksperimenter kan køre på en skala, der ikke er muligt med analoge eksperimenter.

Der er to hovedelementer i variable cost-betalinger til personalet og betalingerne til deltagerne-og hver af disse kan blive drevet til nul ved hjælp af forskellige strategier. Betalinger til personalet udspringer af arbejdet, at forskningsassistenter gør rekruttere deltagere, leverer behandlinger, og måle resultater. For eksempel, den analoge markforsøg af Schultz og kolleger (2007) til om sociale normer og brug el krævede forskningsassistenter rejse til hvert hjem for at levere behandling og læse elmåler (Figur 4.3). Alt dette indsats fra forskningsassistenter betød, at tilføje en ny husstand til undersøgelsen ville have tilføjet til omkostningerne. På den anden side, for det digitale område eksperiment Restivo og van de Rijt (2012) om belønninger i Wikipedia, kan forskerne tilføje flere deltagere på stort set uden omkostninger. En generel strategi for reduktion af variable administrative omkostninger er at erstatte menneskelig arbejde (som er dyrt) med computerarbejde (som er billige). Groft, kan du spørge dig selv: kan dette eksperiment køre, mens alle på min forskning hold sover? Hvis svaret er ja, har du gjort et stort stykke arbejde med automatisering.

Den anden hovedtype af variable omkostninger er betalinger til deltagerne. Nogle forskere har brugt Amazon Mechanical Turk og andre online arbejdsmarkeder for at mindske de betalinger, der er nødvendige for deltagerne. At drive variable omkostninger hele vejen til nul, men er behov for en anden fremgangsmåde. I lang tid har forskere udviklet eksperimenter, der så kedeligt de skal betale folk til at deltage. Men hvad nu hvis du kunne skabe et eksperiment, som folk ønsker at være i? Dette kan lyde langt ude, men jeg vil give dig et eksempel nedenfor fra mit eget arbejde, og der er flere eksempler i tabel 4.4. Bemærk, at denne tilgang til design underholdende eksperimenter ekkoer nogle af temaerne i kapitel 3 om at designe mere underholdende undersøgelser og i kapitel 5 med hensyn til udformning af masse samarbejde. Jeg tror således, at deltageren nydelse-hvad man også kaldes brugeroplevelse-bliver en stadig vigtigere del af forskningsdesign i den digitale tidsalder.

Hvis du ønsker at oprette nul variable omkostninger eksperimenter, du ønsker at sikre, at alt er fuldt automatiseret, og at deltagerne ikke kræver nogen betalinger. For at vise, hvordan det er muligt, vil jeg beskrive min afhandling forskning på succes og fiasko af kulturelle produkter. Dette eksempel viser også, at nul variable data omkostninger er ikke bare om at gøre tingene billigere. Tværtimod, det handler om at gøre det muligt eksperimenter, der ikke ville være muligt ellers.

Min afhandling var motiveret af den gådefulde karakter af succes for kulturelle produkter. Hit sange, bedst sælgende bøger, og blockbuster film er langt, langt mere vellykket end gennemsnittet. På grund af dette, er markederne for disse produkter ofte kaldet "vinderen tager alt" markeder. Men på samme tid, hvilket bestemt sang, bog eller film bliver en succes er utrolig uforudsigelig. Den manuskriptforfatter William Goldman (1989) elegant opsummerede masser af akademisk forskning ved at sige, at når det kommer til at forudsige succes, "ingen ved noget." The uforudsigelighed vinderen-tager-alle markeder gjorde mig spekulerer på, hvor meget af succes er et resultat af kvalitet og hvor meget er bare held. Eller udtrykt lidt forskelligt, hvis vi kunne skabe parallelle verdener og få dem alle udvikler sig uafhængigt, ville de samme sange blevet populær i hver verden? Og hvis ikke, kan hvad være en mekanisme, der forårsager disse forskelle?

For at besvare disse spørgsmål, vi-Peter Dodds, Duncan Watts (min afhandling rådgiver), og I-løb en serie af online markforsøg. Især vi bygget en hjemmeside kaldet MusicLab hvor folk kunne opdage ny musik, og vi har brugt det til en række eksperimenter. Vi rekrutterede deltagerne ved at køre bannerannoncer på en teen-interesse hjemmeside (figur 4.19) og gennem omtaler i medierne. Deltagere, der ankommer på vores hjemmeside forudsat informeret samtykke, afsluttede en kort baggrund spørgeskema, og blev randomiseret til en af ​​to eksperimentelle betingelser-uafhængig og social indflydelse. I den uafhængige tilstand, deltagerne gjorde beslutninger om, hvilke sange at lytte til, da kun navnene på de bands og sangene. Mens du lytter til en sang, blev deltagerne bedt om at vurdere det hvorefter de havde mulighed for (men ikke pligten) til at downloade sangen. På det sociale indflydelse tilstand, deltagerne havde den samme oplevelse, bortset fra at de også kunne se, hvor mange gange hver sang var blevet hentet af tidligere deltagere. Desuden deltagere i social indflydelse tilstand blev randomiseret til en af ​​otte parallelle verdener, som hver udviklet uafhængigt (Figur 4.20). Ved hjælp af dette design, vi kørte to beslægtede eksperimenter. I den første, vi præsenterede deltagerne sangene i en usorteret gitter, som gav dem et svagt signal af popularitet. I det andet eksperiment, vi præsenterede sangene i en prioriteret liste, som gav en meget stærkere signal om popularitet (Figur 4.21).

Figur 4.19: Et eksempel på bannerreklame, at mine kolleger og jeg plejede at rekruttere deltagere til MusicLab eksperimenter (Salganik, Dodds, and Watts 2006) .

Figur 4.20: Eksperimentel design til MusicLab eksperimenter (Salganik, Dodds, and Watts 2006) . Deltagerne blev randomiseret i en af ​​to tilstande: uafhængig og social indflydelse. Deltagere i den uafhængige tilstand gjorde deres valg uden nogen oplysninger om, hvad andre mennesker havde gjort. Deltagere i social indflydelse tilstand blev randomiseret i en af ​​otte parallelle verdener, hvor de kunne se den popularitet-målt ved downloads af tidligere deltagere-i hver sang i deres verden, men de kunne ikke se nogen oplysninger, heller ikke gjorde de selv kender til eksistensen af ​​nogen af ​​de andre verdener.

Vi fandt, at populariteten af ​​sangene afveg tværs verdens tyder en vigtig rolle held. For eksempel i en verden sangen "Lockdown" af 52Metro kom i 1., og i en anden verden det kom i 40. ud af 48 sange. Det var præcis den samme sang konkurrere mod alle de samme sange, men i en verden det fik heldig og i andre er det ikke. Endvidere ved at sammenligne resultater på tværs af to eksperimenter fandt vi, at sociale indflydelse fører til mere ulige succes, hvilket måske skaber udseendet af forudsigelighed. Men, ser på tværs af verdener (som ikke kan gøres uden for denne form for parallelle verdener eksperiment), fandt vi, at social indflydelse faktisk øget uforudsigelighed. Endvidere overraskende, det var de sange af højeste appel, der har de mest uforudsigelige udfald (Figur 4.22).

Figur 4.21: Screenshots fra arbejdsmarkedets indflydelse forhold i MusicLab eksperimenter (Salganik, Dodds, and Watts 2006) . På det sociale indflydelse betingelsen i eksperiment 1, sangene, sammen med antallet af tidligere downloads, blev præsenteret for deltagerne arrangeret i en 16 x 3 rektangulært gitter, hvor positionerne af sangene blev randomiseret til hver deltager. I forsøg 2 blev deltagerne i den sociale indflydelse tilstand vist sangene, med download-tæller, præsenteret i en kolonne i faldende rækkefølge af aktuelle popularitet.

Figur 4.22: Resultater fra MusicLab forsøg, der viser sammenhængen mellem appel og succes (Salganik, Dodds, and Watts 2006) . X-aksen er markedsandelen af ​​sangen i den uafhængige verden, der tjener som et mål for appel af sangen, og y-aksen er markedsandelen af ​​den samme sang i de 8 sociale indflydelse verdener, der tjener som et mål for succes af sangene. Vi fandt, at forøgelse af sociale indflydelse at deltagerne oplevede-specifikt ændringen i layout fra eksperiment 1 at eksperimentere 2 (figur 4.21)-forårsaget succes at blive mere uforudsigelig, især for de højeste appel sange.

MusicLab var i stand til at køre på væsentlige nul variable omkostninger på grund af den måde, at det er designet. Først, alt var fuldt automatiseret, så det var i stand til at køre, mens jeg sov. For det andet, kompensationen var gratis musik så der var ingen variable deltager kompensation omkostninger. Brugen af ​​musik som kompensation illustrerer også, hvordan der undertiden er en afvejning mellem faste omkostninger og variable omkostninger. Brug musik øgede faste omkostninger, fordi jeg var nødt til at bruge tid på at sikre tilladelse fra bands og udarbejde rapporter for de bands om deltagernes reaktion på deres musik. Men i dette tilfælde, at øge de faste omkostninger for at mindske variabler omkostninger var det rigtige at gøre; det er, hvad det muligt for os at køre et eksperiment, der var omkring 100 gange større end en standard lab eksperiment.

Endvidere de MusicLab eksperimenter viser, at nul variable omkostninger ikke behøver at være et mål i sig selv; snarere kan det være et middel til at køre en ny slags eksperiment. Bemærk, at vi ikke brugte alle vores deltagere til at køre en standard social indflydelse lab eksperiment 100 gange. I stedet gjorde vi noget andet, som du kunne tænke på som at skifte fra et psykologisk eksperiment til en sociologisk eksperiment (Hedström 2006) . Snarere end at fokusere på individuelle beslutninger, vi fokuserede vores eksperiment på popularitet, en kollektiv resultat. Denne kontakt til en kollektiv udfald betød, at vi krævede omkring 700 deltagere til at producere en enkelt datapunkt (der var 700 mennesker i hver af de parallelle verdener). Det skala var kun muligt på grund af omkostningsstrukturen for eksperimentet. Generelt hvis forskerne ønsker at studere, hvordan kollektive udfald skyldes individuelle beslutninger, gruppe eksperimenter såsom MusicLab er meget spændende. Før i tiden har de været logistisk vanskelig, men disse vanskeligheder er fading på grund af muligheden for nul variable data omkostninger.

Udover at illustrere fordelene ved nul variable data omkostninger, viser MusicLab eksperimenter også en udfordring med denne tilgang: høj faste omkostninger. I mit tilfælde, jeg var meget heldig at være i stand til at arbejde med en talentfuld webudvikler opkaldt Peter Hausel i cirka seks måneder for at konstruere eksperimentet. Dette var kun muligt, fordi min rådgiver, Duncan Watts, havde modtaget en række tilskud til at støtte denne form for forskning. Teknologi har forbedret siden vi byggede MusicLab i 2004, og det ville være meget lettere at opbygge et eksperiment som dette nu. Men, høje faste omkostninger strategier er virkelig kun muligt for forskere, der en eller anden måde kan dække disse omkostninger.

Som konklusion kan digitale eksperimenter har dramatisk forskellige omkostningsstrukturer end analoge eksperimenter. Hvis du vil køre rigtig store eksperimenter, bør du prøve at sænke din variable omkostninger så meget som muligt og ideelt set hele vejen til 0. Du kan gøre dette ved at automatisere mekanikken af ​​dit eksperiment (f.eks erstatte menneskelig tid med computer tid) og designe eksperimenter, som folk ønsker at være i. Forskere, der kan designe eksperimenter med disse funktioner vil være i stand til at køre nye former for eksperimenter, der ikke var mulige i fortiden.