4.6.1 Opret nul variable data omkostninger

Nøglen til at køre store eksperimenter er at drive din variable pris til nul. De bedste måder at gøre dette på er automatisering og design af behagelige eksperimenter.

Digitale eksperimenter kan have dramatisk forskellige omkostningsstrukturer, og det gør det muligt for forskere at køre eksperimenter, der var umulige i fortiden. En måde at tænke på denne forskel er at bemærke, at eksperimenter generelt har to typer omkostninger: faste omkostninger og variable omkostninger. Faste omkostninger er omkostninger, der forbliver uændrede uanset antallet af deltagere. I et laboratorieeksperiment kan faste omkostninger f.eks. Være omkostningerne ved at leje plads og købe møbler. Variabel omkostninger ændres derimod afhængigt af antallet af deltagere. I et laboratorieeksperiment kan for eksempel variable omkostninger komme fra betalende personale og deltagere. Analoge eksperimenter har generelt lave faste omkostninger og høje variable omkostninger, mens digitale eksperimenter har høje faste omkostninger og lave variable omkostninger (figur 4.19). Selv om digitale eksperimenter har lave variable omkostninger, kan du skabe mange spændende muligheder, når du kører variabelprisen helt til nul.

Figur 4.19: Skematisk af omkostningsstrukturer i analoge og digitale eksperimenter. Analoge eksperimenter har generelt lave faste omkostninger og høje variable omkostninger, mens digitale eksperimenter har høje faste omkostninger og lave variable omkostninger. De forskellige omkostningsstrukturer betyder, at digitale eksperimenter kan køre i en skala, der ikke er muligt med analoge eksperimenter.

Der er to hovedelementer i variable omkostninger til personale og betalinger til deltagere - og hver af disse kan køres til nul ved hjælp af forskellige strategier. Betalinger til personale stammer fra det arbejde, som forskningsassistenter rekrutterer deltagere, leverer behandlinger og måler resultater. Eksempelvis krævede det analytiske felteksperiment af Schultz og kolleger (2007) om elforbrug, at forskningsassistenter skulle rejse til hvert hjem for at aflevere behandlingen og læse elmåleren (figur 4.3). Al denne indsats fra forskningsassistenter betød, at tilføjelse af et nyt hus til undersøgelsen ville have tilføjet omkostningerne. På den anden side, for det digitale felteksperiment af Restivo og van de Rijt (2012) om effekten af ​​priser på Wikipedia-redaktører, kunne forskere tilføje flere deltagere til næsten ingen omkostninger. En generel strategi for at reducere variable administrative omkostninger er at erstatte menneskeligt arbejde (hvilket er dyrt) med computerarbejde (hvilket er billigt). Groft kan du spørge dig selv: Kan dette eksperiment køre, mens alle på mit forskningshold sover? Hvis svaret er ja, har du gjort et godt arbejde med automatisering.

Den anden hovedtype af variable omkostninger er betalinger til deltagere. Nogle forskere har brugt Amazon Mechanical Turk og andre online arbejdsmarkeder til at reducere de betalinger, der er nødvendige for deltagerne. At køre variable omkostninger helt til nul, men en anden tilgang er nødvendig. I lang tid har forskere designet eksperimenter, der er så kedelige, at de skal betale folk for at deltage. Men hvad nu hvis du kunne skabe et eksperiment, som folk vil være i? Dette lyder måske langt, men jeg giver dig et eksempel nedenfor fra mit eget arbejde, og der er flere eksempler i tabel 4.4. Bemærk, at denne ide om at designe sjove eksperimenter ekko nogle af temaerne i kapitel 3 om udformning af mere underholdende undersøgelser og i kapitel 5 om design af massesamarbejde. Således tror jeg, at deltagernes nydelse - hvad der også kunne kaldes brugeroplevelse - bliver en stadig vigtigere del af forskningsdesign i den digitale tidsalder.

Hvis du vil oprette eksperimenter med nul variable omkostninger, skal du sikre dig, at alt er fuldt automatiseret, og at deltagerne ikke kræver nogen betaling. For at vise, hvordan dette er muligt, vil jeg beskrive min afhandling forskning om succes og fiasko af kulturelle produkter.

Min afhandling var motiveret af den forbløffende karakter af succes for kulturelle produkter. Hit sange, bedst sælgende bøger og blockbuster film er meget, meget mere succesfulde end gennemsnittet. På grund af dette er markederne for disse produkter ofte kaldt "vinder-tage-alle" markeder. Men på samme tid, hvilken bestemt sang, bog eller film bliver succesfuld, er utroligt uforudsigelig. Skribskriveren William Goldman (1989) opsummerede mange akademiske undersøgelser ved at sige, at når det kommer til at forudsige succes, "ingen ved noget." Uforudsigeligheden af ​​vinder-alle markeder gjorde mig spekulerer på, hvor meget succes der er resultatet af kvalitet og hvor meget er lige held. Eller udtrykt lidt anderledes, hvis vi kunne skabe parallelle verdener og få dem alle til at udvikle sig selvstændigt, ville de samme sange blive populære i hver verden? Og, hvis ikke, hvad kan der være en mekanisme, der forårsager disse forskelle?

For at besvare disse spørgsmål, vi-Peter Dodds, Duncan Watts (min afhandling rådgiver), og jeg - løb en række online-felt eksperimenter. Især bygget vi en hjemmeside kaldet MusicLab, hvor folk kunne opdage ny musik, og vi brugte det til en række eksperimenter. Vi rekrutterede deltagere ved at køre bannerannoncer på en teen-interesse hjemmeside (figur 4.20) og gennem omtale i medierne. Deltagere, der ankom til vores hjemmeside, gav informeret samtykke, afsluttede et kort baggrunds spørgeskema og blev tilfældigt tildelt en af ​​to eksperimentelle forhold - uafhængig og social indflydelse. I den uafhængige tilstand tog deltagerne beslutninger om hvilke sange man skulle lytte til, idet man kun gav navnene på båndene og sangene. Mens man lyttede til en sang, blev deltagerne bedt om at bedømme det, hvorefter de havde mulighed for (men ikke forpligtelsen) at downloade sangen. I den sociale indflydelseskondition havde deltagerne den samme oplevelse, bortset fra at de også kunne se, hvor mange gange hver sang var blevet downloadet af tidligere deltagere. Endvidere blev deltagerne i den sociale indflydelse betinget tilfældigt til en af ​​otte parallelle verdener, der hver især udviklede sig selvstændigt (figur 4.21). Ved hjælp af dette design løb vi to relaterede eksperimenter. I det første præsenterede vi sangene til deltagerne i et usorteret net, hvilket gav dem et svagt signal om popularitet. I det andet forsøg præsenterede vi sangene i en rangeret liste, hvilket gav et meget stærkere signal om popularitet (figur 4.22).

Figur 4.20: Et eksempel på bannerannonce, som mine kolleger og jeg plejede at rekruttere deltagere til MusicLab eksperimenterne (Salganik, Dodds, and Watts 2006) . Reproduceret med tilladelse fra Salganik (2007) , figur 2.12.

Figur 4.21: Eksperimentelt design til MusicLab-eksperimenterne (Salganik, Dodds, and Watts 2006) . Deltagerne blev tilfældigt tildelt en af ​​to betingelser: uafhængig og social indflydelse. Deltagerne i den uafhængige tilstand foretog deres valg uden nogen information om, hvad andre mennesker havde gjort. Deltagere i den sociale indflydelseskondition blev tilfældigt tildelt en af ​​otte parallelle verdener, hvor de kunne se populariteten - som målt ved download af tidligere deltagere - af hver sang i deres verden, men de kunne ikke se nogen oplysninger om, heller ikke de selv vide om eksistensen af ​​nogen af ​​de andre verdener. Tilpasset fra Salganik, Dodds, and Watts (2006) , figur s1.

Vi fandt ud af, at sangernes popularitet var forskellig på verdensplan, hvilket tyder på, at heldet spillede en vigtig rolle i succes. For eksempel, i en verden kom sangen "Lockdown" af 52Metro i 1. ud af 48 sange, mens den i en anden verden kom i 40. Dette var nøjagtig den samme sang, der konkurrerede imod alle de samme andre sange, men i en verden blev det heldig og i de andre gjorde det ikke. Ved at sammenligne resultater på tværs af de to eksperimenter fandt vi ud af, at social indflydelse øger vinder-tage-alle naturen på disse markeder, hvilket måske tyder på vigtigheden af ​​færdigheder. Men at se på tværs af verdener (som ikke kan gøres uden for denne slags parallelle verdeners eksperiment), fandt vi, at social indflydelse faktisk øgede vigtigheden af ​​held. Det var desuden overraskende, at det var sangene med højeste appel, hvor heldet bedrog mest (figur 4.23).

Figur 4.22: Skærmbilleder fra de sociale indflydelsesforhold i MusicLab eksperimenterne (Salganik, Dodds, and Watts 2006) . I den sociale indflydelseskondition i eksperiment 1 blev sangene sammen med antallet af tidligere downloads præsenteret for deltagerne arrangeret i et 16 \(\times\) 3 rektangulært gitter, hvor sangernes positioner blev tilfældigt tildelt for hver deltager. I eksperiment 2 blev deltagere i den sociale indflydelseskondition vist sangene med downloadtællinger præsenteret i en kolonne i faldende rækkefølge af nuværende popularitet.

Figur 4.23: Resultater fra MusicLab-eksperimenterne, der viser forholdet mellem appel og succes (Salganik, Dodds, and Watts 2006) . \(x\) -axen er markedsandelen af ​​sangen i den uafhængige verden, som tjener som et mål for appel af sangen, og \(y\) -aks er markedsandelen for den samme sang i de otte sociale indflydelsesverdener, som tjener som et mål for sangens succes. Vi fandt, at det øgede den sociale indflydelse, deltagerne oplevede - specifikt, ændringen i layout fra eksperiment 1 til eksperiment 2 (figur 4.22) - fik succes til at blive mere uforudsigelige, især for sangene med den højeste appel. Tilpasset fra Salganik, Dodds, and Watts (2006) , figur 3.

MusicLab var i stand til at køre med stort set nul variabel pris på grund af den måde, den blev designet på. For det første var alt fuldt automatiseret, så det kunne løbe mens jeg sov. For det andet var kompensationen gratis musik, så der var ingen kompensationsomkostninger for variabel deltager. Brugen af ​​musik som kompensation illustrerer også, hvordan der nogle gange er en afvejning mellem faste og variable omkostninger. Brug af musik øgede de faste omkostninger, fordi jeg var nødt til at bruge tid til at sikre tilladelse fra båndene og forberede rapporter om dem om deltagernes reaktion på deres musik. Men i dette tilfælde var det den rigtige ting at øge faste omkostninger for at reducere variable omkostninger. Det gjorde det muligt for os at køre et eksperiment, der var omkring 100 gange større end et standard laboratorieeksperiment.

Endvidere viser MusicLab-eksperimenterne, at nul variable omkostninger ikke behøver at være et mål i sig selv; Det kan snarere være et middel til at køre en ny slags eksperiment. Bemærk, at vi ikke brugte alle vores deltagere til at køre et standard socialt indflydelseslab-eksperiment 100 gange. I stedet gjorde vi noget andet, som man kunne tænke på som at skifte fra et psykologisk eksperiment til en sociologisk (Hedström 2006) . I stedet for at fokusere på individuel beslutningstagning fokuserede vi vores eksperiment på popularitet, et kollektivt resultat. Dette skift til et kollektivt resultat betød, at vi krævede omkring 700 deltagere til at producere et enkelt datapunkt (der var 700 personer i hver af de parallelle verdener). Denne skala var kun mulig på grund af eksperimentets omkostningsstruktur. Generelt, hvis forskere ønsker at studere, hvordan kollektive resultater stammer fra individuelle beslutninger, er gruppespørgsmål som MusicLab meget spændende. Tidligere har de været logistiske vanskelige, men disse vanskeligheder falmer på grund af muligheden for nul variable data.

Ud over at illustrere fordelene ved nul variable omkostninger data viser MusicLab-eksperimenterne også en udfordring med denne tilgang: høje faste omkostninger. I mit tilfælde var jeg ekstremt heldig at kunne arbejde med en talentfuld webudvikler, der hedder Peter Hausel i cirka seks måneder for at konstruere eksperimentet. Det var kun muligt, fordi min rådgiver, Duncan Watts, havde modtaget en række tilskud til støtte for denne form for forskning. Teknologien er forbedret siden vi bygget MusicLab i 2004, så det ville være meget nemmere at opbygge et eksperiment som dette nu. Men høje faste omkostninger strategier er virkelig kun mulige for forskere, der på en eller anden måde kan dække disse omkostninger.

Afslutningsvis kan digitale eksperimenter have dramatisk forskellige omkostningsstrukturer end analoge eksperimenter. Hvis du vil køre rigtig store eksperimenter, bør du forsøge at reducere din variable pris så meget som muligt og helst helt til nul. Du kan gøre dette ved at automatisere eksperimentets mekanik (f.eks. Erstatte menneskelig tid med computer tid) og designe eksperimenter, som folk ønsker at være i. Forskere, der kan designe eksperimenter med disse funktioner, vil kunne køre nye former for eksperimenter, der var ikke muligt i fortiden. Imidlertid kan evnen til at skabe nul variable omkostninger eksperimenter rejse nye etiske spørgsmål, det emne, som jeg nu skal adressere.