4.6.1 Maak zero variabele kosten data

De sleutel tot het uitvoeren van grote experimenten is het besturen van de variabele kosten tot nul. De beste manieren om dit te doen zijn de automatisering en het ontwerpen van plezierige experimenten.

Digitale experimenten kan drastisch verschillende kostenstructuren en dit stelt onderzoekers in staat om experimenten die in het verleden onmogelijk waren lopen. Meer in het bijzonder, experimenten hebben over het algemeen twee soorten kosten:. Vaste kosten en variabele kosten Vaste kosten zijn kosten die niet veranderen afhankelijk van het aantal deelnemers die je hebt. Bijvoorbeeld, in een laboratoriumexperiment, vaste kosten kan de huur van de ruimte en het kopen meubel. Variabele kosten, anderzijds, veranderen afhankelijk van het aantal deelnemers gaat. Bijvoorbeeld, in een laboratoriumexperiment variabele kosten zou kunnen komen van het betalen van personeel en deelnemers. In het algemeen, analoge experimenten hebben een lage vaste kosten en een hoge variabele kosten, en digitale experimenten hebben hoge vaste kosten en lage variabele kosten (zie figuur 4.18). Met de juiste ontwerp, kunt u de variabele kosten van uw experiment rit helemaal tot nul, en dit kan spannend onderzoek kansen te creëren.

Figuur 4.18: Schema van kostenstructuren in analoge en digitale experimenten. In het algemeen, analoge experimenten hebben een lage vaste kosten en een hoge variabele kosten terwijl de digitale experimenten hebben hoge vaste kosten en lage variabele kosten. De verschillende kostenstructuren betekenen dat digitale experimenten kan draaien op een schaal die niet mogelijk is met analoge experimenten.

Er zijn twee belangrijke elementen van de variabele kosten-betalingen aan het personeel en betalingen aan deelnemers-en elk van deze kan worden gereden op nul met behulp van verschillende strategieën. Betalingen aan steel medewerkers van het werk dat aio's doen het werven van deelnemers, het leveren van behandelingen, en het meten van resultaten. Bijvoorbeeld, de analoge veldexperiment van Schultz en zijn collega's (2007) over sociale normen en het gebruik van elektriciteit die nodig aio's om te reizen naar elk huis om de behandeling te leveren en te lezen van de elektriciteitsmeter (Figuur 4.3). Al deze inspanningen door aio betekende dat het toevoegen van een nieuw huishouden aan het onderzoek naar de kosten zou hebben toegevoegd. Aan de andere kant, voor de digitale veldexperiment van Restivo en Van de Rijt (2012) over beloningen in Wikipedia, onderzoekers kunnen meer deelnemers vrijwel zonder kosten toe te voegen. Een algemene strategie voor het verminderen van de variabele administratieve kosten mensenlevens in het werk (wat duur is) met de computer werken (dat is goedkoop) te vervangen. Grofweg kun je je afvragen: kan dit experiment uitgevoerd terwijl iedereen op mijn onderzoeksteam slaapt? Als het antwoord ja is, heb je een geweldige job van automatisering gedaan.

Het tweede belangrijkste type van de variabele kosten is betaling van de deelnemers. Sommige onderzoekers hebben gebruikt Amazon Mechanical Turk en andere online arbeidsmarkt om de betalingen die nodig zijn voor de deelnemers te verlagen. De variabele kosten rit helemaal tot nul, maar een andere benadering is vereist. Voor een lange tijd, hebben de onderzoekers ontworpen experimenten die zo saai ze moeten mensen betalen om deel te nemen. Maar wat als je zou een experiment dat mensen willen worden in te creëren? Dit klinkt misschien vergezocht, maar ik zal je een voorbeeld hieronder geven uit mijn eigen werk, en er zijn meer voorbeelden in tabel 4.4. Merk op dat deze benadering voor het ontwerpen plezierige experimenten echo enkele van de thema's in hoofdstuk 3 met betrekking tot het ontwerpen leuker enquêtes en in hoofdstuk 5 met betrekking tot het ontwerp van de massa samenwerking. Dus, ik denk dat die deelnemer-plezier wat er kan ook gebruiksvriendelijk te noemen van ervaringen zal een steeds belangrijker onderdeel van het onderzoek ontwerp in het digitale tijdperk zijn.

Als u wilt op nul variabele kosten experimenten creëer je zult willen ervoor zorgen dat alles volledig is geautomatiseerd en dat de deelnemers geen betalingen nodig. Om aan te tonen hoe dit mogelijk is, zal ik mijn proefschrift onderzoek naar de succes- en faalfactoren van culturele producten te beschrijven. Dit voorbeeld toont ook aan dat nul variabele kosten data gaat niet alleen over het doen van dingen goedkoper. Integendeel, het is over het inschakelen experimenten die anders niet mogelijk zouden zijn.

Mijn proefschrift werd ingegeven door de raadselachtige karakter van succes voor culturele producten. Hits, best verkopende boeken, en blockbuster films zijn veel, veel meer succes dan gemiddeld. Hierdoor worden de markt van deze producten vaak "winner-take-all" markten. Toch is er op hetzelfde moment, die bepaald nummer, een boek of film succesvol zal worden is ongelooflijk onvoorspelbaar. De scenarioschrijver William Goldman (1989) elegant vatte veel wetenschappelijk onderzoek door te zeggen dat, als het gaat om het voorspellen van succes, "niemand iets weet." De onvoorspelbaarheid van de winner-take-all markten maakte me af hoeveel van het succes is een resultaat kwaliteit en hoeveel is gewoon geluk. Of, uitgedrukt iets anders, als we parallelle werelden kunnen maken en hebben ze allemaal evolueren onafhankelijk van elkaar, zouden dezelfde songs populair geworden in elke wereld? En zo niet, wat zou een mechanisme dat deze verschillen veroorzaakt worden?

Om deze vragen te beantwoorden, we-Peter Dodds, Duncan Watts (mijn proefschrift adviseur), en I-liep een reeks online veldexperimenten. In het bijzonder, bouwden we een website genaamd MusicLab waar mensen nieuwe muziek kunnen ontdekken, en we gebruikten het voor een reeks experimenten. We aangeworven deelnemers door het uitvoeren van banneradvertenties op een tiener-interest website (figuur 4.19) en door noemt in de media. Deelnemers die aankomen op onze website voorzien informed consent, voltooide een korte achtergrond vragenlijst en werden willekeurig toegewezen aan een van de twee experimentele condities-onafhankelijke en sociale invloed. In de onafhankelijke staat, de deelnemers maakten beslissingen over welke nummers om naar te luisteren, aangezien alleen de namen van de bands en de nummers. Tijdens het luisteren naar een lied, werden de deelnemers gevraagd om het te beoordelen, waarna ze in de gelegenheid (maar niet de plicht) om het nummer te downloaden gehad. In de sociale invloed conditie, de deelnemers had dezelfde ervaring, behalve dat ze ook zou kunnen zien hoe vaak elke song werd gedownload door eerdere deelnemers. Bovendien, de deelnemers aan de sociale invloed conditie werden willekeurig toegewezen aan een van de acht parallelle werelden die elk onafhankelijk geëvolueerd (figuur 4.20). Met behulp van dit ontwerp, liepen we twee samenhangende experimenten. In de eerste, presenteerden wij de deelnemers de songs in een ongesorteerde raster, waardoor ze een zwak signaal van populariteit verstrekt. In het tweede experiment, we presenteerde de nummers in een ranglijst, die een veel sterker signaal van populariteit verstrekt (figuur 4.21).

Figuur 4.19: Een voorbeeld van een banner advertentie die mijn collega's en ik heb gebruikt om deelnemers voor de MusicLab experimenten te werven (Salganik, Dodds, and Watts 2006) .

Figuur 4.20: Experimenteel ontwerp voor de MusicLab experimenten (Salganik, Dodds, and Watts 2006) . De deelnemers werden gerandomiseerd in één van twee voorwaarden: onafhankelijke en sociale invloed. Deelnemers aan de onafhankelijke staat maakten hun keuzes zonder enige informatie over wat andere mensen hadden gedaan. Deelnemers aan de sociale invloed conditie werden willekeurig ingedeeld in een van de acht parallelle werelden, waar ze de populariteit-as konden zien gemeten door downloads van eerdere deelnemers-van elk liedje in hun wereld, maar ze konden geen informatie te zien, noch hebben zij zelfs de hoogte van het bestaan ​​van enige van de andere werelden.

We vonden dat de populariteit van de songs verschilde over de werelden suggereert een belangrijke rol van geluk. Bijvoorbeeld, in één wereld het lied "Lockdown" door 52Metro kwam in 1, en in een andere wereld kwam in 40 van de 48 nummers. Dit was precies hetzelfde liedje concurreren tegen allemaal hetzelfde liedjes, maar in een wereld die het geluk hebben gehad en de anderen niet. Verder, door het vergelijken van resultaten in de twee experimenten vonden we dat sociale invloed leidt tot meer ongelijke succes, dat misschien wel de schijn van voorspelbaarheid. Maar, op zoek naar de overkant van de wereld (die niet buiten dit soort parallelle werelden experiment kan worden gedaan), vonden we dat sociale invloed de onvoorspelbaarheid juist toegenomen. Verder, verrassend, het was de liederen van de hoogste beroep dat de meest onvoorspelbare uitkomsten (figuur 4.22) te hebben.

Figuur 4.21: Screenshots van het sociale invloed omstandigheden in de MusicLab experimenten (Salganik, Dodds, and Watts 2006) . In de sociale invloed toestand in experiment 1, de nummers, samen met het aantal eerdere downloads, werden aan de deelnemers gerangschikt in een 16 x 3 rechthoekig rooster, waarbij de posities van de nummers werden willekeurig toegewezen voor elke deelnemer. In experiment 2, de deelnemers aan de sociale invloed conditie werden getoond van de songs, met download telt, gepresenteerd in één kolom in aflopende volgorde van de huidige populariteit.

Figuur 4.22: De resultaten van de MusicLab experimenten die de relatie tussen beroep en succes (Salganik, Dodds, and Watts 2006) . De x-as is het marktaandeel van het lied in de onafhankelijke wereld, die dient als een maatstaf voor de aantrekkingskracht van het lied, en de y-as is het marktaandeel van hetzelfde nummer in de 8 sociale invloed werelden, die dient als maatstaf voor het succes van de nummers. We vonden dat het verhogen van de sociale invloed die de deelnemers ervaren-specifiek, de verandering in de lay-out van experiment 1 om te experimenteren 2 (figuur 4.21) -caused succes om meer onvoorspelbaar geworden, vooral voor de hoogste beroep songs.

MusicLab kon nul variabele kosten lopen op in hoofdzaak als gevolg van de manier waarop het is ontworpen. Ten eerste, alles was volledig geautomatiseerd, zodat het in staat te lopen, terwijl ik lag te slapen was. Ten tweede, de compensatie was gratis muziek dus er was geen variabele beloning deelnemer kosten. Het gebruik van muziek als compensatie illustreert ook hoe er soms een trade-off tussen vaste en variabele kosten. Met behulp van muziek verhoogde de vaste kosten, want ik had om tijd te besteden het veiligstellen van toestemming van de bands en het voorbereiden van verslagen voor de bands over de reactie van de deelnemers om hun muziek. Maar in dit geval, het verhogen van de vaste kosten om variabelen verlagen was het juiste ding om te doen; dat is wat ons in staat om een ​​experiment dat ongeveer 100 keer groter dan een standaard laboratorium experiment werd.

Verder is de MusicLab experimenten tonen aan dat nul variabele kosten hoeft geen doel op zichzelf; veeleer kan het een middel om het runnen van een nieuw soort experiment. Merk op dat we niet al onze deelnemers hebben gebruikt om een ​​standaard sociale invloed lab experiment 100 keer. In plaats daarvan hebben we iets anders, die je zou kunnen denken als het overschakelen van een psychologisch experiment om een sociologisch experiment (Hedström 2006) . In plaats van zich te concentreren op individuele besluitvorming, hebben we ons gericht onze experiment op populariteit, een collectieve resultaat. Deze schakelaar om een ​​collectieve resultaat betekende dat we nodig hadden ongeveer 700 deelnemers aan een enkel data punt te produceren (er waren 700 mensen in elk van de parallelle werelden). Die schaal slechts mogelijk door de kostenstructuur van het experiment. In het algemeen, als onderzoekers willen bestuderen hoe collectieve uitkomsten komen voort uit individuele beslissingen, groep experimenten zoals MusicLab zijn erg spannend. In het verleden hebben ze logistiek moeilijk, maar deze moeilijkheden vervagen vanwege de mogelijkheid van nul variabele kostengegevens.

In aanvulling op ter illustratie van de voordelen van nul variabele kosten data, de MusicLab experimenten een uitdaging met deze aanpak tonen ook: hoge vaste kosten. In mijn geval was ik zeer gelukkig om te kunnen werken met een getalenteerde web developer genaamd Peter Hausel ongeveer zes maanden de tijd om het experiment te construeren. Dit was alleen mogelijk omdat mijn adviseur, Duncan Watts, had een aantal subsidies om dit soort onderzoek te ondersteunen ontvangen. Technologie is verbeterd sinds we MusicLab gebouwd in 2004, en het zou veel gemakkelijker zijn om een ​​experiment als dit nu op te bouwen. Maar, hoge vaste kosten strategieën zijn echt alleen mogelijk voor onderzoekers die een of andere manier deze kosten kan dekken.

Concluderend kan digitale experimenten dramatisch anders kostenstructuren dan analoge experimenten. Als je wilt echt grote experimenten uit te voeren, moet je proberen om je variabele kosten zo veel mogelijk en idealiter helemaal dalen tot 0. U kunt dit doen door het automatiseren van de mechanica van uw experiment (bijvoorbeeld het vervangen van menselijke tijd met de computer tijd) en het ontwerpen van experimenten die mensen willen in. Onderzoekers die experimenten kunnen ontwerpen met deze functies in staat om nieuwe vormen van experimenten die in het verleden niet mogelijk waren lopen zal zijn.