4.6.1 Maak zero variabele kosten data

De sleutel tot het uitvoeren van grote experimenten is om uw variabele kosten naar nul te brengen. De beste manieren om dit te doen zijn automatisering en het ontwerpen van plezierige experimenten.

Digitale experimenten kunnen dramatisch verschillende kostenstructuren hebben, waardoor onderzoekers experimenten kunnen uitvoeren die in het verleden onmogelijk waren. Een manier om over dit verschil na te denken, is dat experimenten over het algemeen twee soorten kosten hebben: vaste kosten en variabele kosten. Vaste kosten zijn kosten die ongewijzigd blijven ongeacht het aantal deelnemers. In een laboratoriumexperiment bijvoorbeeld, kunnen vaste kosten de kosten zijn van het huren van ruimte en het kopen van meubilair. Variabele kosten , aan de andere kant, veranderen afhankelijk van het aantal deelnemers. In een laboratoriumexperiment bijvoorbeeld, kunnen variabele kosten komen van betalende medewerkers en deelnemers. Over het algemeen hebben analoge experimenten lage vaste kosten en hoge variabele kosten, terwijl digitale experimenten hoge vaste kosten en lage variabele kosten hebben (figuur 4.19). Hoewel digitale experimenten lage variabele kosten hebben, kunt u veel spannende kansen creëren wanneer u de variabele kosten helemaal naar nul drijft.

Figuur 4.19: Schematische voorstelling van kostenstructuren in analoge en digitale experimenten. Over het algemeen hebben analoge experimenten lage vaste kosten en hoge variabele kosten, terwijl digitale experimenten hoge vaste kosten en lage variabele kosten hebben. De verschillende kostenstructuren betekenen dat digitale experimenten kunnen worden uitgevoerd op een schaal die niet mogelijk is met analoge experimenten.

Er zijn twee hoofdelementen van variabele kostenbetalingen voor personeel en betalingen aan deelnemers - en elk van deze kan naar nul worden teruggedrongen met behulp van verschillende strategieën. Betalingen aan personeel komen voort uit het werk dat onderzoeksmedewerkers doen aan het werven van deelnemers, het leveren van behandelingen en het meten van uitkomsten. Bijvoorbeeld, het analoge veldexperiment van Schultz en collega's (2007) over elektriciteitsverbruik vereiste dat onderzoeksmedewerkers naar elk huis moesten reizen om de behandeling af te leveren en de elektrische meter te lezen (figuur 4.3). Al deze inspanningen door onderzoeksassistenten betekenden dat toevoeging van een nieuw huishouden aan de studie de kosten zou hebben verhoogd. Aan de andere kant, voor het digitale veldexperiment van Restivo en van de Rijt (2012) over het effect van prijzen op redacteurs van Wikipedia, konden onderzoekers meer deelnemers toevoegen zonder kosten. Een algemene strategie om variabele administratieve kosten te verminderen, is om menselijk (duur) werk te vervangen door computerwerk (wat goedkoop is). U kunt zich ongeveer afvragen: kan dit experiment verlopen terwijl iedereen in mijn onderzoeksteam slaapt? Als het antwoord ja is, hebt u uitstekend werk verricht van automatisering.

Het tweede hoofdtype variabele kosten zijn betalingen aan deelnemers. Sommige onderzoekers hebben Amazon Mechanical Turk en andere online arbeidsmarkten gebruikt om de betalingen die nodig zijn voor deelnemers te verminderen. Om de variabele kosten helemaal naar nul te brengen, is een andere aanpak nodig. Onderzoekers hebben lange tijd experimenten ontworpen die zo saai zijn dat ze mensen moeten betalen om mee te doen. Maar wat als je een experiment zou kunnen maken waar mensen in willen zitten? Dit klinkt misschien vergezocht, maar ik zal je hieronder een voorbeeld geven van mijn eigen werk, en er zijn meer voorbeelden in tabel 4.4. Merk op dat dit idee van het ontwerpen van plezierige experimenten een echo is van enkele van de thema's in hoofdstuk 3 met betrekking tot het ontwerpen van leukere enquêtes en in hoofdstuk 5 over het ontwerp van massale samenwerking. Daarom denk ik dat het plezier van de deelnemer, wat ook gebruikerservaring kan worden genoemd, een steeds belangrijker onderdeel van onderzoeksontwerp in het digitale tijdperk zal worden.

Als u experimenten wilt maken met kosten zonder variabele kosten, moet u ervoor zorgen dat alles volledig is geautomatiseerd en dat deelnemers geen betaling vereisen. Om te laten zien hoe dit mogelijk is, zal ik mijn proefschrift onderzoek naar het succes en falen van culturele producten beschrijven.

Mijn proefschrift werd gemotiveerd door het raadselachtige karakter van succes voor culturele producten. Hitnummers, best verkochte boeken en blockbuster-films zijn veel, veel succesvoller dan gemiddeld. Daarom worden de markten voor deze producten vaak 'winner-take-all'-markten genoemd. Maar toch, op hetzelfde moment, welk specifiek nummer, boek of film succesvol zal worden is ongelooflijk onvoorspelbaar. De scenarioschrijver William Goldman (1989) vatte op elegante wijze veel academisch onderzoek samen door te zeggen dat, als het gaat om het voorspellen van succes, "niemand iets weet." De onvoorspelbaarheid van de markten van de winnaar-take-all deed me afvragen hoeveel succes een resultaat is van kwaliteit en hoeveel is gewoon geluk. Of, enigszins anders uitgedrukt, als we parallelle werelden konden creëren en ze allemaal onafhankelijk konden laten evolueren, zouden dezelfde nummers dan populair worden in elke wereld? En, zo niet, wat kan een mechanisme zijn dat deze verschillen veroorzaakt?

Om deze vragen te beantwoorden, hebben we - Peter Dodds, Duncan Watts (mijn dissertatie-adviseur) en ik - een reeks online veldexperimenten uitgevoerd. We hebben met name een website gebouwd met de naam MusicLab, waar mensen nieuwe muziek konden ontdekken en we gebruikten het voor een reeks experimenten. We hebben deelnemers gerekruteerd door banneradvertenties uit te voeren op een website met tieners (figuur 4.20) en door vermeldingen in de media. Deelnemers die op onze website aankwamen, gaven geïnformeerde toestemming, vulden een korte achtergrondvragenlijst in en werden willekeurig toegewezen aan een van de twee experimentele voorwaarden-onafhankelijke en sociale invloeden. In de onafhankelijke situatie namen deelnemers beslissingen over naar welke nummers ze moesten luisteren, alleen de namen van de bands en de nummers. Tijdens het luisteren naar een nummer werden de deelnemers gevraagd om een ​​beoordeling te geven, waarna ze de gelegenheid (maar niet de plicht) hadden om het nummer te downloaden. In de sociale invloedsconditie hadden deelnemers dezelfde ervaring, behalve dat ze ook konden zien hoe vaak elk nummer was gedownload door eerdere deelnemers. Bovendien werden deelnemers aan de sociale invloedstoestand willekeurig toegewezen aan een van de acht parallelle werelden, die elk onafhankelijk evolueerden (figuur 4.21). Aan de hand van dit ontwerp hebben we twee gerelateerde experimenten uitgevoerd. In de eerste presenteerden we de nummers aan de deelnemers in een ongesorteerd raster, waardoor ze een zwak signaal van populariteit kregen. In het tweede experiment presenteerden we de nummers in een gerangschikte lijst, die een veel sterker signaal van populariteit gaf (figuur 4.22).

Figuur 4.20: Een voorbeeld van een banneradvertentie die mijn collega's en ik gebruikten om deelnemers te werven voor de MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . Gereproduceerd met toestemming van Salganik (2007) , figuur 2.12.

Figuur 4.21: Experimenteel ontwerp voor de MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . Deelnemers werden willekeurig toegewezen aan een van de twee voorwaarden: onafhankelijke en sociale invloed. Deelnemers in de onafhankelijke toestand maakten hun keuzes zonder enige informatie over wat andere mensen hadden gedaan. Deelnemers aan de sociale beïnvloedingstoestand werden willekeurig toegewezen aan een van de acht parallelle werelden, waar ze de populariteit - gemeten aan de hand van downloads van eerdere deelnemers - van elk nummer in hun wereld konden zien, maar ze konden geen informatie zien over, noch deden ze dat weet zelfs over het bestaan ​​van een van de andere werelden. Aangepast van Salganik, Dodds, and Watts (2006) , figuur s1.

We ontdekten dat de populariteit van de nummers verschilde over de hele wereld, wat suggereert dat geluk een belangrijke rol speelde in het succes. Bijvoorbeeld, in één wereld kwam het nummer "Lockdown" van 52Metro op nummer 1 van de 48 nummers, terwijl het in een andere wereld op de 40e plaats kwam. Dit was precies hetzelfde nummer dat wedijverde met dezelfde nummers, maar in de ene wereld had het geluk en in de andere niet. Verder hebben we, door de resultaten van de twee experimenten met elkaar te vergelijken, geconstateerd dat sociale invloed de winnaar-take-all aard van deze markten vergroot, wat misschien het belang van vaardigheden suggereert. Maar als we over de werelden kijken (wat niet mogelijk is buiten dit soort experimenten met parallelle werelden), ontdekten we dat sociale invloed het belang van geluk juist verhoogde. Verder waren het verrassend genoeg de nummers met de hoogste aantrekkelijkheid waar geluk het meest van belang was (figuur 4.23).

Figuur 4.22: Screenshots van de sociale invloedsomstandigheden in de MusicLab-experimenten (Salganik, Dodds, and Watts 2006) . In de voorwaarde sociale beïnvloeding in experiment 1 werden de nummers, samen met het aantal vorige downloads, aan de deelnemers gepresenteerd in een 16 \(\times\) 3 rechthoekig raster, waarbij de posities van de nummers willekeurig werden toegewezen voor elke deelnemer. In experiment 2 werden deelnemers in de sociale invloedstoestand de nummers getoond, met downloadtellingen, gepresenteerd in één kolom in aflopende volgorde van huidige populariteit.

Figuur 4.23: Resultaten van de MusicLab-experimenten die de relatie tussen aantrekkingskracht en succes laten zien (Salganik, Dodds, and Watts 2006) . De \(x\) -as is het marktaandeel van het nummer in de onafhankelijke wereld, dat dient als maatstaf voor de aantrekkingskracht van het nummer, en de \(y\) -as is het marktaandeel van hetzelfde nummer in de acht sociale beïnvloedingswerelden, die dienen als maatstaf voor het succes van de liedjes. We ontdekten dat het vergroten van de sociale invloed die deelnemers ervoeren, met name de verandering in lay-out van experiment 1 tot experiment 2 (figuur 4.22), het succes deed toenemen om onvoorspelbaarder te worden, vooral voor de nummers met de grootste aantrekkingskracht. Aangepast van Salganik, Dodds, and Watts (2006) , figuur 3.

MusicLab kon, vanwege de manier waarop het werd ontworpen, tegen praktisch nul variabele kosten draaien. Ten eerste was alles volledig geautomatiseerd, zodat het kon lopen terwijl ik sliep. Ten tweede was de compensatie gratis muziek, dus er was geen variabele compensatiekost voor deelnemers. Het gebruik van muziek als compensatie illustreert ook hoe soms er een wisselwerking bestaat tussen vaste en variabele kosten. Het gebruik van muziek verhoogde de vaste kosten omdat ik tijd moest besteden aan het verkrijgen van toestemming van de bands en het voorbereiden van rapporten over de reactie van de deelnemers op hun muziek. Maar in dit geval was het verhogen van de vaste kosten om de variabelenkosten te verlagen de juiste keuze; dat is wat ons in staat stelde om een ​​experiment uit te voeren dat ongeveer 100 keer groter was dan een standaard laboratoriumexperiment.

Verder laten de MusicLab-experimenten zien dat variabele kosten met nul geen doel op zich hoeven te zijn; het kan eerder een middel zijn om een ​​nieuw soort experiment uit te voeren. Merk op dat we niet al onze deelnemers 100 keer een standaard sociaal invloed labo-experiment hebben uitgevoerd. In plaats daarvan deden we iets anders, wat je zou kunnen zien als het overschakelen van een psychologisch experiment naar een sociologisch experiment (Hedström 2006) . In plaats van ons te concentreren op individuele besluitvorming, hebben we ons experiment gericht op populariteit, een gezamenlijk resultaat. Deze omschakeling naar een gezamenlijk resultaat betekende dat we ongeveer 700 deelnemers nodig hadden om een ​​enkel gegevenspunt te produceren (er waren 700 mensen in elk van de parallelle werelden). Die schaal was alleen mogelijk vanwege de kostenstructuur van het experiment. In het algemeen, als onderzoekers willen bestuderen hoe collectieve uitkomsten voortkomen uit individuele beslissingen, zijn groepsexperimenten zoals MusicLab erg spannend. In het verleden waren ze logistiek moeilijk, maar die problemen vervagen vanwege de mogelijkheid van nul variabele kostengegevens.

Naast het illustreren van de voordelen van zero variable cost data, tonen de MusicLab-experimenten ook een uitdaging met deze aanpak: hoge vaste kosten. In mijn geval had ik de grootste geluk dat ik een half jaar kon werken met een getalenteerde webontwikkelaar, Peter Hausel, om het experiment te bouwen. Dit was alleen mogelijk omdat mijn adviseur, Duncan Watts, een aantal beurzen had ontvangen om dit soort onderzoek te ondersteunen. De technologie is verbeterd sinds we MusicLab in 2004 hebben gebouwd, dus het zou veel eenvoudiger zijn om nu zo'n experiment te bouwen. Maar strategieën met hoge vaste kosten zijn eigenlijk alleen mogelijk voor onderzoekers die op de een of andere manier die kosten kunnen dekken.

Concluderend kunnen digitale experimenten dramatisch verschillende kostenstructuren hebben dan analoge experimenten. Als u echt grote experimenten wilt uitvoeren, moet u proberen uw variabele kosten zo veel mogelijk te verlagen en idealiter helemaal tot nul. U kunt dit doen door de mechanica van uw experiment te automatiseren (bijv. Menselijke tijd vervangen door computertijd) en door experimenten te ontwerpen waar mensen zich in willen bevinden. Onderzoekers die experimenten met deze functies kunnen ontwerpen, zullen nieuwe soorten experimenten kunnen uitvoeren die niet mogelijk in het verleden. Het vermogen om experimenten met nul-variabele kosten te creëren kan echter nieuwe ethische vragen oproepen, het onderwerp dat ik nu zal behandelen.