4.5.2 Bouw je eigen experiment

Het bouwen van uw eigen experiment kan kostbaar zijn, maar het zal u toelaten om het experiment dat u wilt creëren.

Naast overlappende experimenten bovenop bestaande omgevingen, kunt u ook uw eigen experiment maken. Het belangrijkste voordeel van deze aanpak is controle; als u het experiment bouwt, kunt u de omgeving en behandelingen maken die u wilt. Deze op maat gemaakte experimentele omgevingen kunnen mogelijkheden creëren om theorieën te testen die niet kunnen worden getest in natuurlijk voorkomende omgevingen. De belangrijkste nadelen van het bouwen van uw eigen experiment zijn dat het duur kan zijn en dat de omgeving die u kunt creëren mogelijk niet het realisme heeft van een natuurlijk systeem. Onderzoekers die hun eigen experiment bouwen, moeten ook een strategie hebben om deelnemers te werven. Wanneer ze in bestaande systemen werken, brengen onderzoekers de experimenten in essentie naar hun deelnemers. Maar wanneer onderzoekers hun eigen experiment bouwen, moeten ze deelnemers eraan toevoegen. Gelukkig kunnen diensten zoals Amazon Mechanical Turk (MTurk) onderzoekers een handige manier bieden om deelnemers naar hun experimenten te brengen.

Een voorbeeld dat de deugden van op maat gemaakte omgevingen illustreert voor het testen van abstracte theorieën is het digitale laboratoriumexperiment van Gregory Huber, Seth Hill en Gabriel Lenz (2012) . Dit experiment onderzoekt een mogelijke praktische beperking van het functioneren van democratisch bestuur. Eerdere niet-experimentele studies van werkelijke verkiezingen suggereerden dat kiezers niet in staat zijn de prestaties van zittende politici nauwkeurig te beoordelen. In het bijzonder lijken kiezers te lijden onder drie vooroordelen: (1) ze zijn gericht op recente in plaats van cumulatieve prestaties; (2) ze kunnen worden gemanipuleerd door retoriek, framing en marketing; en (3) ze kunnen worden beïnvloed door gebeurtenissen die geen verband houden met de bestaande prestaties, zoals het succes van lokale sportteams en het weer. In deze eerdere studies was het echter moeilijk om een ​​van deze factoren te isoleren van alle andere dingen die gebeuren in echte, rommelige verkiezingen. Daarom hebben Huber en collega's een sterk vereenvoudigde stemomgeving gecreëerd om elk van deze drie mogelijke vooroordelen te isoleren en vervolgens experimenteel te bestuderen.

Terwijl ik de experimentele opstelling hieronder beschrijf, klinkt het heel kunstmatig, maar vergeet niet dat realisme geen doel is in experimenten in de laboratoriumstijl. Integendeel, het doel is om het proces dat u probeert te bestuderen duidelijk te isoleren, en deze strakke isolatie is soms niet mogelijk in studies met meer realisme (Falk and Heckman 2009) . Verder, in dit specifieke geval, voerden de onderzoekers aan dat als kiezers de prestaties niet effectief kunnen evalueren in deze sterk vereenvoudigde omgeving, ze het niet in staat zullen zijn om het in een meer realistische, meer complexe omgeving te doen.

Huber en collega's gebruikten MTurk om deelnemers te werven. Nadat een deelnemer een geïnformeerde toestemming had gegeven en een korte test had afgelegd, kreeg ze te horen dat ze deelnam aan een 32-round-game om tokens te verdienen die konden worden omgezet in echt geld. Aan het begin van het spel kreeg elke deelnemer te horen dat haar een 'toewijzer' was toegewezen die haar elke ronde gratis tokens zou geven en dat sommige toewijzers genereuzer waren dan anderen. Verder kreeg elke deelnemer ook te horen dat ze een kans zou hebben om haar allocator te behouden of een nieuwe te krijgen na 16 ronden van het spel. Gegeven wat u weet over de onderzoeksdoelen van Huber en collega's, kunt u zien dat de toewijzer een overheid vertegenwoordigt en deze keuze een verkiezing vertegenwoordigt, maar deelnemers waren zich niet bewust van de algemene doelen van het onderzoek. In totaal rekruteerden Huber en collega's ongeveer 4000 deelnemers die ongeveer $ 1,25 betaalden voor een taak die ongeveer acht minuten duurde.

Bedenk dat een van de bevindingen uit eerder onderzoek was dat kiezers gevestigde bedrijven belonen en straffen voor resultaten die duidelijk buiten hun macht liggen, zoals het succes van lokale sportteams en het weer. Om te beoordelen of de stembeslissingen van deelnemers kunnen worden beïnvloed door puur willekeurige gebeurtenissen in hun omgeving, voegden Huber en collega's een loterij toe aan hun experimentele systeem. Zowel in de 8ste ronde als de 16e ronde (dus net voor de kans om de allocator te vervangen) werden deelnemers willekeurig in een loterij geplaatst waar sommigen 5.000 punten wonnen, sommigen 0 punten wonnen en sommigen 5.000 punten verloren. Deze loterij was bedoeld om goed of slecht nieuws na te bootsen dat onafhankelijk is van de prestaties van de politicus. Hoewel deelnemers expliciet te horen kregen dat de loterij geen verband hield met de prestaties van hun toewijzer, had de uitkomst van de loterij nog steeds invloed op de beslissingen van de deelnemers. Deelnemers die van de loterij hadden geprofiteerd, hielden eerder hun allocator vast, en dit effect was sterker toen de loterij plaatsvond in ronde 16 - vlak voor de vervangingsbeslissing - dan toen het gebeurde in ronde 8 (figuur 4.15). Deze resultaten, samen met die van verschillende andere experimenten in de paper, brachten Huber en zijn collega's tot de conclusie dat kiezers zelfs in een vereenvoudigde omgeving moeite hebben met het nemen van verstandige beslissingen, wat een impact heeft gehad op toekomstig onderzoek over besluitvorming door kiezers (Healy and Malhotra 2013) . Het experiment van Huber en collega's laat zien dat MTurk kan worden gebruikt om deelnemers te werven voor experimenten in laboratoriumstijl om zeer specifieke theorieën precies te testen. Het toont ook de waarde van het bouwen van uw eigen experimentele omgeving: het is moeilijk voor te stellen hoe deze zelfde processen zo zuiver in een andere omgeving hadden kunnen worden geïsoleerd.

Figuur 4.15: Resultaten van Huber, Hill, and Lenz (2012) . Deelnemers die van de loterij hadden geprofiteerd, waren eerder geneigd hun allocator te behouden, en dit effect was sterker toen de loterij plaatsvond in ronde 16 - vlak voor de vervangingsbeslissing - dan toen het gebeurde in ronde 8. Aangepast van Huber, Hill, and Lenz (2012) , figuur 5.

Naast het bouwen van labachtige experimenten, kunnen onderzoekers ook experimenten bouwen die meer veldachtig zijn. Centola (2010) bouwde bijvoorbeeld een digitaal veldexperiment om het effect van sociale netwerkstructuur op de verspreiding van gedrag te bestuderen. Zijn onderzoeksvraag vereiste dat hij hetzelfde gedrag zag ontstaan ​​in populaties met verschillende sociale netwerkstructuren, maar verder niet te onderscheiden waren. De enige manier om dit te doen, was met een op maat gemaakt, op maat gemaakt experiment. In dit geval bouwde Centola een op het web gebaseerde gezondheidsgemeenschap.

Centola wierf ongeveer 1500 deelnemers aan via advertenties op gezondheidswebsites. Toen deelnemers aankwamen bij de online community, die het Healthy Lifestyle Network heette, verstrekten ze geïnformeerde toestemming en kregen ze vervolgens 'gezondheidsmaatjes' toegewezen. Vanwege de manier waarop Centola deze gezondheidsmaatjes had toegewezen, was hij in staat verschillende sociale netwerkstructuren samen te voegen verschillende groepen. Sommige groepen werden gebouwd om willekeurige netwerken te hebben (waarbij iedereen evenveel verbonden zou zijn), terwijl andere groepen werden gebouwd om geclusterde netwerken te hebben (waarbij verbindingen lokaal dichter zijn). Vervolgens introduceerde Centola een nieuw gedrag in elk netwerk: de kans om zich te registreren voor een nieuwe website met aanvullende gezondheidsinformatie. Wanneer iemand zich aanmeldde voor deze nieuwe website, ontvingen al haar gezondheidsmaatjes een e-mail waarin dit gedrag werd aangekondigd. Centola ontdekte dat dit gedrag - het aanmelden voor de nieuwe website - zich verder en sneller verspreidde in het geclusterde netwerk dan in het willekeurige netwerk, een bevinding die in tegenspraak was met sommige bestaande theorieën.

Over het algemeen geeft het bouwen van uw eigen experiment u veel meer controle; het stelt je in staat de best mogelijke omgeving te construeren om te isoleren wat je wilt studeren. Het is moeilijk voor te stellen hoe de twee experimenten die ik zojuist heb beschreven, uitgevoerd kunnen zijn in een reeds bestaande omgeving. Verder, het bouwen van je eigen systeem vermindert ethische bezwaren rond het experimenteren in bestaande systemen. Wanneer je echter je eigen experiment maakt, kom je veel van de problemen tegen die je tegenkomt bij laboratoriumexperimenten: deelnemers werven en zorgen over realisme. Een laatste nadeel is dat het bouwen van je eigen experiment duur en tijdrovend kan zijn, hoewel, zoals deze voorbeelden laten zien, de experimenten kunnen variëren van relatief eenvoudige omgevingen (zoals de studie van het stemmen door Huber, Hill, and Lenz (2012) ) tot relatief complexe omgevingen (zoals de studie van netwerken en besmetting door Centola (2010) ).