4.5.1.2 Bouw je eigen experiment

Het bouwen van uw eigen experiment kan kostbaar zijn, maar het zal u toelaten om het experiment dat u wilt creëren.

Naast overlappen experimenten op de top van de bestaande omgevingen, kunt u ook uw eigen experiment op te bouwen. Het belangrijkste voordeel van deze benadering is de controle; Als u het bouwen van het experiment, kunt u het milieu en de behandelingen die u wilt creëren. Deze op maat gemaakte experimentele omgevingen mogelijkheden om theorieën die onmogelijk te testen in de natuur voorkomende omgevingen testen te creëren. De belangrijkste nadelen van het bouwen van uw eigen experiment is dat het duur kan zijn en dat het milieu dat u maken misschien niet het realisme van een natuurlijk voorkomend systeem. Onderzoekers bouwen van hun eigen experiment moet ook een strategie voor het werven van deelnemers. Bij het werken in bestaande systemen, onderzoekers wezen brengen de experimenten aan hun deelnemers. Maar toen de onderzoekers bouwen hun eigen experiment, moeten ze de deelnemers te brengen. Gelukkig kunnen diensten zoals Amazon Mechanical Turk (MTurk) onderzoekers een handige manier om de deelnemers om hun experimenten te brengen.

Een voorbeeld dat de deugden van op maat gemaakte omgevingen illustreert voor het testen van abstracte theorieën is de digitale lab experiment door Gregory Huber, Seth Hill en Gabriel Lenz (2012) . Het experiment onderzoekt een mogelijke praktische beperking voor het functioneren van democratisch bestuur. Eerder niet-experimentele studies van de werkelijke verkiezingen suggereren dat de kiezers niet in staat zijn om de prestaties van de gevestigde politici nauwkeurig te beoordelen. In het bijzonder, de kiezers lijken te lijden onder drie vooroordelen: 1) gericht op de recente in plaats van cumulatieve prestaties; 2) manipuleerbaar door retoriek, het ontwerpen en marketing; en 3) beïnvloed door gebeurtenissen die niets met de gevestigde prestaties, zoals het succes van de lokale sport-team en het weer. In deze eerdere studies, echter, was het moeilijk om een ​​van deze factoren te isoleren van alle andere dingen die gebeurt in het echte, rommelig verkiezingen. Daarom Huber en collega creëerde een sterk vereenvoudigde stemming milieu om te isoleren en vervolgens experimenteel onderzoek, elk van deze drie mogelijke vertekeningen.

Zoals ik beschrijf de experimentele set-up eronder gaat klinken erg kunstmatig, maar vergeet niet dat realisme is geen doel in het lab-stijl experimenten. Integendeel, het doel is om het proces dat u probeert te studeren duidelijk te isoleren, en deze strakke isolement is soms niet mogelijk in studies met meer realisme (Falk and Heckman 2009) . Verder in dit specifieke geval, de onderzoekers stellen dat als de kiezers niet effectief prestaties in deze sterk vereenvoudigde instelling te evalueren, dan zijn ze niet van plan om in staat zijn om het te doen in een meer realistische, meer complexe omgeving.

Huber en collega's gebruikt Amazon Mechanical Turk (MTurk) om deelnemers te werven. Zodra een deelnemer verstrekt informed consent en gaf een korte test, werd haar verteld dat ze deelnemen aan een 32-round spel om tokens die kunnen worden omgezet in echt geld te verdienen. Aan het begin van het spel, werd iedere deelnemer verteld dat ze had een "allocator" dat haar gratis tokens elke ronde zou geven en dat sommige allocators waren guller dan anderen zijn toegewezen. Verder werd elke deelnemer ook verteld dat ze een kans om ofwel te houden haar allocator of een nieuw na 16 rondes van het spel worden toegewezen zou hebben. Gezien wat je weet over Huber en collega's 'onderzoek doelen, kun je zien dat de allocator vertegenwoordigt een regering en deze keuze staat voor een verkiezing, maar de deelnemers waren niet op de hoogte van de algemene doelstellingen van het onderzoek. In totaal Huber en collega's aangeworven ongeveer 4.000 deelnemers die werden betaald ongeveer $ 1,25 voor een taak die ongeveer 8 minuten duurde.

Bedenk dat een van de bevindingen uit eerder onderzoek was dat de kiezers belonen en straffen incumbents voor resultaten die duidelijk buiten hun controle, zoals het succes van de lokale sport-teams en het weer. Om te beoordelen of deelnemers stemgedrag kan worden beïnvloed door louter toevallige gebeurtenissen in hun omgeving, Huber en collega's toegevoegd een loterij om hun experimenteel systeem. Aan beide de 8e ronde of 16 rond (dat wil zeggen, vlak voor de kans om de allocator vervangen) deelnemers werden willekeurig geplaatst in een loterij waar sommige won 5000 punten, wat gewonnen 0 punten, en sommige verloren 5000 punten. Deze loterij was bedoeld om na te bootsen goed of slecht nieuws dat onafhankelijk is van de prestaties van de politicus. Hoewel de deelnemers expliciet kregen te horen dat de loterij was niet gerelateerd aan de prestaties van hun allocator, de uitkomst van de loterij nog steeds invloed beslissingen van de deelnemers. Deelnemers die profiteerde van de loterij waren meer kans om hun allocator te houden, en dit effect was sterker als de loterij gebeurde in ronde 16 vlak voor de vervanging van besluitvorming dan toen het gebeurde in ronde 8 (figuur 4.14). Deze resultaten, samen met de resultaten van verschillende andere experimenten in de krant, onder leiding Huber en collega's concluderen dat zelfs in een vereenvoudigde omgeving, de kiezers hebben moeite met het maken van verstandige beslissingen te nemen, een resultaat dat toekomstig onderzoek over kiezer besluitvorming beïnvloed (Healy and Malhotra 2013) . Het experiment van Huber en collega's blijkt dat MTurk kan worden gebruikt om deelnemers rekruteren lab-style experimenten nauwkeurig specifieke theorie te testen. Het toont ook de waarde van het bouwen van je eigen experimentele omgeving: het is moeilijk voor te stellen hoe deze dezelfde processen al zo netjes kunnen worden geïsoleerd in een andere setting.

Figuur 4.14: Resultaten uit Huber, Hill, and Lenz (2012) . Deelnemers die profiteerde van de loterij waren meer kans om hun allocator te behouden, en dit effect was sterker als de loterij gebeurde in ronde 16 vlak voor de vervanging van besluitvorming dan toen het gebeurde in ronde 8.

Naast het bouwen van lab-achtige experimenten kunnen onderzoekers ook experimenten die meer veld-achtige bouwen. Bijvoorbeeld, Centola (2010) bouwde een digitale veldexperiment het effect van sociale netwerkstructuur over de verspreiding van gedrag te bestuderen. Zijn onderzoeksvraag verplicht hem om hetzelfde gedrag spreiding in populaties die verschillende sociale netwerkstructuren gehad, maar waren anders niet te onderscheiden observeren. De enige manier om dit te doen was met een op maat gemaakte, custom-built experiment. In dit geval, Centola bouwde een web-based community health.

Centola aangeworven ongeveer 1.500 deelnemers met reclame op de gezondheid van websites. Als deelnemers aan de online-gemeenschap, die de gezonde levensstijl heette aangekomen Network-zij mits informed consent en vervolgens werden "de gezondheid van vrienden." Door de manier waarop Centola toegewezen deze gezondheidsproblemen maatjes hij in staat om samen verschillende sociale netwerkstructuren gebreid in verschillende was toegewezen groepen. Sommige groepen werden gebouwd om willekeurige netwerken en andere groepen werden gebouwd om geclusterde netwerken (waar aansluitingen zijn meer lokaal dichte) hebben (waar iedereen even waarschijnlijk om te worden aangesloten was). Dan, Centola introduceerde een nieuw gedrag in elk netwerk, de kans om te registreren voor een nieuwe website met extra informatie over de gezondheid. Wanneer iemand aangemeld voor deze nieuwe website, al haar gezondheid vrienden ontvangen een e-mail de aankondiging van dit gedrag. Centola vond dat dit gedrag ondertekening-up voor de nieuwe website te verspreiden verder en sneller in de geclusterde netwerk dan de random-netwerk, een bevinding dat in tegenstelling tot een aantal bestaande theorieën was.

Over het algemeen, het bouwen van je eigen experiment geeft je veel meer controle; Het stelt u in staat om de best mogelijke omgeving te isoleren wat je wilt studeren construeren. Het is moeilijk voor te stellen hoe een van deze experimenten had kunnen worden uitgevoerd in een reeds bestaande omgeving. Verder, het bouwen van je eigen systeem vermindert ethische bezwaren rond het experimenteren in bestaande systemen. Wanneer u uw eigen experiment op te bouwen, maar loop je in veel van de problemen die worden aangetroffen in het lab experimenten: het werven van deelnemers en zorgen over realisme. Een laatste nadeel is dat het bouwen van uw eigen experiment kostbaar en tijdrovend kan zijn, hoewel zoals deze voorbeelden tonen de experimenten kan variëren van relatief eenvoudige omgevingen (zoals de studie van stemming bij Huber, Hill, and Lenz (2012) ) om relatief complexe omgevingen (bijvoorbeeld de studie van netwerken en besmetting door Centola (2010) ).