4.5.2 Bygg ditt eget eksperiment

Bygg din egen eksperiment kan være kostbart, men det vil gjøre deg i stand til å opprette eksperimentet som du ønsker.

I tillegg til å overlappe eksperimenter utover eksisterende miljøer, kan du også bygge ditt eget eksperiment. Hovedfordelen ved denne tilnærmingen er kontroll; Hvis du bygger eksperimentet, kan du opprette miljøet og behandlingene du vil ha. Disse skreddersydd eksperimentelle miljøene kan skape muligheter til å teste teorier som er umulige å teste i naturlig forekommende miljøer. De største ulempene med å bygge ditt eget eksperiment er at det kan være dyrt og at miljøet du kan skape, kanskje ikke har realismen til et naturlig forekommende system. Forskere som bygger eget eksperiment, må også ha en strategi for rekruttering av deltakere. Når de arbeider i eksisterende systemer, er forskerne i hovedsak å bringe eksperimentene til deltakerne. Men når forskere bygger sitt eget eksperiment, må de bringe deltakerne til det. Heldigvis kan tjenester som Amazon Mechanical Turk (MTurk) gi forskere en praktisk måte å bringe deltakere til sine eksperimenter.

Et eksempel som illustrerer dydene til skreddersydd miljø for å teste abstrakte teorier, er det digitale laboratorieeksperimentet av Gregory Huber, Seth Hill og Gabriel Lenz (2012) . Dette forsøket utforsker en mulig praktisk begrensning for demokratisk styring. Tidligere ikke-eksperimentelle studier av faktiske valg foreslo at valgtakere ikke er i stand til å nøye vurdere prestasjonen til de etablerte politikerne. Spesielt synes velgerne å lide av tre forstyrrelser: (1) de er fokusert på nylige snarere enn kumulative resultater; (2) de kan manipuleres ved retorikk, innramming og markedsføring; og (3) de kan bli påvirket av hendelser som ikke er relatert til den etablerte ytelsen, som for eksempel suksess for lokale idrettslag og været. I disse tidligere studiene var det imidlertid vanskelig å isolere noen av disse faktorene fra alle de andre tingene som skjer i ekte, rotete valg. Derfor skapte Huber og kollegaer et svært forenklet stemningsmiljø for å isolere, og deretter eksperimentelt studere, hver av disse tre mulige forutsetningene.

Som jeg beskriver den eksperimentelle oppsettet nedenfor, kommer det til å høres veldig kunstig, men husk at realisme ikke er et mål i lab-stil eksperimenter. Snarere er målet å tydelig isolere prosessen du prøver å studere, og denne stramme isolasjonen er noen ganger ikke mulig i studier med mer realisme (Falk and Heckman 2009) . Videre argumenterte forskerne at hvis velgerne ikke effektivt kan vurdere ytelsen i denne svært forenklede innstillingen, vil de ikke kunne gjøre det i en mer realistisk og mer kompleks innstilling.

Huber og kolleger brukte MTurk til å rekruttere deltakere. Når en deltaker ga informert samtykke og bestok en kort test, ble hun fortalt at hun deltok i et 32-runde spill for å tjene tokens som kunne konverteres til ekte penger. I starten av spillet ble hver deltaker fortalt at hun hadde blitt tildelt en "tildeler" som ville gi henne gratis tokens hver runde og at noen tildelere var mer sjenerøse enn andre. Videre ble hver deltaker også fortalt at hun ville ha en sjanse til å holde henne tildeler eller bli tildelt en ny etter 16 runder av spillet. Gitt hva du vet om Huber og kollegaers forskningsmål, kan du se at tildeleren representerer en regjering, og dette valget representerer et valg, men deltakerne var ikke klar over de generelle målene for forskningen. Samlet rekrutterte Huber og kolleger om lag 4000 deltakere som ble betalt om $ 1,25 for en oppgave som tok omtrent åtte minutter.

Husk at en av funnene fra tidligere forskning var at velgere belønner og straffer oppdragsgivere for utfall som er klart utenfor deres kontroll, for eksempel suksess for lokale idrettslag og været. For å vurdere om deltakerne stemmerettbeslutninger kan påvirkes av rent tilfeldige hendelser i deres innstilling, tilføyer Huber og kollegaer et lotteri til deres eksperimentelle system. På enten 8. runde eller 16. runde (dvs. rett før muligheten til å erstatte allokeren) ble deltakerne tilfeldig plassert i et lotteri hvor noen vant 5000 poeng, noen vant 0 poeng, og noen tapte 5000 poeng. Dette lotteriet var ment å etterligne gode eller dårlige nyheter som er uavhengig av politikerens ytelse. Selv om deltakerne var eksplisitt fortalt at lotteriet ikke var relatert til ytelsen til deres tildeler, påvirket resultatet av lotteriet fortsatt deltakernes beslutninger. Deltakere som fikk fordel av lotteriet var mer sannsynlig å beholde sin tildeler, og denne effekten var sterkere da lotteriet skjedde i runde 16 - rett før erstatningsbeslutningen - enn når det skjedde i runde 8 (figur 4.15). Disse resultatene, sammen med flere andre eksperimenter i papiret, førte til at Huber og kolleger konkluderte med at selv i en forenklet setting har velgerne vanskeligheter med å gjøre klare beslutninger, et resultat som påvirket fremtidig forskning om valgbeslutninger (Healy and Malhotra 2013) . Eksperimentet fra Huber og kollegaer viser at MTurk kan brukes til å rekruttere deltakere i laboratoriestileksperimenter for å presisere nøyaktig bestemte teorier. Det viser også verdien av å bygge ditt eget eksperimentelle miljø: det er vanskelig å forestille seg hvordan disse samme prosessene kunne ha blitt isolert så rent i en hvilken som helst annen setting.

Figur 4.15: Resultat fra Huber, Hill, and Lenz (2012) . Deltakere som hadde hatt glede av lotteriet var mer sannsynlig å beholde sin tildeler, og denne effekten var sterkere da lotteriet skjedde i runde 16 - rett før erstatningsbeslutningen - enn når det skjedde i runde 8. Tilpasset fra Huber, Hill, and Lenz (2012) , figur 5.

I tillegg til å bygge lab-lignende eksperimenter, kan forskere også bygge eksperimenter som er mer feltlignende. For eksempel bygget Centola (2010) et digitalt felteksperiment for å studere effekten av sosiale nettverk struktur på spredningen av atferd. Hans undersøkelsesspørsmål krevde ham å observere den samme oppførselen som spredte seg i populasjoner som hadde forskjellige sosiale nettverkskonstruksjoner, men som ellers kunne ikke skelnes. Den eneste måten å gjøre dette på var med et skreddersydd, spesialbygd eksperiment. I dette tilfellet bygget Centola et nettbasert helsefellesskap.

Centola rekrutterte rundt 1500 deltagere gjennom annonsering på helsepersonell. Da deltakerne kom til nettsamfunnet, som ble kalt Healthy Lifestyle Network, ga de informert samtykke og ble deretter tildelt "helsekamper". På grunn av måten Centola tildelte disse helsekamrene, var han i stand til å knytte sammen ulike sosiale nettverkskonstruksjoner i forskjellige grupper. Noen grupper ble bygget for å ha tilfeldige nettverk (hvor alle var like stor tilkobling), mens andre grupper ble bygd for å ha klynget nettverk (hvor forbindelser er mer lokalt tette). Deretter introduserte Centola en ny oppførsel til hvert nettverk: muligheten til å registrere seg for et nytt nettsted med tilleggsinformasjon om helse. Når noen registrerte seg for denne nye nettsiden, mottok alle hennes helsekompisanter en epost som annonserte denne oppførselen. Centola oppdaget at denne oppførelsen - registrerer seg for den nye nettsiden - spredes ytterligere og raskere i det klyngede nettverket enn i det tilfeldige nettverket, et funn som var i strid med noen eksisterende teorier.

Samlet sett gir ditt eget eksperiment mye mer kontroll, det gjør det mulig å konstruere det beste miljøet for å isolere det du ønsker å studere. Det er vanskelig å forestille seg hvordan de to eksperimentene jeg nettopp har beskrevet kunne ha blitt utført i et allerede eksisterende miljø. Videre, å bygge ditt eget system reduserer etiske bekymringer rundt eksperimentering i eksisterende systemer. Når du bygger ditt eget eksperiment, kommer du imidlertid inn i mange av problemene som oppstår i laboratorieeksperimenter: rekruttere deltakere og bekymringer om realisme. En siste ulempe er at bygging av ditt eget eksperiment kan være kostbart og tidkrevende, selv om, som disse eksemplene viser, kan eksperimentene variere fra relativt enkle miljøer (som for eksempel studien av stemmer av Huber, Hill, and Lenz (2012) ). til relativt komplekse miljøer (for eksempel undersøkelsen av nettverk og smitte av Centola (2010) ).