4.5.1.2 Bygg din egen eksperiment

Bygg din egen eksperiment kan være kostbart, men det vil gjøre deg i stand til å opprette eksperimentet som du ønsker.

I tillegg til overliggende eksperimenter på toppen av eksisterende miljøer, kan du også bygge din egen eksperiment. Den største fordelen med denne tilnærmingen er kontroll; hvis du bygger eksperimentet, kan du opprette miljøet og behandlinger som du ønsker. Disse skreddersydde eksperimentelle miljøer kan skape muligheter til å teste teorier som er umulig å teste i naturlig forekommende miljøer. De viktigste ulempene med å bygge din egen eksperiment er at det kan være dyrt, og at det miljøet som du er i stand til å skape kanskje ikke realismen i et naturlig forekommende system. Forskere bygge sitt eget eksperiment også må ha en strategi for å rekruttere deltakere. Når du arbeider i eksisterende systemer, er forskerne i hovedsak å bringe forsøkene til sine deltakere. Men når forskerne bygge sitt eget eksperiment, må de bringe deltakerne til den. Heldigvis kan tjenester som Amazon Mechanical Turk (MTurk) gir forskerne en praktisk måte å få deltakerne til sine eksperimenter.

Et eksempel som illustrerer dydene av skreddersydde miljøer for testing abstrakte teoriene er den digitale lab eksperiment av Gregory Huber, Seth Hill og Gabriel Lenz (2012) . Eksperimentet utforsker en mulig praktisk begrensning for funksjonen til demokratisk styresett. Tidligere ikke-eksperimentelle studier av selve valget tyder på at velgerne ikke er i stand til å vurdere resultatene av sittende politikere nøyaktig. Spesielt velgere ser ut til å lide av tre skjevheter: 1) fokusert på ny i stedet for kumulative resultat; 2) manipulerbare av retorikk, innramming, og markedsføring; og 3) påvirket av hendelser som ikke er relatert til påhviler ytelse, for eksempel suksessen til lokale idrettslag og været. I disse tidligere studier, men det var vanskelig å isolere noen av disse faktorene fra alle andre ting som skjer i reelle, rotete valg. Derfor Huber og kolleger opprettet en meget forenklet avstemning miljø for å isolere, og deretter eksperimentelt studere, hver av disse tre mulige skjevheter.

Som jeg beskriver det eksperimentelle oppsettet nedenfor det kommer til å høres veldig kunstig, men husk at realisme er ikke et mål i lab-stil eksperimenter. Snarere er målet å tydelig isolere prosessen som du prøver å studere, og dette stramt isolasjon er ofte ikke mulig i studier med mer realisme (Falk and Heckman 2009) . Videre, i dette tilfellet, hevdet forskerne at hvis velgerne ikke effektivt kan evaluere resultatene i denne svært forenklet innstilling, og de kommer ikke til å være i stand til å gjøre det på en mer realistisk, mer komplekse omgivelser.

Huber og kolleger brukte Amazon Mechanical Turk (MTurk) for å rekruttere deltakere. Når en deltaker gitt informert samtykke og bestått en kort test, ble hun fortalt at hun deltok i en 32 runde spillet for å tjene tokens som kan konverteres til ekte penger. I begynnelsen av spillet, ble hver deltaker fortalte at hun hadde blitt tildelt en "måleren" som ville gi henne gratis tokens hver runde og at noen allocators var mer sjenerøs enn andre. Videre hver deltaker ble også fortalt at hun ville ha en sjanse til å enten holde henne måleren eller tildeles en ny en etter 16 runder av spillet. Gitt hva du vet om Huber og kollegers forskning mål, kan du se at måleren representerer en regjering, og dette valget representerer et valg, men deltakerne var ikke klar over de generelle målene for forskningen. Totalt Huber og kolleger rekruttert ca 4000 deltakere som ble betalt ca $ 1.25 for en oppgave som tok ca 8 minutter.

Husker at en av funnene fra tidligere forskning var at velgerne belønning og straffe monopolistene for utfall som er klart utenfor deres kontroll, som for eksempel suksessen til lokale idrettslag og været. For å vurdere om deltakerne stemmegivning kan bli påvirket av rent tilfeldige hendelser i sin innstilling, Huber og kolleger lagt et lotteri til deres eksperimentelle system. På enten 8. runde eller 16. runde (dvs. rett før sjansen til å erstatte måleren) Deltakerne ble tilfeldig plassert i et lotteri der noen vant 5000 poeng, noe vunnet 0 poeng, og noen mistet 5000 poeng. Dette lotteriet var ment å etterligne gode eller dårlige nyheter som er uavhengig av ytelsen til politikeren. Selv om deltakerne ble eksplisitt fortalt at lotteriet var relatert til resultatene av deres tildeler, utfallet av lotteriet fortsatt påvirket deltakernes beslutninger. Deltakere som dro nytte av lotteriet var mer sannsynlig å holde måleren, og denne effekten var sterkere når lotteriet skjedde i runde 16-rett før utskifting beslutnings enn når det skjedde i runde 8 (figur 4.14). Disse resultatene, sammen med resultatene av flere andre eksperimenter i papir, ledet Huber og kolleger til å konkludere med at selv i en forenklet innstilling, velgerne har problemer med å gjøre kloke beslutninger, et resultat som påvirket fremtidig forskning om velgernes beslutningsprosesser (Healy and Malhotra 2013) . Eksperimentet av Huber og kolleger viser at MTurk kan brukes til å rekruttere deltakere til lab-stil eksperimenter for å nettopp teste svært spesifikke teorier. Den viser også verdien av å bygge din egen eksperimentelle miljøet: det er vanskelig å forestille seg hvordan de samme prosessene kunne vært isolert så rent i noen annen setting.

Figur 4.14: Resultater fra Huber, Hill, and Lenz (2012) . Deltakere som dro nytte av lotteriet var mer sannsynlig å beholde sin tildeler, og denne effekten var sterkere når lotteriet skjedde i runde 16-rett før utskifting beslutnings enn når det skjedde i runde 8.

I tillegg til å bygge lab-lignende eksperimenter, kan forskerne også bygge eksperimenter som er mer felt-aktig. For eksempel, Centola (2010) bygget en digital feltforsøk for å studere effekten av sosiale nettverksstruktur på spredningen av virkemåten. Hans forskning spørsmålet krevde ham for å observere samme atferd sprer seg i populasjoner som hadde ulike sosiale nettverksstrukturer, men var ellers utvisket. Den eneste måten å gjøre dette på var med en skreddersydd, spesialbygd eksperiment. I dette tilfellet, Centola bygget en web-basert helse samfunnet.

Centola rekruttert ca 1500 deltakere med reklame på helse nettsteder. Når deltakerne kom på online community-som ble kalt sunn livsstil Network-de ga informert samtykke og deretter ble tildelt "helse buddies." På grunn av måten Centola tildelt disse helse kamerater han var i stand til å strikke sammen ulike sosiale nettverksstrukturer i forskjellige grupper. Noen grupper ble bygget for å ha tilfeldige nettverk (hvor alle var like sannsynlig å være tilkoblet) og andre grupper ble bygget for å ha gruppert nettverk (hvor tilkoblingene er mer lokalt tett). Deretter Centola introdusert en ny atferd i hvert nettverk, er sjansen for å registrere et nytt nettsted med ekstra helseopplysninger. Når noen er registrert for denne nye nettsiden, fikk alle hennes helse kompiser en epost annonsere denne atferden. Centola funnet ut at denne oppførselen-signering opp for den nye nettsiden-spredt videre og raskere i klyngenettverket enn tilfeldig nettverk, et funn som var i strid med noen eksisterende teorier.

Totalt sett, bygge din egen eksperiment gir deg mye mer kontroll; det gjør det mulig å konstruere et best mulig miljø for å isolere hva du ønsker å studere. Det er vanskelig å forestille seg hvordan noen av disse forsøkene kunne vært utført i en allerede eksisterende miljø. Videre bygge ditt eget system reduserer etiske hensyn rundt eksperimentere i eksisterende systemer. Når du bygger din egen eksperiment, men kjører du inn i mange av de problemene som er oppstått i laboratorieeksperimenter: rekruttere deltakere og bekymringer om realisme. En endelig ulempen er at å bygge ditt eget eksperiment kan være kostbart og tidkrevende, men som disse eksemplene viser, kan forsøkene varierer fra relativt enkle omgivelser (for eksempel studiet av stemmegivning ved Huber, Hill, and Lenz (2012) ) til relativt komplekse omgivelser (for eksempel studier av nettverk og smitte av Centola (2010) ).