4.5.1.2 Bygg ditt eget experiment

Bygga ditt eget experiment kan vara kostsamt, men det gör att du kan skapa experimentet som du vill.

Förutom att liggande experiment ovanpå befintliga miljöer, kan du också bygga din egen experiment. Den största fördelen med denna metod är kontroll; om du bygger experimentet kan du skapa miljön och behandlingar som du vill. Dessa skräddarsydda experimentella miljöer kan skapa möjligheter att testa teorier som är omöjliga att testa i naturligt förekommande miljöer. De huvudsakliga nackdelarna med att bygga din egen experiment är att det kan vara dyrt och att miljön som du kan skapa kanske inte har realismen i en naturligt förekommande systemet. Forskare bygger sina egna experiment också måste ha en strategi för att rekrytera deltagare. När du arbetar i befintliga system, forskare i huvudsak föra experiment för att deras deltagare. Men när forskarna bygga sina egna experiment, måste de få deltagarna att det. Lyckligtvis kan tjänster såsom Amazon Mechanical Turk (MTurk) ge forskare ett bekvämt sätt att få deltagarna att deras experiment.

Ett exempel som illustrerar fördelarna med skräddarsydda miljöer för att testa abstrakta teorier är den digitala lab experiment av Gregory Huber, Seth Hill och Gabriel Lenz (2012) . Experimentet undersöker en möjlig praktisk begränsning för en fungerande demokratiskt styre. Tidigare icke-experimentella studier av verkliga val tyder på att väljarna inte kan exakt bedöma hur etablerade politiker. I synnerhet väljare tycks lida av tre fördomar: 1) inriktad på nya stället kumulativa prestanda; 2) manipulerbar genom retorik, inramning och marknadsföring; och 3) påverkas av händelser som saknar samband med sittande prestanda, såsom framgång lokala idrottslag och väder. I dessa tidigare studier, men det var svårt att isolera någon av dessa faktorer från alla andra saker som händer i verkliga, rörig val. Därför Huber och kollegor skapade ett mycket förenklat omröstnings miljö för att isolera och sedan experimentellt studera var och en av dessa tre möjliga fördomar.

Som jag beskriver experimentuppställningen under det kommer att låta mycket artificiell, men kom ihåg att realism är inte ett mål i lab-stil experiment. Snarare är målet att tydligt isolera den process som du försöker att studera, och denna snäva isolering är ibland inte möjligt i studier med mer realism (Falk and Heckman 2009) . Vidare, i detta fall, forskarna hävdade att om väljarna inte effektivt kan utvärdera prestanda i denna mycket förenklade inställning, då de inte kommer att kunna göra det på ett mer realistiskt, mer komplex miljö.

Huber och kollegor använde Amazon Mechanical Turk (MTurk) för att rekrytera deltagare. När en deltagare förutsatt informerat samtycke och passerade ett kort test, fick hon veta att hon deltog i en 32 runda spel att tjäna polletter som kan omvandlas till riktiga pengar. I början av spelet, fick varje deltagare berättade att hon hade tilldelats en "fördelnings" som skulle ge henne fria tokens varje runda och att vissa fördelnings var mer generösa än andra. Vidare, varje deltagare fick också veta att hon skulle ha en chans att antingen behålla sin fördelnings eller tilldelas ett nytt efter 16 omgångar av spelet. Med tanke på vad du vet om Huber och kollegers forskning mål, kan du se att fördelnings representerar en regering och detta val utgör ett val, men deltagarna var inte medvetna om de allmänna målen för forskningen. Totalt Huber och kollegor rekryterade ca 4000 deltagare som betalades om $ 1,25 för en uppgift som tog ca 8 minuter.

Minns att en av resultaten från tidigare forskning var att väljarna belöning och straffa etablerade för utfall som är klart utanför deras kontroll, såsom framgång lokala idrottslag och väder. För att bedöma huruvida beslut deltagare röst kan påverkas av rent slumpmässiga händelser i deras miljö, Huber och kollegor lagt ett lotteri till deras experimentella system. Vid antingen 8: e omgången eller den 16: e omgången (dvs precis innan en chans att ersätta fördelnings) deltagarna slumpmässigt placerade i ett lotteri där några vann 5000 poäng, några vann 0 poäng, och en del förlorade 5000 poäng. Detta lotteri var avsedd att efterlikna goda eller dåliga nyheter som är oberoende av resultatet av politiker. Även om deltagarna uttryckligen sagt att lotteriet var samband med utförandet av sin fördelnings, resultatet av lotteriet fortfarande påverkade deltagarnas beslut. Deltagare som gynnats av lotteriet var mer benägna att hålla sin fördelnings, och denna effekt var starkare när lotteriet hände i omgång 16-höger innan ersättningsbeslut än när det hände i omgång 8 (figur 4.14). Dessa resultat, tillsammans med resultaten från flera andra experiment i tidningen, ledde Huber och kollegor att dra slutsatsen att även i en förenklad miljö, väljarna har svårt att fatta kloka beslut, ett resultat som påverkade framtida forskning om väljare beslutsfattande (Healy and Malhotra 2013) . Experimentet i Huber och kollegor visar att MTurk kan användas för att rekrytera deltagare för lab-stil experiment för att exakt testa mycket specifika teorier. Den visar också värdet av att bygga din egen experimentell miljö: det är svårt att föreställa sig hur dessa samma processer kunde ha isolerats så rent i någon annan inställning.

Figur 4.14: Resultat från Huber, Hill, and Lenz (2012) . Deltagare som gynnats av lotteriet var mer benägna att behålla sin fördelnings, och denna effekt var starkare när lotteriet hände i omgång 16-höger innan ersättningsbeslut än när det hände i omgång åtta.

Förutom att bygga lab-liknande experiment, kan forskarna också bygga experiment som är mer fält liknande. Till exempel, Centola (2010) byggt en digital fältexperiment för att studera effekten av nätverksstruktur social på spridningen av beteende. Hans forskningsfråga krävs honom att följa samma beteende sprider sig i populationer som hade olika sociala nätverksstrukturer men annars var oskiljbara. Det enda sättet att göra detta var med en skräddarsydd, skräddarsydd experiment. I det här fallet, byggd Centola en webbaserad hälso gemenskap.

Centola rekryterades cirka 1500 deltagare med reklam på hälso webbplatser. När deltagarna kom till community-som kallades hälsosam livsstil nätverks de förutsatt informerat samtycke och sedan tilldelades "hälso kompisar." På grund av det sätt Centola tilldelats dessa hälso kompisar han kunde sticka ihop olika sociala nätverksstrukturer i olika grupper. Vissa grupper byggdes för att ha slumpmässiga nätverk (där alla var lika sannolikt att anslutas) och andra grupper byggdes för att ha klustrade nätverk (där anslutningar är mer lokalt tät). Därefter införde Centola ett nytt beteende i varje nätverk, möjlighet att anmäla sig till en ny webbplats med ytterligare information om hälsa. När någon har registrerat för den nya webbplatsen, alla hennes hälsa kompisar fick ett mail tillkännage detta beteende. Centola fann att detta beteende signering upp för den nya hemsidan spridd längre och snabbare i klustrade nätverk än slump nätverk, ett konstaterande som var i motsats till vissa befintliga teorier.

Sammantaget bygga din egen experiment ger dig mycket mer kontroll; Det gör att du kan bygga den bästa möjliga miljö för att isolera vad du vill studera. Det är svårt att föreställa sig hur någon av dessa experiment kan ha utförts på en redan befintlig miljö. Vidare, att bygga ditt eget system minskar etiska frågor kring experimentera i befintliga system. När du bygger din egen experiment, men du stöter på många av de problem som uppstått i lab experiment: rekrytera deltagare och oro realism. En sista nackdelen är att bygga din egen experiment kan vara kostsamt och tidskrävande, men eftersom dessa exempel visar, kan experimenten allt från relativt enkla miljöer (t.ex. studier av röstning med Huber, Hill, and Lenz (2012) ) och relativt komplexa miljöer (t.ex. studier av nätverk och smitta från Centola (2010) ).