4.4.3 Mekanismer

Experiment mäta vad som hände. Mekanismer förklara varför och hur det hände.

Den tredje nyckelideen för att gå utöver enkla experiment är mekanismer . Mekanismer berättar för oss varför eller hur en behandling orsakade en effekt. Processen att söka efter mekanismer kallas också ibland efter intervenerande variabler eller medierande variabler . Även om experiment är bra för att uppskatta orsakseffekter, är de ofta inte konstruerade för att avslöja mekanismer. Digitala experiment kan hjälpa oss att identifiera mekanismer på två sätt: (1) de gör det möjligt för oss att samla in mer processdata och (2) de gör det möjligt för oss att testa många relaterade behandlingar.

Eftersom mekanismer är knepiga att definiera formellt (Hedström and Ylikoski 2010) , börjar jag med ett enkelt exempel: limes och skörbjugg (Gerber and Green 2012) . På artonhundratalet hade läkare en ganska bra känsla att när sjömän åt limes, fick de inte skörbjul. Scurvy är en hemsk sjukdom, så detta var kraftfull information. Men dessa läkare visste inte varför kalkar hindrade skörbjälk. Det var inte förrän 1932, nästan 200 år senare, att forskare på ett tillförlitligt sätt kunde visa att C-vitamin var orsaken till att kalk hindrade skörbjul (Carpenter 1988, 191) . I detta fall är C-vitamin den mekanism genom vilken limer förhindrar skörbjugg (figur 4.10). Naturligtvis är identifieringen av mekanismen också väldigt viktig vetenskapligt - massor av vetenskap handlar om att förstå varför saker händer. Identifierande mekanismer är också väldigt viktiga praktiskt. När vi förstår varför en behandling fungerar kan vi potentiellt utveckla nya behandlingar som fungerar ännu bättre.

Figur 4.10: Limer förhindrar skørbuk och mekanismen är vitamin C.

Tyvärr är isoleringsmekanismer mycket svåra. Till skillnad från limes och skörbjugg, i många sociala inställningar, fungerar behandlingar förmodligen genom många interrelated pathways. Men när det gäller sociala normer och energianvändning har forskare försökt isolera mekanismer genom att samla processdata och testrelaterade behandlingar.

Ett sätt att testa möjliga mekanismer är att samla processdata om hur behandlingen påverkat möjliga mekanismer. Till exempel, erinra om att Allcott (2011) visade att Home Energy Reports fick människor att sänka sin elanvändning. Men hur har dessa rapporter sänkt elanvändningen? Vad var mekanismerna? I en uppföljningsstudie Allcott and Rogers (2014) med ett kraftföretag som genom ett rabattprogram hade fått information om vilka konsumenter som uppgraderade sina apparater till mer energieffektiva modeller. Allcott and Rogers (2014) fann att lite fler personer som mottog Home Energy Reports uppgraderade sina apparater. Men denna skillnad var så liten att den kunde ta hänsyn till endast 2% av minskningen av energianvändningen i de behandlade hushållen. Med andra ord var uppgraderingar av apparater inte den dominerande mekanismen genom vilken hushållsrapporten minskade elförbrukningen.

Ett annat sätt att studera mekanismer är att köra experiment med lite olika versioner av behandlingen. I experimentet av Schultz et al. (2007) och alla de efterföljande experimenten om hemmetergi rapport deltog deltagarna i en behandling som hade två huvuddelar (1) tips om energibesparingar och (2) information om deras energianvändning i förhållande till deras kamrater (figur 4.6). Det är sålunda möjligt att de energibesparande tipsen var vad som orsakade förändringen, inte peerinformationen. För att bedöma möjligheten att tipsen ensamma kunde ha varit tillräckliga, samarbetade Ferraro, Miranda, and Price (2011) med ett vattenföretag nära Atlanta, Georgien, och drev ett relaterat experiment om vattenskydd med omkring 100 000 hushåll. Det fanns fyra villkor:

• en grupp som fick tips om att spara vatten
• en grupp som fick tips om att spara vatten plus en moralisk överklagande för att spara vatten
• en grupp som fick tips om att spara vatten plus en moralisk överklagande för att spara vatten plus information om deras vattenanvändning i förhållande till sina kamrater
• en kontrollgrupp

Forskarna fann att behandlingen med tips-behandling inte hade någon effekt på vattenanvändningen på kort (ett år), medellång (två år) och lång (tre år). Tipsen plus överklagande behandling orsakade deltagarna att minska vattenanvändningen, men bara på kort sikt. Slutligen orsakade tipsen plus överklagande plus ömsesidigt informationsbehandling en minskad användning på kort, medellång och lång sikt (figur 4.11). Dessa typer av experiment med obehandlade behandlingar är ett bra sätt att ta reda på vilken del av behandlingen eller vilka delar som är tillsammans - de som orsakar effekten (Gerber and Green 2012, sec. 10.6) . Experimentet från Ferraro och kollegor visar till exempel att vattenbesparande tips inte ens räcker för att minska vattenanvändningen.

Figur 4.11: Resultat från Ferraro, Miranda, and Price (2011) . Behandlingar skickades 21 maj 2007 och effekterna mättes under somrarna 2007, 2008 och 2009. Genom att åtskilja behandlingen, hoppade forskarna att utveckla en bättre känsla av mekanismerna. Behandlingstipset hade i huvudsak ingen effekt på korta (ett år), medellånga (två år) och långa (tre år) sikt. Tipsen plus överklagandebehandling orsakade deltagarna att minska vattenanvändningen, men bara på kort sikt. Rådgivning plus överklagande plus ömsesidig information behandlar deltagarna att minska vattenanvändningen på kort, medellång och lång sikt. Vertikala staplar uppskattas konfidensintervaller. Se Bernedo, Ferraro, and Price (2014) för aktuella läromedel. Anpassad från Ferraro, Miranda, and Price (2011) , tabell 1.

Idealt sett skulle man gå längre än komponentlagring (tips, tips och överklagande, tips och överklagande plus peer-information) till en fullständig faktoriell design - även ibland kallad en \(2^k\) faktoriell design där varje möjlig kombination av tre element testas (tabell 4.1). Genom att testa alla möjliga kombinationer av komponenter kan forskare utvärdera effekten av varje komponent fullständigt i isolation och i kombination. Experimentet från Ferraro och kollegor avslöjar till exempel inte om jämlikhetssammanställning ensam skulle ha varit tillräcklig för att leda till långsiktiga förändringar i beteende. Tidigare har dessa fullständiga factorialdesigner varit svåra att springa eftersom de kräver ett stort antal deltagare och de kräver att forskare ska kunna exakt styra och leverera ett stort antal behandlingar. Men i vissa situationer avlägsnar den digitala tiden dessa logistiska begränsningar.

Sammanfattningsvis är mekanismer - de vägar genom vilka en behandling har en effekt - oerhört viktigt. Digitala åldersexperiment kan hjälpa forskare att lära sig mekanismer genom att (1) samla processdata och (2) möjliggöra fullständiga factorialdesigner. De mekanismer som föreslagits av dessa metoder kan sedan testas direkt av experiment som är speciellt konstruerade för testmekanismer (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

Sammantaget ger dessa tre begrepps-validitet, heterogenitet av behandlingseffekter och mekanismer-en kraftfull uppsättning ideer för att designa och tolka experiment. Dessa begrepp hjälper forskare att gå utöver enkla experiment om vad som "fungerar" till rikare experiment som har hårdare länkar till teorin, som avslöjar var och varför behandlingar fungerar, och det kan till och med hjälpa forskare att designa effektivare behandlingar. Med tanke på den här konceptuella bakgrunden kring experiment, ska jag nu vända mig till hur du faktiskt kan göra dina experiment hända.