4.4.3 Mekanismer

Eksperimenter måle hva som skjedde. Mekanismer forklare hvorfor og hvordan det skjedde.

Den tredje hovedideen for å bevege seg utover enkle eksperimenter er mekanismer . Mekanismer forteller oss hvorfor eller hvordan en behandling forårsaket en effekt. Prosessen med å søke etter mekanismer kalles også noen ganger for å finne mellomliggende variabler eller formidlingsvariabler . Selv om eksperimenter er gode for å estimere årsakseffekter, er de ofte ikke konstruert for å avsløre mekanismer. Digitale eksperimenter kan hjelpe oss med å identifisere mekanismer på to måter: (1) de gjør det mulig for oss å samle inn flere prosessdata og (2) de gjør det mulig å teste mange relaterte behandlinger.

Fordi mekanismer er vanskelige å definere formelt (Hedström and Ylikoski 2010) , skal jeg begynne med et enkelt eksempel: limes og skjørbuk (Gerber and Green 2012) . I det attende århundre hadde legene en ganske god følelse at når seilere spiste limer, fikk de ikke skørbuk. Skørbuk er en forferdelig sykdom, så dette var kraftig informasjon. Men disse legene visste ikke hvorfor limene forhindret skjørbuk. Det var ikke før 1932, nesten 200 år senere, at forskere på en pålitelig måte kunne vise at vitamin C var årsaken til at kalk hindret skjørbuk (Carpenter 1988, 191) . I dette tilfellet er vitamin C mekanismen gjennom hvilken limene forhindrer skjørbukning (figur 4.10). Selvfølgelig er å identifisere mekanismen også veldig viktig vitenskapelig - mye vitenskap handler om å forstå hvorfor ting skjer. Identifiseringsmekanismer er også svært viktige praktisk. Når vi forstår hvorfor en behandling virker, kan vi potensielt utvikle nye behandlinger som fungerer enda bedre.

Figur 4.10: Limene forhindrer skjørbuk og mekanismen er vitamin C.

Dessverre er isolasjonsmekanismer veldig vanskelig. I motsetning til limes og skjørbuk, i mange sosiale omgivelser, opererer behandlinger sannsynligvis gjennom mange sammenhengende veier. Men når det gjelder sosiale normer og energibruk, har forskere forsøkt å isolere mekanismer ved å samle prosessdata og testrelaterte behandlinger.

En måte å teste mulige mekanismer på er å samle prosessdata om hvordan behandlingen påvirket mulige mekanismer. For eksempel husker at Allcott (2011) viste at Home Energy Reports fikk folk til å senke strømforbruket. Men hvordan reduserte disse rapportene strømforbruket? Hva var mekanismene? I en oppfølgingsstudie samarbeidet Allcott and Rogers (2014) med et kraftselskap som gjennom et rabattprogram hadde fått informasjon om hvilke forbrukere oppgraderte sine apparater til mer energieffektive modeller. Allcott and Rogers (2014) fant at litt flere personer som mottok Home Energy Reports, oppgraderte sine apparater. Men denne forskjellen var så liten at den kun kunne tegne seg for bare 2% av nedgangen i energibruk i de behandlede husholdninger. Med andre ord, oppgraderinger av apparater var ikke den dominerende mekanismen gjennom hvilken hjemmene energirapporten reduserte strømforbruket.

En annen måte å studere mekanismer på er å drive eksperimenter med litt forskjellige versjoner av behandlingen. For eksempel, i forsøket av Schultz et al. (2007) og alle de påfølgende eksperimentene for hjemmegruppe, deltok deltakerne i en behandling som hadde to hoveddeler (1) tips om energibesparelser og (2) informasjon om deres energiforbruk i forhold til sine jevnaldrende (figur 4.6). Det er således mulig at energibesparende tips var det som forårsaket endringen, ikke peerinformasjonen. For å vurdere muligheten for at tipsene alene kunne ha vært tilstrekkelig, samarbeidet Ferraro, Miranda, and Price (2011) med et vannforetak i nærheten av Atlanta, Georgia, og drev et relatert forsøk på vannkonservering som involverte rundt 100.000 husholdninger. Det var fire forhold:

• en gruppe som fikk tips om å spare vann
• en gruppe som fikk tips om å spare vann pluss en moralsk appell for å spare vann
• en gruppe som fikk tips om å spare vann pluss en moralsk appell for å spare vann pluss informasjon om deres vannbruk i forhold til sine jevnaldrende
• en kontrollgruppe

Forskerne fant at den eneste behandlingen ikke hadde noen effekt på vannforbruket på kort (ett år), mellomlangt (to år) og langt (tre år). Tipsen og appellbehandling bidro til at deltakerne reduserte vannforbruket, men kun på kort sikt. Til slutt forårsaket tipsene plus tiltalning og økt informasjonsbehandling redusert bruk på kort, mellomlang og lang sikt (figur 4.11). Disse typer eksperimenter med ubundne behandlinger er en god måte å finne ut hvilken del av behandlings- eller hvilke deler som er sammen - de som forårsaker effekten (Gerber and Green 2012, sec. 10.6) . For eksempel viser eksperimentet fra Ferraro og kollegaer oss at vannsparingstips alene ikke er nok til å redusere vannforbruket.

Figur 4.11: Resultat fra Ferraro, Miranda, and Price (2011) . Behandlingene ble sendt 21. mai 2007, og effektene ble målt i løpet av sommeren 2007, 2008 og 2009. Ved å frigjøre behandlingen håpet forskerne å utvikle en bedre følelse av mekanismene. Tips-only behandling hadde i hovedsak ingen effekt på kort (ett år), mellomlang (to år) og lang (tre år) periode. Tipsen og appellbehandling bidro til at deltakerne reduserte vannforbruket, men bare på kort sikt. Rådgivning pluss appell pluss peer informasjon behandling forårsaket deltakerne å redusere vannforbruket på kort, mellomlang og lang sikt. Vertikale stenger er estimerte konfidensintervaller. Se Bernedo, Ferraro, and Price (2014) for faktiske studiemateriell. Tilpasset fra Ferraro, Miranda, and Price (2011) , tabell 1.

Ideelt sett ville man bevege seg utover lagdelingen av komponenter (tips, tips og appell, tips og appell samt peer-informasjon) til et fullstendig faktoriell design - også noen ganger kalt et \(2^k\) faktorialdesign - hvor hver mulig kombinasjon av tre elementer er testet (tabell 4.1). Ved å teste alle mulige kombinasjoner av komponenter, kan forskere fullt ut vurdere effekten av hver komponent isolert og i kombinasjon. Eksempelvis avslører ikke eksperimentet fra Ferraro og kollegaer om peer-sammenligning alene ville ha vært tilstrekkelig til å føre til langsiktige endringer i atferd. Tidligere har disse fakultetene vært vanskelige å kjøre fordi de krever et stort antall deltakere, og de krever at forskerne skal kunne kontrollere og levere et stort antall behandlinger. Men i noen situasjoner fjerner den digitale tidsalderen disse logistiske begrensningene.

Sammendrag, mekanismer - de veier gjennom hvilke en behandling har en effekt - er utrolig viktig. Digitale alderseksperimenter kan hjelpe forskere å lære om mekanismer ved å (1) samle prosessdata og (2) muliggjøre fullfaktorisk design. Mekanismene som foreslås av disse tilnærmingene kan da testes direkte av eksperimenter som er spesielt utviklet for å teste mekanismer (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

Samlet gir disse tre konseptene-validitet, heterogenitet av behandlingseffekter og mekanismer et kraftig sett med ideer for å designe og tolke eksperimenter. Disse konseptene hjelper forskere til å gå utover enkle eksperimenter om hva som virker til rikere eksperimenter som har strammere lenker til teori, som avslører hvor og hvorfor behandlinger fungerer, og det kan til og med hjelpe forskere til å utforme mer effektive behandlinger. Gitt denne konseptuelle bakgrunnen om eksperimenter, vil jeg nå vise til hvordan du faktisk kan få eksperimentene dine til å skje.