4.4.3 mekanismer

Eksperimenter måle, hvad der skete. Mekanismer forklare, hvorfor og hvordan det skete.

Den tredje nøgleide for at gå ud over enkle eksperimenter er mekanismer . Mekanismer fortæller os hvorfor eller hvordan en behandling forårsagede en effekt. Processen med at søge efter mekanismer kaldes også nogle gange efter intervenerende variabler eller formidlende variabler . Selv om eksperimenter er gode til at estimere årsagseffekter, er de ofte ikke designet til at afsløre mekanismer. Digitale eksperimenter kan hjælpe os med at identificere mekanismer på to måder: (1) de gør det muligt for os at indsamle flere procesdata og (2) de gør det muligt for os at teste mange relaterede behandlinger.

Fordi mekanismer er vanskelige at definere formelt (Hedström and Ylikoski 2010) , vil jeg begynde med et simpelt eksempel: limes og skørbug (Gerber and Green 2012) . I det attende århundrede havde læger en ret god fornemmelse, at når sejlere spiste limer, fik de ikke skørbugt. Scurvy er en forfærdelig sygdom, så det var kraftigt information. Men disse læger vidste ikke, hvorfor limes forhindrede skørbugt. Det var først i 1932, næsten 200 år senere, at forskere pålideligt kunne vise, at C-vitamin var årsagen til, at lime forhindrede skørbugt (Carpenter 1988, 191) . I dette tilfælde er C-vitamin den mekanisme, hvorigennem limes forhindrer skørbuk (figur 4.10). Selvfølgelig er identificeringen af ​​mekanismen også meget vigtig videnskabeligt - masser af videnskab handler om at forstå, hvorfor tingene sker. Identificerende mekanismer er også meget vigtige. Når vi forstår, hvorfor en behandling virker, kan vi potentielt udvikle nye behandlinger, der virker endnu bedre.

Figur 4.10: Limer forhindrer skørbuk og mekanismen er vitamin C.

Desværre er isoleringsmekanismer meget vanskelige. I modsætning til limer og skørbugt, i mange sociale indstillinger, fungerer behandlinger sandsynligvis gennem mange indbyrdes forbundne veje. Men i tilfælde af sociale normer og energiforbrug har forskere forsøgt at isolere mekanismer ved at indsamle procesdata og testrelaterede behandlinger.

En måde at teste mulige mekanismer på er at indsamle procesdata om, hvordan behandlingen påvirker mulige mekanismer. Allcott (2011) f.eks., At Allcott (2011) viste, at Home Energy Reports fik folk til at sænke deres elforbrug. Men hvordan reducerede disse rapporter elforbruget? Hvad var mekanismerne? I en opfølgningsundersøgelse samarbejdede Allcott and Rogers (2014) med et energiselskab, der gennem et Allcott and Rogers (2014) havde erhvervet information om, hvilke forbrugere opgraderede deres apparater til mere energieffektive modeller. Allcott and Rogers (2014) fandt ud af, at lidt flere mennesker, der modtog Home Energy Reports, opgraderede deres apparater. Men denne forskel var så lille, at den kun kunne tegne sig for kun 2% af faldet i energiforbruget i de behandlede husstande. Med andre ord var opgraderinger af apparater ikke den dominerende mekanisme, hvorigennem Home Energy Report reducerede elforbruget.

En anden måde at studere mekanismer på er at køre forsøg med lidt forskellige versioner af behandlingen. I eksperimentet af Schultz et al. (2007) og alle de efterfølgende Home Energy Report eksperimenter blev deltagerne behandlet med to hoveddele (1) tips om energibesparelser og (2) oplysninger om deres energiforbrug i forhold til deres jævnaldrende (figur 4.6). Det er således muligt, at energibesparende tips var, hvad der forårsagede forandringen, ikke peerinformationen. For at vurdere muligheden for at tipsene alene kunne have været tilstrækkelige, samarbejdede Ferraro, Miranda, and Price (2011) med et vandselskab i nærheden af ​​Atlanta, Georgien, og løb et relateret forsøg på vandbevarelse, der involverede omkring 100.000 husstande. Der var fire betingelser:

• en gruppe, der fik tips om at spare vand
• en gruppe, der fik tips om at spare vand plus en moralsk appel til at spare vand
• en gruppe, der fik tips om at spare vand plus en moralsk appel til at spare vand plus oplysninger om deres vandforbrug i forhold til deres jævnaldrende
• en kontrolgruppe

Forskerne fandt, at den eneste behandling kun havde en effekt på vandforbruget på kort (et år), mellemlangt (to år) og langt (tre år). Tipene plus appelbehandling gav deltagere mulighed for at reducere vandforbruget, men kun på kort sigt. Endelig forårsagede tip plus appeal plus peer information behandling nedsat brug på kort, mellemlang og lang sigt (figur 4.11). Disse former for eksperimenter med ubundne behandlinger er en god måde at finde ud af, hvilken del af behandlings- eller hvilke dele der sammen er dem, der forårsager effekten (Gerber and Green 2012, sec. 10.6) . Eksempelvis viser eksperimentet fra Ferraro og kolleger os, at vandbesparende tips alene ikke er nok til at reducere vandforbruget.

Figur 4.11: Resultater fra Ferraro, Miranda, and Price (2011) . Behandlingerne blev sendt 21 maj 2007, og effekterne blev målt i løbet af sommeren 2007, 2008 og 2009. Ved at adskille behandlingen søgte forskerne at udvikle en bedre fornemmelse af mekanismerne. Tip-eneste behandling havde i det væsentlige ingen virkning på kort (et år), mellemlang (to år) og lang (tre år) periode. Tipene plus appelbehandling gav deltagere mulighed for at reducere vandforbruget, men kun på kort sigt. Rådgivning plus appel plus behandling af peer information forårsagede deltagere at reducere vandforbruget på kort, mellemlang og lang sigt. Lodrette stænger anslås konfidensintervaller. Se Bernedo, Ferraro, and Price (2014) for aktuelle studiematerialer. Tilpasset fra Ferraro, Miranda, and Price (2011) , tabel 1.

Ideelt set ville man bevæge sig ud over sammensætningen af ​​komponenter (tips, tips plus appel, tips plus appel plus peer-information) til et fuldt fakultetligt design - også nogle gange kaldet et \(2^k\) fakultetdesign - hvor hver mulig kombination af tre elementer testes (tabel 4.1). Ved at teste alle mulige kombinationer af komponenter kan forskere fuldt ud vurdere effekten af ​​hver komponent i isolation og i kombination. Eksperimentet fra Ferraro og kolleger afslører for eksempel ikke, om peer-sammenligning alene ville have været tilstrækkelig til at føre til langsigtede ændringer i adfærd. Tidligere har disse fuldfaktoriske designs været vanskelige at løbe, fordi de kræver et stort antal deltagere, og de kræver, at forskerne skal kunne kontrollere og levere et stort antal behandlinger. Men i nogle situationer fjerner den digitale tidsalder disse logistiske begrænsninger.

Sammenfattende, mekanismer - de veje, som en behandling har en virkning på - er utrolig vigtige. Digitalalder eksperimenter kan hjælpe forskere med at lære om mekanismer ved at (1) indsamle procesdata og (2) muliggøre fuldfaktorisk design. De mekanismer, der foreslås ved disse fremgangsmåder, kan derefter testes direkte af eksperimenter, der er specifikt designet til (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

Samlet set giver disse tre begreber-validitet, heterogenitet af behandlingseffekter og mekanismer et stærkt sæt ideer til udformning og tolkning af eksperimenter. Disse begreber hjælper forskere med at gå ud over enkle eksperimenter om, hvad der virker til rigere eksperimenter, der har tættere forbindelser til teori, der afslører, hvor og hvorfor behandlinger virker, og det kan endda hjælpe forskere med at designe mere effektive behandlinger. På baggrund af denne konceptuelle baggrund for eksperimenter vil jeg nu henvende mig til, hvordan du rent faktisk kan få dine eksperimenter til at ske.