4.4.3 Mechanismen

Experimenten meten wat er is gebeurd. Mechanismen uit waarom en hoe het gebeurde.

Het derde belangrijke idee om verder te gaan dan eenvoudige experimenten zijn mechanismen . Mechanismen vertellen ons waarom of hoe een behandeling een effect heeft veroorzaakt. Het proces van het zoeken naar mechanismen wordt soms ook genoemd op zoek naar interveniërende variabelen of bemiddelende variabelen . Hoewel experimenten goed zijn voor het schatten van causale effecten, zijn ze vaak niet ontworpen om mechanismen te onthullen. Digitale experimenten kunnen ons helpen om op twee manieren mechanismen te identificeren: (1) ze stellen ons in staat om meer procesgegevens te verzamelen en (2) ze stellen ons in staat om veel gerelateerde behandelingen te testen.

Omdat mechanismen lastig zijn om formeel te definiëren (Hedström and Ylikoski 2010) , begin ik met een eenvoudig voorbeeld: limoenen en scheurbuik (Gerber and Green 2012) . In de achttiende eeuw hadden doktoren een vrij goed gevoel dat toen zeilers limoenen aten, ze geen scheurbuik kregen. Scheurbuik is een vreselijke ziekte, dus dit was krachtige informatie. Maar deze artsen wisten niet waarom limoenen scheurbuik verhinderden. Pas in 1932, bijna 200 jaar later, konden wetenschappers betrouwbaar aantonen dat vitamine C de reden was dat kalk scheurbuik verhinderde (Carpenter 1988, 191) . In dit geval is vitamine C het mechanisme waardoor kalk scheurbuik voorkomt (figuur 4.10). Natuurlijk is het identificeren van het mechanisme ook erg belangrijk wetenschappelijk - veel van de wetenschap gaat over het begrijpen waarom dingen gebeuren. Het identificeren van mechanismen is in de praktijk ook erg belangrijk. Zodra we begrijpen waarom een ​​behandeling werkt, kunnen we mogelijk nieuwe behandelingen ontwikkelen die nog beter werken.

Figuur 4.10: kalk voorkomt scheurbuik en het mechanisme is vitamine C.

Helaas is het isoleren van mechanismen erg moeilijk. In tegenstelling tot limoenen en scheurbuik, in veel sociale omgevingen, opereren behandelingen waarschijnlijk via vele onderling gerelateerde paden. In het geval van sociale normen en energiegebruik hebben onderzoekers echter geprobeerd om mechanismen te isoleren door procesgegevens en testgerelateerde behandelingen te verzamelen.

Een manier om mogelijke mechanismen te testen, is door procesgegevens te verzamelen over hoe de behandeling mogelijke mechanismen heeft beïnvloed. Herinner u bijvoorbeeld dat Allcott (2011) aangetoond dat Home Energy Reports ertoe heeft geleid dat mensen hun elektriciteitsverbruik hebben verlaagd. Maar hoe hebben deze rapporten het elektriciteitsverbruik verlaagd? Wat waren de mechanismen? In een vervolgonderzoek Allcott and Rogers (2014) samen met een energiebedrijf dat via een kortingsprogramma informatie had verkregen over welke consumenten hun apparaten hebben opgewaardeerd tot meer energie-efficiënte modellen. Allcott and Rogers (2014) ontdekten dat iets meer mensen die de Home Energy Reports ontvingen hun apparatuur upgraden. Maar dit verschil was zo klein dat het slechts verantwoordelijk was voor 2% van de daling van het energieverbruik in de behandelde huishoudens. Met andere woorden, upgrades van het apparaat waren niet het dominante mechanisme waarmee het Home Energy Report het elektriciteitsverbruik verminderde.

Een tweede manier om mechanismen te bestuderen is om experimenten uit te voeren met licht verschillende versies van de behandeling. Bijvoorbeeld, in het experiment van Schultz et al. (2007) en alle daaropvolgende Home Energy Report-experimenten, kregen de deelnemers een behandeling met twee hoofdonderdelen (1) tips over energiebesparing en (2) informatie over hun energieverbruik in vergelijking met hun leeftijdsgenoten (figuur 4.6). Het is dus mogelijk dat de energiebesparende tips de oorzaak waren van de verandering, niet de peer-informatie. Om de mogelijkheid te beoordelen dat de tips alleen al voldoende waren, gingen Ferraro, Miranda, and Price (2011) samenwerken met een waterbedrijf in de buurt van Atlanta, Georgia, en voerden een gerelateerd experiment uit met waterbehoud met ongeveer 100.000 huishoudens. Er waren vier voorwaarden:

• een groep die tips heeft gekregen over het besparen van water
• een groep die tips kreeg over waterbesparing plus een morele oproep om water te besparen
• een groep die tips kreeg over waterbesparing plus een morele oproep om water te besparen plus informatie over hun watergebruik in vergelijking met hun leeftijdsgenoten
• een controlegroep

De onderzoekers vonden dat de tips-only behandeling geen effect had op het watergebruik in de korte (één jaar), gemiddelde (twee jaar) en lange (drie jaar) termijn. De tips plus beroepsprocedure zorgden ervoor dat deelnemers het watergebruik verminderden, maar alleen op de korte termijn. Ten slotte zorgden de tips plus aantrekkingskracht plus peer-informatiebehandeling voor minder gebruik op de korte, middellange en lange termijn (figuur 4.11). Dit soort experimenten met ontbundelde behandelingen zijn een goede manier om erachter te komen welk deel van de behandeling -of welke onderdelen samen-degenen zijn die het effect veroorzaken (Gerber and Green 2012, sec. 10.6) . Het experiment van Ferraro en collega's laat ons bijvoorbeeld zien dat waterbesparende tips alleen niet genoeg zijn om het waterverbruik te verminderen.

Afbeelding 4.11: resultaten van Ferraro, Miranda, and Price (2011) . Behandelingen werden verzonden op 21 mei 2007 en de effecten werden gemeten tijdens de zomers van 2007, 2008 en 2009. Door de behandeling te ontbundelen, hoopten de onderzoekers een beter gevoel voor de mechanismen te ontwikkelen. De tips-only behandeling had in wezen geen effect op de korte (één jaar), middellange (twee jaar) en lange (drie jaar) termijn. De tips plus beroepsprocedure zorgden ervoor dat deelnemers het watergebruik verminderden, maar alleen op korte termijn. Het advies plus appèl plus peer-informatiebehandeling zorgde ervoor dat deelnemers het watergebruik op korte, middellange en lange termijn verminderden. Verticale staven zijn geschatte betrouwbaarheidsintervallen. Zie Bernedo, Ferraro, and Price (2014) voor actuele studiematerialen. Aangepast van Ferraro, Miranda, and Price (2011) , tabel 1.

Idealiter zou men verder gaan dan de gelaagdheid van componenten (tips, tips plus aantrekkingskracht, tips plus aantrekkingskracht plus peer-informatie) tot een volledig faculteitontwerp - ook wel een \(2^k\) faculteitontwerp genoemd - waarbij elke mogelijke combinatie van de drie elementen worden getest (tabel 4.1). Door elke mogelijke combinatie van componenten te testen, kunnen onderzoekers het effect van elk onderdeel afzonderlijk en in combinatie volledig beoordelen. Het experiment van Ferraro en collega's laat bijvoorbeeld niet zien of peersvergelijking alleen voldoende zou zijn geweest om tot gedragsveranderingen op de lange termijn te leiden. In het verleden waren deze volledige faculteitontwerpen moeilijk uit te voeren omdat ze een groot aantal deelnemers vereisen en ze vereisen dat onderzoekers een groot aantal behandelingen nauwkeurig kunnen controleren en afleveren. Maar in sommige situaties verwijdert het digitale tijdperk deze logistieke beperkingen.

Kortom, mechanismen - de wegen waardoor een behandeling effect heeft - zijn ongelooflijk belangrijk. Digitale-ouderdomsexperimenten kunnen onderzoekers helpen om mechanismen te leren door (1) procesgegevens te verzamelen en (2) full-factoriële ontwerpen mogelijk te maken. De mechanismen die door deze benaderingen worden gesuggereerd, kunnen vervolgens direct worden getest door experimenten die specifiek zijn ontworpen om mechanismen te testen (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

In totaal bieden deze drie concepten - validiteit, heterogeniteit van behandelingseffecten en mechanismen - een krachtige reeks ideeën voor het ontwerpen en interpreteren van experimenten. Deze concepten helpen onderzoekers verder te gaan dan eenvoudige experimenten over wat "werkt" naar rijkere experimenten die nauwere banden met theorie hebben, die onthullen waar en waarom behandelingen werken, en die zelfs onderzoekers kunnen helpen effectievere behandelingen te ontwerpen. Gezien deze conceptuele achtergrond over experimenten, zal ik nu kijken naar hoe je je experimenten daadwerkelijk kunt laten gebeuren.