4.4.3 Mechanismen

Experimenten meten wat er is gebeurd. Mechanismen uit waarom en hoe het gebeurde.

De derde sleutel idee voor die verder gaat dan eenvoudige experimenten is mechanismen. Mechanismen Vertel ons waarom of hoe een behandeling een effect veroorzaakt. Het proces van het zoeken naar mechanismen wordt soms ook op zoek naar interveniërende variabelen of indirecte variabelen. Hoewel experimenten zijn goed voor het schatten oorzakelijke effecten, zijn ze vaak niet ontworpen om mechanismen te onthullen. Digitale tijdperk experimenten kan ons helpen mechanismen te identificeren op twee manieren: 1) ze ons in staat stellen om meer te proces gegevens te verzamelen en 2) ze ons in staat om veel gerelateerde behandelingen te testen.

Omdat mechanismen zijn lastig om formeel te definiëren (Hedström and Ylikoski 2010) , ik ga om te beginnen met een eenvoudig voorbeeld: linden en scheurbuik (Gerber and Green 2012) . In de 18e eeuw hadden artsen een vrij goede gevoel dat wanneer zeilers aten limoenen ze geen scheurbuik krijgen. Scheurbuik is een vreselijke ziekte dus dit was krachtige informatie. Maar, deze artsen niet weten waarom limoenen voorkomen scheurbuik. Het was pas in 1932, bijna 200 jaar later, dat wetenschappers betrouwbaar kon aantonen dat vitamine C was de reden dat lime voorkomen scheurbuik (Carpenter 1988, p 191) . In dit geval, vitamine C is het mechanisme waardoor kalk voorkomen scheurbuik (figuur 4,9). Natuurlijk, het identificeren van het mechanisme is zeer belangrijk wetenschappelijk veel wetenschap over het begrijpen waarom dingen gebeuren. Het identificeren mechanismen is zeer belangrijk praktisch. Zodra we begrijpen waarom een ​​behandeling werkt, kunnen we mogelijk de ontwikkeling van nieuwe behandelingen die nog beter werken.

Figuur 4.9: Limes voorkomen scheurbuik en het mechanisme is vitamine C.

Helaas, isoleren mechanismen is erg moeilijk. In tegenstelling tot de limes en scheurbuik, in vele sociale instellingen, behandelingen waarschijnlijk te bedienen door middel van een groot aantal met elkaar verbonden paden, die de isolatie van mechanismen uiterst moeilijk maakt. In het geval van sociale normen en energieverbruik, onderzoekers hebben geprobeerd om mechanismen te isoleren door het verzamelen procesdata en testen tische behandelingen.

Een manier om mogelijke mechanismen te testen is door het verzamelen van procesgegevens over hoe de behandeling beïnvloed mogelijke mechanismen. Zo herinneren dat Allcott (2011) toonde aan dat Home Energy Rapporten veroorzaakt mensen om hun elektriciteitsverbruik te verlagen. Maar, hoe deze rapporten lager verbruik van elektriciteit? Wat waren de mechanismen? In een follow-up studie, Allcott and Rogers (2014) samen met een energiebedrijf dat, door middel van een korting programma, had informatie waarop consumenten hun toestellen een upgrade naar meer energie-efficiënte modellen verworven. Allcott and Rogers (2014) blijkt dat iets meer mensen ontvangen van de Home Energy Reports een upgrade van hun apparaten. Maar dit verschil zo klein dat het alleen kon verklaren 2% van de vermindering van het energieverbruik in de behandelde huishoudens. Met andere woorden, upgrades apparaat niet het dominante mechanisme waardoor het huis Energierapport verminderd stroomverbruik.

Een tweede manier om mechanismen te bestuderen om experimenten met enigszins verschillende versies van de behandeling uitgevoerd. Bijvoorbeeld in het experiment van Schultz et al. (2007) en alle daaropvolgende Home Energy Report experimenten werden de deelnemers voorzien van een behandeling die twee grote delen 1) tips over energiebesparing en 2) informatie over hun energieverbruik ten opzichte van hun leeftijdsgenoten (figuur 4.6) heeft. Aldus is het mogelijk dat de energiebesparende tips zijn wat de verandering veroorzaakte, niet peer informatie. Om de mogelijkheid dat de uiteinden alleen al voldoende zou zijn geweest te beoordelen, Ferraro, Miranda, and Price (2011) samen met een waterbedrijf in de buurt van Atlanta, GA, en liep een verwante experiment op het behoud van water waarbij ongeveer 100.000 huishoudens. Er waren vier voorwaarden:

• een groep die tips ontvangen over het opslaan van water.
• een groep die tips ontvangen over het opslaan van water + een moreel appèl om water te besparen.
• een groep die tips ontvangen over het opslaan van water + een moreel beroep op water + informatie op te slaan over hun watergebruik ten opzichte van hun leeftijdsgenoten.
• een controlegroep.

De onderzoekers vinden dat de tips enige behandeling geen effect heeft op het waterverbruik in het kort (een jaar), medium (twee jaar) en lange (drie jaar) termijn had. De tips + beroep behandeling veroorzaakt deelnemers om het waterverbruik te verminderen, maar alleen op de korte termijn. Ten slotte is de tips + beroep + peer-informatie behandeling veroorzaakt verminderde gebruik in de korte, middellange en lange termijn (figuur 4.10). Dit soort experimenten met ontbundelde behandelingen zijn een goede manier om erachter te komen welk deel van de behandeling-of welke delen samen-zijn degenen die het effect veroorzaken (Gerber and Green 2012, Sec. 10.6) . Bijvoorbeeld, het experiment van Ferraro en collega's toont ons tips staan ​​dat waterbesparing zijn niet genoeg om het waterverbruik te verminderen.

Figuur 4.10: Resultaten van Ferraro, Miranda, and Price (2011) . Behandelingen werden gestuurd 21 mei 2007, en de effecten werden gemeten tijdens de zomers van 2007, 2008 en 2009. Door de ontvlechting van de behandeling de onderzoekers hoopten om een ​​beter gevoel van de mechanismen te ontwikkelen. De tips enige behandeling hadden in wezen geen effect op de korte (één jaar), medium (twee jaar) en lange (drie jaar) termijn. De tips + beroep behandeling veroorzaakt deelnemers om het waterverbruik te verminderen, maar alleen op de korte termijn. Het advies + beroep + peer-informatie behandeling veroorzaakt deelnemers om het waterverbruik op de korte, middellange en lange termijn te verlagen. Verticale balken worden geschat betrouwbaarheidsintervallen. Zie Bernedo, Ferraro, and Price (2014) voor het eigenlijke onderzoek materialen.

Idealiter zou men gaan dan de gelaagdheid van de componenten (tips, tips + aanspreken; tips + beroep + peer-informatie) om een volledig factorial design-ook soms genoemd een \ (2 ^ k \) factorial design-waar elke mogelijke combinatie van de drie elementen wordt getest (Tabel 4.1). Door het testen van elke mogelijke combinatie van componenten kan volledig onderzoekers het effect van elke component evalueren afzonderlijk en in combinatie. Bijvoorbeeld, het experiment Ferraro en collega's niet onthullen aan of peer vergelijking alleen volstaat om lange termijn veranderingen in het gedrag zou zijn. In het verleden hebben deze volledig factoriële moeilijk te lopen, omdat ze een groot aantal deelnemers vereisen en zij vereisen onderzoekers nauwkeurig kunnen controleren en leveren een groot aantal behandelingen. Maar, het digitale tijdperk verwijdert deze logistieke beperkingen in sommige situaties.

Samengevat, mechanismen-de paden waardoor een behandeling heeft een effect-zijn ongelooflijk belangrijk. Digitale tijdperk experimenten kunnen helpen onderzoekers leren over mechanismen 1) het verzamelen van procesgegevens en 2), waardoor de volledige factoriële ontwerpen. De mechanismen van deze benaderingen voorgesteld kan dan rechtstreeks door experimenten speciaal ontworpen om mechanismen te testen getest (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

In totaal hebben deze drie begrippen-geldigheid; heterogeniteit van de effecten van de behandeling; en mechanismen-zorgen voor een krachtige set van ideeën voor het ontwerpen en interpreteren van experimenten. Deze concepten hulp onderzoekers gaan dan eenvoudige experimenten over wat "werken" om rijkere experimenten die strakker links naar theorie hebben, die onthullen waar en waarom behandelingen werken, en misschien zelfs helpen onderzoekers ontwerpen van meer effectieve behandelingen. Gezien deze conceptuele achtergrond over experimenten, zal ik nu ingaan op hoe je daadwerkelijk kunt uw experimenten gebeuren.