4.4.2 Heterogeniteit van de behandeling effecten

Experimenten normaal meet het gemiddelde effect, maar het effect kan verschillend zijn voor verschillende mensen.

De tweede belangrijke idee voor die verder gaat dan eenvoudige experimenten is heterogeniteit van de behandeling effecten. Het experiment van Schultz et al. (2007) krachtig illustreert hoe dezelfde behandeling verschillende effecten op verschillende soorten mensen (figuur 4.4) kan hebben, maar deze analyse van heterogeniteit is eigenlijk heel ongebruikelijk is voor een analoge tijdperk experiment. De meeste analoge tijdperk experimenten leiden tot een klein aantal deelnemers dat als onderling verwisselbaar "widgets" worden behandeld omdat er weinig over hen bekend voorbehandeling. In digitale experimenten, maar deze gegevens beperkingen komen minder vaak voor, omdat de onderzoekers hebben de neiging om meer deelnemers en meer over hen weten. In deze verschillende data-omgeving, kunnen we heterogeniteit van behandelingseffecten schatten, om aanwijzingen over hoe de behandeling werkt, hoe het kan worden verbeterd en hoe het kan worden gericht op de meest baat verschaffen.

Twee voorbeelden van heterogeniteit van de behandeling effecten in het kader van de sociale normen en het gebruik van energie komen uit aanvullend onderzoek over de Home Energy Reports. Ten eerste, Allcott (2011) gebruikte de grote steekproef (600.000 huishoudens) aan het monster verder te splitsen en te schatten het effect van de Home Energy verslag van deciel van voorbehandeling energieverbruik. Terwijl Schultz et al. (2007) gevonden verschillen tussen zware en lichte gebruikers, Allcott (2011) vond dat er ook verschillen binnen de zware en lichte gebruikersgroep. Bijvoorbeeld, de zwaarste gebruikers (die in de topdeciel) verminderde het energieverbruik tweemaal zoveel als iemand in het midden van de zware gebruikersgroep (figuur 4,7). Verder schatten het effect van voorbehandeling gedrag bleek ook dat er geen boemerang zelfs voor de lichtste gebruikers (figuur 4,7).

Figuur 4.7: Heterogeniteit van de behandeling effecten in Allcott (2011) . De daling van het energieverbruik was anders voor mensen in verschillende decielen van de baseline gebruik.

In een verwante studie, Costa and Kahn (2013) gespeculeerd dat de effectiviteit van de Home Energy Report kan variëren op basis van de politieke ideologie van een deelnemer en dat de behandeling kan zelfs leiden tot mensen met bepaalde ideologieën om hun elektriciteitsverbruik te verhogen. Met andere woorden, ze speculeerden dat de Home Energy Reports kan worden het creëren van een boemerang effect voor sommige soorten mensen. Om deze mogelijkheid te beoordelen, Costa en Kahn samengevoegd de Opower gegevens met gegevens gekocht van een derde partij aggregator die informatie opgenomen zoals politieke partij registratie, donaties aan milieu organisaties en deelname huishouden in hernieuwbare energie programma. Met deze samengevoegde dataset, Costa en Kahn vond dat de Home Energy Rapporten in grote lijnen dezelfde gevolgen voor de deelnemers met verschillende ideologieën geproduceerd; er was geen bewijs dat een groep tentoongesteld boomerang-effecten (Figuur 4.8).

Figuur 4.8: Heterogeniteit van de behandeling effecten in Costa and Kahn (2013) . De geschatte gemiddelde effect van de behandeling voor het gehele monster is -2,1% [-1,5%, -2,7%]. Door combineren van informatie uit het experiment met informatie over de huishoudens, Costa and Kahn (2013) gebruikten een reeks statistische modellen om het behandelingseffect schatten zeer specifieke groepen. Twee schattingen worden voor elk omdat voor ramingen berusten op de covariaten zij in hun statistische modellen (zie model 4 model en 6 in tabel 3 en tabel 4 in Costa and Kahn (2013) ). Zoals dit voorbeeld illustreert, kan de behandeling effecten verschillend voor verschillende mensen en schattingen van de behandeling effecten die afkomstig zijn van statistische modellen kan afhangen van de details van deze modellen (Grimmer, Messing, and Westwood 2014) .

Aangezien deze twee voorbeelden illustreren, in het digitale tijdperk, kunnen we van het schatten van de gemiddelde behandeling effecten op het schatten van de heterogeniteit van de behandeling effecten, omdat we veel meer deelnemers kunnen hebben en we meer over die deelnemers kennen. Leren over heterogeniteit van de effecten van de behandeling kan targeting inschakelen van een behandeling waar het het meest effectief is, bieden feiten die nieuwe theorie ontwikkeling te stimuleren, en zorgen voor hints over een mogelijk mechanisme, het onderwerp waar ik nu draaien.