4.4.2 Heterogeniteit van behandeling effekte

Eksperimente meet gewoonlik die gemiddelde effek, maar die effek is waarskynlik nie dieselfde vir almal nie.

Die tweede sleutel idee om verder as eenvoudige eksperimente te beweeg, is heterogeniteit van behandelingseffekte . Die eksperiment van Schultz et al. (2007) illustreer kragtig hoe dieselfde behandeling 'n ander effek op verskillende soorte mense kan hê (figuur 4.4). In die meeste analoog eksperimente het navorsers egter op gemiddelde behandelingseffekte gefokus omdat daar 'n klein aantal deelnemers was en daar was min bekend oor hulle. In digitale eksperimente is daar egter dikwels meer deelnemers en meer is bekend oor hulle. In hierdie verskillende data-omgewing sal navorsers wat net gemiddelde behandelingseffekte aanskou, die maniere misloop waarop skattings oor die heterogeniteit van behandelingseffekte leidrade kan gee oor hoe 'n behandeling werk, hoe dit verbeter kan word en hoe dit geteiken kan word aan diegene wat waarskynlik sal baat vind.

Twee voorbeelde van heterogeniteit van behandelingseffekte kom uit bykomende navorsing oor die Home Energy Reports. Eerstens het Allcott (2011) die groot steekproefgrootte (600,000 huishoudings) gebruik om die steekproef verder te verdeel en die effek van die Allcott (2011) bereken deur middel van decile van voorbehandelde energieverbruik. Terwyl Schultz et al. (2007) het verskille tussen swaar en ligte gebruikers gevind, het Allcott (2011) bevind dat daar ook verskille in die swaar- en Allcott (2011) was. Byvoorbeeld, die swaarste gebruikers (dié in die boonste decile) het hul energieverbruik twee keer soveel verminder as iemand in die middel van die swaargebruikersgroep (figuur 4.8). Verder, die skatting van die effek deur vooraf behandelingsgedrag het ook aan die lig gebring dat daar geen boemerang-effek was nie, selfs vir die ligste gebruikers (Figuur 4.8).

Figuur 4.8: Heterogeniteit van behandelingseffekte in Allcott (2011) . Die afname in energieverbruik was verskillend vir mense in verskillende deciles van baseline gebruik. Aangepas uit Allcott (2011) , figuur 8.

In 'n verwante studie het Costa and Kahn (2013) gespekuleer dat die effektiwiteit van die Huiseenergerapport kan wissel op grond van 'n deelnemer se politieke ideologie en dat die behandeling eintlik kan veroorsaak dat mense met sekere ideologieë hul elektrisiteitsverbruik verhoog. Met ander woorde, hulle het gespekuleer dat die Home Energy Reports 'n boemerang-effek vir sommige soorte mense kan skep. Om hierdie moontlikheid te evalueer, het Costa en Kahn die Opower-data saamgesmelt met data wat aangekoop is van 'n derdeparty-aggregator wat inligting soos politieke partye-registrasie, donasies aan omgewingsorganisasies en huishoudelike deelname aan hernubare energieprogramme insluit. Met hierdie saamgesmelte datastel het Costa en Kahn bevind dat die Home Energy Reports breedweg soortgelyke effekte vir deelnemers met verskillende ideologieë geproduseer het; daar was geen bewyse dat enige groep boemerang-effekte uitgestal het nie (figuur 4.9).

Figuur 4.9: Heterogeniteit van behandelingseffekte in Costa and Kahn (2013) . Die beraamde gemiddelde behandelingseffek vir die hele monster is -2.1% [-1.5%, -2.7%]. Nadat inligting uit die eksperiment met inligting oor die huishoudings gekombineer is, het Costa and Kahn (2013) 'n reeks statistiese modelle gebruik om die behandelingseffek vir baie spesifieke groepe mense te skat. Twee ramings word vir elke groep aangebied, aangesien die ramings afhang van die kovariate wat hulle in hul statistiese modelle ingesluit het (sien modelle 4 en 6 in tabelle 3 en 4 in Costa and Kahn (2013) ). Soos hierdie voorbeeld illustreer, kan behandelingseffekte vir verskillende mense verskil en skattings van behandelingseffekte wat uit statistiese modelle kom, kan afhang van die besonderhede van die modelle (Grimmer, Messing, and Westwood 2014) . Aangepas uit Costa and Kahn (2013) , tabelle 3 en 4.

Soos hierdie twee voorbeelde illustreer, kan ons in die digitale era beweeg van die skatting van gemiddelde behandelingseffekte om die heterogeniteit van behandelingseffekte te skat omdat ons baie meer deelnemers kan hê en ons weet meer oor die deelnemers. Leer oor heterogeniteit van behandelingseffekte kan die doelwit van 'n behandeling waar dit effektief is, in staat stel om feite te verskaf wat nuwe teorie-ontwikkeling stimuleer en wenke verskaf oor moontlike meganismes, die onderwerp waarna ek nou draai.