4.4.2 Heterogenost efekta tretmana

Eksperimenti normalno mjere prosječni učinak, no učinak vjerojatno nije isti za svakoga.

Druga ključna ideja za premještanje izvan jednostavnih eksperimenata je heterogenost učinaka liječenja . Eksperiment Schultz et al. (2007) snažno ilustrira kako isti tretman može imati različiti učinak na različite vrste ljudi (slika 4.4). Međutim, u većini analitičkih pokusa, istraživači su se usredotočili na prosječne učinke liječenja jer je bio mali broj sudionika, a malo je poznato. U digitalnim eksperimentima, međutim, često ima mnogo više sudionika i više se zna o njima. U ovom različitom okruženju podataka, istraživači koji nastavljaju procjenjivati ​​samo prosječne učinke liječenja, propustit će način na koji procjene o heterogenosti učinaka liječenja mogu dati naznake o načinu na koji liječenje funkcionira, kako se može poboljšati i kako se može ciljati onima koji najvjerojatnije imaju koristi.

Dva primjera heterogenosti učinaka liječenja dolaze iz dodatnih istraživanja o Home Energy Izvještajima. Prvo, Allcott (2011) koristio je veliku veličinu uzorka (600.000 domaćinstava) kako bi se dalje podijelio uzorak i procijenio učinak Izvješća o kućnoj energiji za decil od korištenja energije prethodne obrade. Dok Schultz et al. (2007) utvrdili su razlike između teških i lakih korisnika, Allcott (2011) utvrdio da postoje i razlike unutar skupine teških i svjetlosnih korisnika. Na primjer, najteži korisnici (oni u najvišem decilu) smanjili su potrošnju energije dvaput onoliko koliko je netko bio usred teške skupine korisnika (slika 4.8). Nadalje, procjena učinka ponašanjem predtretmanom također je pokazala da ne postoji učinak bumeranga, čak i za najlakše korisnike (slika 4.8).

Slika 4.8: Heterogenost učinaka liječenja u Allcott (2011) . Smanjenje potrošnje energije bilo je različito za ljude u različitim decilima osnovne uporabe. Prilagođena od tvrtke Allcott (2011) , slika 8.

Costa and Kahn (2013) nagađaju kako bi učinkovitost izvješća o kućnoj energiji mogla varirati ovisno o političkoj ideologiji sudionika i da bi tretman mogao uzrokovati povećanje potrošnje električne energije ljudi s određenim ideologijama. Drugim riječima, nagađali su da bi izvješća o kućnoj energiji mogla stvoriti učinak bumeranga za neke vrste ljudi. Da bi procijenio tu mogućnost, Costa i Kahn spojili su Opower podatke s podacima kupljenima od agregatora treće strane koji je sadržavao podatke poput registracije političkih stranaka, donacija organizacijama za zaštitu okoliša i sudjelovanja kućanstava u programima obnovljivih izvora energije. S ovim spojenim skupom podataka Costa i Kahn su otkrili da su Izvještaji o kućnoj energiji široko slični učinci za sudionike različitih ideologija; nije bilo dokaza da je bilo koja skupina pokazala učinke bumeranga (slika 4.9).

Slika 4.9: Heterogenost učinaka liječenja u Costa and Kahn (2013) . Procijenjeni prosječni učinak liječenja za cijeli uzorak iznosi -2,1% [-1,5%, -2,7%]. Nakon kombiniranja podataka iz eksperimenta s informacijama o kućanstvima, Costa and Kahn (2013) koristili su niz statističkih modela za procjenu učinka liječenja vrlo specifičnih skupina ljudi. Dvije procjene prikazane su za svaku grupu, jer procjene ovise o kovarijatu koju su uključili u svoje statističke modele (vidi modele 4 i 6 u tablicama 3 i 4 u Costa and Kahn (2013) ). Kao što ovaj primjer ilustrira, učinci liječenja mogu biti različiti za različite ljude, a procjene učinaka liječenja koje dolaze iz statističkih modela mogu ovisiti o pojedinostima tih modela (Grimmer, Messing, and Westwood 2014) . Prilagođeno iz Costa and Kahn (2013) , tablice 3 i 4.

Kao što ova dva primjera ilustriraju, u digitalnom dobu možemo se kretati od procjene prosječnih učinaka liječenja na procjenu heterogenosti učinaka liječenja jer možemo imati mnogo više sudionika i znamo više o tim sudionicima. Učenje o heterogenosti učinaka liječenja može omogućiti ciljanje tretmana gdje je najučinkovitije, pružiti činjenice koje potiču novi razvoj teorije i daju savjete o mogućim mehanizmima, temi na koju se sada obratim.