4.4.2 Heterogenost efekata tretmana

Eksperimenti obično mere prosečan efekat, ali efekat verovatno nije isti za sve.

Druga ključna ideja za prelazak van jednostavnih eksperimenata je heterogenost efekata lečenja . Eksperiment Schultz et al. (2007) snažno ilustruje kako isti tretman može imati različit efekat na različite vrste ljudi (slika 4.4). Međutim, u većini analognih eksperimenata, istraživači su se fokusirali na prosečne efekte tretmana, jer je mali broj učesnika bio mali, a malo ih je poznato. U digitalnim eksperimentima, međutim, često ima mnogo više učesnika i više se zna o njima. U ovom drugom okruženju podataka, istraživači koji nastavljaju da procenjuju samo prosečne efekte tretmana propustiće načine na kojima procjene o heterogenosti efekata tretmana mogu pružiti znake kako funkcioniše terapija, kako se može poboljšati i kako se može ciljati onima sa kojima će najviše verovati.

Dva primjera heterogenosti efekata tretmana dolaze od dodatnih istraživanja u Home Energy Report-u. Prvo, Allcott (2011) koristio veliku veličinu uzorka (600.000 domaćinstava) kako bi dalje podelio uzorak i procijenio efekat izvještaja o kućnom energetiku decilom korištenja energije pred tretmanom. Dok su Schultz et al. (2007) otkrila je razlike između teških i lakih korisnika, Allcott (2011) utvrdio da postoje i razlike u grupi težih i lakih korisnika. Na primjer, najteži korisnici (oni u top decilu) su smanjili njihovu potrošnju energije dvaput više nego neko u sredini teškog korisnika (slika 4.8). Nadalje, procena efekta kod ponovnog liječenja pokazala je da nema efekta bumeranga, čak i za najlakše korisnike (slika 4.8).

Slika 4.8: Heterogenost efekata tretmana u Allcott (2011) . Smanjenje potrošnje energije bilo je različito za ljude u različitim decilima osnovne upotrebe. Prilagođeno od Allcott (2011) , slika 8.

U srodnoj studiji Costa and Kahn (2013) spekulisali da se efikasnost izvještaja o kućnoj energiji može razlikovati u zavisnosti od političke ideologije učesnika i da tretman u stvari može dovesti do toga da ljudi sa određenim ideologijama povećavaju svoju potrošnju električne energije. Drugim riječima, oni su spekulisali da izvještaji o kućnoj energiji možda stvaraju efekat bumeranga za neke tipove ljudi. Da bi se procijenila ova mogućnost, Costa i Kahn spajali su podatke Opole sa podacima nabavljenim od agregatora treće strane koji uključuju informacije kao što su registracija političkih stranaka, donacije ekološkim organizacijama i učešće domaćinstava u programima obnovljive energije. Sa ovim spojenim skupovima podataka, Costa i Kahn su otkrili da su Home Energy Reports proizveli široko sličan efekat za učesnike različitih ideologija; nije bilo dokaza da je bilo koja grupa pokazala efekte bumeranga (slika 4.9).

Slika 4.9: Heterogenost efekata lečenja u Costa and Kahn (2013) . Procijenjeni prosječni efekti tretmana za cijeli uzorak iznosi -2,1% [-1,5%, -2,7%]. Nakon kombinovanja informacija iz eksperimenta sa informacijama o domaćinstvima, Costa and Kahn (2013) koristili niz statističkih modela za procjenu efekta tretmana za vrlo specifične grupe ljudi. Dve procene su prikazane za svaku grupu, jer procjene zavise od kovanata koje su uključene u njihove statističke modele (vidi modele 4 i 6 u tabelama 3 i 4 u Costa and Kahn (2013) ). Kako ovaj primer ilustruje, efekti tretmana mogu biti različiti za različite ljude, a procjene efekata tretmana koji dolaze od statističkih modela mogu zavisiti od detalja tih modela (Grimmer, Messing, and Westwood 2014) . Prilagođeno Costa and Kahn (2013) , tabele 3 i 4.

Kako ova dva primera ilustruju, u digitalnom dobu možemo da pređemo sa procenjivanja prosečnih efekata tretmana na procenu heterogenosti efekata tretmana jer možemo imati mnogo više učesnika i mi znamo više o tim učesnicima. Učenje o heterogenosti efekata liječenja može omogućiti ciljanje tretmana tamo gdje je najefikasnije, daju činjenice koje stimulišu razvoj novih teorija i pružaju savjete o mogućim mehanizmima, temi na koju se sada okreću.