4.4.2 Heterogenost efekata tretmana

Eksperimenti normalno mjerenje prosjeka efekt, ali efekat može biti različita za različite ljude.

Druga ključna ideja za kretanje izvan jednostavnih eksperimenata je heterogenost efekata tretmana. Eksperiment od Schultz et al. (2007) snažno pokazuje kako isti tretman može imati različite efekte na različite vrste ljudi (Slika 4.4), ali ova analiza heterogenost je prilično neobično za analogni dobi eksperiment. Većina analogni dobi eksperimenti uključuju mali broj učesnika koji se tretiraju kao izmjenjive "widgeta", jer malo o njima se zna predtretman. U digitalnom eksperimentima, međutim, ovi podaci ograničenja su manje uobičajene, jer istraživači imaju tendenciju da imaju više učesnika i znaju više o njima. U ovom drugom okruženju podatke, ne možemo procijeniti heterogenost efekata tretmana u cilju pružanja tragove o tome kako se tretman radi, kako se može poboljšati, i kako to može biti usmjerena na one uglavnom vjerovatno imati koristi.

Dva primjera heterogenosti efekata tretmana u kontekstu društvenih normi i korištenja energije dolazi iz dodatna istraživanja na Home Energy Izvještaji. Prvo, Allcott (2011) korištena veličina velikom uzorku (600.000 domaćinstava) dalje podijeliti uzorka i procijeniti učinak Home Prijavi energetike do decil potrošnje energije predtretman. Dok Schultz et al. (2007) pronađeno razlike između teških i lakih korisnicima, Allcott (2011) je utvrdio da postoje i razlike u teškim i lakim grupe korisnika. Na primjer, najteži korisnici (oni u vrhu decilu) smanjili potrošnju energije dva puta onoliko koliko je neko u sred teških grupa korisnika (Slika 4.7). Nadalje, procjeni efekat ponašanje predtretman također otkrio da nije bilo bumerang efekat čak i za najlakši korisnike (Slika 4.7).

Slika 4.7: Heterogenost efekata tretmana u Allcott (2011) . Smanjenje potrošnje energije je bila drugačija za ljude u različitim decile osnovnih upotrebe.

U povezanim studiji, Costa and Kahn (2013) spekulisali da efikasnost Home Prijavi energije mogli razlikovati na osnovi političke ideologije učesnika i da tretman može zapravo dovesti do ljudi s određenim ideologijama da se poveća njihova upotreba električne energije. Drugim riječima, oni su spekulisali da je Home Energy Izvještaji mogu biti stvaranje bumerang efekat za neke vrste ljudi. Za procjenu tu mogućnost, Costa i Kahn spojene podatke Opower sa podacima kupljena od trećih strana agregator koji je uključivao informacije kao što su politički registraciju stranke, donacije organizacijama okoliš, i sudjelovanje u domaćinstvu u obnovljive izvore energije programima. Sa ovim spojenih skup, Kosta i Kahn je utvrdio da je Home Energy Izvještaji proizvodi uglavnom slične efekte za sudionike s različitim ideologijama; nema dokaza da je bilo grupa izložena bumerang efekte (Slika 4.8).

Slika 4.8: Heterogenost efekata tretmana u Costa and Kahn (2013) . Procijenjena prosječna efekt tretmana za čitav uzorak je -2.1% [-1,5%, -2,7%]. Kombinovanjem informacije iz eksperimenta s informacijama o domaćinstvima, Costa and Kahn (2013) koristi niz statističkih modela za procjenu efekta tretmana za vrlo specifične grupe ljudi. Dvije procjene su prikazani za svaku grupu, jer procjene ovise o kovarijable su uključeni u svojim statističkim modelima (vidi model 4 i modela 6 u tabeli 3 i Tabela 4 u Costa and Kahn (2013) ). Kao što ovaj primjer pokazuje, efekti tretmana mogu biti različiti za različite ljude i procjene efekata tretmana koji dolaze iz statističkih modela može ovisiti o detaljima tih modela (Grimmer, Messing, and Westwood 2014) .

Kao što ova dva primjera ilustriraju, u digitalnom dobu, možemo kretati od procjene prosjeku efekata tretmana za procjenu heterogenost efekata tretmana jer ne možemo imati mnogo više učesnika i mi znamo više o tim učesnika. Učenje o heterogenosti efekata tretmana može omogućiti usmjeravanje tretmana gdje je najefikasniji, pružiti činjenice da stimulišu razvoj novih teorija, i pružiti naznake o mogućem mehanizmu, tema na kojoj sam sada okrenuti.