4.4.2 Heterogenitet av behandlingseffekter

Eksperimenter gjerne måler gjennomsnittlig effekt, men effekten kan være forskjellig for ulike mennesker.

Den andre nøkkelen ideen til å gå utover enkle eksperimenter er heterogenitet av behandlingseffekter. Eksperimentet av Schultz et al. (2007) sterkt illustrerer hvordan den samme behandlingen kan ha ulik effekt på forskjellige typer mennesker (figur 4.4), men denne analysen av heterogenitet er faktisk ganske uvanlig for en analog alder eksperiment. De fleste analoge alder eksperimenter innebære et lite antall deltakere som blir behandlet som utskiftbare "widgets", fordi lite om dem er kjent forbehandling. I digitale eksperimenter, men disse data begrensninger er mindre vanlig fordi forskere har en tendens til å ha flere deltakere og vet mer om dem. I denne annen datamiljø, kan vi anslå heterogenitet av behandlingseffekter for å gi hint om hvordan behandlingen virker, hvordan den kan forbedres, og hvordan det kan være rettet mot de mest sannsynlig å dra.

To eksempler på heterogenitet av behandlingseffekter i sammenheng med sosiale normer og energibruk kommer fra ytterligere forskning på Home Energy Reports. Først Allcott (2011) brukte store prøvestørrelsen (600000 husholdninger) for ytterligere å dele prøven og estimere effekten av startenergimeldingen ved ti prosent av pre-treatment energiforbruk. Mens Schultz et al. (2007) fant forskjeller mellom tunge og lette brukere, Allcott (2011) fant at det var også forskjeller innen tunge og lette brukergruppe. For eksempel, de tyngste brukerne (de i den øverste desil) redusert sitt energiforbruk dobbelt så mye som noen i midten av tung brukergruppe (figur 4.7). Videre estimere effekten av forbehandling atferd også avdekket at det ikke var en boomerang effekt selv for de letteste brukerne (figur 4.7).

Figur 4.7: heterogenitet av behandlingseffekter i Allcott (2011) . Nedgangen i energibruken var annerledes for mennesker i ulike desiler av baseline bruk.

I en relatert studie, Costa and Kahn (2013) spekulert i at effektiviteten av Home Energy Rapporter kan variere basert på en deltaker politisk ideologi og at behandlingen kan faktisk føre til personer med visse ideologier å øke strømforbruket. Med andre ord, spekulerte de at Home Energy rapporter kan skape en boomerang effekt for noen typer mennesker. For å vurdere denne muligheten, Costa og Kahn fusjonerte opower data med data som er kjøpt fra en tredjepart aggregator som inkluderte informasjon som politisk parti registrering, donasjoner til miljøorganisasjoner, og hushold deltakelse i fornybar energi programmer. Med denne sammenslåtte datasettet, Costa og Kahn funnet at Home Energy rapporter produsert bredt lignende effekter for deltakere med ulike ideologier; det var ingen bevis for at en gruppe utstilt boomerang effekt (figur 4.8).

Figur 4.8: heterogenitet av behandlingseffekter i Costa and Kahn (2013) . Estimert gjennomsnittlig behandlingseffekt for hele utvalget er -2,1% [-1,5%, -2,7%]. Ved å kombinere informasjon fra forsøket med informasjon om husholdningene, Costa and Kahn (2013) brukte en rekke statistiske modeller for å beregne behandlingseffekten for svært spesifikke grupper av mennesker. To estimater presenteres for hver gruppe fordi estimatene avhenger av kovariatene de inkludert i sine statistiske modeller (se modell 4 og modell 6 i tabell 3 og tabell 4 i Costa and Kahn (2013) ). Som dette eksemplet viser, kan behandlingseffekter være forskjellig for ulike mennesker og estimater av behandlingseffekter som kommer fra statistiske modeller kan stole på detaljene i disse modellene (Grimmer, Messing, and Westwood 2014) .

Disse to eksemplene illustrerer, i den digitale tidsalderen, kan vi gå fra å estimere gjennomsnittlig behandlingseffekter for å estimere heterogenitet av behandlingseffekter fordi vi kan ha mange flere deltakere, og vi vet mer om de deltakerne. Lære om heterogenitet av behandlingseffekter kan aktivere målretting av en behandling der det er mest effektivt, gi fakta som stimulerer ny teoriutvikling, og gir tips om en mulig mekanisme, tema som jeg nå snu.