4.4.2 Heterogena behandlingseffekter

Experiment mäta normalt den genomsnittliga effekten, men effekten kan vara olika för olika människor.

Den andra viktiga idén för att flytta bortom enkla experiment är heterogenitet av behandlingseffekter. Experimentet i Schultz et al. (2007) kraftfullt illustrerar hur samma behandling kan ha olika effekter på olika typer av människor (Figur 4.4), men denna analys av heterogenitet är faktiskt ganska ovanligt för en analog ålder experiment. De flesta analoga ålder experiment involverar ett litet antal deltagare som behandlas som utbytbara "widgets" eftersom lite om dem är känd förbehandling. I digitala experiment, men dessa uppgifter begränsningar är mindre vanligt eftersom forskare tenderar att ha fler deltagare och veta mer om dem. I denna annorlunda datamiljö, kan vi uppskatta heterogenitet av behandlingseffekter för att ge ledtrådar om hur behandlingen fungerar, hur den kan förbättras, och hur det kan riktas till dem som mest sannolikt kommer att gynnas.

Två exempel på heterogenitet av behandlingseffekter i samband med sociala normer och energianvändning komma från ytterligare forskning om Home Energy Rapporter. Först Allcott (2011) använde stora provstorleken (600.000 hushåll) för att ytterligare dela provet och uppskatta effekten av Home Energy Rapport från decil av förbehandling energianvändning. Medan Schultz et al. (2007) fann skillnader mellan tunga och lätta användare, Allcott (2011) fann att det fanns också skillnader inom den tunga och lätta användargrupp. Till exempel, de tyngsta användarna (de i den översta tiondelen) reducerade deras energiförbrukning dubbelt så mycket som någon i mitten av den tunga användargruppen (figur 4,7). Vidare, att uppskatta effekten av förbehandling beteende visade också att det inte fanns en bumerangeffekt även för de lättaste användarna (Figur 4.7).

Figur 4.7: Heterogena behandlingseffekter i Allcott (2011) . Minskningen av energianvändningen var olika för människor i olika decilerna av baslinjen användning.

I en relaterad studie, Costa and Kahn (2013) spekulerade att effektiviteten i Home Energy Report kan variera beroende på en deltagares politisk ideologi och att behandlingen kan faktiskt orsaka personer med vissa ideologier att öka sin elanvändning. Med andra ord, spekulerade de att Home Energy Rapporter kan skapa en bumerangeffekt för vissa typer av människor. För att bedöma denna möjlighet, Costa och Kahn samman den Opower data med data som köpts från tredje part som samman som ingår information som politiskt parti registrering, donationer till miljöorganisationer, och hushållens deltagande i program för förnybar energi. Med denna sammanslagna dataset, Costa och Kahn fann att Home Energy Rapporter produceras i stort sett likartade effekter för deltagare med olika ideologier; det fanns inga bevis för att någon grupp uppvisade bumerang effekter (Figur 4.8).

Figur 4.8: Heterogena behandlingseffekter i Costa and Kahn (2013) . Den beräknade genomsnittliga behandlingseffekten för hela provet är -2,1% [-1,5% -2,7%]. Genom att kombinera information från försöket med information om hushållen, Costa and Kahn (2013) använde en serie av statistiska modeller för att uppskatta behandlingseffekten för mycket specifika grupper av människor. Två beräkningar presenteras för varje grupp eftersom beräkningarna beror på covariates de ingår i deras statistiska modeller (se modell 4 och modell 6 i tabell 3 och tabell 4 i Costa and Kahn (2013) ). Som detta exempel visar, kan behandlingseffekter vara olika för olika människor och uppskattningar av behandlingseffekter som kommer från statistiska modeller kan bero på detaljerna i dessa modeller (Grimmer, Messing, and Westwood 2014) .

Eftersom dessa två exempel illustrerar, i den digitala eran, kan vi gå från att uppskatta den genomsnittliga behandlingseffekter till uppskatta heterogenitet behandlingseffekter eftersom vi kan ha många fler deltagare och vi vet mer om dessa deltagare. Lär dig mer om heterogenitet behandlingseffekter kan möjliggöra inriktning av en behandling där det är mest effektivt, ge fakta som stimulerar ny teoriutveckling, och ger tips om en möjlig mekanism, ämnet som jag nu vänder.