4.4.2 Heterogena behandlingseffekter

Experiment mäter normalt den genomsnittliga effekten, men effekten är förmodligen inte densamma för alla.

Den andra nyckelideen för att gå utöver enkla experiment är heterogenitet av behandlingseffekter . Experimentet av Schultz et al. (2007) illustrerar kraftfullt hur samma behandling kan ha en annan effekt på olika typer av människor (figur 4.4). I de flesta analoga experimenten fokuserade forskarna emellertid på genomsnittliga behandlingseffekter eftersom det var ett litet antal deltagare och lite var känt om dem. I digitala experiment är det emellertid ofta många fler deltagare och mer är känt om dem. I den här olika datamiljön kommer forskare som fortsätter att uppskatta endast genomsnittliga behandlingseffekter missa de sätt på vilka uppskattningar om heterogeniteten av behandlingseffekter kan ge ledtrådar om hur en behandling fungerar, hur den kan förbättras och hur den kan riktas till de som är mest benägna att dra nytta av.

Två exempel på heterogenitet av behandlingseffekter härrör från ytterligare undersökningar av Home Energy Reports. Först Allcott (2011) den stora urvalsstorleken (600 000 hushåll) för att ytterligare splittra provet och uppskatta effekten av Home Energy Report genom decil av förbehandlad energianvändning. Medan Schultz et al. (2007) fann skillnader mellan tunga och lätta användare, Allcott (2011) fann att det fanns skillnader inom tung- och lättanvändargruppen. Till exempel sänkte de tyngsta användarna (de som låg i decile) sin energianvändning dubbelt så mycket som någon i den tunga användargruppen (figur 4.8). Vidare avslöjade effekten av förbehandlingsbeteendet att det inte fanns någon boomerangseffekt, även för de lättaste användarna (figur 4.8).

Figur 4.8: Heterogenitet av behandlingseffekter i Allcott (2011) . Minskningen i energianvändningen var annorlunda för personer i olika deciler av baslinjeanvändning. Anpassad från Allcott (2011) , figur 8.

I en relaterad studie spekulerade Costa and Kahn (2013) att effekten av hushållsrapporten skulle kunna variera utifrån en deltagares politiska ideologi och att behandlingen faktiskt kan få människor med vissa ideologier att öka sin elanvändning. Med andra ord spekulerade de att Home Energy Reports skulle kunna skapa en boomerangseffekt för vissa typer av människor. För att bedöma denna möjlighet sammanfogade Costa och Kahn Opower-uppgifterna med data som inköpts från en tredjepartsaggregat som innehöll information som registrering av politiska partier, donationer till miljöorganisationer och hushålls deltagande i förnybara energiprogram. Med denna sammanslagna dataset fann Costa och Kahn att hemenergirapporterna i stort sett gav liknande effekter för deltagare med olika ideologier; Det fanns inga tecken på att någon grupp uppvisade boomerang effekter (figur 4.9).

Figur 4.9: Heterogenitet av behandlingseffekter i Costa and Kahn (2013) . Den beräknade genomsnittliga behandlingseffekten för hela provet är -2,1% [-1,5%, -2,7%]. Efter att ha kombinerat information från experimentet med information om hushållen, använde Costa and Kahn (2013) en rad statistiska modeller för att uppskatta behandlingseffekten för mycket specifika grupper av människor. Två beräkningar presenteras för varje grupp eftersom beräkningarna beror på de kovariater som de inkluderade i deras statistiska modeller (se modellerna 4 och 6 i tabellerna 3 och 4 i Costa and Kahn (2013) ). Som detta exempel illustrerar kan behandlingseffekter vara olika för olika personer och uppskattningar av behandlingseffekter som kommer från statistiska modeller kan bero på detaljerna för dessa modeller (Grimmer, Messing, and Westwood 2014) . Anpassad från Costa and Kahn (2013) , tabellerna 3 och 4.

Som dessa två exempel illustrerar kan vi i digital ålder flytta från att uppskatta genomsnittliga behandlingseffekter för att uppskatta heterogeniteten av behandlingseffekter eftersom vi kan ha många fler deltagare och vi vet mer om de deltagarna. Att lära sig om heterogenitet av behandlingseffekter kan möjliggöra inriktning på en behandling där den är mest effektiv, ge fakta som stimulerar ny teoriutveckling och ge tips om möjliga mekanismer, det ämne som jag nu vänder på.