4.4.2 Heterogenitet af behandlingseffekt

Eksperimenter normalt måle den gennemsnitlige effekt, men effekten kan være forskellige for forskellige mennesker.

Den anden centrale idé for at gå videre end simple eksperimenter er heterogenitet behandlingseffekt. Forsøget i Schultz et al. (2007) kraftigt illustrerer, hvordan den samme behandling kan have forskellige virkninger på forskellige typer af mennesker (Figur 4.4), men denne analyse af heterogenitet er faktisk ret usædvanligt for en analog alder eksperiment. De fleste analoge alder eksperimenter involverer et lille antal deltagere, behandles som udskiftelige "widgets", fordi lidt om dem er kendt forbehandling. I digitale eksperimenter, men disse data begrænsninger er mindre almindelige, fordi forskere har tendens til at have flere deltagere og vide mere om dem. I denne anden data miljø, kan vi estimere heterogenitet behandlingseffekt for at give et fingerpeg om, hvordan behandlingen virker, hvordan det kan forbedres, og hvordan det kan målrettes til dem, mest sandsynligt til gavn.

To eksempler på heterogenitet behandlingseffekt i forbindelse med sociale normer og energiforbrug kommer fra yderligere forskning på Home Energy Reports. Først Allcott (2011) brugte den store prøvestørrelse (600.000 husstande) for yderligere at opdele prøven og vurdere effekten af Home Energy Report ved decil af forbehandling energiforbrug. Mens Schultz et al. (2007) fandt forskelle mellem tunge og lette brugere, Allcott (2011) fandt, at der var også forskelle inden for tunge og lette brugergruppe. For eksempel er de tungeste brugere (dem i den øverste decil) reducerede deres energiforbrug dobbelt så meget som en person i midten af ​​den tunge brugergruppe (figur 4.7). Endvidere estimere effekten af ​​forbehandling adfærd viste også, at der ikke var en boomerang-effekt, selv for de letteste brugere (Figur 4.7).

Figur 4.7: Uensartede regler om behandling effekter i Allcott (2011) . Faldet i energiforbruget var anderledes for folk i forskellige deciler af baseline brug.

I en beslægtet undersøgelse, Costa and Kahn (2013) spekuleret på, at effektiviteten af Home Energy Report kunne variere baseret på en deltagers politisk ideologi, og at behandlingen kan faktisk få folk med visse ideologier til at øge deres elforbrug. Med andre ord, de spekuleret på, at Home Energy rapporter kunne være at skabe en boomerang effekt for nogle typer af mennesker. For at vurdere denne mulighed, Costa og Kahn fusionerede den Opower data med data købt fra en tredjepart aggregator, der omfattede oplysninger såsom politisk registrering parti, donationer til miljøorganisationer, og husholdningernes deltagelse i programmer for vedvarende energi. Med denne fusionerede datasæt, Costa og Kahn fandt, at Home Energy rapporter givet stort set lignende virkninger for deltagerne med forskellige ideologier; var der ingen tegn på, at enhver gruppe udviste boomerang effekt (Figur 4.8).

Figur 4.8: Uensartede regler om behandling effekter i Costa and Kahn (2013) . Den anslåede gennemsnitlige behandlingseffekt for hele prøven er -2,1% [-1,5%, -2,7%]. Ved at kombinere information fra forsøget med oplysninger om de husholdninger, Costa and Kahn (2013) anvendte en række statistiske modeller til at estimere behandlingseffekt til meget specifikke grupper af mennesker. To estimater præsenteres for hver gruppe, fordi skønnene afhænger af kovariater, de indgår i deres statistiske modeller (se model 4 og model 6 i tabel 3 og tabel 4 i Costa and Kahn (2013) ). Som dette eksempel illustrerer, kan behandlingseffekt være forskellige for forskellige mennesker og estimater af behandlingseffekt, der kommer fra statistiske modeller kan stole på detaljerne i disse modeller (Grimmer, Messing, and Westwood 2014) .

Da disse to eksempler illustrerer, i den digitale tidsalder, kan vi flytte fra estimering gennemsnitlige behandlingseffekt at estimere heterogenitet behandlingseffekt, fordi vi kan have mange flere deltagere, og vi ved mere om de deltagere. Læring om heterogenitet behandlingseffekt kan aktivere målretning af en behandling, hvor det er mest effektivt, give fakta, der stimulerer ny teoriudvikling, og give hints om en mulig mekanisme, det emne, som jeg nu vende.