4.4.2 Heterogenitet af behandlingseffekt

Eksperimenter måler normalt den gennemsnitlige effekt, men effekten er sandsynligvis ikke den samme for alle.

Den anden nøgleide for at gå ud over simple forsøg er heterogenitet af behandlingseffekter . Eksperimentet af Schultz et al. (2007) illustrerer kraftigt, hvordan den samme behandling kan have en anden effekt på forskellige slags mennesker (figur 4.4). I de fleste analoge eksperimenter fokuserede forskerne på gennemsnitlige behandlingseffekter, fordi der var et lille antal deltagere, og der var lidt kendt om dem. I digitale eksperimenter er der imidlertid ofte mange flere deltagere, og der er mere kendt om dem. I dette forskellige datamiljø vil forskere, der fortsætter med at estimere kun gennemsnitlige behandlingseffekter, savne de måder, hvorpå skøn over heterogeniteten af ​​behandlingseffekter kan give spor om, hvordan en behandling virker, hvordan den kan forbedres og hvordan den kan målrettes til de mest tilbøjelige til at drage fordel af.

To eksempler på heterogenitet af behandlingseffekter kommer fra yderligere undersøgelser af Home Energy Reports. For det første Allcott (2011) den store stikprøvestørrelse (600.000 husstande) til yderligere at opdele prøven og estimere effekten af ​​Home Energy Report ved decile af forbehandlingens energiforbrug. Mens Schultz et al. (2007) fandt forskelle mellem tunge og lette brugere, fandt Allcott (2011) , at der også var forskelle inden for tung- og lette brugergruppen. For eksempel reducerede de tungeste brugere (dem i top decile) deres energiforbrug dobbelt så meget som nogen i midten af ​​heavy user-gruppen (figur 4.8). Endvidere afslørede estimeringen af ​​effekten ved præ-behandling adfærd, at der ikke var nogen boomerang-effekt, selv for de letteste brugere (figur 4.8).

Figur 4.8: Heterogenitet af behandlingseffekter i Allcott (2011) . Faldet i energiforbruget var anderledes for mennesker i forskellige deciler af baseline brug. Tilpasset fra Allcott (2011) , figur 8.

I en relateret undersøgelse spekulerede Costa and Kahn (2013) , at effektiviteten af ​​Home Energy Report kunne variere ud fra en deltagers politiske ideologi, og at behandlingen måske rent faktisk ville få folk med bestemte ideologier til at øge deres elforbrug. Med andre ord spekulerede de, at Home Energy Reports kunne skabe en boomerang-effekt for nogle typer mennesker. For at vurdere denne mulighed fusionerede Costa og Kahn Opower dataene med data købt fra en tredjeparts aggregator, der indeholdt oplysninger som politisk partisregistrering, donationer til miljøorganisationer og deltagelse i vedvarende energi i husholdningen. Med dette fusionerede datasæt fandt Costa og Kahn, at Home Energy Reports producerede stort set lignende effekter for deltagere med forskellige ideologier; Der var ingen tegn på, at en gruppe udviser boomerang-effekter (figur 4.9).

Figur 4.9: Heterogenitet af behandlingseffekter i Costa and Kahn (2013) . Den anslåede gennemsnitlige behandlingseffekt for hele prøven er -2,1% [-1,5%, -2,7%]. Efter at have kombineret oplysninger fra eksperimentet med oplysninger om husholdningerne, brugte Costa and Kahn (2013) en række statistiske modeller til at estimere behandlingseffekten for meget specifikke grupper af mennesker. To estimater præsenteres for hver gruppe, fordi estimaterne afhænger af de kovariater, de indgår i deres statistiske modeller (se modeller 4 og 6 i tabeller 3 og 4 i Costa and Kahn (2013) ). Som dette eksempel illustrerer, kan behandlingseffekter være forskellige for forskellige mennesker, og skøn over behandlingseffekter, som kommer fra statistiske modeller, kan afhænge af detaljerne i disse modeller (Grimmer, Messing, and Westwood 2014) . Tilpasset fra Costa and Kahn (2013) , tabel 3 og 4.

Som disse to eksempler illustrerer, kan vi i den digitale tidsalder flytte fra estimering af gennemsnitlige behandlingseffekter til at estimere heterogeniteten af ​​behandlingseffekter, fordi vi kan have mange flere deltagere, og vi ved mere om disse deltagere. At lære om heterogenitet af behandlingseffekter kan muliggøre målretning af en behandling, hvor den er mest effektiv, give fakta, der stimulerer ny teoriudvikling, og give tip om mulige mekanismer, det emne, som jeg nu drejer om.