4.4.2 Różnice w zakresie efektów leczenia

Eksperymenty zwykle mierzą średni efekt, ale efekt prawdopodobnie nie jest taki sam dla wszystkich.

Drugim kluczowym pomysłem na wyjście poza proste eksperymenty jest niejednorodność efektów leczenia . Eksperyment Schultz et al. (2007) wyraźnie ilustruje, jak to samo leczenie może mieć różny wpływ na różne rodzaje ludzi (rysunek 4.4). W większości eksperymentów analogowych badacze skupili się jednak na średnich efektach leczenia, ponieważ liczba uczestników była niewielka i niewiele o nich wiadomo. Jednak w eksperymentach cyfrowych jest często o wiele więcej uczestników i więcej o nich wiadomo. W tym innym środowisku danych naukowcy, którzy nadal będą oceniać jedynie średnie efekty leczenia, stracą możliwość oszacowania heterogeniczności efektów leczenia, co może dostarczyć wskazówek, jak leczenie działa, jak można je poprawić i jak można je ukierunkować tym, którzy najbardziej skorzystają.

Dwa przykłady niejednorodności efektów leczenia pochodzą z dodatkowych badań dotyczących domowych raportów energetycznych. Po pierwsze, Allcott (2011) wykorzystał dużą próbkę (600 000 gospodarstw domowych), aby dalej podzielić próbkę i oszacować wpływ Raportu Energetyki Krajowej na decyl zużycia energii przed traktowaniem. Podczas Schultz et al. (2007) stwierdzili różnice między użytkownikami ciężkimi i lekkimi, Allcott (2011) stwierdził, że istnieją również różnice w grupie użytkowników ciężkich i lekkich. Na przykład najciężsi użytkownicy (ci z górnego decyla) zmniejszyli zużycie energii dwukrotnie więcej niż ktoś w środku grupy użytkowników ciężkich (rysunek 4.8). Ponadto, oszacowanie efektu poprzez zachowanie przed leczeniem ujawniło również, że nie było efektu bumerangu, nawet dla najlżejszych użytkowników (rysunek 4.8).

Wykres 4.8: Niejednorodność efektów leczenia w Allcott (2011) . Zmniejszenie zużycia energii było inne dla ludzi w różnych decylach z użyciem linii bazowej. Adaptacja z Allcott (2011) , rysunek 8.

W powiązanym badaniu Costa and Kahn (2013) spekulowali, że skuteczność Raportu o Energii może się różnić w zależności od politycznej ideologii uczestnika i że leczenie może rzeczywiście spowodować, że ludzie z pewnymi ideologiami będą zwiększać zużycie energii elektrycznej. Innymi słowy, spekulowali, że Home Energy Reports mogą stworzyć efekt bumerangu dla niektórych typów ludzi. Aby ocenić tę możliwość, Costa i Kahn połączyli dane Opower z danymi zakupionymi od zewnętrznego agregatora, który zawierał informacje takie jak rejestracja partii politycznych, darowizny dla organizacji ekologicznych i udział gospodarstw domowych w programach energii odnawialnej. Dzięki temu połączonemu zestawowi danych Costa i Kahn odkryli, że Raporty Home Energy przyniosły zasadniczo podobne efekty dla uczestników o różnych ideologiach; nie było dowodów na to, że jakakolwiek grupa wykazywała efekty bumerangu (rysunek 4.9).

Wykres 4.9: Niejednorodność efektów leczenia w Costa and Kahn (2013) . Szacowany średni efekt leczenia dla całej próby wynosi -2,1% [-1,5%, -2,7%]. Po połączeniu informacji z eksperymentu z informacjami na temat gospodarstw domowych, Costa and Kahn (2013) wykorzystali szereg modeli statystycznych do oszacowania efektu leczenia dla bardzo specyficznych grup ludzi. Dla każdej grupy przedstawiono dwie szacunki, ponieważ szacunki zależą od współzmiennych zawartych w ich modelach statystycznych (patrz modele 4 i 6 w tabelach 3 i 4 w Costa and Kahn (2013) ). Jak ilustruje to przykład, efekty leczenia mogą być różne dla różnych osób, a szacunkowe efekty leczenia wynikające z modeli statystycznych mogą zależeć od szczegółów tych modeli (Grimmer, Messing, and Westwood 2014) . Dostosowane z Costa and Kahn (2013) , tabele 3 i 4.

Jak pokazują te dwa przykłady, w erze cyfrowej możemy przejść od szacowania średnich efektów leczenia do oszacowania heterogeniczności efektów leczenia, ponieważ możemy mieć o wiele więcej uczestników i wiemy więcej na temat tych uczestników. Poznanie heterogeniczności efektów leczenia może umożliwić ukierunkowanie leczenia, w którym jest ono najskuteczniejsze, dostarczyć faktów stymulujących rozwój nowej teorii i dostarczyć wskazówek na temat możliwych mechanizmów, do których teraz się zwracam.