實驗通常測量平均效果,但效果可能並不是每個人都一樣。
超越簡單實驗的第二個關鍵思想是治療效果的異質性 。 Schultz et al. (2007)的實驗Schultz et al. (2007)有力地說明了相同的治療如何對不同類型的人產生不同的影響(圖4.4)。然而,在大多數模擬實驗中,研究人員關注的是平均治療效果,因為參與者數量很少,而且很少有人知道。然而,在數字實驗中,通常會有更多的參與者,並且對它們了解更多。在這種不同的數據環境中,繼續僅估計平均治療效果的研究人員將錯過對治療效果異質性的估計可以提供關於治療如何起作用,如何改善以及如何定位的線索的方法。對那些最有可能受益的人。
治療效果異質性的兩個例子來自對家庭能源報告的進一步研究。首先, Allcott (2011)使用大樣本量(600,000個家庭)進一步分割樣本,並通過治療前能量使用的十分位數估算家庭能源報告的影響。而Schultz et al. (2007)發現重度和輕度用戶之間存在差異, Allcott (2011)發現重度和輕度用戶群之間也存在差異。例如,最重的用戶(最高十分位數的用戶)減少了兩倍於重度用戶群中間人的能量使用量(圖4.8)。此外,通過預處理行為估計效果還表明,即使對於最輕的用戶,也沒有迴旋鏢效應(圖4.8)。
在一項相關研究中, Costa and Kahn (2013)推測,家庭能源報告的有效性可能因參與者的政治意識形態而異,並且治療可能實際上會導致某些意識形態的人增加用電量。換句話說,他們推測家庭能源報告可能會為某些類型的人創造迴旋鏢效應。為了評估這種可能性,Costa和Kahn將Opower數據與從第三方聚合器購買的數據合併,其中包括政黨登記,向環保組織捐款和家庭參與可再生能源計劃等信息。通過這個合併的數據集,Costa和Kahn發現家庭能源報告為具有不同意識形態的參與者產生了大致相似的效果;沒有證據表明任何一組都表現出迴旋鏢效應(圖4.9)。
正如這兩個例子所示,在數字時代,我們可以從估計平均治療效果轉變為估計治療效果的異質性,因為我們可以有更多的參與者,我們對這些參與者了解得更多。了解治療效果的異質性可以使治療目標最有效,提供刺激新理論發展的事實,並提供關於可能機制的提示,我現在轉向的主題。