실험은 일반적으로 평균 효과를 측정하지만 효과는 모든 사람에게 동일하지는 않습니다.
간단한 실험을 넘어서는 두 번째 핵심 아이디어 는 치료 효과의 이질성입니다 . Schultz et al. (2007) 은 동일한 치료가 다른 종류의 사람들에게 다른 효과를 줄 수 있음을 강력하게 설명한다 (그림 4.4). 그러나 대부분의 아날로그 실험에서 연구원은 소수의 참가자가 있었고 거의 알려지지 않았기 때문에 평균 치료 효과에 중점을 두었습니다. 그러나 디지털 실험에서는 종종 더 많은 참가자가 있으며 그 이상이 참가자들에게 많이 알려져 있습니다. 이 다른 데이터 환경에서 평균 치료 효과 만 계속 측정하는 연구자는 치료 효과의 이질성에 대한 추정치가 치료가 어떻게 작동하는지, 어떻게 개선 될 수 있는지, 어떻게 타겟팅 할 수 있는지에 대한 단서를 제공 할 수있는 방법을 놓치게 될 것입니다 가장 유익한 사람들에게
치료 효과의 이질성에 대한 두 가지 예는 가정 에너지 보고서에 대한 추가 연구에서 비롯된 것입니다. 첫째, Allcott (2011) 은 시료를 더 나누고 가정 에너지 보고서의 효과를 전처리 에너지 사용량의 십분의 Allcott (2011) 하기 위해 큰 표본 크기 (60 만 가구)를 사용했습니다. Schultz et al. (2007) 은 무거운 사용자와 가벼운 사용자의 차이점을 발견 Allcott (2011) , Allcott (2011) 은 가볍고 가벼운 사용자 그룹에서도 차이점이 있음을 발견했습니다. 예를 들어 가장 무거운 사용자 (상위 십분 위의 사용자)는 중대 규모 사용자 그룹의 중간에있는 사용자의 두 배 에너지 사용량을 줄였습니다 (그림 4.8). 또한, 전처리 행태에 의한 효과를 평가 한 결과, 가장 가벼운 사용자들조차도 부메랑 효과가 없음이 드러났습니다 (그림 4.8).
관련 연구에서 Costa and Kahn (2013) 은 가정 에너지 보고서의 효과가 참여자의 정치 이데올로기에 따라 달라질 수 있고 실제로 이데올로기가있는 사람들이 전기 사용을 늘릴 수 있다고 추측했습니다. 다른 말로 가정 에너지 보고서 (Home Energy Reports)는 일부 유형의 사람들에게 부메랑 효과 (boomerang effect)를 일으킬 수 있다고 추측했다. 이러한 가능성을 평가하기 위해 Costa와 Kahn은 Opower 데이터를 정당 등록, 환경 단체 기부금 및 재생 가능 에너지 프로그램에 대한 가구 참여 등의 정보가 포함 된 제 3 자 애그리 게이터에서 구입 한 데이터와 병합했습니다. 이 합병 된 데이터 세트를 통해 Costa와 Kahn은 가정 에너지 보고서가 서로 다른 이데올로기를 가진 참가자들에게 광범위하게 유사한 효과를 만들어내는 것을 발견했습니다. 어떤 그룹이 부메랑 효과를 나타냈다는 증거는 없었다 (그림 4.9).
이 두 가지 예에서 알 수 있듯이 디지털 시대에 우리는 더 많은 참가자가있을 수 있고 참가자에 대해 더 많이 알고 있기 때문에 평균 치료 효과를 추정하는 것에서 치료 효과의 이질성을 추정하는 것으로 이동할 수 있습니다. 치료 효과의 이질성에 대해 배우면 가장 효과적 인 치료법을 타겟팅하고 새로운 이론 개발을 자극하는 사실을 제공하며 가능한 메커니즘에 대한 힌트를 제공 할 수 있습니다.