実験では通常、平均効果を測定しますが、効果はすべての人で同じではない可能性があります。
簡単な実験を超えて移動するための第2の重要なアイデアは、治療効果の異質性です 。 Schultz et al. (2007)の実験は、 Schultz et al. (2007)は、同じ治療法が異なる種類の人々にどのように異なる影響を与えるかを強く示している(図4.4)。しかし、ほとんどのアナログ実験では、参加者の数が少なく、それらについてほとんど知られていなかったため、研究者は平均的な治療効果に焦点を当てていました。しかし、デジタル実験では、多くの場合、より多くの参加者があり、より多くの参加者が知られています。この異なるデータ環境では、平均的な治療効果のみを推測し続けている研究者は、治療効果の異質性に関する推定が、治療の仕組み、改善の仕方、および標的化の方法についての手掛かりを提供する方法を見逃してしまいますメリットを最も享受する可能性のある人
治療効果の異質性の2つの例は、家庭エネルギー報告書に関する追加の研究から来ている。最初に、 Allcott (2011)はサンプルをさらに分割し、家庭エネルギー報告書の効果を前処理エネルギー使用量の10%で見積もるために大きなサンプルサイズ(60万世帯)を使用した。 Schultz et al. (2007)は、重いユーザーと軽いユーザーの違いを発見し、 Allcott (2011)は重いユーザーと軽いユーザーのグループにも違いがあることを発見しました。例えば、最も重いユーザー(トップデシルのユーザー)は、ヘビーユーザーグループの中央のユーザーの2倍のエネルギー使用量を削減しました(図4.8)。さらに、前処理行動による影響を見積もると、最も軽いユーザーであっても、ブーメラン効果はなかったことが明らかになった(図4.8)。
関連研究では、 Costa and Kahn (2013)は、参加者の政治イデオロギーに基づいて家庭エネルギー報告の有効性が異なると考えており、実際に特定のイデオロギーを持つ人々が電気使用量を増やす可能性があると推測している。言い換えれば、彼らは家庭のエネルギー報告が一部のタイプの人々にとってブーメラン効果を生み出していると推測している。この可能性を評価するために、CostaとKahnはOpowerデータを、政党登録、環境団体への寄付、再生可能エネルギープログラムへの家庭の参加などの情報を含むサードパーティアグリゲータから購入したデータとマージしました。この合併されたデータセットを用いて、コスタとカーンは、家庭エネルギー報告書が異なるイデオロギーを持つ参加者に広く類似の効果をもたらしたことを発見した。いずれの群もブーメラン効果を示したという証拠はなかった(図4.9)。
これらの2つの例が示すように、デジタル時代には、平均的な治療効果を推定することから、治療効果の異質性を推定することに移行することができます。治療効果の異質性を学ぶことで、治療が最も効果的である治療の標的となり、新しい理論発達を刺激する事実を提供し、可能なメカニズムについてのヒントを提供することができます。