4.1はじめに

この本の観察行動（第2章）と質問（第3章）でこれまでに取り上げられてきたアプローチでは、研究者は意図的かつ体系的に世界を変えずにデータを収集します。この章で取り上げているアプローチ、つまり実践的な実験は根本的に異なります。研究者が実験を実行すると、世界に体系的に介入し、原因と結果の関係に関する質問に答えるのに理想的なデータを作成します。

因果関係の質問は、社会調査では非常に一般的です。その例には次のような質問があります。最低賃金が雇用率に与える影響は何ですか？求人応募者の人種は、仕事を得るチャンスにどのように影響しますか？これらの明示的な因果関係の質問に加えて、場合によっては原因と結果の質問が、いくつかのパフォーマンスメトリックの最大化に関するより一般的な質問に暗示されることがあります。たとえば、「NGOのウェブサイトに寄付するボタンは何色ですか」という質問は、さまざまなボタンの色が寄付に及ぼす影響について、本当にたくさんの質問です。

原因と結果の質問に答える1つの方法は、既存のデータのパターンを探すことです。例えば、教師の給与が学生の学習に及ぼす影響についての質問に戻ると、教師の給与が高い学校でより多くのことを学ぶことができます。しかし、この相関関係は、給与が高いほど生徒はより多くのことを学べることを示していますか？もちろん違います。教師がより多くを獲得する学校は、さまざまな点で異なる可能性があります。たとえば、教員給与の高い学校の学生は、富裕層の家族から来る可能性があります。したがって、教師の効果のように見えるものは、異なるタイプの学生を比較することによって得られます。これらの測定されていない学生間の違いは、 交絡者と呼ばれ、一般に、混乱者の可能性は、既存のデータのパターンを探して原因と結果の問題に答える研究者の能力を破壊する。

混乱者の問題に対する1つの解決法は、グループ間の観察可能な差異を調整することによって公正な比較を試みることである。たとえば、多くの政府のウェブサイトから財産税データをダウンロードすることができます。住宅価格は似ていますが、教師の給与が異なる学校では、学生の成績を比較することができます。しかし、まだ多くの可能性のある混乱があります。多分、これらの学生の両親は、教育のレベルが異なっています。あるいは、公立図書館との親密性が異なるかもしれない。あるいは、教員賃金の高い学校でも校長の賃金が高く、教員給与ではなく元本賃金が本当に学生の学習を増やしています。これらの要因も測定し調整することができますが、可能性のある混乱要因のリストは基本的に無限です。多くの状況では、すべての可能性のある混乱を測定し調整することはできません。この課題に応えて、研究者は非実験データから因果推定を行うためのいくつかの手法を開発しました。そのうちのいくつかについては第2章で説明しましたが、ある種の問題についてはこれらの手法は限られており、代替。

実験により、特定の原因と結果の質問に確実に答えるために、研究者は自然発生データの相関関係を超えて移動することができます。アナログ時代には、実験はしばしば論理的に困難で高価でした。現在、デジタル時代になると、物流の制約が次第に消え去っています。過去に行われたような実験を行う方が簡単なだけでなく、新しい種類の実験を実行することも可能です。

私が今までに書いたことでは、自分の言葉では少し緩いですが、実験と無作為化された実験の2つを区別することが重要です。 実験では、研究者が世界に介入し、結果を測定します。私はこのアプローチを「摂動と観察」と表現していると聞いています。 無作為化された実験では 、研究者が一部の人には介入し、他者には介入しませんでした。無作為化対照実験は、2つの群、すなわち介入を受けたものと受け入れていないものとの間の公正な比較をもたらす。換言すれば、無作為化された制御実験は、交絡者の問題に対する解決策である。しかし、摂動と観測の実験では、介入を受けたグループは1つしか含まれていないため、結果は研究者を間違った結論に導く可能性があります（私がすぐに示すように）。実験と無作為化された実験との間の重要な違いにもかかわらず、社会研究者はしばしばこれらの用語を同じ意味で使用する。私はこのコンベンションに従いますが、ある時点で、無作為化のない実験や対照群に比べ無作為化対照実験の価値を強調するために条約を打ち切ります。

無作為化された制御実験は、社会の世界について学ぶ強力な方法であることが証明されています。この章では、研究でそれらを使用する方法について詳しく説明します。 4.2節では、Wikipediaに関する実験の例を用いて、実験の基本的な論理を説明します。次に、4.3節では、ラボ実験と現場実験の違いと、アナログ実験とデジタル実験の違いについて説明します。さらに、私は、デジタル・フィールド実験が、以前は不可能だったスケールで、アナログ・ラボ実験（タイト・コントロール）とアナログ・フィールド・テスト（リアリズム）の最高の機能を提供できると主張します。次に、セクション4.4では、豊かな実験を設計する上で重要な3つの概念（有効性、治療効果の異質性、メカニズム）について説明します。その背景で、デジタル実験を行うための2つの主要な戦略に関わるトレードオフについて説明します。最後に、デジタル実験の実際の能力（セクション4.6.1）をどのように活用し、そのパワーに伴ういくつかの責任（セクション4.6.2）について説明するために、いくつかの設計アドバイスを締結します。