4.3実験の二次元：ラボ・フィールドとアナログ-デジタル

ラボ実験は、フィールド実験は、リアリズムを提供し、デジタルフィールド実験はスケールで制御し、リアリズムを組み合わせ、コントロールを提供します。

実験にはさまざまな形やサイズがあります。これまで、研究者は、実験室実験と現場実験の連続体に沿って実験を構成することが有用であることを発見しました。しかし、今や研究者はアナログ実験とデジタル実験の第2の連続体に沿って実験を組織するべきである。この2次元の設計スペースは、さまざまなアプローチの長所と短所を理解し、最大の機会の領域を強調するのに役立ちます（図4.1）。

図4.1：実験のための設計空間の概略図。過去には、実験はラボフィールド次元に沿って変化しました。現在では、アナログ - デジタルの次元も異なります。この2次元の設計空間は、この章で説明する4つの実験によって示されています。私の意見では、最大の機会の領域はデジタルフィールド実験です。

実験を構成できる次元は、ラボフィールドの次元です。社会科学における多くの実験は、学部生がコースクレジットのためにラボで奇妙な作業を行うラボ実験です。このタイプの実験は、研究者が社会行動に関する特定の理論を正確に分離してテストするための高度に制御された設定を作成できるため、心理学における研究を支配しています。しかし、ある種の問題については、そのような珍しい環境でこのような異常な作業を行うような異常な人々からの人間の行動に関する強い結論を引き出すことについては、何か奇妙なことが感じられます。これらの懸念は、 現場実験に向けた動きにつながった。フィールド実験は、無作為化対照実験の強力な設計と、より自然な設定でより一般的な作業を行う参加者のより代表的なグループとを組み合わせたものである。

ラボや野外実験を競合する方法と考える人もいますが、強みと弱みが相補的であると考えることが最善です。たとえば、 Correll, Benard, and Paik (2007)は、「母性罰」の原因を見つけるために、実験室実験と現場実験の両方を使用していました。米国では、母親は子供がいない女性よりも、同様の職場で働く同様のスキルを持つ女性を比較する。このパターンには多くの可能な説明があります。その1つは、雇用者が母親に偏っているということです。母親に対する偏見の可能性を評価するために、Correllらは2つの実験を行いました.1つは実験室で、もう1つは実験で実行されました。

最初に、実験室での実験で、彼らは大学生である参加者に、新しい東海岸のマーケティング部門を率いる人の雇用調査を行っていると語った。学生は、採用プロセスにおいて彼らの助けが必要であると言われ、いくつかの潜在的な候補者の履歴書をレビューし、知性、暖かさ、仕事へのコミットメントなど、さまざまな次元で候補者を評価するよう求められました。さらに、学生は、応募者を雇うことを勧めているかどうか、初回給与として何を推薦するかを尋ねられました。しかし、学生に知られていないが、履歴書は、一つのことを除いて、似ているように具体的に構成されていた。そのうちのいくつかは母親のことを示していた。 Correllらは、生徒の母親の雇用率が低く、初めの給与を低くしていることを示していることを明らかにしました。さらに、格付けと雇用関連の両方の決定の統計分析を通じて、Correllらは、母親の不利な点は主に能力とコミットメントの点で評価が低いという事実によって説明されることを見出した。このように、この実験室実験により、Correllらは因果的効果を測定し、その効果を説明することができました。

もちろん、おそらくフルタイムの仕事をしたことのない数百人の学部生の決定に基づいて、米国の労働市場全体についての結論を導くことについては懐疑的かもしれない。したがって、Correllらも相補的な圃場実験を行った。彼らは偽のカバーレターと履歴書で何百もの宣伝された求人に応えました。学部生に示されている資料と同様に、いくつかは母親に合図し、一部は再開しませんでした。コーレル（Correll）らは、母親が、同等の資質を持った子どもがいない女性よりも、インタビューのために電話を受ける機会が少なくなっていることを発見しました。言い換えれば、自然な環境で必然的な決定を下す実際の雇用主は、学部のように行動しました。彼らは同じ理由で同様の決定をしましたか？残念ながら、私たちは知らない。研究者は、雇用主に候補者を評価したり、その決定を説明したりするよう求めなかった。

この実験のペアは、一般的にラボや野外実験についてたくさんのことを明らかにしています。ラボ実験は、研究者が参加者が決定を下す環境をほぼ完全に制御できるようにします。たとえば、実験室の実験では、Correllとその同僚はすべての履歴書が静かな環境で読み込まれるようにすることができました。現場実験では、いくつかの履歴書が読み込まれていない可能性もあります。さらに、研究室の参加者は研究中であることを知っているため、研究者はなぜ参加者が自分の意思決定をしているのかを説明するのに役立つ追加データを収集することができます。例えば、Correllらは実験室参加者に異なる次元で候補者を評価するように頼んだ。この種のプロセスデータは、研究者が履歴書をどのように扱うかの違いの背後にあるメカニズムを研究者が理解するのに役立ちます。

一方、私が今まで利点と述べてきたまったく同じ特性は、時には不利な点も考慮されています。現場実験を好む研究者は、研究室の実験参加者は、彼らが研究されていることを知っているため、非常に異なる行動をとる可能性があると主張している。例えば、実験室実験では、参加者は研究の目標を推測し、偏見を示さないように行動を変えた可能性があります。さらに、現場実験を希望する研究者は、履歴書の小さな違いは非常にきれいで無菌なラボ環境でしか目立たないと主張するかもしれないので、実験室の実験は実際の採用決定に対する母親の影響を過大評価するであろう。最後に、現場実験の多くの支持者は、実験室の実験者がWEIRD参加者に依存していることを批判している。主に西洋、教育、工業、裕福、民主国の学生である(Henrich, Heine, and Norenzayan 2010a) 。 Correllらの実験(2007)は、ラボフィールド連続体の2つの極端な例を示しています。これらの2つの極端な状況の間には、学生以外の学生を研究室に連れて行くか、フィールドに入るなどのアプローチを含むさまざまなハイブリッドデザインもありますが、依然として参加者に異常な仕事をさせることがあります。

過去に存在していたラボフィールドの次元に加えて、デジタル時代は、研究者が今や実験が変わる第2の主要な次元、すなわちアナログ - デジタルを有することを意味する。純粋な実験室実験、純粋な実地実験、そして様々なハイブリッドがあるのと同じように、純粋なアナログ実験、純粋なデジタル実験、および様々なハイブリッドがあります。この次元の正式な定義を提供するのが難しいですが、便利な実用的な定義は、 フルデジタルの実験は 、参加者を募集ランダム化、治療を提供し、成果を測定するためのデジタル・インフラを活用した実験であるということです。たとえば、Restivoとvan de Rijt (2012)のバーンスタールとWikipediaの研究は、これらのステップの4つすべてでデジタルシステムを使用しているため、完全にデジタルの実験でした。同様に、 完全なアナログ実験は、これらの4つのステップのいずれにもデジタルインフラストラクチャを使用していません。心理学における古典的な実験の多くは完全にアナログの実験です。これら2つの極端な状況の間には、アナログとデジタルのシステムを組み合わせた部分的なデジタル実験が行われています。

デジタル実験を考えている人は、すぐにオンライン実験を考えます。デジタル実験を行う機会は単なるオンラインではないので、これは残念です。研究者は、治療や成果を提供するために、物理的な世界でデジタルデバイスを使用して部分的にデジタル実験を行うことができます。たとえば、研究者はスマートフォンを使用して、構築された環境で治療やセンサーを提供し、結果を測定することができます。事実、この章の後半にあるように、研究者は既に家庭用電力計を使用して、850万世帯(Allcott 2015)エネルギー消費に関する実験結果を測定しています。デジタル機器が人々の生活にますます統合され、センサーがビルドされた環境に統合されるようになると、物理的な世界で部分的にデジタル実験を実行するこれらの機会が劇的に増加します。つまり、デジタル実験は単なるオンライン実験ではありません。

デジタルシステムは、実験室の連続体に沿ってどこでも実験のための新しい可能性を生み出します。たとえば、純粋な実験室実験では、研究者はデジタルシステムを使用して参加者の行動をより詳細に測定することができます。このタイプの改善された測定の一例は、注視位置の正確で連続的な測定を提供する視線追跡装置である。デジタル時代は、ラボのような実験をオンラインで実行する可能性も生み出しています。例えば、研究者は、オンライン実験の参加者を募集するためにAmazon Mechanical Turk（MTurk）を急速に採用しています（図4.2）。 MTurkは、完了しなければならないタスクを持っている「雇用者」と、それらのタスクをお金で完了したい「労働者」と一致させます。しかし、従来の労働市場とは異なり、通常は関係する作業に数分しかかからず、雇用者と労働者の相互作用はすべてオンラインです。 MTurkは伝統的な実験室のような実験を模倣しています。つまり、人々が自由に行えない作業を完了するためには、自然に特定の種類の実験に適しています。基本的に、MTurkは参加者プール（人材の募集と支払い）を管理するためのインフラストラクチャを作成しており、研究者はそのインフラストラクチャを利用して常に利用可能な参加者プールにアクセスしています。

図4.2：Amazon Mechanical Turk（MTurk）のデータを使用して公開された論文MTurkと他のオンライン労働市場は研究者に参加者を実験のために募集する便利な方法を提供します。 Bohannon (2016)から適応。

デジタルシステムは、フィールドライクな実験の可能性をさらに高めます。特に、研究者は、研究室の実験に関連する厳しい制御とプロセスのデータを、より多様な参加者と、実験室の実験に関連するより自然な設定と組み合わせることができます。さらに、デジタルフィールド実験では、アナログ実験では困難な3つの機会が提供されています。

まず、ほとんどのアナログラボやフィールドの実験には数百人の参加者がいますが、デジタルフィールド実験には何百万人もの参加者がいます。このようなスケールの変化は、いくつかのデジタル実験では可変コストゼロのデータを生成できるためです。つまり、研究者が実験的なインフラストラクチャを作成すると、一般的に参加者の数を増やしてもコストは増加しません。参加者数を100倍以上に増やすことは単なる量的な変化ではありません。 （例えば、治療効果の異質性）を学び、まったく異なる実験デザイン（例えば、大群実験）を行うことができるので、 質的変化である。この点はとても重要なので、私はデジタル実験の作成についてアドバイスをするときに、この章の最後に戻ってきます。

第二に、ほとんどのアナログラボと現場実験では参加者を見分けがつかないウィジェットとして扱いますが、デジタルフィールド実験では、研究の設計段階や分析段階で参加者に関する背景情報を使用することがよくあります。 前処理情報と呼ばれるこの背景情報は、常時測定システム（第2章参照）の上で実行されるため、デジタル実験で利用できることがよくあります。たとえば、Facebookの研究者は、大学の研究者が自分のアナログフィールド実験の人々について持っているよりも、自分のデジタルフィールド実験の人に関するより多くの前処理情報を持っています。この前処理により、ブロッキング(Higgins, Sävje, and Sekhon 2016)や参加者の募集(Eckles, Kizilcec, and Bakshy 2016)などのより効率的な実験デザインが可能になり、治療効果の異質性の推定などのより洞察的な分析が可能になります(Athey and Imbens 2016a)および改善された精度のための共変量の調整(Bloniarz et al. 2016) 。

第三に、多くのアナログラボや現場実験では処理時間が短縮され、結果の測定に時間がかかりますが、デジタルフィールド実験のほうがはるかに長い時間スケールにわたって行われます。たとえば、Restivoとvan de Rijtの実験では、結果は90日間毎日測定されていましたが、後で(Ferraro, Miranda, and Price 2011)の章で説明する実験の1つは、基本的にコスト。これらの3つの機会（サイズ、前処理情報、縦方向処理および結果データ）は、常時測定システム（常時測定システムの詳細については第2章を参照）の上で実験を行う場合に最も一般的に発生します。

デジタルフィールドの実験は多くの可能性を提供しますが、アナログラボとアナログの両方のフィールド実験にもいくつかの弱点があります。例えば、実験は過去を研究するために使用することはできず、操作できる治療の効果を評価することしかできません。また、実験は政策を導くうえで間違いなく役立つが、環境依存、コンプライアンス問題、平衡効果などの複雑さのために、彼らが提供できる正確なガイダンスはいくらか制限されている(Banerjee and Duflo 2009; Deaton 2010) 。デジタルフィールドの実験では、フィールド実験で作成された倫理的な問題も拡大しています。これについては、この章と第6章で後述します。