4.3実験の二次元：ラボ・フィールドとアナログ-デジタル

ラボ実験は、フィールド実験は、リアリズムを提供し、デジタルフィールド実験はスケールで制御し、リアリズムを組み合わせ、コントロールを提供します。

実験は、多くの異なった形およびサイズ​​入って来。しかし、これらの違いにもかかわらず、研究者は研究室の実験 とフィールド実験間の連続体に沿って実験を整理することが役に立ったと評価していました。しかし、現在では、研究者はまた、アナログ実験とデジタル実験間の連続に沿って実験を整理する必要があります。この2次元設計空間を使用すると、異なるアプローチの長所と短所を理解し、最大の機会（図4.1）の領域を示唆するのに役立ちます。

図4.1：実験の設計空間の模式図。過去には、実験では、実験室視野寸法に沿って変化しました。今、彼らはまた、アナログ - デジタルディメンションで異なります。私の意見では、最大の機会の面積は、デジタルフィールド実験です。

過去には、研究者が実験を組織することを主な方法は、ラボ視野寸法に沿いました。社会科学における実験の大半は学部学生が単位時間のためにラボで奇妙なタスクを実行するラボ実験です。それは社会的行動について非常に具体的な理論をテストするために設計された非常に具体的な治療法を作成するために、研究者を可能にするため、この種の実験は、心理学の研究を支配します。特定の問題については、しかし、何かが、このような異常な設定では、このような異常なタスクを実行するような異常な人々から人間の行動についての強力な結論を描画について少し不思議な感じ。これらの懸念は、 フィールド実験に向けた動きにつながっています。フィールド実験では、より自然な設定で、より多くの一般的なタスクを実行する、参加者のより代表的なグループに無作為化対照実験の強力なデザインを兼ね備えています。

一部の人が競合する方法として、実験室とフィールド実験を考えているが、それは別の長所と短所が補完的な方法と考えるのがベストです。例えば、 Correll, Benard, and Paik (2007)の発生源を見つけるための試みでラボ実験とフィールド実験の両方を使用する「母性ペナルティを。 "米国では、母親は子どものいない女性よりも少ないお金を稼ぐ、場合でも、同様のスキルが同様の仕事での作業と女性を比較します。そこにこのパターンの多くの可能な説明があり、一つは雇用者が母親に対して付勢されていることです。 （興味深いことに、反対は父親のために真であるように思わ：彼らは同等の子供のいない男性よりも多くを獲得する傾向があります）。ラボ内の1つのフィールドで1：母親に対して実行される可能性のあるバイアスを評価するために、コレルらは二つの実験を実行しました。

まず、研究室の実験でコレルらは、カリフォルニアベースのスタートアップ通信会社が新しい東海岸のマーケティング部門をリードする人のための雇用の検索を行っていたこと、大学の学部生だった参加者を、語りました。学生は企業が採用プロセスに彼らの助けを望んでいたと言われたし、彼らはいくつかの潜在的な候補者の履歴書を検討し、そのような彼らの知性、暖かさ、そして仕事へのコミットメントとしての次元数に候補者を評価してもらいました。彼らが申請者と彼らが初任給としてお勧めするの雇用推薦する場合にはさらに、学生が質問しました。学生に知らないうちに、しかし、履歴書は、具体的には、一つのことを除いて類似しているように構築した：履歴書の一部は（PTAへの関与をリストすることによって）母性を合図し、いくつかはしませんでした。コレルは、学生が母親を雇うお勧めする可能性が低かったし、それらに低い初任給を提供することがわかりました。また、評価や雇用関連の決定の両方の統計的分析を通じて、コレルは母親の欠点は、主に母親が能力とコミットメントの面で低く評価されたという事実によって説明されることを見出しました。言い換えれば、コレルは、これらの形質は母親が不利な立場するメカニズムであることを主張しています。このように、このラボの実験は、コレルらは因果効果を測定し、その効果についての可能な説明を提供することができました。

もちろん、1はおそらくおろか、フルタイムの仕事を持っていた人を雇ったことがない数百大学生の決定に基づいて、全体の米国の労働市場についての結論を導き出すに懐疑的であるかもしれません。したがって、コレルらはまた、相補型電界実験を行いました。研究者は、偽のカバーレターと履歴書に送ることによってアドバタイズされた求人の数百に反応しました。大学生に示した材料と同様に、いくつかの履歴書は母性を合図し、いくつかはしませんでした。コレルらは、母親が均等に修飾された子供のいない女性よりも、インタビューのために戻って呼び出される可能性が低いことがわかりました。言い換えれば、自然の中で必然的な意思決定を行う本当の雇用者は多くの大学生のように振る舞いました。彼らは同じ理由で同様の決定を行いましたか？残念ながら、私たちは知りません。研究者は、候補者を評価または彼らの決定を説明するために雇用者に依頼することができませんでした。

実験のこのペアは、一般的には実験室とフィールド実験について多くのことを明らかにする。ラボ実験では、参加者が意思決定をする環境を完全にコントロール近い研究者を提供しています。だから、例えば、実験室の実験では、コレルは、すべての履歴書は、静かな環境の中で読まれたことを確認することができました。フィールド実験では、履歴書のいくつかのも読まれていない可能性があります。ラボ設定で参加者は、彼らが検討されていることを知っているので、また、研究者は多くの場合、参加者が自分の意思決定をしている理由を彼らが理解するのを助けることができる追加データを収集することができます。例えば、コレルは異なる寸法に候補者を評価するために実験室実験の参加者に尋ねました。 プロセスデータのこの種の研究者は、参加者が履歴書をどのように扱うかの違いの背後にあるメカニズムを理解するのに役立つ可能性があります。

一方、私は利点として説明し、これらのまったく同じ特性も時には欠点とみなされます。フィールド実験を好む研究者は、彼らがに観察されているときに、ラボ実験の参加者は非常に異なる作用することができると主張しています。バイアスされ表示されないように、例えば、実験室実験の参加者は、研究の目的を推測し、その動作を変更した可能性があります。また、フィールド実験を好む研究者は、履歴書上の小さな違いが非常にきれいで、無菌ラボ環境の中で目立つことができることを主張する人もいるかもしれない、したがって、ラボの実験は、実際の雇用の決定に母性の影響を過剰推定されます。主に教育を受けた西からの留学生、工業、リッチ、そして民主国：最後に、フィールド実験の多くの支持者は、WEIRD参加者に実験室実験の信頼批判(Henrich, Heine, and Norenzayan 2010)コレルらによる実験(2007)ラボ・フィールドの連続上の2つの両極端を示しています。これらの2つの両極端の間では、このようなラボに非学生をもたらすか、フィールドに入るが、それでも参加者が異例のタスクを実行したようなアプローチを備えたハイブリッドデザインの様々なものがあります。

アナログデジタル：過去に存在したラボ・フィールド寸法に加えて、デジタル時代は、研究者は現在、実験が変化することができるそれに沿って第二の主要寸法を有することを意味します。純粋な実験室の実験では、純粋なフィールド実験、との間で​​ハイブリッドの様々ながあるように、純粋なアナログ実験、純粋なデジタル実験、およびハイブリッドの様々なものがあります。この次元の正式な定義を提供するのが難しいですが、便利な実用的な定義は、 フルデジタルの実験は 、参加者を募集ランダム化、治療を提供し、成果を測定するためのデジタル・インフラストラクチャを利用する実験があるということです。例えば、Restivoとバン・デ・Rijtの(2012)それはこれらのステップの4つのすべてのためのデジタルシステムを使用したためbarnstarsとウィキペディアの研究では、フルデジタルの実験でした。同様に、 完全にアナログの実験は、これらの 4つのステップのいずれかのためのデジタルインフラを利用していない実験です。心理学の古典的な実験の多くは、アナログ実験です。これらの両極端の間に4つのステップのためのアナログおよびデジタルシステムの組合せを使用して部分的にデジタル実験があります。

批判的に、デジタル実験を実行するための機会はちょうどオンラインではありません。研究者は、治療またはメジャーの成果をお届けするために、物理的な世界でのデジタルデバイスを使用することによって部分的にデジタルの実験を実行することができます。例えば、研究者が成果を測定するために構築された環境で治療またはセンサを提供するためにスマートフォンを使用することができます。実際には、我々はこの章の後半で見るように、研究者は、すでに社会規範や世帯の850万伴うエネルギー消費量に関する実験で成果を測定するために家庭用電力計を使用していた(Allcott 2015)デジタル機器がますます建築環境に統合となり、人々の生活やセンサに統合さになるように、物理的な世界では、部分的にデジタルの実験を実行するために、これらの機会が飛躍的に増加します。言い換えれば、デジタルの実験は、単にオンラインの実験ではありません。

デジタルシステムは、ラボフィールドの連続に沿ってどこにでも実験のための新たな可能性を作成します。純粋なラボの実験では、例えば、研究者が参加者の行動の細かい測定のためのデジタルシステムを使用することができます。改良された測定のこのタイプの一例は、視線位置の正確で連続的な測定を提供するアイトラッキング装置です。デジタル時代には、オンラインラボのような実験を実行する可能性が作成されます。例えば、研究者は急速にオンライン実験（図4.2）のための参加者を募集するためにアマゾン機械トルコ人（MTurk）を採用しています。 MTurkはお金のためにこれらのタスクを完了したい「労働者」で完了する必要のあるタスクを持っている「雇用者」と一致します。伝統的な労働市場とは異なり、通常、関連するタスクのみを完了するまでに数分を必要とし、雇用主と労働者との間の完全な相互作用は、仮想です。自由それが天然の実験の特定のタイプに適しているために、彼らはしないだろうタスクを完了するために人々を伝統的なラボ-払っ実験のMTurk模倣側面ので。基本的に、MTurkは、参加者、募集のプールを管理し、人々と研究者は、参加者の常時利用可能なプールを活用するために、そのインフラを活用している支払うためのインフラストラクチャを作成しました。

図4.2：ペーパーアマゾンメカニカルターク（MTurk）からのデータを使用して公開(Bohannon 2016) MTurkや他のオンライン労働市場は、研究者の実験に参加者を募集するための便利な方法を提供します。

デジタル実験は、フィールドのような実験のためにさらに多くの可能性を作成します。デジタルフィールド実験は、（フィールド実験のような）自然環境の中で本当の意思決定を行う（ラボ実験など）の可能な機構とより多様な参加者を理解するために厳格な管理とプロセスデータを提供することができます。以前の実験の良好な特性の組み合わせに加えて、デジタルフィールド実験は、アナログラボとフィールド実験では困難であった3機会を提供しています。

まず、ほとんどのアナログラボとフィールド実験は、参加者の数百を持っているのに対し、デジタルフィールド実験は、参加者の何百万を持つことができます。一部のデジタル実験はゼロ可変コストでデータを生成することができるので、スケールの変化はあります。研究者は、典型的には、コストを増加させない参加者の数を増加させる、実験的基盤を作成したら、それは、です。 100倍以上の参加者の数を増やすことがちょうど量的変化ではありません、それは実験（例えば、治療効果の不均一性）から異なるものを学ぶために研究者を可能にするので、それは、 質的な変化であり、全く異なる実験計画を実行します（例えば、大規模なグループの実験）。私はデジタルの実験を作成する方法についてのアドバイスを提供する場合、この点は非常に重要ですが、私は章の終わりに向かって、それに戻ります。

第二に、ほとんどのアナログラボとフィールド実験は区別できないウィジェットのように参加者を扱うのに対し、デジタルフィールド実験は、多くの場合、研究の設計と解析の段階で参加者の背景情報を使用しています。彼らは完全に測定された環境で行われるため、 前処理情報と呼ばれるこの背景情報は、デジタル実験でしばしば利用可能です。例えば、Facebookのの研究者は、学部生と標準ラボ実験を設計する研究者よりもはるかに前処理情報を持っています。この前処理情報を区別できないウィジェットとして参加者の治療を越えて移動するために研究者を可能にします。具体的には、前処理情報は、ブロッキングなど、より効率的で実験的なそのような設計-可能(Higgins, Sävje, and Sekhon 2016) 、参加者の目標と募集(Eckles, Kizilcec, and Bakshy 2016) -およびそれ以上の洞察力に富んだ分析-そのような不均一性の推定などを治療効果の(Athey and Imbens 2016a)と精度向上のための共変量調整(Bloniarz et al. 2016)

多くのアナログラボとフィールド実験は時間の比較的圧縮された量で治療や対策の成果を提供し、一方、第三に、いくつかのデジタルフィールド実験は、時間をかけて配信することができ、効果も経時的に測定することができる治療を必要とします。例えば、RestivoとファンデRijtの実験は90日間毎日測定した結果を持っており、実験の1つは、私は約後の章であなたを教えてあげましょう(Ferraro, Miranda, and Price 2011)なし基本的に3年間の成果を追跡しますコスト。これらの三つの機会サイズ、前処理情報、および縦治療と結果実験は上で実行されている場合、最も一般的なデータは、ある常時オンの測定システム（常時オンの測定システムの詳細については、第2章を参照してください）​​。

デジタルフィールド実験は多くの可能性を提供していますが、彼らはまた、アナログラボとフィールド実験の両方でいくつかの弱点を共有しています。例えば、実験は、過去の研究に使用することができない、と彼らは操作することができる治療の効果を推定することができます。実験は間違いなく政策を案内するのに有用であるが、また、彼らが提供することができ、正確なガイダンスがあるため、このような環境依存性、コンプライアンスの問題、および平衡の影響などの合併症のやや限定されている(Banerjee and Duflo 2009; Deaton 2010)最後に、デジタルフィールド実験は、フィールド実験により作成された倫理的な問題を拡大します。フィールド実験の支持者は控えめにし、ランダムに何百万人もの人々によって作られた必然的な意思決定に介入する能力をトランペット。これらの機能は、特定の科学的な利点を提供していますが、彼らはまた、（研究者が大規模に「ラボラット」のような人々の治療としてそれについて考える）フィールド実験は倫理的に複雑にすることができます。また、参加者への可能な害に加えて、デジタルフィールド実験は、それらの規模の、また社会システムを作業の破壊についての懸念を上げることができる（例えば、RestivoとファンデRijtがあまりにも多くのbarnstarsを与えた場合はWikipediaの報酬システムを中断することへの懸念） 。