4.2実験とは何ですか？

参加者の募集、治療のランダム化、治療の配信、および成果の測定：ランダム化比較実験は、4つの主要な成分を持っています。

無作為化制御実験には、参加者の募集、治療のランダム化、治療の送達、および結果の測定という4つの主要な要素があります。デジタル時代は実験の基本的な性質を変えるものではありませんが、それは論理的に簡単です。たとえば、過去には、何百万人もの人々の行動を測定することは難しいかもしれませんが、これは現在、多くのデジタルシステムで日常的に行われています。これらの新しい機会を活用する方法を理解できる研究者は、これまで不可能だった実験を実行することができます。

これをもっと具体的にするために、マイケル・レティボとArnout van de Rijt (2012)実験を考えてみましょう。彼らは、ウィキペディアに対する編集上の貢献に対する非公式のピア報酬の効果を理解したかったのです。特に、彼らはバーンスターの影響を研究しました。これは、ウィキペディアンが他のウィキペディアに勤勉とデューデリジェンスを認めてくれる賞です。 Restivoとvan de Rijtは、百人のウィキペディア人にバーンスタールを与えました。その後、彼らは今後90日間に受信者のWikipediaへの貢献を追跡しました。驚いたことに、彼らがバーンスタスターを授与した人々は、受け取った後に編集を少なくする傾向がありました。言い換えれば、バーンスタールは寄付を奨励するのではなく、落胆しているように見えました。

幸いにも、Restivoとvan de Rijtは「摂動と観測」実験を行っていませんでした。彼らはランダム化された制御実験を行っていた。そこで、100人のトップ寄稿者を選んでバーンスターを受け取るだけでなく、100人のトップ寄稿者を選んで寄付をしませんでした。これらの100は対照群として機能した。そして、批判的に、治療群にいた人と対照群にいた人はランダムに決定されました。

Restivoとvan de Rijtが対照群の人々の行動を観察すると、彼らの貢献も減少していることがわかりました。さらに、Restivoとvan de Rijtは、治療群の人々（すなわち、バーンスタットを受けた者）を対照群の人々と比較すると、治療群の人々が約60％以上寄与していることが分かった。言い換えれば、両方のグループの貢献は死にましたが、対照グループの貢献はずっと速くなっていました。

この研究が示すように、実験における対照群は、ある程度逆説的なやり方で重要である。 Barnstarsの効果を正確に測定するために、Restivoとvan de Rijtはバーンスタールを受け取らなかった人々を観察する必要がありました。多くの場合、実験に精通していない研究者は、対照群の驚くべき価値を理解することができません。 Restivoとvan de Rijtがコントロールグループを持っていなかった場合、彼らは間違った結論を正確に描いていたでしょう。コントロールグループは非常に重要であるため、主要なカジノ会社の最高経営責任者（CEO）は、窃盗、性的嫌がらせ、またはコントロールグループのない実験の実行のために、会社から解雇できるのは3つの方法しかないと述べています(Schrage 2011) 。

Restivoとvan de Rijtの研究は、募集、ランダム化、介入、および成果の4つの主要な要素を示しています。一緒に、これらの4つの成分は、科学者が相関を超えて移動し、治療の因果関係を測定することを可能にする。具体的には、無作為化とは、治療群および対照群の人々が類似することを意味する。これは、2つのグループ間の結果の相違が、交絡者ではなく治療に起因する可能性があるため、重要です。

Restivoとvan de Rijtの研究では、実験の仕組みをよく説明するだけでなく、デジタル実験のロジスティクスがアナログ実験のロジスティクスとは完全に異なっていることも示しています。 Restivoとvan de Rijtの実験では、誰にでもバーンスターを与えるのは簡単で、編集履歴はウィキペディアによって自動的に記録されるため、編集回数を追跡するのは簡単でした。治療法を提供し、無償でアウトカムを測定するこの能力は、過去の実験とは質的には異なります。この実験には200人の人が関わったが、2,000人、さらには2万人の人が走っていた可能性がある。研究者が実験を100倍に拡大することを妨げる主なものはコストではありませんでした。それは倫理だった。つまり、Restivoとvan de Rijtは、価値のない編集者にバーンスタールを渡すことを望んでおらず、彼らの実験がWikipediaコミュニティ(Restivo and Rijt 2012, 2014)を混乱させたくないからです。私はこの章の後半と第6章で実験によって提起された倫理的配慮のいくつかに戻っていきます。

結論として、Restivoとvan de Rijtの実験は、実験の基本的な論理は変わっていないが、デジタル時代の実験の物流は劇的に異なっていることをはっきりと示している。次に、これらの変化によって生み出される機会をより明確に分離するために、過去に行われた実験の種類と今研究者が行うことができる実験を比較します。