4.3實驗兩個方面：實驗場和模數

實驗室實驗提供了控制，現場實驗提供了現實主義，以及數字現場試驗規模化相結合的控制和真實感。

實驗有許多不同的形狀和大小。但是，儘管有這些差異，研究人員發現它有助於沿著實驗室實驗和現場實驗之間的連續舉辦實驗。但是現在，研究人員還應組織實驗模擬以及實驗和數字實驗之間的連續性。這種二維設計空間將幫助您了解的優勢和不同方法的弱點和建議的最大機會區（圖4.1）。

圖4.1：對實驗設計空間示意圖。在過去，實驗沿著實驗室字段尺寸變化。現在，他們也各不相同的模數維。在我看來，最偉大的機會面積為數碼領域的實驗。

在過去，研究者組織實驗的主要途徑是沿實驗室字段尺寸。大多數在社會科學實驗都只是實驗室的實驗 ，其中本科生在實驗室完成的任務怪課程學分。這種類型的實驗中佔主導地位的心理學研究，因為它使研究人員能夠創建旨在測試有關的社會行為非常具體的理論非常具體的治療方法。對於某些問題，但是，有什麼感覺如何繪製大約從這種不同尋常的人執行在這樣一個不同尋常的環境等不尋常的任務，人的行為強烈結論有點怪怪的。這些擔憂導致走向田間試驗的運動。田間試驗相結合的隨機對照實驗強大的設計與參會的比較有代表性的團體，表演更常見的任務，在更自然的設置。

雖然有些人認為的實驗室​​和田間試驗的競爭方式，最好是把它們具有不同的優勢和劣勢互補的方法。例如， Correll, Benard, and Paik (2007)同時使用實驗室實驗，企圖找到來源“母親的懲罰。”在美國，一個現場實驗，母親掙不到錢比沒有孩子的女性，即使比較婦女在類似職位的工作類似的技能。有這種模式很多可能的解釋，一個是雇主是針對母親的偏見。 （有趣的是，相反，似乎對父親是真實的：他們往往以賺取比同類孩子的男人更多）。為了評估對母親的可能的偏差，科雷爾和他的同事跑了兩個實驗：一個在實驗室中，一個在外地。

首先，在實驗室實驗和科雷爾同事告訴參加者，誰是大學本科生，一個總部設在加州的初創通信公司正在進行一個人領導其新的東海岸市場營銷部門的尋找就業機會。學生們被告知，該公司希望他們在招聘過程中提供幫助，他們被要求審查的幾個潛在的候選人簡歷，並在許多方面的候選人，如他們的智慧，溫暖，並承諾工作率。此外，學生們被問及是否會建議僱傭申請人以及他們會建議作為起薪。不知道的學生，但是，簡歷是專門構建的是除了一點相似：一些簡歷母親信號（通過列出的家長教師協會的參與），有些沒有。科雷爾發現，學生不太可能建議僱傭母親和為他們提供較低的起薪。此外，通過收視率和僱傭有關的決定兩者的統計分析，科雷爾發現，母親的缺點主要是由一個事實，即母親是在能力和承諾方面評級較低解釋。換句話說，科雷爾認為，這些特徵是通過其母親是不利的機制 。因此，這個實驗室實驗允許科雷爾和他的同事來衡量一個因果關係，並提供該效應可能的解釋。

當然，有人可能會懷疑得出關於基於幾百本科生誰可能已經從來沒有一份全職工作，更不用說僱用人的決定了整個美國勞動力市場的結論。因此，科雷爾和他的同事還進行了互補的現場實驗。研究人員通過虛假求職信和簡歷發送回應數百公佈的職位空缺。類似證明本科生的材料，有的簡歷暗示母親和一些沒有。科雷爾和他的同事發現，母親是不太可能得到被召回面試比同等資格的孩子的婦女。換句話說，真正的雇主在天然環境中作出相應的決策行為很像大學生。難道他們做出同樣的原因，類似的決定？不幸的是，我們不知道。研究人員無法要求用人單位進行評分候選人或解釋自己的決定。

這對實驗揭示了很多關於一般的實驗室和現場實驗。實驗室實驗，提供在參與者決策環境總量控制研究人員附近。因此，例如，在實驗室實驗中，科雷爾能夠確保所有的簡歷都在一個安靜的閱讀環境;在田間試驗，一些簡歷可能沒有，甚至被讀取。此外，由於參加者在實驗室環境中知道，他們正在研究中，研究人員往往能夠收集更多的數據，可以幫助他們理解為什麼參與者都做出他們的決定。例如，科雷爾要求參賽者在實驗室實驗中評價不同維度的候選人。這種過程數據可以幫助研究人員了解參與者如何對待簡歷背後的差異的機制。

另一方面，我剛才描述的優點，這些完全相同的特性也有時被認為是缺點。誰喜歡野外實驗研究人員認為，當他們正在密切觀察參與者在室內實驗能演戲非常不同。例如，在實驗室實驗參與者可能已經猜到了研究的目標和改變自己的行為，以免出現偏差。此外，誰喜歡田間試驗可能會認為在簡歷小的差異研究人員只能站在了一個非常乾淨，無菌的實驗室環境中，從而在實驗室實驗將高估母親的真實聘用決定的影響。最後，現場實驗眾多支持者批評怪異參加實驗室實驗的依賴：主要是學生從西方的，受過教育，工業化，豐富和民主的國家(Henrich, Heine, and Norenzayan 2010)通過科雷爾和他的同事的實驗(2007)說明在實驗室場連續兩個極端。在這兩個極端之間有多種混合的設計，包括的方法，例如使非學生成實驗室或進入現場，但仍具有參與者執行一個不尋常的任務。

除了在過去已經存在實驗室場尺寸，數字時代意味著研究人員現在具有第二主要尺寸沿著該實驗可以變化：模擬數字。正如有純粹的實驗室實驗中，純現場實驗和各種之間雜交的，有純模擬實驗中，純數字的實驗，以及各類雜交種。這是棘手提供這一方面的正式定義，而是一個有用的工作定義是完全數字化的實驗是實驗證明，利用數字化基礎設施的招募參與者，隨機，提供治療，並測量結果。例如，雷斯蒂沃和範·德Rijt的(2012) barnstars的研究和維基百科是一個全數字化的實驗，因為它使用的數字系統的這些步驟全部四個。同樣， 完全模擬實驗是實驗不使用數字基礎設施的任何這四個步驟。很多心理學的經典實驗是模擬實驗。在這兩個極端之間存在部分地使用了四個步驟的模擬和數字系統的組合的數字實驗 。

關鍵的是，機會來運行實驗，數字不只是在網上。研究人員可以通過在物理世界中的數字設備，以提供治療或測量結果的運行部分的數字實驗。例如，研究人員可以利用智能手機提供治療或傳感器在建築環境測量結果。事實上，正如我們將在本章後面看到，研究人員已經使用的家用功率計測量有關的社會規範和能源消耗，涉及850萬家庭的實驗結果(Allcott 2015)隨著數字設備日益融入人們的生活和傳感器融入建築環境，這些機會在物理世界中運行數字部分實驗將顯著增加。換句話說，數字實驗不只是在線實驗。

數字系統創建沿著實驗室場連續無處不在實驗新的可能性。在純實驗室的實驗，例如，研究人員可以使用的參與者的行為更精細的測量數字系統;這種類型的改進的測量的一個例子是眼睛跟踪設備，它提供的注視位置的精確和連續的措施。數字時代也創造了在線運行的實驗室般的實驗的可能性。例如，研究人員已迅速採用亞馬遜的Mechanical Turk（MTurk）招考在線實驗參與者（圖4.2）。 MTurk匹配“雇主”誰都有需要與誰願意完成這些任務錢“工人”來完成的任務。不同於傳統的勞動力市場，但是，通常涉及的任務只需要幾分鐘的時間才能完成，雇主和工人之間的全部互動是虛擬的。由於傳統的室內實驗，支付人MTurk模仿方面來完成，他們不會為做任務免費 - 這自然是適合某些類型的實驗。從本質上講，MTurk創造了管理與會者-招聘池和支付人員和研究人員已經採取了基礎設施的優勢，進軍參與者的始終可用池的基礎設施。

圖4.2：使用數據發表論文從亞馬遜的Mechanical Turk（MTurk） (Bohannon 2016) MTurk和其他網上勞動力市場研究人員提供了一個方便的方式招收學員進行實驗。

數字實驗創建現場般的實驗，甚至更多的可能性。數字現場實驗可以提供嚴密的控制和處理數據，以了解可能的機制（如實驗室的實驗），更多樣化的參與者在一個自然的環境（如野外實驗）作出真正的決定。除了的早期實驗良好的特性這樣的組合，數字現場實驗還提供了分別在模擬實驗室和現場實驗困難三次機會。

第一，而大多數模擬實驗室和田間試驗有數百人參加，數碼領域的實驗可以有上百萬的參與者。這種變化在規模上是因為有些數字實驗可以以零可變成本產生的數據。也就是說，一旦研究人員已經創建了一個實驗的基礎設施，增加參與者的數量通常不增加成本。以100倍以上增加參與者的人數不只是一個量變 ，這是一個質的變化，因為它使研究人員能夠從實驗中（例如，治療效果異質性），然後運行完全不同的實驗設計（學到不同的東西例如，大集團實驗）。這一點是非常重要的，當我有關創建數字實驗提供建議，我會回到它朝章的結尾。

其次，而大多數模擬實驗室和田間試驗對待參與者區分窗口小部件，數字現場實驗經常使用有關參與研究的設計和分析階段的背景信息。這個背景信息，這被稱為前處理信息 ，是數字的實驗經常使用，因為它們需要在充分測定環境的地方。例如，在Facebook上的研究員具有比研究者設計一個標準實驗室實驗，大學生更預處理信息。這種治療前的信息使研究人員能夠超越對待參與者區分小部件。更具體地講，前處理信息能夠更高效的實驗設計，如阻塞(Higgins, Sävje, and Sekhon 2016)和與會者針對性的招聘(Eckles, Kizilcec, and Bakshy 2016) -和更深入的分析，如異質性的估計的治療效果(Athey and Imbens 2016a)以及提高精度協變量調整(Bloniarz et al. 2016)

第三，而許多模擬實驗室和現場實驗中的時間相對壓縮量遞送治療和測量的結果，一些數字現場實驗涉及可在一段時間內遞送和效果，也可以隨時間測量處理。例如，雷斯蒂沃和範·德Rijt的實驗有每天測量為90天的結果，和實驗之一，我會告訴你在本章的後面(Ferraro, Miranda, and Price 2011)在基本上3年以上的跟踪結果沒有成本。當實驗在之上運行這三個機會大小，治療前的信息，和縱向的治療和結果數據是最常見的永遠在線測量系統（見第2章以獲得更多關於不間斷的測量系統）。

而數字田間試驗提供了很多可能性，他們也分享模擬實驗室和田間試驗一些弱點。例如，實驗不能用來研究在過去，它們只能估計的能夠被操縱的治療效果。此外，雖然實驗無疑是指導政策有用，他們可以提供精確的引導是因為並發症，如環境依賴性，合規性問題，以及平衡效果比較有限(Banerjee and Duflo 2009; Deaton 2010)最後，數字現場實驗放大由現場實驗產生的倫理問題。現場試驗支持者大肆宣揚他們悄悄地隨機介入調查以百萬計的人作出相應決定的能力。這些特性提供一定的科研優勢，但他們也可以讓現場實驗倫理複雜（想想研究人員待人像“小白鼠”大規模）。此外，除了可能受到損害的參與者，數碼領域的實驗，因為他們的規模，還可以提高人們對工作的社會制度的破壞的擔憂（例如關於破壞維基百科的獎勵制度，如果雷斯蒂沃和van der Rijt給了太多barnstars關注） 。