4.1簡介

在本書迄今為止所涉及的方法中 - 觀察行為(第2章)和提問(第3章) - 研究人員在沒有故意和系統地改變世界的情況下收集數據。本章所涉及的方法 - 運行實驗 - 從根本上是不同的。當研究人員進行實驗時,他們會系統地干預世界,以創建非常適合回答有關因果關係問題的數據。

因果問題在社會研究中非常普遍,例子包括以下問題:增加教師工資是否會增加學生的學習?最低工資對就業率的影響是什麼?求職者的種族如何影響她獲得工作的機會?除了這些明確的因果問題之外,有時候因果問題隱含在關於某些績效指標最大化的更一般性問題中。例如,“捐贈按鈕在非政府組織網站上的顏色應該是什麼顏色?”這個問題確實存在很多關於不同按鈕顏色對捐贈的影響的問題。

回答因果問題的一種方法是在現有數據中尋找模式。例如,回到關於教師工資對學生學習的影響的問題,您可以計算出學生在提供高教師工資的學校中學到更多。但是,這種相關性是否表明更高的薪水會讓學生學到更多東西?當然不是。教師掙得更多的學校可能在很多方面都有所不同。例如,教師工資高的學校的學生可能來自富裕家庭。因此,看起來像教師的影響可能來自比較不同類型的學生。學生之間這些無法衡量的差異被稱為混淆因素 ,而且,一般而言,混淆因素可能會嚴重破壞研究人員通過尋找現有數據中的模式來回答因果問題的能力。

解決混淆問題的一個方法是嘗試通過調整組之間的可觀察差異來進行公平比較。例如,您可以從許多政府網站下載財產稅數據。然後,您可以比較家庭價格相似但教師工資不同的學校的學生表現,您仍然可能會發現學生在教師工資較高的學校學到更多。但仍有許多可能的混淆因素。也許這些學生的父母的教育水平不同。或許這些學校與公共圖書館的親密程度不同。或者,教師薪酬較高的學校也可以為校長支付更高的薪酬,而校長薪酬,而不是教師工資,實際上是增加學生學習的內容。您也可以嘗試測量和調整這些因素,但可能的混雜因素列表基本上是無窮無盡的。在許多情況下,您無法測量和調整所有可能的混淆因素。為了應對這一挑戰,研究人員開發了許多用於從非實驗數據進行因果估計的技術 - 我在第2章中討論了其中的一些 - 但是,對於某些類型的問題,這些技術是有限的,並且實驗提供了有希望的替代。

實驗使研究人員能夠超越自然發生數據的相關性,從而可靠地回答某些因果問題。在模擬時代,實驗往往在邏輯上很困難且昂貴。現在,在數字時代,物流限制逐漸消失。不僅像過去那樣進行實驗更容易,現在可以進行新的實驗。

在我到目前為止所寫的內容中,我的語言有點鬆散,但區分兩件事很重要:實驗和隨機對照實驗。在一項實驗中 ,研究人員介入世界,然後測量結果。我聽說這種方法被描述為“擾亂和觀察。”在一項隨機對照實驗中 ,研究人員干預一些人而不是其他人,研究人員決定哪些人通過隨機化接受干預(例如,擲硬幣)。隨機對照實驗在兩組之間進行公平比較:一組接受干預,一組接受干預。換句話說,隨機對照實驗是混雜問題的解決方案。然而,擾動和觀察實驗僅涉及接受干預的單個群體,因此結果可能導致研究人員得出錯誤的結論(我將很快顯示)。儘管實驗和隨機對照實驗之間存在重要差異,但社會研究人員經常互換使用這些術語。我將按照這個慣例,但是,在某些方面,我將打破常規,強調隨機對照實驗的價值而非隨機化和對照組的實驗。

隨機對照實驗已被證明是了解社交世界的有力方式,在本章中,我將向您展示如何在您的研究中使用它們。在4.2節中,我將用維基百科上的一個實驗例子來說明實驗的基本邏輯。然後,在4.3節中,我將描述實驗室實驗和現場實驗之間的差異以及模擬實驗和數字實驗之間的差異。此外,我認為數字現場實驗可以提供模擬實驗室實驗(嚴格控制)和模擬現場實驗(現實主義)的最佳功能,所有這些都是以前無法實現的。接下來,在4.4節中,我將描述三個概念 - 治療效果的有效性,異質性和機制 - 這對於設計豐富的實驗至關重要。在此背景下,我將描述進行數字實驗的兩個主要策略所涉及的權衡:自己動手或與強大的伙伴合作。最後,我將總結一些關於如何利用數字實驗的真正力量(第4.6.1節)的設計建議,並描述該權力帶來的一些責任(見第4.6.2節)。