您可以利用現有的環境中運行實驗,往往沒有任何編碼或夥伴關係。
後勤,做數字實驗最簡單的方法是疊加在現有環境之上實驗,使您能夠運行一個數碼領域的實驗。這些實驗可以在一個相當大的規模下運行,並且不需要與一個公司或廣泛的軟件開發的夥伴關係。
例如,珍妮弗·多利亞克和盧克·斯坦(2013)採取了一個在線市場的優勢(如Craigslist網站)來運行測量種族歧視的實驗。多利亞克和Stein標榜成千上萬的iPod,並通過系統地改變賣方的特點,他們能夠來研究經濟交易比賽的效果。此外,多利亞克和Stein使用他們的實驗規模時效果更大(的治療效果異質性)來估算,並提供有關為何效果可能發生(機制)的一些想法。
此前多利亞克和斯坦因的研究中,曾出現過兩種主要的方法來測量實驗歧視。在函授學習研究人員創造出不同種族的人們虛構簡歷,並使用這些簡歷,例如,申請不同的工作。伯特蘭和Mullainathan的(2004)與令人難忘的標題“是艾米莉和格雷格更多就業比Lakisha和賈馬爾紙嗎?對勞動力市場歧視“現場試驗是函授學習的精彩例證。函授學習有每觀察成本相對較低,這使得一個研究者收集數以千計的意見在一個典型的研究。但是,種族歧視的對應研究已經受到質疑,因為名稱可能除了申請人的種族信號很多東西。也就是說,名稱,如格雷格,劉慧卿,Lakisha和賈馬爾可能除了種族信號的社會階層。因此,對於格雷格和賈馬爾的簡歷存在任何區別對待可能比申請的推定種族差異更是因為, 審計研究 ,在另一方面,涉及僱用不同種族的演員親自申請工作。即使審計研究提供申請人種族的一個明確的信號,它們是每觀測非常昂貴的,這意味著它們通常只有數百個觀測。
在他們的數字田間試驗,多利亞克和Stein能夠創造一個有吸引力的混合體。他們能夠以每相對較低的成本收集數據的觀察,導致數以千計的意見(如在函授學習) - 以及他們能夠使用的照片,導致比賽的一個明確信號uncounfounded信號種族(如審計研究)。因此,網絡環境有時使研究人員能夠創建具有難以否則構造特性的新的治療方法。
多利亞克和Stein的iPod的廣告一起三個主要方面變化。首先,它們改變賣方,其通過拍攝保持在iPod [白,黑,白紋身](圖4.12)的手用信號的特性。其次,他們改變了要價[$ 90 $ 110 $ 130]。第三,他們改變廣告文字[高質量和低質量(如大小寫錯誤和spelin錯誤)的質量。因此,作者就有一個橫跨300多個本地市場範圍從城鎮(如,科科莫,IN和北普拉特,NE),以特大城市(如紐約和洛杉磯)部署了一個3×3×2的設計。
在所有條件下平均的結果是為白賣家比黑賣家更好,具有中間結果的紋身賣家。例如,白色的賣家獲得了更多的優惠和有較高的最終銷售價格。除了這些平均影響,多利亞克和Stein估計效果的異質性。例如,從早期的理論一個預測是,歧視會在更具競爭力的市場少。利用收到的市場競爭代理報價的數量,作者發現,黑色的賣家確實收到市場的惡化提供了低程度的競爭。此外,通過對高品質,低品質的文本廣告進行比較的結果,多利亞克和Stein發現,廣告的質量不影響所面臨的黑色和紋身賣家的缺點。最後,以一個事實,即廣告被放置在300多個市場的優勢,筆者發現,黑賣家與高犯罪率和高居住隔離的城市更加不利的地位。這些結果都沒有給我們的正是為什麼黑人賣家有更糟糕的結果準確理解,但是,當與其他研究的結果相結合,就可以開始通知有關理論,在不同類型的經濟交易的種族歧視的原因。
顯示的研究人員對現有的系統進行數字化現場試驗的能力,另一個例子是Arnout範·德Rijt研究和他的同事(2014)上成功的關鍵。在生活的許多方面,看似相似的人最終有非常不同的結果。這種模式的一個可能的解釋是,小,基本上隨機優點,可鎖定和增長隨著時間的推移,這個過程研究人員稱之為累積優勢 。為了確定小最初的成功是否鎖定或消逝,範·德·Rijt和他的同事(2014)干預分為四個不同的系統賜予隨機選擇的參與者成功,然後這個測量任意成功的長期影響。
更具體地講,範·德·Rijt和他的同事1)承諾的錢隨機選擇的項目kickstarter.com ,眾籌網站; 2)積極評價在網站上隨機抽取的評論epinions ; 3)給了隨機選擇的貢獻者頒獎維基百科 ; 4)簽訂隨機選擇的請願change.org 。研究人員發現非常相似的結果在所有四個系統:在每個情況下,隨機給一些早期的成功人士繼續有比他們否則完全沒有區別的同行(圖4.13),其後更成功。該相同的圖案出現在許多系統中,這一事實增加了這些結果的外部有效性,因為它減少了這種模式是任何特定系統的人工製品的機會。
總之,這兩個例子表明,研究人員可以進行數字現場實驗,而不需要與公司或構建複雜的數字系統的需求的合作夥伴。另外,表4.2提供了甚至更多的例子,顯示的什麼是可能的,當研究人員使用現有的系統的基礎設施,以提供治療和/或測量結果的範圍。這些實驗是研究人員相對便宜,他們提供了一個高度現實主義。但是,這些實驗提供研究者在參與者,治療和預後待測量有限的控制。此外,實驗發生在只有一個系統,研究人員需要關注,其影響可以通過特定系統的動態驅動(如該Kickstarter的行列項目或change.org居請願的方式方法;有關詳細信息,看到算法混雜在第2章的討論)。最後,當研究人員在工作系統介入,棘手的倫理問題出現關於可能危害參與者,非參與者和系統。我們將詳細在第6章考慮這些倫理問題,並且有他們的麵包車去Rijt的附錄中的精彩討論(2014)來與在現有系統工作的權衡是不理想的每一個項目,因為這個原因,一些研究人員建立自己的實驗系統,下一節的話題。
話題 | 引文 |
---|---|
barnstars對維基百科的貢獻作用 | Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014) |
種族主義鳴叫防騷擾消息的影響。 | Munger (2016) |
拍賣方式對銷售價格的影響 | Lucking-Reiley (1999) |
信譽的價格在網上拍賣的影響 | Resnick et al. (2006) |
賣家的種族對在eBay上出售棒球卡的影響 | Ayres, Banaji, and Jolls (2015) |
賣家的種族對銷售的iPod的影響 | Doleac and Stein (2013) |
Airbnb住宿租金客人的種族影響 | Edelman, Luca, and Svirsky (2016) |
捐款對項目Kickstarter上的成功效應 | Rijt et al. (2014) |
比賽的影響和種族上的房屋租金 | Hogan and Berry (2011) |
正面的評級在今後epinions評級影響 | Rijt et al. (2014) |
簽名的請願書上的成功影響 | Vaillant et al. (2015) ; Rijt et al. (2014) |