您可以利用現有的環境中運行實驗,往往沒有任何編碼或夥伴關係。
從邏輯上講,進行數字化實驗的最簡單方法是將實驗覆蓋在現有環境之上。這樣的實驗可以以相當大的規模進行,並且不需要與公司合作或進行廣泛的軟件開發。
例如,Jennifer Doleac和Luke Stein (2013)利用類似於Craigslist的在線市場來進行一項衡量種族歧視的實驗。他們宣傳了成千上萬的iPod,通過系統地改變賣家的特徵,他們能夠研究種族對經濟交易的影響。此外,他們使用他們的實驗規模來估計效果何時更大(治療效果的異質性)並提供關於效果可能發生的原因(機制)的一些想法。
Doleac和Stein的iPod廣告在三個主要方面有所不同。首先,研究人員改變了賣家的特徵,這是通過拿著iPod拍攝的手牌[白色,黑色,白色帶紋身]發出的信號(圖4.13)。其次,他們改變了要價[90美元,110美元,130美元]。第三,它們改變了廣告文本的質量[高質量和低質量(例如,cApitalization錯誤和spelin錯誤)]。因此,作者有一個3 \(\times\) 3 \(\times\) 2設計,它被部署在300多個本地市場,從城鎮(例如科科莫,印第安納和北普拉特,內布拉斯加州)到大型城市 -城市(例如,紐約和洛杉磯)。
在所有條件下平均,白人賣家的結果比黑人賣家好,紋身賣家有中間結果。例如,白色賣家收到更多優惠並且最終銷售價格更高。除了這些平均效應,Doleac和Stein估計了影響的異質性。例如,早期理論的一個預測是,在買家之間存在更多競爭的市場中,歧視會更少。利用該市場的報價數量來衡量買方競爭的數量,研究人員發現,黑人賣家在競爭程度較低的市場確實收到了更差的報價。此外,通過比較廣告與高質量和低質量文本的結果,Doleac和Stein發現廣告質量並未影響黑色和紋身賣家所面臨的劣勢。最後,利用廣告被放置在300多個市場中的事實,作者發現黑人賣家在犯罪率高和住宅隔離度高的城市中處於更加不利的地位。這些結果都沒有讓我們準確地理解為什麼黑人賣家有更糟糕的結果,但是,當與其他研究的結果相結合時,他們可以開始為不同類型的經濟交易中的種族歧視的原因提供理論。
另一個顯示研究人員在現有系統中進行數字現場實驗的能力的例子是Arnout van de Rijt及其同事(2014)關於成功的關鍵的研究。在生活的許多方面,看似相似的人最終會得到截然不同的結果。對這種模式的一種可能的解釋是,小的和基本上隨機的優勢可以鎖定並隨著時間的推移而增長,這是研究人員稱之為累積優勢的過程 。為了確定小的初始成功是鎖定還是消失,van de Rijt及其同事(2014)介入了四個不同的系統,使隨機選擇的參與者獲得成功,然後測量這種任意成功的後續影響。
更具體地說,van de Rijt及其同事(1)承諾在眾籌網站Kickstarter上隨機選擇項目; (2)積極評價Epinions的隨機選擇評論,一個產品評論網站; (3)對隨機選擇的維基百科貢獻者給予獎勵; (4)在change.org上簽名隨機選擇的請願書。他們在所有四個系統中發現了非常相似的結果:在每種情況下,隨機獲得一些早期成功的參與者繼續獲得比其他完全無法區分的同行更多的後續成功(圖4.14)。在許多系統中出現相同模式的事實增加了這些結果的外部有效性,因為它降低了該模式是任何特定係統的工件的可能性。
總之,這兩個例子表明,研究人員可以進行數字現場實驗,而無需與公司合作或構建複雜的數字系統。此外,表4.2提供了更多示例,顯示了當研究人員使用現有系統的基礎設施來提供治療和/或測量結果時可能的範圍。這些實驗對於研究人員來說相對便宜,並且它們提供了高度的真實性。但它們為研究人員提供了對參與者,治療和結果的有限控制。此外,對於僅在一個系統中進行的實驗,研究人員需要擔心這些影響可能是由系統特定的動態驅動的(例如,Kickstarter對項目進行排名的方式或者change.org對請願進行排序的方式;有關更多信息,請參閱第2章中有關算法混淆的討論。最後,當研究人員干預工作系統時,會出現棘手的道德問題,即可能對參與者,非參與者和系統造成傷害。我們將在第6章中更詳細地考慮這些道德問題,並在van de Rijt等人的附錄中對它們進行了很好的討論。 (2014) 。在現有系統中進行的權衡並不是每個項目的理想選擇,因此,一些研究人員會建立自己的實驗系統,我將在下面進行說明。
話題 | 參考 |
---|---|
巴恩斯塔對維基百科貢獻的影響 | Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014) |
反騷擾信息對種族主義推文的影響 | Munger (2016) |
拍賣方式對銷售價格的影響 | Lucking-Reiley (1999) |
聲譽對網上拍賣價格的影響 | Resnick et al. (2006) |
賣家種族對eBay上棒球卡銷售的影響 | Ayres, Banaji, and Jolls (2015) |
賣方種族對iPod銷售的影響 | Doleac and Stein (2013) |
客人的比賽對Airbnb租賃的影響 | Edelman, Luca, and Svirsky (2016) |
捐贈對Kickstarter項目成功的影響 | Rijt et al. (2014) |
種族和民族對住房租金的影響 | Hogan and Berry (2011) |
正面評價對未來評級的影響 | Rijt et al. (2014) |
簽名對請願成功的影響 | Vaillant et al. (2015) ; Rijt et al. (2014) ; Rijt et al. (2016) |