4.4超越簡單的實驗

讓我們超越簡單的實驗。三個概念豐富的實驗有用：有效性，治療效果的異質性和機制。

研究人員誰是新的實驗往往集中在一個非常具體，狹窄的問題：這是否處理“工作”？例如，從沒有一個志願者打來的電話鼓勵人投票？是否從藍色更改網頁按鈕，綠色增長點擊率？不幸的是，什麼“作品”松措辭掩蓋的事實是狹隘的實驗沒有真正告訴你一個治療是否“工程”在一般意義上。相反，狹隘的實驗回答一個更具體的問題：這是什麼特殊的治療與此具體實施在這個時候這部分人群的參與者的平均影響？我會打電話給專注於這條狹窄的問題， 簡單的實驗實驗。

簡單的實驗可以提供有價值的信息，但他們不能回答許多是既重要又有趣，如問題：是否有一些人對他們的治療有一個或大或小的影響？;有這將是更有效的另一種治療?;以及如何做這個實驗涉及到更廣泛的社會理論？

為了表現超越簡單的實驗的價值，讓我們考慮一下我最喜歡的模擬現場實驗之一，由P.韋斯利·舒爾茨和社會規範與能源消耗之間的關係同事的一項研究(Schultz et al. 2007)舒爾茨和他的同事掛在聖馬科斯，加利福尼亞州300戶doorhangers，而這些doorhangers交付，旨在鼓勵節約能源不同的信息。然後，Schultz和同事測量電力消耗這些消息的效果，既一周，三週後;見圖4.3為實驗設計的更詳細的說明。

圖4.3：從設計原理Schultz et al. (2007)現場實驗是在八週的時間參觀約300戶聖馬科斯，加利福尼亞五倍。在每個參觀的研究人員手工把從家裡的電錶讀數。在其中兩個訪問的研究人員將房子提供有關能源使用的一些信息doorhangers。這項研究的問題是如何，這些郵件的內容會影響能源的使用。

實驗有兩個條件。在第一個條件，家庭領到普通節能技巧（如使用風扇代替空調）相比，平均在他們的鄰里能源的使用對他們家庭的能源使用信息。舒爾茨和他的同事，因為關於他們的鄰里能源使用的信息提供了有關典型行為（例如，一個描述性規範）的信息，這款名為描述性規範的條件。當Schultz和他的同事們在該組中所得到的能量使用，治療似乎沒有任何效果，無論是在短期或長期的;換句話說，治療似乎並沒有“工作”（圖4.4）。

不過，幸運的是， Schultz et al. (2007)並沒有滿足於這個簡單的分析。實驗開始之前，他們的理由是，電力-人以上的重度用戶均可能會減少他們的消費 ，低於電力，人光用戶均可能實際上增加他們的消費。當他們看了看數據，這正是他們發現了（圖4.4）。因此，看起來像是被無效果實際上是有兩個抵消影響的治療處理。研究人員稱光為用戶之間的這種適得其反增加自食其果的效果 。

圖4.4：從結果Schultz et al. (2007)第一面板顯示描述性規範治療的估計零平均治療效果。然而，第二面板顯示，該平均處理效應實際上是由兩個抵消作用。對於重度使用者，治療減少使用，但光的用戶，治療使用量增加。最後，第三個面板顯示第二次治療，它使用描述性和強制規範，有大約重度用戶相同的效果，但對緩解輕度使用者迴旋鏢效果。

進一步，Schultz和同事預料這種可能性，並且在第二條件下它們部署在略微不同的治療，我們明確地旨在消除飛去效果。人低於平均消費中，研究人員增加了:)和：相比於他們的鄰居 - 一個小小的除了在第二個條件的家庭收到了關於他們的家庭的能源使用完全相同的待遇，一般的節能技巧和信息人高於平均消費他們增加了:(。這些表情符號旨在觸發什麼研究員稱禁令規範 。禁制令規範指的是通常認可的（和不贊成），而描述性規範是指什麼是常見的做看法看法(Reno, Cialdini, and Kallgren 1993)

通過添加這一個很小的表情，研究人員大大減少迴旋鏢效應（圖4.4）。因此，通過這一簡單的變化，一個，是由一個抽象的社會心理學理論的啟發變化(Cialdini, Kallgren, and Reno 1991) -the研究人員能夠從一個打開的程序似乎沒有工作到一個工作，並同時他們能夠有助於規範社會是如何影響人類行為的一般理解。

在這一點上，但是，您可能會注意到的東西是這個實驗有點不同。特別是，舒爾茨和他的同事的實驗中並沒有真正在隨機對照實驗，做同樣的方式對照組。這樣的設計和雷斯蒂沃和範·德Rijt的設計之間的對比來說明由研究人員用兩個主要的設計之間的差異。在主體之間的設計 ，如雷斯蒂沃和van德Rijt，有一個治療組和對照組，並在主體內設計參與者的行為治療前和治療後進行比較(Greenwald 1976; Charness, Gneezy, and Kuhn 2012)在受試者內實驗這是因為如果每個參與者作為自己的對照組。中試間設計的優勢在於，它提供了對混雜的保護（如我前面所述），以及試內的實驗強度的增加估計精度。當作為自己的控制，參與者之間的變異被消除每個參與者的行為（見技術附錄）。預示了這將留待以後當我有關設計的數字實驗提供建議，有一個最終的設計，稱為混合設計 ，結合試內設計的提高精度和對主體間的設計混雜的保護。

圖4.5：三個實驗設計。標準的隨機對照實驗用試間設計。一個主體間設計的一個例子是雷斯蒂沃和範·德·Rijt的(2012)上barnstars和貢獻維基百科的實驗：研究人員隨機分為參與者分為治療組和對照組，治療組為與會者提供一個barnstar，並比較結果的兩個組。第二種類型的設計是一個試內設計。在舒爾茨和他的同事的兩個實驗(2007)的社會規範和能源利用的研究說明了試內設計：研究人員比較了用電量的參與者之前和接受治療。試內設計，通過主題方差（參見技術附錄）之間的消除提供了更好的統計精度，但他們是開放的可能的混雜因素（例如，變化的天氣治療前和治療期之間） (Greenwald 1976; Charness, Gneezy, and Kuhn 2012)試內設計有時也稱為重複測量設計。最後， 混合設計相結合的試內設計改進的精度和對主體間的設計混雜的保護。在混合設計，研究人員比較了人在治療組和對照組中的結果的變化。當研究人員已經有前處理信息，這在許多數字實驗的情況下，混合設計是最好的，因為在精密收益主體間設計（見技術附錄）。

總體來說，在設計和結果Schultz et al. (2007)表現超越簡單的實驗價值。幸運的是，你不需要成為一個天才創造這樣的實驗。社會科學家已經開發了三個概念，將引導你走向更豐富，更有創意的實驗：1）的有效性; 2）治療效果的異質性，以及3）機制。也就是說，如果你牢記這三個想法，而你正在設計實驗，你自然會創造出更多有趣和有益的嘗試。為了說明在行動這三個概念，我將描述了若干建立在優雅的設計和令人振奮的成果後續部分數碼領域的實驗Schultz et al. (2007)正如你所看到的，通過更精心的設計，執行，分析和解釋，你也可以超越簡單的實驗移動。