4.3 deneylerin iki boyutu: laboratuvar alan ve analog-dijital

Laboratuvar deneyleri alan deneyleri gerçekçilik sunmak ve dijital alan deneyleri ölçekte kontrol ve gerçekçilik birleştirmek, kontrol sunar.

Deneyler, birçok farklı şekil ve boyutlarda gelir. Ancak, bu farklılıklara rağmen, araştırmacılar yararlı laboratuar deneyleri ve saha deneyleri arasında bir süreklilik boyunca deneyler düzenlemek için bulduk. Şimdi ise, araştırmacılar da analog deneyler ve dijital deneyler arasında bir süreklilik boyunca deneyler düzenlemek gerekir. Bu iki boyutlu tasarım alanı size büyük fırsat alanlarını (Şekil 4.1) güçlü ve farklı yaklaşımların zayıf yönlerini anlamak ve önermek yardımcı olacaktır.

Şekil 4.1: deneyler için tasarım alanı şematik. Geçmişte, deneyler laboratuar alan boyutu boyunca değişebilir. Şimdi, onlar da analog-dijital boyuta göre değişebilir. Benim düşünceme göre, büyük bir fırsat alanı dijital alan deneyleri olduğunu.

Geçmişte, araştırmacılar deneyler düzenledi ana yolu laboratuvar alan boyut boyunca oldu. Sosyal bilimlerde deneylerin çoğunluğu lisans öğrencileri ders kredisi için bir laboratuarda garip görevleri yerine laboratuvar deneyleri vardır. sosyal davranışı hakkında çok özel teorileri test etmek için tasarlanmış çok özel tedaviler oluşturmak için araştırmacılar sağlar çünkü deney Bu tür psikolojisi araştırma hakimdir. Bazı sorunlar için, ancak, bir şey böyle bir olağandışı bir ortamda böyle olağandışı görevleri yerine böyle olağandışı insanlardan insan davranışları hakkında güçlü sonuç çıkarma konusunda biraz garip hissediyor. Bu endişeler tarla denemeleri doğru harekete yol açmıştır. Tarla denemeleri daha doğal ortamlarında, daha yaygın görevleri yerine katılımcıların daha iyi temsil grupları ile randomize kontrollü deneyler güçlü tasarım birleştirir.

Bazı insanlar yöntemleri rakip olarak laboratuvar ve saha deneyleri düşünmemize rağmen, farklı güçlü ve zayıf yönleri ile tamamlayıcı yöntemler olarak onları düşünmek en iyisidir. Örneğin, Correll, Benard, and Paik (2007) bir laboratuar deneyi ve kaynakları "annelik ceza." Amerika Birleşik Devletleri'nde bulmak için bir girişim bir alan deney hem de kullanılan, anneler, bile çocuksuz kadınlara göre daha az para kazanmak benzer işlerde çalışan benzer becerileri ile karşılaştırarak kadınlar. Orada bu model için pek çok olası açıklaması vardır, ve bir işveren annelerin karşı önyargılı olmasıdır. (İlginçtir, tam tersi babalar için de geçerli gibi görünüyor: onlar karşılaştırılabilir çocuksuz erkeklerden daha fazla kazanmak için eğilimindedir). Laboratuarda diğeri alanda: biri annelerin karşı olası etkilerini belirlemek amacıyla, Correll ve arkadaşları iki deney koştu.

İlk olarak, bir laboratuar deneyinde Correll ve arkadaşları Kaliforniya merkezli start-up iletişim şirketi yeni East Coast pazarlama departmanı kurşun bir kişi için istihdam arama yapmak olduğunu, üniversite lisans olan katılımcılara anlattı. Öğrenciler şirket işe alım sürecinde onların yardım istedi ve onlar birkaç potansiyel aday özgeçmişlerini yorumlayan ve bu işe kendi zeka, sıcaklık ve bağlılık olarak boyutları bir dizi adayları derecelendirmeleri istendi söylendi. Onlar başvuran ve ne onlar bir başlangıç ​​maaşı olarak öneriyoruz işe öneriyoruz eğer Dahası, öğrenciler istendi. Öğrencilere habersizce, ancak, özgeçmiş, özellikle dışında bir şey benzer olduğu inşa edilmiştir: özgeçmişlerini bazı (bir veli dernek katılımı listeleyerek) anneliği işaret ve bazı vermedi. Correll öğrencilerin anneleri işe tavsiye olasılığı daha azdı ve onları alt başlangıç ​​maaş teklif bulundu. Ayrıca, derecelendirme ve işe ilişkin kararlar, hem istatistiksel analizi yoluyla, Correll annelerin dezavantajları büyük ölçüde anneler yeterlilik ve bağlılık açısından düşük puanlı olduğu gerçeği ile açıklanabilir olduğunu bulmuşlardır. Diğer bir deyişle, Correll bu özellikleri anneler dezavantajlı durumda hangi mekanizma olduğunu savunuyor. Böylece, bu laboratuar deneyi nedensel etkisini ölçmek ve bu yönde olası bir açıklama sağlamak için Correll ve meslektaşları izin verdi.

Tabii ki, bir olasılıkla şöyle dursun, tam zamanlı bir iş vardı insanlar işe hiç bir kaç yüz lisans kararlarına dayalı tüm ABD işgücü piyasası hakkında sonuç çıkarma konusunda şüpheci olabilir. Bu nedenle, Correll ve arkadaşları da tamamlayıcı alan deneyi yönetti. Araştırmacılar sahte kapak mektupları ve özgeçmiş göndererek reklamı iş ilanları yüzlerce yanıt verdi. lisans gösterilen malzemelere benzer bazı özgeçmiş anneliği işaret ve bazı vermedi. Correll ve arkadaşları anneler eşit nitelikli çocuksuz kadınlara göre görüşmeler için geri çağırdı olsun daha az olasılıkla olduğu bulundu. Başka bir deyişle, doğal bir ortamda sonuçsal kararlar gerçek işverenler çok lisans gibi davrandım. Onlar aynı nedenle benzer kararlar mı? Ne yazık ki, biz bilmiyoruz. Araştırmacılar adayları oranı veya onların kararlarını açıklamak için işverenlerin sormak mümkün değildi.

Bu deney çifti, genel laboratuar ve saha deneyleri hakkında çok şey söylerler. Laboratuvar deneyleri katılımcıların kararları hangi ortamın toplam kontrolü yakınlarındaki araştırmacıları sunuyoruz. Yani, örneğin, laboratuvar deneyinde, Correll tüm özgeçmişler sessiz bir ortamda okundu sağlamak başardı; alan deneyde, özgeçmiş hatta bazı okundu olmayabilir. laboratuar ortamında katılımcılar çalışılmaktadır biliyorum çünkü Dahası, araştırmacılar sıklıkla katılımcıların kendi kararlarını neden anlamalarına yardımcı olabilecek ek verileri toplamak mümkün. Örneğin, Correll farklı boyutlarda adayları değerlendirmek için laboratuvar deneyinde katılımcılara sordu. İşlem verilerinin Bu tür araştırmacılar katılımcıların özgeçmişlerini nasıl ele farklılıklar ardındaki mekanizmaları anlamak yardımcı olabilir.

Öte yandan, ben sadece avantajları olarak tanımlanan bu aynı özellikleri de bazen dezavantajları olarak kabul edilir. alan deneyleri tercih araştırmacılar yakından takip edilirken laboratuvar deneylerinde katılımcılar çok farklı hareket savunuyor. Örneğin, laboratuarda deney katılımcıları araştırma hedefini tahmin ve önyargılı görünür şekilde değil kendi davranışlarını değişmiş olabilir. Dahası, özgeçmişlerine bu küçük farklılıklar iddia edebilir saha deneyleri tercih araştırmacılar sadece çok temiz, steril laboratuar ortamında dışarı duramaz ve böylece laboratuar deneyi gerçek işe kararlarına annelik etkisi fazla tahmin eder. Sanayileşmiş Eğitimli Batı, Rich ağırlıklı olarak öğrenciler ve Demokratik ülkelerde: Son olarak, saha deneyleri birçok savunucuları WEIRD katılımcılar üzerinde laboratuvar deneyleri güven eleştiri (Henrich, Heine, and Norenzayan 2010) . Correll ve arkadaşları tarafından deneyler (2007) laboratuar alan süreklilik iki uç göstermektedir. Bu iki uç arasında böyle bir laboratuvara olmayan öğrencileri getirerek veya alana gidiyor ama yine de katılımcıların alışılmadık bir görevi gerçekleştirmek sahip olarak yaklaşımları içeren melez tasarımlar çeşitli vardır.

analog-dijital: Geçmişte var olan laboratuvar alan boyutunun yanı sıra, dijital çağ araştırmacıları şimdi deneyler değişebilir hangi boyunca bir ikinci önemli boyut var demektir. Saf laboratuvar deneyleri, saf alan deneyleri ve aralarında melez çeşitli vardır gibi, saf analog deneyler, saf dijital deneyler ve melezler çeşitli vardır. Boyutun bir resmi tanımını sunmak için zor, ama yararlı bir çalışma tanımı tamamen dijital deneyler, katılımcıların işe rastgele, tedavileri sunmak ve sonuçlarını ölçmek için dijital altyapı faydalanmak deneyler olmasıdır. Örneğin, Restivo ve van de Rijt en (2012) bu adımların tümünü dört dijital sistemler kullanılmış olduğundan barnstars çalışma ve Wikipedia tam dijital bir deney oldu. Aynı şekilde tamamen analog deneyler bu dört adımdan birini dijital altyapı kullanımı yapmazlar deneyler. psikolojide klasik deneyler çoğu analog deneyler. Bu iki uç arasında kısmen dört adım analog ve dijital sistemlerin bir arada kullanmak dijital deneyler vardır.

Kritik, fırsatlar sadece online dijital deneyler değildir çalıştırmak için. Araştırmacılar tedavi teslim veya sonuçlarını ölçmek amacıyla fiziksel dünyada dijital cihazları kullanarak kısmen dijital denemeler yapabilirsiniz. Örneğin, araştırmacılar sonuçları ölçmek için yapılı çevrede tedaviler veya sensörleri sunmak için akıllı telefonlar kullanabilirsiniz. Bu bölümde daha sonra göreceğiniz gibi, aslında, araştırmacılar, sosyal normlar ve hanelerin 8.5 milyon içeren enerji tüketimi ile ilgili deneylerde sonuçları ölçmek için ev elektrik metre kullandık (Allcott 2015) . dijital cihazlar giderek insanların hayatlarına entegre hale ve sensörler yapılı çevre entegre hale geldikçe, bu fırsatlar önemli ölçüde artacak fiziksel dünyada kısmen dijital deneyler çalıştırmak için. Diğer bir deyişle, sayısal deneyler sadece online deneyler değildir.

Sayısal sistemler her yerde laboratuvar alan sürem boyunca deneyler için yeni olanaklar yaratmak. Saf laboratuvar deneylerinde, örneğin, araştırmacılar katılımcıların davranışlarının ince ölçümü için dijital sistemler kullanabilirsiniz; Geliştirilmiş ölçüm Bu tür bir örnek, bakış konumunun hassas ve sürekli önlemleri içerir göz izleme cihazıdır. Dijital çağ aynı zamanda online laboratuvar benzeri deneyler çalıştırmak imkanı yaratır. Örneğin, araştırmacılar hızla online deneyler için katılımcıların (Şekil 4.2) işe Amazon Mekanik Türk'ü (MTurk) benimsemiştir. MTurk para için bu görevleri tamamlamak isteyen "işçi" ile tamamlanması gereken görevleri vardır "işveren" ile eşleşir. Geleneksel işgücü piyasalarının aksine, genellikle ilgili görevleri sadece tamamlamak için bir kaç dakika ve işveren ile işçi arasındaki tüm etkileşim sanaldır. Geleneksel laboratuvar deneyleri ödeyen insanlar arasında MTurk taklit yönleri onlar için yapmak değil görevleri tamamlamak için, çünkü serbest doğal deneyler belirli türleri için uygundur. Esasen, MTurk katılımcıları-işe bir havuz yönetmek ve insan ve araştırmacılar katılımcıların bir her zaman kullanılabilir havuza girmeleri için bu altyapının avantajlarından almış ödeme altyapısını oluşturmuştur.

Şekil 4.2: Bildiriler Amazon Mechanical Turk (MTurk) verileri kullanılarak yayınlanan (Bohannon 2016) . MTurk ve diğer online işgücü piyasaları araştırmacılar deneyler için katılacakları belirlemek için uygun bir yol sunuyoruz.

Dijital deneyler alan benzeri deneyler için daha fazla imkan yaratmak. Dijital alan deneyleri (tarla denemeleri gibi) doğal bir ortamda gerçek kararlar (laboratuar deneyleri gibi) olası mekanizmaları ve daha çeşitli katılımcıların anlamak için sıkı kontrol ve işlem verilerini sunabilir. önceki deneylerde iyi özellikleri bu kombinasyona ek olarak, dijital alan deneyleri analog laboratuar ve saha deneyleri zor olan üç fırsatlar sunuyor.

En analog laboratuvar ve saha deneyleri katılımcıların yüzlerce oysa Birincisi, dijital alan deneyleri katılımcıların milyonlarca olabilir. Bazı dijital deneyler sıfır değişken maliyetle veri üretebilir çünkü ölçekte Bu değişimdir. Araştırmacılar genellikle maliyeti artmaz katılımcı sayısının arttırılması, deneysel bir altyapıyı oluşturduktan sonra olmasıdır. 100 veya daha fazla bir faktör tarafından katılımcı sayısının artırılması sadece nicel değişim değil bu deneyler (örneğin, tedavi etkilerinin heterojen) ve (tamamen farklı deneysel tasarımlar çalıştırmak farklı şeyler öğrenmek için araştırmacılar sağlar, çünkü niteliksel bir değişim olduğunu örneğin, büyük bir grup deneyler). Ben dijital deneyler oluşturma hakkında tavsiyelerde Bu nokta çok önemlidir, ben bölümün sonuna doğru kendisine dönersiniz.

En analog laboratuvar ve saha deneyleri katılımcıları tedavi oysa ikinci olarak ayırt edilemez widget, dijital saha deneyleri genellikle araştırma tasarım ve analiz aşamalarında katılımcılar hakkında arka plan bilgileri kullanın. Tam ölçülen ortamlarda gerçekleşecek, çünkü tedavi öncesi bilgi olarak adlandırılan bu arka plan bilgileri, dijital deneylerde genellikle mevcuttur. Örneğin, Facebook'ta bir araştırmacı lisans ile standart laboratuvar deney tasarımı bir araştırmacı çok daha fazla ön arıtma bilgileri yer alır. Bu tedavi öncesi bilgi katılımcılara olarak ayırt edilemez widget tedavi ötesine taşımak için araştırmacılar sağlar. Daha spesifik olarak, tedavi öncesi bilgi engelleme gibi daha verimli deneysel tür tasarımlar etkinleştirir (Higgins, Sävje, and Sekhon 2016) ve katılımcıların hedeflenen işe (Eckles, Kizilcec, and Bakshy 2016) -ve daha anlayışlı analizi-böyle heterojenite tahmini olarak tedavi etkilerinin (Athey and Imbens 2016a) ve geliştirilmiş hassas öndeğişken ayarı (Bloniarz et al. 2016) .

Birçok analog laboratuvar ve saha deneyleri zaman görece sıkıştırılmış miktarda tedavi ve tedbir sonuçlarını teslim oysa Üçüncüsü, bazı dijital alan deneyleri zamanla teslim edilebilir ve etkileri de zamanla ölçülebilir tedavileri içerir. Örneğin, Restivo ve van de Rijt deneyi 90 gün boyunca günlük olarak ölçülmekte sonucu vardır ve deneyler bir ben hakkında daha sonra bölümde anlatacağım (Ferraro, Miranda, and Price 2011) hayır temelde 3 yıldır sonuçlarını izler maliyet. Bu üç fırsatlar boyutu, tedavi öncesi bilgi ve boyuna tedavi ve sonuç deneyleri üstünde çalıştırdığınızda en yaygın veri vardır her zaman açık ölçümler sistemleri (her zaman açık ölçüm sistemleri hakkında daha fazlası için Bölüm 2'ye bakınız).

Dijital alan deneyleri birçok olanak sunarken, aynı zamanda analog laboratuarı ve tarla denemeleri hem bazı zayıflıkları paylaşın. Örneğin, deneyler geçmiş çalışma kullanılamaz ve sadece manipüle edilebilir tedavilerin etkisini tahmin edilebilir. Deneyler kuşkusuz politikayı yönlendirmek için yararlı olmasına rağmen, aynı zamanda, onlar sunabilir tam rehberlik çünkü bu tür çevre bağımlılığı, uyum sorunları ve denge etkileri gibi komplikasyonlar biraz sınırlı (Banerjee and Duflo 2009; Deaton 2010) . Son olarak, dijital alan deneyleri tarla denemeleri tarafından oluşturulan etik kaygılar büyütmek. tarla denemeleri savunucuları unobtrusively ve rastgele milyonlarca insan tarafından yapılan netice kararları müdahale edebilme trompet. Bu özellikler bazı bilimsel avantajlar sunmaktadır, ama onlar da (araştırmacılar büyük ölçekte "laboratuvar sıçan" gibi insanları tedavi olarak düşünmek) alan deneyleri etik karmaşık yapabilirsiniz. Ayrıca, katılımcılara olası zararları yanında, dijital alan deneyleri, çünkü onların ölçek, aynı zamanda sosyal sistemler çalışma bozulması ile ilgili endişelerini dile (örneğin, Restivo ve van der Rijt çok barnstars verdiyse Wikipedia'nın ödül sistemini kesintiye ilişkin endişeler) .