4.3 deneylerin iki boyutu: laboratuvar alan ve analog-dijital

Laboratuvar deneyleri alan deneyleri gerçekçilik sunmak ve dijital alan deneyleri ölçekte kontrol ve gerçekçilik birleştirmek, kontrol sunar.

Deneyler birçok farklı şekil ve boyutta gelir. Geçmişte, araştırmacılar laboratuar deneyleri ve saha deneyleri arasında bir süreklilik boyunca deneyleri organize etmeyi yararlı bulmuştur. Ancak şimdi, araştırmacılar ayrıca, analog deneyler ve dijital deneyler arasında ikinci bir süreklilik boyunca deneyler düzenlemelidir. Bu iki boyutlu tasarım alanı, farklı yaklaşımların güçlü ve zayıf yanlarını anlamanıza yardımcı olacak ve en büyük fırsat alanlarını vurgulayacaktır (Şekil 4.1).

Şekil 4.1: Deneyler için tasarım alanı şeması. Geçmişte, deneyler laboratuvar alanı boyutu boyunca değişmiştir. Şimdi, analog dijital boyuta da değişirler. Bu iki boyutlu tasarım alanı, bu bölümde anlattığım dört deneyle gösterilmiştir. Benim düşünceme göre, en büyük fırsat alanı dijital alan deneyleri.

Deneylerin düzenlenebileceği bir boyut, laboratuvar alanı boyutudur. Sosyal bilimlerde birçok deney, lisans öğrencilerinin ders kredisi için laboratuarda tuhaf görevleri yerine getirdikleri laboratuvar deneyleridir . Bu tür bir deney, psikolojideki araştırmaya egemen olur çünkü araştırmacıların, sosyal davranışla ilgili belirli teorileri kesin olarak izole etmek ve test etmek için yüksek düzeyde kontrol edilen ortamlar oluşturmasını sağlar. Bununla birlikte, bazı problemler için, sıra dışı bir ortamda böylesine sıra dışı görevleri yerine getiren sıradışı insanlardan insan davranışları hakkında güçlü sonuçlar çıkarmak konusunda bir şeyler tuhaf geliyor. Bu endişeler alan deneylerine doğru bir harekete yol açmıştır. Saha deneyleri, daha doğal ortamlarda daha yaygın görevleri gerçekleştiren daha temsili katılımcı grupları ile, randomize kontrol deneylerinin güçlü tasarımını birleştirir.

Bazı insanlar, laboratuar ve saha deneylerini, rakip metotlar olarak düşünürlerse de, onları, farklı güçlü ve zayıf yönleriyle tamamlayıcı olarak düşünmek en iyisidir. Örneğin, Correll, Benard, and Paik (2007) , “annelik cezası” nın kaynaklarını bulmak için bir laboratuvar deneyi ve bir alan deneyi kullandılar. Amerika Birleşik Devletleri'nde, anneler, çocuksuz kadınlardan daha az para kazanıyorlar. Benzer işlerde çalışan benzer becerilere sahip kadınları karşılaştırmak. Bu örüntü için birçok olası açıklama vardır, bunlardan biri işverenlerin annelere karşı önyargılı olmasıdır. (İlginçtir, tam tersi, babalar için geçerli gibi görünmektedir: benzer çocuksuz erkeklerden daha fazla kazanma eğilimindedirler.) Annelere karşı olası bir önyargıyı değerlendirmek için Correll ve meslektaşları iki deney gerçekleştirmişlerdir: biri laboratuarda, biri de sahada.

Öncelikle, bir laboratuvar deneyinde, üniversite lisans öğrencileri olan katılımcılara, bir şirketin yeni East Coast pazarlama departmanına liderlik etmek için bir iş araması yürütmekte olduklarını söylediler. Öğrencilere, işe alım sürecinde yardım istedikleri söylendi ve çeşitli potansiyel adayların özgeçmişlerini gözden geçirmeleri ve adayları istihbarat, sıcaklık ve işe bağlılık gibi bir çok boyutta değerlendirmeleri istendi. Ayrıca, öğrencilere işe almalarını ve başlangıç ​​maaşı olarak ne önereceklerini tavsiye etmeleri istenmiştir. Bununla birlikte, öğrencilerden haberdar olmadıkça, özetler, bir şey hariç, benzer şekilde özel olarak inşa edilmişti: bazıları, annelikle (bir ebeveyn-öğretmen derneğine katılımı listeleyerek) işaret etti ve bazıları bunu yapmadı. Correll ve meslektaşları, öğrencilerin anneleri işe almayı önerme olasılığının düşük olduğunu ve daha düşük bir başlangıç ​​maaşı sunduklarını buldular. Dahası, hem derecelendirmelerin hem de işe alımla ilgili kararların istatistiksel bir analizi yoluyla Correll ve meslektaşları, annelerin dezavantajlarının, yeterlilik ve bağlılık açısından daha düşük bir oranla derecelendirildiğinden büyük ölçüde açıklandığını buldu. Böylece, bu laboratuvar deneyi Correll ve meslektaşlarının nedensel bir etkiyi ölçmesine ve bu etki için olası bir açıklama sağlamasına izin verdi.

Tabii ki, hiç bir zaman tam zamanlı bir iş sahibi olmayan birkaç yüz lisans öğrencisinin kararlarına dayanarak, tüm ABD iş piyasasıyla ilgili sonuçların çıkarılması konusunda şüpheci olabilir. Bu nedenle, Correll ve arkadaşları da tamamlayıcı bir alan deneyi gerçekleştirdiler. Sahte kapaklı mektuplar ve özgeçmişlerle yüzlerce reklamı açık ilana cevap verdiler. Lisans öğrencilerine gösterilen materyallere benzer olarak, bazı özgeçmişler annelikle ilgili sinyal verdiler ve bazıları yoktu. Correll ve meslektaşları, annelerin, eşit nitelikli, vasıfsız kadınlardan daha röportaj için geri çağrılma olasılığının daha düşük olduğunu bulmuşlardır. Diğer bir deyişle, doğal bir ortamda sonuç veren kararlar veren gerçek işverenler, lisans öğrencilerine çok benzer davrandılar. Aynı sebepten benzer kararlar aldılar mı? Maalesef bilmiyoruz. Araştırmacılar, işverenlerden adaylara oy vermelerini veya kararlarını açıklamalarını istemiyorlardı.

Bu çift deney, genel olarak laboratuvar ve alan deneyleri hakkında çok şey ortaya koymaktadır. Laboratuvar deneyleri, araştırmacıların, katılımcıların kararlarını aldığı ortamın toplam kontrolüne yakın olmasını sağlar. Örneğin, laboratuar deneyinde, Correll ve meslektaşları tüm özgeçmişlerin sessiz bir ortamda okunmasını sağladılar; Alan denemesinde, bazı özgeçmişler okunmamış olabilir. Ayrıca, laboratuar ortamında yer alan katılımcılar, araştırıldığını bildiğinden, araştırmacılar, katılımcıların neden kararlarını verdiklerini açıklamaya yardımcı olabilecek ek veriler toplayabilirler. Örneğin, Correll ve meslektaşları laboratuar deneyindeki katılımcılardan adayları farklı boyutlarda derecelendirmelerini istedi. Bu tür işlem verileri , araştırmacıların katılımcıların özgeçmişleri nasıl ele aldıkları arasındaki farklılıkların arkasındaki mekanizmaları anlamalarına yardımcı olabilir.

Öte yandan, daha önce az önce bahsettiğim avantajlarla aynı olan bu özellikler aynı zamanda bazen dezavantaj olarak kabul edilir. Saha deneylerini tercih eden araştırmacılar, laboratuar deneylerindeki katılımcıların çok farklı hareket edebildiklerini çünkü çalışıldığını bildiğini ileri sürüyorlar. Örneğin, laboratuvar denemesinde, katılımcılar araştırmanın amacını tahmin etmiş ve yanlı görünmemeleri için davranışlarını değiştirmiş olabilir. Ayrıca, saha denemelerini tercih eden araştırmacılar, özgeçmişlerdeki küçük farklılıkların sadece çok temiz, steril bir laboratuar ortamında göze çarpabileceğini ve bu nedenle laboratuvar deneyinin, annelik sürecinin gerçek işe alım kararları üzerindeki etkisini abartılacağını iddia edebilir. Son olarak, alan denemelerinin pek çok savunucusu laboratuvar deneylerinin WEIRD katılımcılarına olan bağımlılığını eleştirmektedir: özellikle Batı, Eğitimli, Endüstrileşmiş, Zengin ve Demokratik ülkelerden gelen öğrenciler (Henrich, Heine, and Norenzayan 2010a) . Correll ve meslektaşları (2007) tarafından yapılan deneyler, laboratuar alanı sürekliliğindeki iki uç noktayı göstermektedir. Bu iki uç arasında, öğrencilerin bir laboratuara getirilmesi veya alana girmesi, ancak yine de katılımcıların olağandışı bir görevi yerine getirmesi gibi yaklaşımlar da dahil olmak üzere çeşitli karma tasarımlar vardır.

Geçmişte var olan laboratuvar alanı boyutuna ek olarak, dijital çağ, araştırmacıların şu anda deneylerin değişebileceği ikinci bir büyük boyuta sahip olduğu anlamına gelir: analog-dijital. Saf laboratuar deneyleri, saf saha deneyleri ve aralarında çok çeşitli melezler olduğu gibi, saf analog deneyler, saf dijital deneyler ve çeşitli melezler vardır. Bu boyutun resmi bir tanımını sunmak zor olmakla birlikte, yararlı bir çalışma tanımı, tamamen dijital deneylerin , katılımcıları işe almak, randomize etmek, tedavileri sunmak ve sonuçları ölçmek için dijital altyapıdan yararlanan deneylerdir. Örneğin, Restivo ve van de Rijt'un (2012) , barnstars ve Vikipedi çalışmalarının tamamen dijital bir deney olduğunu çünkü bu dört adımın tümü için dijital sistemleri kullandı. Benzer şekilde, tamamen analog deneyler , bu dört adımdan herhangi biri için dijital altyapıdan yararlanmaz. Psikolojideki klasik deneylerin çoğu tamamen analog deneylerdir. Bu iki uç arasında, analog ve dijital sistemlerin bir kombinasyonunu kullanan kısmen dijital deneyler vardır.

Bazı insanlar dijital deneyleri düşündüklerinde, hemen çevrimiçi deneyleri düşünürler. Bu talihsiz çünkü dijital denemeleri yürütme fırsatları sadece çevrimiçi değil. Araştırmacılar, tedavileri gerçekleştirmek veya sonuçları ölçmek için fiziksel dünyadaki dijital cihazları kullanarak kısmen dijital deneyler yürütebilirler. Örneğin, araştırmacılar sonuçları ölçmek için inşa edilmiş ortamlarda tedavi veya sensör sağlamak için akıllı telefonları kullanabilirler. Aslında, bu bölümde daha sonra göreceğimiz gibi, araştırmacılar halihazırda 8,5 milyon hanehalkı içeren enerji tüketimi ile ilgili deneylerdeki sonuçları ölçmek için ev enerji sayaçlarını kullandılar (Allcott 2015) . Dijital cihazlar insanların yaşamlarına giderek daha fazla entegre hale geldikçe ve sensörler yapılı çevreye entegre hale geldikçe, fiziksel dünyada kısmen dijital deneyler yürütmek için bu fırsatlar önemli ölçüde artacaktır. Başka bir deyişle, dijital deneyler sadece çevrimiçi deneyler değildir.

Dijital sistemler, laboratuar alanı devamlılığı boyunca her yerde deneyler için yeni olanaklar yaratır. Saf laboratuar deneylerinde, örneğin, araştırmacılar, katılımcıların davranışlarını daha iyi ölçmek için dijital sistemleri kullanabilirler; Bu tür geliştirilmiş ölçümün bir örneği, bakış konumunun hassas ve sürekli ölçümlerini sağlayan göz izleme ekipmanıdır. Dijital çağ, aynı zamanda laboratuvar benzeri deneyleri online olarak çalıştırma olasılığını da yaratıyor. Örneğin, araştırmacılar çevrimiçi deneyler için katılımcıları işe almak üzere Amazon Mekanik Türk'ü (MTurk) hızla benimsemiştir (Şekil 4.2). MTurk, bu işlerini para için tamamlamak isteyen “işçiler” ile tamamlanması gereken görevleri olan “işverenler” ile eşleşir. Bununla birlikte, geleneksel işgücü piyasalarından farklı olarak, ilgili görevler genellikle tamamlanması sadece birkaç dakika gerektirir ve işveren ile işçi arasındaki tüm etkileşim çevrimiçi olur. Çünkü MTurk, geleneksel laboratuvar deneylerinin bazı yönlerini taklit eder - insanları ücretsiz olarak yapamayacakları görevleri yerine getirmeleri için ödüllendirir - doğal olarak belirli türdeki deneyler için uygundur. Esasen, MTurk, katılımcıların bir havuzunu yönetmek için altyapıyı yarattı - insanları işe almak ve onlara ödeme yapmak - ve araştırmacılar, her zaman mevcut olan bir katılımcı havuzuna girmek için bu altyapıdan yararlandı.

Şekil 4.2: Amazon Mechanical Turk'den (MTurk) veri kullanılarak yayınlanan makaleler. MTurk ve diğer çevrimiçi işgücü piyasaları araştırmacılara deneyler için katılımcılar için uygun bir yol sunmaktadır. Bohannon (2016) uyarlanmıştır Bohannon (2016) .

Dijital sistemler, saha benzeri deneyler için daha fazla olasılık yaratır. Özellikle, araştırmacıların laboratuar deneyleri ile ilişkili sıkı kontrol ve işlem verilerini, daha çeşitli katılımcılarla ve laboratuar deneyleriyle ilişkili daha doğal ortamlarla birleştirmelerini sağlar. Ayrıca, dijital alan deneyleri aynı zamanda analog deneylerde zorlanma eğilimi gösteren üç fırsat sunmaktadır.

Birincisi, çoğu analog laboratuvar ve saha deneyi yüzlerce katılımcıya sahipken, dijital alan deneyleri milyonlarca katılımcıya sahip olabilir. Ölçekteki bu değişim, bazı dijital deneylerin sıfır değişken maliyetle veri üretebilmesidir. Yani, araştırmacılar bir deneysel altyapı oluşturduktan sonra, katılımcı sayısını artırmak genellikle maliyeti artırmaz. Katılımcı sayısını 100 veya daha fazla katma artırmak sadece nicel bir değişim değildir; Bu, kalitatif bir değişikliktir, çünkü araştırmacıların deneylerden farklı şeyler öğrenmesini (örneğin, tedavi etkilerinin heterojenliği) ve tamamen farklı deneysel tasarımları (örneğin, büyük grup deneyleri) çalıştırmayı mümkün kılar. Bu nokta çok önemli, dijital deneyler oluşturmayla ilgili tavsiyede bulunduğumda bölümün sonuna doğru döneceğim.

İkincisi, çoğu analog laboratuvar ve alan deneyi katılımcıları ayırt edici olmayan aletler olarak ele alırken, dijital alan deneyleri genellikle araştırmanın tasarım ve analiz aşamalarında katılımcılarla ilgili geçmiş bilgileri kullanır. Ön-tedavi bilgisi olarak adlandırılan bu arka plan bilgisi, her zaman açık ölçüm sistemlerinin üstünde çalıştırıldığı için genellikle dijital deneylerde mevcuttur (bkz. Bölüm 2). Örneğin, Facebook'taki bir araştırmacının, dijital alan deneyindeki insanlar hakkında, bir üniversite araştırmacısı onun analog alan deneyindeki insanlar hakkında daha fazla ön-tedavi bilgisine sahiptir. Bu ön işlem, daha etkin deneysel tasarımlar (Higgins, Sävje, and Sekhon 2016) engelleme (Higgins, Sävje, and Sekhon 2016) ve katılımcıların hedef alınması (Eckles, Kizilcec, and Bakshy 2016) ve daha etkili analizler (tedavi etkilerinin heterojenliğinin tahmini gibi) sağlar. (Athey and Imbens 2016a) ve geliştirilmiş hassasiyet için ortak değişkenler (Bloniarz et al. 2016) .

Üçüncüsü, birçok analog laboratuvar ve saha deneyi, tedavileri ve nispeten sıkıştırılmış bir sürede sonuçları ölçerken, bazı dijital alan deneyleri çok daha uzun zaman dilimlerinde gerçekleşir. Örneğin, Restivo ve van de Rijt'in deneyi, 90 gün boyunca günlük olarak ölçülen sonuçlara sahipti ve bu bölümde size daha sonra anlatacağım deneylerden biri (Ferraro, Miranda, and Price 2011) temelde üç yıl boyunca sonuçları izlemedi. maliyet. Bu üç fırsat - boyut, ön-muamele bilgisi ve boylamsal tedavi ve sonuç verileri - deneyler her zaman açık ölçüm sistemlerinin üstünde çalıştırıldığında ortaya çıkar (her zaman açık ölçüm sistemleri hakkında daha fazla bilgi için bölüm 2'ye bakınız).

Dijital alan deneyleri birçok olasılık sunarken, aynı zamanda hem analog laboratuvar hem de analog alan deneyleri ile bazı zayıf yönlerini paylaşmaktadır. Örneğin, deneyler geçmişi incelemek için kullanılamaz ve sadece manipüle edilebilen tedavilerin etkilerini tahmin edebilirler. Ayrıca, deneyler politikayı yönlendirmek açısından hiç şüphesiz yararlı olsa da, çevresel bağımlılık, uyum sorunları ve denge etkileri gibi komplikasyonlar nedeniyle sunabilecekleri kesin rehberlik biraz sınırlıdır (Banerjee and Duflo 2009; Deaton 2010) . Dijital alan deneyleri, alan deneylerinin yarattığı etik kaygıları da arttırmaktadır - bu bölümde ve 6. bölümde ele alacağım bir konu.