4.4 basit deneyler ötesine taşıma

Basit deneylerin ötesine geçelim. Zengin deneyler için üç kavram yararlıdır: geçerlilik, tedavi etkilerinin heterojenliği ve mekanizmalar.

Deneyimlere yeni katılan araştırmacılar genellikle çok spesifik ve dar bir soruya odaklanırlar: Bu tedavi “işe yarıyor mu?” Örneğin, bir gönüllüden gelen bir telefon, birisini oy kullanmasını teşvik eder mi? Bir web sitesi düğmesinin maviden yeşile geçirilmesi, tıklama oranını artırır mı? Ne yazık ki, “neyin işe yaradığı” konusundaki gevşek ifadeler, dar odaklı deneylerin bir tedavinin “genel anlamda” işe yarayıp yaramadığını gerçekten söylemediği gerçeğini örtbas ediyor. Daha ziyade, dar odaklı deneyler çok daha spesifik bir soruyu yanıtlamaktadır: Bu spesifik katılımın bu spesifik katılım ile bu spesifik katılımın ortalama etkisi nedir? Bu dar soruya basit deneyler üzerinde odaklanan deneyler arayacağım.

Basit deneyler değerli bilgiler sağlayabilir, ancak tedavinin kimin daha büyük veya daha küçük bir etkisi olduğu gibi, hem önemli hem de ilginç olan birçok soruyu yanıtlayamazlar; Daha etkili olabilecek başka bir tedavi olup olmadığı; ve bu deneyin daha geniş sosyal teorilerle ilişkili olup olmadığı.

Basit deneylerin ötesine geçmenin değerini göstermek için, P. Wesley Schultz ve meslektaşlarının toplumsal normlar ve enerji tüketimi arasındaki ilişkiye ilişkin bir analog alan deneyini ele alalım (Schultz et al. 2007) . Schultz ve meslektaşları San Marcos, Kaliforniya'da 300 hanede kapı bekçileri açmışlar ve bu kapı bekçileri enerji tasarrufunu teşvik etmek için tasarlanmış farklı mesajlar verdiler. Daha sonra Schultz ve meslektaşları, bu mesajların elektrik tüketimi üzerindeki etkisini, bir hafta sonra ve üç hafta sonra ölçtüler; Deney tasarımının daha ayrıntılı bir açıklaması için şekil 4.3'e bakınız.

Şekil 4.3: Schultz et al. (2007) deneysel tasarım şeması Schultz et al. (2007) . Saha deneyi, San Marcos, Kaliforniya'daki yaklaşık 300 haneyi sekiz haftalık bir süre boyunca beş kez ziyaret etmeyi içeriyordu. Her ziyarette, araştırmacılar evin elektrik sayacından manuel olarak bir okuma yaptı. İki ziyarette, hane halkının enerji kullanımı hakkında bilgi veren her evin kapısını yerleştirdiler. Araştırma sorusu, bu mesajların içeriğinin enerji kullanımını nasıl etkileyeceğiydi.

Deneyin iki durumu vardı. İlk olarak, haneler genel enerji tasarrufu sağlayan ipuçları (örneğin, klimalar yerine fanlar kullanıldı) ve mahallelerindeki ortalama enerji kullanımıyla karşılaştırıldığında enerji kullanımı hakkında bilgi aldı. Schultz ve meslektaşları bunu tanımlayıcı normatif durum olarak adlandırdılar çünkü mahalledeki enerji kullanımı hakkındaki bilgiler tipik davranış hakkında bilgi verdi (yani tanımlayıcı norm). Schultz ve meslektaşları bu grupta ortaya çıkan enerji kullanımını incelediğinde, tedavinin kısa ya da uzun vadede etkisinin olmadığı görüldü; Başka bir deyişle, tedavi “işe yaramaz” (şekil 4.4).

Neyse ki, Schultz ve meslektaşları bu basit analiz için yerleşmedi. Deneme başlamadan önce, ağır elektrik kullananların - ortalamanın üzerindeki insanlar- tüketimlerini azaltabileceğini ve bu elektrik kullanan hafif kullanıcıların - ortalamanın altındaki insanların - aslında tüketimini artırabileceğini düşünüyorlardı. Verilere baktıkları zaman, tam olarak buldukları şey budur (şekil 4.4). Böylece, hiçbir etkisi olmayan bir tedaviye benzeyen şey aslında iki dengeleme etkisi olan bir tedaviydi. Işık kullanıcıları arasındaki bu ters yönde artış, bir tedavinin, amaçlanandan tam tersi bir etkiye sahip olabileceği bir bumerang etkisine bir örnektir.

Şekil 4.4: Schultz et al. (2007) . Panel (a), tanımlayıcı norm tedavisinin tahmini sıfır ortalama tedavi etkisine sahip olduğunu göstermektedir. Ancak, panel (b), bu ortalama tedavi etkisinin aslında iki dengeleme etkisinden oluştuğunu göstermektedir. Ağır kullanıcılar için tedavi kullanımı azalttı, ancak hafif kullanıcılar için tedavi kullanımı arttı. Son olarak, panel (c) betimsel ve ihtiyati normlar kullanan ikinci tedavinin, ağır kullanıcılar üzerinde kabaca aynı etkiye sahip olduğunu, ancak hafif kullanıcılar üzerindeki bumerang etkisini hafifletdiğini göstermektedir. Schultz et al. (2007) .

İlk koşula eş zamanlı olarak Schultz ve meslektaşları da ikinci bir koşuyu koştular. Araştırmacılar ikinci koşuldaki hanehalklarının aynı tedaviyi aldılar (genel enerji tasarrufu ipuçları ve hane halklarının enerji kullanımları hakkındaki bilgileri mahalleler için ortalamaya kıyasla), küçük bir ilaveler: ortalama tüketimin altında olan insanlar için, araştırmacılar şunları ekledi: ) ve ortalamanın üzerinde tüketim olan insanlar için :(. Bu ifadeler araştırmacıların ne kadar tedbirli normlar dediklerini tetiklemek için tasarlanmışlardır.Öncelikli normlar yaygın olarak onaylanan (ve onaylanmayan) algılara atıfta bulunurken, tanımlayıcı normlar yaygın olarak ne yapılır (Reno, Cialdini, and Kallgren 1993) .

Bu küçük bir ifadeyi ekleyerek, araştırmacılar bumerang etkisini önemli ölçüde azalttı (Şekil 4.4). Böylelikle, bu basit bir değişimi yaparak - soyut bir sosyal psikolojik teori (Cialdini, Kallgren, and Reno 1991) tarafından motive edilen bir değişim - araştırmacılar işe yaramayacak bir programa dönüşebildi, ve eşzamanlı olarak, toplumsal normların insan davranışını nasıl etkilediğine dair genel anlayışa katkıda bulundular.

Ancak bu noktada, bu deney hakkında bir şeylerin biraz farklı olduğunu fark edebilirsiniz. Özellikle, Schultz ve meslektaşlarının deneyleri, randomize kontrollü deneylerin yaptığı gibi bir kontrol grubuna sahip değildir. Bu tasarım ve Restivo ve van de Rijt arasındaki bir karşılaştırma, iki ana deneysel tasarım arasındaki farklılıkları göstermektedir. Restivo ve van de Rijt gibi konular arasındaki tasarımlarda , bir tedavi grubu ve bir kontrol grubu vardır. Konu içi tasarımlarda ise, diğer taraftan, katılımcıların davranışları tedavi öncesi ve sonrasında karşılaştırılmıştır (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Konu içi bir denemede, her katılımcı kendi kontrol grubu gibi davranır. Denekler arası tasarımların gücü, (daha önce açıkladığım gibi) yanıltıcı etkilere karşı koruma sağlamalarıdır, ancak özne deneklerin deneylerinin gücü, tahminlerin kesinliğidir. Son olarak, daha sonra dijital deneyler tasarlama konusunda tavsiyede bulunduğumda bir fikrin farkına varmak için, bir _mixed tasarım, konu içi tasarımların geliştirilmiş hassasiyetini ve nesneler arası tasarımların karıştırılmasına karşı korumayı geliştirir (Şekil 4.5).

Şekil 4.5: Üç deneysel tasarım. Standart randomize kontrollü deneyler, denekler arası tasarımları kullanır. Denekler arası tasarımın bir örneği Restivo ve van de Rijt'in (2012) Wikipedia'lar ve Wikipedia'ya katkıları üzerine deneyler: Araştırmacılar katılımcıları tedavi ve kontrol gruplarına rasgele ayırdı, katılımcılara tedavi grubuna bir barnstar verdi ve sonuçları iki grup İkinci tasarım türü, bir iç tasarımdır. Schultz ve meslektaşlarının (2007) sosyal normlar ve enerji kullanımı üzerine yaptıkları iki deney, içsel bir tasarımı tasvir etmektedir: araştırmacılar, tedavinin öncesinde ve sonrasında katılımcıların elektrik kullanımını karşılaştırmıştır. Konu içi tasarımlar geliştirilmiş istatistiksel hassasiyet sunar, ancak olası önyargılara açıktır (örneğin, ön arıtma ve tedavi dönemleri arasındaki hava değişikliklerinde) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Konu içi tasarımlara da bazen tekrarlanan önlemler tasarımları denir. Son olarak, karma tasarımlar , konu içi tasarımların geliştirilmiş hassasiyetini ve nesneler arası tasarımların karıştırılmasına karşı korumayı birleştirir. Karma bir tasarımda, bir araştırmacı tedavi ve kontrol gruplarındaki insanlar için sonuçlardaki değişimi karşılaştırır. Araştırmacılar halihazırda ön-tedavi bilgisine sahip olduklarında, birçok dijital deneyde olduğu gibi, karışık tasarımlar genellikle konular arası tasarımlara tercih edilir, çünkü bunlar tahminlerin daha iyi bir şekilde kesilmesine neden olurlar.

Genel olarak, Schultz ve meslektaşlarının (2007) çalışmasının tasarımı ve sonuçları, basit deneylerin ötesine geçmenin değerini göstermektedir. Neyse ki, böyle deneyler tasarlamak için yaratıcı bir deha olmak zorunda değilsiniz. Sosyal bilimciler, daha zengin deneylere doğru sizi yönlendirecek üç kavram geliştirdiler: (1) geçerlilik, (2) tedavi etkilerinin heterojenliği ve (3) mekanizmalar. Yani, denemenizi tasarlarken bu üç fikri aklınızda tutarsanız, doğal olarak daha ilginç ve yararlı bir deney oluşturacaksınız. Bu üç kavramın hareket halinde olduğunu göstermek için, Schultz ve arkadaşlarının (2007) zarif tasarımı ve heyecan verici sonuçları üzerine inşa edilen bir dizi takipli kısmen dijital alan deneylerini tanımlayacağım. Göreceğiniz üzere, daha dikkatli tasarım, uygulama, analiz ve yorumlama yoluyla, basit deneylerin ötesine geçebilirsiniz.