4.2 deneyler nelerdir?
Katılımcıların işe alım, tedavi randomizasyon, tedavi teslimat ve sonuçların ölçülmesi: randomize kontrollü deneyler dört ana maddeler var.
Randomize kontrollü deneylerin dört ana bileşeni vardır: katılımcıların işe alınması, tedavinin randomizasyonu, tedavinin sunulması ve sonuçların ölçülmesi. Dijital çağ, deneyimin temel doğasını değiştirmez, ancak bu, mantıksal olarak daha kolay hale getirir. Örneğin, geçmişte milyonlarca insanın davranışlarını ölçmek zor olabilirdi, ancak bu artık birçok dijital sistemde rutin bir şekilde gerçekleşiyor. Bu yeni fırsatları nasıl kullanacağımızı anlayabilen araştırmacılar, daha önce imkansız olan deneyleri çalıştırabilecekler.
Bunları biraz daha somut hale getirmek için - her ikisi de aynı kaldı ve neyin değiştiğini - Michael Restivo ve Arnout van de Rijt (2012) tarafından bir deneyi ele alalım. Resmi olmayan katkıların Wikipedia'daki editör katkıları üzerindeki etkisini anlamak istediler. Özellikle, herhangi bir Wikipedian'ın sıkı çalışma ve durum tespiti için herhangi bir Wikipedian'a verebileceği bir ödül olan barnstars'ın etkilerini incelediler. Restivo ve van de Rijt, 100'ü hak eden Vikipedi'ye barnstars verdi. Ardından, sonraki 90 gün içinde alıcıların sonraki Wikipedia'ya yaptıkları katkıları takip ettiler. Sürpriz olmalarından ötürü, barnstars verdikleri kişiler bir tanesini aldıktan sonra daha az düzenleme yapma eğilimindeydi. Başka bir deyişle, barnstarlar katkıyı teşvik etmekten ziyade cesaret kırıcı görünüyordu.
Neyse ki, Restivo ve van de Rijt bir “tedirginlik ve gözlem” denemesi yapmıyordu; randomize kontrollü bir deney yapıyorlardı. Bu nedenle, bir barnstar almak için en fazla 100 katılımcı seçmenin yanı sıra, bir tanesini vermedikleri 100 katılımcı da seçti. Bu 100 kontrol grubu olarak görev yaptı. Kritik olarak, tedavi grubunda olan ve kontrol grubunda kimler rastgele belirlendi.
Restivo ve van de Rijt, kontrol grubundaki insanların davranışlarına baktıklarında, katkılarının da azaldığını gördüler. Dahası, Restivo ve van de Rijt, kontrol grubundaki kişilere tedavi grubunda (yani, alınan barnstars) karşılaştırdığında, tedavi grubundaki kişilerin yaklaşık% 60 daha fazla katkıda bulunduklarını bulmuşlardır. Diğer bir deyişle, her iki grubun da katkıları azalmakta, ancak kontrol grubundakiler çok daha hızlı bir şekilde yapıyorlardı.
Bu çalışmanın gösterdiği gibi, deneylerdeki kontrol grubu, biraz çelişkili bir şekilde kritiktir. Barnstars'ın etkisini kesin olarak ölçmek için Restivo ve van de Rijt'in barnstars almayan insanlarını gözlemlemesi gerekiyordu. Çoğu kez, deneylere aşina olmayan araştırmacılar, kontrol grubunun inanılmaz değerini takdir edememektedirler. Restivo ve van de Rijt'in bir kontrol grubu olmasaydı, tam olarak yanlış bir sonuca varırlardı. Kontrol grupları, büyük bir kumarhane şirketinin CEO'sunun, çalışanların şirketten kovulmasının sadece üç yolu olduğunu söyledi: hırsızlık, cinsel taciz veya kontrol grubu olmayan bir deneme yürütmek için (Schrage 2011) .
Restivo ve van de Rijt'ın çalışması bir deneyin dört ana bileşenini göstermektedir: işe alım, randomizasyon, müdahale ve sonuçlar. Birlikte, bu dört bileşen bilim adamlarının korelasyonların ötesine geçmesine ve tedavilerin nedensel etkisini ölçmelerine izin verir. Spesifik olarak, randomizasyon, tedavi ve kontrol gruplarındaki kişilerin benzer olacağı anlamına gelir. Bu önemlidir çünkü iki grup arasındaki sonuçlardaki herhangi bir farkın tedaviye atfedilebileceği ve bir yanıltıcı etki oluşturmayacağı anlamına gelir.
Deneme mekaniğinin güzel bir örneğinin yanı sıra, Restivo ve van de Rijt'in çalışması da dijital deneylerin lojistiğinin analog deneylerden tamamen farklı olabileceğini göstermektedir. Restivo ve van de Rijt'in denemesinde, barnstarı herkese vermek çok kolaydı ve uzun bir süre boyunca (düzenleme geçmişi otomatik olarak Wikipedia tarafından kaydedildiğinden) sonucu (düzenleme sayısı) izlemek kolaydı. Tedavileri teslim etme ve sonuçları herhangi bir maliyetle ölçme becerisi, geçmişte yapılan deneylerden niteliksel olarak farklıdır. Bu deney 200 kişi içeriyor olsa da, 2000 ve hatta 20.000 kişi ile çalıştırılabilirdi. Araştırmacıların deneylerini 100 faktörle ölçeklendirmelerini engelleyen temel şey maliyet değildi; etikti. Yani, Restivo ve van de Rijt, habersiz editörlere barnstars vermek istemediler ve deneylerinin Vikipedi topluluğunu bozmalarını istemediler (Restivo and Rijt 2012, 2014) . Bu bölümdeki ve 6. bölümdeki deneylerle ortaya konan bazı etik değerlere döneceğim.
Sonuç olarak, Restivo ve van de Rijt'in deneyi, deneylerin temel mantığı değişmezken, dijital çağ deneylerinin lojistiğinin önemli ölçüde farklı olabileceğini açıkça göstermektedir. Ardından, bu değişikliklerin yarattığı fırsatları daha net bir şekilde ayırmak için, araştırmacıların şimdi geçmişte yapılmış olan deney çeşitleriyle yapabileceği deneyleri karşılaştıracağım.
