Sonraki ne okunmalı?

• Giriş (bölüm 5.1)

Kitle işbirliği, vatandaş biliminden , kitle kaynaklarından ve kolektif zekadan gelen fikirleri harmanlar. Vatandaş bilimi, genellikle bilimsel süreçte “vatandaş” (yani, bilim adamı olmayanlar) içeren anlamına gelir; daha fazlası için bkz. Crain, Cooper, and Dickinson (2014) ve Bonney et al. (2014) . Kitle kaynak kullanımı genellikle bir kuruluşta normalde çözülmüş bir problem almak ve bunun yerine bir kalabalığa dış kaynak sağlamak anlamına gelir; Daha fazlası için bkz. Howe (2009) . Kolektif zeka genellikle, zeki görünen şekillerde kolektif olarak hareket eden bireyler grubu anlamına gelir; Daha fazlası için, bkz. Malone and Bernstein (2015) . Nielsen (2012) , bilimsel araştırmalar için kitlesel işbirliğinin gücüne kitap uzunluğunda bir giriş niteliğindedir.

Önerdiğim üç kategoriye düzgün bir şekilde uymayan çok sayıda toplu işbirliği türü var ve bunların üç tanesi özel bir ilgiyi hak ediyor çünkü sosyal araştırmalarda yararlı olabilirler. Bir örnek, katılımcıların dünyada meydana gelen sonuçlara dayalı olarak satın alınabilir ve alım satım sözleşmeleri satın aldığı tahmin pazarlarıdır. Tahmin pazarları, şirketler ve hükümetler tarafından tahmin edilmek için sıklıkla kullanılmaktadır ve ayrıca, psikolojideki yayınlanmış çalışmaların tekrarlanabilirliğini tahmin etmek için sosyal araştırmacılar tarafından da kullanılmıştır (Dreber et al. 2015) . Tahmin pazarlarına genel bakış için bkz. Wolfers and Zitzewitz (2004) ve Arrow et al. (2008) .

Kategorizasyon şemamıma uymayan ikinci bir örnek, araştırmacıların yeni matematik teoremlerini kanıtlamak için blogları ve wiki'leri kullanarak işbirliği yaptığı PolyMath projesidir. PolyMath projesi, Netflix Ödülü'ne benzer bir şekilde, ancak bu projede katılımcıların diğerlerinin kısmi çözümlerine daha aktif bir şekilde dayanıyor. PolyMath projesi hakkında daha fazla bilgi için bkz. Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) ve Kloumann et al. (2016) .

Sınıflandırma şemamıma uymayan üçüncü bir örnek, Savunma İleri Araştırma Projeleri Ajansı (DARPA) Ağ Mücadelesi (yani, Kırmızı Balon Yarışması) gibi zamana bağlı seferberliklerdir. Bu zamana duyarlı hareketler hakkında daha fazla bilgi için bkz. Pickard et al. (2011) , Tang et al. (2011) ve Rutherford et al. (2013) .

• İnsan hesaplaması (bölüm 5.2)

“İnsan hesaplaması” terimi, bilgisayar bilimcileri tarafından yapılan çalışmalardan kaynaklanmaktadır ve bu araştırmanın ardındaki bağlamı anlamak, sizin için uygun olabilecek sorunları seçme yeteneğinizi geliştirecektir. Bazı görevler için bilgisayarlar inanılmaz derecede güçlüdür, yetenekleri bile uzman insanlardan çok daha fazladır. Örneğin, satrançta, bilgisayarlar en iyi büyük ustaları bile yenebilir. Fakat — ve bu, sosyal bilimciler tarafından daha az takdir edilmektedir - diğer görevler için bilgisayarlar aslında insanlardan daha kötüdür. Diğer bir deyişle, şu anda görüntü, video, ses ve metin işlemlerini içeren belirli görevlerde bile en sofistike bilgisayardan daha iyisiniz. Bu zor-bilgisayarlar için kolay-insan-dışı görevler üzerinde çalışan bilgisayar bilimcileri, bu nedenle insanlara hesaplama süreçlerini dahil edebildiklerini fark ettiler. Luis von Ahn (2005) , tez çalışmasında terimini ilk kez belirlediğinde insan hesaplamasını şöyle tarif etmiştir: “bilgisayarların henüz çözemediği problemleri çözmek için insani işlem gücünü kullanmak için bir paradigma.” İnsan hesaplamalarının kitap boyu bir tedavisi için, Bu terimin en genel anlamı, bkz. Law and Ahn (2011) .

Açık çağrılarla ilgili bölümde anlattığım Ahn (2005) Foldit'te önerilen tanıma göre, bir insan hesaplama projesi olarak düşünülebilir. Bununla birlikte, Foldit'i açık bir çağrı olarak sınıflandırmayı tercih ediyorum çünkü özel beceriler gerektiriyor (zorunlu olarak resmi eğitim olmasa da) ve bölünmüş-uygulamalı bir birleştirme stratejisi kullanmaktan ziyade en iyi çözümü almayı gerektiriyor.

“Split-apply-combine” terimi, Wickham (2011) tarafından istatistiksel hesaplama stratejisini tanımlamak için kullanılmıştır, ancak birçok insan hesaplama projesinin sürecini mükemmel bir şekilde ele almaktadır. Ayrık uygulamalı birleştirme stratejisi, Google'da geliştirilen MapReduce çerçevesine benzer; MapReduce hakkında daha fazla bilgi için bkz. Dean and Ghemawat (2004) ve Dean and Ghemawat (2008) . Diğer dağıtılmış hesaplama mimarileri hakkında daha fazla bilgi için, bkz. Vo and Silvia (2016) . Law and Ahn (2011) 'ın 3. Bölümünde, bu bölümdekilerden daha karmaşık birleştirme adımlarına sahip projeler hakkında bir tartışma vardır.

Bölümde tartıştığım insan hesaplama projelerinde katılımcılar neler olduğunu biliyorlardı. Bununla birlikte, diğer bazı projeler, halihazırda gerçekleşmekte olan “iş” i (eBird'e benzer) ve katılımcı farkındalığı olmadan yakalamayı amaçlamaktadır. Örneğin, ESP Oyununa (Ahn and Dabbish 2004) ve reCAPTCHA'ya bakınız (Ahn et al. 2008) . Ancak, bu projelerin ikisi de etik soruları gündeme getirmektedir, çünkü katılımcılar verilerin nasıl kullanıldığını bilmiyordu (Zittrain 2008; Lung 2012) .

ESP Oyunundan esinlenen pek çok araştırmacı, “bir amaca yönelik oyunlar” (Ahn and Dabbish 2008) (yani, “insan tabanlı hesaplama oyunları” (Pe-Than, Goh, and Lee 2015) ) geliştirmeye çalıştı. çeşitli diğer problemleri çözmek için kullanılır. Bu “bir amacı olan oyunların” ortak noktası, insan hesaplamalarında yer alan görevleri zevkli hale getirmeye çalışmasıdır. Böylece, ESP Oyunu, Galaxy Hayvanat Bahçesi ile aynı bölme-uygulama-birleştirme yapısını paylaşırken, katılımcıların nasıl motive olduklarına göre farklılık gösterir; Bir amaca yönelik oyunlar hakkında daha fazla bilgi için bkz. Ahn and Dabbish (2008) .

Galaxy Zoo'nun açıklamasında Nielsen (2012) , Adams (2012) , Clery (2011) , Hand (2010) , ve Galaxy Zoo'nun araştırma hedefleri hakkındaki sunumum basitleştirildi. Astronomide galaksi sınıflandırması tarihi ve Galaxy Zoo'nun bu geleneği nasıl sürdürdüğü hakkında daha fazla bilgi için bkz. Masters (2012) ve Marshall, Lintott, and Fletcher (2015) . Galaxy Hayvanat Bahçesi üzerine inşa edilen araştırmacılar, gönüllülerden 60 milyondan fazla karmaşık morfolojik sınıflama toplayan Galaxy Zoo 2'yi tamamladılar (Masters et al. 2011) . Dahası, Ay'ın yüzeyini keşfetmek, gezegenler aramak ve eski belgeleri kopyalamak da dahil olmak üzere galaksi morfolojisi dışında sorunlara daldılar. Şu anda tüm projeleri Zooniverse web sitesinde toplanmaktadır (Cox et al. 2015) . Projelerden biri olan Snapshot Serengeti, Galaxy Zoo tipi görüntü sınıflandırma projelerinin çevresel araştırmalar için de yapılabileceğine dair kanıtlar sunmaktadır (Swanson et al. 2016) .

Bir insan hesaplama projesi için bir microtask işgücü piyasası (örneğin, Amazon Mechanical Turk) kullanmayı planlayan araştırmacılar için Chandler, Paolacci, and Mueller (2013) ve J. Wang, Ipeirotis, and Provost (2015) , görev tasarımı konusunda iyi öneriler sunarlar. diğer ilgili konular. Porter, Verdery, and Gaddis (2016) , özellikle “veri büyütme” dedikleri şey için mikro-iş gücü piyasasının kullanımlarına odaklanmış örnekler ve tavsiyeler sunmaktadır. Veri büyütme ve veri toplama arasındaki çizgi biraz bulanıktır. Metin için denetlenen öğrenme için etiket toplama ve kullanma hakkında daha fazla bilgi için bkz. Grimmer and Stewart (2013) .

Bilgisayar destekli insan hesaplama sistemleri (örneğin, bir makine öğrenme modelini eğitmek için insan etiketlerini kullanan sistemler) dediğimi oluşturmakla ilgilenen araştırmacılar, Shamir et al. (2014) (ses kullanan bir örnek için) ve Cheng and Bernstein (2015) . Ayrıca, bu projelerdeki makine öğrenimi modelleri, açık çağrılar ile istenebilir, böylece araştırmacılar, en büyük tahmin performansına sahip makine öğrenimi modelleri oluşturmak için yarışırlar. Örneğin, Galaxy Hayvanat Bahçesi ekibi açık bir çağrı yaptı ve Banerji et al. (2010) ; Dieleman, Willett, and Dambre (2015) için Dieleman, Willett, and Dambre (2015) bakınız.

• Açık aramalar (bölüm 5.3)

Açık aramalar yeni değil. Aslında, en tanınmış açık çağrılardan biri, İngiltere Parlamentosu'nun denizde bir geminin boylamını belirlemek için bir yol geliştirebilecek biri için The Longitude Ödülü'nü yaratmasıyla 1714'e dayanıyor. Sorun, Isaac Newton da dahil olmak üzere günlerin en büyük bilim adamlarının çoğunu etkiledi ve kazanan çözüm sonunda, astronomi içeren bir çözüme odaklanmış olan bilim insanlarından farklı bir şekilde yaklaşan kırsaldan bir saatçi olan John Harrison tarafından sunuldu. ; Daha fazla bilgi için bkz. Sobel (1996) . Bu örnekte de görüldüğü gibi, açık çağrıların bu kadar iyi çalışmasının bir nedeni de farklı perspektif ve becerilere sahip insanlara erişim sağlamalarıdır (Boudreau and Lakhani 2013) . Problem çözmede çeşitliliğin değeri hakkında daha fazla bilgi için bkz. Hong and Page (2004) ve Page (2008) .

Bu bölümdeki açık çağrı durumlarının her biri, neden bu kategoriye ait olduğu konusunda biraz daha fazla açıklama gerektirir. İlk olarak, insan hesaplaması ve açık çağrı projeleri arasında ayrım yaptığım bir yol, çıktının tüm çözümlerin (insan hesaplaması) veya en iyi çözümün (açık çağrı) ortalaması olup olmadığıdır. Netflix Ödülü bu bakımdan bir hayli zordur çünkü en iyi çözüm, bireysel çözümlerden oluşan karmaşık bir ortalamaya dönüşmüştür, bir topluluk çözümü olarak adlandırılan bir yaklaşımdır (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Ancak Netflix'in bakış açısından, tek yapmaları gereken en iyi çözümü seçmekti. Netflix Ödülü hakkında daha fazla bilgi için bkz. Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) ve Feuerverger, He, and Khatri (2012) .

İkincisi, insan hesaplamalarının bazı tanımlarıyla (ör. Ahn (2005) ), Foldit bir insan hesaplama projesi olarak düşünülmelidir. Bununla birlikte, açık bir çağrı olarak sınıflandırmayı tercih ediyorum çünkü özel beceriler gerektiriyor (zorunlu olarak uzmanlık eğitimi olmasa da) ve bölünmüş-uygulamalı bir birleştirme stratejisi kullanmak yerine en iyi çözümü alıyor. Foldit hakkında daha fazla bilgi için, Cooper et al. (2010) , Khatib et al. (2011) ve Andersen et al. (2012) ; Foldit açıklamasında Bohannon (2009) , Hand (2010) ve Nielsen (2012) .

Son olarak, Peer-to-Patent'in dağıtılmış veri toplama örneği olduğunu iddia edebiliriz. Açık bir çağrı olarak dahil etmeyi seçiyorum çünkü yarışma benzeri bir yapıya sahip ve en iyi katkıları kullanılırken, dağıtılmış veri toplama ile iyi ve kötü katkılar fikri daha az açık. Peer-to-Patent hakkında daha fazla bilgi için bkz. Noveck (2006) , Ledford (2007) , Noveck (2009) ve Bestor and Hamp (2010) .

Sosyal araştırmalarda açık çağrıları kullanma açısından, Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) 10. bölümünde, New York'un konut müfettişlerinin verimliliğinde büyük kazançlar elde etmek için öngörü modelini kullanabileceği bildirilmiştir. New York City'de, bu öngörücü modeller şehir çalışanları tarafından inşa edildi, ancak diğer durumlarda, açık çağrılar ile oluşturulabilecek veya geliştirilebileceği düşünülebilirdi (örneğin, Glaeser et al. (2016) ). Bununla birlikte, kaynakları tahsis etmek için kullanılan tahmin modelleriyle ilgili önemli bir endişe, bu modellerin mevcut önyargıları pekiştirme potansiyeline sahip olmasıdır. Birçok araştırmacı “çöp, çöp çıkışı” nı zaten biliyor ve öngörü modelleri ile “önyargı, önyargılı” olabilir. ”Öngörülü modellerin tehlikeleri hakkında daha fazla bilgi için Barocas and Selbst (2016) ve O'Neil (2016) . önyargılı eğitim verileri.

Hükümetlerin açık yarışmalar kullanmasını engelleyebilecek sorunlardan biri de, bu durumun gizlilik ihlallerine yol açabilecek bir veri açıklaması gerektirmesidir. Açık çağrılarda gizlilik ve veri serbestliği hakkında daha fazla bilgi için bkz. Narayanan, Huey, and Felten (2016) ve 6. bölümdeki tartışma.

Tahmin ve açıklama arasındaki farklılıklar ve benzerlikler hakkında daha fazla bilgi için bkz. Breiman (2001) , Shmueli (2010) , Watts (2014) ve Kleinberg et al. (2015) . Sosyal araştırmalarda öngörünün rolü hakkında daha fazla bilgi için bkz. Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) ve Yarkoni and Westfall (2017) .

Tasarım tavsiyesi de dahil olmak üzere biyoloji alanındaki açık çağrı projelerinin gözden geçirilmesi için bkz. Saez-Rodriguez et al. (2016) .

• Dağıtılmış veri toplama (bölüm 5.4)

EBird'in açıklamasında, Bhattacharjee (2005) , Robbins (2013) ve Sullivan et al. (2014) . Araştırmacıların eBird verilerini analiz etmek için istatistiksel modelleri nasıl kullandıklarına dair daha fazla bilgi için bkz. Fink et al. (2010) ve Hurlbert and Liang (2012) . EBird katılımcıların yeteneklerini tahmin etme hakkında daha fazla bilgi için bkz. Kelling, Johnston, et al. (2015) . Ornitolojide vatandaş bilimi tarihi hakkında daha fazla bilgi için, bkz. Greenwood (2007) .

Malawi Journals Projesi hakkında daha fazla bilgi için Watkins and Swidler (2009) ve Kaler, Watkins, and Angotti (2015) . Güney Afrika'da ilgili bir proje için bkz. Angotti and Sennott (2015) . Malawi Journals Project'in verilerini kullanarak daha fazla araştırma örneği için bkz. Kaler (2004) ve Angotti et al. (2014) .

• Kendi tasarlamanız (bölüm 5.5)

Tasarım önerisi sunma yaklaşımım, duyduğum başarılı ve başarısız kitlesel işbirliği projelerine dayanarak, endüktifti. Ayrıca, kitle işbirliği projelerinin tasarımıyla ilgili çevrimiçi toplulukları tasarlamaya yönelik daha genel sosyal psikolojik teorileri uygulamaya yönelik araştırma girişimleri de olmuştur, bkz. Örneğin, Kraut et al. (2012) .

Motive edici katılımcılar ile ilgili olarak, insanların neden toplu iş birliği projelerine katıldığını tam olarak anlamak oldukça zordur (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Katılımcıları bir mikro-iş gücü piyasası (örneğin, Amazon Mechanical Turk) üzerinden ödeme ile motive etmeyi planlıyorsanız, Kittur et al. (2013) bazı tavsiyelerde bulunur.

Sürdürülebilirlikle ilgili olarak, Zooiverse projelerinden çıkan beklenmedik keşifler için daha fazla örnek için bkz. Marshall, Lintott, and Fletcher (2015) .

Etik olma konusunda, ilgili konulara iyi genel tanıtımlar Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) ve Zittrain (2008) . Kalabalık çalışanlarıyla ilgili yasal konularla ilgili konular için bkz. Felstiner (2011) . O'Connor (2013) , araştırmacıların ve katılımcıların rollerinin ne zaman bulanıklaştığını araştırmanın etik gözetimi hakkındaki soruları ele almaktadır. Yurttaşlık bilim projelerinde katılımcıları korurken veri paylaşımı ile ilgili konular için Bowser et al. (2014) . Purdam (2014) ve Windt and Humphreys (2016) nın dağıtılmış veri toplamadaki etik konularla ilgili bazı tartışmaları vardır. Son olarak, çoğu proje katkıları kabul eder ancak katılımcılara yazarlık kredisi vermez. Foldit'te oyuncular genellikle yazar olarak listelenir (Cooper et al. 2010; Khatib et al. 2011) . Diğer açık çağrı projelerinde kazanan katılımcı, genellikle çözümlerini açıklayan bir makale yazabilir (örneğin Bell, Koren, and Volinsky (2010) ve Dieleman, Willett, and Dambre (2015) ).