ayrıntılı açıklama

Bu bölümde, bir anlatı olarak okunacak ziyade, bir referans olarak kullanılmak üzere tasarlanmıştır.

• Giriş (Bölüm 5.1)

Kütle işbirliği vatandaş bilimi, crowdsourcing, ve kolektif zeka fikirleri karıştırır. Vatandaş bilim genellikle "vatandaş" bilimsel süreç (yani, olmayan bilim adamları) içeren anlamına gelir (Crain, Cooper, and Dickinson 2014) . Crowdsourcing genellikle kalabalık için dış kaynak yerine, genellikle bir organizasyon içinde çözüldü bir sorun alarak ve anlamı (Howe 2009) . Kolektif zeka genellikle zeki görünmek yollarla toplu olarak hareket bireylerin grupları anlamına gelir (Malone and Bernstein 2015) . Nielsen (2012) bilimsel araştırma için kitlesel işbirliği güç haline harika bir kitap uzunluğunda bir giriştir.

Orada önerilen üç kategoriye uyacak değil kitlesel işbirliği birçok türü vardır, ve ben onlar bir noktada sosyal araştırma yararlı olabilir, çünkü üç özel ilgiyi hak düşünüyorum. Bir örnek katılımcılar satın tahmin piyasaları ve dünyada meydana gelen sonuçlar üzerinde çevrilemez dayalı ticaret sözleşmeleri (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Öngörü pazarlar genellikle tahmin için firmalar ve hükümetler tarafından kullanılır ve tahmin pazarları da psikoloji yayınlanan çalışmaların tekrarlanabilirliğini tahmin etmek sosyal araştırmacılar tarafından kullanılmıştır (Dreber et al. 2015) .

Benim kategorizasyon düzeni içine iyice uymuyor İkinci bir örnek araştırmacılar yeni matematik teoremleri ispatlamak için bloglar ve wikiler kullanarak işbirliği Polymath projedir (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Polymath projesi Netflix Ödülü benzer bazı açılardan olmakla birlikte, Polymath proje katılımcılarına daha aktif başkalarının kısmi çözümlere üzerine inşa.

Benim kategorizasyon düzeni içine iyice uymuyor üçüncü bir örnek, (yani, Kırmızı Balon Mücadelesi) Savunma İleri Araştırma Projeleri Ajansı (DARPA) Ağ Challenge olarak zamana bağlı hareketlenmeyi olduğunu. Bu süre daha hassas hareketler bkz Pickard et al. (2011) , Tang et al. (2011) , ve Rutherford et al. (2013) .

• İnsan hesaplama (Bölüm 5.2)

terim "insan hesaplama" bilgisayar mühendisleri tarafından yapılan işlerin çıkıyor ve bunun için uygun olabilir sorunları ortaya çıkarmak için yeteneğini artıracak bu araştırmanın arkasında bağlamı anlamak. Bazı görevler için, bilgisayarların çok daha uzman insanları aşan yetenekleri ile inanılmaz güçlüdür. Örneğin, satrançta, bilgisayarlar bile en iyi büyük ustaları yenebilir. Ama-ve bu daha az sosyal tarafından takdir edilmektedir bilim adamları-ilgili diğer görevler, bilgisayarlar aslında insanlar çok daha kötü. Başka bir deyişle, şu an resim, video, ses ve metin işleme içeren belirli görevleri bile en gelişmiş bilgisayardan daha iyidir. Böylece-gibi harika XKCD tarafından izah edildi karikatür-oradaki insanlar için bilgisayarlar için kolay ve zor görevler vardır, ama bilgisayarlar için sert ve insanlar için kolay görevler (Şekil 5.13) da vardır. Sert-bilgisayarlar-kolay için insan görevler, bu nedenle, onların hesaplama sürecinde insanların içerebilir fark bu çalışan bilgisayar mühendisleri. İşte Luis von Ahn nasıl (2005) o ilk doktora tezinde terim icat, insan hesaplama tarif etti: ". Bir paradigma bilgisayarlar henüz çözemediği sorunları çözmek için insan işlem gücünü kullanan için"

5.13 Şekil: Bazı görevler için bilgisayarlar şaşırtıcı, insan uzmanların yeteneğini aşan. Ancak, diğer görevler için, sıradan insanlar bile sofistike bilgisayar sistemlerini daha iyi performans. bilgisayarlar için sert ve insanlar için kolay görevler içeren büyük ölçekli sorunları, insan hesaplama için çok uygundur. Burada açıklanan şartlara göre kullanılan: http://xkcd.com/license.html

Bu tanım Foldit-Açık bölümünde açıklandığı çağrılarına-ebil insan hesaplama projesi kabul edilebilir. Ancak, özel beceri gerektirir çünkü açık bir çağrı olarak Foldit kategorize seçiyoruz ve en iyi çözüm bölünmüş başvuruda-birleştirmek stratejiyi kullanarak yerine katkıda sürer.

İnsan hesaplama mükemmel bir kitap uzunluğu tedavisi için terimin en genel anlamıyla, bkz Law and Ahn (2011) . Bölüm 3 Law and Ahn (2011) bu bölümde olanlar daha karmaşık bir araya adımların ilginç bir tartışma vardır.

Dönem "split-uygulamak birleştirmek" tarafından kullanılan Wickham (2011) istatistiksel hesaplama için bir strateji tanımlamak için, ama mükemmel bir çok insan hesaplama projelerinin sürecini yakalar. Bölünmüş uygulamak birleştirmek stratejisi Google geliştirilen MapReduce çerçevesinde benzer (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Ben tartışmak için yer yoktu iki zeki insan hesaplama projeleri ESP Oyunu vardır (Ahn and Dabbish 2004) ve reCAPTCHA (Ahn et al. 2008) . Bu projelerin her ikisi de görüntüleri etiketleri sağlamak için katılımcıların motive yaratıcı yollar buldular. Galaxy Zoo aksine, ESP Oyun ve reCAPTCHA katılımcılar kendi veri kullanıldığını nasıl bilmiyordu, çünkü Ancak, bu projelerin hem de etik soruları gündeme (Lung 2012; Zittrain 2008) .

ESP Oyunu esinlenerek, birçok araştırmacı diğerleri "bir amaç ile oyun" geliştirmeye çalıştılar (Ahn and Dabbish 2008) (yani, "insan merkezli hesaplama oyunları" (Pe-Than, Goh, and Lee 2015) ) olabilir diğer sorunları çeşitli çözmek için kullanılır. Ne bu "bir amaç ile oyun" ortak noktası ise keyifli insan hesaplama katılan görevleri yapmaya çalışın olmasıdır. ESP Oyun Galaxy Zoo ile aynı bölünmüş başvuruda-birleştirmek yapıyı paylaşan Böylece, bu bilimi yardım etmek arzusu vs katılımcıların nasıl motive-eğlenceli farklıdır.

Galaxy Zoo benim açıklama üzerine çekiyor Nielsen (2012) , Adams (2012) , Clery (2011) , ve Hand (2010) , ve Galaxy Zoo araştırma hedefleri sunumum basitleştirilmiş edildi. Astronomi galaksi sınıflandırma tarihi ve nasıl Galaxy Zoo Bu geleneği devam hakkında daha fazla bilgi için, bkz Masters (2012) ve Marshall, Lintott, and Fletcher (2015) . Galaxy Zoo üzerine inşa araştırmacılar gönüllülerin 60 milyondan fazla daha karmaşık morfolojik sınıflandırmalar toplanan Galaxy Zoo 2 tamamladı (Masters et al. 2011) . Dahası, onlar, ayın yüzeyini keşfetmek gezegenler arıyor ve eski belgeleri transkripsiyonu dahil galaksi morfolojisi dışında sorunlarla dışarı dallı. Şu anda, tüm projeleri toplanmaktadır www.zooniverse.org (Cox et al. 2015) . Biri projeler-Anlık Galaxy Zoo-tipi görüntü sınıflandırma projeleri de çevresel araştırmalar için yapılabilir kanıt Serengeti-sağlamaktadır (Swanson et al. 2016) .

Araştırmacılar insan hesaplama projesi için bir mikro-görev emek piyasasına (örneğin, Amazon Mekanik Türk) kullanmayı planlıyorsanız için, Chandler, Paolacci, and Mueller (2013) ve Wang, Ipeirotis, and Provost (2015) görev tasarım ve iyi tavsiyelerde diğer ilgili konular.

Ben ikinci nesil insan hesaplama sistemleri olarak adlandırılan kadarıyla yaratmak isteyen araştırmacılar (örneğin, bir makine öğrenme modelini eğitmek için insan etiketleri kullanmayın sistemleri) ilginizi çekebilir Shamir et al. (2014) ve (ses kullanarak bir örnek için) Cheng and Bernstein (2015) . Ayrıca, bu projeler araştırmacılar büyük öngörü performansı ile makine öğrenme modellerini oluşturmak için rekabet sayede açık çağrılar, ile yapılabilir. Örneğin, Galaxy Zoo ekibi açık çağrı koştu ve geliştirilen bir performans sergilemiştir yeni bir yaklaşım bulundu Banerji et al. (2010) ; bkz Dieleman, Willett, and Dambre (2015) Detaylar için.

• Açık çağrılar (Bölüm 5.3)

Açık aramalar yeni değildir. İngiltere'nin Parlamentosu denizde bir geminin boylam belirlemek için bir yol geliştirmek olabilir herkes için Boylam Ödülü'nü yarattı Aslında, en iyi bilinen açık çağrılar biri 1714 yılına dayanmaktadır. Sorun Isaac Newton da dahil olmak üzere gün, en büyük bilim adamlarından çok Koçan ve kazanan çözüm sonunda bir şekilde astronomi yer alacağı bir çözüm üzerinde duruldu bilim adamları farklı sorunu yaklaştı kırsal bir clockmaker tarafından sunuldu (Sobel 1996) . Bu örnekte gösterildiği gibi, açık çağrılar çok iyi çalışması için düşünülen bir nedeni farklı bakış açıları ve becerilere sahip kişilere erişim sağlamak olduğunu (Boudreau and Lakhani 2013) . Bkz Hong and Page (2004) ve Page (2008) problem çözme çeşitliliğin değeri daha fazla bilgi için.

bölümde açık çağrı vakalarının her bu kategoride aittir niçin daha fazla açıklama biraz gerektirir. Birincisi, insan hesaplama ve açık çağrı projeleri arasında ayrım tek yönlü çıkış tüm çözümler ortalama (insan hesaplama) ya da en iyi çözümü (açık çağrı) olup olmadığıdır. En iyi çözüm, bireysel çözümler sofistike bir ortalama çıktı çünkü Netflix Ödülü bu konuda biraz zor, bir bir topluluk çözüm olarak adlandırılan yaklaştı (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix açısından bakıldığında, ancak, yapmak zorunda en iyi çözüm almak oldu.

İkinci olarak, insan hesaplama bazı tanımları ile (örneğin, Von Ahn (2005) ), Foldit insan hesaplama projesi dikkate alınmalıdır. Ancak, özel beceri gerektirir çünkü açık bir çağrı olarak Foldit kategorize seçiyoruz ve en iyi çözüm yerine bölünmüş başvuruda-birleştirmek strateji kullanarak daha katkıda alır.

Son olarak, bir o Peer-to-Patent dağıtılan veri toplama bir örnektir ileri sürülebilir. Ben bir yarışma benzeri bir yapıya sahiptir ve (dağıtık veri toplama, iyi ve kötü katkıları fikri daha az açıktır oysa) sadece en iyi katkıları kullanıldığı için açık bir çağrı olarak dahil etmeyi tercih.

Netflix Ödülü ile ilgili daha fazla bilgi için, bkz Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ve Feuerverger, He, and Khatri (2012) . Foldit hakkında daha fazla bilgi için bkz Cooper et al. (2010) , Andersen et al. (2012) , ve Khatib et al. (2011) ; Foldit benim tanımındaki açıklamaları üzerine çekiyor Nielsen (2012) , Bohannon (2009) , ve Hand (2010) . Peer-to-Patent daha fazla bilgi için, bkz Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , ve Noveck (2009) .

Sonuçlarına benzer Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , New York konut müfettişleri verimlilik Bölüm 10 rapor büyük kazanımlar denetimler öngörü modelleri tarafından yönlendirilir zaman. New York, bu öngörü modelleri belediye çalışanları tarafından inşa edildi, ancak diğer durumlarda, bir yarattıkları veya açık çağrıları ile geliştirilebilir olduğunu düşünebiliriz (örneğin, Glaeser et al. (2016) ). Ancak, prediktif modeller kaynak tahsis etmek kullanılmakta olan bir büyük endişe modelleri mevcut önyargıları güçlendirmek potansiyeline sahip olmasıdır. Birçok araştırmacı zaten ", çöp çöp dışarı" bilmek ve öngörü modelleri ile bu olabilir "içinde önyargı, önyargı dışarı." Bkz Barocas and Selbst (2016) ve O'Neil (2016) inşa öngörü modelleri tehlikeleri hakkında daha fazlası için önyargılı eğitim verileri ile.

açık yarışmalar kullanarak hükümetleri engelleyebilir Bir sorun gizlilik ihlallerine yol açabilecek veri açıklaması, gerektirir. Açık çağrılar gizlilik ve veri sürüm hakkında daha fazla bilgi için bkz Narayanan, Huey, and Felten (2016) ve Bölüm 6'da tartışma.

• Dağıtılmış veri toplama (Bölüm 5.4)

EBird Benim tanımındaki açıklamaları üzerine çekiyor Bhattacharjee (2005) ve Robbins (2013) . Araştırmacılar eBird verilerini analiz etmek için istatistiksel modeller nasıl kullandığınıza fazla görmek için Hurlbert and Liang (2012) ve Fink et al. (2010) . Ornothology vatandaş bilim tarihi üzerine daha fazla bilgi için, bkz Greenwood (2007) .

Malavi Dergiler Projesi ile ilgili daha fazla bilgi için, bkz Watkins and Swidler (2009) ve Kaler, Watkins, and Angotti (2015) . Ve Güney Afrika'da ilgili proje üzerinde daha fazla bilgi için, bkz Angotti and Sennott (2015) . Malavi Dergiler Projesi araştırma kullanarak veri fazla örnek için bkz Kaler (2004) ve Angotti et al. (2014) .

• Kendi (Bölüm 5.5) tasarlama

tasarım tavsiyeler sunan My yaklaşım başarılı örneklere dayalı, endüktif ve ben duydum kitle işbirliği projeleri başarısız oldu. Araştırma akımı, örneğin, kitle işbirliği projelerinin tasarım ile ilgili olduğunu çevrimiçi topluluklar tasarlamanın daha genel sosyal psikolojik teoriler uygulamak görmek için çalışır Orada da Kraut et al. (2012) .

Motive katılımcılar ile ilgili olarak, insanların kitle işbirliği projelerine katılmak tam olarak anlamaya aslında oldukça zor (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . (Örn, Amazon Mekanik Türk) bir mikro-görev işgücü piyasasında ödeme ile katılımcıları motive planlıyorsanız Kittur et al. (2013) bazı tavsiyeler sunmaktadır.

Zoouniverse projelerinin çıkan beklenmedik keşifler daha fazla örnek için, sürpriz sağlayan ilgili olarak, bkz Marshall, Lintott, and Fletcher (2015) .

Etik olma ile ilgili olarak, ilgili konularda bazı iyi genel tanıtımları vardır Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ve Zittrain (2008) . Özellikle kalabalık çalışanları ile hukuki konularla ilgili sorunlar için, bkz Felstiner (2011) . O'Connor (2013) araştırmaların etik gözetimi ile ilgili soruları ele araştırmacı ve katılımcı rolleri bulanıklık zaman. Vatandaş bilim projelerinde participats korurken veri paylaşımı ile ilgili sorunlar için, bkz Bowser et al. (2014) . Her iki Purdam (2014) ve Windt and Humphreys (2016) dağıtık veri toplama etik sorunlar hakkında bazı tartışmalar var. Son olarak, çoğu proje katkıları kabul ama katılımcılara yazarlık kredi vermeyin. Foldit yılında Foldit oyuncular genellikle bir yazar olarak listelenmiştir (Cooper et al. 2010; Khatib et al. 2011) . Diğer açık çağrı projelerde, kazanan katılımcı genellikle çözümlerini anlatan bir kağıt yazabilirsiniz (örn Bell, Koren, and Volinsky (2010) ve Dieleman, Willett, and Dambre (2015) ). Projelerin Galaxy Zoo ailesinde, son derece aktif ve önemli katkıda bazen kağıtlara yazarları olmak üzere davet edilir. Örneğin, Ivan Terentev ve Tim Matorny, Rusya'dan iki Radyo Galaxy Zoo katılımcıları, bu proje ortaya çıktı kağıtları birinde yazarları idi (Banfield et al. 2016; Galaxy Zoo 2016) .