Növbəti oxumaq nədir

• Giriş (bölmə 5.1)

Kütləvi əməkdaşlıq, vətəndaş elmindən , şifrənizdən və kollektiv zəkadan fikirləri birləşdirir. Vətəndaş elmləri adətən elmi prosesdə "vətəndaşlar" (yəni nonscientists) daxildir; Crain, Cooper, and Dickinson (2014) və Bonney et al. (2014) . Crowdsourcing, genellikle, bir örgüt içinde normalde çözülmüş bir sorunu alarak yerine bir kalabalığa dışarı atma anlamına gelir; Daha çox məlumat üçün bax Howe (2009) . Kollektiv kəşfiyyat, adətən ağıllı görünən yollarla kollektiv hərəkət edən şəxslərin qruplarını deməkdir; Daha ətraflı məlumat üçün Malone and Bernstein (2015) . Nielsen (2012) elmi tədqiqat üçün kütləvi əməkdaşlığın gücünə dair bir kitab uzunluğu girişidir.

Mən təklif etdiyim üç kateqoriyaya səliqə uyğun olmayan bir çox kütləvi əməkdaşlıq növü var və mən bunlardan üçü xüsusi diqqət tələb edirəm, çünki onlar sosial araşdırmada faydalı ola bilərlər. Bir nümunə, iştirakçıların dünya bazarında gedən nəticələrə əsaslanaraq geri alına biləcək satınalma və ticarət müqavilələri olduğu proqnozlaşdırma bazarlarıdır. Proqnozlaşdırma bazarları tez-tez proqnozlaşdırmaq üçün firmalar və hökumətlər tərəfindən istifadə olunur və psixologiya üzrə dərc olunmuş tədqiqatların replikativliyini proqnozlaşdırmaq üçün sosial tədqiqatçılar tərəfindən istifadə olunur (Dreber et al. 2015) . Proqnoz bazarlarına dair ümumi məlumat üçün Wolfers and Zitzewitz (2004) və Arrow et al. (2008) .

Mənim təsnifata uyğun olmayan ikinci bir nümunə PolyMath layihəsidir, burada tədqiqatçılar yeni matematik teoremlərini sübut etmək üçün bloglar və wikislərdən istifadə edərək əməkdaşlıq edirlər. PolyMath layihəsi Netflix Mükafatına bənzər bir şəkildə gedir, lakin bu layihənin iştirakçılarında başqalarının qismən həllinə daha aktiv şəkildə hazırlanır. PolyMath layihəsi haqqında daha ətraflı məlumat üçün Cranshaw and Kittur (2011) Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) və Kloumann et al. (2016) .

Mənim təsnifata uyğun olmayan üçüncü bir nümunə, Müdafiə Ətraflı Araşdırma Layihələri Agentliyi (DARPA) Network Challenge (yəni Red Balloon Challenge) kimi zamanla bağlı hərəkətlərdir. Bu zaman həssas mobilizasiyalar haqqında daha ətraflı məlumat üçün bax Pickard et al. (2011) , Tang et al. (2011) və Rutherford et al. (2013) .

• İnsan hesablaması (bölmə 5.2)

"İnsan hesablama" termini kompüter elmləri tərəfindən həyata keçirilən işdən çıxır və bu tədqiqatın arxasında kontekstin anlaşılması onun üçün uyğun ola biləcək problemləri seçmək qabiliyyətini artıracaqdır. Bəzi tapşırıqlar üçün kompüter inanılmaz dərəcədə güclüdür və hətta təcrübəli insanları aşan imkanlara malikdir. Məsələn, şahmatda kompüterlər hətta ən yaxşı gimnastları da məğlub edə bilərlər. Amma bu, ictimai elm adamlarının digər vəzifələr üçün daha yaxşı qiymətləndirdiyini, kompüterlər həqiqətən insanlardan daha pisdir. Başqa sözlə, hazırda şəkillər, video, audio və mətnlərin işlənməsi ilə bağlı müəyyən vəzifələrdə ən müasir kompüterdən daha yaxşısınız. Bu çətin kompüterlər üçün işləyən kompüter alimləri, insan üçün asan işlə bağlı olan məsələlər, onların hesablama prosesində insanları əhatə edə biləcəyini anladılar. Luis von Ahn (2005) insan dissertasiyasını ilk dəfə hazırladığı zaman necə təsvir edir: "kompüterlərin hələ həll edə bilməyəcəyi problemləri həll etmək üçün insan emal gücündən istifadə etmək üçün bir paradiqma". İnsan hesablamasının kitab uzunluğu müalicəsi üçün, dövrün ən ümumi mənası, Law and Ahn (2011) .

Əhn Ahn (2005) Folditdə təklif olunan tərifə görə, açıq çağırışlar üzrə bölmədə təsvir etdiyim bir insan hesablama layihəsi hesab edilə bilər. Foldit'i açıq çağırış olaraq təsnif etmək üçün seçirəm, çünki xüsusi ixtisas tələb edir (mütləq rəsmi təhsil olmasa da) və split tətbiq-birləşmə strategiyasından istifadə edərək, ən yaxşı həll yolunu alır.

"Split-apply-combine" termini Wickham (2011) tərəfindən statistik hesablama strategiyasını təsvir etmək üçün istifadə edilmişdir, lakin bu, bir çox insan hesablama layihəsinin prosesini mükəmməl şəkildə ələ keçirir. Split-applied-combine strategiyası Google-da hazırlanmış MapReduce çərçivəsinə bənzəyir; MapReduce haqqında daha ətraflı məlumat üçün Dean and Ghemawat (2004) və Dean and Ghemawat (2008) . Digər paylanmış hesablamalara dair daha ətraflı məlumat üçün Vo and Silvia (2016) -a baxın. Qanunun 3-cü fəsli Law and Ahn (2011) , bu fəsildə göstərilənlərə nisbətən daha mürəkkəb birləşmə addımları olan layihələrin müzakirəsinə çıxır.

Fəsildə müzakirə etdiyim insan hesablama layihələrində iştirakçılar nə baş verdiyini bilirdilər. Bəzi digər layihələr, artıq baş verən (eBird-a oxşar) və iştirakçıların şüurlandırılmasından "iş" götürməyə çalışır. ESP Oyununu (Ahn and Dabbish 2004) və reCAPTCHA (Ahn et al. 2008) . Lakin bu layihələrin hər ikisi də etik məsələləri qaldırırlar, çünki iştirakçılar məlumatların necə istifadə edildiyini bilmirdilər (Zittrain 2008; Lung 2012) .

ESP Oyunundan ilham alan bir çox tədqiqatçı, digər (Ahn and Dabbish 2008) " (Ahn and Dabbish 2008) " (yəni "insan əsaslı hesablama oyunları" (Pe-Than, Goh, and Lee 2015) ) inkişaf etdirməyə cəhd göstərmişdir. müxtəlif problemləri həll etmək üçün istifadə olunurdu. Bu "oyun məqsədi" nin ümumi olduğu nələrdir ki, insan hesablamalarında iştirak edən vəzifələri xoşagəlməz hala gətirmək üçün çalışırlar. Beləliklə, ESP Game Galaxy Zoo ilə eyni split tətbiq-birləşən quruluşu paylaşarkən, iştirakçıların motivasiya etdiyindən fərqli olaraq, elmə kömək etmək istəyi ilə fərqlənir. Bir məqsədi ilə oyunlarda daha çox məlumat üçün, Ahn and Dabbish (2008) .

Galaxy Zoo mənim təsvir Nielsen (2012) , Adams (2012) , Clery (2011) və Hand (2010) , və Galaxy Zoo tədqiqat məqsədləri təqdim mənim sadələşdirilmiş edilmişdir. Astronomiyada galaxy təsnifatının tarixçəsi və Galaxy Zoo bu ənənəni necə davam etdirəcəyi haqqında ətraflı məlumat üçün Masters (2012) və Marshall, Lintott, and Fletcher (2015) . Galaxy Zoo üzərindəki quruluş tədqiqatçılar, Galaxy Zoo 2-ni könüllülərdən 60 milyondan çox daha mürəkkəb bir morfoloji təsnifatını topladı (Masters et al. 2011) . Bundan başqa, onlar ayın səthini araşdırmaq, planetlərin axtarışı və köhnə sənədlərin transkripsiyası da daxil olmaqla, galaxy morfologiyasından kənarda problemlərə çevrildi. Hazırda bütün layihələr Zooniverse saytında toplanır (Cox et al. 2015) . Snapshot Serengeti layihələrindən biri, Galaxy Zoo tipli təsvir təsnifat layihələrinin ekoloji tədqiqatlar üçün də edilə biləcəyini sübut edir (Swanson et al. 2016) .

İnsan hesablama layihəsi üçün Chandler, Paolacci, and Mueller (2013) və J. Wang, Ipeirotis, and Provost (2015) üçün microtask iş bazarı (məsələn, Amazon Mechanical Turk) istifadə planlaşdırır tədqiqatçılar üçün vəzifə dizayn və digər məsələlər. Porter, Verdery, and Gaddis (2016) xüsusilə mikrotasq əmək bazarlarının "məlumatların genişləndirilməsi" adlandırdıqları üçün istifadə etmələrinə yönəlmiş nümunələr və məsləhətlər təqdim edir. Məlumatların artırılması və məlumatların toplanması arasında xətt bir qədər bulanır. Mətn üçün nəzarət edilən öyrənmə üçün etiketləri toplamaq və istifadə etməklə bağlı daha ətraflı məlumat üçün, bax Grimmer and Stewart (2013) .

Kompüter yardımı olan insan hesablama sistemlərini (məsələn, bir maşın öyrənmə modelini hazırlamaq üçün insan etiketlərini istifadə edən sistemlər) çağırdığım şeyi yaratmaqda maraqlı olan tədqiqatçılar Shamir et al. (2014) (səs istifadə edərək nümunə üçün) və Cheng and Bernstein (2015) . Həmçinin, bu layihələrdə maşın öyrənmə modelləri açıq zənglər ilə tələb oluna bilər ki, tədqiqatçılar ən böyük proqnozlaşdırma performansı ilə maşın öyrənmə modelləri yaratmaq üçün rəqabət aparırlar. Məsələn, Galaxy Zoo komandası açıq bir çağırış etdi və Banerji et al. (2010) hazırladığı yeni bir yanaşma tapdı Banerji et al. (2010) ; ətraflı məlumat üçün Dieleman, Willett, and Dambre (2015) baxın.

• Açıq zənglər (bölmə 5.3)

Açıq zənglər yeni deyil. Əslində, ən tanınmış açıq çağırışlardan biri İngiltərənin Parlamenti dənizdəki bir gəminin uzunluğunu müəyyənləşdirmək üçün bir yol inkişaf edə biləcək hər kəs üçün Uzunluğu Mükafatı yaratdıqdan sonra 1714-cü ilə qədər uzanır. Problem, Isaac Newton da daxil olmaqla günün ən böyük alimlərindən bir qismini qaçırdı və qazanan həlli, nəticədə, problemdən kənara çıxan bir saat maşinisti John Harrison tərəfindən göndərildi və nəticədə astronomiya ; Daha ətraflı məlumat üçün bax Sobel (1996) . Bu nümunədə göstərildiyi kimi, açıq çağırışların bir neçəsinin yaxşı işləməsi düşünülür ki, onlar müxtəlif perspektiv və bacarıqlı insanlar (Boudreau and Lakhani 2013) . Problemin həllində müxtəlifliyi qiymətləndirmək üçün Hong and Page (2004) və Page (2008) .

Fəsildə açıq çağırış hallarının hər birinin bu kateqoriyaya aid olduğuna dair daha bir izahat tələb olunur. Birincisi, insan hesablama və açıq çağırış layihələrindən fərqlənən bir yoldur çıxışın bütün həllərin ortalaması (insan hesabı) və ya ən yaxşı həlli (açıq çağrı) olub-olmadığıdır. Netflix Mükafatı bu baxımdan bir qədər çətindir, çünki ən yaxşı həll fərdi həllərin ortaq bir ortalaması, ansamblı həlli adlanan bir yanaşma (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix perspektivindən baxmayaraq, etmələri lazım olan bütün işlər ən yaxşısıdır. Netflix mükafatı haqqında daha ətraflı məlumat üçün Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) və Feuerverger, He, and Khatri (2012) .

İkincisi, insan hesablamalarının bəzi tərifləri (məsələn, Ahn (2005) ), Foldit insan hesablama layihəsi hesab edilməlidir. Buna baxmayaraq, mən onu açıq bir zəng kimi təsnifləşdirməyi seçirəm, çünki xüsusi ixtisas tələb edir (mütləq ixtisaslaşmış təhsil olmasa da) və split tətbiq-birləşmə strategiyasından istifadə edərək ən yaxşı həll edir. Foldit haqqında daha ətraflı məlumat üçün, Cooper et al. (2010) , Khatib et al. (2011) və Andersen et al. (2012) ; Foldit mənim şərhim Bohannon (2009) , Hand (2010) və Nielsen (2012) -dakı təsvirləri çəkir.

Nəhayət, Peer-to-Patent paylanmış məlumatların toplanmasının nümunəsi olduğunu iddia edə bilər. Mən açıq bir çağırış kimi əlavə etdim, çünki müsabiqə kimi bir struktur var və yalnız ən yaxşı töhfələr istifadə olunur, paylanmış məlumatların toplanması ilə yaxşı və pis töhfə fikirləri daha az açıqdır. Peer-to-Patent haqqında daha çox məlumat üçün Noveck (2006) , Ledford (2007) , Noveck (2009) və Bestor and Hamp (2010) .

Sosial araşdırmalarda açıq çağırışlardan istifadə etməklə nəticələr Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) 10-cu fəslində bildirilib ki, Nyu-York şəhərinin Mayer-Schönberger and Cukier (2013) müfəttişlərinin məhsuldarlığında böyük mənfəət əldə etmək üçün proqnozlaşdırma modelləşdirməsini istifadə edə bildi. Nyu-York şəhərində bu proqnoz modelləri şəhər işçiləri tərəfindən qurulmuşdur, lakin digər hallarda, onlar açıq çağırışlarla yaradıla və ya təkmilləşdirilə bilərdi (məsələn, Glaeser et al. (2016) ). Bununla yanaşı, resursları ayırmaq üçün istifadə olunan proqnozlaşdırıcı modellərlə bağlı böyük narahatlıq bu modellərin mövcud yanaşmaları gücləndirmək potensialına malik olmasıdır. Bir çox tədqiqatçı zaten "zibil, çöp çıxartmaq" və "önyargılı modellər" ola bilər. " Barocas and Selbst (2016) və " O'Neil (2016) , daha çox qurulan proqnozlaşdırıcı modellər qərəzli təhsil məlumatları ilə.

Hökumətlərin açıq müsabiqələrdən istifadə etmələrinə mane ola biləcək bir problem, bu məlumatların azad edilməsini tələb edir ki, bu da məxfilik pozuntularına səbəb ola bilər. Açıq çağırışlarda gizlilik və məlumat azadlığı haqqında daha ətraflı məlumat üçün Narayanan, Huey, and Felten (2016) və 6- Narayanan, Huey, and Felten (2016) fəsildə müzakirə.

Breiman (2001) və izahat arasında fərqlər və oxşarlıqlar haqqında daha ətraflı məlumat üçün Breiman (2001) , Shmueli (2010) , Watts (2014) və Kleinberg et al. (2015) . Sosial tədqiqat proqnozlaşdırılması rolu daha ətraflı məlumat üçün, bax Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) və Yarkoni and Westfall (2017) .

Dizayn məsləhətləri də daxil olmaqla, biologiyada açıq çağırış layihələrini nəzərdən keçirmək üçün, bax Saez-Rodriguez et al. (2016) .

• Distributed data collection (bölmə 5.4)

EBird mənim şərh Bhattacharjee (2005) , Robbins (2013) və Sullivan et al. (2014) . Araşdırmacılar eBird məlumatlarını təhlil etmək üçün statistik modelləri necə istifadə etdiyinə dair daha ətraflı məlumat üçün Fink et al. (2010) və Hurlbert and Liang (2012) . EBird iştirakçılarının bacarıqlarını qiymətləndirmək üçün daha çox məlumat üçün Kelling, Johnston, et al. (2015) . Ornitologiya sahəsində vətəndaş elminin tarixi haqqında daha ətraflı məlumat üçün Greenwood (2007) -ə baxın.

Malavi Jurnalları Layihəsi haqqında ətraflı məlumat üçün Watkins and Swidler (2009) və Kaler, Watkins, and Angotti (2015) . Cənubi Afrikada əlaqəli bir layihə haqqında daha ətraflı məlumat üçün bax: Angotti and Sennott (2015) . Malavi Jurnalları Layihəsi məlumatlarını istifadə edərək daha çox araşdırma nümunəsi üçün Kaler (2004) və Angotti et al. (2014) .

• Özünüzün hazırlanması (bölmə 5.5)

Dizayn məsləhətini təqdim etmək üçün mənim yanaşma uğurlu və müvəffəqiyyətli kütləvi əməkdaşlıq layihələri haqqında eşitmişəm nümunələrinə əsaslanaraq endüktif idi. Kütləvi əməkdaşlıq layihələrinin dizaynı ilə bağlı olan onlayn icmaların layihələndirilməsi üçün daha ümumi sosial psixoloji nəzəriyyələri tətbiq etmək üçün tədqiqat cəhdləri axını da olmuşdur, məsələn, Kraut et al. (2012) .

Həvəsləndirici iştirakçılara gəldikdə, insanların kütləvi əməkdaşlıq layihələrində iştirak etdiyini dəqiq (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) olduqca çətin deyil (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Əgər iştirakçıları mikrotasq əmək bazarında ödənişlə motivasiya etməyi planlaşdırırsanız (məsələn, Amazon Mechanical Turk), Kittur et al. (2013) bəzi məsləhətlər təklif edir.

Zooiverse layihələrindən çıxan gözlənilməz kəşflərdən daha çox nümunə üçün təəccüblü bir sürprizlə əlaqəli Marshall, Lintott, and Fletcher (2015) .

Əxlaqi olma ilə əlaqəli məsələlərə bir sıra yaxşı ümumi təriflər Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) və Zittrain (2008) . Felstiner (2011) işçiləri ilə hüquqi məsələlərlə bağlı xüsusi məsələlər üçün Felstiner (2011) . O'Connor (2013) tədqiqatçıların və iştirakçıların rollarını ləkələdikdə tədqiqatların etik nəzarətinə dair suallar verir. Vətəndaş elm layihələrində iştirakçıları müdafiə edərkən məlumatların paylaşılmasına dair məsələlər üçün bax Bowser et al. (2014) . Həm Purdam (2014) həm də Windt and Humphreys (2016) paylanmış məlumatların toplanmasında etik məsələlərə dair bir müzakirə Purdam (2014) . Nəhayət, əksər layihələr iştirak paylarını qəbul edir, lakin iştirakçılara müəllif krediti vermir. Folditdə oyunçular tez-tez bir müəllif kimi siyahıya alınırlar (Cooper et al. 2010; Khatib et al. 2011) . Digər açıq layihələrdə, qazanan iştirakçı tez-tez öz həllərini izah edən bir yazı yaza bilər (məsələn, Bell, Koren, and Volinsky (2010) və Dieleman, Willett, and Dambre (2015) ).