Ushbu bo'limda hikoyasiga sifatida o'qish uchun emas, balki, bir yo'naltiruvchi sifatida foydalanish uchun mo'ljallangan.
Mass hamkorlik fuqarosi fan, Crowdsourcing va jamoaviy aql g'oyalarni uyg'unlashdi. Fuqaro fan, odatda "fuqarolarini" ilmiy jarayonida (ya'ni, non-olimlar) jalb anglatadi (Crain, Cooper, and Dickinson 2014) . Wordpress, odatda, bir olomon uni autsorsing o'rniga odatda bir tashkilot doirasida hal muammo olib, degan ma'noni anglatadi (Howe 2009) . Kollektiv razvedka odatda aqlli ko'rinadi yo'llar birgalikda bajaruvchi shaxslar guruhlari degan ma'noni anglatadi (Malone and Bernstein 2015) . Nielsen (2012) ilmiy-tadqiqot uchun ommaviy hamkorlik kuchi bir ajoyib kitob-uzunligi joriy etish hisoblanadi.
U erda men taklif uch toifaga aniq mos bo'lmagan ommaviy hamkorlikda ko'plab turlari bor va men ular bir nuqtada ijtimoiy tadqiqotlar ham foydali bo'lishi mumkin, chunki uch alohida e'tiborga loyiq, deb o'ylayman. Bir misol ishtirokchilari sotib bashorat bozorlar va dunyoda sodir yakunlari bo'yicha tarjima asoslangan savdo shartnomalari hisoblanadi (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Bashorat bozorlar ko'pincha prognozlash uchun firma va hukumat tomonidan ishlatiladi, va taxmin bozorlar ham psixologiya chop etilgan tadqiqotlar yaygınlaşabilmesini bashorat qilish, ijtimoiy tadqiqotchilar tomonidan ishlatilgan (Dreber et al. 2015) .
Mening tasnifi sxemasi ichiga yaxshi mos emas Ikkinchi misol, tadqiqotchilar yangi matematika teoremleri isbotlash uchun bloglar va wikilar yordamida hamkorlik asrda xorazmlik loyiha, deb (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Asrda xorazmlik loyiha Netflix mukofoti o'xshash ba'zi yo'llar bilan emas, balki dono loyiha ishtirokchilari ko'proq faol boshqalar qisman yechimlari asosida qurilgan.
mening tasnifi sxemasi ichiga yaxshi mos emas Uchinchi misol kabi (ya'ni, Red Balon Challenge) mudofaa ilg'or tadqiqot loyihalari agentligi (DARPA) Tarmoq Challenge sifatida vaqti-qaram harakat hisoblanadi. Bu vaqt haqida ko'proq uchun sezgir harakat ko'rish Pickard et al. (2011) , Tang et al. (2011) , va Rutherford et al. (2013) .
muddatli "inson hisoblash" kompyuter olimlar tomonidan amalga oshirilgan ishlar olib keladi, va unga javobgar bo'lishi mumkin muammolarni yuzaga chiqarish uchun qobiliyatini yaxshilash, ushbu tadqiqot ortida kontekstni tushunish. muayyan vazifalar uchun, kompyuterlar uzoq, hatto ekspert insonlarni ortiq qobiliyat bilan nihoyatda kuchli bo'lgan. Misol uchun, shaxmat, kompyuter, hatto eng yaxshi grand ustalari mag'lub mumkin. Lekin-va bu kamroq yaxshi ijtimoiy tomonidan qadrlanadi olimlar-boshqa vazifalar, kompyuterlar aslida odamlar ancha yomon bo'ladi. Boshqa so'zlar bilan aytganda, hozir siz tasvirlar, video, audio va matn ishlash jalb ma'lum vazifalarni ham eng murakkab kompyuter ko'ra yaxshiroqdir. Shunday qilib-qilib ajoyib XKCD tasvirlaydi karikatura-bor odamlar uchun kompyuter uchun oson va qiyin vazifalar, lekin kompyuter uchun qattiq va odamlar uchun oson vazifalari (rasm 5.13) ham bor. qattiq-kompyuter-oson-uchun-inson uchun vazifalar, shuning uchun, ularning hisoblash jarayonida insonlarni o'z ichiga olishi mumkin ekanini anglab, bu ustida ish Kompyuter olimlar. Bu yerda Luis von Ahn qilib (2005) , u birinchi uning tezroq muddatini o'ylab qachon inson hisob tasvirlangan: ". Paradigma kompyuterlar hali hal qila olmaydi, deb muammolarni hal qilish, inson ishlash kuchini foydalanish uchun"
Ushbu belgilash FoldIt-I ochiq bobida tasvirlangan tomonidan qo'ng'iroqlar-mumkin bo'lgan inson hisoblash loyiha hisoblanadi. Shu bilan birga, u maxsus qobiliyatlarni talab qiladi, chunki men ochiq-oydin qo'ng'iroq qilib FoldIt toifalarga tanlashingiz va u eng yaxshi yechim bir split-amal-birlashtirish strategiyasi yordamida o'rniga hissa oladi.
Inson hisoblash ajoyib kitob uzunligi davolash uchun, muddati eng umumiy ma'noda, qarang Law and Ahn (2011) . Bob 3 Law and Ahn (2011) , bu bobda qaraganda ancha murakkab birlashtirish qadamning qiziqarli muhokama ega.
Atamasi "split-amal kombinati» tomonidan ishlatilgan Wickham (2011) statistik kompyuter strategiyasini bayon qilish uchun, lekin u mukammal ko'p inson hisoblash loyihalar jarayonini ushlaydi. Split-amal birlashtirish strategiya Google da ishlab chiqilgan MapReduce doirasida o'xshaydi (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Men muhokama qilish oraliq yo'q edi, ikki aqlli inson hisoblash loyihalar ESP Game bo'ladi (Ahn and Dabbish 2004) va reCAPTCHA (Ahn et al. 2008) . Ushbu loyihalarning har ikki tasvir ustida teglar ta'minlash uchun ishtirokchilarini rag'batlantirish uchun ijodiy yo'llarini topdi. Galaxy hayvonot bog'i farqli o'laroq, ESP O'yin va Xavfsizlik kodi ishtirokchilari o'z ma'lumotlar ishlatiladi qanday bilmas edi, chunki Biroq, bu loyihalar, ham, shuningdek, axloqiy savollar (Lung 2012; Zittrain 2008) .
ESP O'yin ilhomlanib, ko'plab tadqiqotchilar boshqalar "bir maqsad bilan o'yinlar" rivojlantirish uchun harakat qilgan (Ahn and Dabbish 2008) (ya'ni, "inson asoslangan hisob-o'yinlar» (Pe-Than, Goh, and Lee 2015) ) bo'lishi mumkin, deb boshqa turli xil muammolarni hal qilish uchun ishlatiladi. Nima bu "bir maqsad bilan o'yinlar" umumiylik shundaki, ular, rohat inson hisoblash ishtirok vazifalarni amalga oshirish uchun harakat, deb. ESP Game Galaxy hayvonot bog'i bilan bir split-amal-birlashtirish tuzilishini ulushi Shunday qilib, u ilm-fan yordam istagi boshqalar ishtirokchilari qanday undadi-kulgili farq qiladi.
Galaxy hayvonot bog'i mening tavsifi ila uzoqlashar Nielsen (2012) , Adams (2012) , Clery (2011) , va Hand (2010) , va Galaxy hayvonot bog'i tadqiqot maqsadlaridan mening taqdimoti soddalashtirildi. Astronomiyaga galaxy tasniflash tarixi va qanday Galaxy hayvonot bog'i ushbu an'anani davom ettirmoqda haqida qo'shimcha ma'lumot olish uchun, qarang Masters (2012) va Marshall, Lintott, and Fletcher (2015) . Galaxy hayvonot bog'i qurilish, tadqiqotchilar ko'ngillilar dan ortiq 60 million ko'proq murakkab morfologik sinflar to'plangan Galaxy parti 2 yakunlandi (Masters et al. 2011) . Bundan tashqari, ular, Oy sirtini kashf sayyoralar izlab, va eski hujjatlar stenografik, shu jumladan, Galaxy morfologiya tashqarida muammolar chiqib tarvaqaylab ketgan. Ayni paytda, ularning barcha loyihalar da yig'ilgan www.zooniverse.org (Cox et al. 2015) . Biri loyihalar-Snapshot Galaxy Zoo-turi image tasnifi loyihalar, shuningdek, atrof-muhitni tadqiqot uchun amalga oshirilishi mumkin, deb dalil Serengeti-beradi (Swanson et al. 2016) .
Tadqiqotchilar inson hisoblash loyiha uchun micro-vazifa mehnat bozorini (masalan, Amazon mexanik Turk) foydalanish rejalashtirish, Chandler, Paolacci, and Mueller (2013) va Wang, Ipeirotis, and Provost (2015) vazifa dizayn va nasihat bilan bog'liq boshqa masalalar.
Men ikkinchi avlod inson hisoblash tizimlari deb ataladi ayting nima yaratishdan manfaatdor tadqiqotchilar (masalan, bir mashina ta'lim modelini o'rgatish inson teglar foydalanish tizimlari) manfaatdor bo'lishi mumkin Shamir et al. (2014) va (audio yordamida misol uchun) Cheng and Bernstein (2015) . Bundan tashqari, bu loyihalar tadqiqotchilar buyuk bashoratli bajarish bilan mashina ta'lim modellarini yaratish uchun raqobat tufayli ochiq qo'ng'iroqlar bilan amalga oshirilishi mumkin. Misol uchun, Galaxy hayvonot bog'i jamoasi ochiq qo'ng'iroq yugurib ishlab chiqilgan bir ortda yangi topibdi Banerji et al. (2010) ; qarang Dieleman, Willett, and Dambre (2015) ma'lumot olish uchun.
Open qo'ng'iroqlar yangi emas. Britaniya parlamenti dengizda bir kema kenglikni aniqlash uchun bir yo'l rivojlanishi mumkin har bir kishi uchun Longitude mukofoti yaratilgan bo'lsa Aslida, eng taniqli ochiq qo'ng'iroqlar biri 1714'te qaytarib qo'y. Muammo Isaak Nyuton, shu jumladan, kun, eng buyuk olimlar ko'p oz stumped va g'olib hal oxir-oqibat qandaydir astronomiya jalb edi bir yechim yo'naltirilgan edi olimlar boshqacha muammoni yaqinlashib qishloq bir clockmaker tomonidan taqdim etilgan (Sobel 1996) . Bu, masalan, ko'rsatadi, deb, ochiq chaqiriqlar juda yaxshi ish, deb taxmin qilinadi, bir sabab, ular turli yondashuv va ko'nikmalar bilan odamlarga ruxsat berish, deb (Boudreau and Lakhani 2013) . Qarang Hong and Page (2004) va Page (2008) muammo hal turli qiymati haqida ko'proq uchun.
bobda ochiq chaqiriq hollarda har u ushbu turkumga kiruvchi tegishli nima uchun yanada tushuntirish bir oz talab qiladi. Birinchidan, men inson hisoblash va ochiq chaqiriq loyihalar farqlash bir yo'li chiqish, barcha yechimlari o'rtacha (inson hisoblash) yoki eng yaxshi yechim (ochiq chaqiriq) yoki yo'qligini emas. Eng yaxshi yechim individual yechimlar murakkab o'rtacha bo'lib chiqdi, chunki Netflix mukofoti bu borada biroz qiyin bo'ladi, bir bir ansambli yechim deb ataladi kelishardi (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix nuqtai nazaridan, ammo, ular, albatta, bor edi, barcha eng yaxshi yechim terishga edi.
Ikkinchidan, inson hisoblash ayrim ta'riflari bilan (masalan, Von Ahn (2005) ), FoldIt bir inson hisoblash loyiha ko'rib chiqilishi kerak. Shu bilan birga, u maxsus qobiliyatlarni talab qiladi, chunki men ochiq-oydin qo'ng'iroq qilib FoldIt toifalarga tanlashingiz va u eng yaxshi yechim emas, balki bir split-amal-birlashtirish strategiyasi yordamida ko'ra, hissa oladi.
Nihoyat, bir, deb Peer-to-Patent tarqatilgan ma'lumotlarni yig'ish namunasidir bahslasha mumkin. Men bir tanlovi kabi tuzilishga ega va (tarqalgan ma'lumotlarni yig'ish bilan, yaxshi va yomon hissasi g'oyasi kamroq bo'lsa) faqat yaxshi hissasi ishlatiladi, chunki ochiq-chaqiriq sifatida o'z ichiga tanlang.
Netflix mukofoti haqida ko'proq uchun qarang: Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , va Feuerverger, He, and Khatri (2012) . FoldIt haqida ko'proq ko'rish uchun, Cooper et al. (2010) , Andersen et al. (2012) , va Khatib et al. (2011) ; FoldIt mening tavsifi ta'riflarga ila uzoqlashar Nielsen (2012) , Bohannon (2009) , va Hand (2010) . Peer-to-Patent haqida ko'proq uchun qarang: Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , va Noveck (2009) .
Natijalariga o'xshash Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Nyu-York shahrida uy-joy inspektorlar hosildorligining bob 10 hisobotlar katta yutuqlari inspektsiyasilari bashoratli modellar tomonidan hidoyat bo'lsa. Nyu-Yorkda, bu bashoratli modellari shahar xodimlari tomonidan qurilgan edi, lekin boshqa hollarda, ular yaratgan yoki ochiq qo'ng'iroqlar bilan yaxshilash mumkin, deb tasavvur mumkin (masalan, Glaeser et al. (2016) ). Biroq, bashoratli modellari resurslarini ajratish uchun ishlatiladigan bilan bir katta tashvish modellari mavjud tamoyillar ustida mustahkamlash imkoniyatlarga ega, deb hisoblanadi. Ko'pchilik tadqiqotchilar allaqachon ", axlat chiqindilarni olib" bilaman, va bashoratli modellari bilan bo'lishi mumkin "da qiyshiq, qiyshiq chiqib." Qarang Barocas and Selbst (2016) va O'Neil (2016) qurilgan bashoratli modellari xavf haqida ko'proq uchun tomonlama o'quv ma'lumotlar bilan.
ochiq tanlovlar foydalanish hukumatlarni oldini olish mumkin, bir muammo, bu maxfiylik buzilishiga olib kelishi mumkin ma'lumotlar ozod, talab qiladi. Ochiq qo'ng'iroqlar shaxsiy hayoti va ma'lumotlarni ozod haqida qo'shimcha ma'lumot olish uchun qarang: Narayanan, Huey, and Felten (2016) va 6-bobda ham muhokama.
EBird mening tavsifi ta'riflarga ila uzoqlashar Bhattacharjee (2005) va Robbins (2013) . Tadqiqotchilar eBird ma'lumotlarni tahlil qilish, statistik modellari qanday foydalanishi haqida ko'proq ko'rish uchun Hurlbert and Liang (2012) va Fink et al. (2010) . Ornothology yilda fuqaro fan tarixida haqida ko'proq uchun qarang: Greenwood (2007) .
Malavi Jurnallar loyihasi haqida ko'proq uchun qarang: Watkins and Swidler (2009) va Kaler, Watkins, and Angotti (2015) . Va Janubiy Afrikada bir bog'liq loyiha bo'yicha qo'shimcha ma'lumot olish uchun, qarang Angotti and Sennott (2015) . Malavi Jurnallar loyihasi tadqiqot yordamida ma'lumotlar ko'proq misollar uchun qarang Kaler (2004) va Angotti et al. (2014) .
dizayn tavsiyalar taqdim Mening yondashuv muvaffaqiyatli misollari asosida, kirish va men eshitganman ommaviy hamkorlik loyihalarini barbod. Tadqiqot oqimi, masalan, ommaviy hamkorlik loyihalari dizayn tegishli ekanligini onlayn jamoalar loyihalashtirish uchun umumiy ijtimoiy psixologik nazariyalar amal ko'rish uchun harakat ham bor Kraut et al. (2012) .
Undovchi ishtirokchilari bilan bog'liq bo'lib, u odamlar ommaviy hamkorlik loyihalarida ishtirok aynan nima tushunishga aslida juda qiyin bo'ladi (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Agar (masalan, Amazon mexanik Turk) mikro-vazifa mehnat bozorida to'lash bilan rag'batlantirish uchun rejangiz Kittur et al. (2013) , ayrim maslahat taklif etadi.
Zoouniverse loyihalar chiqib kutilmagan kashfiyotlar ko'proq misollar uchun, hayron beruvchi kelsak, qarang Marshall, Lintott, and Fletcher (2015) .
Axloqiy bo'lish bilan bog'liq bo'lib, ishtirok masalalariga ba'zi yaxshi umumiy kirishlar bor Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , va Zittrain (2008) . Ayniqsa, olomon xodimlari bilan huquqiy masalalar bilan bog'liq masalalar uchun qarang: Felstiner (2011) . O'Connor (2013) tadqiqot axloqiy nazorat haqida savollar murojaat tadqiqotchilar hamda ishtirokchilar rollari loyqalik qachon. Fuqaro fan loyihalarda participats himoya esa almashish ma'lumotlar bilan bog'liq masalalar uchun qarang: Bowser et al. (2014) . Har ikki Purdam (2014) va Windt and Humphreys (2016) tarqalgan ma'lumot to'plash axloqiy masalalar haqida ba'zi suhbati bor. Nihoyat, eng loyihalar hissa tan lekin ishtirokchilariga Mualliflik kredit bermaydi. Foldit yilda Foldit futbolchilar tez-tez bir yozuvchi sifatida keltirilgan (Cooper et al. 2010; Khatib et al. 2011) . Boshqa ochiq chaqiriq loyihalarda, qozongan yordamchi ko'pincha ularning hal tasvirlaydigan qog'oz yozish mumkin (masalan, Bell, Koren, and Volinsky (2010) va Dieleman, Willett, and Dambre (2015) ). loyihalarni Galaxy Zoo oilada, juda faol va muhim hissa ba'zan qog'ozlardagi hammualliflari bo'lishi uchun taklif etiladi. Misol uchun, Ivan Terentev va Tim Matorny, Rossiya ikki Radio Galaxy hayvonot bog'i ishtirokchilari, loyiha turib qog'ozlar birida hammualliflari edi (Banfield et al. 2016; Galaxy Zoo 2016) .