Keyin nima deyish kerak

• Kirish (5.1-bo'lim)

Katta hamkorlik fuqarolik ilmlaridan , aql-zakovat va kollektiv zakovatdan g'oyalarni uyg'unlashtiradi. Fuqarolar fani odatda "fuqarolar" ni (ya'ni, nonsenmantlarni) ilmiy jarayonda jalb qilishni anglatadi; Crain, Cooper, and Dickinson (2014) va Bonney et al. (2014) . Ko'pchilik odatda tashkilot ichida odatdagidek muammoni hal qilishni va buning o'rniga uni olomonga tashlashni anglatadi; Qo'shimcha ma'lumot olish uchun qarang. Howe (2009) . Kollektiv razvedka odatda aqlli ko'rinadigan usullar bilan birgalikda harakat qiluvchi shaxslar guruhini anglatadi; Qo'shimcha ma'lumot olish uchun qarang: Malone and Bernstein (2015) . Nielsen (2012) - ilmiy tadqiqotlar uchun ommaviy hamkorlikning kuchiga bag'ishlangan kitobning uzunligi.

Men taklif qilgan uchta toifaga to'g'ri kelmaydigan ommaviy hamkorlikning ko'p turlari mavjud va men ulardan uchtasi alohida e'tiborga loyiq deb o'ylayman, chunki ular ijtimoiy tadqiqotlar uchun foydali bo'lishi mumkin. Misol tariqasida, ishtirokchilar dunyoda ro'y berayotgan natijalar asosida sotib olinadigan va sotib olinadigan savdo shartnomalari mavjud bashorat qilish bozorlari. Bashoratli bozorlarni ko'pincha firma va hukumatlar tomonidan prognozlash uchun foydalaniladi va ular psixologiya bo'yicha chop etilgan tadqiqotlarning (Dreber et al. 2015) taxmin qilish uchun ijtimoiy tadqiqotchilar tomonidan ham qo'llanilgan (Dreber et al. 2015) . Bashoratli bozorlarni ko'rib chiqish uchun Wolfers and Zitzewitz (2004) va Arrow et al. (2008) .

Mening tasniflash tizimiga mos kelmaydigan ikkinchi bir misol PolyMath loyihasidir, bu erda tadqiqotchilar yangi matematik teoremalarni tasdiqlash uchun bloglar va vikilar yordamida hamkorlik qiladilar. PolyMath loyihasi Netflix mukofotiga o'xshashdir, ammo loyiha ishtirokchilarida boshqalarning qisman echimlari bo'yicha faolroq ish olib boriladi. PolyMath loyihasi haqida ko'proq ma'lumot olish uchun qarang: Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) va Kloumann et al. (2016) .

Mening tasniflash tizimiga mos kelmaydigan uchinchi misol - Mudofaa ilg'or tadqiqot loyihalari agentligi (DARPA) tarmoq muammolari (masalan, Qizil rang balli shkalasi) kabi vaqtga bog'liq bo'lgan mobilizatsiyalar. Ushbu vaqtga sezgir mobilizatsiyalar haqida ko'proq ma'lumot olish uchun, Pickard et al. (2011) , Tang et al. (2011) va Rutherford et al. (2013) .

• Inson hisob-kitobi (5.2-bo'lim)

"Insoniy hisoblash" atamasi kompyuter olimlari tomonidan bajarilgan ishlardan chiqadi va bu tadqiqot orqasidagi kontekstni tushunish siz uchun mos keladigan muammolarni tanlash qobiliyatingizni oshiradi. Muayyan vazifalar uchun kompyuterlar juda kuchli, qobiliyatlari hatto tajribali insonlardan ham kattaroq. Masalan, shaxmatda kompyuterlar hatto eng yaxshi grossmeysterlarni ham mag'lub etishlari mumkin. Ammo, bu ijtimoiy soha mutaxassislarining boshqa vazifalar uchun yaxshi baholanmaganligi, kompyuterlar aslida odamlarnikidan ancha yomonroqdir. Boshqa so'zlar bilan aytganda, hozirgi vaqtda siz tasvirlar, video, audio va matnni ishlash bilan bog'liq bo'lgan muayyan vazifalardagi eng murakkab kompyuterdan ham yaxshiroqdir. Shu sababli, bu qiyin kompyuterlar bilan ishlash uchun oson ishlaydigan kompyuter olimlari hisoblash jarayonida odamlarni o'z ichiga olishi mumkinligini tushunishdi. Luis von Ahn (2005) insonning hisob-kitobini quyidagicha ifodalagan: "kompyuterlarni hali hal qila olmaydigan muammolarni hal qilish uchun insonni qayta ishlash qudratini ishlatish uchun paradigma". Inson hisobini kitob uzunligi bilan davolash uchun, davrning eng umumiy tushunchasi, Law and Ahn (2011) ga qarang.

Ahn (2005) Folditda taklif qilingan ta'rifga ko'ra, ochiq suhbatlashish bobida bayon etganim - inson hisoblash loyihasi deb hisoblanishi mumkin. Biroq, men Folditni ochiq muloqot sifatida tasniflashni tanladim, chunki u maxsus malakaga ega bo'lishni talab qiladi (garchi rasmiy ta'lim bo'lmasa ham) va split-application-combine strategiyasidan foydalanishdan ko'ra eng yaxshi echimlarni oladi.

«Split-apply-combine» termini Wickham (2011) tomonidan statistik hisoblash strategiyasini tasvirlash uchun ishlatilgan, ammo u ko'plab inson hisob-kitoblari jarayonlarini mukammal tarzda qamrab oladi. Split-applied-combine strategiyasi Google'da ishlab chiqilgan MapReduce ramkalariga o'xshaydi; MapReduce haqida ko'proq ma'lumot olish uchun Dean and Ghemawat (2004) hamda Dean and Ghemawat (2008) . Boshqa tarqalgan hisoblash arxitekturalari haqida ko'proq ma'lumot olish uchun qarang Vo and Silvia (2016) . Law and Ahn (2011) 3-bobida Law and Ahn (2011) ushbu bobda keltirilganlardan ko'ra murakkab birlashma qadamlari bo'lgan loyihalarni muhokama qiladi.

Bo'limda muhokama qilgan inson hisob-kitoblari loyihalarida ishtirokchilar nima sodir bo'lishidan xabardor edilar. Ba'zi boshqa loyihalar, allaqachon sodir bo'lgan "ish" ni (eBirdga o'xshash) va ishtirokchilarning ongsizligini olish uchun harakat qilishadi. Misol uchun, ESP Game (Ahn and Dabbish 2004) va reCAPTCHA (Ahn et al. 2008) . Biroq, ushbu loyihalarning ikkalasi ham axloqiy savollarni ko'tarishadi, chunki ishtirokchilar ma'lumotlarning qanday qo'llanilishini bilishmagan (Zittrain 2008; Lung 2012) .

ESP O'yinidan ilhomlanib, ko'plab tadqiqotchilar boshqa "o'yinlarni maqsadlar" (Ahn and Dabbish 2008) (ya'ni "insoniy hisoblash o'yinlari" (Pe-Than, Goh, and Lee 2015) ) rivojlantirishga harakat qildilar. turli xil muammolarni hal qilish uchun foydalanilgan. Ushbu "o'yin maqsadlari" ning umumiyligi shundaki, ular inson hisobini bajarish bilan bog'liq vazifalarni yoqimli qilishlariga harakat qilishadi. Shunday qilib, ESP Game Galaxy hayvonot bog'i bilan bir xil bo'linadigan-kombinatsiyalangan tuzilishga ega bo'lsa-da, ishtirokchilarning maqsadi qandaydir fanga yordam berish istagi bilan qiziqarli. Maqsadli o'yinlar haqida ko'proq ma'lumot olish uchun, Ahn and Dabbish (2008) ga qarang.

Galaxy hayvonot bog'ining ta'rifi Nielsen (2012) , Adams (2012) , Clery (2011) va Hand (2010) Clery (2011) va Galaxy hayvonot bog'ining tadqiqot maqsadlari soddalashtirilgan. Astronomiyada galaktika tasnifi tarixi va Galaxy hayvonot bog'ining ushbu an'anani davom ettirishi haqida ko'proq ma'lumot olish uchun " Masters (2012) , Marshall, Lintott, and Fletcher (2015) . Galaxy hayvonot bog'iga asos solingan tadqiqotchilar Galaxy Zoo 2 ni ishga tushirishdi, ular ko'ngillilar tomonidan 60 milliondan ortiq murakkab morfologik tasniflarni to'plashdi (Masters et al. 2011) . Bundan tashqari, ular galaktikalar morfologiyasidan tashqaridagi muammolarga, shu jumladan, Oyning yuzasini o'rganishga, sayyoralarni qidirishga va eski hujjatlarni transkripsiyaga aylantirdilar. Hozirgi vaqtda ularning barcha loyihalari Zooniverse saytida to'plangan (Cox et al. 2015) . Snapshot Serengeti loyihalaridan biri, Galaxy hayvonot bog'idagi tasvir tasniflash loyihalarining ekologik tadqiqotlar uchun ham amalga oshirilishi mumkinligini isbotlaydi (Swanson et al. 2016) .

Chandler, Paolacci, and Mueller (2013) va J. Wang, Ipeirotis, and Provost (2015) inson hisoblash loyihasi uchun mikrotask ishchi bozorini (masalan, Amazon Mechanical Turk) foydalanishni rejalashtirgan tadqiqotchilar uchun vazifa dizayni va boshqa masalalar. Porter, Verdery, and Gaddis (2016) , masalan, mikrotask mehnat bozorlaridagi "ma'lumotlarning kengayishi" deb ataladigan narsalarga qaratilgan misollar va tavsiyalar taklif qiladi. Ma'lumotlarni yig'ish va ma'lumotlar yig'ish o'rtasidagi chiziq biroz befarq. Matnni boshqarish bo'yicha o'rganish uchun teglarni yig'ish va undan foydalanish haqida ko'proq ma'lumot olish uchun Grimmer and Stewart (2013) -ga qarang.

Kompyuter yordamidagi inson hisoblash tizimlarini yaratishga qiziqqan tadqiqotchilar (masalan, kompyuter modellarini o'qitish uchun inson yorliqlarini ishlatadigan tizimlar) Shamir et al. (2014) (audio yordamida misol uchun) va Cheng and Bernstein (2015) . Bundan tashqari, ushbu loyihalarda kompyuterni o'rganish modellari ochiq qo'ng'iroqlar bilan murojaat qilishlari mumkin, bu bilan tadqiqotchilar eng katta prognozlash ko'rsatkichiga ega bo'lgan kompyuter modellarini yaratish uchun raqobatlashadilar. Masalan, Galaxy hayvonot bog'i jamoasi ochiq chaqiruvni boshlashdi va Banerji et al. (2010) ishlab chiqilgan yangi usulni topdi Banerji et al. (2010) . Banerji et al. (2010) ; batafsilroq ma'lumot olish uchun Dieleman, Willett, and Dambre (2015) ga qarang.

• Qo'ng'iroqlarni ochish (5.3-bo'lim)

Ochiq qo'ng'iroqlar yangi emas. Darhaqiqat, eng taniqli ochiq chaqiruvlardan biri 1714 yilga kelib, Buyuk Britaniya parlamenti dengiz bo'yidagi kema uzunligini aniqlashning yo'lini yaratadigan har qanday odam uchun "Uzunlik mukofoti" ni yaratgan. Muammoni kunlarning eng buyuk olimlari, jumladan, Isaak Nyuton egalladi, va g'alaba qozongan yechim oxir-oqibat muammolarni yondashgan olimlardan farqli ravishda kelgan va qishloq astronomi bilan shug'ullanadigan tadqiqotchi Jon Harrison tomonidan taqdim etildi. ; Qo'shimcha ma'lumot olish uchun qarang. Sobel (1996) . Ushbu misolda ko'rsatilishicha, ochiq muloqotlarning sabablaridan biri shunchalik yaxshi ishlashi kerakki, ular turli nuqtai nazar va ko'nikmalarga ega kishilarga kirishni ta'minlaydi (Boudreau and Lakhani 2013) . Muammoni hal qilishning turli jihatlari haqida ko'proq ma'lumot olish uchun Hong and Page (2004) va Page (2008) ga qarang.

Bo'limdagi ochiq chaqiriqlarning har bir qismi ushbu bo'limga nima uchun tegishli ekanligi haqida qo'shimcha tushuntirish kerak. Birinchidan, inson hisoblash va ochiq-qidiruv loyihalarini ajratib olishning bir usuli, chiqimning barcha echimlar (inson hisoboti) yoki eng yaxshi yechim (ochiq chaqiriq) o'rtacha ekanligi. Netflix mukofoti bu jihatdan biroz murakkabdir, chunki eng yaxshi yechim muayyan individual echimlar o'rtacha, ya'ni ansambli yechimi (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) deb ataladigan yondashuv bo'lib chiqdi. Biroq, Netflix nuqtai nazaridan, eng yaxshi echimlarni tanlash kerak edi. Netflix mukofoti haqida ko'proq ma'lumot olish uchun qarang: Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) va Feuerverger, He, and Khatri (2012) .

Ikkinchidan, inson hisob-kitoblarining ayrim ta'riflari (masalan, Ahn (2005) ), Foldit inson hisoblash loyihasi sifatida qaralishi kerak. Biroq, uni ochiq-oydin qo'ng'iroq qilib tasniflashni afzal ko'raman, chunki u maxsus malakaga ega bo'lishni talab qiladi (garchi mutlaqo ixtisoslashtirilgan ta'lim) va bu split-application-combine strategiyasidan foydalanishdan ko'ra eng yaxshi echimni oladi. Foldit haqida ko'proq ma'lumot olish uchun, Cooper et al. (2010) , Khatib et al. (2011) va Andersen et al. (2012) ; Folditning ta'rifi Bohannon (2009) , Hand (2010) va Nielsen (2012) da tavsiflarga asoslangan.

Nihoyat, Peer-to-Patent tarqalgan ma'lumotlarni to'plashning namunasidir. Men uni ochiq da'vat sifatida qo'shishni tanladim, chunki u tanlovga o'xshash bir tuzilishga ega va faqat eng yaxshi hissalardan foydalaniladi, tarqatilgan ma'lumotlarni to'plash bilan yaxshi va yomon his qilish g'oyasi kamroq. Peer-to-Patent haqida ko'proq ma'lumot olish uchun qarang Noveck (2006) , Ledford (2007) , Noveck (2009) , Bestor and Hamp (2010) .

Ijtimoiy tadqiqotlarda ochiq chaqiriqlardan foydalanish nuqtai nazaridan Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) ning 10 Mayer-Schönberger and Cukier (2013) bobida Nyu-York shahri uy-joy inspektorlarining mahsuldorligini oshirish uchun prognozli modellardan foydalanishga muvaffaq bo'lgan. Nyu-Yorkda bu taxminiy modellar shahar ishchilari tomonidan qurilgan, ammo boshqa holatlarda ular ochiq-oydin qo'ng'iroqlar bilan yaratilishi yoki takomillashishi mumkin, deb o'ylashlari mumkin (masalan, Glaeser et al. (2016) ). Shu bilan birga, resurslarni taqsimlashda qo'llaniladigan prognozli modellar bilan bog'liq bir muhim muammo shundaki, ushbu modellar mavjud bo'lgan beboshlikni mustahkamlash uchun potentsialga ega. Ko'pgina tadqiqotchilar allaqachon "axlatni tashqariga tashlab qo'yish" ni bilishadi va bashoratli modellarga ega bo'lishi mumkin. " Barocas and Selbst (2016) va " O'Neil (2016) bir tomonlama ta'lim ma'lumotlari bilan.

Hukumatning ochiq tanlovlardan foydalanishiga to'sqinlik qiladigan muammolardan biri shundan iboratki, bu axborotni tarqatishni talab qiladi, bu esa maxfiylikni buzishga olib kelishi mumkin. Ochiq qo'ng'iroqlarda maxfiylik va ma'lumotlar tarqalishi haqida ko'proq ma'lumot olish uchun qarang. Narayanan, Huey, and Felten (2016) va 6-bobdagi muhokamalar.

Bashorat va tushuntirishlar o'rtasidagi farqlar va o'xshashliklar haqida ko'proq ma'lumot olish uchun Breiman (2001) , Shmueli (2010) , Watts (2014) va Kleinberg et al. (2015) . Ijtimoiy tadqiqotlar bashorat roli haqida ko'proq uchun, qarang Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , va Yarkoni and Westfall (2017) .

Biologiya sohasidagi ochiq loyihalarni ko'rib chiqish, jumladan, dizayn bo'yicha maslahat olish uchun Saez-Rodriguez et al. (2016) .

• Tarqatilgan ma'lumot to'plash (5.4-bo'lim)

EBird haqidagi tushuntirishlar Bhattacharjee (2005) , Robbins (2013) va Sullivan et al. (2014) . Tadqiqotchilar eBird ma'lumotlarini tahlil qilish uchun statistik modellardan qanday foydalanish haqida ko'proq ma'lumot olish uchun Fink et al. (2010) va Hurlbert and Liang (2012) . EBird ishtirokchilarining ko'nikmalarini baholash bo'yicha qo'shimcha ma'lumot olish uchun Kelling, Johnston, et al. (2015) . Ornitologiyada fuqarolik fani tarixi haqida batafsilroq ma'lumot olish uchun qarang. Greenwood (2007) .

Malavi Jurnallari loyihasi haqida ko'proq ma'lumot olish uchun, Watkins and Swidler (2009) va Kaler, Watkins, and Angotti (2015) . Janubiy Afrikada tegishli loyiha haqida ko'proq ma'lumot olish uchun qarang Angotti and Sennott (2015) . Malavi Jurnallari loyihasidan olingan ma'lumotlardan foydalanib, ko'proq tadqiqot misollari uchun Kaler (2004) va Angotti et al. (2014) .

• O'zingizni loyihalashtirish (5.5-bo'lim)

Dizayn bo'yicha tavsiyalar berishga bo'lgan yondashuvim, men eshitgan muvaffaqiyatli va muvaffaqiyatsiz ommaviy hamkorlik loyihalarining misollari asosida induktiv edi. Ommaviy hamkorlik loyihalarini loyihalash uchun muhim bo'lgan onlayn-jamiyatlarni loyihalashtirish uchun umumiy ijtimoiy psixologik nazariyalarni qo'llash bo'yicha tadqiqotlar olib borildi. Masalan, Kraut et al. (2012) .

Ishtirokchilarni rag'batlantiradigan (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) odamlar ommaviy hamkorlikdagi loyihalarda ishtirok etishiga aniqlik kiritish qiyin (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ishtirokchilarni mikrotasq mehnat bozorida (masalan, Amazon Mechanical Turk) to'lashni rag'batlantirishni rejalashtirmoqchi bo'lsangiz, Kittur et al. (2013) ba'zi maslahatlar beradi.

Zooiverse loyihalaridan kutilmagan kashfiyotlar haqida ko'proq ma'lumot olish uchun, Marshall, Lintott, and Fletcher (2015) .

Ahloqiy bo'lishi bilan bog'liq masalalarga ba'zi yaxshi umumiy tushunchalar Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) va Zittrain (2008) . Felstiner (2011) xodimlar bilan huquqiy masalalar bilan bog'liq masalalar bo'yicha Felstiner (2011) ga qarang. O'Connor (2013) tadqiqotchilarning va qatnashchilarning rolini lol qoldiradigan holatlarda tadqiqotning axloqiy nazorati haqidagi savollarga javob beradi. Fuqarolar ilmiy loyihalarida ishtirokchilarni himoya qilishda ma'lumotlar almashish bilan bog'liq masalalar bo'yicha Bowser et al. (2014) . Har ikkala " Purdam (2014) Windt and Humphreys (2016) da tarqatilgan ma'lumotlarning axloqiy masalalari haqida ba'zi bahslar mavjud. Nihoyat, aksariyat loyihalar hissasini tan oladilar, lekin ishtirokchilarga mualliflik kreditini bermaydilar. Folditda o'yinchilar ko'pincha muallif sifatida ko'rsatilgan (Cooper et al. 2010; Khatib et al. 2011) . Boshqa ochiq-qidiruv loyihalarida g'olib bo'lgan ishtirokchi tez-tez o'z echimlarini (masalan, Bell, Koren, and Volinsky (2010) va Dieleman, Willett, and Dambre (2015) Bell, Koren, and Volinsky (2010) va Dieleman, Willett, and Dambre (2015) ) haqidagi Dieleman, Willett, and Dambre (2015) .