Келесіден не оқуға болады?

• Кіріспе (5.1 бөлім)

Жалпыға ортақ ынтымақтастық азаматтық ғылымнан , краудсорсингтен және ұжымдық ақылдан идеяларды біріктіреді. Азаматтық ғылым әдетте «азаматтардың» (яғни, ғалымдардың) ғылыми үрдісіне қатысуын білдіреді; Crain, Cooper, and Dickinson (2014) және Bonney et al. (2014) . Crowdsourcing, әдетте, ұйымда әдетте шешілген мәселені қаптайға ауысып отыруды білдіреді; толығырақ қараңыз Howe (2009) . Ұжымдық ақыл-кеңес әдетте адамдарға ұжымдық түрде көрінетін тәсілдермен әрекет ететін топтарды білдіреді; Толық ақпарат алу үшін Malone and Bernstein (2015) бөлімін қараңыз. Nielsen (2012) - ғылыми зерттеулер үшін жаппай ынтымақтастықтың күші туралы кітапты енгізу.

Мен ұсынған үш санатқа сәйкес келмейтін жаппай ынтымақтастықтың көптеген түрлері бар және менің ойымша, олардың үшеуі әлеуметтік зерттеулерге пайдалы болуы мүмкін, өйткені олар ерекше назар аудару керек. Мысалы, әлемде орын алған нәтижелерге негізделе отырып, сатып алушылар сатып алатын және сатылатын келісімшарттары бар болжау нарығы. Болжалды нарықтар көбінесе фирмалар мен үкіметтердің болжау үшін пайдаланылады және олар психологияда жарияланған зерттеулердің қайталануын болжау үшін әлеуметтік зерттеушілермен де пайдаланылады (Dreber et al. 2015) . Болжау нарықтарына шолу жасау үшін Wolfers and Zitzewitz (2004) және Arrow et al. (2008) . Arrow et al. (2008) .

Екінші мысал менің санаттау схемасына сай келмейтін, PolyMath жобасы болып табылады, онда зерттеушілер жаңа математикалық теорияларды дәлелдеу үшін блогтар мен викилерді пайдаланып жұмыс істеді. PolyMath жобасы Netflix сыйлығына ұқсас, бірақ бұл жобаның қатысушыларында басқалардың ішінара шешімдеріне белсенді түрде негізделген. PolyMath жобасы бойынша Gowers Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) және Kloumann et al. (2016) .

Үшінші мысал, менің категоризационды схемаға сай келмейтін, мысалы, Қорғаныс бойынша қосымша зерттеу жобалары агенттігі (DARPA) желілік шақыру (мысалы, Қызыл баллон шебері) сияқты уақытқа байланысты жұмылдыру. Осы уақытқа сезімтал жұмылдыру туралы қосымша ақпарат алу үшін Pickard et al. (2011) қараңыз Pickard et al. (2011) , Tang et al. (2011) және Rutherford et al. (2013) . Rutherford et al. (2013) .

• Адамды есептеу (5.2 бөлім)

«Адамдық есептеулер» термині компьютерлік ғалымдардың жұмысынан шығып, осы зерттеудің контекстін түсіну сіз үшін қолайлы болуы мүмкін мәселелерді шешуге қабілетті болады. Белгілі бір тапсырмалар үшін компьютерлер керемет қуатты, тіпті тәжірибелі адамдардан асып түсетін мүмкіндіктер. Мысалы, шахматта компьютерлер тіпті ең жақсы гроссмейстерлерді ұрата алады. Әлеуметтік ғалымдарға қарағанда, басқа міндеттерге қарағанда, компьютерлер адамдарға қарағанда әлдеқайда нашар. Басқаша айтқанда, суреттерді, бейнелерді, дыбыстарды және мәтінді өңдеуге қатысты белгілі бір тапсырмаларда сіз қазіргі кезде ең күрделі компьютерден де жақсысыз. Осындай қиын компьютерлерде жұмыс істейтін компьютерлік ғалымдар өздерінің есептеу үрдісіне адамдарды қосуы мүмкін екенін түсінді. Луис фон АНН (2005) адамның есептеуін диссертациялық тұжырымдамасында алғаш рет жазған кезде: «компьютерлер әлі шеше алмайтын проблемаларды шешу үшін адамның қайта өңдеу қуатын пайдалану парадигмасы». Терминнің ең жалпы мағынасы, Law and Ahn (2011) бөлімін қараңыз.

Ашық қоңыраулар туралы тарауда сипатталған Мен Ahn (2005) Фолдитке ұсынылған ұйғарымға сәйкес, адам есептемесі ретінде қарастыруға болады. Дегенмен, Foldit-ті ашық қоңырау деп санауды таңдадым, өйткені ол арнайы дағдыларды талап етеді (формальды оқытуды қажет етпесе де) және сплит-қолданбалы-комбинирленген стратегияны пайдаланудан гөрі ең жақсы шешімді қабылдайды.

«Split-apply-combine» термині Wickham (2011) статистикалық есептеулердің стратегиясын сипаттау үшін пайдаланған, бірақ ол көптеген адам есептеу жобаларының процесін өте жақсы жазады. Split-apply-combine стратегиясы Google-де әзірленген MapReduce құрылымына ұқсас. MapReduce туралы қосымша ақпарат алу үшін Dean and Ghemawat (2004) және Dean and Ghemawat (2008) бөлімін қараңыз. Басқа бөлінген есептеуіш сәулет туралы көбірек білу үшін Vo and Silvia (2016) бөлімін қараңыз. Law and Ahn (2011) 3-тарауы Law and Ahn (2011) Осы тараудағыға қарағанда күрделі комбинат қадамдары бар жобаларды талқылайды.

Осы тарауда талқылаған адам есептеулерінде қатысушылар не болғанын біледі. Кейбір басқа жобалар, қазірдің өзінде («eBird» сияқты) және қатысушыларды хабардар етпестен «жұмысқа» түсіруге тырысады. Мысалы, ESP Game (Ahn and Dabbish 2004) және reCAPTCHA (Ahn et al. 2008) . Дегенмен, осы жобалардың екеуі де этикалық мәселелерді көтереді, себебі қатысушылар өз деректерін қалай пайдаланатынын (Zittrain 2008; Lung 2012) .

ESP Game-тан шабыттанған көптеген зерттеушілер « (Ahn and Dabbish 2008) » (Ahn and Dabbish 2008) «адамдық есептеулер») (Pe-Than, Goh, and Lee 2015) басқа да көптеген мәселелерді шешу үшін қолданылады. «Ойынның мақсаттары» жалпыға ортақ болып табылады, олар адам есептерін қызықтыратын міндеттерді орындауға тырысады. Осылайша, ESP Game Galaxy Zoo-мен бірдей бөлгіш-комбинирленген құрылымды бөліседі, алайда қатысушылардың ынталандыруы - ғылымға көмектесуге деген қызығушылығымен ерекшеленеді. Ойын туралы қосымша ақпарат алу үшін Ahn and Dabbish (2008) бөлімін қараңыз.

Galaxy Zoo-ның сипаттамасы Nielsen (2012) , Adams (2012) , Clery (2011) және Hand (2010) , және Galaxy Zoo зерттеу мақсаттарының таныстырылымы жеңілдетілді. Астрономиядағы галактиканың жіктелу тарихы туралы және Galaxy Zoo осы дәстүрді қалай жалғастыратыны туралы толығырақ Masters (2012) және Marshall, Lintott, and Fletcher (2015) . Галактика хайуанаттарына арналған ғимаратта зерттеушілер Galaxy Zoo 2-ті аяқтады, олар еріктілерден 60 миллионнан астам күрделі морфологиялық сыныптамаларды жинады (Masters et al. 2011) . Бұдан басқа, олар галактикалық морфологиядан тыс мәселелерге, соның ішінде Айдың бетін зерттеуге, планеталарды іздеуге және ескі құжаттарды аударуға тырысты. Қазіргі уақытта олардың барлық жобалары Zooniverse сайтында жинақталған (Cox et al. 2015) . «Snapshot Serengeti» жобаларының бірі - Galaxy Zoo типті бейнелерді жіктеу жобалары қоршаған ортаны зерттеуге де (Swanson et al. 2016) жасалатынын дәлелдейді.

Chandler, Paolacci, and Mueller (2013) , J. Wang, Ipeirotis, and Provost (2015) Адам есептеуіш жобасы үшін микроптық еңбек нарығын (мысалы, Amazon Mechanical Turk) пайдалануды жоспарлайтын зерттеушілер үшін тапсырманы жобалау және басқа да байланысты мәселелер. Porter, Verdery, and Gaddis (2016) «деректерді кеңейту» деп аталатын микротастық еңбек нарықтарының қолданылуына арналған мысалдар мен кеңестерді ұсынады. Деректерді кеңейту мен деректерді жинау арасындағы сызық біршама бұлыңғыр. Мәтінді бақыланатын оқытуға арналған жапсырмаларды жинау және пайдалану туралы қосымша ақпаратты Grimmer and Stewart (2013) бөлімінен қараңыз.

Компьютермен жұмыс істейтін адам есептеу жүйелерін (мысалы, машина моделін үйрету үшін адам белгілерін қолданатын жүйелер) жасауға шақырған зерттеушілер Shamir et al. (2014) (аудио пайдаланатын мысал үшін) және Cheng and Bernstein (2015) . Сондай-ақ, осы жобалардағы машина оқыту модельдері ашық қоңырау шалу арқылы талап етілуі мүмкін, оның үстіне зерттеушілер ең жақсы болжау өнімділігі бар машина оқыту модельдерін жасау үшін бәсекелеседі. Мысалы, Galaxy Zoo командасы ашық қоңырау шалып, Banerji et al. (2010) ; Толық мәлімет алу үшін Dieleman, Willett, and Dambre (2015) бөлімін қараңыз.

• Ашық қоңыраулар (5.3 бөлім)

Ашық қоңыраулар жаңа болмайды. Шын мәнінде, ең танымал ашық қоңыраулардың бірі 1714 жылға дейін Ұлыбритания парламенті теңіздегі кеменің бойлықты анықтау жолын жасай алатын кез келген адам үшін ұзындықты сыйақыны құрған кезде пайда болады. Мәселе күннің көптеген ғалымдары, соның ішінде Исаак Ньютон сияқты көптеген ғаламат ғалымдарды соқтығысып, жеңіске жететін шешімді, ақыр соңында, ауылдан сағаттық құрылысшы Джон Харрисон ұсынды, ол мәселені ғалымдардан өзгеше шешті, олар қандай да бір түрде астрономия ; Қосымша ақпарат алу үшін Sobel (1996) бөлімін қараңыз. Бұл мысалда көрсетілгендей, ашық қоңыраулардың әртүрлі перспективалары мен дағдылары бар адамдарды (Boudreau and Lakhani 2013) қол жетімділігін қамтамасыз ететін жақсы жұмыс деп санайды. Мәселелерді шешуде әртүрлілік құндылығы туралы қосымша ақпаратты Hong and Page (2004) және Page (2008) .

Бөлімдегі ашық қоңыраулардың әрқайсысы осы санатқа неге тиесілі екенін түсіндіреді. Біріншіден, адам есептеу және ашық қоңыраулар жобаларын ажыратудың бір жолы - шығыс барлық шешімдердің (адамдық есептеулердің) немесе ең жақсы шешімнің (ашық қоңыраудың) орташа мәні ме. Netflix сыйлығы осыған байланысты қиындық тудырады, өйткені ең жақсы шешімді жеке шешімдердің күрделі (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) ансамбль шешімі деп аталатын тәсіл (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix тұрғысынан алғанда, бәрі істеуі керек, ең жақсы шешім қабылдады. Netflix сыйлығына қосымша ақпарат алу үшін Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) және Feuerverger, He, and Khatri (2012) бөлімін қараңыз.

Екіншіден, адам есептеулерінің кейбір анықтамалары бойынша (мысалы, Ahn (2005) ), Foldit адам есептеу жобасы ретінде қарастырылуы керек. Дегенмен, оны ашық қоңырау деп бөлуге тырысамын, себебі ол мамандандырылған дағдыларды қажет етеді (мамандандырылған оқытуды қажет етпесе де) және ол сплит-қолданбалы-комбинирленген стратегияны пайдаланудан гөрі ең жақсы шешім қабылдайды. Фольдит туралы көбірек білу үшін, Cooper et al. (2010) , Khatib et al. (2011) және Andersen et al. (2012) ; Менің сипаттамаым Фолдит Bohannon (2009) , Hand (2010) және Nielsen (2012) сипаттамаларына сүйенеді.

Ақырында, Peer-to-Patent таратылған деректерді жинаудың үлгісі болып табылады деп айтуға болады. Мен оны ашық конкурс ретінде қосуды таңдап аламын, себебі ол конкурстық құрылымға ие және тек жақсы жарналар қолданылады, ал таратылған деректер жинаумен жақсы және жаман жарналар идеясы азырақ анық. Noveck (2006) -патенттік туралы көбірек білу үшін Noveck (2006) Ledford (2007) , Noveck (2009) Ledford (2007) , Noveck (2009) және Bestor and Hamp (2010) .

Әлеуметтік зерттеулерде ашық қоңырауларды пайдалану тұрғысынан Glaeser et al. (2016) Mayer-Schönberger and Cukier (2013) 10-шы тарауында Нью-Йорк тұрғын үй инспекторларының өнімділігінде үлкен табыстар алу үшін болжамды модельдеуді қолдана алды. Нью-Йорк қаласында бұл болжау модельдерін қала қызметкерлері құрды, бірақ басқа жағдайларда, оларды ашық қоңыраулармен жасауға немесе жақсартуға болатындығын елестете аласыз (мысалы, Glaeser et al. (2016) ). Дегенмен, ресурстарды бөлу үшін болжамды үлгілермен бір маңызды мәселе - бұл модельдер қолданыстағы бұрмалануларды күшейтуге әлеуеті бар. Көптеген зерттеушілер қазірдің өзінде «қоқыстардан, қоқыстардан» біледі және болжамды модельдермен « Barocas and Selbst (2016) ». Barocas and Selbst (2016) және O'Neil (2016) , болжалды үлгілердің қауіптілігі туралы көбірек білу үшін қараңыз. жаттығу деректерін біріздендіру.

Үкіметтердің ашық конкурстарға қатысуына кедергі келтіруі мүмкін проблемалардың бірі - бұл деректерді жариялауды талап етеді, бұл құпиялылықты бұзуға әкелуі мүмкін. Ашық қоңырауларда құпиялылық пен деректерді шығару туралы қосымша ақпарат алу үшін Narayanan, Huey, and Felten (2016) бөлімін және 6-тараудағы талқылауды қараңыз.

Болжау мен түсініктеме арасындағы айырмашылықтар мен ұқсастықтар туралы көбірек білу үшін Breiman (2001) , Shmueli (2010) , Watts (2014) және Kleinberg et al. (2015) . Әлеуметтік зерттеулерге болжау рөлі туралы көбірек алу үшін, қараңыз Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , және Yarkoni and Westfall (2017) .

Биология саласында ашық жобаларды шолу, соның ішінде дизайнерлік кеңестерді қараңыз, Saez-Rodriguez et al. (2016) .

• Бөлінген деректерді жинау (5.4 бөлім)

Ежелдің сипаттамасы Bhattacharjee (2005) , Robbins (2013) және Sullivan et al. (2014) . Зерттеушілер статистикалық үлгілерді eBird деректерін талдау үшін қалай қолданатынын қараңыз Fink et al. (2010) және Hurlbert and Liang (2012) . EBird қатысушыларының біліктілігін бағалау туралы көбірек білу үшін Kelling, Johnston, et al. (2015) . Орнитологиядағы азаматтық ғылым тарихы туралы көбірек білу үшін Greenwood (2007) бөлімін қараңыз.

«Малави Журналдары» жобасы туралы толығырақ Watkins and Swidler (2009) және Kaler, Watkins, and Angotti (2015) . Оңтүстік Африкадағы байланысты жобалар туралы көбірек білу үшін Angotti and Sennott (2015) қараңыз Angotti and Sennott (2015) . Malawi Journals жобасының деректерін қолданып зерттеудің қосымша мысалдарын Angotti et al. (2014) Kaler (2004) және Angotti et al. (2014) .

• Өзіңіздің жобаңызды құрастыру (5.5 бөлім)

Конструкторлық кеңесті ұсынуға менің көзқарасым индуктивті болды, ол туралы мен естіген табысты және сәтсіз жаппай ынтымақтастық жобаларына негізделген. Сондай-ақ, жаппай бірлескен жобаларды жобалауға қатысты онлайн-қоғамдастықты жобалау үшін жалпы әлеуметтік психологиялық теорияларды қолдану бойынша зерттеу әрекеттері де болды, мысалы, Kraut et al. (2012) . Kraut et al. (2012) .

Қатысушыларды ынталандыратын болсақ, адамдар бұқаралық ынтымақтастық жобаларына неге қатысқанын дәлелдеу өте қиын (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Егер сіз микротасымалдаушылар еңбек нарығында (мысалы, Amazon Mechanical Turk) ақы төлеуді ынталандыруды жоспарласаңыз, Kittur et al. (2013) кейбір кеңестер береді.

Zooiverse жобаларынан күтпеген табылулардың мысалдары үшін Marshall, Lintott, and Fletcher (2015) Линтотт Marshall, Lintott, and Fletcher (2015) .

Әдептілікке қатысты мәселелерге Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) және Zittrain (2008) . Құқық мәселелерімен айналысатын қызметкерлерге арналған арнайы сұрақтарға Felstiner (2011) . O'Connor (2013) зерттеушілердің және қатысушылардың рөлін жоғалтқан кезде зерттеудің этикалық қадағалауы туралы сұрақтарды қарастырады. Азаматтардың ғылыми жобаларына қатысушыларды қорғау кезінде деректермен алмасуға қатысты сұрақтарға Bowser et al. (2014) . Purdam (2014) , Windt and Humphreys (2016) де деректерді жинауда этикалық мәселелер туралы пікірталастар жүргізеді. Ақыр соңында, көптеген жобалар салымдарды мойындайды, бірақ қатысушыларға авторлық несие бермейді. Фолдитте ойыншылар көбінесе автор ретінде көрсетіледі (Cooper et al. 2010; Khatib et al. 2011) . Ашық сөйлесу жобаларында жеңімпаздар өз шешімдерін сипаттайтын қағазды (мысалы, Bell, Koren, and Volinsky (2010) және Dieleman, Willett, and Dambre (2015) ) Dieleman, Willett, and Dambre (2015) .