Шта да читамо следеће

• Увод (одељак 5.1)

Масовна сарадња меша идеје из науке о грађанима , скупу и колективну интелигенцију . Наука о грананима обично значи укључивање "грађана" (тј., Не-научника) у научни процес; за више, види Crain, Cooper, and Dickinson (2014) и Bonney et al. (2014) . Цровдсоурцинг обично значи преузимање проблема који је уобичајено решен унутар организације и уместо тога га пренесе на мноштво; за више, погледајте Howe (2009) . Колективна интелигенција обично значи групе људи који делују колективно на начине који изгледају интелигентни; за више, види Malone and Bernstein (2015) . Nielsen (2012) је увод у дужу књигу о моћи масовне сарадње за научна истраживања.

Постоје многе врсте масовне сарадње које се не уклапају у три категорије које сам предложио, и мислим да три од њих заслужују посебну пажњу јер могу бити корисне у друштвеним истраживањима. Један пример је тржиште предвиђања, где учесници купују и уговоре о трговини који се могу исплатити на основу резултата који се јављају у свету. Предвиђање тржишта често користе предузећа и владе за предвиђање, а истовремено су их користили социјални истраживачи да предвиде реплицирање објављених студија из психологије (Dreber et al. 2015) . За преглед тржишта предвиђања погледајте Wolfers and Zitzewitz (2004) и Arrow et al. (2008) .

Други пример који се не уклапа у моју категоризациону шему је ПолиМатх пројекат, где су истраживачи сарађивали користећи блогове и викије како би доказали нове математичке теореме. Пројекат ПолиМатх је на неки начин сличан Нетфликовој награди, али су у овом пројекту учесници активније гранени на парцијалним рјешењима других. За више о ПолиМатх пројекту погледајте Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) и Kloumann et al. (2016) .

Трећи пример који се не уклапа у моју категоризациону шему је мобилизација у зависности од времена, као што је Агенција за напредне истраживачке пројекте (ДАРПА) Нетворк Цхалленге (тј. Ред Баллоон Цхалленге). Више о овим мобилизацијама осетљивим на време види Pickard et al. (2011) , Tang et al. (2011) и Rutherford et al. (2013) .

• Људска рачунања (одељак 5.2)

Израз "људска рачунања" излази из рада рачунарских научника, а разумевање контекста иза овог истраживања побољшаће вашу способност да одабере проблеме који би могли бити погодни за то. За одређене задатке рачунари су невероватно моћни, са могућностима које су далеко веће од оних чак и стручних људи. На пример, у шаху рачунари могу победити чак и најбоље велемајстере. Али - и то је мање цењено од стране друштвених научника - за друге задатке, рачунари су заправо много гори од људи. Другим речима, тренутно сте бољи од чак и најсофистициранијег рачунара на одређеним задацима који укључују обраду слика, видео записа, звука и текста. Компјутерски научници који раде на овим тешким-за-рачунарима-лаким за човјеке задатке схватили су да могу укључити људе у свој рачунарски процес. Ево како је Луис вон Ахн (2005) описао људске рачуне када је у својој дисертацији прво сковао термин: "парадигма за кориштење људске процесне моћи за рјешавање проблема које рачунари још не могу ријешити." За књиговечну обраду љечних рачунања, у најопшти смисао израза, види Law and Ahn (2011) .

Према дефиницији која је предложена у Ahn (2005) Фолдит - што сам описао у одељку о отвореним позивима - могао се сматрати пројектом људског рачунања. Међутим, одлучио сам да категоризујем Фолдит као отворени позив зато што захтијева специјалистичке вјештине (иако не обавезно формалну обуку) и потребно је најбоље рјешење, умјесто кориштења стратегије сплит-аппли-цомбине.

Израз "сплит-аппли-цомбине" је користио Wickham (2011) како би описао стратегију за статистичко рачунарство, али савршено обухвата процес многих пројеката људског рачунања. Стратегија сплит-аппли-цомбине је слична МапРедуце оквиру који је развијен у Гоогле-у; за више на МапРедуце, ​​погледајте Dean and Ghemawat (2004) и Dean and Ghemawat (2008) . За више информација о другим дистрибуираним рачунарским архитектурама погледајте Vo and Silvia (2016) . Поглавље 3 Law and Ahn (2011) расправља о пројектима са сложенијим корацима корпуса од оних у овом поглављу.

У пројектима људских рачунања које сам разматрао у поглављу, учесници су били свјесни онога што се дешавало. Неки други пројекти, међутим, покушавају да ухвате "рад" који се већ дешава (слично еБирд-у) и без свијести учесника. Види, на пример, ЕСП Гаме (Ahn and Dabbish 2004) и реЦАПТЦХА (Ahn et al. 2008) . Међутим, оба ова пројекта такође постављају етичка питања јер учесници нису знали како се њихови подаци користе (Zittrain 2008; Lung 2012) .

Инспирисани ЕСП (Ahn and Dabbish 2008) , многи истраживачи су покушали да развију друге "игре са сврхом" (Ahn and Dabbish 2008) (тј. "Људске рачунарске игре" (Pe-Than, Goh, and Lee 2015) ) које могу бити користи се за решавање различитих других проблема. Ове "игре са сврхом" имају заједничко то што покушавају да задовољавају задатке укључене у људске рачуне. Стога, док ЕСП Гаме дели исту структуру сплит-аппли-цомбине са Галаки Зоо-ом, разликује се у томе како су учесници мотивисани - забавно против жеље да помогне науци. За више информација о игрицама с циљем, погледајте Ahn and Dabbish (2008) .

Мој опис Clery (2011) зоо-а се састоји од Nielsen (2012) , Adams (2012) , Clery (2011) и Hand (2010) , а моја презентација истраживачких циљева Галаки Зоо-а је поједностављена. Више о историји класификације галаксије у астрономији и како Зоо галаксије наставља ову традицију, погледајте Masters (2012) и Marshall, Lintott, and Fletcher (2015) . Изградили смо на галаксијском зоолошком врту, истраживачи довршили Галаки Зоо 2 који је прикупио више од 60 милиона комплекснијих морфолошких класификација од добровољаца (Masters et al. 2011) . Надаље, они су се разгрнули у проблеме ван галактичке морфологије, укључујући истраживање површине Месеца, тражење планета и преписивање старих докумената. Тренутно су сви њихови пројекти прикупљени на Зоониверсе вебсајту (Cox et al. 2015) . Један од пројеката - Снапсхот Серенгети - пружа доказе да пројекти класификације слика Галаки Зоо такође могу бити направљени за истраживање животне средине (Swanson et al. 2016) .

За истраживаче који планирају користити тржиште рада са микротаскама (нпр. Амазон Мецханицал Турк) за пројекат људског израчунавања, Chandler, Paolacci, and Mueller (2013) и J. Wang, Ipeirotis, and Provost (2015) нуде добар савјет о дизајнирању задатака и друга сродна питања. Porter, Verdery, and Gaddis (2016) нуде примере и савете усмјерене на употребу тржишта рада на микротаскама за оно што називају "појачавањем података". Линија између повећања података и прикупљања података је нејасна. За више информација о прикупљању и коришћењу етикета за надгледано учење за текст, погледајте Grimmer and Stewart (2013) .

Истраживачи који су заинтересовани за стварање онога што сам назвао компјутерским помоћним људским рачунарским системима (нпр. Системи који користе људске ознаке за обучавање модела за учење машина) могу бити заинтересовани за Shamir et al. (2014) (за пример коришћења звука) и Cheng and Bernstein (2015) . Такође, модели у машинском учењу у овим пројектима могу се позвати на отворене позиве, при чему се истраживачи такмиче да креирају машине за учење са највећим предвидљивим перформансама. На пример, Галаки Зоо тим је отворио позив и пронашао нови приступ који је надмашио ону развијен у Banerji et al. (2010) ; погледајте Dieleman, Willett, and Dambre (2015) за детаље.

• Отворени позиви (одељак 5.3)

Отворени позиви нису нови. У ствари, један од најпознатијих отворених позива датира још од 1714. године када је Британски парламент створио награду за дугове за свакога ко би могао да развије начин да одреди дужину брода на мору. Проблем је изазвао многе од највећих научника дана, укључујући Исака Њутна, а победничко решење је на крају поднео Џон Харисон, часописник из села који је другачије приступио проблему од научника који су били фокусирани на решење које би некако укључивало астрономију ; за више информација погледајте Sobel (1996) . Како овај пример илуструје, сматра се да један од разлога зашто отворени позиви функционишу тако је да пружају приступ људима различитих перспектива и вештина (Boudreau and Lakhani 2013) . Видети Hong and Page (2004) и Page (2008) за више о вриједности различитости у рјешавању проблема.

Сваки од случајева отвореног позива у поглављу захтева мало даље објашњење зашто спада у ову категорију. Прво, један начин којим се разликује између људског рачунања и пројеката отвореног позива јесте да ли је резултат просечно од свих рјешења (људска рачунања) или најбоље рјешење (отворени позив). Нетфлик награда је донекле незгодна у овом погледу јер се најбоље решење испоставило као софистицирани просек појединачних решења, приступ назван ансамбловским решењем (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Међутим, из перспективе Нетфлик-а, све што је требало да уради је да изабере најбоље решење. Више о Нетфлик награди погледајте Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , и Feuerverger, He, and Khatri (2012) .

Друго, по неким дефиницијама људског рачунања (нпр. Ahn (2005) ), Фолдит треба сматрати пројектом људског рачунања. Међутим, ја одлучујем да га категоризујем као отворени позив зато што захтијева специјализоване вјештине (иако не мора бити специјализирана обука) и потребно је најбоље рјешење, умјесто кориштења стратегије сплит-аппли-цомбине. За више информација о Фолдиту погледајте, Cooper et al. (2010) , Khatib et al. (2011) и Andersen et al. (2012) ; мој опис Фолдита се црта на описе у Bohannon (2009) , Hand (2010) и Nielsen (2012) .

На крају, може се тврдити да је Пеер-то-Патент пример примене дистрибуираних података. Одлучујем да га укључим као отворени позив јер има структуру сличну такмичењу и користи се само најбољи допринос, а при дистрибуираном прикупљању података идеја о добрим и лошим доприносима је мање јасна. Више о Пеер-то-Патент-у, види Noveck (2006) , Ledford (2007) , Noveck (2009) , и Bestor and Hamp (2010) .

Што се тиче коришћења отворених позива у друштвеном истраживању, резултати су слични онима Glaeser et al. (2016) , пријављени су у поглављу 10 Mayer-Schönberger and Cukier (2013) при чему је Нев Иорк Цити могао да користи предиктивно моделирање за производњу великих добитака у продуктивности инспектора за становање. У Нев Иорку, ови предиктивни модели градили су градски службеници, али у другим случајевима може се замислити да се могу отворити или побољшати путем отворених позива (нпр. Glaeser et al. (2016) ). Међутим, једна главна брига са предиктивним моделима који се користе за додјелу ресурса је тај што модели имају потенцијал да ојачају постојеће пристрасности. Многи истраживачи већ знају "смеће и отпад", а са предиктивним моделима то може бити "пристраност, пристрасност". Погледајте Barocas and Selbst (2016) и O'Neil (2016) за више о опасностима предвиђених модела са пристрасним подацима о обуци.

Један проблем који може спречити владе да користе отворене такмичења јесте да то захтијева пуштање података, што може довести до кршења приватности. За више информација о приватности и објављивању података на отвореним позивима, погледајте Narayanan, Huey, and Felten (2016) и дискусију у поглављу 6.

Више о разликама и сличностима између предвиђања и објашњења види Breiman (2001) , Shmueli (2010) , Watts (2014) и Kleinberg et al. (2015) . За више информација о улози предвиђања у друштвена истраживања, види Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , и Yarkoni and Westfall (2017) .

За преглед пројеката отвореног позива у биологији, укључујући савете за дизајн, погледајте Saez-Rodriguez et al. (2016) .

• Дистрибуирано прикупљање података (поглавље 5.4)

Мој опис еБирд-а односи се на описе у Bhattacharjee (2005) , Robbins (2013) и Sullivan et al. (2014) . Више о томе како истраживачи користе статистичке моделе за анализу података еБирд види Fink et al. (2010) и Hurlbert and Liang (2012) . Више о процени вештине учесника еБирд-а, види Kelling, Johnston, et al. (2015) . Више о историји грађанске науке у орнитологији, погледајте Greenwood (2007) .

Више о пројекту Малави Јоурналс види Watkins and Swidler (2009) и Kaler, Watkins, and Angotti (2015) . Више о сродном пројекту у Јужној Африци, види Angotti and Sennott (2015) . За више примјера истраживања кориштењем података из пројекта Малави Јоурналс погледајте Kaler (2004) и Angotti et al. (2014) .

• Дизајнирање властите (члан 5.5)

Мој приступ пружању савета за дизајн био је индуктиван, заснован на примјерима успјешних и неуспјешних пројеката масовне сарадње које сам чуо. Такође је постојао потез истраживања покушаја примјене општих социјалних психолошких теорија за дизајнирање он-лине заједница које су релевантне за дизајнирање пројеката масовне сарадње, види, на примјер, Kraut et al. (2012) .

Што се тиче мотивисања учесника, заправо је врло тешко (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) зашто људи учествују у пројектима масовне сарадње (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ако планирате мотивисати учеснике у плаћању на тржишту рада са микротаскама (нпр. Амазон Мецханицал Турк), Kittur et al. (2013) нуди неке савете.

Што се тиче омогућавања изненађења, за још примјера неочекиваних открића из Зооиверсе пројеката, погледајте Marshall, Lintott, and Fletcher (2015) .

У погледу етичности, неки добри опћи увод у питања која су укључена су Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , и Zittrain (2008) . За питања која се односе на правна питања са запосленима у гомили, погледајте Felstiner (2011) . O'Connor (2013) бави питањима о етичком надзору истраживања када се улоге истраживача и учесника замагљују. За питања везана за размену података, а истовремено заштиту учесника у пројектима науке грађана, погледајте Bowser et al. (2014) . Оба Purdam (2014) и Windt and Humphreys (2016) дискутују о етичким питањима у дистрибуираном прикупљању података. Најзад, већина пројеката признаје доприносе, али не даје ауторитету кредите учесницима. У Фолдиту играчи су често наведени као аутори (Cooper et al. 2010; Khatib et al. 2011) . У другим пројектима отвореног позива, победнички допринос често може написати чланак који описује њихова решења (нпр. Bell, Koren, and Volinsky (2010) и Dieleman, Willett, and Dambre (2015) ).