Ką skaityti toliau

• Įvadas (5.1 skirsnis)

Masinis bendradarbiavimas sujungia idėjas iš piliečių mokslo , taupymo ir kolektyvinio intelekto . Pilietiškasis mokslas paprastai reiškia "piliečių" (ty ne mokslininkų) įtraukimą į mokslo procesą; Daugiau informacijos rasite Crain, Cooper, and Dickinson (2014) ir Bonney et al. (2014) . "Crowdsourcing" dažniausiai reiškia problemą, kuri paprastai yra išspręsta organizacijoje, o perduodama ją miniai; Daugiau informacijos rasite " Howe (2009) . Kolektyvinis žvalgymas paprastai reiškia asmenų grupes, veikiančias kolektyviai taip, kad atrodo protingi; daugiau žr. Malone and Bernstein (2015) . Nielsen (2012) yra knygos ilgio įvadas į masinio bendradarbiavimo galimybes moksliniams tyrimams.

Yra daugybę masinio bendradarbiavimo rūšių, kurios netinkamai tinka trijoms siūlomoms kategorijoms, ir manau, kad trys iš jų yra verti ypatingo dėmesio, nes jie gali būti naudingi socialiniuose tyrimuose. Vienas iš pavyzdžių yra prognozavimo rinkos, kuriose dalyviai perka ir parduoda sutartis, kurios yra išperkamos, remiantis rezultatais, kurie įvyksta pasaulyje. Prognozuojančias rinkas įmonės ir vyriausybės dažnai naudoja prognozavimui, o socialiniai tyrėjai taip pat juos naudojo, kad prognozuotų paskelbtų studijų psichologijoje (Dreber et al. 2015) . Dėl prognozių rinkų apžvalgos žr. Wolfers and Zitzewitz (2004) ir Arrow et al. (2008) .

Antrasis pavyzdys, kuris netinka mano kategorijų sistemai, yra "PolyMath" projektas, kuriame mokslininkai bendradarbiavo naudodami tinklaraščius ir wikis, kad įrodytų naujas matematikos teoremas. PolyMath projektas tam tikru mastu yra panašus į "Netflix" premiją, tačiau šiame projekte dalyviai aktyviau remiasi daliniais kitų sprendimais. Daugiau informacijos apie PolyMath projektą rasite Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) ir Kloumann et al. (2016) .

Trečiasis pavyzdys, kuris netinka mano kategorijų sistemai, yra toks, kaip mobilumo laikotarpis, pavyzdžiui, "Defense Advanced Research Projects Agency" (DARPA) tinklo iššūkis (ty "Red Balloon Challenge"). Daugiau apie šias laiko jautrias mobilizacijas žr. Pickard et al. (2011) , Tang et al. (2011) ir Rutherford et al. (2013) .

• Žmogaus skaičiavimas (5.2 skirsnis)

Sąvoka "žmogaus skaičiavimas" atsiranda iš kompiuterių mokslininkų atlikto darbo ir suprasti šio tyrimo kontekstą pagerins jūsų sugebėjimą išsiaiškinti problemas, kurios gali būti tinkamos. Kai kurioms užduotims, kompiuteriai yra neįtikėtinai galingi, kurių pajėgumai gerokai viršija net ekspertų. Pavyzdžiui, šachmatais kompiuteriai gali įveikti net geriausius močiutėlius. Tačiau, socialinių mokslų nuomone, kitiems tikslams tai yra nepakankamai vertinama, kompiuteriai iš tiesų yra daug blogesni nei žmonės. Kitaip tariant, dabar esate tam tikromis užduotimis, susijusiomis su atvaizdų, vaizdo įrašų, garso ir teksto apdorojimu, esate geriau nei net patys sudėtingiausi kompiuteriai. Kompiuterių mokslininkai, dirbę šiuose sunkiai už kompiuterius ir lengvai užduotiems užduotims, suprato, kad jie gali įtraukti žmones į jų skaičiavimo procesą. Štai kaip Luisas fonas Ahnas (2005) aprašė žmogaus skaičiavimus, kai jis pirmą kartą sukūrė terminą savo disertacijoje: "paradigma panaudoti žmogaus apdorojimo galią spręsti problemas, kurių dar negalima išspręsti kompiuteriais". Dėl knygų ilgio apdorojimo žmogaus skaičiavimams labiausiai paplitęs terminas, žr. Law and Ahn (2011) .

Pagal Ahn (2005) Foldit pasiūlytą apibrėžimą, kurį aš aprašiau skyriuje apie atvirus kvietimus, galima laikyti žmogišku skaičiavimo projektu. Tačiau aš nusprendžiu priskirti "Foldit" kaip atvirą pokalbį, nes tam reikia specializuotų įgūdžių (nors nebūtinai formaliojo mokymo), o tai naudinga geriausiu būdu, o ne naudojant "split-apply-combine" strategiją.

Wickham (2011) naudojo terminą "split-apply-combine", kuris apibūdina statistinių skaičiavimų strategiją, tačiau puikiai užfiksuoja daugelio žmonių skaičiavimo projektų procesą. "Split-apply-combine" strategija yra panaši į "Google" sukurtą "MapReduce" sistemą; Daugiau apie MapReduce rasite Dean and Ghemawat (2004) ir Dean and Ghemawat (2008) . Daugiau informacijos apie kitas paskirstytosios kompiuterių architektūras rasite " Vo and Silvia (2016) . Law and Ahn (2011) 3 skyriuje aptariami projektai, kuriuose sudėtingesni deriniai, nei šiame skyriuje.

Žmonių skaičiavimo projektuose, apie kuriuos kalbėjau šiame skyriuje, dalyviai suprato, kas vyksta. Tačiau kai kurie kiti projektai siekia užfiksuoti jau vykstantį "darbą" (panašų į "eBird") ir be dalyvių supratimo. Pavyzdžiui, žr. ESP žaidimą (Ahn and Dabbish 2004) ir reCAPTCHA (Ahn et al. 2008) . Tačiau abu šie projektai taip pat kelia etikos klausimus, nes dalyviai nežinojo, kaip jų duomenys buvo naudojami (Zittrain 2008; Lung 2012) .

Įkvėptas "ESP Game", daugelis mokslininkų bandė kurti kitus "žaidimus su tikslu" (Ahn and Dabbish 2008) (ty "žmogiškieji skaičiavimo žaidimai" (Pe-Than, Goh, and Lee 2015) ), kurie gali būti naudojama sprendžiant įvairias kitas problemas. Kokie šie "žaidimai su tikslu" yra bendro, kad jie bando atlikti užduotis, susijusias su žmogaus skaičiavimu, maloniomis. Taigi, nors ESP žaidimas turi tą pačią split-apply-kombinuotą struktūrą su "Galaxy" zoologijos sodu, ji skiriasi nuo to, kaip dalyviai yra motyvuoti, įdomūs ir linkę padėti mokslui. Daugiau apie žaidimus su tikslu, žr. Ahn and Dabbish (2008) .

Mano "Galaxy Zoo" aprašymas remiasi " Nielsen (2012) , " Adams (2012) , " Clery (2011) ir " Hand (2010) , ir mano supažindinimas su "Galaxy Zoo" tyrimų tikslais. Daugiau apie astronomijos galaktikos klasifikacijos istoriją ir tai, kaip galaktikos zoologijos sodas tęs šią tradiciją, žr. Masters (2012) ir Marshall, Lintott, and Fletcher (2015) . Remiantis "Galaxy" zoologijos sodu, mokslininkai užbaigė "Galaxy Zoo 2", kuriame surinkta daugiau nei 60 milijonų sudėtingesnių morfologinių klasifikacijų iš savanorių (Masters et al. 2011) . Be to, jie išsiskyrė į problemas, esančias už galaktikos morfologijos ribų, įskaitant Mėnulio paviršiaus tyrimą, planetų paiešką ir senųjų dokumentų perrašymą. Šiuo metu visi jų projektai yra surenkami "Zooniverse" svetainėje (Cox et al. 2015) . Vienas iš "Snapshot Serengeti" projektų - tai įrodymai, kad "Galaxy Zoo" tipo vaizdų klasifikavimo projektai taip pat gali būti atlikti aplinkos tyrimams (Swanson et al. 2016) .

Tyrėjai, planuojantys naudoti "microtask" darbo rinką (pvz., "Amazon Mechanical Turk") žmogiško skaičiavimo projektui, Chandler, Paolacci, and Mueller (2013) , J. Wang, Ipeirotis, and Provost (2015) kiti susiję klausimai. Porter, Verdery, and Gaddis (2016) siūlo pavyzdžius ir patarimus, skirtus konkrečiai mikrotinklinių darbo rinkų naudojimui, vadinamam "duomenų didinimu". Ryšys tarp duomenų didinimo ir duomenų rinkimo yra šiek tiek neryškus. Daugiau apie etikečių rinkimą ir naudojimą prižiūrimam mokymuisi tekstą žr. Grimmer and Stewart (2013) .

Moksletai, norintys kurti tai, ką pavadino kompiuteriu paremtomis žmogaus skaičiavimo sistemomis (pvz., Sistemomis, kurios naudoja žmogaus etiketes mokant mašininio mokymosi modelį), gali būti įdomu ir Shamir et al. (2014) (Pavyzdžiui, naudojant garso įrašą) ir Cheng and Bernstein (2015) . Be to, šių projektų mašinų mokymosi modelius galima reikalauti su atvirais kvietimais, pagal kuriuos mokslininkai konkuruoja, kad sukurtų mašininio mokymo modelius, kurių didžiausias nuspėjamas veikimas. Pavyzdžiui, "Galaxy" zoologijos sodų komanda atliko atvirą pokalbį ir nustatė naują metodą, kuris viršijo tą, kuris buvo sukurtas Banerji et al. (2010) ; žiūrėkite Dieleman, Willett, and Dambre (2015) .

• Atvirieji pokalbiai (5.3 skirsnis)

Atviri skambučiai nėra nauji. Tiesą sakant, vienas iš labiausiai žinomų atvirų kvietimų prasideda 1714 m., Kai Didžiosios Britanijos Parlamentas sukūrė Ilgalaikio prizą visiems, kurie galėtų sukurti būdą nustatyti laivo ilgumą jūroje. Problema, kurią sukėlė daugelis didžiausių dienų mokslininkų, įskaitant Isaacą Niutoną, ir laimėjęs sprendimas, galiausiai pateikė lauko gamintojai John Harrison, kurie kreipėsi į problemą skirtingai nei mokslininkai, kurie buvo orientuoti į sprendimą, kuris kažkaip suaktyvintų astronomiją ; Daugiau informacijos rasite Sobel (1996) . Kaip rodo šis pavyzdys, viena iš priežasčių, kodėl atvirieji pokalbiai veikia taip gerai, yra tai, kad jie suteikia prieigą žmonėms su skirtingomis perspektyvomis ir įgūdžiais (Boudreau and Lakhani 2013) . Žr. Hong and Page (2004) bei Page (2008) kad sužinotumėte daugiau apie įvairovės reikšmę sprendžiant problemas.

Kiekviename skyriuje pateiktų atvirųjų pokalbių bylų reikia šiek tiek išsiaiškinti, kodėl ji priklauso šiai kategorijai. Pirma, vienas iš būdų atskirti žmogiškąjį skaičiavimą ir atvirų skambučių projektus yra tai, ar produkcija yra visų sprendimų (žmonių skaičiavimas) vidurkis arba geriausias sprendimas (atviras pokalbis). Netflix premija šiuo atžvilgiu yra gana sudėtinga, nes geriausias sprendimas pasirodė esąs sudėtingas individualių sprendimų vidurkis, vadinamas ansamblio sprendimu (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Tačiau iš Netflix perspektyvos viskas, ką jie turėjo padaryti, buvo pasirinkti geriausią sprendimą. Daugiau informacijos apie "Netflix" premiją rasite " Bennett and Lanning (2007) , " Thompson (2008) , " Bell, Koren, and Volinsky (2010) , " Feuerverger, He, and Khatri (2012) .

Antra, pagal kai kuriuos žmogaus skaičiavimo apibrėžimus (pvz., Ahn (2005) ), Foldit turėtų būti laikomas žmogaus skaičiavimo projektu. Vis dėlto aš nusprendžiau jį skirstyti į atvirą pokalbį, nes tam reikia specializuotų įgūdžių (nors nebūtinai specializuotų mokymų), ir tai geriausias sprendimas, o ne "split-apply-combine" strategija. Norėdami sužinoti daugiau apie Foldit, žr. Cooper et al. (2010) , Khatib et al. (2011) , Andersen et al. (2012) ; mano "Foldit" aprašymas remiasi aprašymais Bohannon (2009) , " Hand (2010) ir " Nielsen (2012) .

Galiausiai galima teigti, kad "Peer-to-Patent" yra paskirstytų duomenų rinkimo pavyzdys. Aš nusprendžiau įtraukti jį kaip atvirą kvietimą, nes jis turi konkursų struktūrą ir naudojamas tik geriausias įnašas, o išplatintų duomenų rinkimo atveju gerų ir blogų įmokų idėja yra mažiau aiški. Daugiau informacijos apie "Peer-to-Patent" rasite Noveck (2006) , Ledford (2007) , Noveck (2009) ir Bestor and Hamp (2010) .

Kalbant apie atvirų pokalbių naudojimą socialiniuose tyrimuose, rezultatai, panašūs į Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) 10 skyriuje, pagal kurį Niujorkas galėjo panaudoti nuspėjamą modeliavimą, kad būtų galima pasiekti didelį pastatų inspektorių produktyvumą. Niujorke šie prognoziniai modeliai buvo pastatyti miesto darbuotojų, tačiau kitais atvejais galima būtų įsivaizduoti, kad juos galima sukurti ar tobulinti atvirais skambučiais (pvz., Glaeser et al. (2016) ). Tačiau vienas iš pagrindinių problemų, susijusių su prognozuojamais modeliais, naudojamais išteklių paskirstymui, yra tai, kad šie modeliai gali sustiprinti esamas šališkumo tendencijas. Daugelis tyrinėtojų jau žinote, "šiukšlių, šiukšlių iš", ir su prognozavimo modelių gali būti "šališkumo, šališkumo iš." Žr Barocas and Selbst (2016) ir O'Neil (2016) daugiau apie prognozavimo modelių pavojų pastatytų su šalutiniais mokymo duomenimis.

Viena iš problemų, kurios gali užkirsti kelią vyriausybėms naudoti atvirus konkursus, yra tai, kad tam reikia duomenų išleidimo, dėl kurio gali kilti privatumo pažeidimų. Daugiau informacijos apie privatumą ir duomenų perdavimą viešuose skambučiuose rasite Narayanan, Huey, and Felten (2016) Ir diskusijoje 6 skyriuje.

Daugiau apie skirtumus ir panašumus tarp prognozavimo ir paaiškinimo žr. Breiman (2001) , Shmueli (2010) , Watts (2014) ir Kleinberg et al. (2015) . Daugiau informacijos apie prognozavimo vaidmenį socialiniuose tyrimuose rasite " Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) ir Yarkoni and Westfall (2017) .

Peržiūrint atvirų kvietimų projektus biologijoje, įskaitant projektavimo patarimus, žr. Saez-Rodriguez et al. (2016) .

• Paskirstytų duomenų rinkimas (5.4 skirsnis)

Mano eBird aprašymas remiasi aprašymais Bhattacharjee (2005) , Robbins (2013) Ir Sullivan et al. (2014) . Daugiau informacijos apie tai, kaip mokslininkai naudoja statistinius modelius analizuojant "eByr" duomenis, žr. Fink et al. (2010) ir Hurlbert and Liang (2012) . Daugiau apie "eByr" dalyvių įgūdžių įvertinimą žr. Kelling, Johnston, et al. (2015) . Daugiau apie ornitologijos piliečių mokslo istoriją skaitykite Greenwood (2007) .

Norėdami sužinoti daugiau apie Malawi žurnalų projektą, žr. Watkins and Swidler (2009) ir Kaler, Watkins, and Angotti (2015) . Daugiau apie susijusį projektą Pietų Afrikoje žr. Angotti and Sennott (2015) . Daugiau mokslinių tyrimų pavyzdžių naudojant "Malawi Journals Project" duomenis žr. Kaler (2004) ir Angotti et al. (2014) .

• Savo projektavimas (5.5 skirsnis)

Mano požiūris į dizaino konsultacijas buvo indukcinis, paremtas sėkmingų ir neveiksnių masinio bendradarbiavimo projektų pavyzdžiais, apie kuriuos girdėjau. Be to, buvo bandoma stengtis taikyti bendresnes socialines psichologines teorijas kuriant internetines bendruomenes, kurios yra svarbios rengiant masinio bendradarbiavimo projektus, žr., Pavyzdžiui, Kraut et al. (2012) .

Kalbant apie motyvuojančius dalyvius, iš tiesų gana sudėtinga išsiaiškinti, kodėl žmonės dalyvauja masinio bendradarbiavimo projektuose (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Jei planuojate motivuoti dalyvius mokant mikrotaskų darbo rinkoje (pvz., "Amazon Mechanical Turk"), Kittur et al. (2013) Siūlo keletą patarimų.

Kalbant apie galimybę nustebinti, daugiau netikėtų atradimų iš Zooiverse projektų pavyzdžių rasite Marshall, Lintott, and Fletcher (2015) .

Kalbant apie etiškumą, Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) ir Zittrain (2008) . Felstiner (2011) klausimais, susijusiais su teisiniais klausimais, susijusiais su minios darbuotojų Felstiner (2011) . O'Connor (2013) Nagrinėja klausimus apie etišką mokslinių tyrimų priežiūrą, kai mokslininkų ir dalyvių vaidmuo suplakamas. Klausimais, susijusiais su duomenų dalijimu, tuo pačiu apsaugant piliečių mokslo projektų dalyvius, žr. Bowser et al. (2014) . Tiek Purdam (2014) Tiek " Purdam (2014) Windt and Humphreys (2016) Turi keletą diskusijų apie platinamų duomenų rinkimo etikos klausimus. Galiausiai dauguma projektų pripažįsta įmokas, tačiau nesuteikia studentams autorių kreditų. "Foldit" žaidėjai dažnai įrašomi kaip autoriai (Cooper et al. 2010; Khatib et al. 2011) . Kituose atviro konkurso projektuose laimėtojas dažnai gali parašyti savo sprendimų aprašymą (pvz., Bell, Koren, and Volinsky (2010) ir Dieleman, Willett, and Dambre (2015) ).