Ko lasīt tālāk

• Ievads (5.1. Sadaļa)

Masu sadarbība apvieno idejas no pilsoņu zinātnes , pūlis un kolektīvo intelektu . Pilsoņu zinātne parasti nozīmē iesaistīt "pilsoņus" (ti, nezinātājus) zinātniskajā procesā; Plašāku informāciju skatiet Crain, Cooper, and Dickinson (2014) un Bonney et al. (2014) . "Crowdsourcing" parasti nozīmē veikt problēmas, kas parasti tiek atrisinātas kādā organizācijā, un tā vietā piesaistīt to pūlijai; Lai iegūtu vairāk, skatiet Howe (2009) . Kolektīvā izlūkdati parasti nozīmē personu grupas, kuras kopīgi darbojas tādā veidā, kas šķiet saprātīgs; Lai iegūtu vairāk, skatiet Malone and Bernstein (2015) . Nielsen (2012) ir grāmatas garuma ievads par masveida sadarbību zinātniskajā pētniecībā.

Ir daudz veidu masveida sadarbības, kas neatbilst stingri trim kategorijām, kuras esmu ierosinājis, un es uzskatu, ka trīs no tiem ir pelnījuši īpašu uzmanību, jo tie varētu būt noderīgi sociālajos pētījumos. Viens piemērs ir prognozēšanas tirgi, kur dalībnieki pērk un pārdod līgumus, kas ir atmaksājami, pamatojoties uz rezultātiem, kas notiek pasaulē. Prognozēšanas tirgus uzņēmumi un valdības bieži izmanto prognozēšanai, un tos izmanto arī sociālie pētnieki, lai prognozētu publicēto pētījumu atkārtojamību psiholoģijā (Dreber et al. 2015) . Pārskatu par prognozēšanas tirgiem sk. Wolfers and Zitzewitz (2004) un Arrow et al. (2008) .

Otrais piemērs, kas nav piemērots manai kategoriju shēmai, ir PolyMath projekts, kurā pētnieki sadarbojās, izmantojot blogus un wikis, lai pierādītu jaunas matemātikas teorēmas. PolyMath projekts zināmā mērā ir līdzīgs Netflix balvai, taču šajā projektā dalībnieki aktīvāk balstījās uz citu daļējiem risinājumiem. Plašāku informāciju par PolyMath projektu skatīt Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) un Kloumann et al. (2016) .

Trešais piemērs, kas labi neatbilst manai kategoriju shēmai, ir saistīts ar laika nobīdi, piemēram, Aizsardzības uzlaboto pētījumu projektu aģentūras (DARPA) tīkla izaicinājums (ti, sarkano balonu izaicinājums). Plašāku informāciju par šiem laika noteikšanas mobilizāciju sk. Pickard et al. (2011) , Tang et al. (2011) un Rutherford et al. (2013) .

• Cilvēka skaitīšana (5.2. Sadaļa)

Termins "cilvēka skaitļošana" nāk no datorzinātnieku veiktā darba, un izpratne par šī pētījuma kontekstu uzlabos jūsu spēju izvēlēties problēmas, kas varētu to izmantot. Dažiem uzdevumiem, datori ir neticami spēcīgi, ar iespējām, kas ir daudz lielākas nekā pat ekspertu cilvēki. Piemēram, šahos datori var pārspēt pat labākās grandmasters. Bet - un sociologi to novērtē mazāk - citiem uzdevumiem, datori patiesībā ir daudz sliktāki nekā cilvēki. Citiem vārdiem sakot, tieši tagad jūs esat labāk nekā pat vismodernākais dators dažos uzdevumos, kas saistīti ar attēlu, video, audio un teksta apstrādi. Datoru zinātnieki, kas strādā pie šiem grūti datoriem - viegli lietojami uzdevumi, tāpēc saprata, ka tie var iekļaut cilvēkus savos skaitļošanas procesos. Lūk, kā Luis von Ahn (2005) aprakstīja cilvēka aprēķinus, kad viņš pirmo reizi izteica terminu savā disertācijā: "paradigma cilvēka apstrādes jaudas izmantošanai, lai atrisinātu problēmas, ko datori vēl nevar atrisināt." Grāmatas garuma ārstēšanai cilvēka aprēķināšanā vispārīgākā termina izpratne, skatīt Law and Ahn (2011) .

Saskaņā ar Ahn (2005) Foldit ierosināto definīciju, kuru es aprakstīju sadaļā par atklātajiem konkursiem, var uzskatīt par cilvēka aprēķināšanas projektu. Tomēr es izvēlos iedalīt Foldit kā atklātu sarunu, jo tai ir nepieciešamas speciālas prasmes (lai gan ne vienmēr tiek veiktas formālas apmācības), un tā vietā tiek izmantots labākais risinājums, nevis stratēģija split-apply-combine.

Wickham (2011) izmantoja terminu split-apply-combine, lai aprakstītu statistikas aprēķināšanas stratēģiju, taču tas pilnīgi atspoguļo daudzu cilvēku aprēķinu projektu procesu. Split-apply-combine stratēģija ir līdzīga MapReduce sistēmai, kas izstrādāta Google; Vairāk par MapReduce skatiet Dean and Ghemawat (2004) un Dean and Ghemawat (2008) . Plašāku informāciju par citām izplatītām skaitļošanas arhitektūrām skatiet sadaļā Vo and Silvia (2016) . Law and Ahn (2011) 3. nodaļā ir apspriesti projekti ar sarežģītākiem soļu apvienojumiem nekā šajā nodaļā.

Cilvēku skaitļošanas projektos, kurus esmu apspriedis nodaļā, dalībnieki zināja par notiekošo. Tomēr daži citi projekti cenšas uztvert jau notiekošo "darbu" (līdzīgi kā eBird) un bez dalībnieku izpratnes. Skatiet, piemēram, ESP spēli (Ahn and Dabbish 2004) un reCAPTCHA (Ahn et al. 2008) . Tomēr abi šie projekti arī rada ētikas jautājumus, jo dalībnieki nezināja, kā tiek izmantoti viņu dati (Zittrain 2008; Lung 2012) .

Iedvesmojoties no ESP spēles, daudzi pētnieki ir mēģinājuši izstrādāt citas "spēles ar mērķi" (Ahn and Dabbish 2008) (ti, "cilvēka aprēķinātās spēles" (Pe-Than, Goh, and Lee 2015) ), ko var izmanto, lai risinātu dažādas citas problēmas. Kādas šīs "spēles ar mērķi" ir kopīgas, ka tās mēģina padarīt uzdevumus, kas saistīti ar cilvēku aprēķinu, patīkamu. Tādējādi, kamēr ESP spēle atbalsta to pašu sadalītās-kombinētās struktūras ar Galaxy Zoo, tas atšķiras no tā, cik dalībnieki ir motivēti-jautri, salīdzinot ar vēlmi palīdzēt zinātnei. Plašāku informāciju par spēlēm ar mērķi skatīt Ahn and Dabbish (2008) .

Mana Galaxy Zoo apraksta pamatā ir Nielsen (2012) , Adams (2012) , Clery (2011) un Hand (2010) , un mana prezentācija par Galaxy Zoo pētniecības mērķiem tika vienkāršota. Lai uzzinātu vairāk par astronomijas galaktikas klasifikācijas vēsturi un to, kā galaktikas zooloģiskais dārzs turpina šo tradīciju, skatiet Masters (2012) un Marshall, Lintott, and Fletcher (2015) . Izstrādājot Galaxy Zoo, pētnieki pabeidza Galaxy Zoo 2, kurā no brīvprātīgajiem savākti vairāk nekā 60 miljoni sarežģītu morfoloģisko klasifikāciju (Masters et al. 2011) . Turklāt tie sazarojās ar problēmām ārpus galaktikas morfoloģijas, ieskaitot Mēness virsmas izpēti, planētu meklēšanu un veco dokumentu transkripciju. Pašlaik visi viņu projekti tiek savākti Zooniverse tīmekļa vietnē (Cox et al. 2015) . Viens no projektiem Snapshot Serengeti sniedz pierādījumus tam, ka Galaxy Zoo tipa attēlu klasifikācijas projekti var tikt veikti arī vides pētījumiem (Swanson et al. 2016) .

Pētniekiem, kas plāno izmantot mikrouzdevumu darba tirgu (piemēram, Amazon Mechanical Turk), lai aprēķinātu cilvēkus, Chandler, Paolacci, and Mueller (2013) un J. Wang, Ipeirotis, and Provost (2015) piedāvā labu padomu par uzdevumu plānošanu un citi saistītie jautājumi. Porter, Verdery, and Gaddis (2016) piedāvā piemērus un padomus, kas īpaši vērsti uz mikrouzdevumu darba tirgu lietošanu, ko viņi sauc par "datu palielināšanu". Rinda starp datu palielināšanu un datu vākšanu ir nedaudz izplūdusi. Plašāku informāciju par etiķešu vākšanu un lietošanu uzraugāmai teksta mācīšanai skatiet Grimmer and Stewart (2013) .

Zinātnieki, kas interesējas par to, ko radīju, ko esmu saucis par datorizētu cilvēku skaitļošanas sistēmām (piemēram, sistēmas, kas izmanto cilvēka etiķetes, lai apmācītu mašīnu mācību modeli), varētu būt ieinteresēti Shamir et al. (2014) (piemēram, izmantojot audio) un Cheng and Bernstein (2015) . Arī mašīnu mācību modeļus šajos projektos var pieprasīt ar atklātiem zvaniem, saskaņā ar kuru pētnieki konkurē, lai izveidotu mašīnu mācību modeļus ar vislabāko prognozes veiktspēju. Piemēram, Galaxy Zoo komanda vadīja atklātu sarunu un atrada jaunu pieeju, kas pārsniedza Banerji et al. (2010) ; Dieleman, Willett, and Dambre (2015) informāciju skatiet Dieleman, Willett, and Dambre (2015) .

• Atvērtie zvani (5.3. Sadaļa)

Atvērtie zvani nav jauni. Faktiski viens no vispazīstamākajiem atklātajiem izsaukumiem meklējams 1714. gadā, kad Lielbritānijas parlaments radīja garuma prēmiju ikvienam, kas varētu attīstīt veidu, kā noteikt kuģa garumu jūrā. Problēma, ko izraisīja daudzi no lielākajiem dienu zinātniekiem, tostarp Isaac Newton, un uzvarētāju risinājumu galu galā iesniedza lauku reģiona clockmaker John Harrison, kas pievērsās problēmai atšķirīgi no zinātniekiem, kuri koncentrējās uz risinājumu, kas kādā veidā varētu saistīt astronomiju ; Sobel (1996) informācija atrodama Sobel (1996) . Kā parādīts šajā piemērā, šķiet, ka viens no iemesliem, kāpēc tiek uzskatīts, ka atklātie zvani darbojas tik labi, ir tas, ka tie nodrošina piekļuvi cilvēkiem ar atšķirīgām perspektīvām un prasmēm (Boudreau and Lakhani 2013) . Sk. Hong and Page (2004) un Page (2008) lai uzzinātu vairāk par daudzveidības vērtību problēmu risināšanā.

Katrā nodaļā paredzētā atklātā izsaukuma gadījumā ir nepieciešams nedaudz precīzāks skaidrojums, kāpēc tas pieder šajā kategorijā. Pirmkārt, viens no veidiem, kā es atšķiru cilvēku skaitļošanas un atklātā konkursa projektus, ir tas, vai produkcija ir visu risinājumu vidējais rādītājs (cilvēku aprēķins) vai vislabākais risinājums (atklāts zvans). Šajā sakarā Netflix balva ir nedaudz sarežģīta, jo labākais risinājums izrādījās sarežģīts atsevišķu risinājumu vidējais rādītājs, ko sauc par ansambļa risinājumu (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . No Netflix perspektīvas tomēr viss, kas viņiem bija jādara, bija izvēlēties labāko risinājumu. Plašāk par Netflix balvu skatīt Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , un Feuerverger, He, and Khatri (2012) .

Otrkārt, ar dažām cilvēka aprēķinu definīcijām (piemēram, Ahn (2005) ), Foldit jāuzskata par cilvēka aprēķinu projektu. Tomēr es izvēlos kategorizēt to kā atklātu sarunu, jo tai nepieciešamas īpašas prasmes (lai gan ne vienmēr ir specializētas mācības), un tas ir vislabākais risinājums, nevis izmantojot dalītas pieejas apvienošanas stratēģiju. Lai uzzinātu vairāk par Foldit, skatīt Cooper et al. (2010) , Khatib et al. (2011) un Andersen et al. (2012) ; mans apraksts Foldit balstās uz aprakstiem Bohannon (2009) , Hand (2010) un Nielsen (2012) .

Visbeidzot, varētu apgalvot, ka Peer-to-Patent ir dalītu datu vākšanas piemērs. Es izvēlos to iekļaut kā atklātu sarunu, jo tai ir konku rējoša struktūra un izmantoti tikai labākie ieguldījumi, bet ar dalītu datu vākšanu labu un sliktu ieguldījumu ideja nav tik skaidra. Plašāku informāciju par peer-to-patentu skatīt Noveck (2006) , Ledford (2007) , Noveck (2009) un Bestor and Hamp (2010) .

Runājot par atklātu sarunu izmantošanu sociālajos pētījumos, rezultāti, kas līdzīgi Glaeser et al. (2016) , ir minēti Mayer-Schönberger and Cukier (2013) 10) 10. nodaļā, saskaņā ar kuru Ņujorkas pilsēta spēja izmantot prognozēšanas modelēšanu, lai gūtu ievērojamus ieguvumus mājokļu inspektoru produktivitātē. Ņujorkā šos prognozes modeļus uzcēla pilsētas darbinieki, bet citos gadījumos varēja iedomāties, ka tos var izveidot vai uzlabot ar atklātiem izsaukumiem (piemēram, Glaeser et al. (2016) ). Tomēr viena no lielākajām bažām ar prognozēšanas modeļiem, ko izmanto, lai piešķirtu resursus, ir tas, ka šiem modeļiem ir potenciāls pastiprināt esošās novirzes. Daudzi pētnieki jau zina "atkritumus atkritumu izgāztuvēs", un ar prognozējošiem modeļiem tas var būt "neobjektivitāte, neobjektivitāte". Skatīt Barocas and Selbst (2016) un O'Neil (2016) vairāk par iebūvēto prognozēšanas modeļu bīstamību. ar neobjektīviem apmācības datiem.

Viena problēma, kas var liegt valdībām izmantot atklātus konkursus, ir tas, ka tam ir nepieciešama datu izlaišana, kas varētu izraisīt privātuma pārkāpumus. Plašāku informāciju par privātumu un datu izplatīšanu atklātajos sarunās sk. Narayanan, Huey, and Felten (2016) un diskusiju 6. nodaļā.

Breiman (2001) par atšķirībām un līdzībām starp prognozēm un paskaidrojumiem skatiet Breiman (2001) , Shmueli (2010) , Watts (2014) un Kleinberg et al. (2015) . Lai uzzinātu vairāk par prognozēšanas nozīmi sociālajos pētījumos, skatiet Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) un Yarkoni and Westfall (2017) .

Pārskatu par atklātu konkursu projektiem bioloģijā, ieskaitot konsultācijas par dizainu, sk. Saez-Rodriguez et al. (2016) .

• Distributed data collection (5.4. Sadaļa)

Mana eBird apraksta pamatā ir apraksti Bhattacharjee (2005) , Robbins (2013) un Sullivan et al. (2014) . Lai uzzinātu vairāk par to, kā pētnieki izmanto statistikas modeļus, lai analizētu eBird datus, skatiet Fink et al. (2010) un Hurlbert and Liang (2012) . Lai uzzinātu vairāk par eBird dalībnieku prasmju novērtēšanu, skatiet Kelling, Johnston, et al. (2015) . Plašāku informāciju par ornitoloģijas pilsoniskās zinātnes vēsturi skatiet Greenwood (2007) .

Plašāku informāciju par Malavu žurnālu projektu sk. Watkins and Swidler (2009) un Kaler, Watkins, and Angotti (2015) . Lai uzzinātu vairāk par saistītu projektu Dienvidāfrikā, sk. Angotti and Sennott (2015) . Angotti et al. (2014) pētījumu piemēri, izmantojot Malāvijas žurnālu projekta datus, ir Kaler (2004) un Angotti et al. (2014) .

• Veidojot savu (5.5. Sadaļa)

Mana pieeja dizaina ieteikumu sniegšanai bija induktīva, balstoties uz veiksmīgu un neveiksmīgu masveida sadarbības projektu piemēriem, par kuriem esmu dzirdējis. Ir arī pētījumu mēģinājumi piemērot vispārīgākas sociālās psiholoģiskās teorijas, veidojot tiešsaistes kopienas, kas ir nozīmīga masveida sadarbības projektu izstrādē, skat., Piemēram, Kraut et al. (2012) .

Attiecībā uz motivējošiem dalībniekiem patiesībā ir grūti noskaidrot, kāpēc cilvēki piedalās masveida sadarbības projektos (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ja plānojat motivēt dalībniekus ar maksājumu mikrouzdevumu darba tirgū (piemēram, Amazon Mechanical Turk), Kittur et al. (2013) piedāvā dažus padomus.

Attiecībā uz iespaidīgu iespaidu, vairāk piemēru par neparedzētiem atklājumiem, kas nāk no Zooiverse projektiem, skatīt Marshall, Lintott, and Fletcher (2015) .

Attiecībā uz ētiku, dažos labos vispārējos jautājumos iesaistītos ir Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) un Zittrain (2008) . Attiecībā uz jautājumiem, kas īpaši saistīti ar juridiskiem jautājumiem, ar pūļa darbiniekiem, skat. Felstiner (2011) . O'Connor (2013) pievēršas jautājumiem par ētisko pētījumu pārraudzību, kad pētnieku un dalībnieku lomas kļūst neskaidras. Jautājumos, kas attiecas uz datu apmaiņu, tajā pašā laikā aizsargājot dalībniekus pilsoņu zinātnes projektos, skatiet Bowser et al. (2014) . Gan Purdam (2014) gan Windt and Humphreys (2016) ir dažas diskusijas par ētiskiem jautājumiem izplatītajā datu vākšanā. Visbeidzot, lielākā daļa projektu atzīst iemaksas, bet dalībniekiem nav piešķirts autorības kredīts. Folditā spēlētāji bieži tiek uzskaitīti kā autors (Cooper et al. 2010; Khatib et al. 2011) . Citos atklātajos konkursa projektos uzvarētājs var bieži rakstīt papīru, kurā aprakstīti viņu risinājumi (piemēram, Bell, Koren, and Volinsky (2010) Dieleman, Willett, and Dambre (2015) ).