Što dalje pročitati

• Uvod (poglavlje 5.1)

Masovna suradnja kombinira ideje građanske znanosti , crowdsourcinga i kolektivne inteligencije . Građanska znanost obično znači uključivanje "građana" (tj. Nesvjesnika) u znanstveni proces; za više, vidi Crain, Cooper, and Dickinson (2014) i Bonney et al. (2014) . Crowdsourcing obično znači uzimanje problema obično riješen unutar organizacije i umjesto toga outsourcing ga gužvi; za više, pogledajte Howe (2009) . Kolektivna inteligencija obično znači skupine pojedinaca koji kolektivno djeluju na načine koji izgledaju inteligentni; za više, pogledajte Malone and Bernstein (2015) . Nielsen (2012) je uvod u knjigu o snazi ​​masovne suradnje za znanstvena istraživanja.

Postoje mnoge vrste masovne suradnje koje se ne uklapaju u tri kategorije koje sam predložio, a mislim da su tri od njih zaslužni posebnu pažnju jer bi mogli biti korisni u društvenim istraživanjima. Jedan primjer je tržište predviđanja, gdje sudionici kupuju i trgovaju ugovore koji se mogu otkupiti na temelju rezultata koji se pojavljuju u svijetu. Predviđanja tržišta često koriste tvrtke i vlade za predviđanje, a socijalni istraživači su također koristili za predviđanje ponovljivosti objavljenih studija psihologije (Dreber et al. 2015) . Za pregled tržišta predviđanja, vidi Wolfers and Zitzewitz (2004) i Arrow et al. (2008) .

Drugi primjer koji se ne uklapa u moju kategorizacijsku shemu je PolyMath projekt, gdje su istraživači surađivali pomoću blogova i wikija kako bi dokazali nove matematske teoreme. PolyMath projekt je na neki način sličan nagradi Netflix, ali u ovom projektu sudionici aktivnije grade na djelomična rješenja drugih. Za više informacija o projektu PolyMath pogledajte Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) i Kloumann et al. (2016) .

Treći primjer koji se ne uklapa u moju kategorizacijsku shemu je mobilizaciju ovisnih o vremenu kao što je Mrežni izazov agencije za obrambene istraživačke projekte (DARPA) (tj. Izazov Crvenog balona). Više o tim vremenskim osjetljivim mobilizacijama vidjeti Pickard et al. (2011) , Tang et al. (2011) i Rutherford et al. (2013) .

• Ljudski izračun (poglavlje 5.2)

Pojam "ljudsko računanje" ne dolazi od posla koji rade računalni znanstvenici, a razumijevanje konteksta iza ovog istraživanja poboljšat će vašu sposobnost odabira problema koji bi mogli biti prikladni za njega. Za određene zadatke, računala su nevjerojatno moćna, s mogućnostima daleko iznad onih čak i stručnih ljudi. Na primjer, u šahu, računala mogu pobijediti čak i najbolje bake. Ali - i to je manje dobro cijenjeno od strane društvenih znanstvenika - za druge poslove, računala su zapravo mnogo gore od ljudi. Drugim riječima, upravo sada ste bolji od čak najsofisticiranijih računala u određenim zadacima koji uključuju obradu slike, video, audio i tekst. Računalni znanstvenici koji rade na tim hard-za-računalima-lako za ljudske zadatke stoga su shvatili da mogu uključiti ljude u njihov računalni proces. Evo kako je Luis von Ahn (2005) opisao ljudsko računanje kada je prvi put skovao pojam u svojoj disertaciji: "paradigma za korištenje ljudske snage za obradu u rješavanju problema koje računala još ne mogu riješiti." Za knjigovodstvenu obradu ljudskog računanja, najopćenitiji smisao tog pojma, vidi Law and Ahn (2011) .

Prema definiciji predloženom u Ahn (2005) Foldit - što sam opisao u odjeljku o otvorenim pozivima - može se smatrati projektom ljudskog računanja. Međutim, odlučim kategorizirati Foldit kao otvoreni poziv jer zahtijeva specijalizirane vještine (iako ne nužno formalno osposobljavanje) i potrebno je pridonijeti najbolje rješenje, umjesto korištenja strategije kombinacije split-apply-combine.

Wickham (2011) koristi pojam "split-apply-combine" kako bi opisao strategiju za statističko računanje, ali savršeno bilježi proces mnogih računalnih projekata. Strategija split-apply-combine slična je MapReduce okviru razvijenom na Googleu; za više na MapReduce, vidi Dean and Ghemawat (2004) i Dean and Ghemawat (2008) . Više o ostalim distribuiranim arhitekturama računanja potražite u Vo and Silvia (2016) . Poglavlje 3. Law and Ahn (2011) raspravlja o projektima s kompleksnijim kombinacijskim koracima od onih u ovom poglavlju.

U ljudskim računalnim projektima koje sam raspravljao u ovom poglavlju, sudionici su bili svjesni onoga što se događa. Neki drugi projekti, međutim, nastoje obuhvatiti "posao" koji se već događa (slično eBirdu) i bez svijesti sudionika. Vidi, na primjer, ESP Game (Ahn and Dabbish 2004) i reCAPTCHA (Ahn et al. 2008) . Međutim, oba ova projekta također izazivaju etička pitanja jer sudionici nisu znali kako se koriste njihovi podaci (Zittrain 2008; Lung 2012) .

Inspiriran ESP igrama, mnogi su istraživači pokušali razviti druge "igre s ciljem" (Ahn and Dabbish 2008) (tj. "Računalne igre temeljene na ljudskim kretanjima" (Pe-Than, Goh, and Lee 2015) ) koje se mogu koristi se za rješavanje raznih drugih problema. Ono što ove "igre s ciljem" imaju zajedničko je da pokušaju zadatke koji su uključeni u ljudsko računanje učiniti ugodnijim. Dakle, iako ESP igra dijeli istu strukturu podijeljenom kombinacijom s Galaxy Zoo, razlikuje se u tome kako su sudionici motivirani - zabavna u odnosu na želju za znanjem. Za više informacija o igrama s ciljem, pogledajte Ahn and Dabbish (2008) .

Moj opis galaksije Zoo privlači Nielsen (2012) , Adams (2012) , Clery (2011) i Hand (2010) , a moje predstavljanje ciljeva istraživanja Galaxy Zoo je pojednostavljeno. Za više o povijesti galaksije klasifikacije u astronomiji i kako Galaxy Zoo nastavlja ovu tradiciju, pogledajte Masters (2012) i Marshall, Lintott, and Fletcher (2015) . Znanstvenici su izgradili Galaxy Zoo 2, koji su prikupili više od 60 milijuna složenijih morfoloških klasifikacija volontera (Masters et al. 2011) . Nadalje, razgranali su se u probleme izvan morfologije galaksije, uključujući istraživanje površine Mjeseca, traženje planeta i prepisivanje starih dokumenata. Trenutno se svi njihovi projekti prikupljaju na web stranici Zooniverse (Cox et al. 2015) . Jedan od projekata - Snapshot Serengeti - pruža dokaze da se projekti klasifikacije slika Zoološkog vrta mogu obaviti i za istraživanje okoliša (Swanson et al. 2016) .

Chandler, Paolacci, and Mueller (2013) i J. Wang, Ipeirotis, and Provost (2015) nude dobre savjete o dizajnu zadataka i istraživačima koji planiraju koristiti mikrotask tržište rada (npr. Amazon Mechanical Turk) ostala povezana pitanja. Porter, Verdery, and Gaddis (2016) nude primjere i savjete usmjerene posebno na korištenje tržišta rada na mikro poslu za ono što nazivaju "povećanjem podataka". Više o prikupljanju i upotrebi oznaka za nadzirano učenje za tekst potražite u odjeljku Grimmer and Stewart (2013) .

Znanstvenici koji su zainteresirani za stvaranje onoga što sam nazvao ljudskim računalnim računalnim sustavima (npr. Sustavi koji koriste ljudske oznake za osposobljavanje modela strojnog učenja) mogli bi biti zainteresirani za Shamir et al. (2014) (primjer za audio) i Cheng and Bernstein (2015) . Također, modeli strojnog učenja u tim projektima mogu se tražiti uz otvorene pozive, pri čemu se znanstvenici natječu za stvaranje modela strojnog učenja s najvećom prediktivnom izvedbom. Na primjer, tim Galaxy Zoo vodio je otvoreni poziv i našao novi pristup koji je nadmašio onaj razvijen u Banerji et al. (2010) ; pogledajte detalje Dieleman, Willett, and Dambre (2015) .

• Otvoreni pozivi (odjeljak 5.3)

Otvoreni pozivi nisu novi. Zapravo, jedan od najpoznatijih otvorenih poziva datira iz 1714. godine kada je britanski parlament stvorio Nagradnu praksu za svakoga tko bi mogao razviti način određivanja duljine broda na moru. Problem je prigušio mnoge od najvećih znanstvenika dana, uključujući i Isaaca Newtona, a dobitno rješenje na kraju je podnijelo John Harrison, oruđe sa sela koja je drugačije približavala problemu od znanstvenika koji su bili usredotočeni na rješenje koje bi nekako uključivalo astronomiju ; za više informacija pogledajte Sobel (1996) . Kao što ovaj primjer ilustrira, jedan od razloga za koji se misli da tako dobro funkcioniraju otvoreni pozivi jest pružanje pristupa ljudima s različitim perspektivama i vještinama (Boudreau and Lakhani 2013) . Vidi Hong and Page (2004) i Page (2008) za više o vrijednosti raznolikosti u rješavanju problema.

Svaki od slučajeva otvorenih poziva u ovom poglavlju zahtijeva malo dodatnih objašnjenja zašto pripada ovoj kategoriji. Prvo, jedan od načina na koji razlikujem između ljudskog računanja i projekata otvorenih poziva jest da li je izlaz prosjek svih rješenja (ljudsko računanje) ili najbolje rješenje (otvoreni poziv). Nagrada Netflix je pomalo lukav u tom smislu jer je najbolje rješenje bilo sofisticirani prosjek pojedinačnih rješenja, pristup koji se naziva rješenje ansambla (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Međutim, iz perspektive Netflixa, sve što je trebalo učiniti bilo je odabrati najbolje rješenje. Za više informacija o nagradi Netflix pogledajte Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) i Feuerverger, He, and Khatri (2012) .

Drugo, nekim definicijama ljudskog računanja (npr., Ahn (2005) ), Foldit bi trebao smatrati ljudskim računalnim projektom. Međutim, odlučim je da ga kategoriziram kao otvoreni poziv jer zahtijeva specijalizirane vještine (iako ne nužno specijalizirano osposobljavanje) i potrebno je najbolje rješenje, umjesto da se koristi strategija kombinacije split-apply-combine. Za više o Foldit vidi, Cooper et al. (2010) , Khatib et al. (2011) i Andersen et al. (2012) ; moj opis Foldit oslanja se na opise u Bohannon (2009) , Hand (2010) i Nielsen (2012) .

Konačno, moglo bi se tvrditi da je Peer-to-Patent primjer distribuiranog prikupljanja podataka. Odlučio sam ga uključiti kao otvoreni poziv jer ima strukturu sličnu natjecanju i koriste se samo najbolji doprinosi, dok je distribucija prikupljenih podataka, ideja dobrih i loših doprinosa manje jasna. Više o peer-to-patentu potražite u: Noveck (2006) , Ledford (2007) , Noveck (2009) i Bestor and Hamp (2010) .

U smislu korištenja otvorenih poziva u društvenim istraživanjima, rezultati slični onima Glaeser et al. (2016) , prikazani su u poglavlju 10 Mayer-Schönberger and Cukier (2013) pri čemu je New York bio u mogućnosti koristiti prediktivno modeliranje kako bi proizveo velike dobitke u produktivnosti stambenih inspektora. U New Yorku ovi prediktivni modeli gradili su zaposlenici grada, ali u drugim slučajevima moglo se zamisliti da ih se može otvoriti ili otvoriti (npr., Glaeser et al. (2016) ). Međutim, jedna glavna briga kod prediktivnih modela koji se koriste za raspoređivanje resursa je ta da ovi modeli imaju potencijal da pojačaju postojeće pristranosti. Mnogi znanstvenici već znaju "smeće u smeću", a predviđanjima može biti "pristranost, pristranost". Pogledajte Barocas and Selbst (2016) i O'Neil (2016) za više o opasnostima predviđenih modela s pristranim podacima obuke.

Jedan od problema koji bi mogao spriječiti vlade da koriste otvorene natječaje jest to da to zahtijeva objavljivanje podataka, što bi moglo dovesti do kršenja privatnosti. Više o privatizaciji i puštanju podataka u otvorenim pozivima potražite u odjeljku Narayanan, Huey, and Felten (2016) i raspravu u 6. poglavlju.

Više o razlikama i sličnostima između predviđanja i objašnjenja vidjeti Breiman (2001) , Shmueli (2010) , Watts (2014) i Kleinberg et al. (2015) . Za više informacija o ulozi predviđanja u društvenom istraživanju, vidjet Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , a Yarkoni and Westfall (2017) .

Za pregled projekata otvorenih poziva u biologiji, uključujući savjetovanje o dizajnu, pogledajte Saez-Rodriguez et al. (2016) .

• Distribuirana prikupljanja podataka (odjeljak 5.4)

Moj opis eBird-a oslanja se na opise u Bhattacharjee (2005) , Robbins (2013) i Sullivan et al. (2014) . Više o tome kako istraživači koriste statističke modele za analizu eBird podataka vidjeti Fink et al. (2010) i Hurlbert and Liang (2012) . Više o procjeni vještine sudionika eBirda, vidi Kelling, Johnston, et al. (2015) . Više o povijesti građanske znanosti u ornitologiji, vidi Greenwood (2007) .

Za više informacija o projektu Malavijeve časopise pogledajte Watkins and Swidler (2009) i Kaler, Watkins, and Angotti (2015) . Više o povezanom projektu u Južnoj Africi potražite u Angotti and Sennott (2015) . Za više primjera istraživanja koja koriste podatke iz projekta Malavijeve časopise pogledajte Kaler (2004) i Angotti et al. (2014) .

• Projektiranje vlastitih (odjeljak 5.5)

Moj pristup pružanju savjetovanja o dizajnu bio je induktivan, na temelju primjera uspješnih i propalih projekata masovne suradnje za koje sam čuo. Također je postojao niz istraživanja pokušaja primjene općenitijih socijalnih psiholoških teorija u oblikovanju mrežnih zajednica koje su relevantne za projektiranje projekata masovne suradnje, vidi, na primjer, Kraut et al. (2012) .

Što se tiče motiviranih sudionika, zapravo je prilično teško znati točno zašto ljudi sudjeluju u projektima masovne suradnje (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ako planirate motivirati sudionike s plaćanjem na mikrotask tržištu rada (npr. Amazon Mechanical Turk), Kittur et al. (2013) nudi neke savjete.

Što se tiče omogućavanja iznenađenja, za više primjera neočekivanih otkrića iz Zooiverse projekata, pogledajte Marshall, Lintott, and Fletcher (2015) .

Što se tiče etičnosti, neki dobri opći uvod u pitanja koja se tiču ​​su Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) i Zittrain (2008) . Za pitanja koja su posebno povezana s pravnim pitanjima s zaposlenima u gužvi, pogledajte Felstiner (2011) . O'Connor (2013) bavi se pitanjima o etičkom nadzoru istraživanja kada se uloge istraživača i sudionika zamagljuju. Za pitanja vezana uz dijeljenje podataka štiteći sudionike u projektima građanskih znanosti, vidi Bowser et al. (2014) . I Purdam (2014) i Windt and Humphreys (2016) raspravljaju o etičkim pitanjima u distribuiranom prikupljanju podataka. Konačno, većina projekata priznaje doprinose, ali ne daju autorstvo kredit sudionicima. U Folditu, igrači se često navode kao autori (Cooper et al. 2010; Khatib et al. 2011) . U drugim projektima otvorenog poziva, dobitnik suradnika često može napisati rad koji opisuje njihova rješenja (npr. Bell, Koren, and Volinsky (2010) i Dieleman, Willett, and Dambre (2015) ).