Šta dalje čitati

• Uvod (odeljak 5.1)

Masovna saradnja meša ideje iz nauke o građanima , grupama i kolektivnim inteligencijama . Nauka o grañanima obično znači uključivanje "građana" (tj. Nonscientists) u naučni proces; za više, pogledajte Crain, Cooper, and Dickinson (2014) i Bonney et al. (2014) . Crowdsourcing obično znači uzimanje problema koji se obično rešava unutar organizacije i umesto toga prenese ga na mnoštvo; za više, pogledajte Howe (2009) . Kolektivna inteligencija obično znači grupe ljudi koji deluju kolektivno na načine koji izgledaju inteligentni; za više, pogledajte Malone and Bernstein (2015) . Nielsen (2012) je uvod u dužu knjigu o moći masovne saradnje za naučna istraživanja.

Postoje mnoge vrste masovne saradnje koje se ne uklapaju u tri kategorije koje sam predložio, i mislim da tri od njih zaslužuju posebnu pažnju jer mogu biti korisne u društvenim istraživanjima. Jedan primer je tržište predviđanja, gde učesnici kupuju i ugovore o trgovini koji se mogu isplatiti na osnovu ishoda koji se javljaju u svijetu. Predviđanje tržišta često koriste kompanije i vlade za predviđanje, a istovremeno su ih koristili socijalni istraživači kako bi predvidjeli repliciranje objavljenih studija iz psihologije (Dreber et al. 2015) . Za pregled tržišta predviđanja pogledajte Wolfers and Zitzewitz (2004) i Arrow et al. (2008) .

Drugi primer koji ne uklapa u moju kategorizacionu šemu je PolyMath projekat, gdje su istraživači sarađivali koristeći blogove i wikije kako bi dokazali nove matematičke teoreme. Projekat PolyMath je na neki način sličan Netflixovoj nagradi, ali u ovom projektu učesnici su aktivniji na parcijalnim rješenjima drugih. Za više o PolyMath projektu, pogledajte Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) i Kloumann et al. (2016) .

Treći primer koji se ne uklapa u moju kategorizacionu šemu je vremenski zavisna mobilizacija, kao što je Agencija za razvojna istraživanja (DARPA) Network Challenge (tj. Crveni balon izazov). Više o ovim mobilizacijama osetljivim na vreme vidi Pickard et al. (2011) , Tang et al. (2011) i Rutherford et al. (2013) .

• Ljudski račun (poglavlje 5.2)

Izraz "ljudska računanja" izlazi iz rada računarskih naučnika, a razumevanje konteksta iza ovog istraživanja poboljšaće vašu sposobnost da izaberu probleme koji bi mogli biti pogodni za to. Za određene zadatke računari su neverovatno moćni, sa mogućnostima koje su daleko veće od onih čak i stručnih ljudi. Na primer, u šahu računari mogu pobediti čak i najbolje velemajstere. Ali, i ovo je manje cenjeno od strane društvenih naučnika - za druge zadatke, računari su stvarno mnogo gori od ljudi. Drugim rečima, sada ste bolji od čak i najsofisticiranijeg računara na određenim zadacima koji uključuju obradu slika, video zapisa, audio i teksta. Kompjuterski naučnici koji rade na ovim teškim-za-računarima jednostavnim za čovjeke zadatke shvatili su da mogu uključiti ljude u svoj računarski proces. Evo kako je Luis von Ahn (2005) opisao ljudske račune kada je prvi put skovao izraz u svojoj disertaciji: "paradigma za korištenje ljudske procesne moći za rješavanje problema koje kompjuteri još uvijek ne mogu riješiti." Za knjigovežni tretman ljudskih računanja, u najopšti smisao izraza, vidi Law and Ahn (2011) .

Prema definiciji koja je predložena u Ahn (2005) Foldit - što sam opisao u odjeljku o otvorenim pozivima - može se smatrati projektom ljudskih računanja. Međutim, odlučio sam da kategorizujem Foldit kao otvoreni poziv zato što zahtijeva specijalizovane vještine (iako ne obavezno formalnu obuku) i potrebno je najbolje rješenje, umjesto korištenja split-apply-combine strategije.

Wickham (2011) je koristio pojam "split-apply-combine" kako bi opisao strategiju za statističko računarstvo, ali savršeno obuhvata proces mnogih projekata ljudskih računanja. Strategija split-apply-combine slična je MapReduce okviru razvijen u Google-u; za više na MapReduce, pogledajte Dean and Ghemawat (2004) i Dean and Ghemawat (2008) . Za više informacija o drugim distribuiranim računarskim arhitekturama pogledajte Vo and Silvia (2016) . Poglavlje 3 Law and Ahn (2011) raspravlja o projektima s složenijim koracima koraka od onih u ovom poglavlju.

U projektima ljudskih računanja koje sam razmatrao u poglavlju, učesnici su bili svjesni onoga što se dešavalo. Međutim, neki drugi projekti pokušavaju da uhvate "rad" koji se već dešava (slično eBird-u) i bez svijesti učesnika. Vidi, na primer, ESP Game (Ahn and Dabbish 2004) i reCAPTCHA (Ahn et al. 2008) . Međutim, oba ova projekta takođe postavljaju etička pitanja jer učesnici nisu znali kako se njihovi podaci koriste (Zittrain 2008; Lung 2012) .

Inspirisani ESP igrom, mnogi istraživači su pokušali da razviju druge "igre s namerom" (Ahn and Dabbish 2008) (tj. " (Ahn and Dabbish 2008) zasnovane na ljudima" (Pe-Than, Goh, and Lee 2015) ) koje mogu biti koristi se za rešavanje različitih drugih problema. Ove "igre sa svrhom" imaju zajedničko to što pokušavaju da zadovoljavaju zadatke uključene u ljudske račune. Stoga, dok ESP Game deli istu strukturu split-apply-combine sa Galaxy Zoo-om, razlikuje se u tome kako su učesnici motivisani - zabavno nasuprot želji da pomogne nauci. Za više informacija o igricama s ciljem, pogledajte Ahn and Dabbish (2008) .

Moj opis galerijskog zoološkog vrta se primjenjuje na Nielsen (2012) , Adams (2012) , Clery (2011) i Hand (2010) , a moja prezentacija istraživačkih ciljeva Galaxy Zoo-a je pojednostavljena. Više o istoriji klasifikacije galaksije u astronomiji i kako galaksijski zoološki vrt nastavlja ovu tradiciju, pogledajte Masters (2012) i Marshall, Lintott, and Fletcher (2015) . Izgradili smo na galaksijskom zoološkom vrtu, istraživači su završili Galaxy Zoo 2 koji je prikupio više od 60 miliona složenih morfoloških klasifikacija od dobrovoljaca (Masters et al. 2011) . Dalje, oni su se razgrnuli u probleme van galaktičke morfologije, uključujući istraživanje površine Meseca, traženje planeta i prepisivanje starih dokumenata. Trenutno, svi njihovi projekti se prikupljaju na Zooniverse vebsajtu (Cox et al. 2015) . Jedan od projekata - Snapshot Serengeti - pruža dokaze da projekti klasifikacije slika tipa Galaxy Zoo takođe mogu biti napravljeni za istraživanje životne sredine (Swanson et al. 2016) .

Za istraživače koji planiraju koristiti tržište rada sa mikrotaskama (npr. Amazon Mechanical Turk) za projekat ljudskog izračunavanja, Chandler, Paolacci, and Mueller (2013) i J. Wang, Ipeirotis, and Provost (2015) nude dobre savjete o dizajniranju zadataka i druga srodna pitanja. Porter, Verdery, and Gaddis (2016) nude primere i savete usmjerene na upotrebu tržišta rada na mikrotaskama za ono što nazivaju "pojačavanje podataka". Linija između povećanja podataka i prikupljanja podataka je nešto zamagljena. Više o sakupljanju i korišćenju etiketa za nadgledano učenje za tekst vidi Grimmer and Stewart (2013) .

Istraživači koji su zainteresovani za stvaranje onoga što sam nazvao računarskim ljudskim računarskim sistemima (na primjer, sistemi koji koriste ljudske oznake za obuku modela za učenje mašina) mogu biti zainteresovani za Shamir et al. (2014) (za primjer koji koristi audio) i Cheng and Bernstein (2015) . Takođe, modeli u mašinskom učenju u ovim projektima mogu se pozvati na otvorene pozive, pri čemu se istraživači takmiče da kreiraju mašine za učenje sa najboljim predvidljivim performansama. Na primjer, Galaxy Zoo tim je otvorio poziv i pronašao novi pristup koji je nadvladao onu razvijen u Banerji et al. (2010) ; pogledajte Dieleman, Willett, and Dambre (2015) za detalje.

• Otvoreni pozivi (odeljak 5.3)

Otvoreni pozivi nisu novi. U stvari, jedan od najpoznatijih otvorenih poziva datira još od 1714. godine kada je Britanski parlament stvorio nagradu za dugove za svakoga ko bi mogao da razvije način određivanja dužine broda na moru. Problem je izazvao mnoge od najvećih naučnika dana, uključujući Isaka Njutna, a pobedničko rešenje je na kraju podnela Džon Harison, časopisar iz sela koji je drugačije pristupio problemu od naučnika koji su bili fokusirani na rešenje koje bi nekako uključivalo astronomiju ; za više informacija pogledajte Sobel (1996) . Kao što ovaj primer ilustruje, smatra se da jedan od razloga zbog kojih smatraju da su otvoreni pozivi toliko dobri je da oni pružaju pristup ljudima različitih perspektiva i veština (Boudreau and Lakhani 2013) . Pogledajte Hong and Page (2004) i Page (2008) za više o vrijednosti različitosti u rješavanju problema.

Svaki od slučajeva otvorenog poziva u poglavlju zahteva malo dalje objašnjenje zašto spada u ovu kategoriju. Prvo, jedan način kojim se razlikuje između ljudskog računanja i projekata otvorenog poziva jeste da li je izlaz prosečno od svih rješenja (ljudska računanja) ili najbolje rješenje (otvoreni poziv). Netflix nagrada je donekle nezgodna u ovom pogledu jer se najbolje rešenje ispostavilo kao sofisticirani prosek individualnih rešenja, pristup koji se zove ansamblovsko rešenje (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Međutim, iz perspektive Netflix-a, sve što je trebalo da uradi je da izabere najbolje rešenje. Više o Netflixovoj nagradi pogledajte Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , i Feuerverger, He, and Khatri (2012) .

Drugo, po nekim definicijama ljudskog računanja (npr. Ahn (2005) ), Foldit treba smatrati projektom ljudskog računanja. Međutim, ja odlučujem da ga kategorizujem kao otvoreni poziv zato što zahtijeva specijalizovane vještine (iako ne mora biti specijalizirana obuka) i potrebno je najbolje rješenje, umjesto korištenja strategije split-apply-combine. Za više informacija o Folditu pogledajte Cooper et al. (2010) , Khatib et al. (2011) i Andersen et al. (2012) ; moj opis Foldita se crta na opise u Bohannon (2009) , Hand (2010) i Nielsen (2012) .

Konačno, može se tvrditi da je Peer-to-Patent primjer distribuiranog prikupljanja podataka. Ja odlučujem da je uključim kao otvoreni poziv jer ima strukturu koja je takmičena sa takmičenjima i koristi se samo najbolji doprinos, a pri distribuiranom prikupljanju podataka ideja o dobrim i lošim doprinosima je manje jasna. Više o Peer-to-Patent-u, vidi Noveck (2006) , Ledford (2007) , Noveck (2009) , i Bestor and Hamp (2010) .

Što se tiče korišćenja otvorenih poziva u društvenim istraživanjima, rezultati su slični onim u Glaeser et al. (2016) , prijavljeni su u poglavlju 10 Mayer-Schönberger and Cukier (2013) pri čemu je New York City mogao da koristi prediktivno modeliranje za proizvodnju velikih dobitaka u produktivnosti inspektora za stanovanje. U New Yorku, ovi prediktivni modeli gradili su gradski službenici, ali u drugim slučajevima, mogli su zamisliti da se mogu kreirati ili poboljšati putem otvorenih poziva (npr. Glaeser et al. (2016) ). Međutim, jedna glavna briga sa prediktivnim modelima koji se koriste za dodjelu resursa jeste da ovi modeli imaju potencijal da ojačaju postojeće pristrasnosti. Mnogi istraživači već znaju "smeće i otpad", a sa prediktivnim modelima to može biti "pristranost, pristrasnost". Pogledajte Barocas and Selbst (2016) i O'Neil (2016) za više o opasnostima izgrađenih prediktivnih modela sa pristrasnim podacima o obuci.

Jedan problem koji može sprečiti vlade da koriste otvorene takmičenja jeste da to zahtijeva puštanje podataka, što bi moglo dovesti do kršenja privatnosti. Za više informacija o privatnosti i objavljivanju podataka na otvorenim pozivima, pogledajte Narayanan, Huey, and Felten (2016) i diskusiju u poglavlju 6.

Više o razlikama i sličnostima između predviđanja i objašnjenja vidi Breiman (2001) , Shmueli (2010) , Watts (2014) i Kleinberg et al. (2015) . Za više informacija o ulozi predviđanja u društvena istraživanja, pogledajte Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , i Yarkoni and Westfall (2017) .

Za pregled projekata otvorenog poziva u biologiji, uključujući savete za dizajn, pogledajte Saez-Rodriguez et al. (2016) .

• Distribuirano prikupljanje podataka (poglavlje 5.4)

Moj opis eBird-a se odnosi na opise u Bhattacharjee (2005) , Robbins (2013) i Sullivan et al. (2014) . Više o tome kako istraživači koriste statističke modele za analizu podataka eBird vidi Fink et al. (2010) i Hurlbert and Liang (2012) . Više o proceni vještina učesnika eBird-a, vidi Kelling, Johnston, et al. (2015) . Više o istoriji građanske nauke u ornitologiji, pogledajte Greenwood (2007) .

Više o projektu Malawi Journals vidi Watkins and Swidler (2009) i Kaler, Watkins, and Angotti (2015) . Za više informacija o projektu u Južnoj Africi pogledajte Angotti and Sennott (2015) . Za više primjera istraživanja korištenjem podataka iz projekta Malawi Journals vidi Kaler (2004) i Angotti et al. (2014) .

• Dizajniranje vlastite (odeljak 5.5)

Moj pristup pružanju dizajnerskih saveta bio je induktivan, zasnovan na primjerima uspješnih i neuspješnih projekata masovne saradnje o kojima sam čuo. Takođe je postojao potez istraživanja pokušaja primjene opštih socijalnih psiholoških teorija za dizajniranje on-line zajednica koje su relevantne za dizajniranje projekata masovne saradnje, vidi, na primjer, Kraut et al. (2012) .

Što se tiče motivisanja učesnika, zapravo je vrlo teško (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) zašto ljudi učestvuju u projektima masovne saradnje (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ako planirate motivisati učesnike na plaćanju na tržištu rada na mikrotaskama (npr. Amazon Mechanical Turk), Kittur et al. (2013) nudi neke savete.

Što se tiče omogućavanja iznenađenja, za još primjera neočekivanih otkrića iz Zooiverse projekata, pogledajte Marshall, Lintott, and Fletcher (2015) .

Što se tiče etičnosti, neki dobri opšti uvod u pitanja uključeni su Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , i Zittrain (2008) . Za pitanja koja se posebno odnose na pravna pitanja sa zaposlenima u gomili, pogledajte Felstiner (2011) . O'Connor (2013) bavi pitanjima o etičkom nadzoru istraživanja kada zamagljuju ulogu istraživača i učesnika. Za pitanja vezana za razmjenu podataka, a istovremeno zaštitu učesnika u projektima nauke građana, pogledajte Bowser et al. (2014) . Oba Purdam (2014) i Windt and Humphreys (2016) diskutuju o etičkim pitanjima u distribuiranom prikupljanju podataka. Najzad, većina projekata priznaje doprinose, ali ne daje autoritetu kredite učesnicima. U Folditu igrači su često navedeni kao autori (Cooper et al. 2010; Khatib et al. 2011) . U drugim projektima otvorenog poziva, pobednički doprinos često može napisati članak koji opisuje njihova rešenja (npr. Bell, Koren, and Volinsky (2010) i Dieleman, Willett, and Dambre (2015) ).