Daugiau komentarų

Šiame skyriuje yra skirtas būti naudojamas kaip nuoroda, o ne būti suprantama kaip aprašomoji.

• Įvadas (5.1 skyrius)

Mišios bendradarbiavimas mišiniai idėjos iš piliečių mokslas, crowdsourcing ir kolektyvinio intelekto. Pilietis mokslas paprastai reiškia įtraukti "piliečius" (ty, ne mokslininkai) į mokslo procesą (Crain, Cooper, and Dickinson 2014) . Crowdsourcing paprastai reiškia atsižvelgiant problema paprastai išspręsti organizacijoje ir vietoj užsakomųjų jį į minią (Howe 2009) . Kolektyvinis intelektas paprastai reiškia asmenų grupes veikiančių kartu taip, kad atrodo protingas (Malone and Bernstein 2015) . Nielsen (2012) yra nuostabi knyga ilgio įvedimas į masinio bendradarbiavimo mokslo tyrimų galia.

Yra daug rūšių masinio bendradarbiaujant, kad netelpa tvarkingai į tris kategorijas, aš pasiūliau, ir manau, kad trys nusipelno ypatingo dėmesio, nes jie gali būti naudingi socialinių tyrimų tam tikru momentu. Vienas iš pavyzdžių yra prognozavimo rinka, kurioje dalyviai perka ir prekybos sutartys, išperkamos remiantis rezultatais, kurie vyksta pasaulyje (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Prognozuoti rinkos dažnai naudojami įmonių ir vyriausybių prognozavimo, numatymo ir rinkos taip pat buvo naudojamos socialinių mokslininkų prognozuoti paskelbtų tyrimų dauginimosi psichologijos (Dreber et al. 2015) .

Antrasis pavyzdys, kad netelpa ir į mano skirstymo į kategorijas sistemą yra polymath projektas, kur mokslininkai bendradarbiavo naudojant dienoraščiai ir wiki įrodyti naujų matematikos teoremas (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Polymath projektas yra tam tikrais būdais, panašių į "Netflix premija, bet ir polymath projekto dalyvių aktyviau pastatytas ant dalinių sprendimų kiti.

Trečias pavyzdys, kad netelpa ir į mano skirstymo į kategorijas sistemą priklauso nuo laiko mobilizacijas pavyzdžiui, Gynybos pažangių tyrimų projektų agentūra (DARPA) Tinklo provokacija (ty, raudonas balionas Challenge). Daugiau informacijos apie šias metu jautrūs mobilizacijas pamatyti Pickard et al. (2011) , Tang et al. (2011) , ir Rutherford et al. (2013) .

• Žmogaus skaičiavimas (5.2 skyrius)

Terminas "žmogaus skaičiavimo" kilęs iš atlikto kompiuterių specialistų darbas, ir suprasti kontekstą už šio tyrimo bus pagerinti jūsų sugebėjimą išskirti problemas, kurios gali būti linkusios į jį. Tam tikras užduotis, kompiuteriai yra neįtikėtinai galingas galimybes smarkiai lenkia net ekspertų žmones. Pavyzdžiui, šachmatų, kompiuteriai pabūti net geriausius Didžiųjų meistrų. Bet-o tai yra mažiau vertinama socialinių mokslininkų-kitoms užduotims, kompiuteriai iš tikrųjų yra daug blogesnė, nei žmonių. Kitaip tariant, dabar jums yra geriau nei net labiausiai sudėtingų kompiuterinių prie tam tikrų užduočių, susijusių vaizdų, vaizdo, garso ir teksto apdorojimą. Taigi, kaip buvo iliustruojamas nuostabų XKCD animaciją yra užduotys, kad būtų lengva kompiuteriams ir sunkiai žmonėms, bet taip pat yra užduočių, kurios yra sunku kompiuteriai ir lengva žmonėms (5.13 pav.) Kompiuterių mokslininkai, dirbantys tai sunku-už-kompiuterių EASY-už-žmogaus užduotis, todėl suprato, kad jie galėtų apimti žmones į jų skaičiavimo procesą. Štai kaip Luis von Ahn (2005) aprašytas žmogaus skaičiavimus, kai jis pirmą kartą sugalvojo disertacijoje terminas: ". Paradigma naudojant žmogaus apdorojimo galia spręsti problemas, kad kompiuteriai dar negali išspręsti"

5.13 pav Kai užduotis kompiuteriai yra nuostabi, kaip žmogaus ekspertų galimybes. Bet kitoms užduotims, paprasti žmonės gali aplenkti net sudėtingą kompiuterinę sistemą. Didelės apimties problemų, kurios apima užduotis, kurios yra sunku kompiuteriai ir lengva žmonėms puikiai tinka žmonėms skaičiavimo. Naudojami pagal čia aprašytus sąlygomis: http://xkcd.com/license.html

Šis apibrėžimas Foldit-kurį aš aprašyta skyriuje apie atvirus kvietimus-gali būti laikoma žmogaus skaičiavimo projektas. Tačiau aš pasirinksiu kategorizuoti Foldit kaip atvirą kvietimą, nes ji reikalauja specialių įgūdžių ir tai trunka geriausias sprendimas padėjo, o ne naudojant split-taikyti-derinti strategiją.

Dėl puikios knyga ilgio gydymui žmonėms skaičiavimo, labiausiai plačiajai prasme žr Law and Ahn (2011) . 3 skyrius Law and Ahn (2011) turi įdomią diskusiją daugiau sudėtingų derinti veiksmus, nei šiame skyriuje tie.

Terminas "split taikyti-sujungti" buvo naudojamas Wickham (2011) aprašyti statistinių duomenų skaičiavimo strategiją, tačiau ji puikiai fiksuoja daugelio žmogaus skaičiavimo projektų procesą. Split-taikomos-sujungti strategija yra panaši į MapReduce sistemą sukūrė ne "Google" (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Du protingi žmogaus skaičiavimo projektai, aš neturėjau erdvę diskutuoti yra ESP Žaidimas (Ahn and Dabbish 2004) ir "reCAPTCHA (Ahn et al. 2008) . Abu šie projektai rado kūrybingų būdų motyvuoti dalyvius pateikti etiketes ant paveikslėlio. Tačiau abiejų šių projektų taip pat iškėlė etikos klausimus, nes, skirtingai nuo "Galaxy Zoo, dalyviai ESP žaidimas ir reCAPTCHA nemokėjau jų duomenys buvo naudojamas (Lung 2012; Zittrain 2008) .

Įkvėptas ESP žaidimas, daugelis mokslininkai mėgino sukurti kitiems "Žaidimai su tikslu" (Ahn and Dabbish 2008) (ty, "Žmogaus pagrindu skaičiavimo žaidimai" (Pe-Than, Goh, and Lee 2015) ), kuri gali būti naudojamas išspręsti daug kitų įvairių problemų. Kas tie "žaidimai su tikslu" yra bendra tai, kad jie bando padaryti dalyvaujančių žmonių skaičiavimo malonus užduotis. Taigi, nors ESP Žaidimo dalijasi tą patį Split-taikomos-derinti struktūrą Galaxy Zoo, tai skiriasi kaip dalyviai yra motyvuoti-fun vs noro padėti mokslą.

Mano aprašymas Galaxy Zoo remiasi Nielsen (2012) , Adams (2012) , Clery (2011) , ir Hand (2010) , ir mano pristatymas mokslinių tyrimų tikslų Galaxy Zoo buvo supaprastinta. Daugiau apie galaktikų klasifikacijos istorija astronomija ir kaip "Galaxy Zoo tęsia šią tradiciją, pamatyti Masters (2012) ir Marshall, Lintott, and Fletcher (2015) . Remiantis Galaxy Zoo, mokslininkai baigė Galaxy Zoo 2, kuris surinko daugiau nei 60 mln sudėtingesnius morfologinių klasifikacijas iš savanorių (Masters et al. 2011) . Be to, jie šakotas dėmesį į problemas ne Galaxy morfologijos įskaitant tyrinėti mėnulio paviršių, ieškant planetų, ir perrašymo senus dokumentus. Šiuo metu visi jų projektai renkami www.zooniverse.org (Cox et al. 2015) . Vienas iš projektų, fotografiją Serengečio-pateikia įrodymus, kad "Galaxy Zoo tipo vaizdo klasifikacijos projektai taip pat gali būti padaryta aplinkos tyrimų (Swanson et al. 2016) .

Dėl mokslininkai planuoja naudoti mikro-užduočių darbo rinką (pvz, "Amazon" Mechaninė Turk) už žmogaus skaičiavimo projektą, Chandler, Paolacci, and Mueller (2013) ir Wang, Ipeirotis, and Provost (2015) siūlo gerą patarimą apie užduoties projektavimo ir kiti susiję klausimai.

Mokslininkai, besidomintys sukurti ką aš vadinamas antrosios kartos žmogaus skaičiavimo sistemas (pvz, sistemos, kurios naudoja žmogaus etiketes mokyti mašina mokymosi modelį) gali būti domina Shamir et al. (2014) (už, pavyzdžiui, naudojant garso) ir Cheng and Bernstein (2015) . Be to, šie projektai gali būti padaryta su atvirus kvietimus, kuriuo mokslininkai konkuruoti sukurti mašina mokymosi modelius su didžiausiu prognozavimo efektyvumą. Pavyzdžiui, "Galaxy Zoo komanda bėgo atvirą kvietimą ir rado naują būdą, kuris aplenkė vieną sukurtą Banerji et al. (2010) ; matyti Dieleman, Willett, and Dambre (2015) detales.

• Atvirus kvietimus (5.3 skirsnis)

Atviri skambučiai nėra nauja. Iš tiesų, vienas iš labiausiai žinomų atvirus kvietimus datuojamas 1714, kai Britanijos Parlamentas sukūrė ilgumą premija visiems, kad galėtų sukurti būdas nustatyti laivo koordinates jūroje. Problema pakišo koją daugeliui iš didžiausių mokslininkų dienų, įskaitant Izaoko Niutono ir laimėjimo sprendimas galiausiai buvo pateikti Laikrodininko iš kaimo, kuris kreipėsi į problemą kitaip mokslininkų, kurie buvo sutelktas į tirpalą, kad būtų kažkaip įtraukti astronomija (Sobel 1996) . Kadangi šis pavyzdys iliustruoja, viena iš priežasčių, kad atviros skambučiai yra manoma, kad taip gerai yra tai, kad jie teikia prieigą prie žmonių su skirtingais požiūriais ir įgūdžių (Boudreau and Lakhani 2013) . See Hong and Page (2004) ir Page (2008) Daugiau apie įvairovės vertę problemų sprendimo.

Kiekvienas iš atvirų pokalbių bylų skyriaus reikalauja papildomo paaiškinimo, kodėl ji priklauso šiai kategorijai tiek. Pirma, vienas iš būdų, kad aš atskirti žmogaus Kompiuterijos ir atviras kvietimas projektų ar produkcija yra visų sprendimų vidurkį (žmogaus skaičiavimo) arba geriausias sprendimas (Atviras kvietimas). Netflix premija yra šiek tiek sudėtinga, šiuo atžvilgiu, nes geriausias sprendimas pasirodė esąs sudėtingas vidurkis individualių sprendimų, kreipėsi vadinamas ansamblis sprendimas (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Nuo Netflix perspektyvos, tačiau visi jie turėjo padaryti, buvo pasirinkti geriausią sprendimą.

Antra, kai kurių žmonių skaičiavimo apibrėžimų (pvz Von Ahn (2005) ), Foldit turėtų būti laikoma žmogaus skaičiavimo projektas. Tačiau aš pasirinksiu kategorizuoti Foldit kaip atvirą kvietimą, nes ji reikalauja specialių įgūdžių ir tai trunka geriausias sprendimas padėjo, o ne naudojant split-taikyti-derinti strategiją.

Galiausiai, galima teigti, kad Peer-to-Patent yra paskirstytos duomenų rinkimo pavyzdys. Aš taip pat pasirinkti ją kaip atvirą kvietimą, nes jis turi konkursas-kaip struktūrą ir yra naudojami tik geriausi įmokos (o su paskirstyta duomenų rinkimo, gerų ir blogų įmokų idėja yra mažiau skaidrus).

Daugiau apie "Netflix premijos žr Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ir Feuerverger, He, and Khatri (2012) . Daugiau apie Foldit pamatyti, Cooper et al. (2010) , Andersen et al. (2012) , ir Khatib et al. (2011) ; mano aprašymas Foldit remiasi aprašymų Nielsen (2012) , Bohannon (2009) , ir Hand (2010) . Daugiau apie peer-to-Patent žr Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , ir Noveck (2009) .

Panašus į rezultatus Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 10 skyrius ataskaitos didelės naudos būsto inspektorių Niujorke produktyvumo kai patikrinimai būtų vadovaujamasi prognozavimo modeliai. Niujorke, šie prognozavimo modeliai buvo pastatyta miesto darbuotojų, tačiau kitais atvejais, galima įsivaizduoti, kad jie galėtų būti sukurta ar patobulinta atvirus kvietimus (pavyzdžiui, Glaeser et al. (2016) ). Tačiau viena didelė problema su prognozavimo modeliai yra naudojami paskirstyti išteklius yra tai, kad modeliai turi potencialą stiprinti esamus nukrypimus. Daugelis tyrinėtojų jau žinote, "šiukšlių, šiukšlių iš", ir prognozavimo modelių gali būti "šališkumo, šališkumo iš." Žr Barocas and Selbst (2016) ir O'Neil (2016) daugiau apie prognozavimo modelių pavojų pastatytų šališkais mokymo duomenis.

Viena problema, kad gali neleisti vyriausybėms naudojant atviruosius konkursus yra tai, kad ji reikalauja duomenų paskelbimo, kuris gali sukelti privatumo pažeidimus. Daugiau apie privatumą ir duomenų perdavimas atvirus kvietimus pamatyti Narayanan, Huey, and Felten (2016) ir 6 skyriuje diskusija.

• Platinama duomenų rinkimas (5.4 skyrius)

Mano aprašymas eBird remiasi aprašymų Bhattacharjee (2005) ir Robbins (2013) . Daugiau apie tai, kaip mokslininkai naudoja statistinius modelius analizuoti eBird duomenis matyti Hurlbert and Liang (2012) ir Fink et al. (2010) . Daugiau apie piliečio mokslo ornothology istoriją, pamatyti Greenwood (2007) .

Daugiau apie Malavio žurnalai projektą rasite Watkins and Swidler (2009) ir Kaler, Watkins, and Angotti (2015) . Ir daugiau susijęs projektas Pietų Afrikoje žr Angotti and Sennott (2015) . Daugiau pavyzdžių tyrimų naudojant duomenis iš Malavis žurnalai projekto pamatyti Kaler (2004) ir Angotti et al. (2014) .

• Projektavimas savo (5.5 skirsnis)

Mano požiūris į dizainą siūlant patarimus buvo indukcinė, remiantis sėkmingais pavyzdžiais ir nepavyko masinius bendradarbiavimo projektus, kurie Girdėjau apie. Taip pat yra tyrimų srautas bando taikyti bendrąsias socialines psichologines teorijas projektuojant internetinių bendruomenių, kad jie yra susiję su masinių bendradarbiavimo projektų dizaino, pamatyti, pavyzdžiui, Kraut et al. (2012) .

Dėl motyvacijų dalyvių, tai iš tiesų yra gana sudėtinga išsiaiškinti tiksliai, kodėl žmonės dalyvauja masė bendradarbiavimo projektų (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Jei planuojate motyvuoti dalyvius su mokėjimo mikro užduotis darbo rinkoje (pvz, "Amazon" Mechaninė Turk) Kittur et al. (2013) siūlo keletą patarimų.

Dėl leidžianti siurprizas, daugiau pavyzdžių netikėtų atradimų išeina Zoouniverse projektų žr Marshall, Lintott, and Fletcher (2015) .

Dėl būti etiška, gerų bendri pristatymas į susijusių problemų yra Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ir Zittrain (2008) . Dėl klausimų, konkrečiai susijusių su teisiniais klausimais, kurių minios darbuotojų žr Felstiner (2011) . O'Connor (2013) svarsto klausimus apie etikos priežiūrą tyrimų Kai mokslininkai ir dalyvių vaidmenis Blur. Dėl klausimų, susijusių su dalijimosi duomenimis ir kartu apsaugoti participats į piliečių mokslo projektų, pamatyti Bowser et al. (2014) . Tiek Purdam (2014) ir Windt and Humphreys (2016) turėti tam tikrą diskusiją apie etinius klausimus paskirstyto duomenų rinkimą. Galiausiai, dauguma projektų pripažinti įmokas, tačiau nepasiduokite rengėjo kredito dalyviams. Be Foldit, kad Foldit žaidėjai dažnai nurodomos kaip autoriaus (Cooper et al. 2010; Khatib et al. 2011) . Kitaip Atviras kvietimas projektams, laimėjęs prisideda dažnai gali parašyti popieriuje, apibūdinančią savo sprendimus (pvz Bell, Koren, and Volinsky (2010) ir Dieleman, Willett, and Dambre (2015) ). Be Galaxy Zoo šeimos projektų, labai aktyvūs ir svarbūs veiksniai kartais kviečiami bendrai autoriai dokumentus. Pavyzdžiui, Ivanas Terentev ir Timas Matorny du Radijas "Galaxy Zoo dalyviai iš Rusijos, buvo bendraautoriai vieną iš dokumentų, atsiradusių iš šio projekto (Banfield et al. 2016; Galaxy Zoo 2016) .