Comentariul suplimentar

Această secțiune este proiectat pentru a fi utilizat ca referință, mai degrabă decât să fie citit ca o narațiune.

• Introducere (Secțiunea 5.1)

Colaborarea în masă îmbină idei de știință cetățean, crowdsourcing și inteligența colectivă. Știință cetățean înseamnă , de obicei , care implică "cetățeni" (adică, non-oameni de știință) în procesul științific (Crain, Cooper, and Dickinson 2014) . Crowdsourcing înseamnă de obicei , de a lua o problemă rezolvată , de obicei , în cadrul unei organizații și în loc să- l externalizarea unei mulțimi (Howe 2009) . Inteligența colectivă înseamnă , de obicei grupuri de indivizi care acționează în mod colectiv în moduri care par inteligente (Malone and Bernstein 2015) . Nielsen (2012) este o introducere carte de lungime minunat în puterea colaborării în masă pentru cercetarea științifică.

Există mai multe tipuri de colaborare în masă, care nu se încadrează perfect în cele trei categorii pe care le-am propus, și cred că trei merită o atenție specială, deoarece acestea ar putea fi utile în cercetarea socială, la un moment dat. Un exemplu este piețele de predicție, în cazul în care participanții cumpără și contracte comerciale care se bazează pe rezultatele răscumpărabile care au loc în lume (Wolfers and Zitzewitz 2004; Arrow et al. 2008) , (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Piețele prezicerile sunt adesea folosite de către firme și guverne pentru prognoză, iar piețele prezicerea au fost , de asemenea , utilizate de către cercetători sociali pentru a prezice replicabilitatea studii publicate în psihologie (Dreber et al. 2015) , (Dreber et al. 2015) .

Un al doilea exemplu , care nu se încadrează bine în sistemul meu de clasificare este proiectul Polymath, în cazul în care cercetătorii au colaborat folosind bloguri și wiki - uri pentru a dovedi noi teoreme matematice (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Proiectul a polymath este, în unele moduri similare cu Premiul Netflix, dar participanții la proiect Polymath construit mai activ pe soluțiile parțiale ale altora.

Un al treilea exemplu, care nu se încadrează bine în schema de clasificare mea este mobilizări dependentă de timp, cum ar fi Agenția de Apărare avansată Proiecte de Cercetare (DARPA) Rețeaua Challenge (de exemplu, Red balon Challenge). Pentru mai multe detalii cu privire la aceste timp mobilizări sensibile vezi Pickard et al. (2011) , Tang et al. (2011) , și Rutherford et al. (2013) .

• Calculul uman (secțiunea 5.2)

Termenul "calcul uman" iese muncii efectuate de oamenii de știință de calculator, iar intelegerea contextului din spatele acestei cercetări va îmbunătăți capacitatea de a alege problemele care ar putea fi cedat la ea. Pentru anumite sarcini, computerele sunt incredibil de puternice, cu capabilități care depășesc cu mult oameni, chiar de experți. De exemplu, în șah, computerele pot bate chiar și cei mai buni maestri Grand. Dar, și acest lucru este mai puțin apreciată de către oamenii de știință socială pentru alte sarcini, computerele sunt de fapt mult mai rău decât oamenii. Cu alte cuvinte, chiar acum esti mai bine chiar decât cel mai sofisticat computer la anumite sarcini care implică prelucrarea de imagini, video, audio și text. Astfel, așa cum a fost, ilustrat de un minunat XKCD desene animate sunt sarcini care sunt ușor de calculatoare și de greu pentru oameni, dar există și sarcini care sunt greu pentru calculatoare și ușor pentru oameni (Figura 5.13). Oamenii de stiinta de calculator care lucrează pe aceste hard-pentru-calculatoare ușor-pentru-umane sarcini, prin urmare, a dat seama că acestea ar putea include oameni în procesul lor de calcul. Iată cum Luis von Ahn (2005) s-a descris calcul uman atunci când a inventat prima oară termenul în lucrarea sa: "o paradigmă pentru utilizarea puterii de procesare umane pentru a rezolva problemele pe care computerele nu pot încă rezolva."

Figura 5.13: Pentru unele sarcini de calculatoare sunt uimitoare, depășind capacitatea de experți umani. Dar, pentru alte sarcini, oamenii obișnuiți pot depasi sisteme de calculatoare, chiar sofisticate. Probleme la scară largă care implică sarcini care sunt greu pentru calculatoare și ușor pentru om sunt potrivite pentru calcul uman. Utilizat în conformitate cu termenii descriși aici: http://xkcd.com/license.html

Prin această definiție, Foldit-am descris în secțiunea privind apelurile deschise-ar putea fi considerat un proiect de calcul uman. Cu toate acestea, am ales pentru a clasifica Foldit ca un apel deschis deoarece necesită competențe de specialitate și este nevoie de cea mai bună soluție a contribuit, mai degrabă decât folosind un split-aplica-combina strategia.

Pentru un tratament excelent carte lungimea de calcul uman, în sensul cel mai general al termenului, a se vedea Law and Ahn (2011) . Capitolul 3 din Law and Ahn (2011) are o discuție interesantă de pași combină mai complexe decât cele din acest capitol.

Termenul "split-aplica-combine" a fost folosit de Wickham (2011) pentru a descrie o strategie de calcul statistic, dar surprinde perfect procesul multor proiecte de calcul umane. Cele aplica- se combina divizat strategia este similară cu cadrul MapReduce dezvoltat la Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Două proiecte inteligente de calcul umane , care nu am avea spațiu pentru a discuta sunt jocul ESP (Ahn and Dabbish 2004) și reCAPTCHA (Ahn et al. 2008) , (Ahn et al. 2008) . Ambele aceste proiecte au găsit modalități creative de a motiva participanții să furnizeze etichete pe imagini. Cu toate acestea, ambele aceste proiecte a ridicat , de asemenea , probleme etice , deoarece, spre deosebire de Galaxy Zoo, participanții la joc ESP și reCAPTCHA nu au știut modul în care datele lor a fost utilizat (Lung 2012; Zittrain 2008) .

Inspirat de jocul ESP, mulți cercetători au încercat să dezvolte alții "jocuri cu un scop" (Ahn and Dabbish 2008) ( de exemplu, "jocuri de calcul pe bază de om" (Pe-Than, Goh, and Lee 2015) ) , care poate fi folosit pentru a rezolva o varietate de alte probleme. Ceea ce aceste "jocuri cu un scop", au în comun este faptul că ei încearcă să facă sarcinile implicate în calcul umane plăcută. Astfel, în timp ce jocul ESP împarte aceeași split-aplica-combina structura cu Galaxy Zoo, acesta diferă în modul în care sunt participanți motivați-distractiv vs dorinta de a ajuta la știință.

Descrierea mea Galaxy Zoo se bazează pe Nielsen (2012) , Adams (2012) , Clery (2011) , și de Hand (2010) , precum și prezentarea mea a obiectivelor de cercetare ale Galaxy Zoo a fost simplificată. Pentru mai multe detalii despre istoria clasificării galaxiei în astronomie și modul în care Galaxy Zoo continuă această tradiție, vezi Masters (2012) și Marshall, Lintott, and Fletcher (2015) . Bazându -se pe Galaxy Zoo, cercetatorii au completat Galaxy Zoo 2 , care a colectat mai mult de 60 de milioane mai multe clasificări morfologice complexe de la voluntari (Masters et al. 2011) , (Masters et al. 2011) . În plus, au ramificat afară, în probleme în afara galaxiei, inclusiv o morfologie a explora suprafața Lunii, căutând planete, și transcria documente vechi. În prezent, toate proiectele lor sunt colectate la www.zooniverse.org (Cox et al. 2015) , (Cox et al. 2015) . Unul dintre proiectele-Instantaneu Serengeti-dovada că proiectele de clasificare a imaginii de tip Galaxy Zoo poate fi , de asemenea , făcut pentru cercetarea în domeniul mediului (Swanson et al. 2016) .

Pentru cercetătorii intenționează să utilizeze o piață a forței de muncă micro-sarcină ( de exemplu, Amazon Mechanical Turk) pentru un proiect de calcul uman, Chandler, Paolacci, and Mueller (2013) și Wang, Ipeirotis, and Provost (2015) oferă sfaturi bune privind proiectarea sarcinilor și alte aspecte conexe.

Cercetătorii interesați în crearea de ceea ce am numit sisteme de calcul uman a doua generație ( de exemplu, sisteme care utilizează etichete umane pentru a instrui un model de învățare mașină) ar putea fi interesat de Shamir et al. (2014) (pentru un exemplu folosind audio) și Cheng and Bernstein (2015) . De asemenea, aceste proiecte pot fi efectuate cu apeluri deschise, prin care cercetatorii concura pentru a crea modele de învățare cu cea mai mare performanță predictivă. De exemplu, echipa Galaxy Zoo a fugit un apel deschis și a găsit o nouă abordare , care a depășit cea dezvoltată în Banerji et al. (2010) ; a se vedea Dieleman, Willett, and Dambre (2015) pentru detalii.

• Apeluri deschise (secțiunea 5.3)

Apeluri deschise nu sunt noi. De fapt, una dintre cererile deschise cele mai bine cunoscute datează din 1714, când Parlamentul Marii Britanii a creat Premiul pentru oricine care Longitudine ar putea dezvolta o modalitate de a determina longitudinea unei nave pe mare. Problema lovit mulți dintre cei mai mari oameni de știință ai zilelor, inclusiv Isaac Newton, și soluția câștigătoare a fost în cele din urmă a prezentat de un ceasornicar din mediul rural , care a abordat problema în mod diferit de oamenii de știință care s - au axat pe o soluție care ar implica într -un fel de astronomie (Sobel 1996) . Așa cum acest exemplu ilustrează, unul dintre motivele pentru care apelurile deschise sunt gândite să funcționeze atât de bine este faptul că acestea oferă acces la persoane cu diferite perspective și abilități (Boudreau and Lakhani 2013) . A se vedea Hong and Page (2004) și Page (2008) pentru mai mult pe valoarea diversității în rezolvarea problemelor.

Fiecare dintre cazurile de apel deschise în capitolul necesită un pic de explicație suplimentară pentru motivul pentru care aparține în această categorie. În primul rând, o modalitate prin care să se facă distincția între proiectele de apel deschise de calcul uman și este dacă rezultatul este o medie a tuturor soluțiilor (calcul uman) sau cea mai bună soluție (apel deschis). Premiul Netflix este oarecum dificil , în această privință , pentru că cea mai bună soluție s -au dovedit a fi o medie sofisticată de soluții individuale, o soluție numită abordat ansamblu (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Din punctul de vedere al Netflix, cu toate acestea, tot ce trebuiau să facă a fost alege cea mai bună soluție.

În al doilea rând, prin unele definiții de calcul umane ( de exemplu, Von Ahn (2005) ), Foldit ar trebui considerat un proiect de calcul uman. Cu toate acestea, am ales pentru a clasifica Foldit ca un apel deschis deoarece necesită competențe de specialitate și este nevoie de cea mai bună soluție a contribuit, mai degrabă decât folosind un split-aplica-combina strategia.

În cele din urmă, s-ar putea argumenta că Peer-to-brevet este un exemplu de colectare a datelor distribuite. Am ales să-l includă ca un apel deschis, deoarece are o structură concurs similar și sunt folosite doar cele mai bune contribuții (în timp ce cu colectarea de date distribuite, ideea de contribuții bune și rele este mai puțin clar).

Pentru mai multe detalii despre Premiul Netflix, a se vedea Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , și Feuerverger, He, and Khatri (2012) . Pentru mai multe detalii despre Foldit vezi, Cooper et al. (2010) , Andersen et al. (2012) , și Khatib et al. (2011) ; descrierea mea Foldit se bazează pe descrieri în Nielsen (2012) , Bohannon (2009) , și de Hand (2010) . Pentru mai multe detalii despre Peer to-Patent, vezi Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , și Noveck (2009) .

Similar cu rezultatele Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , capitolul 10 rapoarte câștiguri mari în productivitatea inspectorilor de locuințe din New York , atunci când inspecțiile sunt ghidate de modele predictive. În New York City, aceste modele predictive au fost construite de către angajații de oraș, dar în alte cazuri, s -ar putea imagina că acestea ar putea fi create sau îmbunătățite cu apeluri deschise ( de exemplu, Glaeser et al. (2016) , Glaeser et al. (2016) ). Cu toate acestea, o preocupare majoră cu modele predictive utilizate pentru alocarea resurselor este faptul că modelele au potențialul de a consolida prejudecățile existente. Multi cercetatori deja știu "gunoi în, gunoi afară", și cu modele predictive poate fi "părtinire în, prejudecată afară." A se vedea Barocas and Selbst (2016) și O'Neil (2016) pentru mai multe despre pericolele modelelor predictive construite cu date de formare părtinitoare.

O problema care ar putea împiedica guvernele să utilizeze concursuri deschise este că necesită eliberare de date, ceea ce ar putea duce la încălcarea vieții private. Pentru mai multe detalii despre confidențialitate și eliberarea de date în apelurile deschise vezi Narayanan, Huey, and Felten (2016) și discuția din capitolul 6.

• Colectarea de date distribuite (secțiunea 5.4)

Descrierea mea eBird se bazează pe descrierile din Bhattacharjee (2005) și Robbins (2013) . Pentru mai multe detalii despre modul in care cercetatorii folosesc modele statistice pentru a analiza datele eBird a se vedea Hurlbert and Liang (2012) și Fink et al. (2010) . Pentru mai multe detalii despre istoria științei cetățenilor în ornothology, a se vedea Greenwood (2007) .

Pentru mai multe detalii cu privire la revistele Project Malawi, a se vedea Watkins and Swidler (2009) și Kaler, Watkins, and Angotti (2015) . Iar pentru mai mult pe un proiect legat în Africa de Sud, a se vedea Angotti and Sennott (2015) . Pentru mai multe exemple de cercetare , folosind datele din proiect Malawi Reviste vezi Kaler (2004) și Angotti et al. (2014) .

• Proiectarea propriu (secțiunea 5.5)

Abordarea mea de a oferi consultanță de proiectare a fost inductiv, pe baza exemplelor de succes și nu a reușit proiecte de colaborare în masă pe care le-am auzit. Există , de asemenea , un flux de cercetare încearcă să aplice teoriile psihologice sociale mai generale pentru proiectarea comunităților online , care este relevant pentru proiectarea de proiecte de colaborare în masă, a se vedea, de exemplu, Kraut et al. (2012) .

În ceea ce privește participanții de motivare, este de fapt destul de dificil să ne dăm seama exact de ce oamenii participă la proiecte de colaborare în masă (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Dacă aveți de gând să motiveze participanții cu plata pe o piață a muncii de micro-sarcină ( de exemplu, Amazon Mechanical Turk) Kittur et al. (2013) oferă câteva sfaturi.

În ceea ce privește permițându - surpriză, pentru mai multe exemple de descoperiri neașteptate care ies din proiecte Zoouniverse, vezi Marshall, Lintott, and Fletcher (2015) .

In ceea ce priveste a fi etic, unele introduceri generale bune la problemele implicate sunt Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , și Zittrain (2008) . Pentru aspecte legate de problemele juridice cu angajații mulțimii, vezi Felstiner (2011) . O'Connor (2013) se adresează întrebări cu privire la supravegherea etică a cercetării atunci când rolurile cercetătorilor și participanților încețoșa. Pentru probleme legate de schimbul de date protejând în același timp în participats proiecte științifice ale cetățenilor, vezi Bowser et al. (2014) . Ambele Purdam (2014) și Windt and Humphreys (2016) au unele discuții cu privire la aspectele etice în colectarea datelor distribuite. În cele din urmă, cele mai multe proiecte recunosc contribuțiile, dar nu dau credite de autor participanților. În Foldit, jucătorii Foldit sunt adesea ca fiind un autor (Cooper et al. 2010; Khatib et al. 2011) , (Cooper et al. 2010; Khatib et al. 2011) . În alte proiecte de apel deschise, contribuabilul câștigător poate scrie de multe ori un document care descrie soluțiile lor ( de exemplu, Bell, Koren, and Volinsky (2010) și Dieleman, Willett, and Dambre (2015) ). În familia Galaxy Zoo de proiecte, contribuitori in prezent extrem de activi și importanți sunt uneori invitați să fie co-autori pe documente. De exemplu, Ivan Terentev și Tim Matorny, doi participanți Radio Galaxy Zoo din Rusia, au fost co-autori pe unul dintre documentele care au apărut din acel proiect (Banfield et al. 2016; Galaxy Zoo 2016) .