ulteriore commento
Questa sezione è progettato per essere utilizzato come riferimento, piuttosto che essere letta come una narrazione.
- Introduzione (paragrafo 5.1)
Collaborazione di massa fonde le idee della scienza cittadino, crowdsourcing, e l'intelligenza collettiva. Scienza Cittadino di solito significa coinvolgere "cittadini" (vale a dire, non scienziati) nel processo scientifico (Crain, Cooper, and Dickinson 2014) . Crowdsourcing di solito significa prendere un problema di solito risolto all'interno di un'organizzazione e, invece di outsourcing ad una folla (Howe 2009) . Intelligenza collettiva significa solitamente gruppi di individui che agiscono collettivamente in modi che sembrano intelligenti (Malone and Bernstein 2015) . Nielsen (2012) è una bella introduzione libro-in potere di collaborazione di massa per la ricerca scientifica.
Ci sono molti tipi di collaborazione di massa che non rientrano esattamente nelle tre categorie che ho proposto, e penso che tre meritano particolare attenzione perché potrebbero essere utili nella ricerca sociale a un certo punto. Un esempio è mercati di previsione, dove i partecipanti acquistano e contratti commerciali che si basano rimborsabili sui risultati che si verificano nel mondo (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Mercati predittivi sono spesso utilizzati da aziende e governi per la previsione e mercati previsione sono stati utilizzati anche dai ricercatori sociali per prevedere la replicabilità degli studi pubblicati in psicologia (Dreber et al. 2015) .
Un secondo esempio che non si adatta bene nel mio schema di categorizzazione è il progetto eclettico, dove i ricercatori hanno collaborato con i blog e wiki per provare nuovi teoremi matematici (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Il progetto Polymath è in qualche modo simile al Premio Netflix, ma i partecipanti al progetto POLYMATH più attivamente costruita sulle soluzioni parziali degli altri.
Un terzo esempio che non si adatta bene nel mio schema di categorizzazione è mobilitazioni dipendenti dal tempo, come la Defense Advanced Research Projects Agency (DARPA) Network Challenge (vale a dire, la Red Balloon Challenge). Per ulteriori informazioni su questi tempi mobilitazioni sensibili vedono Pickard et al. (2011) , Tang et al. (2011) , e Rutherford et al. (2013) .
- Computazione umana (Sezione 5.2)
Il termine "calcolo umano" esce del lavoro svolto dagli scienziati informatici, e comprendere il contesto alla base di questa ricerca permetterà di migliorare la vostra capacità di individuare i problemi che potrebbero essere suscettibili di esso. Per alcuni compiti, i computer sono incredibilmente potenti con funzionalità di gran lunga superiori a esseri umani, anche di esperti. Ad esempio, negli scacchi, i computer possono battere anche i migliori grandi maestri. Ma, e questo è meno apprezzato dagli scienziati sociali-per altri compiti, i computer sono in realtà molto peggio di persone. In altre parole, in questo momento si sta meglio di quanto anche i più sofisticati computer a determinati compiti che comportano l'elaborazione di immagini, video, audio e testo. Così, come è stato illustrato da un meraviglioso XKCD cartone animato ci sono compiti che sono facili per i computer e difficile per le persone, ma ci sono anche le attività che sono difficili per i computer e facile per le persone (Figura 5.13). Gli informatici che lavorano su questi hard-per-computer-facile-per-umane attività, di conseguenza, si resero conto che avrebbero potuto includere gli esseri umani nel loro processo computazionale. Ecco come Luis von Ahn (2005) ha descritto il calcolo umano quando coniò per primo il termine nella sua tesi di laurea: ". Un paradigma per l'utilizzo potenza di elaborazione umana per risolvere i problemi che i computer non sono ancora in grado di risolvere"
Figura 5.13: Per alcune attività di computer sono sorprendenti, superando la capacità di esperti umani. Ma, per altri compiti, gli esseri umani ordinari possono superare anche sofisticati sistemi di computer. problemi su larga scala che implicano compiti che sono difficili per i computer e facile per gli esseri umani sono particolarmente adatti per il calcolo umano. Utilizzato secondo le modalità descritte qui: http://xkcd.com/license.html
Con questa definizione Foldit-che ho descritto nella sezione relativa aperte le chiamate potrebbe essere considerato un progetto di calcolo umano. Tuttavia, ho scelto di classificare Foldit come un invito aperto perché richiede competenze specializzate e ci vuole la migliore soluzione ha contribuito piuttosto che utilizzare una frazione di applicare-combinare strategia.
Per un ottimo trattamento lunghezza libro della computazione umana, nel senso più generale del termine, vedi Law and Ahn (2011) . Capitolo 3 della Law and Ahn (2011) ha un interessante discussione di passi combinare più complesse rispetto a quelle in questo capitolo.
Il termine "split-applica-combine" è stato utilizzato da Wickham (2011) per descrivere una strategia per il calcolo statistico, ma cattura perfettamente il processo di molti progetti di calcolo umano. Il-apply-combinare spaccatura strategia è simile al quadro MapReduce sviluppata presso Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Due intelligenti progetti di calcolo umane che non ho avuto spazio per discutere sono il gioco ESP (Ahn and Dabbish 2004) e reCAPTCHA (Ahn et al. 2008) . Entrambi questi progetti hanno trovato modi creativi per motivare i partecipanti a fornire le etichette sulle immagini. Tuttavia, entrambi questi progetti sollevato anche questioni di carattere etico, perché, a differenza di Galaxy Zoo, i partecipanti al gioco ESP e reCAPTCHA non sapevano come i loro dati è stato utilizzato (Lung 2012; Zittrain 2008) .
Ispirato dalla ESP gioco, molti ricercatori hanno cercato di sviluppare altri "giochi con uno scopo" (Ahn and Dabbish 2008) (vale a dire, "giochi di calcolo umano-based" (Pe-Than, Goh, and Lee 2015) ), che può essere utilizzato per risolvere una varietà di altri problemi. Ciò che questi "giochi con uno scopo" hanno in comune è che essi cercano di fare i compiti coinvolti nel calcolo umano piacevole. Così, mentre l'ESP gioco condivide lo stesso split-applicare-combinare struttura con Galaxy Zoo, si differenzia nel modo in cui i partecipanti sono motivati-fun vs. desiderio di aiutare la scienza.
La mia descrizione di Galaxy Zoo si basa su Nielsen (2012) , Adams (2012) , Clery (2011) , e la Hand (2010) , e la mia presentazione degli obiettivi di ricerca di Galaxy Zoo è stato semplificato. Per maggiori informazioni sulla storia della classificazione Galaxy in astronomia e come Galaxy Zoo continua questa tradizione, vedere Masters (2012) e Marshall, Lintott, and Fletcher (2015) . Basandosi su Galaxy Zoo, i ricercatori hanno completato Galaxy Zoo 2, che ha raccolto più di 60 milioni in più classificazioni morfologici complessi da volontari (Masters et al. 2011) . Inoltre, essi ramificata in problemi al di fuori della morfologia galassia tra cui esplorare la superficie della luna, alla ricerca di pianeti, e trascrivere vecchi documenti. Attualmente, tutti i loro progetti sono raccolti in www.zooniverse.org (Cox et al. 2015) . Uno dei progetti-Snapshot Serengeti-fornisce la prova che Galaxy Zoo di tipo progetti di classificazione di immagini può essere effettuata anche per la ricerca ambientale (Swanson et al. 2016) .
Per i ricercatori prevede di utilizzare un mercato del lavoro di micro-attività (ad esempio, Amazon Mechanical Turk) per un progetto di calcolo umano, Chandler, Paolacci, and Mueller (2013) e Wang, Ipeirotis, and Provost (2015) offrono buoni consigli sulla progettazione delle applicazioni e altre questioni connesse.
I ricercatori interessati a creare quello che ho chiamato i sistemi di calcolo umano di seconda generazione (ad esempio, i sistemi che utilizzano etichette umani per formare un modello di apprendimento automatico) potrebbero essere interessati a Shamir et al. (2014) (per un esempio di utilizzo audio) e Cheng and Bernstein (2015) . Inoltre, questi progetti può essere fatto con inviti aperti, per cui i ricercatori competono per creare modelli di apprendimento automatico con il massimo delle prestazioni predittiva. Ad esempio, il team di Galaxy Zoo ha pubblicato un invito aperto e ha trovato un nuovo approccio che ha superato quello sviluppato in Banerji et al. (2010) ; vedi Dieleman, Willett, and Dambre (2015) per i dettagli.
- Inviti aperti (paragrafo 5.3)
inviti aperti non sono nuovi. In effetti, uno dei più noti inviti aperti risale al 1714 quando il Parlamento britannico ha creato il Premio Longitudine per tutti coloro che potrebbero sviluppare un modo per determinare la longitudine di una nave in mare. Il problema perplesso molti dei più grandi scienziati dei giorni, tra cui Isaac Newton, e la soluzione vincente è stata infine presentata da un orologiaio dalla campagna che ha affrontato il problema in modo diverso da scienziati che si sono concentrate su una soluzione che in qualche modo coinvolgere l'astronomia (Sobel 1996) . Come questo esempio illustra, uno dei motivi che inviti aperti sono pensati per funzionare così bene è che forniscono l'accesso alle persone con diverse prospettive e competenze (Boudreau and Lakhani 2013) . Vedere Hong and Page (2004) e Page (2008) per più del valore della diversità nella soluzione dei problemi.
Ognuno dei casi di chiamata aperti nel capitolo richiede un po 'di ulteriore spiegazione del motivo per cui essa appartiene a questa categoria. In primo luogo, in un modo che io distinguo tra il calcolo umano e progetti di invito aperto è se l'uscita è una media di tutte le soluzioni (calcolo umano) oppure la soluzione migliore (invito aperto). Il Premio Netflix è un po 'difficile in questo senso, perché la soluzione migliore si è rivelata una media sofisticata di soluzioni individuali, un Avvicinato chiamato una soluzione insieme (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Dal punto di vista di Netflix, però, tutto quello che dovevano fare era scegliere la soluzione migliore.
In secondo luogo, alcune definizioni di computazione umana (per esempio, Von Ahn (2005) ), Foldit deve essere considerato un progetto di computazione umana. Tuttavia, ho scelto di classificare Foldit come un invito aperto perché richiede competenze specializzate e ci vuole la migliore soluzione ha contribuito, invece di usare una frazione di applicare-combinare strategia.
Infine, si potrebbe sostenere che peer-to-Patent è un esempio di raccolta di dati distribuiti. Ho scelto di includerlo come un invito aperto perché ha una struttura di gara-like e solo i migliori contributi sono utilizzati (mentre con la raccolta dei dati distribuita, l'idea di contributi buoni e cattivi è meno chiara).
Per maggiori informazioni sul Premio Netflix, vedere Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , e Feuerverger, He, and Khatri (2012) . Per ulteriori informazioni su Foldit vedere, Cooper et al. (2010) , Andersen et al. (2012) , e Khatib et al. (2011) ; la mia descrizione di Foldit si basa su descrizioni a Nielsen (2012) , Bohannon (2009) , e la Hand (2010) . Per maggiori informazioni sul peer-to-Patent, vedere Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , e Noveck (2009) .
Simili risultati di Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , capitolo 10 rapporti grandi guadagni nella produttività degli ispettori delle case a New York in occasione dei controlli sono guidati da modelli predittivi. A New York, questi modelli predittivi sono stati costruiti da dipendenti comunali, ma in altri casi, si potrebbe immaginare che possano essere creati o migliorati con inviti aperti (ad esempio, Glaeser et al. (2016) ). Tuttavia, una delle principali preoccupazioni con modelli predittivi utilizzati per allocare le risorse è che i modelli hanno il potenziale per rafforzare i pregiudizi esistenti. Molti ricercatori sanno già "garbage in, garbage out", e con modelli predittivi che possono essere "bias, pregiudizi fuori." Vedere Barocas and Selbst (2016) e O'Neil (2016) per ulteriori informazioni sui pericoli di modelli predittivi costruiti con i dati di allenamento polarizzati.
Un problema che potrebbe impedire ai governi di utilizzare gara aperta è che richiede il rilascio dei dati, il che potrebbe portare a violazioni della privacy. Per informazioni sulla privacy e il rilascio dei dati a inviti aperti vedono Narayanan, Huey, and Felten (2016) e la discussione nel capitolo 6.
- Distribuita la raccolta dei dati (sezione 5.4)
La mia descrizione di eBird si basa su descrizioni in Bhattacharjee (2005) e Robbins (2013) . Per ulteriori informazioni su come i ricercatori utilizzano modelli statistici per analizzare i dati eBird vedere Hurlbert and Liang (2012) e Fink et al. (2010) . Per maggiori informazioni sulla storia della scienza cittadino in ornothology, vedere Greenwood (2007) .
Per maggiori informazioni sul Journals Project Malawi, vedere Watkins and Swidler (2009) e Kaler, Watkins, and Angotti (2015) . E per di più su un progetto collegato in Sud Africa, vedere Angotti and Sennott (2015) . Per ulteriori esempi di ricerca utilizzando i dati del Project Malawi Riviste vedere Kaler (2004) e Angotti et al. (2014) .
- Progettare il proprio (Sezione 5.5)
Il mio approccio ad offrire consulenza di progettazione era induttiva, sulla base degli esempi di successo e non è riuscito progetti di collaborazione di massa che ho sentito parlare. C'è anche un filone di ricerca tenta di applicare le teorie psicologiche sociali più generali alla progettazione di comunità online che è rilevante per la progettazione di progetti di collaborazione di massa, vedi, per esempio, Kraut et al. (2012) .
Per quanto riguarda i partecipanti motivare, in realtà è abbastanza difficile da capire esattamente il motivo per cui le persone partecipano a progetti di collaborazione di massa (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Se si prevede di motivare i partecipanti con il pagamento su un mercato del lavoro di micro-attività (ad esempio, Amazon Mechanical Turk) Kittur et al. (2013) offre alcuni consigli.
Per quanto riguarda consentendo sorpresa, per altri esempi di scoperte inattese provenienti da progetti zooniverse, vedere Marshall, Lintott, and Fletcher (2015) .
Per quanto riguarda essere etico, alcune buone introduzioni generali ai problemi coinvolti sono Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , e Zittrain (2008) . Per questioni, specificamente legate a problemi legali con dipendenti folla, vedere Felstiner (2011) . O'Connor (2013) affronta domande su supervisione etica della ricerca, quando i ruoli dei ricercatori e dei partecipanti sfocatura. Per le questioni relative alla condivisione dei dati, proteggendo partecipò ai progetti scientifici cittadini, vedi Bowser et al. (2014) . Entrambi Purdam (2014) e Windt and Humphreys (2016) hanno una discussione sui problemi etici nella raccolta di dati distribuiti. Infine, la maggior parte dei progetti riconoscono i contributi, ma non danno credito paternità ai partecipanti. In Foldit, i giocatori Foldit sono spesso indicate come un autore (Cooper et al. 2010; Khatib et al. 2011) . In altri progetti di chiamata aperta, il contribuente vincendo spesso può scrivere un documento che descrive le loro soluzioni (ad esempio, Bell, Koren, and Volinsky (2010) e Dieleman, Willett, and Dambre (2015) ). Nella famiglia Galaxy Zoo di progetti, collaboratori estremamente attivi ed importanti a volte sono invitati a essere co-autori su carte. Ad esempio, Ivan Terentev e Tim Matorny, due partecipanti Galaxy Zoo Radio dalla Russia, sono stati co-autori di uno dei giornali che sono sorte da quel progetto (Banfield et al. 2016; Galaxy Zoo 2016) .
