Cosa leggere dopo

• Introduzione (sezione 5.1)

La collaborazione di massa unisce idee di scienza dei cittadini , crowdsourcing e intelligenza collettiva . La scienza dei cittadini di solito significa coinvolgere i "cittadini" (cioè i non scienziati) nel processo scientifico; per di più, vedi Crain, Cooper, and Dickinson (2014) e Bonney et al. (2014) . Crowdsourcing di solito significa prendere un problema risolto ordinariamente all'interno di un'organizzazione e invece esternalizzarlo a una folla; per di più, vedi Howe (2009) . L'intelligenza collettiva di solito significa gruppi di individui che agiscono collettivamente in modi che sembrano intelligenti; per di più, vedi Malone and Bernstein (2015) . Nielsen (2012) è un'introduzione al potere della collaborazione di massa per la ricerca scientifica.

Esistono molti tipi di collaborazione di massa che non si adattano perfettamente alle tre categorie che ho proposto e penso che tre di questi meritino un'attenzione speciale perché potrebbero essere utili nella ricerca sociale. Un esempio sono i mercati di previsione, in cui i partecipanti acquistano e negoziano contratti che sono riscattabili in base ai risultati che si verificano nel mondo. I mercati di previsione sono spesso utilizzati dalle aziende e dai governi per le previsioni e sono stati anche utilizzati dai ricercatori sociali per prevedere la replicabilità degli studi pubblicati in psicologia (Dreber et al. 2015) . Per una panoramica dei mercati di previsione, vedi Wolfers and Zitzewitz (2004) e Arrow et al. (2008) .

Un secondo esempio che non si adatta bene al mio schema di categorizzazione è il progetto PolyMath, in cui i ricercatori hanno collaborato usando blog e wiki per dimostrare nuovi teoremi matematici. Il progetto PolyMath è in qualche modo simile al Netflix Prize, ma in questo progetto i partecipanti si basano più attivamente sulle soluzioni parziali di altri. Per ulteriori informazioni sul progetto PolyMath, vedere Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) e Kloumann et al. (2016) .

Un terzo esempio che non si adatta bene al mio schema di categorizzazione è quello delle mobilitazioni dipendenti dal tempo come la Defense Network Advanced Defense Research Agency (DARPA) Challenge (ovvero la Red Balloon Challenge). Per ulteriori informazioni su queste mobilitazioni sensibili al tempo, vedi Pickard et al. (2011) , Tang et al. (2011) , e Rutherford et al. (2013) .

• Calcolo umano (sezione 5.2)

Il termine "computazione umana" deriva dal lavoro svolto dagli informatici, e capire il contesto alla base di questa ricerca migliorerà la tua capacità di individuare i problemi che potrebbero essere adatti a questo. Per alcuni compiti, i computer sono incredibilmente potenti, con capacità ben superiori a quelle degli umani esperti. Ad esempio, negli scacchi, i computer possono battere anche i migliori maestri. Ma - e questo è meno apprezzato dai sociologi - per altri compiti, i computer sono in realtà molto peggio delle persone. In altre parole, in questo momento sei migliore persino del computer più sofisticato in determinati compiti che implicano l'elaborazione di immagini, video, audio e testo. Gli informatici che lavoravano su questi compiti difficili per i computer, facili per l'uomo, si resero conto che potevano includere gli umani nel loro processo computazionale. Ecco come Luis von Ahn (2005) descrisse il calcolo umano quando per la prima volta coniò il termine nella sua dissertazione: "un paradigma per utilizzare la potenza di elaborazione umana per risolvere problemi che i computer non possono ancora risolvere". Per un trattamento a lunghezza di libro del calcolo umano, in il senso più generale del termine, vedi Law and Ahn (2011) .

Secondo la definizione proposta in Ahn (2005) Foldit - che ho descritto nella sezione sulle chiamate aperte - potrebbe essere considerato un progetto di calcolo umano. Tuttavia, scelgo di classificare Foldit come una chiamata aperta perché richiede competenze specialistiche (anche se non necessariamente una formazione formale) e richiede la migliore soluzione fornita, piuttosto che usare una strategia di combinazione split-apply-combine.

Il termine "split-apply-combine" è stato usato da Wickham (2011) per descrivere una strategia per il calcolo statistico, ma cattura perfettamente il processo di molti progetti di computazione umana. La strategia split-apply-combine è simile al framework MapReduce sviluppato su Google; per ulteriori informazioni su MapReduce, vedere Dean and Ghemawat (2004) e Dean and Ghemawat (2008) . Per ulteriori informazioni su altre architetture di calcolo distribuito, vedere Vo and Silvia (2016) . Il Capitolo 3 di Law and Ahn (2011) ha una discussione di progetti con fasi di combinazione più complesse rispetto a quelle di questo capitolo.

Nei progetti di computazione umana di cui ho discusso nel capitolo, i partecipanti erano consapevoli di ciò che stava accadendo. Alcuni altri progetti, tuttavia, cercano di catturare "lavoro" che sta già accadendo (simile a eBird) e senza consapevolezza dei partecipanti. Vedi, ad esempio, il gioco ESP (Ahn and Dabbish 2004) e reCAPTCHA (Ahn et al. 2008) . Tuttavia, entrambi questi progetti sollevano anche questioni etiche perché i partecipanti non sapevano come venivano utilizzati i loro dati (Zittrain 2008; Lung 2012) .

Ispirato al gioco ESP, molti ricercatori hanno tentato di sviluppare altri "giochi con uno scopo" (Ahn and Dabbish 2008) (cioè "giochi di calcolo basati sull'uomo" (Pe-Than, Goh, and Lee 2015) ) che possono essere usato per risolvere una varietà di altri problemi. Ciò che questi "giochi con uno scopo" hanno in comune è che cercano di rendere piacevoli le attività coinvolte nel calcolo umano. Pertanto, mentre il gioco ESP condivide la stessa struttura split-apply-combine con Galaxy Zoo, differisce nel modo in cui i partecipanti sono motivati: divertimento rispetto al desiderio di aiutare la scienza. Per ulteriori informazioni sui giochi con uno scopo, vedere Ahn and Dabbish (2008) .

La mia descrizione di Galaxy Zoo si basa su Nielsen (2012) , Adams (2012) , Clery (2011) e Hand (2010) , e la mia presentazione degli obiettivi di ricerca di Galaxy Zoo è stata semplificata. Per ulteriori informazioni sulla storia della classificazione delle galassie in astronomia e su come Galaxy Zoo continua questa tradizione, vedere Masters (2012) e Marshall, Lintott, and Fletcher (2015) . Basandosi sullo Galaxy Zoo, i ricercatori hanno completato Galaxy Zoo 2 che ha raccolto oltre 60 milioni di classificazioni morfologiche più complesse da parte di volontari (Masters et al. 2011) . Inoltre, si sono ramificati in problemi al di fuori della morfologia della galassia, tra cui l'esplorazione della superficie della Luna, la ricerca di pianeti e la trascrizione di vecchi documenti. Attualmente, tutti i loro progetti sono raccolti sul sito web di Zooniverse (Cox et al. 2015) . Uno dei progetti, Snapshot Serengeti, fornisce la prova che i progetti di classificazione delle immagini del tipo Galaxy Zoo possono essere fatti anche per la ricerca ambientale (Swanson et al. 2016) .

Per i ricercatori che intendono utilizzare un mercato del lavoro di microtask (ad esempio Amazon Mechanical Turk) per un progetto di computazione umana, Chandler, Paolacci, and Mueller (2013) e J. Wang, Ipeirotis, and Provost (2015) offrono buoni consigli sulla progettazione delle attività e altre questioni correlate. Porter, Verdery, and Gaddis (2016) offrono esempi e consigli incentrati specificamente sull'utilizzo dei mercati del lavoro delle microprotee per quello che chiamano "aumento dei dati". La linea tra l'aumento dei dati e la raccolta dei dati è alquanto sfocata. Per ulteriori informazioni sulla raccolta e l'utilizzo di etichette per l'apprendimento supervisionato per il testo, consultare Grimmer and Stewart (2013) .

I ricercatori interessati a creare quelli che ho chiamato sistemi di calcolo umano assistito da computer (ad esempio, sistemi che utilizzano etichette umane per addestrare un modello di apprendimento automatico) potrebbero essere interessati a Shamir et al. (2014) (per un esempio usando l'audio) e Cheng and Bernstein (2015) . Inoltre, i modelli di apprendimento automatico in questi progetti possono essere sollecitati con chiamate aperte, in cui i ricercatori competono per creare modelli di apprendimento automatico con le migliori prestazioni predittive. Ad esempio, il team Galaxy Zoo ha effettuato una chiamata aperta e ha trovato un nuovo approccio che ha sovraperformato quello sviluppato in Banerji et al. (2010) ; vedi Dieleman, Willett, and Dambre (2015) per i dettagli.

• Chiamate aperte (sezione 5.3)

Le chiamate aperte non sono nuove. Infatti, una delle chiamate aperte più conosciute risale al 1714 quando il Parlamento britannico creò il Premio di longitudine per chiunque potesse sviluppare un modo per determinare la longitudine di una nave in mare. Il problema ha confuso molti dei più grandi scienziati di quei giorni, tra cui Isaac Newton, e la soluzione vincente è stata alla fine presentata da John Harrison, un orologiaio di campagna che ha affrontato il problema in modo diverso dagli scienziati che si sono concentrati su una soluzione che avrebbe in qualche modo coinvolto l'astronomia ; per ulteriori informazioni, vedere Sobel (1996) . Come illustrato in questo esempio, una delle ragioni per cui si ritiene che le chiamate aperte funzionino così bene è che forniscono accesso a persone con diverse prospettive e competenze (Boudreau and Lakhani 2013) . Vedi Hong and Page (2004) e Page (2008) per maggiori informazioni sul valore della diversità nella risoluzione dei problemi.

Ciascuno dei casi di chiamata aperti nel capitolo richiede un po 'di ulteriori spiegazioni sul perché appartiene a questa categoria. Innanzitutto, un modo in cui distinguo tra calcolo umano e progetti open call è se l'output è una media di tutte le soluzioni (calcolo umano) o la soluzione migliore (chiamata aperta). Il Netflix Prize è alquanto complicato in questo senso perché la soluzione migliore si è rivelata una media sofisticata di soluzioni individuali, un approccio chiamato soluzione d'insieme (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Dal punto di vista di Netflix, tuttavia, tutto ciò che dovevano fare era scegliere la soluzione migliore. Per ulteriori informazioni sul Premio Netflix, vedi Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , e Feuerverger, He, and Khatri (2012) .

Secondo, con alcune definizioni del calcolo umano (ad esempio, Ahn (2005) ), Foldit dovrebbe essere considerato un progetto di calcolo umano. Tuttavia, scelgo di classificarlo come una chiamata aperta perché richiede competenze specialistiche (anche se non necessariamente una formazione specializzata) e prende la soluzione migliore, piuttosto che usare una strategia di combinazione split-apply-combine. Per ulteriori informazioni su Foldit, consultare Cooper et al. (2010) , Khatib et al. (2011) , e Andersen et al. (2012) ; La mia descrizione di Foldit si basa sulle descrizioni di Bohannon (2009) , Hand (2010) e Nielsen (2012) .

Infine, si potrebbe sostenere che Peer-to-Patent è un esempio di raccolta di dati distribuiti. Ho scelto di includerlo come open call perché ha una struttura simile a un concorso e vengono utilizzati solo i migliori contributi, mentre con la raccolta di dati distribuiti, l'idea di contributi positivi e negativi è meno chiara. Per ulteriori informazioni su Peer-to-Patent, vedere Noveck (2006) , Ledford (2007) , Noveck (2009) e Bestor and Hamp (2010) .

In termini di utilizzo di chiamate aperte nella ricerca sociale, risultati simili a quelli di Glaeser et al. (2016) , sono riportati nel capitolo 10 di Mayer-Schönberger and Cukier (2013) cui New York City è stata in grado di utilizzare la modellazione predittiva per produrre grandi guadagni nella produttività degli ispettori degli alloggi. A New York, questi modelli predittivi sono stati costruiti dai dipendenti della città, ma in altri casi, si potrebbe immaginare che potrebbero essere creati o migliorati con chiamate aperte (ad esempio, Glaeser et al. (2016) ). Tuttavia, una delle principali preoccupazioni dei modelli predittivi utilizzati per allocare le risorse è che questi modelli hanno il potenziale per rafforzare i pregiudizi esistenti. Molti ricercatori già conoscono "spazzatura, spazzatura" e con modelli predittivi possono essere "inclinati, distorti". Vedi Barocas and Selbst (2016) e O'Neil (2016) per saperne di più sui pericoli dei modelli predittivi costruiti con dati di allenamento distorti.

Un problema che potrebbe impedire ai governi di utilizzare i concorsi aperti è che ciò richiede il rilascio dei dati, che potrebbe portare a violazioni della privacy. Per ulteriori informazioni sulla privacy e sul rilascio dei dati nelle chiamate aperte, vedere Narayanan, Huey, and Felten (2016) e la discussione nel capitolo 6.

Per ulteriori informazioni sulle differenze e le somiglianze tra previsione e spiegazione, vedere Breiman (2001) , Shmueli (2010) , Watts (2014) e Kleinberg et al. (2015) . Per ulteriori informazioni sul ruolo della predizione nella ricerca sociale, vedi Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , e Yarkoni and Westfall (2017) .

Per una rassegna dei progetti di open call in biologia, compresi i consigli di progettazione, vedi Saez-Rodriguez et al. (2016) .

• Raccolta dati distribuita (sezione 5.4)

La mia descrizione di eBird si basa sulle descrizioni di Bhattacharjee (2005) , Robbins (2013) e Sullivan et al. (2014) . Per ulteriori informazioni su come i ricercatori utilizzano modelli statistici per analizzare i dati di eBird, vedi Fink et al. (2010) e Hurlbert and Liang (2012) . Per ulteriori informazioni sulla stima dell'abilità dei partecipanti eBird, consultare Kelling, Johnston, et al. (2015) . Per ulteriori informazioni sulla storia della scienza dei cittadini in ornitologia, vedi Greenwood (2007) .

Per ulteriori informazioni sul Malawi Journals Project, vedere Watkins and Swidler (2009) e Kaler, Watkins, and Angotti (2015) . Per ulteriori informazioni su un progetto correlato in Sudafrica, vedi Angotti and Sennott (2015) . Per ulteriori esempi di ricerca usando i dati del Malawi Journals Project vedi Kaler (2004) e Angotti et al. (2014) .

• Progettare il proprio (sezione 5.5)

Il mio approccio all'offerta di consigli di design è stato induttivo, basato sugli esempi di progetti di collaborazione di massa riusciti e falliti di cui ho sentito parlare. C'è stato anche un flusso di tentativi di ricerca per applicare teorie psicologiche sociali più generali alla progettazione di comunità online che siano rilevanti per la progettazione di progetti di collaborazione di massa, vedi, per esempio, Kraut et al. (2012) .

Per quanto riguarda i partecipanti motivanti, è piuttosto difficile capire esattamente perché le persone partecipano a progetti di collaborazione di massa (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Se si prevede di motivare i partecipanti con il pagamento su un mercato del lavoro di microtask (ad es. Amazon Mechanical Turk), Kittur et al. (2013) offre alcuni consigli.

Per quanto riguarda l'abilitazione a sorpresa, per ulteriori esempi di scoperte inaspettate che escono dai progetti di Zooiverse, vedi Marshall, Lintott, and Fletcher (2015) .

Per quanto riguarda l'etica, alcune buone introduzioni generali ai problemi coinvolti sono Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) e Zittrain (2008) . Per problemi specifici relativi a problemi legali con i dipendenti della folla, vedere Felstiner (2011) . O'Connor (2013) affronta domande sulla supervisione etica della ricerca quando i ruoli di ricercatori e partecipanti si confondono. Per le questioni relative alla condivisione dei dati proteggendo i partecipanti ai progetti di scienze dei cittadini, vedi Bowser et al. (2014) . Sia Purdam (2014) che Windt and Humphreys (2016) hanno qualche discussione sulle questioni etiche nella raccolta di dati distribuiti. Infine, la maggior parte dei progetti riconosce i contributi ma non attribuisce il merito di autore ai partecipanti. In Foldit, i giocatori sono spesso elencati come autori (Cooper et al. 2010; Khatib et al. 2011) . In altri progetti di open call, il contributore vincitore può spesso scrivere un articolo che descrive le loro soluzioni (ad esempio, Bell, Koren, and Volinsky (2010) e Dieleman, Willett, and Dambre (2015) ).