O que ler a seguir
- Introdução (seção 5.1)
A colaboração em massa combina idéias da ciência do cidadão , crowdsourcing e inteligência coletiva . A ciência cidadã geralmente significa envolver “cidadãos” (isto é, não-cientistas) no processo científico; para mais, veja Crain, Cooper, and Dickinson (2014) e Bonney et al. (2014) . O crowdsourcing geralmente significa resolver um problema normalmente resolvido dentro de uma organização e terceirizá-lo para uma multidão; para mais, veja Howe (2009) . Inteligência coletiva geralmente significa grupos de indivíduos agindo coletivamente de maneiras que parecem inteligentes; para mais, ver Malone and Bernstein (2015) . Nielsen (2012) é uma introdução em livro ao poder da colaboração em massa para a pesquisa científica.
Existem muitos tipos de colaboração em massa que não se encaixam perfeitamente nas três categorias que propus, e acho que três delas merecem atenção especial porque podem ser úteis em pesquisa social. Um exemplo são os mercados de previsão, onde os participantes compram e negociam contratos que são resgatáveis com base nos resultados que ocorrem no mundo. A previsão de mercados é frequentemente usada por empresas e governos para previsão, e eles também têm sido usados por pesquisadores sociais para prever a replicabilidade de estudos publicados em psicologia (Dreber et al. 2015) . Para uma visão geral dos mercados de previsão, veja Wolfers and Zitzewitz (2004) e Arrow et al. (2008) .
Um segundo exemplo que não se encaixa bem no meu esquema de categorização é o projeto PolyMath, no qual os pesquisadores colaboraram usando blogs e wikis para provar novos teoremas de matemática. O projeto PolyMath é, de certa forma, semelhante ao Prêmio Netflix, mas neste projeto os participantes construíram mais ativamente as soluções parciais de outros. Para mais informações sobre o projeto PolyMath, veja Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) e Kloumann et al. (2016) .
Um terceiro exemplo que não se encaixa bem no meu esquema de categorização é o de mobilizações dependentes do tempo, como o Desafio de Rede da Agência de Projetos de Pesquisa Avançada em Defesa (DARPA) (isto é, o Desafio do Balão Vermelho). Para mais sobre essas mobilizações sensíveis ao tempo, ver Pickard et al. (2011) , Tang et al. (2011) e Rutherford et al. (2013) .
- Computação Humana (seção 5.2)
O termo “computação humana” vem do trabalho feito por cientistas da computação, e entender o contexto por trás dessa pesquisa melhorará sua capacidade de identificar problemas que possam ser adequados para isso. Para determinadas tarefas, os computadores são incrivelmente poderosos, com capacidades que excedem em muito as dos seres humanos especializados. Por exemplo, no xadrez, os computadores podem vencer até mesmo os melhores grandes mestres. Mas - e isso é menos apreciado pelos cientistas sociais - para outras tarefas, os computadores são realmente muito piores do que as pessoas. Em outras palavras, agora você é melhor do que o computador mais sofisticado em certas tarefas que envolvem o processamento de imagens, vídeo, áudio e texto. Os cientistas da computação que trabalham nessas tarefas difíceis de usar para computadores, fáceis para humanos, perceberam que poderiam incluir seres humanos em seu processo computacional. Eis como Luis von Ahn (2005) descreveu a computação humana quando cunhou o termo em sua dissertação: “um paradigma para utilizar o poder de processamento humano para resolver problemas que os computadores ainda não conseguem resolver.” Para um tratamento extenso da computação humana, em sentido mais geral do termo, ver Law and Ahn (2011) .
De acordo com a definição proposta em Ahn (2005) Foldit - que descrevi na seção sobre chamadas abertas - poderia ser considerado um projeto de computação humana. No entanto, escolho categorizar o Foldit como uma chamada aberta, porque ele exige habilidades especializadas (embora não necessariamente o treinamento formal) e leva a melhor solução contribuída, em vez de usar uma estratégia de combinação de divisão e aplicação.
O termo “split-apply-combine” foi usado por Wickham (2011) para descrever uma estratégia para computação estatística, mas captura perfeitamente o processo de muitos projetos de computação humana. A estratégia de divisão de combinação de aplicação é semelhante à estrutura do MapReduce desenvolvida no Google; para mais sobre MapReduce, veja Dean and Ghemawat (2004) e Dean and Ghemawat (2008) . Para mais informações sobre outras arquiteturas de computação distribuída, veja Vo and Silvia (2016) . O Capítulo 3 de Law and Ahn (2011) apresenta uma discussão de projetos com etapas de combinação mais complexas do que as apresentadas neste capítulo.
Nos projetos de computação humana que discuti no capítulo, os participantes estavam cientes do que estava acontecendo. Alguns outros projetos, no entanto, buscam capturar o “trabalho” que já está acontecendo (semelhante ao eBird) e sem a conscientização dos participantes. Veja, por exemplo, o jogo ESP (Ahn and Dabbish 2004) e reCAPTCHA (Ahn et al. 2008) . No entanto, ambos os projetos também levantam questões éticas porque os participantes não sabiam como seus dados estavam sendo usados (Zittrain 2008; Lung 2012) .
Inspirados no ESP Game, muitos pesquisadores tentaram desenvolver outros “jogos com um propósito” (Ahn and Dabbish 2008) (ie, “jogos de computação baseados em humanos” (Pe-Than, Goh, and Lee 2015) ) que podem ser usado para resolver uma variedade de outros problemas. O que esses "jogos com um propósito" têm em comum é que eles tentam tornar agradáveis as tarefas envolvidas na computação humana. Assim, enquanto o ESP Game compartilha a mesma estrutura de divisão e aplicação combinada com o Galaxy Zoo, ele difere na forma como os participantes são motivados - diversão versus desejo de ajudar a ciência. Para mais sobre jogos com um propósito, veja Ahn and Dabbish (2008) .
Minha descrição do Galaxy Zoo baseia-se em Nielsen (2012) , Adams (2012) , Clery (2011) e Hand (2010) , e minha apresentação dos objetivos de pesquisa do Galaxy Zoo foi simplificada. Para mais informações sobre a história da classificação de galáxias na astronomia e como o Galaxy Zoo continua essa tradição, veja Masters (2012) e Marshall, Lintott, and Fletcher (2015) . Com base no Galaxy Zoo, os pesquisadores completaram o Galaxy Zoo 2, que coletou mais de 60 milhões de classificações morfológicas mais complexas de voluntários (Masters et al. 2011) . Além disso, eles se ramificaram em problemas fora da morfologia da galáxia, incluindo a exploração da superfície da Lua, a busca de planetas e a transcrição de documentos antigos. Atualmente, todos os seus projetos são coletados no site da Zooniverse (Cox et al. 2015) . Um dos projetos - o Snapshot Serengeti - fornece evidências de que projetos de classificação de imagens do Galaxy Zoo também podem ser feitos para pesquisas ambientais (Swanson et al. 2016) .
Para os pesquisadores que planejam usar um mercado de trabalho microtarefa (por exemplo, Amazon Mechanical Turk) para um projeto de computação humana, Chandler, Paolacci, and Mueller (2013) e J. Wang, Ipeirotis, and Provost (2015) oferecem bons conselhos sobre projeto de tarefas e outras questões relacionadas. Porter, Verdery, and Gaddis (2016) oferecem exemplos e conselhos focados especificamente nos usos dos mercados de trabalho de microtarefas para o que eles chamam de “aumento de dados”. A linha entre aumento de dados e coleta de dados é um pouco embaçada. Para mais informações sobre coleta e uso de rótulos para aprendizado supervisionado para texto, consulte Grimmer and Stewart (2013) .
Pesquisadores interessados em criar o que chamei de sistemas de computação humana assistidos por computador (por exemplo, sistemas que usam rótulos humanos para treinar um modelo de aprendizado de máquina) podem estar interessados em Shamir et al. (2014) (para um exemplo usando áudio) e Cheng and Bernstein (2015) . Além disso, os modelos de aprendizado de máquina nesses projetos podem ser solicitados com chamadas abertas, em que os pesquisadores competem para criar modelos de aprendizado de máquina com o maior desempenho preditivo. Por exemplo, a equipe do Galaxy Zoo fez uma chamada aberta e encontrou uma nova abordagem que superou a desenvolvida em Banerji et al. (2010) ; veja Dieleman, Willett, and Dambre (2015) para detalhes.
- Abrir chamadas (secção 5.3)
Chamadas abertas não são novas. De fato, uma das chamadas abertas mais conhecidas data de 1714, quando o Parlamento britânico criou o Prêmio Longitude para qualquer pessoa que pudesse desenvolver uma maneira de determinar a longitude de um navio no mar. O problema deixou muitos dos maiores cientistas da época, incluindo Isaac Newton, e a solução vencedora foi finalmente apresentada por John Harrison, relojoeiro do interior que abordou o problema de maneira diferente dos cientistas que estavam focados em uma solução que de alguma forma envolvesse astronomia. ; para mais informações, ver Sobel (1996) . Como esse exemplo ilustra, uma das razões pelas quais as chamadas abertas funcionam tão bem é que elas fornecem acesso a pessoas com diferentes perspectivas e habilidades (Boudreau and Lakhani 2013) . Veja Hong and Page (2004) e Page (2008) para mais sobre o valor da diversidade na resolução de problemas.
Cada um dos casos de chamadas abertas no capítulo requer um pouco mais de explicação para o motivo de pertencer a essa categoria. Primeiro, uma maneira de distinguir entre computação humana e projetos de chamada aberta é se a saída é uma média de todas as soluções (computação humana) ou a melhor solução (chamada aberta). O Prêmio Netflix é um tanto complicado nesse quesito porque a melhor solução acabou sendo uma média sofisticada de soluções individuais, uma abordagem chamada solução de conjunto (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Do ponto de vista da Netflix, no entanto, tudo o que eles precisavam fazer era escolher a melhor solução. Para mais informações sobre o Prêmio Netflix, ver Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) e Feuerverger, He, and Khatri (2012) .
Segundo, por algumas definições de computação humana (por exemplo, Ahn (2005) ), Foldit deve ser considerado um projeto de computação humana. No entanto, opto por categorizá-lo como uma chamada aberta porque requer habilidades especializadas (embora não necessariamente treinamento especializado) e leva a melhor solução, em vez de usar uma estratégia de divisão de combinação de aplicar. Para mais informações sobre Foldit, ver Cooper et al. (2010) , Khatib et al. (2011) e Andersen et al. (2012) ; minha descrição de Foldit baseia-se em descrições em Bohannon (2009) , Hand (2010) e Nielsen (2012) .
Finalmente, pode-se argumentar que Peer-to-Patent é um exemplo de coleta de dados distribuídos. Eu escolho incluí-lo como uma chamada aberta porque ele tem uma estrutura de concurso e apenas as melhores contribuições são usadas, enquanto que com a coleta de dados distribuídos, a idéia de boas e más contribuições é menos clara. Para mais sobre Peer-to-Patent, ver Noveck (2006) , Ledford (2007) , Noveck (2009) e Bestor and Hamp (2010) .
Em termos de utilização de chamadas abertas em pesquisa social, resultados semelhantes aos de Glaeser et al. (2016) , são relatados no capítulo 10 de Mayer-Schönberger and Cukier (2013) que a cidade de Nova York foi capaz de usar a modelagem preditiva para produzir grandes ganhos na produtividade dos inspetores de habitação. Na cidade de Nova York, esses modelos preditivos foram construídos por funcionários municipais, mas em outros casos, pode-se imaginar que eles poderiam ser criados ou melhorados com chamadas abertas (por exemplo, Glaeser et al. (2016) ). No entanto, uma grande preocupação com modelos preditivos sendo usados para alocar recursos é que esses modelos têm o potencial de reforçar os vieses existentes. Muitos pesquisadores já sabem “lixo, lixo” e, com modelos preditivos, pode ser “parcialidade”. Veja Barocas and Selbst (2016) e O'Neil (2016) para saber mais sobre os perigos dos modelos preditivos construídos. com dados de treinamento tendenciosos.
Um problema que pode impedir os governos de usar concursos abertos é que isso exige a liberação de dados, o que pode levar a violações de privacidade. Para mais informações sobre privacidade e liberação de dados em chamadas abertas, consulte Narayanan, Huey, and Felten (2016) e a discussão no capítulo 6.
Para mais informações sobre as diferenças e semelhanças entre previsão e explicação, ver Breiman (2001) , Shmueli (2010) , Watts (2014) e Kleinberg et al. (2015) . Para mais informações sobre o papel da previsão na pesquisa social, ver Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) e Yarkoni and Westfall (2017) .
Para uma revisão de projetos de chamada aberta em biologia, incluindo consultoria em design, ver Saez-Rodriguez et al. (2016) .
- Coleta de dados distribuída (seção 5.4)
Minha descrição do eBird baseia-se em descrições em Bhattacharjee (2005) , Robbins (2013) e Sullivan et al. (2014) . Para mais informações sobre como os pesquisadores usam modelos estatísticos para analisar dados do eBird, veja Fink et al. (2010) e Hurlbert and Liang (2012) . Para mais informações sobre a estimativa da habilidade dos participantes do eBird, veja Kelling, Johnston, et al. (2015) . Para mais informações sobre a história da ciência cidadã na ornitologia, ver Greenwood (2007) .
Para mais informações sobre o Malawi Journals Project, veja Watkins and Swidler (2009) e Kaler, Watkins, and Angotti (2015) . Para mais informações sobre um projeto relacionado na África do Sul, veja Angotti and Sennott (2015) . Para mais exemplos de pesquisas usando dados do Malawi Journals Project, ver Kaler (2004) e Angotti et al. (2014) .
- Projetando seus próprios (seção 5.5)
Minha abordagem de oferecer consultoria em design foi indutiva, baseada nos exemplos de projetos de colaboração em massa bem-sucedidos e fracassados de que já ouvi falar. Também tem havido uma série de tentativas de pesquisa para aplicar teorias psicológicas sociais mais gerais ao projeto de comunidades on-line que sejam relevantes para o projeto de projetos de colaboração em massa, ver, por exemplo, Kraut et al. (2012) .
Em relação aos participantes motivadores, é realmente complicado descobrir exatamente por que as pessoas participam de projetos de colaboração em massa (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Se você pretende motivar os participantes com pagamento em um mercado de trabalho microtarefa (por exemplo, Amazon Mechanical Turk), Kittur et al. (2013) oferece alguns conselhos.
Em relação à ativação da surpresa, para mais exemplos de descobertas inesperadas provenientes de projetos do Zooiverse, ver Marshall, Lintott, and Fletcher (2015) .
Em relação a ser ético, algumas boas introduções gerais às questões envolvidas são Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , e Zittrain (2008) . Para questões relacionadas especificamente a questões legais com funcionários de multidões, consulte Felstiner (2011) . O'Connor (2013) aborda questões sobre a supervisão ética da pesquisa quando os papéis de pesquisadores e participantes se confundem. Para questões relacionadas ao compartilhamento de dados, protegendo os participantes em projetos de ciência cidadã, ver Bowser et al. (2014) . Tanto Purdam (2014) quanto Windt and Humphreys (2016) têm alguma discussão sobre as questões éticas na coleta de dados distribuídos. Finalmente, a maioria dos projetos reconhece contribuições, mas não dá crédito de autoria aos participantes. Em Foldit, os jogadores são frequentemente listados como autores (Cooper et al. 2010; Khatib et al. 2011) . Em outros projetos abertos, o colaborador vencedor pode escrever um artigo descrevendo suas soluções (por exemplo, Bell, Koren, and Volinsky (2010) e Dieleman, Willett, and Dambre (2015) ).
