Que lire ensuite
- Introduction (section 5.1)
La collaboration de masse mélange des idées de la science citoyenne , du crowdsourcing et de l' intelligence collective . La science citoyenne implique généralement d'impliquer des «citoyens» (c'est-à-dire des non-scientifiques) dans le processus scientifique; Pour plus d'informations, voir Crain, Cooper, and Dickinson (2014) et Bonney et al. (2014) . Le crowdsourcing consiste généralement à prendre un problème habituellement résolu au sein d'une organisation et à le sous-traiter à une foule; pour plus d'informations, voir Howe (2009) . L'intelligence collective signifie généralement des groupes d'individus agissant collectivement d'une manière qui semble intelligente; pour en savoir plus, voir Malone and Bernstein (2015) . Nielsen (2012) est une introduction au pouvoir de la collaboration de masse pour la recherche scientifique.
Il existe de nombreux types de collaboration de masse qui ne rentrent pas parfaitement dans les trois catégories que j'ai proposées, et je pense que trois d'entre elles méritent une attention particulière car elles pourraient être utiles dans la recherche sociale. Un exemple est celui des marchés de prédiction, où les participants achètent et négocient des contrats qui sont remboursables en fonction des résultats obtenus dans le monde. Les marchés prédictifs sont souvent utilisés par les entreprises et les gouvernements pour la prévision, et ils ont également été utilisés par les chercheurs en sciences sociales pour prédire la reproductibilité des études publiées en psychologie (Dreber et al. 2015) . Pour un aperçu des marchés de prédiction, voir Wolfers and Zitzewitz (2004) et Arrow et al. (2008) .
Un deuxième exemple qui ne cadre pas bien avec mon schéma de catégorisation est le projet PolyMath, où les chercheurs ont collaboré en utilisant des blogs et des wikis pour prouver de nouveaux théorèmes mathématiques. Le projet PolyMath est à certains égards similaire au Prix Netflix, mais dans ce projet, les participants se sont plus activement appuyés sur les solutions partielles des autres. Pour plus d'informations sur le projet PolyMath, voir Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) et Kloumann et al. (2016) .
Un troisième exemple qui ne cadre pas bien avec mon système de catégorisation est celui des mobilisations dépendant du temps telles que le Défi de réseau de l'Agence des projets de recherche avancée de la Défense (DARPA) (le défi du ballon rouge). Pour plus d'informations sur ces mobilisations sensibles au temps, voir Pickard et al. (2011) , Tang et al. (2011) , et Rutherford et al. (2013) .
- Calcul humain (section 5.2)
Le terme «calcul humain» vient du travail effectué par des informaticiens, et la compréhension du contexte derrière cette recherche améliorera votre capacité à identifier les problèmes qui pourraient vous convenir. Pour certaines tâches, les ordinateurs sont incroyablement puissants, avec des capacités dépassant de loin celles des humains experts. Par exemple, aux échecs, les ordinateurs peuvent battre même les meilleurs grands maîtres. Mais - et cela est moins bien apprécié par les spécialistes des sciences sociales - pour d'autres tâches, les ordinateurs sont en réalité bien pires que les gens. En d'autres termes, en ce moment vous êtes mieux que même l'ordinateur le plus sophistiqué à certaines tâches impliquant le traitement des images, vidéo, audio et texte. Les informaticiens travaillant sur ces tâches difficiles pour l'ordinateur et faciles à manipuler ont donc compris qu'ils pouvaient inclure les humains dans leur processus de calcul. Voici comment Luis von Ahn (2005) décrit le calcul humain lorsqu'il a inventé le terme dans sa dissertation: «un paradigme pour utiliser le pouvoir de calcul humain pour résoudre des problèmes que les ordinateurs ne peuvent pas résoudre.» Pour un traitement du calcul humain, le sens le plus général du terme, voir Law and Ahn (2011) .
Selon la définition proposée dans Ahn (2005) Foldit - que j'ai décrit dans la section sur les appels ouverts - pourrait être considéré comme un projet de calcul humain. Cependant, je choisis de classer Foldit comme un appel ouvert parce qu'il nécessite des compétences spécialisées (mais pas nécessairement une formation formelle) et qu'il prend la meilleure solution, plutôt que d'utiliser une stratégie de split-apply-combine.
Le terme «split-apply-combine» a été utilisé par Wickham (2011) pour décrire une stratégie de calcul statistique, mais il capture parfaitement le processus de nombreux projets de calcul humain. La stratégie split-apply-combine est similaire à la structure MapReduce développée chez Google; pour plus d'informations sur MapReduce, voir Dean and Ghemawat (2004) et Dean and Ghemawat (2008) . Pour plus d'informations sur les autres architectures de calcul distribué, voir Vo and Silvia (2016) . Le chapitre 3 de Law and Ahn (2011) traite des projets comportant des étapes combinées plus complexes que ceux de ce chapitre.
Dans les projets de calcul humain dont j'ai parlé dans le chapitre, les participants étaient conscients de ce qui se passait. Certains autres projets, cependant, cherchent à capturer le «travail» qui est déjà en cours (similaire à eBird) et sans la sensibilisation des participants. Voir, par exemple, le jeu ESP (Ahn and Dabbish 2004) et reCAPTCHA (Ahn et al. 2008) . Cependant, ces deux projets soulèvent également des questions éthiques parce que les participants ne savaient pas comment leurs données étaient utilisées (Zittrain 2008; Lung 2012) .
Inspiré par le jeu ESP, de nombreux chercheurs ont tenté de développer d'autres «jeux avec un but» (Ahn and Dabbish 2008) (ie, «jeux de calcul basés sur l'homme» (Pe-Than, Goh, and Lee 2015) ) qui peuvent être utilisé pour résoudre une variété d'autres problèmes. Ce que ces "jeux ayant un but" ont en commun, c'est qu'ils essaient de rendre les tâches impliquées dans le calcul humain agréables. Ainsi, alors que le jeu ESP partage la même structure split-apply-combine avec Galaxy Zoo, il diffère dans la façon dont les participants sont motivés - amusant vs désir d'aider la science. Pour en savoir plus sur les jeux ayant un but, voir Ahn and Dabbish (2008) .
Ma description de Galaxy Zoo s'inspire de Nielsen (2012) , Adams (2012) , Clery (2011) et Hand (2010) , et ma présentation des objectifs de recherche de Galaxy Zoo a été simplifiée. Pour en savoir plus sur l'histoire de la classification des galaxies en astronomie et comment Galaxy Zoo poursuit cette tradition, voir Masters (2012) et Marshall, Lintott, and Fletcher (2015) . S'appuyant sur le zoo Galaxy, les chercheurs ont complété Galaxy Zoo 2, qui a recueilli plus de 60 millions de classifications morphologiques plus complexes auprès de bénévoles (Masters et al. 2011) . En outre, ils se sont ramifiés dans des problèmes en dehors de la morphologie des galaxies, y compris l'exploration de la surface de la Lune, la recherche de planètes et la transcription de documents anciens. Actuellement, tous leurs projets sont collectés sur le site de Zooniverse (Cox et al. 2015) . L'un des projets - Snapshot Serengeti - prouve que des projets de classification d'images de type Zoo Zoo peuvent également être réalisés pour la recherche environnementale (Swanson et al. 2016) .
Chandler, Paolacci, and Mueller (2013) et J. Wang, Ipeirotis, and Provost (2015) offrent de bons conseils pour la conception de tâches autres questions connexes. Porter, Verdery, and Gaddis (2016) offrent des exemples et des conseils axés spécifiquement sur les utilisations des marchés du travail par microtask pour ce qu'ils appellent «l'augmentation des données». La frontière entre l'augmentation des données et la collecte de données est plutôt floue. Pour en savoir plus sur la collecte et l'utilisation d'étiquettes pour l'apprentissage supervisé du texte, voir Grimmer and Stewart (2013) .
Les chercheurs intéressés à créer ce que j'ai appelé les systèmes de calcul humain assistés par ordinateur (par exemple, les systèmes qui utilisent des étiquettes humaines pour former un modèle d'apprentissage automatique) pourraient être intéressés par Shamir et al. (2014) (pour un exemple utilisant l'audio) et Cheng and Bernstein (2015) . De plus, les modèles d'apprentissage automatique de ces projets peuvent être sollicités par des appels ouverts, dans le cadre desquels les chercheurs se font concurrence pour créer des modèles d'apprentissage automatique ayant les meilleures performances prédictives. Par exemple, l'équipe de Galaxy Zoo a lancé un appel ouvert et trouvé une nouvelle approche qui surpassait celle développée dans Banerji et al. (2010) ; voir Dieleman, Willett, and Dambre (2015) pour plus de détails.
- Appels ouverts (section 5.3)
Les appels ouverts ne sont pas nouveaux. En fait, l'un des appels ouverts les plus connus remonte à 1714, lorsque le Parlement britannique a créé le Prix de la Longitude pour quiconque pourrait trouver un moyen de déterminer la longitude d'un navire en mer. Le problème a renversé plusieurs des plus grands scientifiques de l'époque, y compris Isaac Newton, et la solution gagnante a finalement été soumise par John Harrison, un horloger de la campagne qui a abordé le problème différemment des scientifiques centrés sur une solution impliquant l'astronomie. ; Pour plus d'informations, voir Sobel (1996) . Comme l'illustre cet exemple, l'une des raisons pour lesquelles les appels ouverts fonctionnent si bien est qu'ils donnent accès à des personnes ayant des perspectives et des compétences différentes (Boudreau and Lakhani 2013) . Voir Hong and Page (2004) et Page (2008) pour plus d'informations sur la valeur de la diversité dans la résolution de problèmes.
Chacun des cas d'appels ouverts dans le chapitre nécessite un peu plus d'explications pour expliquer pourquoi il appartient à cette catégorie. Tout d'abord, une façon de distinguer entre les projets de calcul humain et d'appel ouvert est de savoir si la sortie est une moyenne de toutes les solutions (calcul humain) ou de la meilleure solution (appel ouvert). Le prix Netflix est quelque peu délicat à cet égard car la meilleure solution s'est avérée être une moyenne sophistiquée de solutions individuelles, une approche appelée une solution d'ensemble (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Du point de vue de Netflix, cependant, tout ce qu'ils avaient à faire était de choisir la meilleure solution. Pour en savoir plus sur le Prix Netflix, voir Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , et Feuerverger, He, and Khatri (2012) .
Deuxièmement, selon certaines définitions du calcul humain (par exemple, Ahn (2005) ), Foldit devrait être considéré comme un projet de calcul humain. Cependant, je choisis de le catégoriser comme un appel ouvert parce qu'il nécessite des compétences spécialisées (mais pas forcément une formation spécialisée) et qu'il prend la meilleure solution, plutôt que d'utiliser une stratégie de division-application-combinaison. Pour plus d'informations sur Foldit, voir Cooper et al. (2010) , Khatib et al. (2011) , et Andersen et al. (2012) ; Ma description de Foldit s'appuie sur les descriptions de Bohannon (2009) , Hand (2010) et Nielsen (2012) .
Enfin, on pourrait soutenir que Peer-to-Patent est un exemple de collecte de données distribuées. J'ai choisi de l'inclure comme un appel ouvert parce qu'il a une structure de type concours et que seules les meilleures contributions sont utilisées, alors qu'avec la collecte de données distribuée, l'idée de bonnes et de mauvaises contributions est moins claire. Pour en savoir plus sur Peer-to-Patent, voir Noveck (2006) , Ledford (2007) , Noveck (2009) et Bestor and Hamp (2010) .
En termes d'utilisation des appels ouverts dans la recherche sociale, des résultats similaires à ceux de Glaeser et al. (2016) , sont rapportés dans le chapitre 10 de Mayer-Schönberger and Cukier (2013) où la ville de New York a pu utiliser la modélisation prédictive pour produire des gains importants dans la productivité des inspecteurs du logement. À New York, ces modèles prédictifs ont été construits par des employés de la ville, mais dans d'autres cas, on pourrait imaginer qu'ils pourraient être créés ou améliorés avec des appels ouverts (par exemple, Glaeser et al. (2016) ). Cependant, une préoccupation majeure avec les modèles prédictifs utilisés pour allouer des ressources est que ces modèles ont le potentiel de renforcer les biais existants. De nombreux chercheurs connaissent déjà «les déchets, les déchets» et avec les modèles prédictifs, ils peuvent être « Barocas and Selbst (2016) ». Voir Barocas and Selbst (2016) et O'Neil (2016) pour en savoir plus sur les dangers des modèles prédictifs construits. avec des données d'entraînement biaisées.
Un problème qui pourrait empêcher les gouvernements d'utiliser des concours ouverts est que cela nécessite la publication de données, ce qui pourrait conduire à des violations de la vie privée. Pour en savoir plus sur la confidentialité et la diffusion des données dans les appels ouverts, voir Narayanan, Huey, and Felten (2016) et la discussion au chapitre 6.
Pour plus d'informations sur les différences et les similitudes entre la prédiction et l'explication, voir Breiman (2001) , Shmueli (2010) , Watts (2014) et Kleinberg et al. (2015) . Pour plus d'informations sur le rôle de la prédiction dans la recherche sociale, voir Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , et Yarkoni and Westfall (2017) .
Pour un examen des projets d'appels d'offres ouverts en biologie, y compris les conseils de conception, voir Saez-Rodriguez et al. (2016) .
- Collecte de données distribuée (section 5.4)
Ma description d'eBird s'appuie sur les descriptions de Bhattacharjee (2005) , Robbins (2013) et Sullivan et al. (2014) . Pour plus d'informations sur la manière dont les chercheurs utilisent des modèles statistiques pour analyser les données eBird, voir Fink et al. (2010) et Hurlbert and Liang (2012) . Pour plus d'informations sur l'estimation des compétences des participants à eBird, voir Kelling, Johnston, et al. (2015) . Pour plus d'informations sur l'histoire de la science citoyenne en ornithologie, voir Greenwood (2007) .
Pour plus d'informations sur le Malawi Journals Project, voir Watkins and Swidler (2009) et Kaler, Watkins, and Angotti (2015) . Pour plus d'informations sur un projet connexe en Afrique du Sud, voir Angotti and Sennott (2015) . Pour plus d'exemples de recherches utilisant les données du Malawi Journals Project, voir Kaler (2004) et Angotti et al. (2014) .
- Concevoir le vôtre (section 5.5)
Mon approche pour offrir des conseils de conception était inductive, basée sur les exemples de projets de collaboration de masse réussis et échoués dont j'ai entendu parler. Il y a également eu un certain nombre de tentatives de recherche pour appliquer des théories psychologiques sociales plus générales à la conception de communautés en ligne qui sont pertinentes pour la conception de projets de collaboration de masse, voir, par exemple, Kraut et al. (2012) .
En ce qui concerne les participants motivants, il est assez difficile de comprendre exactement pourquoi les gens participent à des projets de collaboration de masse (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Si vous envisagez de motiver les participants avec un paiement sur un marché du travail microtask (par exemple, Amazon Mechanical Turk), Kittur et al. (2013) offre quelques conseils.
En ce qui concerne la possibilité de surprise, pour plus d'exemples de découvertes inattendues provenant de projets Zooiverse, voir Marshall, Lintott, and Fletcher (2015) .
En ce qui concerne l'éthique, quelques bonnes introductions générales sur les questions impliquées sont Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) et Zittrain (2008) . Pour les questions spécifiquement liées aux problèmes juridiques avec les employés de la foule, voir Felstiner (2011) . O'Connor (2013) aborde des questions sur la surveillance éthique de la recherche lorsque les rôles des chercheurs et des participants se brouillent. Pour les questions liées au partage de données tout en protégeant les participants aux projets scientifiques citoyens, voir Bowser et al. (2014) . Purdam (2014) et Windt and Humphreys (2016) discutent des problèmes éthiques liés à la collecte de données distribuées. Enfin, la plupart des projets reconnaissent les contributions, mais n'accordent pas de crédit aux auteurs. Dans Foldit, les joueurs sont souvent listés en tant qu'auteur (Cooper et al. 2010; Khatib et al. 2011) . Dans d'autres projets d'appels ouverts, le contributeur gagnant peut souvent écrire un document décrivant ses solutions (par exemple, Bell, Koren, and Volinsky (2010) et Dieleman, Willett, and Dambre (2015) ).
