Qué leer a continuación
- Introducción (sección 5.1)
La colaboración masiva combina ideas de la ciencia ciudadana , el crowdsourcing y la inteligencia colectiva . La ciencia ciudadana generalmente implica involucrar a "ciudadanos" (es decir, no científicos) en el proceso científico; para más, ver Crain, Cooper, and Dickinson (2014) y Bonney et al. (2014) . Crowdsourcing generalmente significa tomar un problema ordinariamente resuelto dentro de una organización y en su lugar externalizarlo a una multitud; para más, ver Howe (2009) . La inteligencia colectiva generalmente significa grupos de individuos que actúan colectivamente de maneras que parecen inteligentes; para más, ver Malone and Bernstein (2015) . Nielsen (2012) es una introducción de un libro al poder de la colaboración masiva para la investigación científica.
Hay muchos tipos de colaboración masiva que no encajan perfectamente en las tres categorías que he propuesto, y creo que tres de ellas merecen atención especial porque podrían ser útiles en la investigación social. Un ejemplo son los mercados de predicción, donde los participantes compran y negocian contratos que se pueden canjear en función de los resultados que se producen en el mundo. Las empresas y los gobiernos predicen a menudo los mercados predictivos para la predicción, y también los investigadores sociales los han utilizado para predecir la replicabilidad de los estudios publicados en psicología (Dreber et al. 2015) . Para una descripción general de los mercados de predicción, ver Wolfers and Zitzewitz (2004) y Arrow et al. (2008)
Un segundo ejemplo que no encaja bien en mi esquema de categorización es el proyecto PolyMath, donde los investigadores colaboraron usando blogs y wikis para probar nuevos teoremas matemáticos. El proyecto PolyMath es en cierto modo similar al Premio Netflix, pero en este proyecto los participantes se basaron más activamente en las soluciones parciales de los demás. Para más información sobre el proyecto PolyMath, ver Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) y Kloumann et al. (2016) .
Un tercer ejemplo que no encaja bien en mi esquema de categorización es el de las movilizaciones dependientes del tiempo, como el Desafío de la Red de la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) (es decir, el Desafío del Globo Rojo). Para más sobre estas movilizaciones sensibles al tiempo, ver Pickard et al. (2011) , Tang et al. (2011) y Rutherford et al. (2013) .
- Cómputo humano (sección 5.2)
El término "computación humana" proviene del trabajo realizado por científicos informáticos, y la comprensión del contexto detrás de esta investigación mejorará su capacidad para detectar los problemas que podrían ser adecuados para ello. Para ciertas tareas, las computadoras son increíblemente poderosas, con capacidades muy superiores a las de incluso los humanos expertos. Por ejemplo, en el ajedrez, las computadoras pueden vencer incluso a los mejores grandes maestros. Pero -y esto es menos apreciado por los científicos sociales- para otras tareas, las computadoras en realidad son mucho peores que las personas. En otras palabras, en este momento es mejor que incluso la computadora más sofisticada en ciertas tareas que implican el procesamiento de imágenes, video, audio y texto. Los informáticos que trabajan en estas tareas difíciles de computar para humanos se dieron cuenta de que podían incluir a los humanos en su proceso computacional. Así es como Luis von Ahn (2005) describió la computación humana cuando acuñó el término en su disertación: "un paradigma para utilizar el poder de procesamiento humano para resolver problemas que las computadoras no pueden resolver". Para un tratamiento de cómputo humano, en el sentido más general del término, ver Law and Ahn (2011) .
De acuerdo con la definición propuesta en Ahn (2005) Foldit, que describí en la sección sobre llamadas abiertas, podría considerarse un proyecto de computación humana. Sin embargo, elijo clasificar a Foldit como una llamada abierta porque requiere habilidades especializadas (aunque no necesariamente una capacitación formal) y toma la mejor solución aportada, en lugar de utilizar una estrategia de aplicar y combinar por separado.
El término "split-apply-combine" fue utilizado por Wickham (2011) para describir una estrategia de computación estadística, pero captura perfectamente el proceso de muchos proyectos de computación humana. La estrategia split-apply-combine es similar al framework MapReduce desarrollado en Google; para más información sobre MapReduce, ver Dean and Ghemawat (2004) y Dean and Ghemawat (2008) . Para más información sobre otras arquitecturas de computación distribuida, ver Vo and Silvia (2016) . El Capítulo 3 de Law and Ahn (2011) presenta una discusión de proyectos con pasos combinados más complejos que los de este capítulo.
En los proyectos de computación humana que he discutido en el capítulo, los participantes fueron conscientes de lo que estaba sucediendo. Sin embargo, algunos otros proyectos buscan capturar el "trabajo" que ya está sucediendo (similar a eBird) y sin conocimiento de los participantes. Véase, por ejemplo, el juego ESP (Ahn and Dabbish 2004) y reCAPTCHA (Ahn et al. 2008) . Sin embargo, ambos proyectos también plantean cuestiones éticas porque los participantes no sabían cómo se usaban sus datos (Zittrain 2008; Lung 2012) .
Inspirados en el juego ESP, muchos investigadores han intentado desarrollar otros "juegos con un propósito" (Ahn and Dabbish 2008) (es decir, "juegos de computación basados en el ser humano" (Pe-Than, Goh, and Lee 2015) ) que pueden ser Solía resolver una variedad de otros problemas. Lo que estos "juegos con un propósito" tienen en común es que intentan que las tareas involucradas en el cálculo humano sean agradables. Por lo tanto, aunque el juego ESP comparte la misma estructura de combinación de aplicación y división con Galaxy Zoo, difiere en la motivación de los participantes: diversión versus deseo de ayudar a la ciencia. Para más información sobre juegos con un propósito, vea Ahn and Dabbish (2008) .
Mi descripción de Galaxy Zoo se basa en Nielsen (2012) , Adams (2012) , Clery (2011) y Hand (2010) , y mi presentación de los objetivos de investigación de Galaxy Zoo se simplificó. Para obtener más información sobre la historia de la clasificación de galaxias en astronomía y cómo Galaxy Zoo continúa con esta tradición, vea Masters (2012) y Marshall, Lintott, and Fletcher (2015) . Sobre la base de Galaxy Zoo, los investigadores completaron Galaxy Zoo 2, que recolectó más de 60 millones de clasificaciones morfológicas más complejas de voluntarios (Masters et al. 2011) . Además, se ramificaron en problemas fuera de la morfología de las galaxias, incluida la exploración de la superficie de la Luna, la búsqueda de planetas y la transcripción de documentos antiguos. Actualmente, todos sus proyectos se recopilan en el sitio web de Zooniverse (Cox et al. 2015) . Uno de los proyectos, Snapshot Serengeti, proporciona evidencia de que los proyectos de clasificación de imágenes tipo Galaxy Zoo también se pueden realizar para la investigación ambiental (Swanson et al. 2016) .
Para los investigadores que planean utilizar un mercado de trabajo de microtask (por ejemplo, Amazon Mechanical Turk) para un proyecto de computación humana, Chandler, Paolacci, and Mueller (2013) y J. Wang, Ipeirotis, and Provost (2015) ofrecen buenos consejos sobre diseño de tareas y otros temas relacionados. Porter, Verdery, and Gaddis (2016) ofrecen ejemplos y consejos enfocados específicamente en los usos de los mercados laborales de microtask para lo que llaman "aumento de datos". La línea entre el aumento de datos y la recopilación de datos es algo borrosa. Para obtener más información sobre la recopilación y el uso de etiquetas para el aprendizaje supervisado de texto, ver Grimmer and Stewart (2013) .
Los investigadores interesados en crear lo que he denominado sistemas de computación humanos asistidos por computadora (por ejemplo, sistemas que usan etiquetas humanas para entrenar un modelo de aprendizaje automático) podrían estar interesados en Shamir et al. (2014) (para un ejemplo usando audio) y Cheng and Bernstein (2015) . Además, los modelos de aprendizaje automático en estos proyectos se pueden solicitar con llamadas abiertas, donde los investigadores compiten para crear modelos de aprendizaje automático con el mayor rendimiento predictivo. Por ejemplo, el equipo de Galaxy Zoo realizó una llamada abierta y encontró un nuevo enfoque que superó al desarrollado en Banerji et al. (2010) ; ver Dieleman, Willett, and Dambre (2015) para más detalles.
- Llamadas abiertas (sección 5.3)
Las llamadas abiertas no son nuevas. De hecho, una de las llamadas abiertas más conocidas data de 1714, cuando el Parlamento de Gran Bretaña creó el Premio de Longitud para cualquiera que pudiera desarrollar una forma de determinar la longitud de un barco en el mar. El problema dejó perplejos a muchos de los mejores científicos de la época, incluido Isaac Newton, y la solución ganadora fue finalmente presentada por John Harrison, un relojero del campo que abordaba el problema de forma diferente a los científicos que se centraban en una solución que implicaría astronomía ; para más información, ver Sobel (1996) . Como se ilustra en este ejemplo, una de las razones por las que se cree que las llamadas abiertas funcionan tan bien es que brindan acceso a personas con diferentes perspectivas y habilidades (Boudreau and Lakhani 2013) . Consulte Hong and Page (2004) y Page (2008) para obtener más información sobre el valor de la diversidad en la resolución de problemas.
Cada uno de los casos de llamada abierta en el capítulo requiere un poco de explicación adicional de por qué pertenece a esta categoría. En primer lugar, una de las maneras en que distingo entre computación humana y proyectos de convocatoria abierta es si la salida es un promedio de todas las soluciones (computación humana) o la mejor solución (llamada abierta). El Premio Netflix es algo complicado en este aspecto porque la mejor solución resultó ser un promedio sofisticado de soluciones individuales, un enfoque llamado solución de conjunto (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Desde la perspectiva de Netflix, sin embargo, todo lo que tenían que hacer era elegir la mejor solución. Para obtener más información sobre el Premio Netflix, ver Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , y Feuerverger, He, and Khatri (2012) .
En segundo lugar, según algunas definiciones de computación humana (p. Ej., Ahn (2005) ), Foldit debería considerarse un proyecto de computación humano. Sin embargo, elijo categorizarlo como una llamada abierta porque requiere habilidades especializadas (aunque no necesariamente capacitación especializada) y toma la mejor solución, en lugar de utilizar una estrategia de aplicar y combinar por separado. Para más información sobre Foldit, ver, Cooper et al. (2010) , Khatib et al. (2011) y Andersen et al. (2012) ; mi descripción de Foldit se basa en las descripciones de Bohannon (2009) , Hand (2010) y Nielsen (2012) .
Finalmente, se podría argumentar que Peer-to-Patent es un ejemplo de recopilación de datos distribuidos. Elijo incluirlo como una llamada abierta porque tiene una estructura similar a un concurso y solo se utilizan las mejores contribuciones, mientras que con la recopilación de datos distribuidos, la idea de las contribuciones buenas y malas es menos clara. Para obtener más información sobre el programa Peer-to-Patent, consulte Noveck (2006) , Ledford (2007) , Noveck (2009) y Bestor and Hamp (2010) .
En términos de uso de llamadas abiertas en investigación social, resultados similares a los de Glaeser et al. (2016) , se informa en el capítulo 10 de Mayer-Schönberger and Cukier (2013) donde la ciudad de Nueva York pudo usar modelos predictivos para producir grandes ganancias en la productividad de los inspectores de viviendas. En la ciudad de Nueva York, estos modelos predictivos fueron construidos por empleados municipales, pero en otros casos, uno podría imaginarse que podrían crearse o mejorarse con llamadas abiertas (por ejemplo, Glaeser et al. (2016) ). Sin embargo, una preocupación importante con los modelos predictivos que se utilizan para asignar recursos es que estos modelos tienen el potencial de reforzar los sesgos existentes. Muchos investigadores ya saben "basura adentro, basura afuera", y con modelos predictivos puede ser "parcial, sesgada". Ver Barocas and Selbst (2016) y O'Neil (2016) para más información sobre los peligros de los modelos predictivos construidos. con datos de entrenamiento sesgados
Un problema que podría evitar que los gobiernos usen concursos abiertos es que esto requiere la divulgación de datos, lo que podría conducir a violaciones de privacidad. Para obtener más información sobre la privacidad y el lanzamiento de datos en las llamadas abiertas, consulte Narayanan, Huey, and Felten (2016) y la discusión en el capítulo 6.
Para más información sobre las diferencias y similitudes entre la predicción y la explicación, ver Breiman (2001) , Shmueli (2010) , Watts (2014) y Kleinberg et al. (2015) . Para más información sobre el papel de la predicción en la investigación social, ver Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , y Yarkoni and Westfall (2017) .
Para una revisión de proyectos de convocatoria abierta en biología, incluido el asesoramiento de diseño, ver Saez-Rodriguez et al. (2016) .
- Recopilación de datos distribuidos (sección 5.4)
Mi descripción de eBird se basa en las descripciones de Bhattacharjee (2005) , Robbins (2013) y Sullivan et al. (2014) . Para más información sobre cómo los investigadores usan modelos estadísticos para analizar los datos de eBird, ver Fink et al. (2010) y Hurlbert and Liang (2012) . Para más información sobre la estimación de la habilidad de los participantes de eBird, ver Kelling, Johnston, et al. (2015) . Para más información sobre la historia de la ciencia ciudadana en ornitología, ver Greenwood (2007) .
Para más información sobre el Proyecto de Revistas de Malawi, ver Watkins and Swidler (2009) y Kaler, Watkins, and Angotti (2015) . Para más información sobre un proyecto relacionado en Sudáfrica, ver Angotti and Sennott (2015) . Para obtener más ejemplos de investigaciones que usan datos del Proyecto de Revistas de Malawi, ver Kaler (2004) y Angotti et al. (2014) .
- Diseñando tu propio (sección 5.5)
Mi enfoque para ofrecer consejos de diseño fue inductivo, basado en los ejemplos de proyectos de colaboración masiva exitosos y fallidos de los que he oído hablar. También ha habido una corriente de intentos de investigación para aplicar teorías psicológicas sociales más generales para diseñar comunidades en línea que sean relevantes para el diseño de proyectos de colaboración masiva, ver, por ejemplo, Kraut et al. (2012)
Con respecto a los participantes motivadores, en realidad es bastante complicado determinar exactamente por qué las personas participan en proyectos de colaboración masiva (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Si planea motivar a los participantes con el pago en un mercado laboral de microtask (por ejemplo, Amazon Mechanical Turk), Kittur et al. (2013) ofrece algunos consejos.
En cuanto a permitir sorpresa, para más ejemplos de descubrimientos inesperados que salen de proyectos de Zooiverse, vea Marshall, Lintott, and Fletcher (2015) .
En cuanto a ser ético, algunas buenas introducciones generales a los temas involucrados son Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) y Zittrain (2008) . Para problemas específicamente relacionados con asuntos legales con empleados de multitud, vea Felstiner (2011) . O'Connor (2013) aborda cuestiones sobre la supervisión ética de la investigación cuando los roles de los investigadores y participantes se desdibujan. Para cuestiones relacionadas con el intercambio de datos mientras se protege a los participantes en proyectos de ciencia ciudadana, ver Bowser et al. (2014) . Tanto Purdam (2014) como Windt and Humphreys (2016) tienen alguna discusión sobre los problemas éticos en la recopilación de datos distribuidos. Finalmente, la mayoría de los proyectos reconocen las contribuciones pero no otorgan crédito de autoría a los participantes. En Foldit, los jugadores suelen figurar entre los autores (Cooper et al. 2010; Khatib et al. 2011) . En otros proyectos de convocatoria abierta, el colaborador ganador a menudo puede escribir un documento describiendo sus soluciones (p. Ej., Bell, Koren, and Volinsky (2010) y Dieleman, Willett, and Dambre (2015) ).
