Was soll ich als nächstes lesen?

• Einführung (Abschnitt 5.1)

Mass Collaboration verbindet Ideen von Citizen Science , Crowdsourcing und kollektiver Intelligenz . Bürgerwissenschaft bedeutet in der Regel, "Bürger" (dh Nichtwissenschaftler) in den wissenschaftlichen Prozess einzubeziehen; Für mehr, siehe Crain, Cooper, and Dickinson (2014) und Bonney et al. (2014) . Crowdsourcing bedeutet normalerweise, ein Problem zu lösen, das normalerweise in einer Organisation gelöst wird, und es stattdessen an eine Menge auszulagern. Für mehr, siehe Howe (2009) . Kollektive Intelligenz bedeutet normalerweise Gruppen von Individuen, die kollektiv auf eine Weise agieren, die intelligent erscheint; Für mehr, siehe Malone and Bernstein (2015) . Nielsen (2012) ist eine bucheinführende Einführung in die Macht der Massenzusammenarbeit für die wissenschaftliche Forschung.

Es gibt viele Arten von Massenzusammenarbeit, die nicht genau in die drei Kategorien passen, die ich vorgeschlagen habe, und ich denke, drei von diesen verdienen besondere Aufmerksamkeit, weil sie für die Sozialforschung nützlich sein könnten. Ein Beispiel sind die Prognosemärkte, auf denen die Teilnehmer Verträge kaufen und handeln, die auf der Grundlage der in der Welt erzielten Ergebnisse einlösbar sind. Prognostizierende Märkte werden häufig von Unternehmen und Regierungen für Prognosen genutzt, und sie wurden auch von Sozialforschern verwendet, um die Replizierbarkeit veröffentlichter Studien in der Psychologie vorherzusagen (Dreber et al. 2015) . Für einen Überblick über Prognosemärkte siehe Wolfers and Zitzewitz (2004) und Arrow et al. (2008) .

Ein zweites Beispiel, das nicht in mein Kategorisierungsschema passt, ist das PolyMath-Projekt, bei dem Forscher mithilfe von Blogs und Wikis neue mathematische Theoreme bewiesen haben. Das PolyMath-Projekt ähnelt in gewisser Weise dem Netflix-Preis, aber in diesem Projekt bauten die Teilnehmer aktiver auf Teillösungen anderer auf. Weitere Informationen zum PolyMath-Projekt finden Sie in Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) und Kloumann et al. (2016) .

Ein drittes Beispiel, das nicht gut in mein Kategorisierungsschema passt, ist das von zeitabhängigen Mobilisierungen wie der DARPA Network Challenge (dh der Red Balloon Challenge). Für mehr zu diesen zeitkritischen Mobilisierungen siehe Pickard et al. (2011) , Tang et al. (2011) und Rutherford et al. (2013) .

• Menschliche Berechnung (Abschnitt 5.2)

Der Begriff "menschliche Berechnung" stammt aus der Arbeit von Informatikern, und wenn Sie den Kontext hinter dieser Forschung verstehen, wird sich Ihre Fähigkeit verbessern, Probleme herauszugreifen, die dafür geeignet sein könnten. Für bestimmte Aufgaben sind Computer unglaublich leistungsstark, mit Fähigkeiten, die weit über die von Experten hinausgehen. Zum Beispiel können Computer im Schach sogar die besten Großmeister schlagen. Aber - und das wird von Sozialwissenschaftlern weniger geschätzt - für andere Aufgaben sind Computer tatsächlich viel schlimmer als Menschen. Mit anderen Worten, Sie sind jetzt besser als der anspruchsvollste Computer bei bestimmten Aufgaben, die die Verarbeitung von Bildern, Video, Audio und Text betreffen. Computerwissenschaftler, die an diesen Aufgaben arbeiten, die schwer für Computer sind und leicht zu handhaben sind, haben erkannt, dass sie Menschen in ihren Rechenprozess einbeziehen können. So beschreibt Luis von Ahn (2005) die menschliche Berechnung, als er den Begriff in seiner Dissertation erstmals geprägt hat: "ein Paradigma, um menschliche Rechenleistung zur Lösung von Problemen einzusetzen, die Computer noch nicht lösen können." Für eine buchlange Bearbeitung menschlichen Rechnens, den allgemeinsten Sinn des Begriffs, siehe Law and Ahn (2011) .

Gemäß der in Ahn (2005) vorgeschlagenen Definition könnte Foldit - die ich im Abschnitt über offene Aufrufe beschrieben habe - als ein menschliches Berechnungsprojekt betrachtet werden. Ich wähle Foldit jedoch als offenen Aufruf, weil es spezielle Fähigkeiten erfordert (obwohl es nicht notwendigerweise formales Training ist), und es braucht die beste geleistete Lösung, anstatt eine Split-Apply-Combine-Strategie zu verwenden.

Der Begriff "Split-Apply-Combine" wurde von Wickham (2011) , um eine Strategie für das statistische Rechnen zu beschreiben, aber es erfasst perfekt den Prozess vieler menschlicher Berechnungsprojekte. Die Split-Apply-Combine-Strategie ähnelt dem bei Google entwickelten MapReduce-Framework. Weitere Dean and Ghemawat (2004) zu MapReduce finden Sie unter Dean and Ghemawat (2004) und Dean and Ghemawat (2008) . Weitere Informationen zu anderen verteilten Computerarchitekturen finden Sie in Vo and Silvia (2016) . In Kapitel 3 von Law and Ahn (2011) wird über Projekte mit komplexeren Kombinationsschritten als in diesem Kapitel diskutiert.

In den menschlichen Berechnungsprojekten, die ich in diesem Kapitel besprochen habe, waren sich die Teilnehmer bewusst, was vor sich ging. Einige andere Projekte versuchen jedoch, "Arbeit" zu erfassen, die bereits stattfindet (ähnlich eBird) und ohne das Bewusstsein der Teilnehmer. Siehe zum Beispiel das ESP-Spiel (Ahn and Dabbish 2004) und reCAPTCHA (Ahn et al. 2008) . Beide Projekte werfen jedoch auch ethische Fragen auf, weil die Teilnehmer nicht wussten, wie ihre Daten verwendet wurden (Zittrain 2008; Lung 2012) .

Angeregt durch das ESP-Spiel haben viele Forscher versucht, andere "Spiele mit einem bestimmten Zweck" (Ahn and Dabbish 2008) (dh "menschliche (Ahn and Dabbish 2008) " (Pe-Than, Goh, and Lee 2015) ) verwendet, um eine Vielzahl von anderen Problemen zu lösen. Was diese "Spiele mit einem Zweck" gemeinsam haben, ist, dass sie versuchen, die Aufgaben der menschlichen Berechnung angenehm zu machen. Während das ESP-Spiel die gleiche Split-Apply-Kombinat-Struktur mit Galaxy Zoo teilt, unterscheidet es sich dadurch, wie die Teilnehmer motiviert sind - Spaß versus Wunsch, der Wissenschaft zu helfen. Weitere Ahn and Dabbish (2008) zu Spielen mit einem bestimmten Zweck finden Sie unter Ahn and Dabbish (2008) .

Meine Beschreibung von Galaxy Zoo basiert auf Nielsen (2012) , Adams (2012) , Clery (2011) und Hand (2010) , und meine Darstellung der Forschungsziele von Galaxy Zoo wurde vereinfacht. Mehr über die Geschichte der Galaxienklassifikation in der Astronomie und darüber, wie Galaxy Zoo diese Tradition fortsetzt, finden Sie unter Masters (2012) und Marshall, Lintott, and Fletcher (2015) . Aufbauend auf dem Galaxy Zoo haben die Forscher den Galaxy Zoo 2 fertig gestellt, der mehr als 60 Millionen komplexere morphologische Klassifikationen von Freiwilligen gesammelt hat (Masters et al. 2011) . Außerdem entwickelten sie Probleme außerhalb der Galaxienmorphologie, einschließlich der Erforschung der Oberfläche des Mondes, der Suche nach Planeten und der Transkription alter Dokumente. Derzeit werden alle ihre Projekte auf der Website von Zooniverse gesammelt (Cox et al. 2015) . Eines der Projekte - Snapshot Serengeti - zeigt, dass auch Projekte zur Bildklassifizierung nach dem Galaxy Zoo-Typ für die Umweltforschung eingesetzt werden können (Swanson et al. 2016) .

Für Forscher, die planen, einen Mikrotask-Arbeitsmarkt (z. B. Amazon Mechanical Turk) für ein menschliches Berechnungsprojekt zu nutzen Chandler, Paolacci, and Mueller (2013) sowie J. Wang, Ipeirotis, and Provost (2015) gute Ratschläge zum Aufgaben-Design und andere verwandte Probleme. Porter, Verdery, and Gaddis (2016) bieten Beispiele und Ratschläge, die sich speziell auf die Nutzung von Mikrotask-Arbeitsmärkten für die sogenannte "Datenvermehrung" konzentrieren. Die Grenze zwischen Datenerweiterung und Datenerfassung ist etwas verschwommen. Weitere Informationen zum Sammeln und Verwenden von Labels für das überwachte Lernen für Text finden Sie unter Grimmer and Stewart (2013) .

Forscher, die daran interessiert sind, das zu schaffen, was ich computergestützte menschliche Berechnungssysteme genannt habe (z. B. Systeme, die menschliche Etiketten verwenden, um ein maschinelles Lernmodell zu trainieren), könnten an Shamir et al. (2014) Interessiert sein Shamir et al. (2014) (für ein Beispiel mit Audio) und Cheng and Bernstein (2015) . Außerdem können die maschinellen Lernmodelle in diesen Projekten mit offenen Aufrufen angefordert werden, wobei die Forscher konkurrieren, um Maschinenlernmodelle mit der größten Vorhersagegüte zu erstellen. Zum Beispiel führte das Galaxy Zoo-Team einen offenen Anruf durch und fand einen neuen Ansatz, der den von Banerji et al. (2010) ; Details siehe Dieleman, Willett, and Dambre (2015) .

• Offene Anrufe (Abschnitt 5.3)

Offene Anrufe sind nicht neu. Eine der bekanntesten offenen Telefonate geht auf das Jahr 1714 zurück, als das britische Parlament den Longitude Prize für all jene ins Leben rief, die eine Methode zur Bestimmung der Länge eines Schiffes auf See entwickeln könnten. Das Problem berührte viele der größten Wissenschaftler dieser Zeit, darunter auch Isaac Newton, und die preisgekrönte Lösung wurde schließlich von John Harrison, einem Uhrmacher aus dem ländlichen Raum, vorgelegt, der das Problem anders behandelte als Wissenschaftler, die sich auf eine Lösung konzentrierten, die irgendwie Astronomie beinhaltete ; Für weitere Informationen siehe Sobel (1996) . Wie dieses Beispiel zeigt, ist ein Grund, warum offene Anrufe so gut funktionieren, der Zugang zu Menschen mit unterschiedlichen Perspektiven und Fähigkeiten (Boudreau and Lakhani 2013) . Siehe Hong and Page (2004) und Page (2008) für mehr über den Wert von Vielfalt bei der Problemlösung.

Für jeden der offenen Call-Cases in diesem Kapitel muss etwas genauer erklärt werden, warum er in diese Kategorie gehört. Erstens kann ich zwischen menschlichen Berechnungen und Open-Call-Projekten unterscheiden, ob die Ausgabe ein Durchschnitt aller Lösungen (menschliche Berechnung) oder die beste Lösung (offener Aufruf) ist. Der Netflix-Preis ist in dieser Hinsicht etwas schwierig, weil die beste Lösung ein ausgeklügelter Durchschnitt von individuellen Lösungen war, ein Ansatz, der eine Ensemble-Lösung genannt wird (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Aus der Sicht von Netflix musste sie jedoch nur die beste Lösung auswählen. Weitere Informationen zum Netflix-Preis finden sich unter Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) sowie Feuerverger, He, and Khatri (2012) .

Zweitens sollte Foldit nach einigen Definitionen menschlicher Berechnungen (z. B. Ahn (2005) ) als ein menschliches Berechnungsprojekt betrachtet werden. Ich entscheide mich jedoch dafür, es als offenen Aufruf zu kategorisieren, da es spezielle Fähigkeiten erfordert (obwohl nicht notwendigerweise spezialisiertes Training) und es die beste Lösung braucht, anstatt eine Split-Apply-Combine-Strategie zu verwenden. Für mehr zu Foldit siehe Cooper et al. (2010) , Khatib et al. (2011) und Andersen et al. (2012) ; Meine Beschreibung von Foldit bezieht sich auf Beschreibungen in Bohannon (2009) , Hand (2010) und Nielsen (2012) .

Schließlich könnte man argumentieren, dass Peer-to-Patent ein Beispiel für die verteilte Datensammlung ist. Ich entscheide mich für eine offene Ausschreibung, da sie eine contest-ähnliche Struktur hat und nur die besten Beiträge verwendet werden, während bei verteilten Datensammlungen die Vorstellung von guten und schlechten Beiträgen weniger klar ist. Weitere Noveck (2006) zu Peer-to-Patent finden Sie in Noveck (2006) , Ledford (2007) , Noveck (2009) und Bestor and Hamp (2010) .

In Bezug auf die Verwendung offener Aufrufe in der Sozialforschung sind ähnliche Ergebnisse wie bei Glaeser et al. (2016) , werden in Kapitel 10 von Mayer-Schönberger and Cukier (2013) wobei New York City mit Hilfe von Vorhersagemodellen große Produktivitätsgewinne von Wohnungsinspektoren erzielen konnte. In New York City wurden diese Vorhersagemodelle von städtischen Mitarbeitern erstellt, aber in anderen Fällen könnte man sich vorstellen, dass sie mit offenen Aufrufen erstellt oder verbessert werden könnten (z. B. Glaeser et al. (2016) ). Ein Hauptproblem bei der Verwendung von Vorhersagemodellen zur Ressourcenallokation besteht jedoch darin, dass diese Modelle das Potenzial haben, bestehende Verzerrungen zu verstärken. Viele Forscher kennen bereits "Müll in, Müll raus", und mit Vorhersagemodellen kann es "Voreingenommenheit, Voreingenommenheit" sein. Siehe Barocas and Selbst (2016) und O'Neil (2016) für mehr über die Gefahren von prädiktiven Modellen mit voreingenommenen Trainingsdaten.

Ein Problem, das Regierungen daran hindern könnte, offene Wettbewerbe zu nutzen, ist, dass dies eine Datenfreigabe erfordert, was zu Datenschutzverletzungen führen könnte. Weitere Informationen zum Datenschutz und zur Datenfreigabe bei offenen Anrufen finden Sie in Narayanan, Huey, and Felten (2016) sowie in der Diskussion in Kapitel 6.

Zu den Unterschieden und Ähnlichkeiten zwischen Vorhersage und Erklärung siehe Breiman (2001) , Shmueli (2010) , Watts (2014) und Kleinberg et al. (2015) . Weitere Cederman and Weidmann (2017) zur Rolle der Vorhersage in der Sozialforschung finden sich in Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) und Yarkoni and Westfall (2017) .

Für einen Überblick über Open-Call-Projekte in der Biologie, einschließlich Design-Beratung, siehe Saez-Rodriguez et al. (2016) .

• Verteilte Datensammlung (Abschnitt 5.4)

Meine Beschreibung von eBird stützt sich auf Beschreibungen in Bhattacharjee (2005) , Robbins (2013) und Sullivan et al. (2014) . Mehr darüber, wie Forscher statistische Modelle zur Analyse von eBird-Daten verwenden, finden Sie bei Fink et al. (2010) und Hurlbert and Liang (2012) . Weitere Informationen zum Schätzen der Fähigkeiten von eBird-Teilnehmern finden Sie in Kelling, Johnston, et al. (2015) . Mehr zur Geschichte der Bürgerkunde in der Ornithologie finden Sie in Greenwood (2007) .

Weitere Informationen zum Malawi Journals Project finden Sie unter Watkins and Swidler (2009) und Kaler, Watkins, and Angotti (2015) . Mehr zu einem verwandten Projekt in Südafrika finden Sie unter Angotti and Sennott (2015) . Für weitere Beispiele von Forschung mit Daten aus dem Malawi Journals Project siehe Kaler (2004) und Angotti et al. (2014) .

• Eigene gestalten (Abschnitt 5.5)

Mein Ansatz, Designberatung anzubieten, war induktiv, basierend auf den Beispielen erfolgreicher und gescheiterter Projekte der Massenzusammenarbeit, von denen ich gehört habe. Es gab auch eine Reihe von Forschungsversuchen, allgemeinere sozialpsychologische Theorien auf das Entwerfen von Online-Communities anzuwenden, die für das Design von Projekten der Massenzusammenarbeit relevant sind, siehe z. B. Kraut et al. (2012) .

In Bezug auf motivierende Teilnehmer ist es tatsächlich ziemlich schwierig, genau herauszufinden, warum Menschen an Massen-Kollaborationsprojekten teilnehmen (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Wenn Sie planen, Teilnehmer mit einer Zahlung auf einem Mikrotask-Arbeitsmarkt zu motivieren (z. B. Amazon Mechanical Turk), können Kittur et al. (2013) bietet einige Tipps.

Um mehr Überraschungen zu ermöglichen, siehe Marshall, Lintott, and Fletcher (2015) .

In Bezug auf ethische Fragen sind Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) sowie Zittrain (2008) . Für Fragen, die sich speziell auf rechtliche Probleme mit Crowd-Mitarbeitern beziehen, siehe Felstiner (2011) . O'Connor (2013) befasst sich mit Fragen der ethischen Kontrolle der Forschung, wenn die Rollen von Forschern und Teilnehmern verschwimmen. Für Fragen im Zusammenhang mit dem Austausch von Daten und zum Schutz der Teilnehmer an Citizen Science-Projekten siehe Bowser et al. (2014) . Sowohl Purdam (2014) als auch Windt and Humphreys (2016) diskutieren über die ethischen Probleme bei der verteilten Datensammlung. Schließlich erkennen die meisten Projekte Beiträge an, geben den Teilnehmern jedoch kein Autorenguthaben. In Foldit werden die Akteure oft als Autor aufgelistet (Cooper et al. 2010; Khatib et al. 2011) . In anderen Open-Call-Projekten kann der Preisträger oft eine Arbeit schreiben, die seine Lösungen beschreibt (zB Bell, Koren, and Volinsky (2010) und Dieleman, Willett, and Dambre (2015) ).