Weitere Erläuterungen

Dieser Abschnitt soll als Referenz verwendet werden, anstatt als eine Erzählung gelesen werden.

• Einführung (Abschnitt 5.1)

Massen Zusammenarbeit verbindet Ideen von Citizen Science, Crowdsourcing und kollektive Intelligenz. Citizen Wissenschaft in der Regel bedeutet "Bürger" (dh nicht-Wissenschaftler) in den wissenschaftlichen Prozess beteiligt (Crain, Cooper, and Dickinson 2014) . Crowdsourcing bedeutet in der Regel ein Problem nehmen in der Regel innerhalb einer Organisation gelöst und stattdessen Outsourcing es zu einer Menge (Howe 2009) . Kollektive Intelligenz bedeutet in der Regel Gruppen von Individuen gemeinsam in einer Weise handeln , die scheinen intelligente (Malone and Bernstein 2015) . Nielsen (2012) ist ein wunderbares Buch-Länge Einführung in die Macht der Massen Zusammenarbeit für die wissenschaftliche Forschung.

Es gibt viele Arten von Massen Zusammenarbeit, die nicht ordentlich in die drei Kategorien passen, die ich vorgeschlagen, und ich denke, drei besondere Aufmerksamkeit verdienen, weil sie an einem gewissen Punkt in der Sozialforschung nützlich sein könnten. Ein Beispiel dafür ist Prognosemärkte, in denen die Teilnehmer und Handelsverträge kaufen , die einlösbar sind auf die Ergebnisse aus , dass in der Welt auftreten (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . . Die Vorhersage Märkte werden oft von Firmen und Regierungen für die Prognose verwendet, und Vorhersage Märkte wurden auch von Sozialforschern verwendet worden , um die Nachvollziehbarkeit der veröffentlichten Studien in der Psychologie zu prognostizieren (Dreber et al. 2015) .

Ein zweites Beispiel , das nicht gut in meine Kategorisierungsschema passt das POLYMATH Projekt, in dem Forscher mit Blogs und Wikis zusammengearbeitet neue mathematische Theoreme zu beweisen (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Das POLYMATH Projekt ist in gewisser Weise ähnlich dem Netflix-Preis, sondern auch in den POLYMATH Projektteilnehmer mehr aktiv auf den Teillösungen anderer gebaut.

Ein drittes Beispiel, die nicht gut in meine Kategorisierungsschema passt ist zeitabhängig Mobilisierungen wie die Defense Advanced Research Projects Agency (DARPA) Netzwerk-Challenge (dh die Red Balloon Herausforderung). Weitere Informationen zu diesen Zeit sehen empfindlich Mobilisierungen Pickard et al. (2011) , Tang et al. (2011) und Rutherford et al. (2013) .

• Menschliche Berechnung (Abschnitt 5.2)

Der Begriff "menschliche Berechnung" kommt aus der Arbeit von Informatikern getan, und das Verständnis der Kontext hinter dieser Forschung wird Ihre Fähigkeit verbessern, Probleme herausgreifen, die ihm zugänglich sein könnten. Für bestimmte Aufgaben sind Computer unglaublich mächtig mit Fähigkeiten, die weit mehr als auch für erfahrene Menschen. Zum Beispiel in Schach, können Computer auch die besten Großmeister zu schlagen. Aber, und dies weniger gut durch soziale geschätzt Wissenschaftler-für andere Aufgaben, Computer sind eigentlich viel schlimmer als die Menschen. Mit anderen Worten, jetzt sind Sie besser als selbst die anspruchsvollsten Computer bei bestimmten Aufgaben, die Verarbeitung von Bildern, Video, Audio und Text. Das so, wie durch eine wunderbare XKCD dargestellt wurde Cartoon-gibt es Aufgaben, die für Menschen für Computer und Fest leicht sind, aber es gibt auch Aufgaben, die für Menschen, für Computer und leicht hart sind (Abbildung 5.13). Informatiker arbeiten an diese Fest-for-Computer-easy-for-menschlichen Aufgaben, deshalb realisiert, dass sie Menschen in ihren Rechenprozess umfassen könnte. Hier ist , wie Luis von Ahn (2005) menschliche Berechnung beschrieben , wenn er zum ersten Mal den Begriff in seiner Dissertation geprägt: ". Ein Paradigma für die Nutzung menschlicher Verarbeitungsleistung um Probleme zu lösen , dass Computer kann noch nicht lösen"

Abbildung 5.13: Für einige Aufgaben Computer sind erstaunlich, die Fähigkeit von menschlichen Experten zu überschreiten. Aber auch für andere Aufgaben, können normale Menschen übertreffen sogar anspruchsvolle Computer-Systeme. Groß angelegte Probleme, die Aufgaben beinhalten, die für den Menschen für Computer und leicht hart sind, sind gut geeignet für die menschliche Berechnung. Verwendet gemäß den Bedingungen hier beschrieben: http://xkcd.com/license.html

Durch diese Definition Foldit-die ich im Abschnitt über die offenen beschriebenen Anrufe-könnte ein menschlicher Berechnung Projekt in Betracht gezogen werden. Allerdings wähle ich Foldit als offener Aufruf zu kategorisieren, weil sie spezielle Fähigkeiten erfordert und es braucht die beste Lösung beigetragen, anstatt eine Split-apply-kombinieren Strategie.

Für eine ausgezeichnete Buch Länge Behandlung menschlicher Berechnung, im allgemeinsten Sinne des Wortes, siehe Law and Ahn (2011) . Kapitel 3 des Law and Ahn (2011) hat eine interessante Diskussion über komplexere kombinieren Schritte als die in diesem Kapitel.

Der Begriff "Split-apply-kombinieren" wurde von verwendet Wickham (2011) eine Strategie für statistische Berechnungen zu beschreiben, aber es fängt perfekt den Prozess vieler menschlicher Berechnung Projekte. Die Split-apply-kombinieren Strategie ist ähnlich dem Rahmen MapReduce entwickelt bei Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Zwei kluge menschliche Berechnung Projekte , die ich nicht Platz hatte zu diskutieren sind das ESP Spiel (Ahn and Dabbish 2004) und reCAPTCHA (Ahn et al. 2008) . Beide Projekte fanden kreative Wege Teilnehmer zu motivieren, Etiketten zur Verfügung zu stellen Sie auf die Bilder. Beide Projekte jedoch erhöht auch ethische Fragen auf, denn im Gegensatz Galaxy Zoo, die Teilnehmer des ESP Game und reCAPTCHA nicht wissen , wie ihre Daten verwendet wird , wurde (Lung 2012; Zittrain 2008) .

Inspiriert durch das ESP Spiel, haben viele Forscher versucht , andere "Spiele mit einem Zweck" zu entwickeln (Ahn and Dabbish 2008) (dh "Mensch-basierte Rechenspiele" (Pe-Than, Goh, and Lee 2015) ) , das kann sein verwendet, um eine Vielzahl von anderen Problemen zu lösen. Was diese "Spiele mit einem Zweck" gemeinsam haben, ist, dass sie versuchen, die Aufgaben in der menschlichen Berechnung angenehm beteiligt zu machen. Während also das ESP Spiel die gleiche Split-apply-kombinieren Struktur mit Galaxy Zoo teilt, unterscheidet sie sich in, wie die Teilnehmer gegen Wunsch motiviert-Spaß Wissenschaft zu helfen.

Meine Beschreibung von Galaxy Zoo zieht auf Nielsen (2012) , Adams (2012) , Clery (2011) und Hand (2010) , und meine Präsentation der Forschungsziele von Galaxy Zoo wurde vereinfacht. Weitere Informationen über die Geschichte der Galaxienklassifikation in der Astronomie und wie Galaxy Zoo setzt diese Tradition fort, siehe Masters (2012) und Marshall, Lintott, and Fletcher (2015) . Aufbauend auf Galaxy Zoo schloss die Forscher Galaxy Zoo 2 , die gesammelt mehr als 60 Millionen komplexer morphologischer Klassifikationen von Freiwilligen (Masters et al. 2011) . Ferner verzweigt sie sich außerhalb der Galaxie Morphologie Probleme heraus einschließlich der Oberfläche des Mondes zu erforschen, nach Planeten suchen, und alte Dokumente transkribieren. Derzeit werden alle ihre Projekte gesammelt www.zooniverse.org (Cox et al. 2015) . Eines der Projekte-Snapshot Serengeti-beweist , dass Galaxy Zoo-Bildklassifikationsprojekte auch für die Umweltforschung durchgeführt werden kann (Swanson et al. 2016) .

Für die Forscher einen Mikro Aufgabe Arbeitsmarkt (zB Amazon Mechanical Turk) für eine menschliche Berechnung Projekt zu verwenden , Planung, Chandler, Paolacci, and Mueller (2013) und Wang, Ipeirotis, and Provost (2015) bieten eine gute Beratung zu Aufgabe Design und andere damit zusammenhängende Fragen.

Die Forscher interessieren sich zu schaffen , was ich ein Mensch der zweiten Generation Rechensysteme genannt haben (zB Systeme , die menschliche Etiketten verwenden , um eine Maschine Lernmodell zu trainieren) könnte dich interessieren Shamir et al. (2014) (Beispiel für die Verwendung Audio) und Cheng and Bernstein (2015) . Auch können diese Projekte mit offenen Anrufe erfolgen, wobei die Forscher im Wettbewerb um Modelle für maschinelles Lernen mit der größten prädiktiven Leistung erstellen. Zum Beispiel lief das Galaxy Zoo - Team einen offenen Aufruf und einen neuen Ansatz gefunden, die man besser als in den entwickelten Banerji et al. (2010) ; siehe Dieleman, Willett, and Dambre (2015) für weitere Einzelheiten.

• Offene Ausschreibungen (Abschnitt 5.3)

Offene Gespräche sind nicht neu. In der Tat, eine der bekanntesten offenen Anrufe stammt aus dem Jahr 1714, als die britische Parlament die Länge Preis für jeden geschaffen, die eine Art und Weise entwickeln könnte die Länge von einem Schiff auf hoher See zu bestimmen. Das Problem stapfte viele der größten Wissenschaftler der Tage, einschließlich Isaac Newton, und die überzeugende Lösung wurde schließlich von einem Uhrmacher aus dem Land vorgelegt , die von den Wissenschaftlern das Problem anders angesprochen , die auf eine Lösung konzentriert waren , die irgendwie Astronomie bedeuten würde (Sobel 1996) . Wie dieses Beispiel zeigt, ein Grund dafür , dass offene Anrufe gedacht sind so gut zu arbeiten , ist , dass sie den Zugang zu Menschen mit unterschiedlichen Perspektiven und Fähigkeiten zur Verfügung stellen (Boudreau and Lakhani 2013) . Siehe Hong and Page (2004) und Page (2008) für mehr über den Wert der Vielfalt bei der Problemlösung.

Jede der offenen Aufforderung Fälle im Kapitel erfordert ein wenig weiter Erklärung dafür, warum es gehört in dieser Kategorie. Erstens, eine Möglichkeit, dass ich zwischen menschlicher Berechnung und offenen Call-Projekte unterscheiden ist, ob die Ausgabe im Durchschnitt aller Lösungen ist (menschliche Berechnung) oder die beste Lösung (Open Call). Die Netflix - Preis etwas schwierig in diesem Zusammenhang ist , dass die beste Lösung eine hoch entwickelte den Durchschnitt der einzelnen Lösungen erwiesen, ein Ensemble Lösung namens näherten (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Aus der Sicht von Netflix, aber alles, was sie tun musste, war die beste Lösung auszuwählen.

Zweitens durch einige Definitionen der menschlichen Berechnung (zB Von Ahn (2005) ), Foldit sollte ein Mensch Berechnung Projekt in Betracht gezogen werden. Allerdings wähle ich Foldit als offener Aufruf zu kategorisieren, weil sie spezielle Fähigkeiten erfordert und es braucht die beste Lösung beigetragen, anstatt mit einem Split-apply-kombinieren Strategie.

Schließlich könnte man das Peer-to-Patent argumentieren ist ein Beispiel für verteilte Datenerfassung. Ich wähle es als offenes Gespräch einbeziehen, weil es einen Wettbewerb artige Struktur aufweist und nur die besten Beiträge verwendet werden (während mit verteilten Datensammlung, die Idee von guten und schlechten Beiträge ist weniger klar).

Für mehr auf dem Netflix - Preis, siehe Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , und Feuerverger, He, and Khatri (2012) . Weitere Informationen über die Foldit sehen, Cooper et al. (2010) , Andersen et al. (2012) , und Khatib et al. (2011) ; meine Beschreibung von Foldit stützt sich auf Beschreibungen in Nielsen (2012) , Bohannon (2009) und Hand (2010) . Weitere Informationen über die Peer-to-Patent, siehe Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , und Noveck (2009) .

Ähnlich zu den Ergebnissen von Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Kapitel 10 Berichte große Gewinne in der Produktivität der Gehäuseprüfer in New York City bei Prüfungen werden von prädiktiven Modellen geführt. In New York City wurden diese Vorhersagemodelle von den Mitarbeitern der Stadt gebaut, aber in anderen Fällen könnte man sich vorstellen , dass sie mit offenen Anrufe geschaffen oder verbessert werden könnten (zB Glaeser et al. (2016) ). Allerdings ist ein wichtiges Anliegen mit Vorhersagemodelle verwendet werden Ressourcen zuzuweisen ist, dass die Modelle das Potenzial, um die Verstärkung der bestehenden Vorurteile haben. Viele Forscher wissen bereits , "garbage in, garbage out", und mit prädiktiven Modellen kann es sein , "Bias in Bias aus." Siehe Barocas and Selbst (2016) und O'Neil (2016) für mehr über die Gefahren von prädiktiven Modellen gebaut mit voreingenommen Trainingsdaten.

Ein Problem, das die Regierungen verwenden, offenen Wettbewerben verhindern könnte, ist, dass es die Datenfreigabe erfordert, die zu Verletzungen der Privatsphäre führen könnten. Für mehr zum Thema Datenschutz und Datenfreigabe in offenen Anrufe sehen Narayanan, Huey, and Felten (2016) und die Diskussion in Kapitel 6.

• Verteilte Datenerfassung (Abschnitt 5.4)

Meine Beschreibung von eBird stützt sich auf Beschreibungen in Bhattacharjee (2005) und Robbins (2013) . Für mehr auf , wie Forscher verwenden statistische Modelle eBird Daten sehen zu analysieren Hurlbert and Liang (2012) und Fink et al. (2010) . Weitere Informationen über die Geschichte der Bürger Wissenschaft in ornothology finden Greenwood (2007) .

Weitere Informationen über die Zeitschriften - Projekt Malawi finden Watkins and Swidler (2009) und Kaler, Watkins, and Angotti (2015) . Für mehr auf einem ähnlichen Projekt in Südafrika, siehe Angotti and Sennott (2015) . Weitere Beispiele für die Forschung mit Daten aus dem Malawi Journals Projekt sehen Kaler (2004) und Angotti et al. (2014) .

• Entwerfen Sie Ihre eigene (Abschnitt 5.5)

Mein Ansatz Design Beratung anzubieten war induktiv, auf der Grundlage der Beispiele für erfolgreiche und gescheiterte Massen Zusammenarbeit Projekte, die ich gehört habe. Es gibt auch einen Strom von Forschung allgemeiner sozialpsychologische Theorien anzuwenden versucht, Online - Communities zu gestalten , dass die Konzeption der Massenkooperationsprojekte relevant ist, siehe zum Beispiel Kraut et al. (2012) .

In Bezug auf die Motivation Teilnehmer, ist es eigentlich ziemlich schwierig , genau herauszufinden , warum die Menschen in Massen-Kooperationsprojekten teilnehmen (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Wenn Sie planen , die Teilnehmer auf eine Mikro Aufgabe Arbeitsmarkt mit der Zahlung zu motivieren (zB Amazon Mechanical Turk) Kittur et al. (2013) bietet einige Ratschläge.

In Bezug ermöglicht Überraschung, für weitere Beispiele für unerwartete Entdeckungen von Projekten von Zooniverse kommen, siehe Marshall, Lintott, and Fletcher (2015) .

In Bezug auf sein ethische, sind einige gute allgemeine Einführungen in die Themen beteiligt Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , und Zittrain (2008) . Für Fragen speziell zu den Rechtsfragen mit Masse Mitarbeiter betreffen, siehe Felstiner (2011) . O'Connor (2013) befasst sich mit Fragen über ethische Aufsicht der Forschung , wenn die Rollen von Forschern und Teilnehmer verwischen. Für Fragen im Zusammenhang mit den Austausch von Daten im Zusammenhang mit während participats in Citizen Science Projekte Schutz finden Bowser et al. (2014) . Sowohl Purdam (2014) und Windt and Humphreys (2016) haben einige Diskussion über die ethischen Fragen in verteilten Datenerfassung. Schließlich bestätigen die meisten Projekte Beiträge aber nicht die Urheber Kredit an die Teilnehmer geben. In Foldit werden die Foldit Spieler oft als Autor aufgeführt (Cooper et al. 2010; Khatib et al. 2011) . . In anderen offenen Call - Projekten können die Gewinner Beiträger schreiben oft ein Papier beschreibt ihre Lösungen (zB Bell, Koren, and Volinsky (2010) und Dieleman, Willett, and Dambre (2015) ). Im Galaxy Zoo Familie von Projekten, sehr aktiv und leisten einen wichtigen Beitrag werden manchmal sein Co-Autoren auf Papieren eingeladen. Zum Beispiel Ivan Terentev und Tim Matorny, zwei Radio Galaxy Zoo Teilnehmer aus Russland, waren Co-Autoren auf eines der Papiere , die von diesem Projekt entstand (Banfield et al. 2016; Galaxy Zoo 2016) .