Αυτό το τμήμα έχει σχεδιαστεί για να χρησιμοποιείται ως σημείο αναφοράς, αντί να διαβαστεί ως μια αφήγηση.
Μάζα συνεργασία συνδυάζει ιδέες από την επιστήμη πολίτη, crowdsourcing και συλλογική νοημοσύνη. Επιστήμη πολίτη σημαίνει συνήθως αφορούν «πολίτες» (δηλαδή, μη-επιστήμονες) στην επιστημονική διαδικασία (Crain, Cooper, and Dickinson 2014) . Crowdsourcing συνήθως σημαίνει τη λήψη ένα πρόβλημα συνήθως λύνεται μέσα σε έναν οργανισμό και αντ 'αυτού outsourcing σε ένα πλήθος (Howe 2009) . Συλλογική νοημοσύνη συνήθως σημαίνει ομάδες ατόμων που ενεργούν συλλογικά με τρόπους που φαίνεται έξυπνη (Malone and Bernstein 2015) . Nielsen (2012) είναι ένα θαυμάσιο εισαγωγή βιβλίο-μήκους στη δύναμη της μάζας συνεργασία για την επιστημονική έρευνα.
Υπάρχουν πολλοί τύποι των μέσων μαζικής συνεργασίας που δεν ταιριάζουν τακτοποιημένα σε τρεις κατηγορίες που πρότεινα, και νομίζω ότι τρεις χρήζουν ιδιαίτερης προσοχής, διότι μπορεί να είναι χρήσιμη στην κοινωνική έρευνα σε κάποιο σημείο. Ένα παράδειγμα είναι οι αγορές πρόβλεψης, όπου οι συμμετέχοντες αγοράζουν και οι συμβάσεις του εμπορίου που βασίζονται εξαγοράσιμες σε αποτελέσματα που συμβαίνουν στον κόσμο (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Προβλέπουν οι αγορές συχνά χρησιμοποιούνται από τις επιχειρήσεις και τις κυβερνήσεις για την πρόβλεψη και την πρόβλεψη των αγορών έχουν επίσης χρησιμοποιηθεί από κοινωνικούς ερευνητές για την πρόβλεψη της επανάληψης των δημοσιευμένων μελετών στην ψυχολογία (Dreber et al. 2015) .
Ένα δεύτερο παράδειγμα που δεν ταιριάζει καλά στο σύστημα κατηγοριοποίησης μου είναι το έργο πολυμαθής, όπου οι ερευνητές συνεργάστηκαν με τη χρήση blogs και wikis για να αποδείξει νέα θεωρήματα των μαθηματικών (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Το έργο πολυμαθής είναι κατά κάποιο τρόπο παρόμοια με το βραβείο Netflix, αλλά τους συμμετέχοντες στο έργο πολυμαθής χτισμένο πιο ενεργά στις επιμέρους λύσεις των άλλων.
Ένα τρίτο παράδειγμα που δεν ταιριάζει καλά στο σύστημα κατηγοριοποίησης μου είναι εξαρτώμενη από τον χρόνο κινητοποιήσεις, όπως το Defense Advanced Research Projects Οργανισμού (DARPA) Δίκτυο Challenge (δηλαδή, το κόκκινο μπαλόνι Challenge). Για περισσότερες πληροφορίες σχετικά με αυτά τα ευαίσθητα χρόνο κινητοποιήσεις δείτε Pickard et al. (2011) , Tang et al. (2011) , και Rutherford et al. (2013) .
Ο όρος "ανθρώπινο υπολογισμού" προέρχεται από την αγορά εργασίας γίνεται από τους επιστήμονες υπολογιστών, και την κατανόηση του πλαισίου πίσω από αυτή την έρευνα θα βελτιώσει την ικανότητά σας να ξεχωρίσω τα προβλήματα που μπορεί να υπόκειται σε αυτό. Για ορισμένα καθήκοντα, οι υπολογιστές είναι απίστευτα ισχυρές με τις δυνατότητες που υπερβαίνουν κατά πολύ τους ανθρώπους, ακόμη και των εμπειρογνωμόνων. Για παράδειγμα, στο σκάκι, οι υπολογιστές μπορεί να νικήσει ακόμα και τις καλύτερες Μεγάλου Μαγίστρου. Αλλά, και αυτό είναι λιγότερο καλά εκτιμάται από τους κοινωνικούς επιστήμονες, για άλλες εργασίες, οι υπολογιστές είναι στην πραγματικότητα πολύ χειρότερη από ό, τι οι άνθρωποι. Με άλλα λόγια, αυτή τη στιγμή θα είναι καλύτερα από ό, τι ακόμη και τα πιο εξελιγμένα υπολογιστή σε ορισμένα καθήκοντα που αφορούν την επεξεργασία των εικόνων, βίντεο, ήχο και κείμενο. Έτσι, όπως φαίνεται από μια υπέροχη XKCD καρτούν υπάρχουν εργασίες που είναι εύκολο για τους υπολογιστές και δύσκολο για τους ανθρώπους, αλλά υπάρχουν και τα καθήκοντα που είναι δύσκολο για τους υπολογιστές και εύκολο για τους ανθρώπους (Σχήμα 5.13). Οι επιστήμονες υπολογιστών που εργάζονται σε αυτά τα σκληρά-for-υπολογιστές-εύκολο για τον άνθρωπο καθήκοντα, ως εκ τούτου, συνειδητοποίησαν ότι θα μπορούσαν να περιλαμβάνουν τους ανθρώπους στην υπολογιστική διαδικασία τους. Εδώ είναι πως ο Luis von Ahn (2005) περιγράφεται ανθρώπινο υπολογισμού, όταν επινόησε πρώτος τον όρο στη διατριβή του: «. Ένα παράδειγμα για τη χρήση της ανθρώπινης επεξεργαστική ισχύ για να λύσει προβλήματα που οι υπολογιστές δεν μπορούν ακόμα να λύσει"
Με τον ορισμό αυτό Foldit-που περιέγραψα στο τμήμα σε ανοιχτή πρόσκληση-θα μπορούσε να θεωρηθεί ένα έργο ανθρώπινο υπολογισμού. Ωστόσο, έχω επιλέξει να κατηγοριοποιήσετε Foldit ως μια ανοιχτή πρόσκληση διότι απαιτεί εξειδικευμένες δεξιότητες και παίρνει την καλύτερη λύση συνέβαλε όχι χρησιμοποιώντας ένα split-εφαρμόζουν-συνδυάζουν στρατηγική.
Για μια εξαιρετική διάρκεια βιβλίο θεραπεία της ανθρώπινης υπολογισμού, στην πιο γενική έννοια του όρου, δείτε Law and Ahn (2011) . Κεφάλαιο 3 του Law and Ahn (2011) έχει μια ενδιαφέρουσα συζήτηση για πιο σύνθετες βήματα συνδυάζουν από αυτά σε αυτό το κεφάλαιο.
Ο όρος «διάσπαση εφαρμόσει-συνδυάζουν" χρησιμοποιήθηκε από Wickham (2011) για να περιγράψει μια στρατηγική για στατιστικούς υπολογισμούς, αλλά συλλαμβάνει τέλεια την διαδικασία πολλών έργων ανθρώπινης υπολογισμού. Η διάσπαση εφαρμόσει-συνδυάζουν στρατηγική είναι παρόμοια με το πλαίσιο MapReduce που αναπτύχθηκε στο Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .
Δύο έξυπνο έργα του ανθρώπου υπολογισμού που δεν είχα χώρο για να συζητήσουμε είναι το παιχνίδι ESP (Ahn and Dabbish 2004) και reCAPTCHA (Ahn et al. 2008) . Και τα δύο αυτά έργα βρει δημιουργικούς τρόπους για να παρακινήσει τους συμμετέχοντες να παρέχουν ετικέτες στις εικόνες. Ωστόσο, τα δύο αυτά έργα έθεσαν επίσης ηθικά ζητήματα, διότι, σε αντίθεση με Galaxy Zoo, οι συμμετέχοντες στην ESP παιχνίδι και reCAPTCHA δεν ήξερα πώς τα δεδομένα τους είχε χρησιμοποιηθεί (Lung 2012; Zittrain 2008) .
Εμπνευσμένο από το ESP παιχνίδι, πολλοί ερευνητές έχουν προσπαθήσει να αναπτύξουν άλλους "παιχνίδια με ένα σκοπό» (Ahn and Dabbish 2008) (δηλαδή, "άνθρωπο με βάση υπολογισμού τα παιχνίδια" (Pe-Than, Goh, and Lee 2015) ), που μπορεί να είναι χρησιμοποιούνται για την επίλυση μια ποικιλία από άλλα προβλήματα. Ποιες είναι αυτές οι «παιχνίδια με σκοπό" έχουν κοινό είναι ότι προσπαθούν να κάνουν τα καθήκοντα που εμπλέκονται σε ανθρώπινες υπολογισμό ευχάριστη. Έτσι, ενώ το ESP παιχνίδι μοιράζεται την ίδια διάσπαση εφαρμόσει-συνδυάζουν δομή με Galaxy Zoo, διαφέρει κατά πόσο οι συμμετέχοντες υποκινούνται-διασκέδαση εναντίον επιθυμία να βοηθήσει την επιστήμη.
Η περιγραφή μου του Galaxy Zoo αντλεί Nielsen (2012) , Adams (2012) , Clery (2011) , και Hand (2010) , και την παρουσίασή μου των ερευνητικών στόχων του Galaxy Zoo απλοποιήθηκε. Για περισσότερες πληροφορίες σχετικά με την ιστορία της κατάταξης γαλαξία στην αστρονομία και πώς Galaxy Zoo συνεχίζει την παράδοση αυτή, βλέπε Masters (2012) και Marshall, Lintott, and Fletcher (2015) . Κτίριο για Galaxy Zoo, οι ερευνητές ολοκληρωθεί Galaxy Zoo 2 που συλλέγονται πάνω από 60 εκατομμύρια πιο πολύπλοκες μορφολογικές ταξινομήσεις από εθελοντές (Masters et al. 2011) . Περαιτέρω, επεκταθεί σε προβλήματα εκτός του γαλαξία μορφολογία συμπεριλαμβανομένων εξερεύνηση της επιφάνειας του φεγγαριού, που ψάχνουν για πλανήτες, και μεταγραφή παλιά έγγραφα. Επί του παρόντος, όλα τα έργα τους, που συλλέγονται σε www.zooniverse.org (Cox et al. 2015) . Ένα από τα έργα-Στιγμιότυπο Serengeti-προσκομίζει την απόδειξη ότι το Galaxy Zoo τύπου έργα ταξινόμηση της εικόνας μπορεί να γίνει και για την περιβαλλοντική έρευνα (Swanson et al. 2016) .
Για τους ερευνητές σχεδιάζουν να χρησιμοποιήσουν μια αγορά εργασίας μικρο-εργασία (π.χ. Amazon Mechanical Turk) για ένα έργο ανθρώπινο υπολογισμού, Chandler, Paolacci, and Mueller (2013) και Wang, Ipeirotis, and Provost (2015) προσφέρουν καλές συμβουλές σχετικά με το σχεδιασμό εργασιών και άλλα συναφή θέματα.
Οι ερευνητές που ενδιαφέρονται να δημιουργήσουν ό, τι έχω ονομάζεται συστήματα του ανθρώπου υπολογισμού δεύτερης γενιάς (π.χ., συστήματα που χρησιμοποιούν ανθρώπινα ετικέτες για να εκπαιδεύσει ένα μοντέλο μάθησης μηχανής) μπορεί να ενδιαφέρονται για Shamir et al. (2014) (για παράδειγμα με τη χρήση ήχου) και Cheng and Bernstein (2015) . Επίσης, τα έργα αυτά μπορεί να γίνει με ανοικτές προσκλήσεις, σύμφωνα με την οποία οι ερευνητές ανταγωνίζονται για τη δημιουργία μοντέλων μηχανικής μάθησης με τη μεγαλύτερη προβλεπτική απόδοση. Για παράδειγμα, η ομάδα του Galaxy Zoo έτρεξε μια ανοιχτή πρόσκληση και βρήκε μια νέα προσέγγιση που ξεπέρασε το ένα αναπτύσσεται σε Banerji et al. (2010) ? δείτε Dieleman, Willett, and Dambre (2015) για λεπτομέρειες.
Ανοικτές προσκλήσεις δεν είναι νέα. Στην πραγματικότητα, ένα από τα πιο γνωστά ανοικτές προσκλήσεις χρονολογείται από το 1714 όταν το Κοινοβούλιο της Βρετανίας δημιούργησαν το βραβείο μήκος για οποιονδήποτε που θα μπορούσε να αναπτύξει έναν τρόπο για να καθορίσει το μήκος του πλοίου στη θάλασσα. Το πρόβλημα μείνει άναυδοι πολλά από τους μεγαλύτερους επιστήμονες των ημερών, συμπεριλαμβανομένων των Ισαάκ Νεύτωνα, και η καλύτερη λύση τελικά υποβληθεί από clockmaker από την ύπαιθρο που προσέγγισε το πρόβλημα με διαφορετικό τρόπο από τους επιστήμονες οι οποίοι επικεντρώθηκαν σε μια λύση που με κάποιο τρόπο θα συνεπαγόταν την αστρονομία (Sobel 1996) . Δεδομένου ότι αυτό το παράδειγμα δείχνει, ένας λόγος που είναι ανοικτές προσκλήσεις πιστεύεται ότι λειτουργούν τόσο καλά είναι ότι παρέχουν πρόσβαση σε άτομα με διαφορετικές προοπτικές και τις δεξιότητες (Boudreau and Lakhani 2013) . Δείτε Hong and Page (2004) και Page (2008) για περισσότερες πληροφορίες σχετικά με την αξία της διαφορετικότητας στην επίλυση προβλημάτων.
Κάθε μία από τις εκκρεμείς υποθέσεις κλήση στο κεφάλαιο απαιτεί ένα κομμάτι της περαιτέρω εξήγηση για το γιατί ανήκει σε αυτή την κατηγορία. Πρώτον, ένας τρόπος που μπορώ διάκριση μεταξύ των ανθρώπινων υπολογισμούς και τα σχέδια ανοικτή πρόσκληση είναι εάν η παραγωγή είναι κατά μέσο όρο όλων των λύσεων (ανθρώπινη υπολογισμού) ή την καλύτερη λύση (ανοικτή πρόσκληση). Το βραβείο Netflix είναι κάπως δύσκολο σε αυτή την άποψη, διότι η καλύτερη λύση αποδείχθηκε ότι ήταν ένα εξελιγμένο μέσο όρο των ατομικών λύσεων, ένα προσέγγισε ονομάζεται ένα σύνολο λύση (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Από τη σκοπιά της Netflix, ωστόσο, το μόνο που είχε να κάνει ήταν να πάρει την καλύτερη λύση.
Δεύτερον, από κάποιους ορισμούς της ανθρώπινης υπολογισμού (π.χ., Von Ahn (2005) ), Foldit θα πρέπει να θεωρείται ένα έργο της ανθρώπινης υπολογισμού. Ωστόσο, έχω επιλέξει να κατηγοριοποιήσετε Foldit ως μια ανοιχτή πρόσκληση διότι απαιτεί εξειδικευμένες δεξιότητες και παίρνει η καλύτερη λύση συνέβαλε, αντί να χρησιμοποιούν ένα split-εφαρμόζουν-συνδυάζουν στρατηγική.
Τέλος, θα μπορούσε κανείς να υποστηρίξει ότι Peer-to-ευρεσιτεχνίας είναι ένα παράδειγμα της κατανεμημένης συλλογής δεδομένων. Επιλέγω να συμπεριληφθεί ως μια ανοιχτή πρόσκληση επειδή έχει μια δομή διαγωνισμό, όπως και μόνο τα καλύτερα εισφορές χρησιμοποιούνται (ενώ με κατανεμημένη συλλογή δεδομένων, η ιδέα του καλού και του κακού εισφορών είναι λιγότερο σαφής).
Για περισσότερες πληροφορίες σχετικά με το βραβείο Netflix, δείτε Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , και Feuerverger, He, and Khatri (2012) . Για περισσότερες πληροφορίες σχετικά Foldit δείτε, Cooper et al. (2010) , Andersen et al. (2012) , και Khatib et al. (2011) ? περιγραφή μου Foldit ισοπαλίες στις περιγραφές Nielsen (2012) , Bohannon (2009) , και Hand (2010) . Για περισσότερες πληροφορίες σχετικά με Peer-to-ευρεσιτεχνίας, δείτε Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , και Noveck (2009) .
Παρόμοια με τα αποτελέσματα της Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Κεφάλαιο 10 εκθέσεις μεγάλων κερδών της παραγωγικότητας των επιθεωρητών κατοικιών στη Νέα Υόρκη, όταν επιθεωρήσεις καθοδηγούνται από προβλεπτικά μοντέλα. Στη Νέα Υόρκη, οι εν λόγω μοντέλα πρόβλεψης χτίστηκαν από τους εργαζόμενους της πόλης, αλλά σε άλλες περιπτώσεις, θα μπορούσε κανείς να φανταστεί ότι θα μπορούσαν να δημιουργηθούν ή να βελτιωθούν με ανοικτές προσκλήσεις (π.χ., Glaeser et al. (2016) ). Ωστόσο, μια σημαντική ανησυχία με μοντέλα πρόβλεψης που χρησιμοποιούνται για την κατανομή των πόρων είναι ότι τα μοντέλα έχουν τη δυνατότητα να ενισχύσουν τις υπάρχουσες προκαταλήψεις. Πολλοί ερευνητές ήδη γνωρίζουν "σκουπίδια μέσα, σκουπίδια έξω», και με μοντέλα πρόβλεψης μπορεί να είναι «προκατάληψη σε, προκατάληψη έξω." Δείτε Barocas and Selbst (2016) και O'Neil (2016) για περισσότερες πληροφορίες σχετικά με τους κινδύνους της πρόβλεψης μοντέλα που κατασκευάστηκαν με δεδομένα προκατειλημμένη κατάρτισης.
Ένα πρόβλημα που θα μπορούσε να αποτρέψει τις κυβερνήσεις από τη χρήση ανοικτής διαδικασίας είναι ότι απαιτεί την απελευθέρωση των δεδομένων, η οποία θα μπορούσε να οδηγήσει σε παραβιάσεις της ιδιωτικής ζωής. Για περισσότερα σχετικά με το απόρρητο και την απελευθέρωση των δεδομένων σε ανοικτές προσκλήσεις δείτε Narayanan, Huey, and Felten (2016) και η συζήτηση στο Κεφάλαιο 6.
Περιγραφή μου eBird ισοπαλίες στις περιγραφές Bhattacharjee (2005) και Robbins (2013) . Για περισσότερες πληροφορίες σχετικά με το πώς οι ερευνητές χρησιμοποιούν στατιστικά μοντέλα για να αναλύσουν τα δεδομένα eBird δείτε Hurlbert and Liang (2012) και Fink et al. (2010) . Για περισσότερες πληροφορίες σχετικά με την ιστορία της επιστήμης πολίτη σε ornothology, δείτε Greenwood (2007) .
Για περισσότερες πληροφορίες σχετικά με τα περιοδικά του έργου Μαλάουι, δείτε Watkins and Swidler (2009) και Kaler, Watkins, and Angotti (2015) . Και για περισσότερες πληροφορίες σχετικά με ένα σχετικό έργο στη Νότια Αφρική, δείτε Angotti and Sennott (2015) . Για περισσότερα παραδείγματα της έρευνας με τη χρήση δεδομένων από το Έργο Μαλάουι Journals δείτε Kaler (2004) και Angotti et al. (2014) .
Η προσέγγισή μου για να προσφέρει συμβουλές σχεδιασμού ήταν επαγωγική, με βάση τα παραδείγματα των επιτυχημένες και αποτυχημένες έργα μαζικής συνεργασία που έχω ακούσει για. Υπάρχει επίσης ένα ρεύμα της έρευνας επιχειρεί να εφαρμόσει γενικότερες κοινωνικές ψυχολογικές θεωρίες για το σχεδιασμό online κοινότητες που είναι σχετικές με το σχεδιασμό των έργων μαζικής συνεργασίας, βλέπε, για παράδειγμα, Kraut et al. (2012) .
Όσον αφορά την παροχή κινήτρων των συμμετεχόντων, στην πραγματικότητα είναι αρκετά δύσκολο να καταλάβω ακριβώς γιατί οι άνθρωποι συμμετέχουν σε έργα μαζικής συνεργασία (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Αν σκοπεύετε να παρακινήσει τους συμμετέχοντες με την πληρωμή σε μια αγορά εργασίας μικρο-εργασία (π.χ. Amazon Mechanical Turk) Kittur et al. (2013) παρέχει κάποιες συμβουλές.
Όσον αφορά επιτρέπουν έκπληξη, για περισσότερα παραδείγματα απρόσμενες ανακαλύψεις που προέρχονται από έργα Zoouniverse, βλέπε Marshall, Lintott, and Fletcher (2015) .
Όσον αφορά την ύπαρξη ηθικών, μερικοί καλή γενική εισαγωγή στα θέματα που εμπλέκονται είναι Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , και Zittrain (2008) . Για τα θέματα που σχετίζονται ειδικά με νομικά θέματα με τους εργαζομένους πλήθος, δείτε Felstiner (2011) . O'Connor (2013) ασχολείται με ερωτήματα σχετικά με ηθική εποπτεία της έρευνας όταν οι ρόλοι των ερευνητών και των συμμετεχόντων θαμπάδα. Για θέματα που αφορούν την ανταλλαγή δεδομένων, ενώ προστατεύει participats σε έργα επιστήμης πολίτη, δείτε Bowser et al. (2014) . Τόσο Purdam (2014) και Windt and Humphreys (2016) έχουν κάποια συζήτηση σχετικά με τα ηθικά ζητήματα σε κατανεμημένα συλλογή δεδομένων. Τέλος, τα περισσότερα έργα αναγνωρίζουν τις εισφορές, αλλά δεν δίνουν την πατρότητα πίστωσης στους συμμετέχοντες. Σε Foldit, οι παίκτες Foldit συχνά αναφέρονται ως συγγραφέας (Cooper et al. 2010; Khatib et al. 2011) . Σε άλλα έργα ανοικτής πρόσκλησης, η νίκη συνεισφέρων μπορεί συχνά να γράψει ένα έγγραφο που περιγράφει τις λύσεις τους (π.χ., Bell, Koren, and Volinsky (2010) και Dieleman, Willett, and Dambre (2015) ). Στην οικογένεια Galaxy Zoo των έργων, εξαιρετικά ενεργό και σημαντικό συνεισφέροντες είναι μερικές φορές καλούνται να είναι συν-συγγραφείς στα χαρτιά. Για παράδειγμα, ο Ιβάν Terentev και Tim Matorny, δύο συμμετέχοντες Radio Galaxy Zoo από τη Ρωσία, ήταν συν-συγγραφείς σε ένα από τα έγγραφα που προέκυψαν από την εν λόγω έργο (Banfield et al. 2016; Galaxy Zoo 2016) .