Τι να διαβάσετε στη συνέχεια

• Εισαγωγή (τμήμα 5.1)

Η μαζική συνεργασία συνδυάζει τις ιδέες από την επιστήμη των πολιτών , το crowdsourcing και τη συλλογική νοημοσύνη . Η επιστήμη των πολιτών σημαίνει συνήθως να εμπλέκονται στην επιστημονική διαδικασία οι "πολίτες" (δηλαδή οι μη-επιστήμονες) για περισσότερες, βλέπε Crain, Cooper, and Dickinson (2014) και Bonney et al. (2014) . Το Crowdsourcing συνήθως σημαίνει ότι αντιμετωπίζετε ένα πρόβλημα που συνήθως επιλύεται μέσα σε έναν οργανισμό και αντ 'αυτού το outsourcing σε ένα πλήθος. για περισσότερα, βλ. Howe (2009) . Η συλλογική νοημοσύνη σημαίνει συνήθως ομάδες ατόμων που ενεργούν συλλογικά με τρόπους που φαίνονται έξυπνοι. για περισσότερα, βλ. Malone and Bernstein (2015) . Nielsen (2012) είναι μια βιβλιογραφική εισαγωγή στην εξουσία της μαζικής συνεργασίας για επιστημονική έρευνα.

Υπάρχουν πολλοί τύποι μαζικής συνεργασίας που δεν ταιριάζουν απόλυτα στις τρεις κατηγορίες που πρότεινα και νομίζω ότι τρεις από αυτές αξίζουν ιδιαίτερη προσοχή επειδή μπορεί να είναι χρήσιμες στην κοινωνική έρευνα. Ένα παράδειγμα είναι οι αγορές πρόβλεψης, όπου οι συμμετέχοντες αγοράζουν και ανταλλάσσουν συμβάσεις που είναι εξαγοράσιμες βάσει των αποτελεσμάτων που συμβαίνουν στον κόσμο. Οι προβλέψεις για τις αγορές χρησιμοποιούνται συχνά από τις επιχειρήσεις και τις κυβερνήσεις για την πρόβλεψη και έχουν επίσης χρησιμοποιηθεί από κοινωνικούς ερευνητές για να προβλέψουν την αναπαραγωγικότητα των δημοσιευμένων μελετών στην ψυχολογία (Dreber et al. 2015) . Για μια επισκόπηση των αγορών πρόβλεψης, βλ. Wolfers and Zitzewitz (2004) και Arrow et al. (2008) .

Ένα δεύτερο παράδειγμα που δεν εντάσσεται καλά στο σχήμα κατηγοριοποίησης μου είναι το έργο PolyMath, όπου οι ερευνητές συνεργάστηκαν χρησιμοποιώντας blogs και wikis για να αποδείξουν νέα θεωρητικά μαθηματικά. Το έργο PolyMath είναι κατά κάποιο τρόπο παρόμοιο με το βραβείο Netflix, αλλά σε αυτό το έργο οι συμμετέχοντες βασίζονται περισσότερο ενεργά στις μερικές λύσεις άλλων. Για περισσότερες πληροφορίες σχετικά με το έργο PolyMath, βλ. Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) και Kloumann et al. (2016) .

Ένα τρίτο παράδειγμα που δεν εντάσσεται καλά στο πρόγραμμά μου κατηγοριοποίησης είναι αυτό των κινητοποιήσεων που εξαρτώνται από το χρόνο, όπως το Δίκτυο Προκλήσεων του Δικτύου Προηγμένων Ερευνητικών Προγραμμάτων (DARPA) (Πρόκληση του Κόκκινου Μπαλόνι). Για περισσότερες πληροφορίες σχετικά με αυτές τις χρονικά ευαίσθητες κινητοποιήσεις βλέπε Pickard et al. (2011) , Tang et al. (2011) , και Rutherford et al. (2013) .

• Ανθρώπινοι υπολογισμοί (τμήμα 5.2)

Ο όρος "ανθρώπινος υπολογισμός" ξεκινά από την εργασία των επιστημόνων υπολογιστών και η κατανόηση του πλαισίου πίσω από αυτήν την έρευνα θα βελτιώσει την ικανότητά σας να επιλέγετε προβλήματα που μπορεί να είναι κατάλληλα γι 'αυτό. Για ορισμένες εργασίες, οι υπολογιστές είναι απίστευτα ισχυροί, με δυνατότητες που υπερβαίνουν κατά πολύ τις ικανότητες ακόμη και των ειδικών ανθρώπων. Για παράδειγμα, στο σκάκι, οι υπολογιστές μπορούν να νικήσουν ακόμα και τους καλύτερους γκρουπ. Αλλά - και αυτό δεν εκτιμάται περισσότερο από τους κοινωνικούς επιστήμονες - για άλλα καθήκοντα, οι υπολογιστές είναι στην πραγματικότητα πολύ χειρότεροι από τους ανθρώπους. Με άλλα λόγια, τώρα είστε καλύτερα από ό, τι ακόμη και ο πιο εξελιγμένος υπολογιστής σε συγκεκριμένες εργασίες που αφορούν την επεξεργασία εικόνων, βίντεο, ήχου και κειμένου. Οι επιστήμονες υπολογιστών που εργάζονταν σε αυτά τα καθήκοντα σκληρά για υπολογιστές - εύκολο για ανθρώπινη συνειδητοποίησαν ότι θα μπορούσαν να συμπεριλάβουν τον άνθρωπο στην υπολογιστική τους διαδικασία. Ακολουθεί ο τρόπος με τον οποίο ο Luis von Ahn (2005) περιέγραψε τους ανθρώπινους υπολογισμούς, όταν εφάρμοσε για πρώτη φορά τον όρο στη διατριβή του: "ένα παράδειγμα για την αξιοποίηση της ανθρώπινης επεξεργασίας για την επίλυση προβλημάτων που οι υπολογιστές δεν μπορούν να λύσουν ακόμα". την πιο γενική έννοια του όρου, βλέπε Law and Ahn (2011) .

Σύμφωνα με τον ορισμό που προτείνεται στην Ahn (2005) Foldit - την οποία περιέγραψα στο τμήμα για τις ανοικτές εκκλήσεις - θα μπορούσε να θεωρηθεί έργο ανθρώπινου υπολογισμού. Ωστόσο, επιλέγω να κατηγοριοποιήσω το Foldit ως ανοικτή πρόσκληση επειδή απαιτεί εξειδικευμένες δεξιότητες (αν και όχι απαραίτητα επίσημη εκπαίδευση) και παίρνει την καλύτερη λύση που συνεισφέρει, παρά τη χρήση στρατηγικής split-apply-combine.

Ο όρος "split-apply-combine" χρησιμοποιήθηκε από τον Wickham (2011) για να περιγράψει μια στρατηγική στατιστικής πληροφορικής, αλλά συλλέγει τέλεια τη διαδικασία πολλών ανθρώπινων έργων υπολογισμού. Η στρατηγική split-apply-combine είναι παρόμοια με το πλαίσιο MapReduce που αναπτύχθηκε στο Google. για περισσότερα στο MapReduce, βλ. Dean and Ghemawat (2004) και Dean and Ghemawat (2008) . Για περισσότερα σχετικά με άλλες κατανεμημένες αρχιτεκτονικές υπολογιστών, βλ. Vo and Silvia (2016) . Στο κεφάλαιο 3 του Law and Ahn (2011) γίνεται συζήτηση έργων με πιο σύνθετα βήματα συνδυασμού από αυτά του παρόντος κεφαλαίου.

Στα ανθρώπινα έργα υπολογισμών που έχω αναφέρει στο κεφάλαιο, οι συμμετέχοντες γνώριζαν τι συνέβαινε. Ορισμένα άλλα έργα, ωστόσο, επιδιώκουν να συλλάβουν "εργασία" που συμβαίνει ήδη (παρόμοια με το eBird) και χωρίς συνειδητοποίηση των συμμετεχόντων. Δείτε, για παράδειγμα, το παιχνίδι ESP (Ahn and Dabbish 2004) και το reCAPTCHA (Ahn et al. 2008) . Ωστόσο, και τα δύο αυτά σχέδια εγείρουν επίσης δεοντολογικά ερωτήματα επειδή οι συμμετέχοντες δεν γνωρίζουν πώς χρησιμοποιούνται τα δεδομένα τους (Zittrain 2008; Lung 2012) .

Εμπνευσμένοι από το παιχνίδι ESP, πολλοί ερευνητές προσπάθησαν να αναπτύξουν άλλα "παιχνίδια με σκοπό" (Ahn and Dabbish 2008) (δηλαδή, "ανθρώπινα παιχνίδια υπολογιστών" (Pe-Than, Goh, and Lee 2015) ) που μπορούν να χρησιμοποιούνται για την επίλυση ποικίλων άλλων προβλημάτων. Αυτό που έχουν αυτά τα "παιχνίδια με έναν σκοπό" είναι ότι προσπαθούν να απολαύσουν τα καθήκοντα που εμπλέκονται στον ανθρώπινο υπολογισμό. Έτσι, ενώ το παιχνίδι ESP μοιράζεται την ίδια δομή split-apply-combine με τον Galaxy Zoo, διαφέρει στον τρόπο με τον οποίο οι συμμετέχοντες είναι κίνητρα-διασκέδαση σε σχέση με την επιθυμία να βοηθήσουν την επιστήμη. Για περισσότερα σχετικά με παιχνίδια με σκοπό, δείτε Ahn and Dabbish (2008) .

Η περιγραφή του Galaxy Zoo βασίζεται στους Nielsen (2012) , Adams (2012) , Clery (2011) και Hand (2010) και η παρουσίαση των ερευνητικών στόχων του Zoo Galaxy απλοποιήθηκε. Για περισσότερες πληροφορίες σχετικά με την ιστορία της ταξινόμησης των γαλαξιών στην αστρονομία και πώς ο ζωολογικός κήπος Galaxy συνεχίζει αυτή την παράδοση, δείτε Masters (2012) και Marshall, Lintott, and Fletcher (2015) . Με βάση το ζωολογικό κήπο Galaxy, οι ερευνητές ολοκλήρωσαν το Galaxy Zoo 2, το οποίο συγκέντρωσε πάνω από 60 εκατομμύρια πιο πολύπλοκες μορφολογικές ταξινομήσεις από εθελοντές (Masters et al. 2011) . Επιπλέον, διακλαδίζονται σε προβλήματα έξω από τη μορφολογία των γαλαξιών, συμπεριλαμβανομένης της εξερεύνησης της επιφάνειας της Σελήνης, της αναζήτησης πλανητών και της μεταγραφής παλαιών εγγράφων. Επί του παρόντος, όλα τα έργα τους συλλέγονται στην ιστοσελίδα του Zooniverse (Cox et al. 2015) . Ένα από τα έργα-Snapshot Serengeti-παρέχει στοιχεία ότι τα έργα κατηγοριοποίησης εικόνων τύπου Galaxy Zoo μπορούν επίσης να γίνουν για περιβαλλοντική έρευνα (Swanson et al. 2016) .

Για τους ερευνητές που σχεδιάζουν να χρησιμοποιήσουν μια αγορά εργασίας microtask (π.χ. Amazon Mechanical Turk) για ένα έργο ανθρώπινου υπολογισμού, οι Chandler, Paolacci, and Mueller (2013) και J. Wang, Ipeirotis, and Provost (2015) άλλα συναφή ζητήματα. Porter, Verdery, and Gaddis (2016) προσφέρουν παραδείγματα και συμβουλές που εστιάζονται ειδικά στις χρήσεις των αγορών εργασίας microtask για αυτό που ονομάζουν "αύξηση δεδομένων". Η γραμμή μεταξύ της αύξησης των δεδομένων και της συλλογής δεδομένων είναι κάπως θολή. Για περισσότερες πληροφορίες σχετικά με τη συλλογή και τη χρήση ετικετών για εποπτευόμενη μάθηση για κείμενο, βλέπε Grimmer and Stewart (2013) .

Οι ερευνητές που ενδιαφέρονται να δημιουργήσουν αυτό που έχω ονομάσει συστήματα υπολογισμού ανθρώπινων υπολογισμών (π.χ. συστήματα που χρησιμοποιούν ανθρώπινες ετικέτες για την κατάρτιση ενός μοντέλου μηχανικής μάθησης) μπορεί να ενδιαφέρονται για τους Shamir et al. (2014) (για παράδειγμα χρησιμοποιώντας ήχο) και Cheng and Bernstein (2015) . Επίσης, τα μοντέλα μηχανικής μάθησης σε αυτά τα προγράμματα μπορούν να ζητηθούν με ανοιχτές κλήσεις, όπου οι ερευνητές ανταγωνίζονται για τη δημιουργία μοντέλων μηχανικής μάθησης με τις μεγαλύτερες προγνωστικές επιδόσεις. Για παράδειγμα, η ομάδα Galaxy Zoo πραγματοποίησε μια ανοιχτή κλήση και βρήκε μια νέα προσέγγιση που ξεπέρασε εκείνη που αναπτύχθηκε στο Banerji et al. (2010) . βλ. Dieleman, Willett, and Dambre (2015) για λεπτομέρειες.

• Ανοικτές κλήσεις (ενότητα 5.3)

Οι ανοικτές κλήσεις δεν είναι νέες. Στην πραγματικότητα, μία από τις πιο γνωστές ανοικτές κλήσεις χρονολογείται από το 1714, όταν το Βρετανικό Κοινοβούλιο δημιούργησε το βραβείο του μεγάλου μήκους για όσους θα μπορούσαν να αναπτύξουν έναν τρόπο προσδιορισμού του γεωγραφικού μήκους ενός πλοίου στη θάλασσα. Το πρόβλημα έπληξε πολλούς από τους μεγαλύτερους επιστήμονες των ημερών, συμπεριλαμβανομένου του Isaac Newton, και η λύση που κέρδισε υποβλήθηκε τελικά από τον ωρολογοποιό John Harrison, ο οποίος προσέγγισε το πρόβλημα διαφορετικά από τους επιστήμονες που επικεντρώθηκαν σε μια λύση που κατά κάποιον τρόπο θα αφορούσε την αστρονομία . για περισσότερες πληροφορίες, βλ. Sobel (1996) . Όπως δείχνει αυτό το παράδειγμα, ένας λόγος για τον οποίο οι ανοικτές κλήσεις θεωρείται ότι λειτουργούν τόσο καλά είναι ότι παρέχουν πρόσβαση σε άτομα με διαφορετικές προοπτικές και δεξιότητες (Boudreau and Lakhani 2013) . Δείτε το Hong and Page (2004) και Page (2008) για περισσότερα σχετικά με την αξία της διαφορετικότητας στην επίλυση προβλημάτων.

Κάθε μία από τις περιπτώσεις ανοιχτής κλήσης στο κεφάλαιο απαιτεί κάποιες περαιτέρω εξηγήσεις για το γιατί ανήκει σε αυτήν την κατηγορία. Πρώτον, ένας τρόπος με τον οποίο διαχωρίζομαι μεταξύ των ανθρώπινων υπολογισμών και των ανοιχτών έργων κλήσεων είναι κατά πόσο η παραγωγή είναι ένας μέσος όρος όλων των λύσεων (ανθρώπινων υπολογισμών) ή της καλύτερης λύσης (ανοιχτή κλήση). Το βραβείο Netflix είναι κάπως περίπλοκο από την άποψη αυτή, διότι η καλύτερη λύση αποδείχθηκε ότι είναι ένας περίπλοκος μέσος όρος ατομικών λύσεων, μια προσέγγιση που ονομάζεται λύση σύνολα (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Από την άποψη της Netflix, ωστόσο, το μόνο που έπρεπε να κάνουν ήταν να βρουν την καλύτερη λύση. Για περισσότερα σχετικά με το βραβείο Netflix, βλ. Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , και Feuerverger, He, and Khatri (2012) .

Δεύτερον, με ορισμένους ορισμούς του ανθρώπινου υπολογισμού (π.χ. Ahn (2005) ), το Foldit θα πρέπει να θεωρείται ανθρώπινο έργο υπολογισμού. Ωστόσο, επιλέγω να την κατηγοριοποιήσω ως ανοικτή πρόσκληση επειδή απαιτεί εξειδικευμένες δεξιότητες (αν και όχι απαραίτητα εξειδικευμένη κατάρτιση) και παίρνει την καλύτερη λύση αντί να χρησιμοποιεί μια στρατηγική split-apply-combine. Για περισσότερες πληροφορίες στο Foldit βλέπε, Cooper et al. (2010) , Khatib et al. (2011) , και Andersen et al. (2012) . η περιγραφή του Foldit βασίζεται σε περιγραφές σε Bohannon (2009) , Hand (2010) και Nielsen (2012) .

Τέλος, θα μπορούσε κανείς να υποστηρίξει ότι το Peer-to-Patent είναι ένα παράδειγμα συλλογής κατανεμημένων δεδομένων. Επιλέγω να την συμπεριλάβω ως ανοικτή πρόσκληση επειδή έχει διαγωνιστική δομή και χρησιμοποιούνται μόνο οι καλύτερες συνεισφορές, ενώ με τη συλλογή κατανεμημένων δεδομένων η ιδέα των καλών και κακών συνεισφορών είναι λιγότερο ξεκάθαρη. Για περισσότερες πληροφορίες σχετικά με το Peer-to-Patent, βλ. Noveck (2006) , Ledford (2007) , Noveck (2009) και Bestor and Hamp (2010) .

Όσον αφορά τη χρήση ανοικτών κλήσεων στην κοινωνική έρευνα, αποτελέσματα παρόμοια με εκείνα των Glaeser et al. (2016) , αναφέρονται στο κεφάλαιο 10 των Mayer-Schönberger and Cukier (2013) βάσει των οποίων η Νέα Υόρκη ήταν σε θέση να χρησιμοποιήσει τη μέθοδο πρόβλεψης για την παραγωγή μεγάλων κερδών στην παραγωγικότητα των επιθεωρητών στέγασης. Στην πόλη της Νέας Υόρκης, αυτά τα προγνωστικά μοντέλα χτίστηκαν από τους υπαλλήλους της πόλης, αλλά σε άλλες περιπτώσεις, θα μπορούσαμε να φανταστούμε ότι θα μπορούσαν να δημιουργηθούν ή να βελτιωθούν με ανοικτές κλήσεις (π.χ., Glaeser et al. (2016) ). Ωστόσο, μια σημαντική ανησυχία σχετικά με τα πρότυπα μοντέλα που χρησιμοποιούνται για την κατανομή των πόρων είναι ότι αυτά τα μοντέλα έχουν τη δυνατότητα να ενισχύσουν τις υπάρχουσες προκαταλήψεις. Πολλοί ερευνητές γνωρίζουν ήδη «σκουπίδια, σκουπίδια» και με προγνωστικά μοντέλα μπορεί να είναι «προκατειλημμένη, προκατειλημμένη». Βλέπε Barocas and Selbst (2016) και O'Neil (2016) για περισσότερα σχετικά με τους κινδύνους των μοντέλων πρόβλεψης με μεροληπτικά δεδομένα εκπαίδευσης.

Ένα πρόβλημα που μπορεί να εμποδίσει τις κυβερνήσεις να χρησιμοποιούν ανοικτούς διαγωνισμούς είναι ότι αυτό απαιτεί απελευθέρωση δεδομένων, κάτι που θα μπορούσε να οδηγήσει σε παραβιάσεις της ιδιωτικής ζωής. Για περισσότερες πληροφορίες σχετικά με την ιδιωτικότητα και την απελευθέρωση δεδομένων σε ανοιχτές κλήσεις, βλ. Narayanan, Huey, and Felten (2016) και τη συζήτηση στο κεφάλαιο 6.

Για περισσότερες πληροφορίες σχετικά με τις διαφορές και τις ομοιότητες μεταξύ πρόβλεψης και εξήγησης, βλ. Breiman (2001) , Shmueli (2010) , Watts (2014) και Kleinberg et al. (2015) . Για περισσότερες πληροφορίες σχετικά με το ρόλο της πρόβλεψης στην κοινωνική έρευνα, βλέπε Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , και Yarkoni and Westfall (2017) .

Για ανασκόπηση των έργων ανοιχτής κλήσης στη βιολογία, συμπεριλαμβανομένων των συμβουλών σχεδιασμού, βλ. Saez-Rodriguez et al. (2016) .

• Συλλογή κατανεμημένων δεδομένων (τμήμα 5.4)

Η περιγραφή του eBird βασίζεται σε περιγραφές στο Bhattacharjee (2005) , Robbins (2013) και στο Sullivan et al. (2014) . Για περισσότερες πληροφορίες σχετικά με τον τρόπο με τον οποίο οι ερευνητές χρησιμοποιούν στατιστικά μοντέλα για την ανάλυση των δεδομένων eBird, βλ. Fink et al. (2010) και Hurlbert and Liang (2012) . Για περισσότερες πληροφορίες σχετικά με την εκτίμηση της ικανότητας των συμμετεχόντων στο eBird, βλ. Kelling, Johnston, et al. (2015) . Για περισσότερα σχετικά με την ιστορία της επιστήμης των πολιτών στην ορνιθολογία, δείτε Greenwood (2007) .

Για περισσότερα σχετικά με το Malawi Journals Project, βλέπε Watkins and Swidler (2009) και Kaler, Watkins, and Angotti (2015) . Για περισσότερα σχετικά με ένα σχετικό έργο στη Νότια Αφρική, βλ. Angotti and Sennott (2015) . Για περισσότερα παραδείγματα έρευνας με τη χρήση δεδομένων από το Malawi Journals Project βλέπε Kaler (2004) και Angotti et al. (2014) .

• Σχεδιάζοντας τη δική σας (ενότητα 5.5)

Η προσέγγισή μου στην παροχή συμβουλών σχεδίασης ήταν επαγωγική, με βάση τα παραδείγματα επιτυχημένων και αποτυχημένων έργων μαζικής συνεργασίας που έχω ακούσει. Υπήρξε επίσης μια σειρά ερευνητικών προσπαθειών για την εφαρμογή γενικότερων κοινωνικών ψυχολογικών θεωριών στο σχεδιασμό διαδικτυακών κοινοτήτων που σχετίζονται με το σχεδιασμό έργων μαζικής συνεργασίας, βλ. Π.χ. Kraut et al. (2012) .

Όσον αφορά την παρακίνηση των συμμετεχόντων, είναι πραγματικά πολύ δύσκολο να καταλάβουμε γιατί οι άνθρωποι συμμετέχουν σε μαζικά έργα συνεργασίας (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Αν σκοπεύετε να παρακινήσετε τους συμμετέχοντες με πληρωμή σε μια αγορά εργασίας microtask (π.χ., Amazon Mechanical Turk), οι Kittur et al. (2013) προσφέρει κάποιες συμβουλές.

Όσον αφορά τη δυνατότητα έκπληξης, για περισσότερα παραδείγματα απροσδόκητων ανακαλύψεων που προέρχονται από προγράμματα Zooiverse, βλ. Marshall, Lintott, and Fletcher (2015) .

Όσον αφορά την ηθική, μερικές καλές γενικές εισαγωγές στα σχετικά ζητήματα είναι οι Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) και Zittrain (2008) . Για θέματα που σχετίζονται ειδικά με νομικά ζητήματα με πολλούς υπαλλήλους, βλ. Felstiner (2011) . O'Connor (2013) αντιμετωπίζει ερωτήματα σχετικά με την ηθική εποπτεία της έρευνας όταν θολώνουν οι ρόλοι των ερευνητών και των συμμετεχόντων. Για θέματα που σχετίζονται με την ανταλλαγή δεδομένων, ενώ προστατεύονται οι συμμετέχοντες σε προγράμματα επιστήμης πολιτών, βλέπε Bowser et al. (2014) . Τόσο ο Purdam (2014) και ο Windt and Humphreys (2016) έχουν κάποια συζήτηση για τα δεοντολογικά ζητήματα στη συλλογή κατανεμημένων δεδομένων. Τέλος, τα περισσότερα έργα αναγνωρίζουν τις συνεισφορές αλλά δεν δίνουν πίστωση για τους συνδρομητές στους συμμετέχοντες. Στο Foldit, οι παίκτες συχνά αναφέρονται ως συγγραφείς (Cooper et al. 2010; Khatib et al. 2011) . Σε άλλα έργα ανοιχτής πρόσκλησης, ο συνεισφέρων νικητής μπορεί συχνά να γράψει ένα έγγραφο που περιγράφει τις λύσεις τους (π.χ. Bell, Koren, and Volinsky (2010) και Dieleman, Willett, and Dambre (2015) ).