5.2.2 Πλήθος-κωδικοποίηση των πολιτικών μανιφέστων

Κωδικοποίηση πολιτικά μανιφέστα, κάτι που συνήθως γίνεται από ειδικούς, μπορεί να εκτελεστεί από ένα έργο ανθρώπινο υπολογισμού οδηγεί σε μεγαλύτερη επαναληψιμότητα και την ευελιξία.

Παρόμοια με το Galaxy Zoo, υπάρχουν πολλές καταστάσεις όπου οι κοινωνικοί ερευνητές θέλουν να κωδικοποιήσουν, να ταξινομήσουν ή να επισημάνουν μια εικόνα ή ένα κομμάτι κειμένου. Ένα παράδειγμα αυτού του είδους έρευνας είναι η κωδικοποίηση των πολιτικών μανιφέστων. Κατά τη διάρκεια των εκλογών, τα πολιτικά κόμματα παράγουν εκδηλώσεις που περιγράφουν τις θέσεις πολιτικής τους και κατευθύνουν τις φιλοσοφίες. Για παράδειγμα, εδώ είναι ένα κομμάτι του μανιφέστου του Εργατικού Κόμματος στο Ηνωμένο Βασίλειο από το 2010:

«Εκατομμύρια άνθρωποι που εργάζονται σε δημόσιες υπηρεσίες μας ενσωματώνουν τις καλύτερες τιμές της Βρετανίας, βοηθώντας δυνατότητα στους ανθρώπους να αξιοποιήσουν στο έπακρο τη ζωή τους, ενώ την προστασία τους από τους κινδύνους που δεν πρέπει να φέρουν τη δική τους. Ακριβώς όπως πρέπει να είμαστε πιο τολμηροί για το ρόλο της κυβέρνησης στη λήψη αγορές δουλεύουν αρκετά, πρέπει επίσης να είμαστε τολμηροί μεταρρυθμιστές της κυβέρνησης. "

Αυτά τα δελτία περιέχουν πολύτιμα στοιχεία για τους πολιτικούς επιστήμονες, ιδιαίτερα εκείνους που μελετούν τις εκλογές και τη δυναμική των πολιτικών συζητήσεων. Για να συλλέξουν συστηματικά πληροφορίες από αυτά τα μανιφέστα, οι ερευνητές δημιούργησαν το πρόγραμμα μανιφέστο, το οποίο συνέλεξε 4.000 εκδηλώσεις από σχεδόν 1.000 κόμματα σε 50 χώρες και στη συνέχεια οργάνωσαν πολιτικούς επιστήμονες για να τους κωδικοποιήσουν συστηματικά. Κάθε πρόταση σε κάθε μανιφέστο κωδικοποιήθηκε από έναν εμπειρογνώμονα χρησιμοποιώντας ένα σχήμα 56 κατηγοριών. Το αποτέλεσμα αυτής της συλλογικής προσπάθειας είναι ένα τεράστιο σύνολο δεδομένων που συνοψίζει τις πληροφορίες που ενσωματώνονται σε αυτά τα μανιφέστα και αυτό το σύνολο δεδομένων έχει χρησιμοποιηθεί σε περισσότερες από 200 επιστημονικές εργασίες.

Ο Kenneth Benoit και οι συνάδελφοί του (2016) αποφάσισαν να λάβουν το έργο κωδικοποίησης μανιφέστο το οποίο είχαν προηγουμένως εκτελεστεί από ειδικούς και να το μετατρέψουν σε ανθρώπινο έργο υπολογισμού. Ως αποτέλεσμα, δημιούργησαν μια διαδικασία κωδικοποίησης που είναι πιο αναπαραγώγιμη και πιο ευέλικτη, για να μην αναφέρουμε φθηνότερα και ταχύτερα.

Σε συνεργασία με 18 εκδηλώσεις που δημιουργήθηκαν κατά τη διάρκεια έξι πρόσφατων εκλογών στο Ηνωμένο Βασίλειο, ο Benoit και οι συνεργάτες του χρησιμοποίησαν τη στρατηγική split-apply-combine με εργαζόμενους από μια αγορά εργασίας microtask (Amazon Mechanical Turk και CrowdFlower είναι παραδείγματα αγορών εργασίας microtask. , βλέπε κεφάλαιο 4). Οι ερευνητές πήραν κάθε μανιφέστο και το χωρίστηκαν σε προτάσεις. Στη συνέχεια, ένα άτομο εφάρμοσε το σχήμα κωδικοποίησης σε κάθε πρόταση. Συγκεκριμένα, ζητήθηκε από τους αναγνώστες να ταξινομήσουν κάθε φράση ως αναφορά στην οικονομική πολιτική (αριστερά ή δεξιά), στην κοινωνική πολιτική (φιλελεύθερη ή συντηρητική) ή ούτε σε (εικόνα 5.5). Κάθε πρόταση κωδικοποιήθηκε από περίπου πέντε διαφορετικούς ανθρώπους. Τέλος, αυτές οι αξιολογήσεις συνδυάστηκαν χρησιμοποιώντας ένα στατιστικό μοντέλο που αντιστοιχούσε τόσο στις επιπτώσεις των επιμέρους επιπτώσεων όσο και στις επιπτώσεις της δυσκολίας των προτάσεων. Συνολικά, ο Benoit και οι συνάδελφοί του συγκέντρωσαν 200.000 βαθμολογίες από περίπου 1.500 άτομα.

Εικόνα 5.5: Σχέδιο κωδικοποίησης από τους Benoit et al. (2016) . Οι αναγνώστες κλήθηκαν να κατατάξουν κάθε πρόταση ως αναφορά στην οικονομική πολιτική (αριστερά ή δεξιά), στην κοινωνική πολιτική (φιλελεύθερη ή συντηρητική), ούτε σε καμία. Προσαρμοσμένη από τους Benoit et al. (2016) , σχήμα 1.

Προκειμένου να εκτιμηθεί η ποιότητα της κωδικοποίησης πλήθους, ο Benoit και οι συνεργάτες του είχαν περίπου 10 εμπειρογνώμονες-καθηγητές και μεταπτυχιακούς φοιτητές στην πολιτική επιστήμη - βαθμολόγησαν τα ίδια διαδηλώματα χρησιμοποιώντας μια παρόμοια διαδικασία. Παρόλο που οι βαθμολογίες από τα μέλη του πλήθους ήταν πιο μεταβλητές από τις αξιολογήσεις των εμπειρογνωμόνων, η βαθμολογία των συναινετικών πλήθους είχε αξιοσημείωτη συμφωνία με τη βαθμολογία των εμπειρογνωμόνων (σχήμα 5.6). Αυτή η σύγκριση δείχνει ότι, όπως συμβαίνει με τον ζωολογικό κήπο Galaxy, τα ανθρώπινα προγράμματα υπολογισμού μπορούν να παράγουν αποτελέσματα υψηλής ποιότητας.

Σχήμα 5.6: Οι εκτιμήσεις εμπειρογνωμόνων ( \(x\) -axis) και οι εκτιμήσεις πλήθους ( \(y\) -axis) ήταν σε αξιοσημείωτη συμφωνία όταν κωδικοποιούσαν 18 εκδηλώσεις από το Ηνωμένο Βασίλειο (Benoit et al. 2016) Τα κωδικοποιημένα πρότυπα ήταν από τρία πολιτικά κόμματα (Συντηρητικοί, Εργατικοί και Φιλελεύθεροι Δημοκράτες) και έξι εκλογές (1987, 1992, 1997, 2001, 2005 και 2010). Προσαρμοσμένη από τους Benoit et al. (2016) , σχήμα 3.

Βασιζόμενοι σε αυτό το αποτέλεσμα, ο Benoit και οι συνάδελφοί του χρησιμοποίησαν το σύστημα κωδικοποίησης πλήθους για να διεξαγάγουν έρευνα που ήταν αδύνατη με το σύστημα κωδικοποίησης εμπειρογνωμόνων που χρησιμοποιούσε το Πρόγραμμα Μανιφέστο. Για παράδειγμα, το Πρόγραμμα Μανιφέστο δεν κωδικοποίησε τα μανιφέστα για το θέμα της μετανάστευσης, διότι αυτό δεν ήταν ένα σημαντικό ζήτημα όταν το πρόγραμμα κωδικοποίησης αναπτύχθηκε στα μέσα της δεκαετίας του '80. Και, σε αυτό το σημείο, είναι απολύτως λογικό για το έργο Μανιφέστο να επιστρέψει και να ξανακωδικοποιήσει τα μανιφέστα τους για να συλλάβει αυτές τις πληροφορίες. Ως εκ τούτου, φαίνεται ότι οι ερευνητές που ενδιαφέρονται να μελετήσουν την πολιτική μετανάστευσης είναι από τύχη. Ωστόσο, ο Benoit και οι συνεργάτες του ήταν σε θέση να χρησιμοποιήσουν το ανθρώπινο σύστημα υπολογισμού τους για να κάνουν αυτή την κωδικοποίηση προσαρμοσμένη στην ερευνητική τους ερώτηση - γρήγορα και εύκολα.

Για να μελετήσουν τη μεταναστευτική πολιτική, κωδικοποίησαν τα εκδηλώσεις για οκτώ κόμματα στις γενικές εκλογές του 2010 στο Ηνωμένο Βασίλειο. Κάθε πρόταση σε κάθε μανιφέστο κωδικοποιήθηκε για το κατά πόσον σχετίζεται με τη μετανάστευση και αν ναι, εάν ήταν μεταναστευτική, ουδέτερη ή κατά της μετανάστευσης. Μέσα σε 5 ώρες από την έναρξη του έργου τους, τα αποτελέσματα ήταν μέσα. Είχαν συγκεντρώσει περισσότερες από 22.000 απαντήσεις με συνολικό κόστος $ 360. Επιπλέον, οι εκτιμήσεις από το πλήθος έδειξαν αξιοσημείωτη συμφωνία με προηγούμενη έρευνα εμπειρογνωμόνων. Στη συνέχεια, ως τελικό τεστ, δύο μήνες αργότερα, οι ερευνητές αναπαράγουν την κωδικοποίηση πλήθους τους. Μέσα σε λίγες ώρες, δημιούργησαν ένα νέο σύνολο δεδομένων που κωδικοποίησε πλήθος, το οποίο συμπλήρωσε απόλυτα το αρχικό τους σύνολο κωδικοποιημένων πλήθους. Με άλλα λόγια, ο ανθρώπινος υπολογισμός τους επέτρεψε να παράγουν κωδικοποίηση πολιτικών κειμένων που συμφωνούσαν με αξιολογήσεις εμπειρογνωμόνων και ήταν αναπαραγώγιμες. Επιπλέον, επειδή ο ανθρώπινος υπολογισμός ήταν γρήγορος και φθηνός, ήταν εύκολο για αυτούς να προσαρμόσουν τη συλλογή των δεδομένων τους στο συγκεκριμένο ερευνητικό ερώτημά τους για τη μετανάστευση.