5.2.2 Folla-codifica di manifesti politici
Coding manifesti politici, qualcosa di tipicamente fatto da esperti, può essere eseguita da un progetto di computazione umana con conseguente maggiore riproducibilità e flessibilità.
Simile al Galaxy Zoo, ci sono molte situazioni in cui i ricercatori sociali vogliono codice, classificare, o l'etichetta di un'immagine o un pezzo di testo. Un esempio di questo tipo di ricerca è la codifica di manifesti politici. Durante le elezioni, i partiti politici producono manifesti che descrivono le loro posizioni politiche e guida filosofie. Ad esempio, ecco un pezzo del manifesto del partito laburista in Gran Bretagna a partire dal 2010:
"Milioni di persone che lavorano nei nostri servizi pubblici incarnano i migliori valori della Gran Bretagna, aiutando aiutare le persone a fare la maggior parte della propria vita mentre li protegge dai rischi che non avrebbero dovuto sopportare da soli. Così come abbiamo bisogno di essere più audace sul ruolo del governo nel fare funzionare i mercati abbastanza, abbiamo anche bisogno di essere riformatori audaci di governo ".
Questi manifesti contengono dati importanti per gli scienziati politici, segnatamente quelle elezioni che studiano e le dinamiche di dibattiti politici. Per estrarre sistematicamente informazioni da questi manifesti, i ricercatori hanno creato il Progetto Manifesto , che ha organizzato politologi per codificare 4.000 manifesti da quasi 1.000 parti in 50 paesi. Ogni frase in ogni manifesto è stato codificato da un esperto utilizzando uno schema 56-categoria. Il risultato di questo sforzo di collaborazione è un insieme di dati enorme che riassume le informazioni memorizzate in questi manifesti, e questo insieme di dati è stato utilizzato in più di 200 articoli scientifici.
Kenneth Benoit e colleghi (2015) hanno deciso di prendere il compito di codifica manifesto che era stato precedentemente effettuato da esperti e di trasformarlo in un progetto di calcolo umano. Come risultato, hanno creato un processo di codifica che è più riproducibile e flessibile, per non parlare economico e rapido.
Lavorare con 18 manifesti generati durante sei recenti elezioni nel Regno Unito, Benoit e colleghi hanno utilizzato la scissione Apply-combinare strategia con i lavoratori provenienti da un mercato del lavoro di micro-attività (Amazon Mechanical Turk e CrowdFlower sono esempi di mercati del lavoro di micro-attività; per di più sui mercati del lavoro di micro-task, vedere il Capitolo 4). I ricercatori hanno preso ogni manifesto e dividerlo in frasi. Avanti, Valutazione umano è stato applicato a ogni frase. In particolare, se la sentenza ha coinvolto una dichiarazione politica, è stato codificato lungo due dimensioni: economica (da sinistra a molto molto a destra) e sociale (da liberale conservatore) (Figura 5.5). Ogni frase è stata codificata da circa 5 persone diverse. Infine, queste valutazioni sono stati combinati con un modello statistico che ha rappresentato per entrambi gli effetti rater individuali e difficoltà di effetti di frase. In tutto, Benoit e colleghi hanno raccolto 200.000 recensioni A partire da circa 1.500 lavoratori.
Figura 5.5: schema di codifica da Benoit et al. (2015) (Figura 1).
Al fine di valutare la qualità della codifica folla, Benoit e colleghi hanno anche avuto circa 10 esperti-docenti e studenti universitari in Scienze Politiche a tasso gli stessi manifesti utilizzando una procedura simile. Anche se i feedback da parte dei membri della folla erano più variabili di quanto i feedback da parte degli esperti, il rating folla consenso ha avuto notevole accordo con il rating esperto di consenso (Figura 5.6). Questo confronto dimostra che, come per Galaxy Zoo, progetti di calcolo umane in grado di produrre risultati di alta qualità.
Figura 5.6: stime di esperti (asse x) e le stime folla (asse y) erano in notevole accordo quando si scrive codice 18 manifesti di partito dalla Gran Bretagna (Benoit et al. 2015) . I manifesti sono stati codificati da tre partiti (conservatori, laburisti, Liberali Democratici) e sei le elezioni (1987, 1992, 1997, 2001, 2005, 2010).
Sulla base di questo risultato, Benoit e colleghi hanno usato il loro sistema di crowd-codifica di fare ricerca che era impossibile con il Progetto Manifesto. Ad esempio, il progetto Manifesto non ha codificare i manifesti sul tema dell'immigrazione perché non era un argomento saliente quando lo schema di codifica è stato sviluppato a metà degli anni 1980. E, a questo punto, è logisticamente fattibile per il Progetto Manifesto per tornare indietro e re-code loro manifesti per acquisire queste informazioni. Pertanto, sembrerebbe che i ricercatori interessati allo studio della politica di immigrazione sono fuori di fortuna. Tuttavia, Benoit e colleghi sono stati in grado di utilizzare il loro sistema di calcolo umano per fare questa codifica-personalizzato per la loro ricerca di domande rapidamente e facilmente.
Al fine di studiare la politica di immigrazione, che codificati i manifesti per otto parti in elezioni del 2010 in Gran Bretagna. Ogni frase in ogni manifesto è stato codificato come se si riferiva a immigrazione, e in caso affermativo, se era pro-immigrazione, neutra, o anti-immigrazione. Entro 5 ore di lanciare il loro progetto, i risultati sono stati in. Avevano raccolto più di 22.000 risposte per un costo totale di $ 360. Inoltre, le stime della folla hanno mostrato notevole accordo con una precedente indagine di esperti. Poi, come un test finale, due mesi dopo, i ricercatori hanno riprodotto il loro pubblico-codifica. Nel giro di poche ore, avevano creato un nuovo insieme di dati crowd-coded che strettamente allineato il loro set di dati originale folla codificati. In altre parole, il calcolo umano ha permesso loro di generare codifica dei testi politici che hanno accettato con valutazioni degli esperti e era riproducibile. Inoltre, poiché il calcolo umano era veloce ed economico, è stato facile per loro di personalizzare la propria raccolta di dati per la loro domanda di ricerca specifica di immigrazione.
