5.2.2 Folla-codifica di manifesti politici
Coding manifesti politici, qualcosa di tipicamente fatto da esperti, può essere eseguita da un progetto di computazione umana con conseguente maggiore riproducibilità e flessibilità.
Simile a Galaxy Zoo, ci sono molte situazioni in cui i ricercatori sociali vogliono codificare, classificare o etichettare un'immagine o una parte di testo. Un esempio di questo tipo di ricerca è la codifica dei manifesti politici. Durante le elezioni, i partiti politici producono manifesti che descrivono le loro posizioni politiche e le loro filosofie guida. Ad esempio, ecco un pezzo del manifesto del Partito laburista nel Regno Unito dal 2010:
"Milioni di persone che lavorano nei nostri servizi pubblici incarnano i migliori valori della Gran Bretagna, aiutando aiutare le persone a fare la maggior parte della propria vita mentre li protegge dai rischi che non avrebbero dovuto sopportare da soli. Così come abbiamo bisogno di essere più audace sul ruolo del governo nel fare funzionare i mercati abbastanza, abbiamo anche bisogno di essere riformatori audaci di governo ".
Questi manifesti contengono dati preziosi per gli scienziati politici, in particolare quelli che studiano le elezioni e le dinamiche dei dibattiti politici. Al fine di estrarre sistematicamente le informazioni da questi manifesti, i ricercatori hanno creato The Manifesto Project, che ha raccolto 4.000 manifestos da quasi 1.000 parti in 50 paesi e ha poi organizzato politologi per codificarli sistematicamente. Ogni frase in ciascun manifesto è stata codificata da un esperto utilizzando uno schema di 56 categorie. Il risultato di questo sforzo collaborativo è un enorme set di dati che riassume le informazioni incorporate in questi manifesti e questo set di dati è stato utilizzato in più di 200 articoli scientifici.
Kenneth Benoit e colleghi (2016) deciso di prendere il compito di codifica del manifesto che era stato precedentemente eseguito da esperti e trasformarlo in un progetto di calcolo umano. Di conseguenza, hanno creato un processo di codifica più riproducibile e più flessibile, per non dire più economico e veloce.
Lavorando con 18 manifesti generati durante sei recenti elezioni nel Regno Unito, Benoit e colleghi hanno utilizzato la strategia split-apply-combine con i lavoratori di un mercato del lavoro di microtask (Amazon Mechanical Turk e CrowdFlower sono esempi di mercati del lavoro su microtask; , vedi capitolo 4). I ricercatori hanno preso ciascun manifesto e lo hanno diviso in frasi. Successivamente, una persona ha applicato lo schema di codifica ad ogni frase. In particolare, ai lettori è stato chiesto di classificare ciascuna frase come riferita alla politica economica (sinistra o destra), alla politica sociale (liberale o conservatrice), oa nessuna delle due (figura 5.5). Ogni frase è stata codificata da circa cinque persone diverse. Infine, queste valutazioni sono state combinate utilizzando un modello statistico che ha tenuto conto sia degli effetti dei singoli valutatori che degli effetti di difficoltà di frase. In totale, Benoit e colleghi hanno raccolto 200.000 valutazioni da circa 1.500 persone.
Figura 5.5: Schema di codifica da Benoit et al. (2016) . Ai lettori è stato chiesto di classificare ciascuna frase come riferita alla politica economica (sinistra o destra), alla politica sociale (liberale o conservatrice) o all'uno o all'altro. Adattato da Benoit et al. (2016) , figura 1.
Al fine di valutare la qualità della codifica della folla, Benoit e colleghi avevano anche circa 10 esperti - professori e dottorandi in scienze politiche - valutano gli stessi manifestos usando una procedura simile. Sebbene le valutazioni dei membri della folla fossero più variabili rispetto alle valutazioni degli esperti, la valutazione della folla di consenso aveva un notevole accordo con la valutazione degli esperti di consenso (figura 5.6). Questo confronto mostra che, come con Galaxy Zoo, i progetti di calcolo umano possono produrre risultati di alta qualità.
Figura 5.6: le stime degli esperti (assi ( \(x\) ) e le stime di massa (asse ( \(y\) ) erano in notevole accordo quando si codificano 18 manifesti di partito dal Regno Unito (Benoit et al. 2016) . I manifesti codificati provenivano da tre partiti politici (conservatori, laburisti e liberaldemocratici) e sei elezioni (1987, 1992, 1997, 2001, 2005 e 2010). Adattato da Benoit et al. (2016) , figura 3.
Basandosi su questo risultato, Benoit e colleghi hanno usato il loro sistema di codifica della folla per fare ricerche che erano impossibili con il sistema di codifica gestito da esperti utilizzato dal Progetto Manifesto. Ad esempio, il Manifesto Project non ha codificato i manifesti sul tema dell'immigrazione perché non era un argomento saliente quando lo schema di codifica è stato sviluppato a metà degli anni '80. E, a questo punto, è logisticamente impossibile per il Manifesto Project tornare indietro e ricodificare i loro manifesti per acquisire queste informazioni. Pertanto, sembrerebbe che i ricercatori interessati a studiare la politica dell'immigrazione siano sfortunati. Tuttavia, Benoit e colleghi sono stati in grado di utilizzare il loro sistema di calcolo umano per eseguire questa codifica, personalizzata in base alla loro domanda di ricerca, in modo rapido e semplice.
Per studiare la politica di immigrazione, hanno codificato i manifesti per otto partiti nelle elezioni generali del 2010 nel Regno Unito. Ogni frase in ciascun manifesto è stata codificata per stabilire se si riferiva all'immigrazione e, in tal caso, se si trattava di pro-immigrazione, neutralità o anti-immigrazione. Entro 5 ore dal lancio del loro progetto, i risultati sono stati raggiunti. Avevano raccolto oltre 22.000 risposte per un costo totale di $ 360. Inoltre, le stime della folla hanno mostrato un notevole accordo con un precedente sondaggio di esperti. Poi, come test finale, due mesi dopo, i ricercatori hanno riprodotto la codifica della folla. Nel giro di poche ore, avevano creato un nuovo set di dati codificato per la folla che corrispondeva esattamente al loro insieme di dati codificati per la folla originale. In altre parole, il calcolo umano ha permesso loro di generare la codifica di testi politici che concordavano con le valutazioni degli esperti ed erano riproducibili. Inoltre, poiché il calcolo umano era rapido ed economico, era facile per loro personalizzare la propria raccolta di dati in base alla propria domanda di ricerca sull'immigrazione.
