5.2.2 Crowd-kodeerimine poliitilise manifestides

Kodeerimise poliitilise manifestides, mida tavaliselt tehakse eksperdid, saab teostada inimese arvutusvõimsus projekti tulemuseks suurema korratavus ja paindlikkust.

Sarnaselt Galaxy loomaaiale on palju olukordi, kus sotsiaalteadlased soovivad pilti või tekstiosa kodeerida, klassifitseerida või märgistada. Sellise uurimistöö näide on poliitiliste manifestide kodeerimine. Valimistel toodavad erakonnad manifeste, mis kirjeldavad oma poliitilisi positsioone ja juhivad filosoofiaid. Näiteks siin on Ühendkuningriigi tööpartei manifesti alates 2010. aastast:

"Miljonid inimesed, kes töötavad meie avalikud teenused kehastavad parimate väärtuste Suurbritannia, aidates anda inimestele kõige paremini oma elu samas kaitstes neid riske, mida nad ei peaks kandma oma. Nii nagu me peame olema julgem rollist valitsuse panna turud tööle üsna peame ka olla julge reformijad valitsus. "

Need manifestid sisaldavad väärtuslikke andmeid poliitteadlastele, eriti valimistel õppivatele ja poliitiliste arutelude dünaamikale. Selleks, et süstemaatiliselt nendele manifestidele teavet välja võtta, loonud teadlased The Manifesto Project, mis kogus 4000 manifesti ligi 1000 osapoolel 50 riigis ja korraldas seejärel poliitikuteadlaste korrapärase kodeerimise. Iga manifesti iga lause kodeeris 56-kategooria skeemi kasutav ekspert. Selle koostöö jõupingutuse tulemus on tohutu andmekogum, mis võtab kokku nende manifestidega varustatud teabe, ja seda andmekogumit on kasutatud rohkem kui 200 teaduslikes artiklites.

Kenneth Benoit ja tema kolleegid (2016) otsustasid teha manifesti kodeerimisülesande, mille eksperdid olid varem läbi viinud ja muutes selle inimese arvutusprojektiks. Selle tulemusena loodi kodifitseerimisprotsess, mis on rohkem reprodutseeritav ja paindlikum, rääkimata odavamast ja kiiremast.

Benoit ja tema kolleegid kasutasid Ühendkuningriigis kuuel viimasel valimistel loodud 18 avaldust kasutades mikrotasandi tööturul töötavate töötajate (Amazon Mechanical Turk ja CrowdFlower) näiteid mikrotaskute tööturgude kohta; , vt peatükk 4). Teadlased võtsid iga manifesti ja jagasid selle lausele. Seejärel rakendas inimene iga lause korral kodeerimissüsteemi. Eelkõige paluti lugejatel liigitada iga lause majanduspoliitika (vasakule või paremale), sotsiaalpoliitikale (liberaalne või konservatiivne) või mitte (joonis 5.5). Iga lause kodeeriti umbes viiel erineval inimesel. Lõpuks ühendati need reitingud statistilise mudeli abil, mis hõlmasid nii individuaalset mõju kui ka lausefekte raskust. Kokku kogus Benoit ja tema kolleegid 200 000 hinnangut umbes 1500 inimeselt.

Joonis 5.5: kodeerimisskeem Benoit et al. (2016) . Lugejatel paluti iga lause liigitada majanduspoliitika (vasakule või paremale), sotsiaalpoliitikale (liberaalne või konservatiivne) ega ka kummalegi. Kohandatud Benoit et al. (2016) , joonis 1.

Et hinnata rahvahulga kodeerimise kvaliteeti, oli Benoitil ja tema kolleegidel ka umbes kümme eksperti, professori ja kraadiõppe üliõpilast politoloogias, samu manifesti, kasutades sarnast menetlust. Kuigi rahvahulga liikmete hinnangud olid muutuvamad kui ekspertide hinnangud, oli konsensuse rahvahulga hinnang märkimisväärsele kokkuleppele konsensuse eksperdi hinnanguga (joonis 5.6). See võrdlus näitab, et nagu ka galaktika loomaaias, võivad inimeste arvutusprojektid anda kvaliteetseid tulemusi.

Joonis 5.6: Suurbritannia 18 partei manifesti (Benoit et al. 2016) kodeerimisel oli märkimisväärne kokkulepe ekspertide hinnangute ( \(x\) -axi) ja rahvahulga hinnangute ( \(y\) -sa (Benoit et al. 2016) . Kodeeritud manifestideks olid kolm erakonda (konservatiiv, tööline ja liberaalide demokraadid) ja kuus valimit (1987, 1992, 1997, 2001, 2005 ja 2010). Kohandatud Benoit et al. (2016) , joonis 3.

Selle tulemuse põhjal kasutasid Benoit ja tema kolleegid oma rahvahulkade kodeerimissüsteemi teadusuuringuteks, mis oli võimatu manifesti projekti poolt kasutatud ekspertiisil põhineva kodeerimissüsteemiga. Näiteks Manifesti projekt ei kodeerinud manifesti sisserände teemal, sest see ei olnud oluline teema, kui kodeerimissüsteem töötati välja 1980-ndate keskel. Ja praegusel hetkel on Manifesto projekti jaoks logistiliselt võimatu tagasi pöörduda ja uuesti nende manifestid selle teabe hõivamiseks. Seepärast tundub, et sisserändepoliitika uurimiseks huvitatud teadlased pole õnneks. Kuid Benoit ja tema kolleegid suutsid oma inimkogemissüsteemi kasutada seda kodeerimist, kohandatud oma uurimisküsimusele - kiiresti ja lihtsalt.

Impordipoliitika uurimiseks kirjutasid nad Ühendkuningriigi 2010. aasta üldvalimistel kaheksa partei manifesti. Iga manifesti iga lause oli kodeeritud selle kohta, kas see on seotud sisserändega ja kui jah, siis kas see oli promigratsioon, neutraalne või sisserände vastu võitlemine. Viie tunni jooksul pärast projekti käivitamist olid tulemused olemas. Nad kogusid üle 22 000 vastuse kogumaksumusega 360 USD. Peale selle näitas rahvaarvu hinnang märkimisväärset kokkulepet varasemate ekspertide küsitlustega. Siis lõppesid kahe kuu pärast, teadlased kordasid oma rahvahulk-kodeerimist. Mõne tunni jooksul olid nad loonud uue rahvahulk-kodeeritud andmekogumi, mis oli täpselt samaväärne nende esialgse rahvahulga kodeeritud andmekogumiga. Teisisõnu, inimeste arvutus võimaldas neil genereerida poliitiliste tekstide kodeeringut, mis olid ekspertide hinnangutega kokku lepitud ja olid reprodutseeritavad. Veelgi enam, kuna inimeste arvutus oli kiire ja odav, oli neil lihtne oma andmete kogumist kohandada konkreetse uurimisküsimusega sisserände kohta.