5.2.2 קראַוד-קאָודינג פון פּאָליטיש מאַניפעסטאָס

קאָודינג פּאָליטיש מאַניפעסטאָס, עפּעס טיפּיקלי געטאן דורך עקספּערץ, קענען ווערן געטאן דורך אַ מענטש קאַמפּיאַטיישאַן פּרויעקט ריזאַלטינג אין גרעסער רעפּראָדוסיביליטי און בייגיקייַט.

ענלעך צו גאַלאַקסי זאָאָלאָגישער גאָרטן, עס זענען פילע סיטואַטיאָנס וווּ געזעלשאַפטלעך ריסערטשערז ווילן צו קאָד, קלאַסיפיצירן, אָדער פירמע אַ בילד אָדער שטיק פון טעקסט. א ביישפיל פון דעם מין פון פאָרשונג איז די קאָדירונג פון פּאָליטיש מאַנאַפעסטאָו. בעשאַס ילעקשאַנז, פּאָליטיש פּאַרטיעס פּראָדוצירן מאַנאַפעסטאַבאַלז דיסקרייבינג זייער פּאָליטיק שטעלעס און גיידינג פילאָסאָפיעס. למשל, דאָ ס אַ שטיק פון די מאַנאַפעסטאָו פון די לייבער פארטיי אין די אמעריקאנער קינגדאָם פון 2010:

"מילליאָנס פון מענטשן ארבעטן אין אונדזער ציבור באַדינונגען ימבאַדי דער בעסטער וואַלועס פון בריטאַן, העלפּינג ימפּאַוער מענטשן צו מאַכן די רובֿ פון זייער אייגן לעבן בשעת פּראַטעקטינג זיי פון די ריסקס זיי זאָל ניט האָבן צו טראָגן אויף זייער אייגן. פּונקט ווי מיר דאַרפֿן צו זייַן באָלדער וועגן די ראָלע פון ​​רעגירונג אין מאכן מאַרקעץ אַרבעט פאַירלי, מיר אויך דאַרפֿן צו זיין דרייסט רעפאָרמערס פון רעגירונג. "

די מאַנאַפעסטאָוז אַנטהאַלטן ווערטפול דאַטע פֿאַר פּאָליטיש סייאַנטיס, ספּעציעל יענע געלערנט ילעקשאַנז און די דינאַמיק פון פּאָליטיק דעבאַטע. אין סדר צו סיסטאַמאַטיקאַללי עקסטראַקט אינפֿאָרמאַציע פון ​​די מאַנאַפעסטיישאַנז, די ריסערטשערז באשאפן די מאַניפעסטאָ פּראָיעקט, וואָס געזאמלט 4,000 מאַנאַפעסטיישאַנז פון קימאַט 1,000 פּאַרטיעס אין 50 לענדער, און דעמאָלט אָרגאַניזירט פּאָליטיש סייאַנטיס צו סיסטאַמאַטיקלי קאָד זיי. יעדער זאַץ אין יעדער מאַנאַפעסטאָו איז געווען קאָדעד דורך אַ מומחה ניצן אַ 56-קאַטעגאָריע סכעמע. דער רעזולטאַט פון דעם מיטאַרבעטער מי איז אַ מאַסיוו דאַטאַסעט סאַמערייזינג די אינפֿאָרמאַציע אַרייַנגערעכנט אין די מאַנאַפעסטיישאַנז, און דעם דאַטאַסעט איז געוויינט אין מער ווי 200 וויסנשאפטן צייטונגען.

קענניט בענאָיט און קאָללאַרס (2016) באַשלאָסן צו נעמען די מאַנאַפעסטאָו קאָדירונג אַרבעט וואָס האט פריער געווען געטאן דורך עקספּערץ און אומקערן עס אין אַ מענטש קאַמפּיאַטיישאַן פּרויעקט. ווי אַ רעזולטאַט, זיי באשאפן אַ קאָדירונג פּראָצעס וואָס איז מער רעפּראָדוסיבלע און מער פלעקסאַבאַל, ניט צו דערמאָנען טשיפּער און פאַסטער.

ארבעטן מיט 18 מאַנאַפעסטאַמז דזשענערייטאַד בעשאַס זעקס לעצטן וואלן אין די פֿאַראייניקטע קינגדאָם, Benoit and colleagues used the split-apply-combine strategy with workers from a microtask labor market (Amazon Mechanical Turk and CrowdFlower are examples of microtask labor markets, for more on such markets , זען טשאַפּטער 4). די ריסערטשערז גענומען יעדער מאַנאַפעסטאָו און שפּאַלטן עס אין זאצן. ווייַטער, אַ מענטש געווענדט די קאָדירונג סכעמע צו יעדער זאַץ. אין באַזונדער, לייענער זענען געבעטן צו קלאַסיפיצירן יעדער זאַץ ווי ריפערינג צו עקאָנאָמיש פּאָליטיק (לינקס אָדער רעכט), צו געזעלשאַפטלעך פּאָליטיק (ליבעראַל אָדער קאָנסערוואַטיווע), אָדער צו ניט (פיגורע 5.5). יעדער זאַץ איז קאָדעד דורך וועגן פינף פאַרשידענע מענטשן. צום סוף, די רייטינגז זענען קאַמביינד ניצן אַ סטאַטיסטיש מאָדעל וואָס אַקאַונאַד פֿאַר יחיד-ראַטער יפעקס און שוועריקייט-פון-זאַץ יפעקס. אין אַלע, Benoit and colleagues gathered 200,000 ratings from about 1,500 people.

פיגורע 5.5: Coding scheme פון Benoit et al. (2016) . די לייענער זענען געבעטן צו קלאַסיפיצירן יעדער זאַץ ווי ריפערינג צו עקאָנאָמיש פּאָליטיק (לינקס אָדער רעכט), צו געזעלשאַפטלעך פּאָליטיק (ליבעראַל אָדער קאָנסערוואַטיווע), אָדער צו ניט. Adapted from Benoit et al. (2016) , פיגור 1.

אין סדר צו אַססעסס די קוואַליטעט פון די מאַסע קאָודינג, Benoit and colleagues also had about 10 experts-professors and graduate students in political science-rate the same manifestos using a similar procedure. כאָטש די רייטינגז פון מיטגלידער פון די מאַסע זענען געווען מער בייַטעוודיק ווי די רייטינגז פון די עקספּערץ, די קאָנסענסוס שטראָף שאַץ האט מערקווירדיק העסקעם מיט די עצה מומחה ראַנג (פיגורע 5.6). דעם פאַרגלייַך ווייזט אַז, ווי מיט גאַלאַקסי זאָאָלאָגישער גאָרטן, מענטש קאַמפּיאַטינג פראיעקטן קענען פּראָדוצירן הויך-קוואַליטעט רעזולטאַטן.

פיגורע 5.6: עקספּערט עסטאַמאַץ ( \(x\) -אַקסיס) און מאַסע עסטאַמאַץ ( \(y\) -אַקסיס) זענען געווען אין מערקווירדיק העסקעם ווען קאָודינג 18 פּאַרטיי מאַנאַפעסטאָוז פון די פאראייניגטע קעניגרייך (Benoit et al. 2016) . די מאַניפעסטאָס קאָדעד זענען פון דרייַ פּאָליטיש פּאַרטיעס (קאָנסערוואַטיווע, לייבער, און ליבעראַל דעמאָקראַץ) און זעקס ילעקשאַנז (1987, 1992, 1997, 2001, 2005, און 2010). Adapted from Benoit et al. (2016) , פיגורע 3.

געבויט אויף דעם רעזולטאַט, Benoit and colleagues used their crowd-coding system to do research that was impossible with the expert-run coding system used by the Manifesto Project. פֿאַר בייַשפּיל, די מאַניפעסטאָ פּראָיעקט האט נישט קאָד די מאַנאַפעסטאַמז אויף די טעמע פון ​​ימאַגריישאַן, ווייַל דאָס איז נישט אַ גרויס טעמע ווען די קאָדירונג סכעמע איז געווען דעוועלאָפּעד אין די מיטן 1980 'ס. און, בייַ דעם פונט, עס איז לאַדזשיסטיקלי ומזעיק פֿאַר די מאַניפעסטאָ פּראָיעקט צו גיין צוריק און רעקאָדע זייער מאַנאַפעסטאָו צו כאַפּן דעם אינפֿאָרמאַציע. דעריבער, עס וואָלט דערשייַנען אַז ריסערטשערז אינטערעסירט אין לערנען די פּאָליטיק פון ימאַגריישאַן זענען אויס פון גליק. אָבער, Benoit and colleagues were able to use their human computation system to do this coding-customized to their research question-quickly and easily.

אין סדר צו לערנען ימאַגריישאַן פּאָליטיק, זיי קאָדעד די מאַנאַפעסטיישאַנז פֿאַר אַכט פּאַרטיעס אין די 2010 אַלגעמיין וואַלן אין די פֿאַראייניקטע מלכות. יעדער זאַץ אין יעדער מאַנאַפעסטאָו איז געווען קאָדעד ווי צו זיין יממיגראַטיאָן, און אויב אַזוי, עס איז פּראָ-ימאַגריישאַן, נייטראַל אָדער אַנטי ימאַגריישאַן. ין 5 שעה פון לאָנטשינג זייער פּרויעקט, די רעזולטאַטן זענען ין. זיי האט געזאמלט מער ווי 22,000 רעספּאָנסעס בייַ אַ גאַנץ פּרייַז פון $ 360. ווייַטער, די עסטאַמאַץ פון די מאַסע געוויזן מערקווירדיק העסקעם מיט אַן פריער יבערבליק פון עקספּערץ. דעריבער, ווי אַ לעצט פּרובירן, צוויי חדשים שפּעטער, די ריסערטשערז ריפּראַדוסט זייער מאַסע-קאָדירונג. ין אַ ביסל שעה, זיי האָבן באשאפן אַ נייַע מאַסע-קאָדעד דאַטאַסעט אַז ענג מאַטשט זייער אָריגינעל מאַסע-קאָדעד דאַטע שטעלן. אין אנדערע ווערטער, מענטש קאַמפּיאַטיישאַן ינייבאַלד זיי צו דזשענערייט קאַדינג פון פּאָליטיש טעקסץ אַז מסכים מיט עקספּערט עוואַלואַטיאָנס און איז געווען רעפּראָדוסיבלע. ווייַטער, ווייַל די מענטשלעך כעזשבן איז שנעל און ביליק, עס איז געווען גרינג פֿאַר זיי צו קאַסטאַמייז זייער דאַטן זאַמלונג צו זייער ספּעציפיש פאָרשונג קשיא וועגן ימאַגריישאַן.