וואָס צו לייענען ווייַטער
- הקדמה (אָפּטיילונג 5.1)
מאַסע קאָללאַבאָראַטיאָן בלענדז אידעעס פון בירגער וויסנשאַפֿט , קראַודסאָורסינג , און קאָלעקטיוו סייכל . בירגער וויסנשאַפֿט יוזשאַוואַלי מיטל מיט "בירגערס" (ד"ה, נאַנסייליסיס) אין די וויסנשאפטלעכע פּראָצעס; פֿאַר מער, זען Crain, Cooper, and Dickinson (2014) און Bonney et al. (2014) . קראַודסאָורסינג יוזשאַוואַלי מיטל אַ פּראָבלעם אָוווערינעראַלי סאַלווד אין אַ אָרגאַניזאַציע און אַנשטאָט אַוצאָרסינג עס צו אַ מאַסע; פֿאַר מער, זען Howe (2009) . קאַלעקטיוו סייכל יוזשאַוואַלי מיטל גרופּעס פון מענטשן אַקטינג קאַלעקטיוולי אין וועגן וואָס ויסקומען ינטעליגענט; פֿאַר מער, זען Malone and Bernstein (2015) . Nielsen (2012) איז אַ בוך-לענג הקדמה צו דער מאַכט פון מאַסע מיטאַרבעט פֿאַר וויסנשאפטלעכע פאָרשונג.
עס זענען פילע טייפּס פון מאַסע מיטאַרבעטער וואָס טאָן ניט פּאַסיק פּונקט אין די דרייַ קאַטעגאָריעס וואָס איך האָבן פארגעלייגט, און איך טראַכטן דרייַ פון זיי פאַרדינען ספּעציעל ופמערקזאַמקייַט ווייַל זיי קענען זיין נוצלעך אין געזעלשאַפטלעך פאָרשונג. איין ביישפּיל איז פאָרויסזאָגן מארקפלעצער, ווו פּאַרטיסאַפּאַנץ קויפן און האַנדל קאַנטראַקץ וואָס זענען רידימאַבאַל באזירט אויף אַוטקאַמז אַז פאַלן אין דער וועלט. פּרידיקטינג מארקפלעצער זענען אָפט געניצט דורך פירמס און גאַווערמאַנץ פֿאַר פאָרקאַסטינג, און זיי זענען אויך געניצט דורך געזעלשאַפטלעך ריסערטשערז צו פאָרויסזאָגן די רעפּליקאַביליטי פון ארויס שטודיום אין פּסיכאָלאָגיע (Dreber et al. 2015) . פֿאַר אַ איבערבליק פון דער פּראָגנאָז מארקפלעצער, זען Wolfers and Zitzewitz (2004) און Arrow et al. (2008) .
א צווייטן בייַשפּיל וואָס טוט נישט פּאַסיק געזונט אין מיין קאַטאַגעריזיישאַן סכעמע איז די פּאָלימאַטה פּרויעקט, ווו ריסערטשערז קאַלאַונייטיד ניצן בלאָגס און וויקיס צו באַווייַזן נייַ מאַט טהעאָרעמס. די פּאָלימאַטה פּרויעקט איז אין עטלעכע וועגן ענלעך צו די נעטפליקס פרייז, אָבער אין דעם פּרויעקט פּאַרטיסאַפּאַנץ מער אַקטיוולי געבויט אויף די פּאַרטיייש סאַלושאַנז פון אנדערע. פֿאַר מער אויף דעם פּאָלימאַטה פּרויעקט, זען Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , און Kloumann et al. (2016) .
א דריט בייַשפּיל אַז טוט נישט פּאַסיק געזונט אין מיין קאַטאַגעריזיישאַן סכעמע איז אַז פון צייַט-אָפענגיק מאָובאַליזיישאַנז אַזאַ ווי די דיפענס אַוואַנסירטע פאָרשונג פּראַדזשעקס אַגענסי (דאַרפּאַ) נעטוואָרק טשאַלאַנדזש (ד"ה דעם רעד באַללאָאָן טשאַלאַנדזש). פֿאַר מער אויף די צייַט-שפּירעוודיק מאָובאַליזיישאַנז זען Pickard et al. (2011) , Tang et al. (2011) , און Rutherford et al. (2013) .
- מענטשלעך קאַמפּיאַטיישאַן (אָפּטיילונג 5.2)
דער טערמין "מענטש קאַמפּיאַטיישאַן" קומט אויס פון אַרבעט געטאן דורך קאָמפּיוטער סייאַנטיס, און פארשטאנד די קאָנטעקסט הינטער דעם פאָרשונג וועט פֿאַרבעסערן דיין פיייקייַט צו קלייַבן אויס פּראָבלעמס וואָס קען זיין פּאַסיק פֿאַר אים. פֿאַר זיכער טאַסקס, קאָמפּיוטערס זענען ינקרעדאַבלי שטאַרק, מיט קייפּאַבילאַטיז ווייַט יקסידינג יענע פון אַפֿילו מומחה כיומאַנז. פֿאַר בייַשפּיל, אין שאָך, קאָמפּיוטער קענען שלאָגן אַפֿילו די בעסטער גראַנדמאַסטערז. אָבער-און דאָס איז ווייניקער געזונט אַפּרישיייטיד דורך געזעלשאַפטלעך סייאַנטיס-פֿאַר אנדערע טאַסקס, קאָמפּיוטערס זענען אַקשלי פיל ערגער ווי מענטשן. אין אנדערע ווערטער, רעכט איצט איר זענט בעסער ווי אַפֿילו די מערסט סאַפיסטאַקייטיד קאָמפּיוטער בייַ זיכער טאַסקס אַרייַנגערעכנט פּראַסעסינג פון בילדער, ווידעא, אַודיאָ, און טעקסט. קאמפיוטער סייאַנטיס ארבעטן אויף די שווער-פֿאַר-קאָמפּיוטערס-גרינג-פֿאַר-מענטש אַרבעט אַזוי דערשראָקן אַז זיי קען אַרייַננעמען יומאַנז אין זייער קאַמפּיאַטיישאַנאַל פּראָצעס. דאָ, ווי לויס פֿון אַהן (2005) באַשולדיקט מענטשלעכע רעכענונג ווען ער האָט ערשט דערמאָנט דעם טערמין אין זיין דיסערטאַציע: "אַ פּאַראַדיגם פֿאַר נוצן פון מענטשלעך פּראַסעסינג מאַכט צו סאָלווע פּראָבלעמס אַז קאָמפּיוטער קענען נישט נאָך סאָלווע." פֿאַר אַ בוך-לענג באַהאַנדלונג פון מענטש קאַמפּאַטאַבילאַטי, אין די מערסט גענעראַל סענס פון די טערמין, זען די Law and Ahn (2011) .
לויט צו די דעפֿיניציע פארגעלייגט אין Ahn (2005) פאָלדיט-וואָס איך דיסקרייבד אין דער אָפּטיילונג אויף עפענען רופט-קען זיין געהאלטן אַ מענטש קאַמפּיאַטיישאַן פּרויעקט. אָבער, איך קלייַבן צו פאַרשאַפן פאָלדיט ווי אַ עפענען רופן ווייַל עס ריקווייערז ספּעשאַלייזד סקילז (כאָטש ניט דאַווקע פאָרמאַל טריינינג) און עס נעמט די בעסטער לייזונג קאַנטריביוטיד, אלא ווי ניצן אַ שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע.
דער טערמין "שפּאַלטן-צולייגן-פאַרבינדן" איז געוויינט דורך Wickham (2011) צו באַשרייַבן אַ סטראַטעגיע פֿאַר סטאַטיסטיש קאַמפּיוטינג, אָבער עס בישליימעס קאַפּטשערז דער פּראָצעס פון פילע מענטש קאַמפּיאַטינג פראיעקטן. די שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע איז ענלעך צו די MapReduce פריימווערק דעוועלאָפּעד אין Google; פֿאַר מער אויף MapReduce, זען Dean and Ghemawat (2004) און Dean and Ghemawat (2008) . פֿאַר מער אויף אנדערע פונאנדערגעטיילט קאַמפּיוטינג אַרקאַטעקטשערז, זען Vo and Silvia (2016) . פּרק 3 פון Law and Ahn (2011) האט אַ דיסקוסיע פון פראיעקטן מיט מער קאָמפּליצירט פאַרבינדן טריט ווי די אין דעם קאַפּיטל.
אין די מענטשלעך קאַמפּיאַטינג פראיעקטן וואָס איך האָבן דיסקאַווערד אין דעם קאַפּיטל, די פּאַרטיסאַפּאַנץ זענען געווען אַווער פון וואָס איז געווען געשעעניש. עטלעכע אנדערע פראיעקטן, אָבער, זוכן צו כאַפּן "אַרבעט" וואָס איז שוין געשעעניש (ענלעך צו עבאָאָקד) און אָן אַ באַטייליקטער וויסיקייַט. זע, פֿאַר בייַשפּיל, די עספּ שפּיל (Ahn and Dabbish 2004) און רעקאַפּטטשאַ (Ahn et al. 2008) . אָבער, ביידע פון די פראיעקטן אויך כאַפּן עטישע פראגעס ווייַל פּאַרטיסאַפּאַנץ האבן נישט וויסן ווי זייער דאַטן זענען געניצט (Zittrain 2008; Lung 2012) .
ינספּירעד דורך די ESP שפיל, פילע פאָרשער האָבן געפרוווט צו אַנטוויקלען אנדערע "גאַמעס מיט אַ ציל" (Ahn and Dabbish 2008) (ד"ה "מענטש-באזירט קאַמפּאַטישאַנז" (Pe-Than, Goh, and Lee 2015) ) וואָס קענען זיין געוויינט צו סאָלווע אַ פאַרשיידנקייַט פון אנדערע פּראָבלעמס. וואָס די "גאַמעס מיט אַ ציל" האָבן אין פּראָסט איז אַז זיי פּרובירן צו מאַכן די טאַסקס ינוואַלווד אין מענטש קאַמפּרעשאַן ענדזשויאַבאַל. אזוי, בשעת די ESP Game שאַרעס די זעלבע שפּאַלטן-צולייגן-פאַרבינדן סטראַקטשער מיט גאַלאַקסי זאָאָלאָגישער גאָרטן, עס דיפערז אין ווי פּאַרטיסאַפּאַנץ זענען מאָוטאַווייטאַד-שפּאַס קעגן פאַרלאַנג צו העלפן וויסנשאַפֿט. פֿאַר מער אויף גאַמעס מיט אַ ציל, זען Ahn and Dabbish (2008) .
מייַן באַשרייַבונג פון Galaxy Zoo דראָז אויף Nielsen (2012) , Adams (2012) , Clery (2011) , און Hand (2010) , און מיין פּרעזענטירונג פון די פאָרשונג צילן פון Galaxy Zoo איז געווען סימפּלאַפייד. פֿאַר מער וועגן די געשיכטע פון גאַלאַקסי קלאַסאַפאַקיישאַן אין אַסטראָנאָמיע און ווי גאַלאַקסי זאָאָלאָגישער גאָרטן האלט דעם מסורה, זען Masters (2012) און Marshall, Lintott, and Fletcher (2015) . בנין אויף גאַלאַקסי זאָאָלאָגישער גאָרטן, די ריסערטשערז געענדיקט גאַלאַקסי זאָאָלאָגישער גאָרטן 2 וואָס קאַלעקץ מער ווי 60,000,000 מער קאָמפּלעקס מאָרפאַלאַדזשיקאַל קלאַסאַפאַקיישאַנז פון וואַלאַנטירז (Masters et al. 2011) . ווייַטער, זיי בראַנטשט אויס אין פראבלעמען אַרויס פון גאַלאַקסי מאָרפאַלאַדזשי, אַרייַנגערעכנט יקספּלאָרינג די ייבערפלאַך פון די לבנה, זוכן פֿאַר פּלאַנאַץ, און טראַנסקריבינג אַלט דאָקומענטן. דערווייַל, אַלע זייער פראיעקטן זענען געזאמלט בייַ די וועבזייטל פון Zooniverse (Cox et al. 2015) . איינער פון די פראיעקטן-סנאַפּשאָט סערענגעטי-גיט זאָגן אַז Galaxy Zoo-type בילד קלאַסאַפאַקיישאַן פראיעקטן קענען אויך זיין געטאן פֿאַר ינווייראַנמענאַל פאָרשונג (Swanson et al. 2016) .
פֿאַר ריסערטשערז פּלאַנירונג צו נוצן אַ מיקראָטאַסק אַרבעט מאַרק (אַזאַ ווי אַמאַזאָן מעטשאַניקאַל טערק) פֿאַר אַ מענטש קאַמפּאַטיש פּרויעקט, Chandler, Paolacci, and Mueller (2013) און J. Wang, Ipeirotis, and Provost (2015) פאָרשלאָגן גוט עצה אויף אַרבעט פּלאַן און אנדערע פֿאַרבונדענע ישוז. Porter, Verdery, and Gaddis (2016) פאָרשלאָגן ביישפילן און עצות פאָוקיסט אויף מיקראָטאַסק אַרבעט מארקפלעצער פֿאַר וואָס זיי רופן "דאַטן פאַרגרעסערן." די שורה צווישן דאַטן פאַרגרעסערן און דאַטן זאַמלונג איז עפּעס בלערי. פֿאַר מער וועגן קאַלעקטינג און ניצן לאַבעלס פֿאַר סופּערווייזד לערנען פֿאַר טעקסט, זען Grimmer and Stewart (2013) .
די ריסערטשערז אינטערעסירט צו שאפן וואָס איך האָב גערופן קאָמפּיוטער אַססיסטעד מענטשלעך קאַמפּיאַטינג סיסטעמען (למשל, סיסטעמען וואָס נוצן מענטשלעך לאַבעלס צו באַן אַ מאַשין לערנען מאָדעל) קען זיין אינטערעסירט אין Shamir et al. (2014) (פֿאַר אַ בייַשפּיל ניצן אַודיאָ) און Cheng and Bernstein (2015) . אויך, די מאַשין לערנען מאָדעלס אין די פראיעקטן קענען זיין סאַלאַקייטיד מיט עפענען רופט, וואָס ריסערטשערז קאָנקורירן צו מאַכן מאַשין וויסן מאָדעלס מיט די גרעסטע פּרידיקטיוו פאָרשטעלונג. פֿאַר בייַשפּיל, די גאַלאַקסי זאָאָלאָגישער גאָרטן מאַנשאַפֿט איז געווען אַ עפענען רופן און געפונען אַ נייַע צוגאַנג וואָס איז געווען יקספּיריאַנסט די איינער דעוועלאָפּעד אין Banerji et al. (2010) ; זען Dieleman, Willett, and Dambre (2015) פֿאַר פרטים.
- עפענען רופט (אָפּטיילונג 5.3)
עפענען רופט זענען נישט נייַ. אין פאַקט, איינער פון די מערסט באקאנט עפענען רופט דעדאַקייטאַד צו 1714 ווען בריטאַן ס פּאַרליאַמענט באשאפן דעם לאַנד פרייז פֿאַר ווער עס יז וואָס קען אַנטוויקלען אַ וועג צו באַשטימען די לאַנדזשאַטוד פון אַ שיף אין ים. די פּראָבלעם סטאַמפּיד פילע פון די גרעסטע סייאַנטיס פון די טעג, אַרייַנגערעכנט יצחק נוטאַן, און די ווינינג לייזונג איז יווענטשאַוואַלי דערלאנגט דורך יוחנן האַרריסאָן, אַ זייגערמייקער פון די קאַנטריסייד וואס אַפּראָוטשט די פּראָבלעם דיפערענטלי פון סייאַנטיס וואָס זענען פאָוקיסט אויף אַ לייזונג וואָס וואָלט עפעס אַרייַננעמען אַסטראָנאָמיע ; פֿאַר מער אינפֿאָרמאַציע, זען Sobel (1996) . ווי דעם בייַשפּיל ילאַסטרייץ, איין סיבה אַז עפענען רופט געדאַנק צו אַרבעטן אַזוי גוט איז אַז זיי צושטעלן צוטריט צו מענטשן מיט פאַרשידענע פּערספּעקטיווז און סקילז (Boudreau and Lakhani 2013) . זען Hong and Page (2004) און Page (2008) פֿאַר מער אויף די ווערט פון דייווערסיטי אין פּראָבלעם סאַלווינג.
יעדער פון די עפענען רופן קאַסעס אין די קאַפּיטל ריקווייערז אַ ביסל ווייַטערדיקע דערקלערונג פֿאַר וואָס עס געהערט אין דעם קאַטעגאָריע. ערשטער, איין וועג אַז איך אונטערשייד צווישן מענטש קאַמפּאַטאַבילאַטי און עפענען רופן פראיעקטן איז צי דער רעזולטאַט איז אַן דורכשניטלעך פון אַלע די סאַלושאַנז (מענטש קאַמפּאַטאַבילאַטי) אָדער דער בעסטער לייזונג (עפענען רופן). די נעטפליקס פרייז איז אַ ביסל טריקי אין דעם באַטראַכטן ווייַל די בעסטער לייזונג איז געווען אַ סאַפיסטאַקייטיד דורכשניטלעך פון יחיד סאַלושאַנז, אַן צוגאַנג גערופן אַן אַנסאַמבאַל לייזונג (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . פון די פּערספּעקטיוו פון נעטפליקס, אָבער, אַלע זיי האָבן צו טאָן איז פּיקינג די בעסטער לייזונג. פֿאַר מער אויף די Netflix Prize, זען Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , and Feuerverger, He, and Khatri (2012) .
רגע, דורך עטלעכע דעפֿיניציע פון מענטש קאַמפּיאַטיישאַן (למשל, Ahn (2005) ), פאָלדיט זאָל זיין געהאלטן אַ מענטש קאַמפּיאַטיישאַן פּרויעקט. אָבער, איך קלייַבן צו קאטיגארעזירן עס ווי אַ עפענען רופן ווייַל עס ריקווייערז ספּעשאַלייזד סקילז (כאָטש נישט דאַווקע ספּעשאַלייזד טריינינג) און עס נעמט דער בעסטער לייזונג, אלא ווי ניצן אַ שפּאַלטן-צולייגן-פאַרבינדן סטראַטעגיע. פֿאַר מער אויף פאָלדיט זען, Cooper et al. (2010) , Khatib et al. (2011) , און Andersen et al. (2012) ; מיין באַשרייַבונג פון פאָלדיט דראָז אויף דיסקריפּשאַנז אין Bohannon (2009) , Hand (2010) , און Nielsen (2012) .
סוף, איינער קען טייַנען אַז פּעער-צו-פּאַטענט איז אַ בייַשפּיל פון פונאנדערגעטיילט דאַטן זאַמלונג. איך קלייַבן צו אַרייַננעמען עס ווי אַ עפענען רופן ווייַל עס האט אַ קאָנטעסט-ווי סטרוקטור און בלויז די בעסטער קאַנטראַביושאַנז זענען געוויינט, כוועראַז מיט דיסטריביוטיד דאַטן זאַמלונג, די געדאַנק פון גוט און שלעכט קאַנטראַביושאַנז איז ווייניקער קלאָר. פֿאַר מער אויף פּיר-צו-פּאַטענט, זען Noveck (2006) , Ledford (2007) , Noveck (2009) , און Bestor and Hamp (2010) .
אין טערמינען פון ניצן עפענען רופט אין געזעלשאַפטלעך פאָרשונג, רעזולטאַטן ענלעך צו די פון Glaeser et al. (2016) , זענען געמאלדן אין קאַפּיטל 10 פון Mayer-Schönberger and Cukier (2013) וואָס New York City איז ביכולת צו נוצן פּרידיקטיוו מאָדעלינג צו פּראָדוצירן גרויס גיינז אין די פּראָודאַקטיוויטי פון האָוסינג ינספּעקטערז. אין ניו יארק סיטי, די פּרידיקטיוו מאָדעלס זענען געבויט דורך שטאָט עמפּלוייז, אָבער אין אנדערע פאלן, זיי קען ימאַדזשאַן אַז זיי קענען זיין באשאפן אָדער ימפּרוווד מיט עפענען רופט (למשל, Glaeser et al. (2016) ). אָבער, איין הויפּט דייַגע מיט פּרידיקטיוו מאָדעלס געניצט צו אַלאַקייט רעסורסן איז אַז די מאָדעלס האָבן די פּאָטענציעל צו פאַרשטאַרקן יגזיסטינג בייאַסיז. פילע פאָרשערס שוין וויסן "מיסט אין, מיסט אויס," און מיט פּרידיקטיוו מאָדעלס עס קענען זיין "פאָרורטייל אין, פאָרורטייל." זע Barocas and Selbst (2016) און O'Neil (2016) פֿאַר מער אויף די דיינדזשערז פון פּרעדיקטיוו מאָדעלס געבויט מיט בייאַסט טריינינג דאַטן.
איין פּראָבלעם וואָס קען פאַרמייַדן גאַדערינגז פון ניצן עפענען קאַנטעס איז אַז דאָס ריקווייערז דאַטן מעלדונג וואָס קען פירן צו פּריוואַטקייט ווייאַליישאַנז. פֿאַר מער וועגן פּריוואַטקייט און דאַטן מעלדונג אין עפענען רופט, זען Narayanan, Huey, and Felten (2016) און די דיסקוסיע אין פּרק 6.
פֿאַר מער וועגן די דיפעראַנסיז און סימאַלעראַטיז צווישן פאָרויסזאָגן און דערקלערונג, זען Breiman (2001) , Shmueli (2010) , Watts (2014) , און Kleinberg et al. (2015) . פֿאַר מער וועגן די ראָלע פון פאָרשונג אין געזעלשאַפטלעך פאָרשונג, זען Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , און Yarkoni and Westfall (2017) .
פֿאַר אַ רעצענזיע פון עפענען רופן פראיעקטן אין ביאָלאָגי, אַרייַנגערעכנט פּלאַן עצה, זען Saez-Rodriguez et al. (2016) .
- דיטיילד דאַטן זאַמלונג (אָפּטיילונג 5.4)
מיין באַשעפטיקונג פון עבאָאָקד דראָז אויף דיסקריפּשאַנז אין Bhattacharjee (2005) , Robbins (2013) , און Sullivan et al. (2014) . פֿאַר מער וועגן ווי פאָרשער ניצן סטאַטיסטיש מאָדעלס צו פונאַנדערקלייַבן eBird דאַטן זען Fink et al. (2010) און Hurlbert and Liang (2012) . פֿאַר מער וועגן די סקילז פון ובידר פּאַרטיסאַפּאַנץ, זען Kelling, Johnston, et al. (2015) . פֿאַר מער אויף די געשיכטע פון בירגער וויסנשאַפֿט אין אָרניטאָלאָגי, זען Greenwood (2007) .
פֿאַר מער אויף די מאַלאַווי דזשערנאַלז Project, זען Watkins and Swidler (2009) און Kaler, Watkins, and Angotti (2015) . פֿאַר מער אויף אַ פֿאַרבונדענע פּרויעקט אין דרום אפריקע, זען Angotti and Sennott (2015) . פֿאַר מער ביישפילן פון פאָרשונג ניצן דאַטן פון די מאַלאַווי דזשערנאַלז פּראָיעקט זען Kaler (2004) און Angotti et al. (2014) .
- דיזיינינג דיין אייגן (אָפּטיילונג 5.5)
מייַן צוגאַנג צו פאָרשלאָגן פּלאַן עצה איז ינדוקטיווע, באזירט אויף די יגזאַמפּאַלז פון מצליח און אַנדערש מאַסע מיטאַרבעט פראיעקטן אַז איך געהערט וועגן. עס איז אויך געווען אַ טייַך פון פאָרשונג פרווון צו צולייגן מער גענעראַל געזעלשאַפטלעך סייקאַלאַדזשיקאַל טיריז צו דיזיינינג אָנליין קהילות וואָס איז באַטייַטיק צו די פּלאַן פון מאַסע מיטאַרבעט פראיעקטן, זען, פֿאַר בייַשפּיל, Kraut et al. (2012) .
וועגן מאָוטאַווייטינג פּאַרטיסאַפּאַנץ, עס איז פאקטיש גאַנץ טריקי צו רעכענען אויס פּונקט וואָס מען אָנטייל נעמען אין מאַסע מיטאַרבעט פראיעקטן (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . אויב איר פּלאַן צו מאָטיווירן פּאַרטיסאַפּאַנץ מיט צאָלונג אויף אַ מיקראָטאַסק אַרבעט מאַרק (למשל, אַמאַזאָן מעטשאַניקאַל טערק), Kittur et al. (2013) אָפפערס עטלעכע עצה.
וועגן סייווינגז, פֿאַר מער ביישפילן פון אומגעריכט דיסקאַוועריז קומען אויס פון זאָוייווערסע פראיעקטן, זען Marshall, Lintott, and Fletcher (2015) .
וועגן זייַענדיק עטישע, עטלעכע גוטע פּראָסט ינטראַדאַקשאַנז צו די ענינים וואָס זענען ינוואַלווד זענען Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , און Zittrain (2008) . פֿאַר פּראָבלעמס ספּאַסיפיקלי שייַכות צו לעגאַל ישוז מיט מאַסע עמפּלוייז, זען Felstiner (2011) . O'Connor (2013) אַדרעסז פראגעס וועגן עטישע איבערזעצונג פון פאָרשונג ווען די ראָלעס פון ריסערטשערז און פּאַרטיסאַפּאַנץ בלער. פֿאַר ישוז שייַכות צו ייַנטיילונג דאַטן בשעת פּראַטעקטינג פּאַרטיסאַפּאַנץ אין בירגער וויסנשאַפֿט פראיעקטן, זען Bowser et al. (2014) . ביידע Purdam (2014) און Windt and Humphreys (2016) האָבן עטלעכע דיסקוסיעס וועגן די עטישע ישוז אין דיסטריביוטיד דאַטן זאַמלונג. צום סוף, רובֿ פראיעקטן באַשטעטיקן קאַנטראַביושאַנז אָבער טאָן ניט געבן אָטערשור קרעדיט צו פּאַרטיסאַפּאַנץ. אין פאָלדיט, די פּלייַערס זענען אָפט ליסטעד ווי אַ מחבר (Cooper et al. 2010; Khatib et al. 2011) . אין אנדערע עפענען רופן פראיעקטן, די ווינינג קאָנטריבוטאָר קענען אָפט שרייַבן אַ פּאַפּיר דיסקרייבינג זייער סאַלושאַנז (למשל, Bell, Koren, and Volinsky (2010) און Dieleman, Willett, and Dambre (2015) ).
