מה לקרוא הבא

• מבוא (סעיף 5.1)

שיתוף הפעולה ההמוני משתלב ברעיונות בין מדע המדינה , מיקור-המונים ואינטליגנציה קולקטיבית . מדע האזרח בדרך כלל פירושו לערב "אזרחים" (כלומר, לא מדענים) בתהליך מדעי; ראו עוד Crain, Cooper, and Dickinson (2014) Bonney et al. (2014) . Crowdsourcing בדרך כלל פירושו לקחת בעיה בדרך כלל לפתור בתוך הארגון במקום מיקור חוץ זה לקהל; לפרטים נוספים, ראה Howe (2009) . אינטליגנציה קולקטיבית פירושה בדרך כלל קבוצות של יחידים הפועלים באופן קולקטיבי בדרכים שנראות אינטליגנטיות; לפרטים נוספים, ראו Malone and Bernstein (2015) . Nielsen (2012) הוא מבוא אורך הספר כוח של שיתוף פעולה המוני עבור מחקר מדעי.

ישנם סוגים רבים של שיתוף פעולה המוני שאינם מתאימים בקפידה לשלוש הקטגוריות שהצעתי, ואני חושב ששלוש מהן ראויות לתשומת לב מיוחדת משום שהן עשויות להיות שימושיות במחקר החברתי. דוגמה אחת היא חיזוי השווקים, שבו המשתתפים לקנות וסחר חוזים ניתנים לפדיון על בסיס התוצאות המתרחשות בעולם. חיזוי השווקים משמשים לעתים קרובות על ידי חברות וממשלות לחיזוי, והם שימשו גם חוקרים חברתיים לחזות את ההשתכרויות של מחקרים שפורסמו בפסיכולוגיה (Dreber et al. 2015) . לסקירה כללית של שווקי החיזוי, ראו Wolfers and Zitzewitz (2004) , Arrow et al. (2008) .

דוגמא שנייה שאינה מתאימה היטב לתוכנית הסיווג שלי היא פרויקט PolyMath, שבו חוקרים שיתפו פעולה באמצעות בלוגים וויקי כדי להוכיח משפטים מתמטיים חדשים. פרויקט PolyMath דומה במידת מה לפרס Netflix, אך בפרויקט זה המשתתפים בנויים באופן פעיל יותר על הפתרונות החלקיים של אחרים. למידע נוסף על פרויקט PolyMath, ראה Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , ו- Kloumann et al. (2016) .

דוגמא שלישית שאינה מתאימה היטב לתוכנית הסיווג שלי היא זו של גיוס זמן תלוי כמו ה- Advanced Research Projects Agency (DARPA) Network Challenge (כלומר, האתגר האדום בלון). למידע נוסף על התנודות הרגישות לזמן זה ראו Pickard et al. (2011) , Tang et al. (2011) , ו Rutherford et al. (2013) .

• חישוב אנושי (סעיף 5.2)

המונח "חישוב אנושי" יוצא מעבודת מדעני מחשב, והבנת ההקשר מאחורי מחקר זה תשפר את יכולתך לבחור בעיות שעשויות להתאים לו. עבור משימות מסוימות, מחשבים הם חזקים להפליא, עם יכולות הרבה מעבר לאלה של בני אדם אפילו מומחה. לדוגמה, בשחמט, מחשבים יכולים לנצח אפילו את מיטב grandmasters. אבל - וזה פחות מוערך על ידי מדענים חברתיים - עבור משימות אחרות, מחשבים הם למעשה הרבה יותר גרוע מאשר אנשים. במילים אחרות, עכשיו אתה יותר טוב אפילו את המחשב המתוחכם ביותר במשימות מסוימות מעורבים עיבוד של תמונות, וידאו, אודיו, וטקסט. מדעני מחשבים שעבדו על המשימות הקשות האלה עבור מחשבים - קל-לאדם - הבינו כי הם יכולים לכלול בני אדם בתהליך החישוב שלהם. כך תיאר לואיס פון אהן (2005) החישוב האנושי כאשר טבע לראשונה את המונח בעבודת הדוקטורט שלו: "פרדיגמה לניצול כוח עיבוד אנושי לפתרון בעיות שהמחשבים עדיין לא מסוגלים לפתור". עבור טיפול באורך ספרים בחישוב האדם, המובן הכללי ביותר של המונח, ראה Law and Ahn (2011) .

על פי ההגדרה המוצעת בשנת Ahn (2005) Foldit - אשר תיארתי בסעיף על שיחות פתוח - יכול להיחשב פרויקט חישוב אנושי. עם זאת, אני בוחר לסווג את התיקייה כשיחה פתוחה משום שהיא דורשת מיומנויות מיוחדות (אם כי לא בהכרח הכשרה פורמלית) והיא לוקחת את הפתרון הטוב ביותר שתרם, במקום להשתמש באסטרטגיה של פיצול-החלפה.

המונח "Split-apply-Combine" שימש את Wickham (2011) לתיאור אסטרטגיה למחשוב סטטיסטי, אך הוא לוכד את התהליך של פרויקטי חישוב אנושיים רבים. האסטרטגיה המפוצלת-חלופית-שילוב דומה למסגרת MapReduce שפותחה ב- Google; למידע נוסף על MapReduce, ראו Dean and Ghemawat (2004) Dean and Ghemawat (2008) . למידע נוסף על ארכיטקטורות מחשוב אחרות מבוזרות, ראה Vo and Silvia (2016) . פרק 3 Law and Ahn (2011) דן בדיונים על פרויקטים עם שלבי שילוב מורכבים יותר מאלה שבפרק זה.

בפרויקטי המחשוב האנושיים שדיברתי עליהם בפרק, המשתתפים היו מודעים למה שקורה. פרויקטים אחרים, לעומת זאת, מבקשים ללכוד "עבודה" כי הוא כבר קורה (בדומה eBird) וללא מודעות משתתף. ראה, למשל, את המשחק ESP (Ahn and Dabbish 2004) ו reCAPTCHA (Ahn et al. 2008) . עם זאת, שני פרויקטים אלה גם להעלות שאלות אתיות, כי המשתתפים לא ידעו איך הנתונים שלהם נמצאים בשימוש (Zittrain 2008; Lung 2012) .

בהשראת המשחק ESP, חוקרים רבים ניסו לפתח "משחקים עם מטרה" אחרים (Ahn and Dabbish 2008) (כלומר, "משחקי חישוב מבוססי-אנוש" (Pe-Than, Goh, and Lee 2015) נהג לפתור מגוון של בעיות אחרות. מה אלה "משחקים עם מטרה" יש במשותף היא כי הם מנסים להפוך את המשימות המעורבות בחישוב האדם מהנה. לכן, בעוד ESP משחק מניות אותו פיצול להחיל לשלב מבנה עם גן החיות גלקסי, זה שונה איך המשתתפים מוטיבציה, כיף לעומת הרצון לעזור למדע. למידע נוסף על משחקים עם מטרה, ראו Ahn and Dabbish (2008) .

התיאור שלי על גן החיות של גלקסי מתבסס על Nielsen (2012) , Adams (2012) , Clery (2011) ו- Hand (2010) , והצגת מטרות המחקר של גן החיות של גלקסי היתה פשוטה יותר. למידע נוסף על ההיסטוריה של סיווג הגלקסיות באסטרונומיה וכיצד מגלה גלקסיית החיות את המסורת הזו, ראו Masters (2012) Marshall, Lintott, and Fletcher (2015) . בהתבסס על גן החיות של גלקסי, השלימו החוקרים את גלקסיית גן החיות 2 שאספה יותר מ -60 מיליון סיווגים מורפולוגיים מורכבים יותר של מתנדבים (Masters et al. 2011) . יתר על כן, הם הסתעפו לתוך בעיות מחוץ מורפולוגיה גלקסיה, כולל לחקור את פני הירח, מחפש כוכבי לכת, וכן תמלול מסמכים ישנים. נכון לעכשיו, כל הפרויקטים שלהם נאספים באתר Zooniverse (Cox et al. 2015) . אחד הפרויקטים - Snapshot Serengeti - מספק ראיות לכך שמדובר בפרויקטים לסיווג תמונות בגלקסיות של גלקסיית החיות (גו-גו-גו), וניתן לעשות זאת גם למחקר סביבתי (Swanson et al. 2016) .

עבור חוקרים המתכננים להשתמש בשוק העבודה microtask (למשל, אמזון מכני טורק) עבור פרויקט חישוב אנושי, Chandler, Paolacci, and Mueller (2013) ו J. Wang, Ipeirotis, and Provost (2015) מציעים עצה טובה על עיצוב המשימה נושאים קשורים אחרים. Porter, Verdery, and Gaddis (2016) מציגים דוגמאות ועצות המתמקדות במיוחד בשימושים של שוקי עבודה במיקרוטאסק עבור מה שהם מכנים "הגדלת נתונים". הקו בין הגדלת הנתונים לבין איסוף הנתונים מטושטש במקצת. למידע נוסף על איסוף ושימוש במדבקות ללמידה מבוקרת לטקסט, ראה Grimmer and Stewart (2013) .

חוקרים המעוניינים ליצור את מה שאני מכנה מערכות מחשוב אנושיות בסיוע מחשב (למשל, מערכות המשתמשות בתוויות אנושיות כדי להכשיר מודל למידה של מכונה) עשויים להתעניין Shamir et al. (2014) (לדוגמה באמצעות אודיו) Cheng and Bernstein (2015) . כמו כן, המודלים של למידה במכונות בפרויקטים אלה ניתנים לשיחות עם שיחות פתוחות, שבהן מתחרים החוקרים ליצור מודלים של למידה ממוחשבת עם הביצועים החזויים ביותר. לדוגמה, צוות גן החיות של גלקסי ניהל שיחה פתוחה ומצא גישה חדשה כי ביצועים טובים יותר מזו שפותחה Banerji et al. (2010) ; ראה Dieleman, Willett, and Dambre (2015) לפרטים.

• שיחות פתוחות (סעיף 5.3)

שיחות פתוחות אינן חדשות. למעשה, אחת השיחות הפתוחות ביותר ידועה ב -1714, כאשר הפרלמנט הבריטי יצר את פרס 'קו האורך' לכל מי שיכול לפתח דרך לקבוע את קו האורך של ספינה בים. הבעיה גברה על רבים מהמדענים הגדולים ביותר בימינו, כולל אייזיק ניוטון, והפתרון המנצח הוגש בסופו של דבר על ידי ג'ון הריסון, שען השעון מהכפר, שהתקרב לבעיה אחרת ממדענים שהתמקדו בפתרון שיכלול איכשהו אסטרונומיה ; לקבלת מידע נוסף, ראה Sobel (1996) . כפי שהדוגמה הזאת ממחישה, סיבה אחת לכך ששיחות פתוחות נחשבות לעבוד כה טוב היא שהן מספקות גישה לאנשים עם פרספקטיבות וכישורים שונים (Boudreau and Lakhani 2013) . ראו Hong and Page (2004) ו- Page (2008) עוד על הערך של גיוון בפתרון בעיות.

כל אחד ממקרי השיחות הפתוחות בפרק דורש קצת הסבר נוסף מדוע הוא שייך לקטגוריה זו. ראשית, אחת הדרכים שאני מבחין בין חישוב אנושי לפרויקטי שיחות פתוחות היא האם התפוקה היא ממוצעת של כל הפתרונות (חישוב אנושי) או הפתרון הטוב ביותר (שיחה פתוחה). פרס נטפליקס הוא קצת מסובך בהקשר זה משום שהפתרון הטוב ביותר הוא ממוצע מתוחכם של פתרונות אינדיווידואליים, גישה הנקראת פתרון אנסמבל (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . מנקודת המבט של נטפליקס, עם זאת, כל מה שהם היו צריכים לעשות הוא לבחור את הפתרון הטוב ביותר. לפרטים נוספים על פרס נטפליקס, ראו Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ו Feuerverger, He, and Khatri (2012) .

שנית, על ידי כמה הגדרות של חישוב אנושי (למשל, Ahn (2005) ), Foldit צריך להיחשב פרויקט חישוב אנושי. עם זאת, אני בוחר לסווג את זה כמו שיחה פתוחה כי זה דורש מיומנויות מיוחדות (אם כי לא בהכרח הכשרה מיוחדת) וזה לוקח את הפתרון הטוב ביותר, ולא באמצעות אסטרטגיה לפצל להחיל-לשלב. לקבלת מידע נוסף על Foldit ראה, Cooper et al. (2010) , Khatib et al. (2011) , Andersen et al. (2012) ; התיאור שלי על Foldit מתבסס על תיאורים ב- Bohannon (2009) , Hand (2010) ו- Nielsen (2012) .

לבסוף, ניתן לטעון כי Peer-to-Patent הוא דוגמה של איסוף נתונים מבוזרים. אני בוחר לכלול את זה כמו שיחה פתוחה כי יש לו מבנה דמוי תחרות ורק התרומות הטובות ביותר משמשים, ואילו עם איסוף נתונים מבוזרים, הרעיון של תרומות טובות ורעות הוא פחות ברור. למידע נוסף על Peer-to-Patent, ראו Noveck (2006) , Ledford (2007) , Noveck (2009) , ו- Bestor and Hamp (2010) .

במונחים של שימוש בשיחות פתוחות במחקר חברתי, תוצאות דומות לאלו של Glaeser et al. (2016) , מדווחים בפרק 10 של Mayer-Schönberger and Cukier (2013) לפיו ניו יורק היה מסוגל להשתמש דוגמנות חזוי לייצר רווחים גדולים בפריון של פקחי דיור. בניו יורק, מודלים נבויים אלה נבנו על ידי עובדי העיר, אך במקרים אחרים ניתן היה לדמיין שניתן ליצור אותם או לשפר אותם בשיחות פתוחות (לדוגמה, Glaeser et al. (2016) ). עם זאת, אחד החששות העיקריים עם מודלים מנבאים המשמשים להקצאת משאבים היא כי מודלים אלה יש פוטנציאל לחזק הטיות הקיימות. חוקרים רבים כבר מכירים "זבל, זבל", ועם מודלים מנבאים זה יכול להיות "הטיה ב, משוא פנים." ראה Barocas and Selbst (2016) ו O'Neil (2016) יותר על הסכנות של מודלים חזוי בנוי עם נתוני הדרכה מוטה.

בעיה אחת שעשויה למנוע ממשלות מלהשתמש בתחרויות פתוחות היא שזה דורש שחרור נתונים, מה שעלול להוביל להפרות פרטיות. למידע נוסף על פרטיות ושחרור נתונים בשיחות פתוחות, ראה Narayanan, Huey, and Felten (2016) והדיון בפרק 6.

להרחבה על ההבדלים והדמיון בין ניבוי והסבר, ראו Breiman (2001) , Shmueli (2010) , Watts (2014) Kleinberg et al. (2015) . למידע נוסף על תפקיד החיזוי במחקר החברתי ראו Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) Yarkoni and Westfall (2017) .

לסקירה של פרויקטי שיחות פתוחות בביולוגיה, כולל ייעוץ בתכנון, ראה Saez-Rodriguez et al. (2016) .

• איסוף נתונים מבוזרים (סעיף 5.4)

התיאור שלי של eBird מתבסס על תיאורים ב Bhattacharjee (2005) , Robbins (2013) , ו Sullivan et al. (2014) . למידע נוסף על האופן שבו חוקרים משתמשים במודלים סטטיסטיים לנתח את נתוני eBird ראו Fink et al. (2010) ו Hurlbert and Liang (2012) . למידע נוסף על הערכת המיומנות של המשתתפים eBird, ראה Kelling Kelling, Johnston, et al. (2015) . למידע נוסף על ההיסטוריה של המדע האזרחי באורניתולוגיה, ראו Greenwood (2007) .

למידע נוסף על פרויקט כתבי העת מלאווי, ראו Watkins and Swidler (2009) Kaler, Watkins, and Angotti (2015) . למידע נוסף על פרויקט קשור בדרום אפריקה, ראו Angotti and Sennott (2015) . לדוגמאות נוספות של מחקר, שנעשה בו שימוש בפרטי פרויקט כתבי העת של מלאווי, ראו: Kaler (2004) and Angotti et al. (2014) .

• עיצוב שלך (סעיף 5.5)

הגישה שלי להציע ייעוץ עיצוב היה אינדוקטיבי, על בסיס דוגמאות של פרויקטים מוצלחים נכשל שיתוף פעולה המוני ששמעתי על. יש גם זרם של ניסיונות מחקר ליישם תיאוריות פסיכולוגיות חברתיות כלליות יותר לעיצוב קהילות מקוונות הרלוונטיות לתכנון של פרויקטי שיתוף פעולה המוניים, ראה, לדוגמה, Kraut et al. (2012) .

על מנת להניע את המשתתפים, זה בעצם די מסובך להבין בדיוק למה אנשים משתתפים בפרויקטים שיתוף פעולה המוניים (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . אם אתם מתכננים להניע משתתפים עם תשלום על שוק העבודה microtask (למשל, אמזון מכונות טורקית), Kittur et al. (2013) מציעה כמה עצות.

בנוגע להפתעה, לדוגמאות נוספות של תגליות בלתי צפויות המגיעות מפרויקטים של Zooiverse, ראה Marshall, Lintott, and Fletcher (2015) .

בהתייחסות לאתיקה, כמה היכרות כללית טובה לנושאים המעורבים הם Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) ו- Zittrain (2008) . בנושאים הקשורים ספציפית לבעיות משפטיות עם עובדי הקהל, ראו Felstiner (2011) . O'Connor (2013) עוסק בשאלות על פיקוח מוסרי של מחקר כאשר התפקידים של חוקרים ומשתתפים מטושטשים. בנושאים הקשורים לשיתוף נתונים תוך הגנה על משתתפים בפרויקטים מדעיים של אזרחים, ראה Bowser et al. (2014) . שניהם Purdam (2014) Windt and Humphreys (2016) יש קצת דיון על נושאים אתיים איסוף נתונים מבוזרים. לבסוף, רוב הפרויקטים להכיר תרומות אבל לא נותנים אשראי המחבר למשתתפים. ב- Foldit, השחקנים רשומים לעתים קרובות כמחבר (Cooper et al. 2010; Khatib et al. 2011) . בפרויקטים פתוחים אחרים, התורם הזוכה יכול לכתוב לעתים קרובות מאמר המתאר את הפתרונות שלהם (לדוגמה, Bell, Koren, and Volinsky (2010) Dieleman, Willett, and Dambre (2015) ).