Какво да прочетете по-нататък

• Въведение (раздел 5.1)

Масовото сътрудничество съчетава идеи от гражданската наука , тълпите и колективното разузнаване . Гражданската наука обикновено означава, че в научния процес се включват "граждани" (т.е. нестижни); за повече, вижте Crain, Cooper, and Dickinson (2014) и Bonney et al. (2014) . Crowdsourcing обикновено означава да се реши проблем, който обикновено се решава в рамките на дадена организация и вместо това да се възлага на тълпата; за повече, вижте Howe (2009) . Колективното разузнаване обикновено означава групи от хора, действащи колективно по начини, които изглеждат интелигентни; за повече, вижте Malone and Bernstein (2015) . Nielsen (2012) е книга, представяща силата на масовото сътрудничество за научни изследвания.

Има много видове масово сътрудничество, които не се вписват добре в трите категории, които предложих, и мисля, че три от тях заслужават специално внимание, защото биха могли да бъдат полезни в социалните изследвания. Пример за това са пазарите за прогнозиране, където участниците купуват и търгуват с договори, които могат да бъдат възстановени въз основа на резултатите, които се случват в света. Прогнозирането на пазари често се използва от фирмите и правителствата за прогнозиране и те също са били използвани от социалните изследователи за прогнозиране на възпроизводимостта на публикуваните изследвания в психологията (Dreber et al. 2015) . За общ преглед на прогнозиращите пазари, вижте Wolfers and Zitzewitz (2004) и Arrow et al. (2008) .

Втори пример, който не се вписва добре в моята схема за категоризация, е проектът PolyMath, където изследователите съвместно използват блогове и уикита, за да докажат нови теореми за математика. Проектът PolyMath по някакъв начин е подобен на наградата Netflix, но в този проект участниците по-активно се опират на частичните решения на другите. За повече информация относно проекта PolyMath вижте Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) и Kloumann et al. (2016) .

Трети пример, който не се вписва добре в моята схема за категоризация, е този на зависимите от времето мобилизации, като "Предизвикателство на мрежата за предизвикателствата на Червения балон" (DARPA). За повече информация относно тези чувствителни към момента мобилизации виж Pickard et al. (2011) , Tang et al. (2011) и Rutherford et al. (2013) .

• Човешки изчисления (раздел 5.2)

Терминът "човешки изчисления" излиза от работата на компютърните учени и разбирането на контекста зад това изследване ще подобри способността ви да избирате проблемите, които биха могли да бъдат подходящи за него. За някои задачи компютрите са невероятно мощни, с възможности далеч надвишаващи способностите на дори експертите. Например в шахмат компютрите могат да победят дори най-добрите гросмайстори. Но - и това е по-слабо оценено от социалните учени - за други задачи, всъщност компютрите са много по-лоши от хората. С други думи, в момента сте по-добри от дори най-сложен компютър при определени задачи, включващи обработка на изображения, видео, аудио и текст. Компютърните учени, работещи по тези трудни за компютрите задачи, които са лесни за работа, осъзнават, че могат да включат хората в изчислителния процес. Ето как Луис фон Ан (2005) описва човешките изчисления, когато за пръв път формулира думата в своята дисертация: "парадигма за използване на човешката преработвателна мощ за решаване на проблеми, които компютрите все още не могат да решат". най-общият смисъл на думата, вижте Law and Ahn (2011) .

Съгласно определението, предложено в Ahn (2005) Foldit - което описах в раздела за откритите покани - може да се счита за проект за човешки изчисления. Въпреки това, аз избирам да категоризирам Foldit като открито обаждане, защото изисква специализирани умения (макар и не задължително формално обучение) и най-доброто решение, отколкото да се използва стратегия за разделяне и прилагане.

Терминът "split-apply-combine" беше използван от Wickham (2011) да опише стратегия за статистически изчисления, но напълно улавя процеса на много човешки изчислителни проекти. Стратегията за разделяне-прилагане-комбиниране е подобна на рамката MapReduce, разработена в Google; за повече на MapReduce виж Dean and Ghemawat (2004) и Dean and Ghemawat (2008) . За повече информация относно други разпределени изчислителни архитектури вижте Vo and Silvia (2016) . Глава 3 от Law and Ahn (2011) обсъжда проекти с по-сложни стъпки от тази в тази глава.

В човешките изчислителни проекти, които съм обсъждал в главата, участниците бяха наясно какво се случва. Някои други проекти обаче се стремят да уловят "работа", която вече се случва (подобно на eBird) и без информираност на участниците. Вижте, например, играта ESP (Ahn and Dabbish 2004) и reCAPTCHA (Ahn et al. 2008) . Въпреки това и двата проекта пораждат етични въпроси, тъй като участниците не знаят как се използват данните им (Zittrain 2008; Lung 2012) .

Вдъхновени от играта ESP, много изследователи се опитаха да развият други "игри с цел" (Ahn and Dabbish 2008) (т.е. "човешки компютърни игри" (Pe-Than, Goh, and Lee 2015) ), които могат да бъдат използвани за решаване на различни други проблеми. Това, което имат тези "игри с цел", е, че те се опитват да направят задачите, свързани с човешкото изчисление, приятни. По този начин, докато играта ESP играе същата структура на комбиниране с Galaxy Zoo, тя се различава в начина, по който участниците са мотивирани - забавно, в сравнение с желанието да помагат на науката. За повече за игри с цел, вижте Ahn and Dabbish (2008) .

Моето описание на Galaxy Zoo се базира на Nielsen (2012) , Adams (2012) , Clery (2011) и Hand (2010) и моето представяне на изследователските цели на Galaxy Zoo беше опростено. За повече информация за историята на класификацията на галактиките в астрономията и как Galaxy Zoo продължава тази традиция, вижте Masters (2012) и Marshall, Lintott, and Fletcher (2015) . Изграждайки Galaxy Zoo, изследователите завършиха "Galaxy Zoo 2", която събира повече от 60 милиона по-сложни морфологични класификации от доброволци (Masters et al. 2011) . Освен това те се разклоняват в проблеми извън морфологията на галактиките, включително изследване на повърхността на Луната, търсене на планети и преписване на стари документи. Понастоящем всички техни проекти се събират на уебсайта на Zooniverse (Cox et al. 2015) . Един от проектите - Snapshot Serengeti - дава доказателства, че проектите за класификация на изображенията от тип Galaxy Zoo могат да се правят и за екологични изследвания (Swanson et al. 2016) .

За изследователи, планиращи да използват пазара на труда на микротаски (например, Amazon Mechanical Turk) за проект за човешки изчисления, Chandler, Paolacci, and Mueller (2013) и J. Wang, Ipeirotis, and Provost (2015) други свързани въпроси. Porter, Verdery, and Gaddis (2016) предлагат примери и съвети, насочени конкретно към използването на пазарите на труда на микротаски, за това, което те наричат ​​"увеличаване на данните". Линията между увеличаването на данните и събирането на данни е малко неясна. За повече информация относно събирането и използването на етикети за подлежащо обучение за текст вижте Grimmer and Stewart (2013) .

Изследователи, които се интересуват от създаването на онова, което наричах компютърно подпомогнати човешки изчислителни системи (например системи, които използват човешки етикети за обучение на модел за машинно обучение), може да се интересуват от Shamir et al. (2014) (например с помощта на аудио) и Cheng and Bernstein (2015) . Също така, моделите за машинно обучение в тези проекти могат да бъдат заявени с отворени разговори, чрез които изследователите се конкурират да създават модели за машинно обучение с най-голяма предсказуемост. Например екипът на зоологическата градина на Галакси излезе с открит разговор и откри нов подход, който надминава този, развит в Banerji et al. (2010) ; вижте Dieleman, Willett, and Dambre (2015) за подробности.

• Отваряне на разговори (раздел 5.3)

Отворените обаждания не са нови. Всъщност едно от най-известните открити покани датира от 1714 г., когато британския парламент създаде Наградата за дължина за всеки, който може да разработи начин за определяне на географската дължина на кораба в морето. Проблемът пречи на много от най-великите учени от дните, включително Исак Нютон, а решението за победа бе в крайна сметка представено от часовника от селските райони Джон Харисън, който се доближи до проблема по различен начин от учени, които се фокусираха върху решение, което по някакъв начин ще включва астрономия ; за повече информация вижте Sobel (1996) . Както илюстрира този пример, една от причините, поради които се смята, че отворените покани работят толкова добре, е, че те осигуряват достъп до хора с различни перспективи и умения (Boudreau and Lakhani 2013) . Вижте Hong and Page (2004) и Page (2008) за повече информация относно стойността на разнообразието в решаването на проблеми.

Всеки от случаите на отворени повиквания в главата изисква малко по-нататъшно обяснение защо той принадлежи към тази категория. Първо, начинът, по който разграничавам човешките изчисления от отворените проекти, е дали продукцията е средно от всички решения (човешки изчисления) или най-доброто решение (отворено повикване). Наградата Netflix е донякъде трудна в това отношение, защото най-доброто решение се оказа сложна средна стойност на индивидуалните решения - подход, наречен ансамблово решение (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . От гледна точка на Netflix, обаче, всичко, което трябваше да направят, беше да избере най-доброто решение. За повече информация за наградата Netflix вижте Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , и Feuerverger, He, and Khatri (2012) .

Второ, по някои дефиниции на човешките изчисления (напр. Ahn (2005) ), Foldit трябва да се счита за проект за човешки изчисления. Избирам обаче да го категоризирате като открит разговор, защото изисква специализирани умения (макар и не задължително специализирани) и се нуждае от най-доброто решение, вместо да използва стратегия за разделяне и прилагане. За повече, виж Foldit, Cooper et al. (2010) , Khatib et al. (2011) , и Andersen et al. (2012) ; моето описание на Foldit се основава на описанията в Bohannon (2009) , Hand (2010) и Nielsen (2012) .

Накрая, може да се твърди, че Peer-to-Patent е пример за събиране на разпределени данни. Избирам да го включа като открит разговор, защото има структура, подобна на конкурса, и се използват само най-добрите приноси, докато при разпределените данни, идеята за добро и лошо участие е по-малко ясна. За повече информация относно Peer-to-Patent, вижте Noveck (2006) , Ledford (2007) , Noveck (2009) и Bestor and Hamp (2010) .

По отношение на използването на отворени разговори в социалните изследвания, резултати, подобни на тези на Glaeser et al. (2016) , са отчетени в глава 10 на Mayer-Schönberger and Cukier (2013) според които Ню Йорк е в състояние да използва предвидимо моделиране, за да постигне големи печалби в производителността на инспекторите по жилищното строителство. В Ню Йорк тези предсказателни модели са построени от служители на града, но в други случаи може да се предположи, че те могат да бъдат създадени или усъвършенствани с отворени разговори (напр. Glaeser et al. (2016) ). Обаче една основна загриженост от използването на прогнозни модели за разпределяне на ресурсите е, че тези модели имат потенциала да подсилят съществуващите отклонения. Много от изследователите вече знаят "боклук", а с предсказуеми модели той може да бъде "пристрастност, отклонение". Вижте Barocas and Selbst (2016) и O'Neil (2016) за повече информация относно опасностите, с предубедени данни за обучението.

Един проблем, който може да попречи на правителствата да използват открити конкурси, е, че това изисква освобождаване на данни, което може да доведе до нарушаване на поверителността. За повече информация относно неприкосновеността на личния живот и освобождаването на данни при откритите разговори вижте Narayanan, Huey, and Felten (2016) и обсъждането в глава 6.

За повече информация относно разликите и приликите между прогнозиране и обяснение, вижте Breiman (2001) , Shmueli (2010) , Watts (2014) и Kleinberg et al. (2015) . За повече информация относно ролята на предвиждане в социални изследвания, вижте Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , и Yarkoni and Westfall (2017) .

За преглед на проектите за отворени повиквания в областта на биологията, включително съвети за дизайн, вижте Saez-Rodriguez et al. (2016) .

• Разпределение на разпределените данни (раздел 5.4)

Моето описание на eBird се основава на описанията в Bhattacharjee (2005) , Robbins (2013) и Sullivan et al. (2014) . За повече информация как изследователите използват статистически модели за анализ на данните от eBird виж Fink et al. (2010) и Hurlbert and Liang (2012) . За повече информация относно оценката на уменията на участниците в eBird вижте Kelling, Johnston, et al. (2015) . За повече информация относно историята на науката за гражданите в орнитологията вижте Greenwood (2007) .

За повече информация по проекта за малави журнали, вижте Watkins and Swidler (2009) и Kaler, Watkins, and Angotti (2015) . За повече информация относно свързан проект в Южна Африка, вижте Angotti and Sennott (2015) . За повече примери за изследвания, използващи данни от проекта за малави журнали, вижте Kaler (2004) и Angotti et al. (2014) .

• Проектиране на ваш собствен (раздел 5.5)

Моят подход към предлагането на съвети за дизайн е индуктивен, въз основа на примерите за успешни и неуспешни проекти за масово сътрудничество, за които съм чувал. Съществува и поток от изследователски опити за прилагане на по-общи социални психологически теории в проектирането на онлайн общности, които са важни за проектирането на проекти за масово сътрудничество, вж. Например Kraut et al. (2012) .

По отношение на мотивирането на участниците всъщност е доста трудно да се разбере защо хората участват в масови проекти за сътрудничество (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Ако възнамерявате да мотивирате участниците с плащане на пазара на труда на микротаски (напр. Amazon Mechanical Turk), Kittur et al. (2013) предлага някои съвети.

Що се отнася до възможността за изненада, за повече примери за неочаквани открития, идващи от проектите на Zooiverse, вижте Marshall, Lintott, and Fletcher (2015) .

Що се отнася до етиката, някои добри общи запознанства по въпросите, свързани са Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) и Zittrain (2008) . За въпроси, свързани конкретно с правни въпроси, свързани с служители на тълпи, вижте Felstiner (2011) . O'Connor (2013) занимава с въпроси, свързани с етичния надзор на изследванията, когато се размиват ролите на изследователите и участниците. За въпроси, свързани със споделянето на данни, като същевременно се защитават участниците в проектите за наука за гражданите, виж Bowser et al. (2014) . Както Purdam (2014) и Windt and Humphreys (2016) обсъждат етичните въпроси при събирането на разпределените данни. Накрая, повечето проекти отчитат вноските, но не дават авторския кредит на участниците. В Foldit играчите често са включени като автори (Cooper et al. 2010; Khatib et al. 2011) . В други проекти с отворени покани печелившият сътрудник често може да напише доклад, описващ техните решения (например Bell, Koren, and Volinsky (2010) и Dieleman, Willett, and Dambre (2015) ).