Dalsze komentarzem

Ten odcinek jest przeznaczony do stosowania jako odniesienie, a nie należy odczytywać jako narracji.

• Wprowadzenie (sekcja 5.1)

Współpraca Mass łączy pomysły z nauki obywatela, crowdsourcingu i zbiorowej inteligencji. Nauka Obywatelska zwykle oznacza dotyczący "obywateli" (czyli nie-naukowców) w procesie naukowym (Crain, Cooper, and Dickinson 2014) . Crowdsourcingu zwykle oznacza podjęcie problemu zazwyczaj rozwiązany w ramach organizacji i zamiast outsourcingu go do tłumu (Howe 2009) . Zbiorowa inteligencja zazwyczaj oznacza grupy osób działających wspólnie w taki sposób, że wydają się inteligentne (Malone and Bernstein 2015) . Nielsen (2012) Jest to wspaniałe wprowadzenie książka długości do potęgi masowej współpracy w zakresie badań naukowych.

Istnieje wiele rodzajów współpracy masowej, które nie pasują do trzech kategoriach, że proponowane i myślę, że trzy zasługują na szczególną uwagę, ponieważ mogą one być przydatne w badaniach społecznych w pewnym momencie. Jednym z przykładów jest Rynek prognostyczny, gdzie uczestnicy kupują i kontrakty handlowe, które są zwrotne oparte na wynikach, które występują w świecie (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Przewidywanie rynki są często wykorzystywane przez firmy i rządy do prognozowania i przewidywania rynki zostały również wykorzystane przez badaczy społecznych do przewidzenia powtarzalności opublikowanych badań w psychologii (Dreber et al. 2015) .

Drugim przykładem, który nie pasuje dobrze do mojego schematu kategoryzacji jest projekt erudyta, gdzie naukowcy współpracowali przy użyciu blogów i wiki udowodnić nowych twierdzeń matematycznych (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Projekt erudyta jest pod pewnymi względami podobny do nagrody Netflix, lecz uczestników projektu Polymath bardziej aktywnie zbudowany na częściowych rozwiązań innych.

Trzeci przykład to nie pasuje dobrze do mojego schematu kategoryzacji mobilizacje jest zależny od czasu, takich jak obrona Agencji Zaawansowanych Projektów Badawczych (DARPA) Sieć prowokacji (tj Czerwony balonik wyzwanie). Więcej informacji na temat tych wrażliwe czasu mobilizacje patrz Pickard et al. (2011) , Tang et al. (2011) , a Rutherford et al. (2013) .

• Obliczenia Ludzki (sekcja 5.2)

Termin "ludzkie obliczeń" wychodzi z pracy wykonanej przez informatyków i zrozumienia kontekstu za tych badań będzie poprawić swoją zdolność do wyłowić problemy, które mogą nadawać się do niego. W przypadku niektórych zadań, komputery są niezwykle potężne możliwości znacznie przekraczających nawet eksperckie ludzi. Na przykład w szachy, komputery mogą pokonać nawet najlepsze Wielkich Mistrzów. Ale, i to jest mniej cenione przez naukowców-społecznych do innych zadań, komputery są rzeczywiście znacznie gorzej niż ludzie. Innymi słowy, teraz jesteś lepszy niż nawet najbardziej wyrafinowane komputera w niektórych zadań związanych z przetwarzaniem obrazów, wideo, dźwięku i tekstu. W ten sposób, jak to zostało zilustrowane przez wspaniałą xkcd kreskówki istnieją zadania, które są łatwe do komputerów i trudne dla ludzi, ale są też zadania, które są trudne dla komputerów i łatwe dla ludzi (rysunek 5.13). Informatycy pracujący na nich trudne do-komputery-Easy-for-ludzkich zadań, dlatego też sobie sprawę, że mogą one obejmować ludzi w ich procesie obliczeniowym. Oto jak Luis von Ahn (2005) opisano ludzką obliczeń kiedy po raz pierwszy ukuł termin w swojej pracy doktorskiej: ". Paradygmat do wykorzystania ludzkiej mocy obliczeniowej do rozwiązywania problemów, że komputery nie można jeszcze rozwiązać"

Rysunek 5.13: W przypadku niektórych zadań komputery są niesamowite, przekroczenie zdolności ludzkich ekspertów. Ale dla innych zadań, zwykli ludzie mogą przewyższyć nawet zaawansowanych systemów komputerów. Złożonych problemów, które wiążą się zadania, które są trudne dla komputerów i łatwe dla ludzi są dobrze dopasowane do ludzkiej obliczeń. Używane zgodnie z warunkami opisanymi tutaj: http://xkcd.com/license.html

Według tej definicji Foldit-które opisałem w rozdziale dotyczącym otwartych połączeń, można uznać za ludzkie projekt obliczeniowy. Jednak wybiorę kategoryzować Foldit jako otwartego zaproszenia, ponieważ wymaga specjalistycznych umiejętności i zajmuje najlepsze rozwiązanie przyczyniło zamiast używać split-apply-łączą strategię.

Dla doskonałej leczenia długości książki ludzkiej obliczeń, w najbardziej ogólnym znaczeniu tego terminu, patrz Law and Ahn (2011) . Rozdział 3 Law and Ahn (2011) ma ciekawą dyskusję o bardziej złożonych łączą etapów niż te w niniejszym rozdziale.

Określenie "split-apply-łączą" był używany przez Wickham (2011) , aby opisać strategię informatyki statystycznej, ale doskonale oddaje proces wielu projektów obliczeniowych człowieka. The-zastosowania-łączyć podzielone strategia jest podobna do ramy MapReduce opracowanej w Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Dwa projekty obliczeniowe sprytnych ludzi, że nie ma miejsca, aby omówić to gra ESP (Ahn and Dabbish 2004) oraz reCAPTCHA (Ahn et al. 2008) . Oba te projekty znaleźć kreatywne sposoby na zmotywowanie uczestników do zapewnienia etykiet na zdjęciach. Jednak oba te projekty podniesiono również kwestie etyczne, ponieważ, w przeciwieństwie do Galaxy Zoo, uczestnicy w grze ESP i reCAPTCHA nie wiedział, w jaki sposób ich dane były wykorzystywane (Lung 2012; Zittrain 2008) .

Zainspirowany ESP Game, wielu badaczy próbowało opracować inne "Gry o przeznaczeniu" (Ahn and Dabbish 2008) (czyli "gry obliczeniowe ludzkiego własnych" (Pe-Than, Goh, and Lee 2015) ), które mogą być do rozwiązywania różnych innych problemów. Co te "gry o przeznaczeniu" mają wspólną cechą jest to, że starają się zadania związane z ludzkim obliczeń przyjemny. Tak więc, gdy ESP Gra dzieli ten sam split-apply-łączą strukturę z Galaxy Zoo, różni się, w jaki sposób uczestnicy są motywowane-zabawy kontra chęć pomocy nauki.

Mój opis Galaxy Zoo czerpie Nielsen (2012) , Adams (2012) , Clery (2011) oraz Hand (2010) , a moja prezentacja celów badawczych Galaxy Zoo została uproszczona. Więcej informacji na temat historii klasyfikacji galaktyk w astronomii i jak Galaxy Zoo kontynuuje tę tradycję, patrz Masters (2012) i Marshall, Lintott, and Fletcher (2015) . Opierając się na Galaxy Zoo, naukowcy zakończone Galaxy Zoo 2, który zebrał ponad 60 milionów bardziej złożonych klasyfikacje morfologiczne od ochotników (Masters et al. 2011) . Ponadto, ich zajęła się problemami spoza galaktyki morfologii tym badanie powierzchni księżyca, poszukiwania planet, a przepisywanie starych dokumentów. Obecnie wszystkie ich projekty są zbierane w www.zooniverse.org (Cox et al. 2015) . Jednym z projektów, Snapshot Serengeti-dostarcza dowodów, że projekty klasyfikacyjne obrazu Galaxy Zoo typu mogą być również wykonane na badania środowiska (Swanson et al. 2016) .

Dla naukowców planuje użyć mikro zadanie rynek pracy (np Amazon Mechanical Turk) dla ludzkiego projektu obliczeniowego, Chandler, Paolacci, and Mueller (2013) oraz Wang, Ipeirotis, and Provost (2015) oferują dobre wskazówki dotyczące planowania zadań i innych zagadnień pokrewnych.

Naukowcy zainteresowani w tworzeniu tego, co już nazywa drugiej generacji systemów ludzkich obliczeń (np systemy, które wykorzystują ludzkie etykiet do trenowania modelu uczenia maszynowego) może być zainteresowany Shamir et al. (2014) (na przykład przy użyciu dźwięku) oraz Cheng and Bernstein (2015) . Również te projekty mogą być wykonane z otwartych połączeń, dzięki czemu naukowcy konkurują do tworzenia modeli uczenia maszynowego z największą predykcyjnej wydajności. Na przykład, zespół Galaxy Zoo prowadził otwartą rozmowę i znaleźć nowe podejście, które przewyższały jedną rozwiniętą w Banerji et al. (2010) ; zobacz Dieleman, Willett, and Dambre (2015) o szczegóły.

• Połączenia Open (punkt 5.3)

Otwarte połączenia nie są niczym nowym. W rzeczywistości, jeden z najbardziej znanych otwartych zaproszeń sięga 1714 roku, kiedy brytyjski parlament stworzył nagrodę Długość dla każdego, który mógłby opracować sposób, aby określić długość geograficzną statku na morzu. Problem zakłopotany wiele z największych uczonych dni, w tym Isaac Newton, a zwycięskie rozwiązanie w końcu został złożony przez zegarmistrza ze wsi, którzy podeszli do problemu inaczej od naukowców, którzy koncentrują się na rozwiązania, które w jakiś sposób wiążą się astronomią (Sobel 1996) . Ponieważ ten przykład ilustruje, jednym z powodów, że otwarte rozmowy uważa się tak dobrze, że zapewniają one dostęp do osób z różnych perspektyw i umiejętności (Boudreau and Lakhani 2013) . Zobacz Hong and Page (2004) i Page (2008) Więcej informacji na temat wartości różnorodności w rozwiązywaniu problemów.

Każdy z przypadków otwartych połączeń w rozdziale wymaga trochę dalszego wyjaśnienia, dlaczego należy do tej kategorii. Po pierwsze, jednym ze sposobów, że rozróżnienie między projektami otwartego zaproszenia ludzkiego obliczeń i czy wynik jest średnią wszystkich rozwiązań (ludzki) lub obliczeń najlepsze rozwiązanie (otwarte zaproszenie). Nagroda Netflix jest dość trudne, ponieważ w tym względzie najlepszym rozwiązaniem okazał się wyrafinowanym średnią indywidualnych rozwiązań, zbliżyła zwany zespół rozwiązaniem (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Z perspektywy Netflix, jednak wszystko, co mieli zrobić, to wybrać najlepsze rozwiązanie.

Po drugie, przez niektórych definicji obliczeń człowieka (np Von Ahn (2005) ), Foldit powinny być uważane za ludzkie projekt obliczeniowy. Jednak wybiorę kategoryzować Foldit jako otwartego zaproszenia, ponieważ wymaga specjalistycznych umiejętności i zajmuje najlepsze rozwiązanie przyczyniło się, zamiast ubiegać split-łączą strategię.

Wreszcie, można twierdzić, że końcówka do patencie przykład rozproszonego zbierania danych. Wybieram obejmują go jako otwartego zaproszenia, ponieważ ma strukturę podobną konkursu i tylko najlepsze składki są używane (podczas gdy w przypadku zbierania danych rozproszonych, idea dobrych i złych składek jest mniej jasna).

Więcej informacji na temat nagrody Netflix, zobacz Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) oraz Feuerverger, He, and Khatri (2012) . Więcej informacji na temat Foldit zobaczyć, Cooper et al. (2010) , Andersen et al. (2012) , a Khatib et al. (2011) ; mój opis Foldit opiera się na opisach w Nielsen (2012) , Bohannon (2009) oraz Hand (2010) . Więcej informacji na temat typu peer-to-Patent patrz Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) oraz Noveck (2009) .

Podobnie jak w przypadku wyników Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , rozdział 10 Sprawozdania duże wzrosty produktywności inspektorów mieszkaniowych w Nowym Jorku, gdy kontrole są prowadzone przez modeli predykcyjnych. W Nowym Jorku, te modele predykcyjne zostały zbudowane przez pracowników miejskich, ale w innych przypadkach, można sobie wyobrazić, że mogą być tworzone lub ulepszone połączeń otwartych (np Glaeser et al. (2016) ). Jednak jednym z głównych problemów modele predykcyjne są wykorzystywane do alokacji zasobów jest, że modele mają potencjał do wzmocnienia istniejących uprzedzeń. Wielu badaczy już wiem "garbage in, garbage out", a także z modeli predykcyjnych może być "stronniczości w, nastawienie na zewnątrz." Zobacz Barocas and Selbst (2016) i O'Neil (2016) Więcej informacji na temat zagrożeń związanych z modeli predykcyjnych zbudowanych z stronniczych danych treningowych.

Jednym z problemów, które mogłyby powstrzymać rządy używania otwartych konkursów jest to, że wymaga uwolnienia danych, które mogłyby prowadzić do naruszenia prywatności. Więcej informacji na temat prywatności i publikacji danych w otwartych połączeń patrz Narayanan, Huey, and Felten (2016) oraz dyskusja w Rozdziale 6.

• Ukazuje zbierania danych (sekcja 5.4)

Mój opis eBird czerpie z opisami w Bhattacharjee (2005) i Robbins (2013) . Więcej informacji na temat sposobu badacze stosują modeli statystycznych do analizy danych eBird patrz Hurlbert and Liang (2012) i Fink et al. (2010) . Więcej informacji na temat historii nauki obywateli w ornothology patrz Greenwood (2007) .

Więcej informacji na temat Projektu Malawi Journals, zobacz Watkins and Swidler (2009) i Kaler, Watkins, and Angotti (2015) . A dla bardziej na pokrewnej projektu w RPA, patrz Angotti and Sennott (2015) . Więcej przykładów badań z wykorzystaniem danych z Malawi Journals Projektu zobacz Kaler (2004) i Angotti et al. (2014) .

• Projektując własny (sekcja 5.5)

Moje podejście do doradzania projekt został indukcyjne, w oparciu o przykłady udanych i nieudanych projektach współpracy masowe, że słyszałem o. Istnieje również nurt badań próbuje zastosować bardziej ogólne teorie społeczne psychologiczne do projektowania społeczności internetowych, które są istotne w projektowaniu projektów współpracy masowych, patrz, na przykład, Kraut et al. (2012) .

Jeśli chodzi o uczestników, motywowanie, to jest rzeczywiście dość trudne, aby dowiedzieć się dokładnie, dlaczego ludzie uczestniczą w projektach współpracy masowe (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Jeśli planujesz zmotywować uczestników z płatnością na mikro-zadaniowej rynku pracy (np Amazon Mechanical Turk) Kittur et al. (2013) oferuje kilka rad.

Jeśli chodzi o umożliwienie niespodziankę, więcej przykładów nieoczekiwanych odkryciach pochodzących z projektów zooniverse patrz Marshall, Lintott, and Fletcher (2015) .

Jeśli chodzi o bycie etycznym, kilka dobrych ogólnego wprowadzenia do zagadnień są Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , a Zittrain (2008) . W przypadku problemów związanych konkretnie kwestii prawnych z pracownikami tłum, patrz Felstiner (2011) . O'Connor (2013) odnosi się pytania dotyczące etycznego nadzoru nad badaniami, gdy role naukowców i uczestników rozmycia. W przypadku problemów związanych z udostępniania danych przy jednoczesnej ochronie participats w projektach Nauka Obywatelska, zobacz Bowser et al. (2014) . Zarówno Purdam (2014) i Windt and Humphreys (2016) mają pewną dyskusję na temat zagadnień etycznych w rozproszonej zbierania danych. Wreszcie, większość projektów uznania wkładu, ale nie dać kredyt autorze uczestników. W Foldit, gracze Foldit często są wymienione jako autor (Cooper et al. 2010; Khatib et al. 2011) . W innych projektach otwartych połączeń, zwycięska współpracownikiem często może napisać pracę opisującą swoje rozwiązania (np Bell, Koren, and Volinsky (2010) i Dieleman, Willett, and Dambre (2015) ). W rodzinie Galaxy Zoo projektów, bardzo aktywne i ważne współpracownicy bywają zapraszani być współautorami w dokumentach. Na przykład, Ivan Terentev i Tim Matorny, dwóch uczestników Radio Galaxy Zoo z Rosji, byli współautorami na jednym z dokumentów, które powstały z tego projektu (Banfield et al. 2016; Galaxy Zoo 2016) .