кийинки окуу эмне үчүн

• Introduction (бөлүк 5.1)

Массалык кызматташуу жараны илим, жалпылай жана жамааттык акыл идеяларды аралаштырууда. Жарандардын илим, демейде, илимий иш "жарандарды" (башкача айтканда, nonscientists) тартуу дегенди билдирет; Дагы, көрүп Crain, Cooper, and Dickinson (2014) жана Bonney et al. (2014) . Crowdsourcing адатта, адатта, уюмдун ичинде чечилиши бир көйгөйдү алып, анын ордуна элге аутсорсинг билдирет; Дагы, көрүп Howe (2009) . Жамааттык чалгындоо, адатта, акылдуу көрүнгөн жолдор менен чогуу иштеп жаткан адамдар тобун билдирет; Дагы, көрүп Malone and Bernstein (2015) . Nielsen (2012) илимий изилдөөлөрдү жалпыга маалымдоо өз ара бийлик үчүн китеп узундугу киргизүү болуп саналат.

Мен сунуштаган үч категорияга ойго туура келбеген жалпыга маалымдоо кызматташтыктын көптөгөн түрлөрү бар, жана мен алар коомдук изилдөө пайдалуу болушу мүмкүн, себеби, бул үч ¼зг¼ч¼ к¼¾³л бурууга татыктуу деп ойлойм. Бир мисал пайда натыйжаларынын негизинде куткарылууга болгон алдын ала рыноктору, катышуучулар сатып алып, соода-сатык келишим болуп саналат. Прогноздоо, базарлар көп болжолдоо үчүн ишканалардын жана башкаруу органдары тарабынан пайдаланылат, алар ошондой эле психологиялык жарыяланган изилдөөлөрдүн replicability алдын коомдук изилдөөчүлөр тарабынан колдонулган (Dreber et al. 2015) . Алдын ала базардын жалпы Анткени, кара Wolfers and Zitzewitz (2004) жана Arrow et al. (2008) .

Менин категорияга схемасына, ошондой эле туура эмес, экинчиси изилдөөчүлөр жаңы математика теоремалар далилдөөгө блогдорун жана тилдеги менен кызматташып PolyMath долбоор болуп саналат. PolyMath долбоор Netflix сыйлыгы сыяктуу, кээ бир жолдор менен, бирок, бул долбоордун катышуучулары жигердүү башкалар жарым-жартылай чечүү боюнча курулган. PolyMath долбоор боюнча көбүрөөк көрүп Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , жана Kloumann et al. (2016) .

Үчүнчү мисал менин категорияга схемасы Коргоо Advanced изилдөө агенттиги (ARPA) ошондой эле убакыт көз каранды ийкемдүү болуп саналат салып, ошондой эле туура эмес, к Оор болсо (б.а., Кызыл Balloon чакырыктары). Бул убакытка сезгич ийкемдүү тууралуу көбүрөөк көрүп Pickard et al. (2011) , Tang et al. (2011) , ошондой эле Rutherford et al. (2013) .

• Адам эсептөө (бөлүк 5.2)

деген термин "адам эсептеп," компьютер окумуштуулар тарабынан жүргүзүлүп жаткан иштин чыгат, жана бул изилдөөнүн артында контекстин түшүнүү үчүн ылайыктуу болушу мүмкүн маселелерди тандап үчүн жөндөмүн жакшыртат. белгилүү бир милдеттерди аткаруу үчүн, техникалык мүмкүнчүлүктөрү алыс да, эксперттик адамдардын да батпады, абдан күчтүү болот. Мисалы, шахмат боюнча, ЭЭМ мыкты гроссмейстеры сабап болот. Бирок, бул аз эле башка милдеттерди коомдук тарабынан окумуштуулар үчүн ыраазы болуп, ЭЭМ, чынында, элге да жаман болуп саналат. Башка сөз менен айтканда, азыркы сүрөттөрү, телекөрсөтүү, аудио жана текст иштетүү боюнча айрым милдеттерди да, абдан татаал ЭЭМ артык. ЭЭМ үчүн илимпоздор бул кыйын үчүн эсептөө-жеңил адам үчүн милдеттерди иштеп Ошон үчүн алар өздөрүнүн эсептөө учурунда адамдарды камтышы мүмкүн экенин түшүндүм. Мында Luis из Ан кантип (2005) , ал биринчи тезде терминди ойлоп тапкан, адамдын Эсептөөнү сүрөттөлгөн: адам эсептөө бир китеп узундугу дарылоо үчүн, "ЭЭМ ге чечүү мүмкүн эмес экенин проблемаларын чечүү үчүн адамдык иштетүү күч пайдалануу үчүн парадигманы." мөөнөтү кыйла жалпы мааниде, көрүп Law and Ahn (2011) .

Сунушталган аныктамага ылайык Ahn (2005) ачык бөлүмүндө Мен сүрөттөлгөн Foldit-чакыруу-турган адам эсептөө долбоор болуп эсептелет. Бирок, мен аны (сөзсүз түрдө расмий эмес, бирок окутуу) атайын талап кылат, себеби ачык чалуу катары Foldit категорияга тандап жана ал, тескерисинче, талаш-колдонуу-комбайн стратегиясын колдонуп караганда мыкты чечим, салым талап кылынат.

Деген термин "бөлүүчү-колдонуу-комбайн" колдонгон Wickham (2011) статистикалык эсептөө боюнча стратегияны айтып, бирок ал абдан көп адам эсептөө долбоорлордун жараянын басып алат. бөлүүчү-колдонууга биригүү стратегиясы Google түптөлгөн MapReduce алкагында окшош; MapReduce боюнча дагы, көрүп Dean and Ghemawat (2004) жана Dean and Ghemawat (2008) . Башка бөлүштүрүлөт эсептөө архитектурасына көбүрөөк көрүп Vo and Silvia (2016) . 3-бөлүм Law and Ahn (2011) , андан татаал, бул бөлүмдө караганда кадамдарды айкалыштырууга менен долбоорлор талкууланган.

Мен бөлүмдө талкууланган адам эсептөө долбоорлорду катышуучулар эмне болуп жатканын билген. Кээ бир башка долбоорлор, бирок, "жумуш" буга чейин болуп (eBird окшош) жана катышуучу кабардар эч кандай басып умтулушат. Мисалы, кара, ESP Оюн (Ahn and Dabbish 2004) жана reCAPTCHA (Ahn et al. 2008) . Бирок, бул долбоорлор, ошондой эле этикалык суроолор туулат, анткени катышуучулар кандай маалыматтар колдонулат жатканын билген жок да (Zittrain 2008; Lung 2012) .

ESP Оюн ыйык рухунун жетеги менен жазылган көптөгөн окумуштуулар башка "бир максат менен оюндарды" иштеп чыгуу үчүн аракет кылышты (Ahn and Dabbish 2008) (башкача айтканда, "адам-негизделген математикалык оюндар" (Pe-Than, Goh, and Lee 2015) ) болушу мүмкүн деп башка маселелер боюнча ар кандай чечүү үчүн колдонулат. Бул "бир максат менен оюндар" орток адам эсептөө жагымдуу тартылган милдеттерди аракет болуп саналат. Ошентип, ESP Оюн Galaxy зоопаркында менен бирдей бөлүү колдонууга биригүү түзүмүн бөлүшөт, ал эми, бул илим үчүн каалоо каршы катышуучулары кандай түрткү-кызыктуу айырмаланат. Бир максат менен оюн тууралуу көбүрөөк көрүп Ahn and Dabbish (2008) .

Менин Galaxy зоопаркында боюнча бурулган сүрөттөлүшү Nielsen (2012) , Adams (2012) , Clery (2011) , ошондой эле Hand (2010) , жана Galaxy зоопаркында изилдөө максаттарына менин бет ачары жөнөкөйлөштүрүлгөн. Эгер бул нерсе кайталана астрономия жана кантип Galaxy Zoo жылы Галактика жашыруун тарыхында салтын тууралуу көбүрөөк көрүп Masters (2012) жана Marshall, Lintott, and Fletcher (2015) . Galaxy зоопаркында боюнча имараты, изилдөөчүлөр Galaxy персонал ыктыярчылар дагы 60 миллиондон ашуун татаал түркүмдөрүнүн жиктелиши чогултулган 2 аяктады (Masters et al. 2011) . Андан тышкары, алар, Айдын бетин изилдөө планеталар издеп, жана эски документтерди чечмелеп, анын ичинде, галактика Учак тышкары көйгөйлөр чыгып. Азыркы учурда, бардык долбоорлор Zooniverse сайт чогултулат (Cox et al. 2015) . Айлана-чөйрөнү изилдөө үчүн да болот долбоорлордун-сүрөт Galaxy Zoo-түрү сүрөтү классификация долбоорлор далилдерди Serengeti-камсыз бири жүргүзүлөт (Swanson et al. 2016) .

Изилдөөчүлөр бир microtask эмгек рыногун (мисалы, Amazon механикалык Турк) бир адам эсептөө долбоору боюнча берүүнү пландаштырууда үчүн Chandler, Paolacci, and Mueller (2013) жана J. Wang, Ipeirotis, and Provost (2015) милдети долбоорлоо жана жакшы сунуштар менен байланыштуу болгон башка маселелер. Porter, Verdery, and Gaddis (2016) мисалдар жана сунуштар берилген, алар атаган үчүн microtask эмгек рынокторунун колдонуу боюнча атайын багытталган "маалымат көбөйтүү". Маалыматтарды көбөйтүү жана маалыматтарды чогултуу между аз мунарыктап турат. Чогултуу жана текст үчүн көзөмөлдөнгөн окутуу үчүн бренды колдонуу тууралуу көбүрөөк көрүп Grimmer and Stewart (2013) .

Мен компьютер жардамы менен адам эсептөө системасын деп аташып эмне түзүүгө кызыкдар изилдөөчүлөр (мисалы, Машина үйрөнүү моделин окутуп адам бренды колдонуу системалар) кызыкдар болушу мүмкүн Shamir et al. (2014) жана (аудио колдонуп, мисалы) Cheng and Bernstein (2015) . Ошондой эле, бул долбоордун Машина үйрөнүү моделдерин изилдөөчүлөр зор жарыш аткаруу менен машина үйрөнүү моделдерин түзүүгө атаандаша турган ачык чалуулар менен чакырууга болот. Мисалы, Galaxy Zoo командасы ачык чакыруу чуркап барып, иштелип чыккан бир тургыда бир жаңы жолду Banerji et al. (2010) ; көрүп Dieleman, Willett, and Dambre (2015) чоо-жайын билүү үчүн.

• Open чалуулар (5.3)

Open чалуулар жаңы эмес. Чынында, көлгө бир кеме узундукту аныктоо үчүн бир жол менен кыйла белгилүү ачык чалуулардын бири кайтып Британиянын парламент эч кимге Узундугу сыйлыгын жараткан 1714 менен даталанган иштеп чыгуу. маселе Isaac Newton, анын ичинде күн, улуу окумуштуулардын көп жардам беришти, ал эми уткан чечим акыры Джон Харрисон, кандайдыр бир жол менен астрономияны камтымак чечүү багытталган илимпоздордун башкача маселени жакын жайгашкан бир clockmaker тарабынан берилген ; Көбүрөөк маалымат алуу үчүн, кара Sobel (1996) . Бул, мисалы, бир себеби ачык чакырыктар, ошондой эле иш деп жатышат, алар ар кандай багыттагы жана көндүмдөр менен элге жеткиликтүүлүгүн камсыз кылуу экенин көрсөтүп тургандай (Boudreau and Lakhani 2013) . Кара Hong and Page (2004) , ошондой эле Page (2008) Маселелерди чечүүдө ар түрдүүлүктү наркы боюнча көп.

бөлүмүндө ачык чакыруу учурларда ар бир мындай категорияга таандык эмне үчүн мындан ары түшүндүрүү бир аз талап кылат. Биринчиден, мен адам эсептөө жана ачык чакыруу долбоорлорун бири-биринен айырмалаш бир жолу бардык чечимдерди чыгаруу орточо болуп эсептелет (адам эсептөө) же мыкты чечим (ачык чакыруу) кагабыз. Netflix сыйлыгы мыкты чечим айрым чечимдер бир татаал орточо болуп чыкты, анткени, бул жагынан бир аз татаал болуп, бир ыкма ансамблинин чечим деп аталат (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix көз карашынан алганда, бирок алар аткарышы керек болгон бардык жакшы чечим тандап болду. Netflix сыйлыгынын тууралуу көбүрөөк көрүп Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , жана Feuerverger, He, and Khatri (2012) .

Экинчиден, адам эсептөөдө айрым аныктамасы менен (мисалы, Ahn (2005) ), Foldit адам эсептөө долбоорун карап керек. Бирок, мен бул атайын ыкмаларды талап кылат, себеби ачык чалуу катары категорияга үчүн тандап алган (сөзсүз билим жок болсо да), ошондой эле ал эмес, бөлүнүп-колдонуу-комбайн стратегияны колдонуу аркылуу эмес, мыкты чечим талап кылынат. Foldit көбүрөөк көрүп, Cooper et al. (2010) , Khatib et al. (2011) , ошондой эле Andersen et al. (2012) ; Менин Foldit жылы сыпаттамалары бурган сүрөттөлүшү Bohannon (2009) , Hand (2010) , жана Nielsen (2012) .

Акыр-аягы, бири Peer-а-патент бөлүштүрүлгөн маалыматтарды чогултуу мисалы деши мүмкүн. Мен таратылган маалыматтарды чогултуу менен, ал эми жакшылык менен жамандыкты Салымдарымды идеясы аз экени айкын көрүнүп турат, ал, талкуу окшош түзүлүшкө ээ жана мыкты салымдары колдонулат, себеби ачык чалуу катары тандаган. Театрдын-а-патент тууралуу көбүрөөк көрүп Noveck (2006) , Ledford (2007) , Noveck (2009) , ошондой эле Bestor and Hamp (2010) .

Коомдук изилдөөлөр ачык чалууларды колдонуу көз карашынан алганда, эмнеси менен окшош жыйынтык Glaeser et al. (2016) , 10-бөлүмүндө маселе боюнча Mayer-Schönberger and Cukier (2013) New York City турак инспекторлорунун өндүрүмдүүлүктү чоң утуштарга өндүрүү үчүн жарыш моделдерин колдонгон жетти. New York City, бул жарыш моделдер шаар кызматкерлери тарабынан курулган, ал эми башка учурларда, алар түзүлгөн же ачык чакыруу менен жакшыртуу мүмкүн экенин элестете алган (мисалы, Glaeser et al. (2016) ). Бирок, ресурстарды бөлүп колдонулган жарыш модели менен бир маанилүү маселе, бул модели азыркы проблемалар бекемдөө мүмкүнчүлүгү бар экенин көрсөтөт. Көптөгөн окумуштуулар мурунтан эле "таштанды менен, таштандылар сыртка чыгып," таанып-билип, жарыш сөз моделдер менен болот кара "тараптуулук менен чаташтырууга алып." Barocas and Selbst (2016) жана O'Neil (2016) курулган жарыш моделдердин кооптуу экенин дагы бир жактуу окутуу маалыматтар менен.

ачык конкурстар менен бир маселе өкмөттөрдү алдын алуу үчүн ушул купуялык бузулушуна алып келиши мүмкүн маалыматтарды бошотулушун талап болуп саналат. Жеке жана ачык чалуулар маалымат бошотуу жөнүндө көбүрөөк көрүп Narayanan, Huey, and Felten (2016) жана 6-бөлүмүндө талкууну.

Алдын ала жана түшүндүрүү ортосундагы айырмачылык жана окшоштуктары тууралуу көбүрөөк көрүп Breiman (2001) , Shmueli (2010) , Watts (2014) , жана Kleinberg et al. (2015) . Коомдук изилдөөлөр боюнча алдын ала ролу тууралуу көбүрөөк көрүп Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , жана Yarkoni and Westfall (2017) .

Анын ичинде долбоордук сунуштарды биология ачык чакыруу долбоорлорду карап үчүн, кара Saez-Rodriguez et al. (2016) .

• Бөлүштүрүү маалыматтарды чогултуу (5.4-бөлүм)

EBird Менин сүрөттөлүшү менен сыпаттамалары бурган Bhattacharjee (2005) , Robbins (2013) , жана Sullivan et al. (2014) . Изилдөөчүлөр eBird маалыматтарды талдоо үчүн статистикалык моделдерин пайдалануу кантип көбүрөөк көрүп Fink et al. (2010) жана Hurlbert and Liang (2012) . EBird катышуучулардын өнөрүн эсептөө тууралуу көбүрөөк көрүп Kelling, Johnston, et al. (2015) . Орнитология жаран илим тарыхы тууралуу көбүрөөк маалымат, көрүп Greenwood (2007) .

Malawi Journals Долбоор тууралуу көбүрөөк көрүп Watkins and Swidler (2009) жана Kaler, Watkins, and Angotti (2015) . Түштүк Судан менен байланышкан долбоор боюнча көбүрөөк көрүп Angotti and Sennott (2015) . Изилдөө Malawi Journals долбоорунун маалыматтары менен көп мисалдарды көрүп Kaler (2004) жана Angotti et al. (2014) .

• Долбоорлоо өз (көрүү 5.5)

дизайн пикирин сунуш Менин мамиле мисалдарынын негизинде, тыянак жана мен жөнүндө уккан-массалык кызматташуу долбоорлорду ишке ашкан жок. Ошондой эле изилдөө агымдын, массалык кызматташуу долбоорлоонун тиешелүү экенин онлайн коомчулуктарга долбоорлоого жалпы коомдук психологиялык теорияларын колдонууга карагыла, мисалы, аракет болду Kraut et al. (2012) .

Түрткү катышуучулары жөнүндө, иш жүзүндө кыйла эле так адамдар эмне үчүн массалык кызматташуу долбоорлоруна катышууга тактаганга татаал болуп саналат (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Эгер microtask эмгек рыногунда төлөө менен катышуучуларды түрткү пландаштырып болсо (мисалы, Amazon Механикалык Турк), Kittur et al. (2013) айрым эрежелерди сунуш кылат.

Zooiverse долбоорлорду чыккан күтүүсүз ачылыштар дагы мисал үчүн, күтүүсүз жагымдуу жөнүндө, көрүп Marshall, Lintott, and Fletcher (2015) .

Этикалык болуу жөнүндө маселелерди бир нече жакшы жалпы киргизүү болуп саналат Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , жана Zittrain (2008) . Атайын эл кызматкерлери менен укук маселелери менен байланышкан маселелер үчүн, кара Felstiner (2011) . O'Connor (2013) илимий жана катышуучуларынын ролун жокко кийин изилдөөлөрдүн этикалык көзөмөл жөнүндө суроолорго жооп. Жараны илимий долбоорлордун катышуучуларынын коопсуздугу, ал эми чогуу маалыматтар менен байланышкан маселелер үчүн, кара Bowser et al. (2014) . Both Purdam (2014) жана Windt and Humphreys (2016) бөлүштүрүлгөн маалыматтарды чогултуу этикалык маселелер боюнча кээ бир талкуу бар. Акыр-аягы, ал көпчүлүк долбоорлор салымын таанып, бирок катышуучуларына жазганына насыя бербейт. Жылы Foldit, оюнчулар көп учурда жазуучу катары саналып (Cooper et al. 2010; Khatib et al. 2011) . Башка ачык чакыруу долбоорлордо, утуп алган катышуучу көп учурда аларды чечүү жолдорун баяндаган кагаз жазып берет (мисалы, Bell, Koren, and Volinsky (2010) жана Dieleman, Willett, and Dambre (2015) ).