андан ары Комментарийди

Бул бөлүмдө бир бири катары кароо керек эмес, шилтеме катары колдонуу максатында иштелип чыккан.

• Introduction (5.1-бөлүм)

Массалык кызматташуу жараны илим, жалпылай жана жамааттык акыл идеяларды аралаштырууда. Жараны илим, адатта, «жарандар» тартуу дегенди билдирет (мисалы, азык-илимпоздор) илимий алууда (Crain, Cooper, and Dickinson 2014) . Crowdsourcing адатта, адатта, уюмдун ичинде чечилиши бир көйгөйдү алып, ордуна эл үчүн тышкы билдирет (Howe 2009) . Жамааттык чалгындоо, адатта, акылдуу көрүнгөн жолдор менен чогуу иштеп жаткан адамдар тобун билдирет (Malone and Bernstein 2015) . Nielsen (2012) илимий изилдөөлөрдү жалпыга маалымдоо кызматташуу бийликке сонун китеп узундугу киргизүү болуп саналат.

Мен сунуштаган үч категорияга дыкан туура эмес, массалык маалымат кызматташуунун көптөгөн түрлөрү бар, жана мен алар кээ бир учурда коомдук изилдөө пайдалуу болушу мүмкүн, себеби, үч өзгөчө татыктуу деп ойлойм. Бир мисал алдын рынок катышуучулары сатып алып, соода келишимдери дүйнөдө пайда натыйжаларынын негизинде куткарылууга болуп саналат (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Алдын ала базарлар көп болжолдоо үчүн ишканалардын жана башкаруу органдары тарабынан пайдаланылат, ошондой эле алдын ала базарлар да психология жарыяланган изилдөөлөрдүн replicability алдын коомдук изилдөөчүлөр тарабынан колдонулган (Dreber et al. 2015) .

Экинчи мисал изилдөөчүлөр жаңы математика теоремалары далилдөөгө блогдорун жана тилдеги менен кызматташып, менин категорияга схемасы PolyMath долбоор кирген, ошондой эле туура эмес, (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . PolyMath долбоор Netflix сыйлыгы сыяктуу кээ бир жолдор менен, бирок PolyMath долбоордун катышуучуларынын дагы жигердүү башкалар жарым-жартылай чечүү боюнча курулган.

Үчүнчү мисал, ошондой эле менин категорияга схемасы убакыт көз каранды ийкемдүү Коргоо Advanced изилдөө агенттиги сыяктуу туура келбейт (DARPA) к Оор болсо (б.а., Red Balloon чакырыктары). Бул убакта дагы сезимтал ийкемдүү көрүп Pickard et al. (2011) , Tang et al. (2011) , ошондой эле Rutherford et al. (2013) .

• Адам эсептөө (5.2-бөлүм)

термин «адам эсептеп,» компьютер окумуштуулар менен ишин алып келет, жана бул изилдөө артында контекстин түшүнүү ага жоопкерчилиги болушу мүмкүн көйгөйлөрдү алыш үчүн үйрөнөбүз. айрым бир милдеттерди аткаруу үчүн, ЭЭМ алыс да эксперттик адамдарга ашкан мүмкүнчүлүктөрүн эске алуу менен абдан күчтүү болот. Мисалы, шахмат боюнча, ЭЭМ да мыкты, улуу мырзага сабап болот. Бирок, бул аз, ошондой эле башка маселелерди коомдук тарабынан окумуштуулар үчүн жогору баалап, ЭЭМ, чынында, элдин да жаман болуп саналат. Башка сөз менен айтканда, азыркы сүрөттөрү, телекөрсөтүү, аудио жана текст иштетүү кээ бир милдеттер боюнча да абдан татаал эсептөө жакшы. Ошентип катары сонун XKCD карикатуралардын жок адамдар үчүн эсептөө машиналары үчүн жеңил жана оор милдеттери төмөнкүлөр болуп саналат, ошондой эле эсептөө жана адамдар үчүн жеңил үчүн кыйын милдеттери бар (Figure 5.13) аркылуу көрсөтүлгөн. Компьютер илимпоздор бул кыйын үчүн эсептөө-жеңил адам үчүн иштеп милдеттерди, ошондуктан, алар эсептөө учурунда адамдарды камтышы мүмкүн экенин түшүндүм. Бул жерде Luis из Ahn кантип (2005) , ал биринчи өзүнүн тезде терминди ойлоп жатканда, адам Эсептөөнү айтылган: «. ЭЭМ ге чечүү мүмкүн эмес экенин проблемаларын чечүү үчүн адамдык иштетүү күч пайдалануу үчүн парадигманы»

Тактаганга 5.13: айрым милдеттерди үчүн техникалык адам эксперттердин мүмкүнчүлүгүнөн ашыкча, өтө татаал. Бирок, башка кызматтарды да аткарышсын, жөнөкөй адамдар да татаал техникалык системаларын ашып болот. ЭЭМ үчүн катуу жана адамдар үчүн жеңил болгон милдеттерди тартат масштабдуу проблемалар адам эсептөө, ошондой эле ылайыктуу болуп саналат. Бул жерде баяндалган шарттарга ылайык колдонулат: http://xkcd.com/license.html

Бул аныктама FoldIt-мен ачык бөлүмүндө баяндалган чалуулар-турган адам эсептеп долбоор болуп эсептелет. Бирок, мен бул атайын ыкмаларды талап кылат, себеби ачык чалуу катары FoldIt категориясына тандап жана аны мыкты чечим талаш-колдонууга биригүү стратегияны колдонуу менен эмес, салым талап кылынат.

Адам эсептөө сонун китеп узундугу дарылоо үчүн, мөөнөтү кыйла жалпы мааниде, көрүп Law and Ahn (2011) . 3-бөлүмүн Law and Ahn (2011) , андан татаал, бул бөлүмдө караганда кадамдар биригип бир кызыктуу талкуу бар.

Термин «бөлүүчү-колдонуу-комбайн» колдонгон Wickham (2011) статистикалык эсептөө боюнча стратегияны айтып, бирок ал абдан көп адам эсептеп долбоорлордун жараянын кармайт. Бөлүүчү-колдонууга биригүү стратегиясы Google иштелип MapReduce алкагында окшош (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Мен талкуулоо үчүн орун жок, эки акылдуу адам эсептеп долбоорлор ESP оюн болуп саналат (Ahn and Dabbish 2004) жана сайт (Ahn et al. 2008) . Бул долбоорлордун эки сүрөттөрү энбелгилерди камсыз кылуу катышуучулар түрткү чыгармачыл жолун табууга. Бирок, бул долбоорлор менен да, ошондой эле этикалык маселелер улам, Galaxy зоопаркында айырмаланып, ESP оюндар жана сайт катышуучулары өздөрүнүн маалыматтарды колдонуп жатканын кантип билген жок көтөрүлгөн (Lung 2012; Zittrain 2008) .

ESP Оюн менен ыйык рухтун жетеги менен, көптөгөн окумуштуулар «максатында оюндар», башкаларга иштеп чыгуу үчүн аракет кылышты (Ahn and Dabbish 2008) (башкача айтканда, «адам-негизделген эсептөө оюндар» (Pe-Than, Goh, and Lee 2015) ) болушу мүмкүн башка маселелерди түрдүү чечүү үчүн колдонулат. Эмне бул «бир максат менен оюндар» орток адам эсептөөдө жагымдуу тартылган милдеттерди алууга аракет кылып жатат. Ошентип, ESP Оюн Galaxy зоопаркында менен эле бөлүү колдонууга биригүү түзүлүшүн бөлүшөт, ал эми ал илим жардам каалоо vs. катышуучулар кандайча түрткү-кызыктуу айырмаланат.

Менин Galaxy зоопаркында боюнча бурулган сүрөттөлүшү Nielsen (2012) , Adams (2012) , Clery (2011) , ошондой эле Hand (2010) , жана Galaxy зоопаркында изилдөө максаттарына менин берүү жөнөкөйлөштүрүлгөн. Бул уланууда астрономия жана кантип Galaxy Zoo жылы галактика жашыруун тарыхына салт боюнча дагы кара Masters (2012) жана Marshall, Lintott, and Fletcher (2015) . Galaxy зоопаркында боюнча курулуш, изилдөөчүлөр Galaxy персонал ыктыярчылар дагы 60 миллиондон ашуун татаал morphological жиктелиши топтогон 2 аяктады (Masters et al. 2011) . Андан тышкары, алар, айдын бетин чалгындоо планеталардын издеп, байыркы документтерди чечмелеп, анын ичинде галактика BIB | тышкары көйгөйлөр чыгып. Азыркы учурда, бардык долбоорлор чогултулат www.zooniverse.org (Cox et al. 2015) . Айлана-чөйрөнү изилдөө үчүн, ошондой эле мүмкүн долбоорлорду сүрөт Galaxy Zoo-түрү сүрөтү классификация долбоорлор далилдерди Serengeti-камсыз бир кылган (Swanson et al. 2016) .

Изилдөөчүлөр бир микро-милдет эмгек рыногун (мисалы, Amazon механикалык Турк) бир адам эсептеп долбоору боюнча берүүнү пландаштырууда үчүн Chandler, Paolacci, and Mueller (2013) жана Wang, Ipeirotis, and Provost (2015) милдети долбоорлоо жана жакшы сунуштар менен байланыштуу болгон башка маселелер боюнча.

Мен экинчи муун адам эсептөө системасын деп аташып эмне түзүүгө кызыкдар изилдөөчүлөр (мисалы, бир машина окуу моделин даярдоо үчүн адам бренды колдонуу системалар) кызыкдар болушу мүмкүн Shamir et al. (2014) жана (аудио жардамы менен, мисалы,) Cheng and Bernstein (2015) . Ошондой эле, бул долбоорлор изилдөөчүлөр улуу жарыш аткаруу менен машина үйрөнүү моделдерин түзүү үчүн атаандашкан себепчи ачык чакыруу менен жасоого болот. Мисалы, Galaxy Zoo командасы ачык чакыруу чуркап барып, иштелип чыккан бир динамикасы бир жаңы жолду Banerji et al. (2010) ; көрүп Dieleman, Willett, and Dambre (2015) маалымат үчүн.

• Ачык чалуулар (5.3-бөлүм)

Ачык чалуулар жаңы эмес. Чынында, көлгө бир кеменин узундукту аныктоо жол абдан жакшы белгилүү ачык чалуулар бири кайтып Британиянын парламенти кимге Узундугу сыйлыгын жараткан 1714 менен даталанган иштеп чыгуу. Маселе Isaac Newton, анын ичинде күн, улуу окумуштуулардын көп жардам беришти, ал эми уткан чечим акыры эптеп астрономияны тартууга турган чечүүгө багытталды илимпоздордун башкача маселени жакын айыл бир clockmaker тарабынан берилген (Sobel 1996) . Бул, мисалы, бир себеби ачык чакырыктар, ошондой эле иш деп жатышат, алар ар кандай багыттагы жана көндүмдөр менен элге жеткиликтүүлүгүн камсыз кылуу экенин көрсөтүп турат деп (Boudreau and Lakhani 2013) . Көрүп, Hong and Page (2004) , ошондой эле Page (2008) проблемаларды чечүүдө ар түрдүүлүктү наркы боюнча дагы.

бөлүмүндө ачык чакыруу учурларда ар бир эле, ушул категорияга таандык эмне үчүн мындан ары да түшүндүрүү боюнча бир аз талап кылат. Биринчиден, мен адам эсептөө жана ачык чакыруу долбоорлорун бири-биринен айырмалаш бир жолу бардык чечимдерди чыгаруу орточо болуп эсептелет (адам эсептөө) же мыкты чечим (ачык чакыруу) кагабыз. Мыкты чечим айрым чечимдер бир татаал орточо болуп чыкты, анткени Netflix сыйлыгынын бул жагынан бир аз татаал болуп, бир ансамблинин чечим деп келаткан (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix көз карашы менен, бирок, алар аткарышы керек болгон бардык мыкты чечим тандап болду.

Экинчиден, адам эсептөө (мисалы, кээ бир аныктамалары менен Von Ahn (2005) ), FoldIt адам эсептеп долбоору каралышы керек. Бирок, мен бул атайын ыкмаларды талап кылат, себеби ачык чалуу катары FoldIt категориясына тандап жана ал, тескерисинче, талаш-колдонууга биригүү стратегиясын колдонбогон караганда мыкты чечим, салым талап кылынат.

Акыры, ким Peer-а-патент бөлүштүрүлгөн маалыматтарды чогултуу мисалы талашып мүмкүн. Мен бул конкурс-сыяктуу структурасы жана гана мыкты салымдары колдонулат, себеби ачык чалуу катары тандаган (бөлүштүрүлгөн маалыматтарды чогултуу менен, ал эми жакшылык менен жамандыкты Салымдарымды идеясы аз ачык-айкын болуп калды).

Netflix сыйлыкка дагы, көрүп Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , жана Feuerverger, He, and Khatri (2012) . FoldIt тууралуу көбүрөөк көрүп, Cooper et al. (2010) , Andersen et al. (2012) , жана Khatib et al. (2011) ; FoldIt менин сүрөттөлүшү менен сыпаттамалары бурган Nielsen (2012) , Bohannon (2009) , ошондой эле Hand (2010) . Өз ара патент боюнча дагы, көрүп Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , жана Noveck (2009) .

Жыйынтыгы окшош Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 10-бөлүм текшерүүлөр New York шаарында турак жай инспекторлорунун өндүрүмдүүлүктү чоң пайда отчеттор, жарыш сөз моделдердин жетекчиликке алышат. New York City, бул жарыш моделдер шаар кызматкерлери тарабынан курулган, ал эми башка учурларда, алар түзүлгөн же ачык чакыруу менен жакшыртуу мүмкүн экенин элестете алган (мисалы, Glaeser et al. (2016) ). Бирок, ресурстарды бөлүп пайдаланылган жарыш моделдери менен бир негизги тынчсыздандырган моделдери жаткан проблемалар бекемдөө мүмкүнчүлүгү бар болот. Көп изилдөөчүлөр «таштанды менен, таштанды чыгарып,» билем, жарыш моделдер менен болот «кара, калыс да, катасын чыккан.» Barocas and Selbst (2016) жана O'Neil (2016) курулган жарыш моделдердин зыяндуулугу тууралуу көбүрөөк үчүн бир жактуу окутуу маалыматтар менен.

ачык конкурстар менен бир маселе өкмөттөрдү алдын алуу үчүн ал жекелик бузулушуна алып келиши мүмкүн маалыматтарды бошотулушун талап болуп саналат. Ачык чакыруу менен жеке жана маалымат бошотуу жөнүндө көбүрөөк көрүп Narayanan, Huey, and Felten (2016) жана 6-бөлүмдө талкууланган.

• Бөлүштүрүлгөн маалыматтарды чогултуу (5.4-бөлүм)

EBird менин сүрөттөлүшү менен сыпаттамалары бурган Bhattacharjee (2005) жана Robbins (2013) . Изилдөөчүлөр eBird маалыматты талдоо үчүн статистикалык моделдерин пайдалануу керектиги жөнүндө көбүрөөк үчүн Hurlbert and Liang (2012) жана Fink et al. (2010) . Ornothology жаран илим тарыхы боюнча дагы, көрүп Greenwood (2007) .

Malawi Journals долбоору боюнча дагы, көрүп Watkins and Swidler (2009) жана Kaler, Watkins, and Angotti (2015) . Жана Түштүк Судан менен байланыштуу долбоор боюнча дагы, көрүп Angotti and Sennott (2015) . Изилдөө Malawi Journals Долбоордун маалыматтарды колдонуу жөнүндө көбүрөөк көрүп Kaler (2004) жана Angotti et al. (2014) .

• Иштеп чыгууда өз (5.5-бөлүк)

дизайн пикирин сунуш менин мамиле ийгиликтүү үлгүсү боюнча, тыянак жана мен жөнүндө уккан массалык кызматташуу долбоорлорду ишке ашкан жок. Массалык кызматташуу долбоорлорду долбоор изилдөө дарыя да тиешеси бар экенин онлайн жамааттарды долбоорлоого жалпы коомдук психологиялык теорияларын колдонууга аракет кылган, мисалы, кара, Kraut et al. (2012) .

Түрткү катышуучуларынын байланыштуу, адамдардын массалык кызматташуу долбоорлорун ишке ашырууга катыша так Эмне үчүн капаланып, чынында, абдан татаал болот (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Силер чакан-милдет эмгек рыногу боюнча акы төлөө менен катышуучуларды түрткү пландап болсо, (мисалы, Amazon механикалык Turk) Kittur et al. (2013) айрым эрежелерди сунуш кылат.

Zoouniverse долбоорлорду чыккан күтүүсүз ачылыштар жөнүндө көбүрөөк үчүн күтүүсүз жагымдуу байланыштуу, көрүп Marshall, Lintott, and Fletcher (2015) .

Этикалык болуу жөнүндө, талаш маселелер, кээ бир жакшы жалпы киргизүү болуп саналат Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , жана Zittrain (2008) . Атайын эл кызматкерлери менен укук маселелери менен байланышкан маселелер боюнча, көрүп Felstiner (2011) . O'Connor (2013) изилдөөлөрдүн этикалык көзөмөл жөнүндө изилдөөчүлөрдүн жана катышуучуларынын ролун жокко кийин суроолорго жооп. Жараны илимий долбоорлорго participats коргоп бөлүштүрүү маалыматтар менен байланышкан маселелер боюнча, көрүп Bowser et al. (2014) . Эки Purdam (2014) жана Windt and Humphreys (2016) таратылган маалымат чогултуу этикалык маселелер боюнча кээ бир талкуу бар. Акыр-аягы, көпчүлүк долбоорлор салымын таанып, бирок катышуучуларына Authorship насыя бербейт. Жылы Foldit, Foldit оюнчулар көп учурда жазуучу катары саналып (Cooper et al. 2010; Khatib et al. 2011) . Башка ачык чакыруу долбоорлорго, утуп алган катышуучу көп учурда аларды чечүү жолдорун баяндаган кагаз жазып берет (мисалы, Bell, Koren, and Volinsky (2010) жана Dieleman, Willett, and Dambre (2015) ). долбоорлорду Galaxy Zoo үй-бүлөдө, өтө активдүү жана маанилүү салым кээде бюллетендеринде биргелешип Жазуучулар болууга чакырылат. Мисалы, Ivan Terentev жана Тим Matorny, эки Radio Galaxy Zoo катышуучулары Россиядан, ко-жазуучу, ал долбоордун туруп гезиттердин биринде болгон (Banfield et al. 2016; Galaxy Zoo 2016) .