អ្វីដែលត្រូវអានបន្ទាប់

• សេចក្តីផ្តើម (ផ្នែកទី 5.1)

ការសហការគ្នាដ៏ច្រើនរួមបញ្ចូលគំនិតពី វិទ្យាសាស្រ្តប្រជាពលរដ្ឋការ បំពេញតម្រូវការ និង ការស៊ើបការណ៍សមូហភាព ។ វិទ្យាសាស្រ្តប្រជាពលរដ្ឋជាធម្មតាមានន័យថាពាក់ព័ន្ធនឹង "ប្រជាពលរដ្ឋ" (ឧ។ អ្នកឯកទេសខាងវិទ្យាសាស្ដ្រ) នៅក្នុងដំណើរការវិទ្យាសាស្ត្រ។ សម្រាប់ព័ត៌មានបន្ថែមសូមមើល Crain, Cooper, and Dickinson (2014) និង Bonney et al. (2014) ។ ការប្រើហ្វូងមនុស្សជាទូទៅមានន័យថាយកបញ្ហាដែលត្រូវបានដោះស្រាយជាធម្មតានៅក្នុងអង្គការហើយជំនួសមកវិញវាឱ្យហ្វូងមនុស្ស។ សម្រាប់ព័ត៌មានបន្ថែមសូមមើល Howe (2009) ។ ការស៊ើបការណ៍រួមជាធម្មតាមានន័យថាជាក្រុមបុគ្គលដែលដើរតួរួមគ្នាតាមរបៀបដែលហាក់ដូចជាឆ្លាតវៃ។ សម្រាប់ព័ត៌មានបន្ថែមសូមមើល Malone and Bernstein (2015) ។ Nielsen (2012) គឺជាសេចក្តីណែនាំអំពីសៀវភៅដែលមានរយៈពេលយូរអង្វែងចំពោះអំណាចនៃការសហការដ៏ធំមួយសម្រាប់ការស្រាវជ្រាវវិទ្យាសាស្រ្ត។

មានកិច្ចសហការធំ ៗ ជាច្រើនដែលមិនសមស្របទៅតាមប្រភេទទាំងបីដែលខ្ញុំបានស្នើឡើងហើយខ្ញុំគិតថាបីចំណុចទាំងនេះសមនឹងទទួលបានការយកចិត្តទុកដាក់ពិសេសព្រោះវាអាចមានប្រយោជន៍ក្នុងការស្រាវជ្រាវសង្គម។ ឧទាហរណ៏មួយគឺទីផ្សារព្យាករណ៍ដែលជាកន្លែងដែលអ្នកចូលរួមទិញនិងកិច្ចសន្យាពាណិជ្ជកម្មដែលអាចលោះបានដោយផ្អែកលើលទ្ធផលដែលកើតឡើងនៅក្នុងពិភពលោក។ ការទស្សន៍ទាយទីផ្សារជាញឹកញាប់ត្រូវបានប្រើប្រាស់ដោយក្រុមហ៊ុននិងរដ្ឋាភិបាលសម្រាប់ការព្យាករណ៍ហើយពួកគេក៏ត្រូវបានប្រើប្រាស់ដោយក្រុមអ្នកស្រាវជ្រាវសង្គមដើម្បីទស្សន៍ទាយការចម្លងឡើងវិញនៃការសិក្សាដែលបានបោះពុម្ពផ្សាយក្នុងចិត្តវិទ្យា (Dreber et al. 2015) ។ សម្រាប់ទិដ្ឋភាពទូទៅនៃទីផ្សារទស្សន៍ទាយសូមមើល Wolfers and Zitzewitz (2004) និង Arrow et al. (2008) ។

ឧទាហរណ៏ទីពីរដែលមិនសមស្របទៅនឹងការដាក់ចំណាត់ថ្នាក់ប្រភេទរបស់ខ្ញុំគឺគម្រោង PolyMath ដែលអ្នកស្រាវជ្រាវបានសហការគ្នាដោយប្រើប្លុកនិងវីគីដើម្បីបង្ហាញពីទ្រឹស្តីគណិតវិទ្យាថ្មី។ គម្រោង PolyMath គឺនៅក្នុងវិធីមួយចំនួនស្រដៀងគ្នាទៅនឹងរង្វាន់ Netflix ប៉ុន្តែនៅក្នុងគម្រោងនេះអ្នកចូលរួមកាន់តែច្រើនបានស្ថាបនាយ៉ាងសកម្មនៅលើដំណោះស្រាយផ្នែកខ្លះនៃអ្នកដទៃ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីគម្រោង PolyMath សូមមើល Gowers and Nielsen (2009) Cranshaw and Kittur (2011) Nielsen (2012) និង Kloumann et al. (2016) ។

ឧទាហរណ៏ទីបីដែលមិនសមស្របទៅនឹងគ្រោងការណ៍ប្រភេទរបស់ខ្ញុំនោះគឺការចល័តដែលពឹងផ្អែកលើពេលវេលាដូចជាភ្នាក់ងារគម្រោងការស្រាវជ្រាវកម្រិតខ្ពស់ការពារជាតិ (DARPA) បណ្តាញ (ឧទាហរណ៍ការប្រកួត Red Balloon Challenge) ។ សម្រាប់ព័ត៌មានបន្ថែមស្តីពីការចល័តដែលមានបញ្ហាពេលវេលាទាំងនេះសូមមើល Pickard et al. (2011) Tang et al. (2011) និង Rutherford et al. (2013) ។

• ការគណនាអំពីមនុស្ស (ផ្នែក 5.2)

ពាក្យថា "ការគណនារបស់មនុស្ស" ចេញមកពីការងាររបស់អ្នកវិទ្យាសាស្រ្តកុំព្យូទ័រហើយការយល់ដឹងអំពីបរិបទដែលនៅពីក្រោយការស្រាវជ្រាវនេះនឹងបង្កើនសមត្ថភាពរបស់អ្នកក្នុងការជ្រើសរើសបញ្ហាដែលអាចសមស្របសម្រាប់វា។ សម្រាប់ភារកិច្ចមួយចំនួនកុំព្យូទ័រមានឥទ្ធិពលខ្លាំងក្លាដែលមានសមត្ថភាពលើសពីមនុស្សដែលមានជំនាញ។ ឧទហរណ៍នៅក្នុងអុក, កុំព្យូទ័រអាចផ្តួលសូម្បីតែចៅហ្វាយល្អបំផុត។ ប៉ុន្តែ - ហើយនេះត្រូវបានកោតសរសើរតិចតួចដោយអ្នកវិទ្យាសាស្រ្តសង្គម - សម្រាប់ភារកិច្ចផ្សេងទៀតកុំព្យូទ័រពិតជាអាក្រក់ជាងមនុស្ស។ នៅក្នុងពាក្យផ្សេងទៀត, ឥឡូវនេះអ្នកគឺជាអ្នកល្អប្រសើរជាងសូម្បីតែកុំព្យូទ័រស្មុគ្រស្មាញបំផុតនៅក្នុងភារកិច្ចជាក់លាក់មួយដែលពាក់ព័ន្ធនឹងដំណើរការនៃរូបភាព, វីដេអូ, អូឌីយ៉ូ, និងអត្ថបទ។ អ្នកវិទ្យាសាស្រ្តកុំព្យូទ័រដែលធ្វើការលើកុំព្យូទ័រពិបាកប្រើទាំងនេះងាយស្រួលសម្រាប់មនុស្សដូច្នេះបានដឹងថាពួកគេអាចរួមបញ្ចូលមនុស្សក្នុងដំណើរការគណនារបស់ពួកគេ។ នេះជារបៀបដែល Luis von Ahn (2005) ពិពណ៌នាអំពីការគណនារបស់មនុស្សនៅពេលគាត់បានបង្កើតពាក្យដំបូងនៅក្នុងសាររបស់គាត់: "គំរូសម្រាប់ប្រើប្រាស់ថាមពលដំណើរការមនុស្សដើម្បីដោះស្រាយបញ្ហាដែលកុំព្យូទ័រមិនអាចដោះស្រាយបាន" ។ ចំពោះការគណនាសៀវភៅដែលមានរយៈពេលវែងនៃការគណនារបស់មនុស្សនៅក្នុង ពាក្យទូទៅបំផុតនៃពាក្យនេះសូមមើល Law and Ahn (2011) ។

យោងទៅតាមនិយមន័យដែលបានស្នើនៅក្នុង Ahn (2005) Foldit - ដែលខ្ញុំបានពណ៌នានៅក្នុងផ្នែកស្តីពីការហៅបើកចំហ - អាចត្រូវបានចាត់ទុកថាជាគម្រោងគណនាមនុស្ស។ ទោះជាយ៉ាងណាក៏ដោយខ្ញុំជ្រើសរើសប្រភេទ Foldit ជាការហៅបើកចំហដោយហេតុថាវាតម្រូវឱ្យមានជំនាញឯកទេស (ទោះបីជាវាមិនចាំបាច់ជាការហ្វឹកហ្វឺនផ្លូវការក៏ដោយ) ហើយវាត្រូវការដំណោះស្រាយដ៏ល្អបំផុតដែលបានចូលរួមជាជាងប្រើយុទ្ធសាស្រ្តបំបែក - អនុវត្ត - ផ្សំ។

ពាក្យថា "split-apply-combine" ត្រូវបានប្រើដោយ Wickham (2011) ដើម្បីពិពណ៌នាអំពីយុទ្ធសាស្រ្តសម្រាប់ការគណនាស្ថិតិប៉ុន្តែវានឹងចាប់យកដំណើរការគណនានៃមនុស្សជាច្រើន។ យុទ្ធសាស្រ្តបំបែក - អនុវត្ត - ផ្សំគឺស្រដៀងគ្នាទៅនឹងគ្រោងការណ៍ MapReduce ដែលបានបង្កើតនៅ Google ។ សម្រាប់ព័ត៌មានបន្ថែមលើ MapReduce សូមមើល Dean and Ghemawat (2004) និង Dean and Ghemawat (2008) ។ សម្រាប់ព័ត៌មានបន្ថែមលើស្ថាបត្យកម្មកុំព្យូទ័រចែកចាយផ្សេងទៀតសូមមើល Vo and Silvia (2016) ។ ជំពូកទី 3 នៃ Law and Ahn (2011) មានការពិភាក្សាអំពីគម្រោងដែលមានជំហានផ្សំជាងមុនជាងនៅក្នុងជំពូកនេះ។

នៅក្នុងគម្រោងគណនាមនុស្សដែលខ្ញុំបានពិភាក្សានៅក្នុងជំពូកអ្នកចូលរួមបានដឹងពីអ្វីដែលកំពុងកើតឡើង។ ទោះជាយ៉ាងណាក៏ដោយគម្រោងមួយចំនួនព្យាយាមស្វែងរក "ការងារ" ដែលកំពុងកើតមានរួចហើយ (ស្រដៀងនឹង eBird) និងដោយគ្មានការយល់ដឹងពីអ្នកចូលរួម។ មើលឧទាហរណ៍ហ្គេម ESP (Ahn and Dabbish 2004) និង reCAPTCHA (Ahn et al. 2008) ។ ទោះជាយ៉ាងណាក៏ដោយគម្រោងទាំងពីរនេះក៏លើកឡើងនូវសំណួរសីលធម៌ដោយសារតែអ្នកចូលរួមមិនដឹងពីរបៀបដែលទិន្នន័យរបស់ពួកគេត្រូវបានប្រើប្រាស់ (Zittrain 2008; Lung 2012) ។

ត្រូវបានបំផុសគំនិតដោយល្បែង ESP អ្នកស្រាវជ្រាវជាច្រើនបានព្យាយាមអភិវឌ្ឍហ្គេមផ្សេងទៀតជាមួយគោលបំណងមួយ (Ahn and Dabbish 2008) (ឧទាហរណ៏ "ហ្គេមគណនាតាមមនុស្ស" (Pe-Than, Goh, and Lee 2015) ) ដែលអាចជា បានប្រើដើម្បីដោះស្រាយភាពខុសគ្នានៃបញ្ហាផ្សេងទៀត។ អ្វីដែល "ការលេងហ្គេមជាមួយនឹងគោលបំណង" មួយដែលមានដូចគ្នានោះគឺថាពួកគេបានព្យាយាមដើម្បីធ្វើឱ្យភារកិច្ចដែលពាក់ព័ន្ធនឹងការគណនារបស់មនុស្សរីករាយ។ ដូច្នេះខណៈដែលហ្គេម ESP ចែករំលែករចនាសម្ព័ន្ធបំបែក - អនុវត្ត - ផ្សំជាមួយនឹងសួនសត្វសួនសត្វ, វាខុសគ្នាពីរបៀបដែលអ្នកចូលរួមត្រូវបានលើកទឹកចិត្ត - ភាពសប្បាយរីករាយធៀបនឹងបំណងក្នុងការជួយវិទ្យាសាស្ត្រ។ សម្រាប់ការប្រកួតប្រជែងបន្ថែមទៀតនៅលើហ្គេមសូមមើល Ahn and Dabbish (2008) ។

ការពិពណ៌នារបស់ខ្ញុំអំពីសួនសត្វសួនសត្វគូសនៅលើ Nielsen (2012) Adams (2012) , Clery (2011) និង Hand (2010) ហើយបទបង្ហាញរបស់ខ្ញុំនៃគោលបំណងនៃការស្រាវជ្រាវរបស់ Galaxy Zoo ត្រូវបានធ្វើឱ្យសាមញ្ញ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីប្រវត្តិសាស្ត្រនៃកាឡាក់ស៊ីក្នុងវិស័យតារាសាស្ត្រនិងរបៀបដែលសួនសត្វហ្សាវហ្សូបានបន្តប្រពៃណីនេះសូមមើល Masters (2012) និង Marshall, Lintott, and Fletcher (2015) ។ ការសាងសង់នៅលើសួនសត្វសួនសត្វអ្នកស្រាវជ្រាវបានបំពេញបញ្ហាទូរស័ព្ទ Galaxy Zoo 2 ដែលប្រមូលបានជាង 60 លានបំណែកសរីរាង្គស្មុគ្រស្មាញពីអ្នកស្ម័គ្រចិត្ត (Masters et al. 2011) ។ លើសពីនេះទៀតពួកគេបានបែកបាក់ទៅក្នុងបញ្ហាខាងក្រៅនៃរូបរាងកាឡាក់ស៊ីរួមទាំងការរុករកផ្ទៃផែនដីការស្វែងរកភពនិងការចម្លងឯកសារចាស់ៗ។ បច្ចុប្បន្នគម្រោងទាំងអស់របស់ពួកគេត្រូវបានប្រមូលនៅគេហទំព័រ Zooniverse (Cox et al. 2015) ។ គម្រោងមួយក្នុងចំណោមគម្រោង - រូបថត Serengeti - ផ្ដល់ភ័ស្តុតាងថាគម្រោងការចាត់ថ្នាក់ប្រភេទរូបភាព Galaxy Zoo ក៏អាចត្រូវបានធ្វើសម្រាប់ការស្រាវជ្រាវបរិស្ថាន (Swanson et al. 2016) ។

សម្រាប់អ្នកស្រាវជ្រាវដែលមានផែនការប្រើប្រាស់ទីផ្សារការងាររបស់ microtask (ឧ។ Amazon Mechanical Turk) សម្រាប់គម្រោងគណនាមនុស្ស Chandler, Paolacci, and Mueller (2013) និង J. Wang, Ipeirotis, and Provost (2015) ផ្តល់ដំបូន្មានល្អ ៗ លើការរចនាការងារនិង បញ្ហាពាក់ព័ន្ធផ្សេងទៀត។ Porter, Verdery, and Gaddis (2016) ផ្តល់ជូននូវឧទាហរណ៍និងដំបូន្មានដែលផ្តោតជាពិសេសទៅលើការប្រើប្រាស់ទីផ្សារការងារមីក្រូក្រឡោតសម្រាប់អ្វីដែលគេហៅថា "ការបង្កើនទិន្នន័យ" ។ បន្ទាត់រវាងការបង្កើនទិន្នន័យនិងការប្រមូលទិន្នន័យគឺមានភាពមិនច្បាស់។ សម្រាប់ព័ត៌មានបន្ថែមស្តីពីការប្រមូលនិងប្រើស្លាកសម្រាប់ការរៀនត្រួតត្រាសម្រាប់អត្ថបទសូមមើល Grimmer and Stewart (2013) ។

អ្នកស្រាវជ្រាវចាប់អារម្មណ៍ក្នុងការបង្កើតនូវអ្វីដែលខ្ញុំបានហៅថាប្រព័ន្ធគណនាមនុស្សដែលជួយដោយកុំព្យូទ័រ (ឧ។ ប្រព័ន្ធដែលប្រើប្រាស់ស្លាកមនុស្សដើម្បីហ្វឹកហាត់គំរូម៉ាស៊ីន) អាចចាប់អារម្មណ៍លើ Shamir et al. (2014) (ឧទាហរណ៍ដូចជាការប្រើសម្លេង) និង Cheng and Bernstein (2015) ។ ដូចគ្នានេះផងដែរគំរូម៉ាស៊ីនរៀននៅក្នុងគម្រោងទាំងនេះអាចត្រូវបានអំពាវនាវជាមួយការហៅបើកចំហដែលអ្នកស្រាវជ្រាវប្រកួតប្រជែងដើម្បីបង្កើតគំរូការរៀនម៉ាស៊ីនដែលមានការទស្សន៍ទាយដ៏អស្ចារ្យបំផុត។ ឧទាហរណ៍ក្រុមការងារ Galaxy Zoo បានបើកការហៅបើកចំហហើយបានរកឃើញវិធីសាស្រ្តថ្មីមួយដែលមានប្រសិទ្ធភាពជាងមួយដែលបង្កើតឡើងនៅ Banerji et al. (2010) ; សូមមើល Dieleman, Willett, and Dambre (2015) សម្រាប់ព័ត៌មានលម្អិត។

• បើកការហៅទូរស័ព្ទ (ផ្នែក 5.3)

បើកការហៅមិនមែនថ្មីទេ។ ជាការពិតមួយនៃការហៅបើកចំហល្បីល្បាញបំផុតដែលកើតមាននៅឆ្នាំ 1714 នៅពេលដែលសភាចក្រភពអង់គ្លេសបានបង្កើតរង្វាន់ឡាតាំងសម្រាប់នរណាម្នាក់ដែលអាចបង្កើតមធ្យោបាយដើម្បីកំណត់ប្រវែងនៃកប៉ាល់នៅសមុទ្រ។ បញ្ហានេះបានជួបនឹងអ្នកវិទ្យាសាស្ត្រដ៏អស្ចារ្យជាច្រើនដែលក្នុងនោះមានអ៊ីសាកញូតុននិងដំណោះស្រាយដែលឈ្នះត្រូវបានដាក់ជូនដោយ John Harrison ដែលជាអ្នកបង្កើតនាឡិកាពីជនបទដែលបានដោះស្រាយបញ្ហាខុសគ្នាពីអ្នកវិទ្យាសាស្ត្រដែលបានផ្តោតលើដំណោះស្រាយដែលពាក់ព័ន្ធនឹងវិស័យតារាសាស្ត្រ ; សម្រាប់ព័ត៌មានបន្ថែមសូមមើល Sobel (1996) ។ ឧទាហរណ៍នេះបង្ហាញពីហេតុផលមួយដែលបើកការហៅទូរស័ព្ទត្រូវបានគិតថាធ្វើបានល្អដូច្នេះគឺថាពួកគេផ្តល់លទ្ធភាពឱ្យមនុស្សដែលមានទស្សនៈនិងជំនាញផ្សេងៗគ្នា (Boudreau and Lakhani 2013) ។ សូមមើល Hong and Page (2004) និង Page (2008) ដើម្បីទទួលបានព័ត៌មានបន្ថែមអំពីតម្លៃនៃភាពចម្រុះក្នុងការដោះស្រាយបញ្ហា។

រាល់ករណីហៅបើកចំហនៅក្នុងជំពូកតម្រូវឱ្យពន្យល់បន្ថែមទៀតអំពីមូលហេតុដែលវាស្ថិតនៅក្នុងប្រភេទនេះ។ ទីមួយវិធីមួយដែលខ្ញុំបែងចែករវាងការគណនារបស់មនុស្សនិងគម្រោងការបើកចំហគឺថាតើទិន្នផលជាមធ្យមនៃដំណោះស្រាយទាំងអស់ (ការគណនារបស់មនុស្ស) ឬដំណោះស្រាយដ៏ល្អបំផុត (បើកការហៅ) ។ រង្វាន់ណ័រហ្វ្លែសគឺមានល្បិចកលក្នុងន័យនេះពីព្រោះដំណោះស្រាយដ៏ល្អបំផុតបានក្លាយទៅជាដំណោះស្រាយរបស់បុគ្គលម្នាក់ៗដែលមានភាពស្មុគស្មាញដែលវិធីសាស្រ្តហៅថាដំណោះស្រាយរួម (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) ។ ពីទស្សនៈរបស់ក្រុមហ៊ុន Netflix Inc ទោះជាយ៉ាងណាអ្វីដែលពួកគេត្រូវធ្វើគឺយកដំណោះស្រាយល្អបំផុត។ សម្រាប់ព័ត៌មានបន្ថែមលើរង្វាន់ Netflix សូមមើល Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) និង Feuerverger, He, and Khatri (2012) ។

ទីពីរដោយនិយមន័យមួយចំនួននៃការគណនារបស់មនុស្ស (ឧទាហរណ៍ Ahn (2005) ) Foldit គួរតែត្រូវបានចាត់ទុកថាជាគម្រោងគណនារបស់មនុស្ស។ ទោះជាយ៉ាងណាក៏ដោយខ្ញុំជ្រើសរើសចាត់ប្រភេទវាជាការហៅបើកចំហដោយហេតុថាវាតម្រូវឱ្យមានជំនាញឯកទេស (ទោះបីជាមិនចាំបាច់មានការបណ្ដុះបណ្ដាលឯកទេសក៏ដោយ) ហើយវាត្រូវការដំណោះស្រាយល្អបំផុតជាជាងការប្រើប្រាស់យុទ្ធសាស្រ្តបំបែក - អនុវត្ត - ផ្សំ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីលោក Foldit សូមមើល, Cooper et al. (2010) , Khatib et al. (2011) និង Andersen et al. (2012) ; ការពិពណ៌នារបស់ខ្ញុំអំពី Foldit គូរលើការពិពណ៌នានៅក្នុង Bohannon (2009) , Hand (2010) និង Nielsen (2012) ។

ទីបំផុតគេអាចជជែកវែកញែកថា Peer-to-Patent គឺជាឧទាហរណ៍នៃការប្រមូលទិន្នន័យចែកចាយ។ ខ្ញុំជ្រើសរើសយកវាជាការបើកទូលាយពីព្រោះវាមានរចនាប័ទ្មដូចការប្រកួតហើយមានតែការរួមចំណែកដ៏ល្អបំផុតដែលត្រូវបានគេប្រើប្រាស់ប៉ុណ្ណោះចំណែកឯការប្រមូលទិន្នន័យដែលបានចែកចាយគំនិតនៃការរួមចំណែកល្អនិងអាក្រក់គឺមិនសូវច្បាស់។ សម្រាប់ព័ត៌មានបន្ថែមលើ Peer-to-Patent សូមមើល Noveck (2006) Ledford (2007) , Noveck (2009) និង Bestor and Hamp (2010) ។

នៅក្នុងលក្ខខណ្ឌនៃការប្រើការហៅបើកចំហក្នុងការស្រាវជ្រាវសង្គមលទ្ធផលស្រដៀងគ្នាទៅនឹងអ្នកដែល Glaeser et al. (2016) ត្រូវបានរាយការណ៍នៅក្នុងជំពូកទី 10 នៃ Mayer-Schönberger and Cukier (2013) ដែលទីក្រុងញូវយ៉កអាចប្រើប្រាស់គំរូនៃការទស្សន៍ទាយដើម្បីបង្កើតនូវការកើនឡើងយ៉ាងធំនៃផលិតភាពរបស់អ្នកត្រួតពិនិត្យលំនៅដ្ឋាន។ នៅទីក្រុងញូវយ៉កគំរូនៃការទស្សន៍ទាយនេះត្រូវបានបង្កើតឡើងដោយបុគ្គលិកទីក្រុងប៉ុន្តែក្នុងករណីផ្សេងទៀតគេអាចស្រមៃថាពួកគេអាចបង្កើតឬកែលម្អជាមួយការហៅបើកចំហ (ឧ។ Glaeser et al. (2016) ) ។ ទោះជាយ៉ាងណាក៏ដោយការព្រួយបារម្ភសំខាន់មួយជាមួយគំរូព្យាករណ៍ត្រូវបានប្រើដើម្បីបែងចែកធនធានគឺថាគំរូទាំងនេះមានសក្តានុពលដើម្បីពង្រឹងលំអៀងដែលកំពុងមាន។ អ្នកស្រាវជ្រាវជាច្រើនបានដឹងរួចមកហើយថា "សំរាមនៅក្នុងសំណល់" ហើយជាមួយនឹងម៉ូដែលព្យាករណ៍វាអាច "លំអៀងទៅរកភាពលំអៀង" ។ សូមមើល Barocas and Selbst (2016) និង O'Neil (2016) សម្រាប់ព័ត៌មានបន្ថែមអំពីគ្រោះថ្នាក់នៃម៉ូដែលព្យាករណ៍ដែលបានសាងសង់ ជាមួយទិន្នន័យហ្វឹកហាត់លំអៀង។

បញ្ហាមួយដែលអាចរារាំងរដ្ឋាភិបាលមិនឱ្យប្រើការប្រកួតប្រជែងដោយចំហរគឺថានេះតម្រូវឱ្យមានការបញ្ចេញទិន្នន័យដែលអាចនាំឱ្យមានការរំលោភសិទ្ធិឯកជន។ សម្រាប់ព័ត៌មានបន្ថែមអំពីការចេញផ្សាយភាពជាឯកជននិងទិន្នន័យក្នុងការហៅទូរស័ព្ទបើកចំហសូមមើល Narayanan, Huey, and Felten (2016) និងការពិភាក្សានៅក្នុងជំពូកទី 6 ។

សម្រាប់ព័ត៌មានបន្ថែមអំពីភាពខុសគ្នានិងភាពស្រដៀងគ្នារវាងការព្យាករណ៍និងការពន្យល់សូមមើល Breiman (2001) , Shmueli (2010) , Watts (2014) និង Kleinberg et al. (2015) ។ ចំពោះការបន្ថែមទៀតលើតួនាទីនៃការព្យាករក្នុងការស្រាវជ្រាវសង្គមមើលឃើញ Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) និង Yarkoni and Westfall (2017) ។

ចំពោះការពិនិត្យឡើងវិញនៃគម្រោងការហៅបើកចំហនៅក្នុងជីវវិទ្យារួមទាំងការណែនាំអំពីការរចនាសូមមើល Saez-Rodriguez et al. (2016) ។

• ការប្រមូលទិន្នន័យដែលបានចែកចាយ (ផ្នែក 5.4)

ការពិពណ៌នារបស់ខ្ញុំអំពី eBird គូរលើការពិពណ៌នានៅក្នុង Bhattacharjee (2005) , Robbins (2013) និង Sullivan et al. (2014) ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីវិធីដែលអ្នកស្រាវជ្រាវប្រើប្រាស់គំរូស្ថិតិដើម្បីវិភាគទិន្នន័យ eBird សូមមើល Fink et al. (2010) និង Hurlbert and Liang (2012) ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីការប៉ាន់ប្រមាណជំនាញរបស់អ្នកចូលរួម eBird សូមមើល Kelling, Johnston, et al. (2015) ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីប្រវត្តិសាស្រ្តនៃវិទ្យាសាស្រ្តប្រជាពលរដ្ឋនៅក្នុងសត្វវិទ្យាសូមមើល Greenwood (2007) ។

សម្រាប់ព័ត៌មានបន្ថែមលើគម្រោងទស្សនាវដ្តីម៉ាលវ៉ាលសូមមើល Watkins and Swidler (2009) និង Kaler, Watkins, and Angotti (2015) ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីគម្រោងដែលពាក់ព័ន្ធនៅអាហ្វ្រិកខាងត្បូងសូមមើល Angotti and Sennott (2015) ។ សំរាប់ឧទាហរណ៍បន្ថែមទៀតនៃការស្រាវជ្រាវដែលប្រើទិន្នន័យពីគម្រោងទស្សនាវដ្តីម៉ាឡួលមើល Kaler (2004) និង Angotti et al. (2014) ។

• រចនាផ្ទាល់របស់អ្នក (ផ្នែក 5.5)

វិធីសាស្រ្តរបស់ខ្ញុំក្នុងការផ្តល់ជូននូវដំបូន្មានឌីហ្សាញគឺមានលក្ខណៈឆ្គងដោយផ្អែកលើគំរូនៃគម្រោងសហការដ៏ធំដែលទទួលបានជោគជ័យនិងបរាជ័យដែលខ្ញុំបានឮ។ មានលំហូរនៃការប៉ុនប៉ងស្រាវជ្រាវដើម្បីអនុវត្តទ្រឹស្តីខាងចិត្តសាស្ត្រសង្គមទូទៅបន្ថែមទៀតដើម្បីរៀបចំសហគមន៍អនឡាញដែលពាក់ព័ន្ធនឹងការរចនានៃគម្រោងសហការដ៏ធំមួយឧទាហរណ៍ Kraut et al. (2012) ។

ទាក់ទងនឹងការលើកទឹកចិត្តដល់អ្នកចូលរួមវាពិតជាពិបាកណាស់ក្នុងការរកឱ្យឃើញនូវមូលហេតុដែលមនុស្សចូលរួមក្នុងគម្រោងសហការដ៏ធំ (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) ។ ប្រសិនបើអ្នកមានគម្រោងដើម្បីលើកទឹកចិត្តអ្នកចូលរួមជាមួយការទូទាត់នៅលើទីផ្សារការងារ microtask (ឧ។ Amazon Mechanical Turk), Kittur et al. (2013) ផ្តល់ដំបូន្មានខ្លះៗ។

ចំពោះការភ្ញាក់ផ្អើលដែលអាចធ្វើឱ្យមានឧទាហរណ៍បន្ថែមទៀតនៃការរកឃើញដែលមិនបានរំពឹងទុកចេញពីគម្រោង Zooiverse សូមមើល Marshall, Lintott, and Fletcher (2015) ។

ទាក់ទងទៅនឹងក្រមសីលធម៌ការណែនាំទូទៅល្អ ៗ មួយចំនួនទាក់ទងនឹងបញ្ហាដែលពាក់ព័ន្ធនឹង Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) និង Zittrain (2008) ។ ចំពោះបញ្ហាទាក់ទងនឹងបញ្ហាផ្លូវច្បាប់ជាមួយបុគ្គលិកហ្វូងមនុស្សសូមមើល Felstiner (2011) ។ O'Connor (2013) ដោះស្រាយបញ្ហាអំពីការគ្រប់គ្រងសីលធម៌នៃការស្រាវជ្រាវនៅពេលតួនាទីរបស់អ្នកស្រាវជ្រាវនិងអ្នកចូលរួមមិនច្បាស់។ ចំពោះបញ្ហាទាក់ទងនឹងការចែករំលែកទិន្នន័យខណៈដែលការពារអ្នកចូលរួមក្នុងគម្រោងវិទ្យាសាស្ត្រពលរដ្ឋសូមមើល Bowser et al. (2014) ។ ទាំង Purdam (2014) និង Windt and Humphreys (2016) មានការពិភាក្សាអំពីបញ្ហាសីលធម៌ក្នុងការប្រមូលទិន្នន័យចែកចាយ។ ចុងបញ្ចប់គម្រោងភាគច្រើនទទួលស្គាល់ការចូលរួមប៉ុន្តែមិនផ្តល់ឥណទានដល់អ្នកចូលរួមឡើយ។ នៅក្នុង Foldit អ្នកលេងជាញឹកញាប់ត្រូវបានគេចុះបញ្ជីជាអ្នកនិពន្ធ (Cooper et al. 2010; Khatib et al. 2011) ។ ក្នុងគម្រោងហៅបើកចំហផ្សេងអ្នកចូលរួមដែលឈ្នះអាចសរសេរជាញឹកញាប់នូវអត្ថបទដែលសរសេរអំពីដំណោះស្រាយរបស់ពួកគេ (ដូចជា Bell, Koren, and Volinsky (2010) និង Dieleman, Willett, and Dambre (2015) ) ។