গণসংযোগ নাগরিক বিজ্ঞান , গণসচেতনতা , এবং সমষ্টিগত বুদ্ধিমত্তা নাগরিক বিজ্ঞান সাধারণত বৈজ্ঞানিক পদ্ধতিতে "নাগরিক" (অর্থাত্, অনুমানবিদ) জড়িত বোঝায়; আরো জন্য, Crain, Cooper, and Dickinson (2014) এবং Bonney et al. (2014) । ক্রাউডসোর্সিং সাধারণত সাধারণত একটি প্রতিষ্ঠানের মধ্যে সমস্যার সমাধান করা হয় এবং এটি একটি ভিড়ের বাইরে আউটসোর্সিং এর অর্থ। আরো জন্য, দেখুন Howe (2009) । যৌথ গোয়েন্দা অর্থ সাধারণত এমন ব্যক্তিদের সংগঠিত হয় যা যৌথভাবে অনুমান করে এমন পদ্ধতিতে সম্মিলিতভাবে কাজ করে; আরো জন্য, দেখুন Malone and Bernstein (2015) । Nielsen (2012) বৈজ্ঞানিক গবেষণার জন্য গণসংযোগের ক্ষমতা একটি বই দৈর্ঘ্য ভূমিকা।
অনেক ধরণের জনসাধারণের সহযোগিতায় আমি প্রস্তাবিত তিনটি শ্রেণিতে সুদৃঢ়ভাবে ফিট করি না, এবং আমি মনে করি এই তিনটি বিশেষ মনোযোগ কেনার কারণ তারা সামাজিক গবেষণার জন্য উপযোগী হতে পারে। একটি উদাহরণ পূর্বাভাসের বাজার, যেখানে অংশগ্রহণকারীরা কেনা এবং বাণিজ্য চুক্তি যা বিশ্বজুড়ে ফলাফলের উপর ভিত্তি করে বিক্রিযোগ্য। ভবিষ্যদ্বাণীমূলক বাজারগুলি প্রায়ই পূর্বাভাসের জন্য সংস্থাগুলি ও সরকার দ্বারা ব্যবহৃত হয়, এবং তারা সামাজিক গবেষকদের দ্বারা মনোবিজ্ঞান (Dreber et al. 2015) প্রকাশিত গবেষণাপত্রগুলির প্রতিলিপিটির ভবিষ্যদ্বাণী করা হয়েছে। পূর্বাভাসের বাজারগুলির একটি সংক্ষিপ্ত বিবরণ জন্য, Wolfers and Zitzewitz (2004) এবং Arrow et al. (2008) ।
একটি দ্বিতীয় উদাহরণ যা আমার শ্রেণীকরণ পরিকল্পনায় ভালভাবে মাপসই হয় না PolyMath প্রকল্প, যেখানে গবেষকরা নতুন গণিত তত্ত্বগুলি প্রমাণ করার জন্য ব্লগ এবং উইকিস ব্যবহার করে সহযোগিতা করে। পলিমেথ প্রকল্পটি নেটফ্লিয়্স প্রাইজের মতো কিছু উপায়ে হয়, কিন্তু এই প্রকল্পে অংশগ্রহণকারীরা অন্যদের আংশিক সমাধানের উপর আরো সক্রিয়ভাবে তৈরি হয়। পলিমেথ প্রকল্প সম্পর্কে আরও জানার জন্য Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , এবং Kloumann et al. (2016)
একটি তৃতীয় উদাহরণ যা আমার শ্রেণীকরণ পরিকল্পনায় ভালভাবে মাপসই নয়, যেমন ডিফেন্স অ্যাডভান্সড রিসার্চ প্রজেক্টস এজেন্সি (ডারপিএ) নেটওয়ার্ক চ্যালেঞ্জ (অর্থাত্ রেড বেলুন চ্যালেঞ্জ) এর মতো সময় নির্ভরশীলতা। এই Pickard et al. (2011) সংবেদনশীল mobilizations আরও জন্য Pickard et al. (2011) দেখুন Pickard et al. (2011) , Tang et al. (2011) , এবং Rutherford et al. (2013) ।
শব্দ "মানব গণনা" কম্পিউটার বিজ্ঞানী দ্বারা সম্পন্ন কাজ থেকে বেরিয়ে আসে, এবং এই গবেষণা পিছনে প্রসঙ্গে বোঝার জন্য এটি জন্য উপযুক্ত হতে পারে যে সমস্যা বাছাই করার আপনার ক্ষমতা উন্নত হবে। নির্দিষ্ট কর্মের জন্য, কম্পিউটারগুলি অবিশ্বাস্যভাবে শক্তিশালী, এমনকি দক্ষ মানুষের এমনকি অনেকগুলি দক্ষতার সাথে। উদাহরণস্বরূপ, দাবা মধ্যে, কম্পিউটার এমনকি সেরা grandmasters এমনকি বীট পারেন। কিন্তু-এবং এটি সামাজিক বিজ্ঞানীদের দ্বারা কম ভাল প্রশংসা করা হয়- অন্যান্য কাজের জন্য, কম্পিউটার আসলে মানুষের তুলনায় অনেক খারাপ। অন্য কথায়, আপনি ছবি, ভিডিও, অডিও, এবং পাঠ্য প্রক্রিয়াকরণের সাথে জড়িত কিছু কাজের ক্ষেত্রে এখনই সবচেয়ে বেশি দক্ষ কম্পিউটারের চেয়ে ভাল। কম্পিউটার বিজ্ঞানীরা এই হার্ড-কম্পিউটারের জন্য সহজে কাজ করার জন্য কাজ করে, তাই তাদের বুঝতে হবে যে তারা তাদের গণনীয় প্রক্রিয়ার মধ্যে মানুষকে অন্তর্ভুক্ত করতে পারে। এখানে লুইস ফন আহ্ন (2005) মানব পরিসংখ্যানকে বর্ণনা করেছেন যে, তিনি যখন তাঁর গবেষণায় প্রথম শব্দটি রচনা করেছিলেন: "মানব প্রক্রিয়াকরণ ক্ষমতা ব্যবহার করার জন্য একটি দৃষ্টান্ত যা কম্পিউটারগুলি এখনো সমাধান করতে পারে না।" মানুষের গণনাের একটি বইয়ের দৈর্ঘ্যের চিকিত্সার জন্য শব্দটি সবচেয়ে সাধারণ অর্থে, দেখুন Law and Ahn (2011) ।
Ahn (2005) ফিন্টিট-এর প্রস্তাবিত সংজ্ঞা অনুযায়ী, যা আমি খোলা কলগুলির অংশে বর্ণিত- একটি মানব গণনা প্রকল্প হিসেবে বিবেচিত হতে পারে। যাইহোক, আমি একটি খোলা কল হিসাবে Foldit শ্রেণীকরণ করা চয়ন কারণ এটি বিশেষ দক্ষতা প্রয়োজন (যদিও অগত্যা আনুষ্ঠানিক প্রশিক্ষণ না) এবং এটি একটি বিভক্ত-আবেদন-সম্মিলন কৌশল ব্যবহার করার পরিবর্তে প্রদত্ত সেরা সমাধান নেয়।
পরিসংখ্যানগত কম্পিউটিংয়ের একটি কৌশল বর্ণনা করতে Wickham (2011) দ্বারা "বিভক্ত-প্রয়োগ-সংমিশ্রণ" শব্দটির ব্যবহার করা হয়েছিল, কিন্তু এটি পুরোপুরিভাবে অনেক মানব গণনা প্রকল্পগুলির প্রক্রিয়াটি ধরে নেয়। বিভক্ত-প্রয়োগ-সম্মিলন কৌশলটি Google- এ উন্নত মানচিত্র রেডিস ফ্রেমওয়ার্কের অনুরূপ; MapReduce আরো জানার জন্য, দেখুন Dean and Ghemawat (2004) এবং Dean and Ghemawat (2008) । অন্যান্য বিতর্কিত কম্পিউটিং আর্কিটেকচারের জন্য আরও দেখুন, Vo and Silvia (2016) । Law and Ahn (2011) এর তৃতীয় অধ্যায়ে এই অধ্যায়ে যেসব জটিল জটিল সংমিশ্রণ রয়েছে তার সাথে আলোচনা করা হয়েছে।
মানব কল্যাণ প্রকল্পে যে আমি অধ্যায় সম্পর্কে আলোচনা করেছি, অংশগ্রহণকারীরা কি ঘটছে তা সচেতন ছিল। অন্য কিছু প্রকল্প, তবে, "কাজ" যা ইতিমধ্যেই ঘটছে (যেমন ই-বার্ডের মতো) এবং অংশগ্রহণকারী সচেতনতা ব্যতীত ক্যাপচার করতে চায়। দেখুন, উদাহরণস্বরূপ, ESP গেম (Ahn and Dabbish 2004) এবং reCAPTCHA (Ahn et al. 2008) । যাইহোক, এই উভয় প্রকল্পই নৈতিক প্রশ্ন উত্থাপন করে কারণ অংশগ্রহণকারীরা কিভাবে তাদের তথ্য ব্যবহার করা হচ্ছে তা জানত না (Zittrain 2008; Lung 2012) ।
ESP গেম দ্বারা অনুপ্রাণিত, অনেক গবেষক অন্য একটি "একটি উদ্দেশ্য সঙ্গে গেম" (Ahn and Dabbish 2008) (যেমন, "মানব ভিত্তিক কম্পিউটেশন গেম" (Pe-Than, Goh, and Lee 2015) বিকাশ করার চেষ্টা করেছে) যে হতে পারে অন্যান্য সমস্যার বিভিন্ন সমাধান ব্যবহৃত। কি এই "একটি উদ্দেশ্য সঙ্গে গেম" সাধারণ আছে যে তারা মানুষের কম্পোনেন্ট জড়িত কাজ করতে চেষ্টা উপভোগ্য এইভাবে, যখন ESP গেমটি একই সাথে বিভক্ত-প্রযোজ্য - আকাশগঙ্গা চিড়িয়াখানার কাঠামো ভাগ করে নেয়, তখন এটি অংশগ্রহণকারীদের কীভাবে অনুপ্রাণিত করে-এর মধ্যে পার্থক্য বজায় রয়েছে- বিজ্ঞানকে সাহায্য করার জন্য মজা বনাম। একটি উদ্দেশ্য সঙ্গে গেম আরও জন্য, দেখুন Ahn and Dabbish (2008) ।
আকাশগঙ্গা চিড়িয়াখানা সম্পর্কে আমার বর্ণনা Nielsen (2012) , Adams (2012) , Clery (2011) এবং Hand (2010) , এবং আমার গ্যালাক্সি চিড়ির গবেষণা লক্ষ্যসমূহ উপস্থাপিত করা হয়েছে। জ্যোতির্বিজ্ঞানে ছায়াপথ শ্রেণিবিন্যাসের ইতিহাস এবং গ্যালারি চিড়িয়াখানাটি এই ঐতিহ্যকে কীভাবে চলছে তা আরও বিস্তারিত জানার জন্য দেখুন Masters (2012) এবং Marshall, Lintott, and Fletcher (2015) । আকাশগঙ্গা চিড়িয়াখানা নির্মাণ, গবেষকরা স্বেচ্ছাসেবকদের (Masters et al. 2011) থেকে 60 মিলিয়নেরও বেশি জটিল আকারের শ্রেণীবিন্যাস সংগ্রহ করেছেন, যা গ্যালাক্সি চিড়িয়াখানা 2 সম্পন্ন করেছে। এছাড়াও, তারা চাঁদের পৃষ্ঠাকে অন্বেষণ করে, গ্রহ অনুসন্ধান করার জন্য, এবং পুরানো নথিগুলিকে রূপান্তর সহ গ্যালাক্সি মোর্ফুলির বাইরে সমস্যার মধ্যে প্রবেশ করে। বর্তমানে, তাদের সমস্ত প্রকল্পগুলি জুউইউসার ওয়েবসাইট (Cox et al. 2015) এ সংগ্রহ করা হয়। প্রকল্প-স্ন্যাপশট সেরেনজিটি-এর এক প্রমাণ-প্রমাণ দেয় যে আকাশগঙ্গা চিড়িয়াখানা-টাইপ চিত্র শ্রেণীকরণ প্রকল্পগুলি পরিবেশগত গবেষণার জন্যও করা যেতে পারে (Swanson et al. 2016) ।
একটি মানবিক কম্পিউটিং প্রকল্পের জন্য Chandler, Paolacci, and Mueller (2013) এবং J. Wang, Ipeirotis, and Provost (2015) জন্য ভাল পরামর্শ প্রদান করে J. Wang, Ipeirotis, and Provost (2015) মাইক্রোটাসের শ্রম বাজারে (যেমন, অ্যামাজন মেকানিকাল টার্ক) ব্যবহার করার জন্য Chandler, Paolacci, and Mueller (2013) অন্যান্য সম্পর্কিত বিষয়। Porter, Verdery, and Gaddis (2016) মাইগ্রোটের শ্রম বাজারের ব্যবহারগুলি বিশেষ করে "ডেটা সংযোজন।" এর জন্য ব্যবহৃত উদাহরণ এবং পরামর্শ প্রদান করে, তথ্য সংযোজন এবং ডেটা সংগ্রহের মধ্যবর্তী লাইন কিছুটা নমনীয়। পাঠ্যের জন্য তদারকির শিক্ষার জন্য লেবেল সংগ্রহ ও ব্যবহার করার জন্য আরো দেখুন, Grimmer and Stewart (2013) ।
গবেষকরা আমাকে কম্পিউটারের সহায়তায় মানব গণনা পদ্ধতি (যেমন, সিস্টেম যা মেশিন লেবেল মডেলের প্রশিক্ষণ দেওয়ার জন্য মানব লেবেল ব্যবহার করে) বলেছে তৈরি করতে আগ্রহী) Shamir et al. (2014) আগ্রহী হতে পারে Shamir et al. (2014) (অডিও ব্যবহার করে একটি উদাহরণ) এবং Cheng and Bernstein (2015) । এছাড়াও, এই প্রকল্পগুলিতে মেশিন লার্নিং মডেলগুলি খোলা কলগুলির সাথে অনুরোধ করতে পারে, যার ফলে গবেষকরা সর্বশ্রেষ্ঠ ভবিষ্যদ্বাণীপূর্ণ কর্মক্ষমতা দিয়ে মেশিন লার্নিং মডেল তৈরির প্রতিদ্বন্দ্বিতা করে। উদাহরণস্বরূপ, আকাশগঙ্গা চিড়িয়াখানা দলের একটি খোলা কল দৌড়ে এবং একটি নতুন পদ্ধতির আবির্ভাব ঘটেছে যা Banerji et al. (2010) উন্নত হয়েছে Banerji et al. (2010) ; বিস্তারিত জানতে Dieleman, Willett, and Dambre (2015) দেখুন।
খোলা কল নতুন নয় আসলে, সবচেয়ে সুপরিচিত খোলা কলগুলির মধ্যে একটি 1714 খ্রিস্টাব্দে ফিরে আসে যখন ব্রিটেনের সংসদ যে কেউই সমুদ্রের একটি জাহাজের স্থিতিবিন্যাস নির্ধারণের উপায় তৈরি করতে পারে এমন লম্বা প্রয়াস অর্জন করে। এই সমস্যাটি ইসরায়েক নিউটনের সহিত বেশ কয়েকজন বিজ্ঞানীকে ঠেলে দেয় এবং বিজয়ী সমাধান শেষপর্যন্ত জন হ্যারিসন দ্বারা দাখিল করা হয়, যারা গ্রামাঞ্চলের একটি ঘড়িঘেঁষা, যারা এই সমস্যার সম্মুখিন হয় এমন বৈজ্ঞানিকদের কাছ থেকে আলাদাভাবে দাঁড় করায় যে কোনওভাবে জ্যোতির্বিদ্যা ; আরও তথ্যের জন্য, Sobel (1996) । যেহেতু এই উদাহরণটি ব্যাখ্যা করে, এক কারণে যে খোলা কলগুলি এত সুন্দরভাবে কাজ করার কথা বলেছে যে তারা বিভিন্ন দৃষ্টিকোণ এবং দক্ষতা (Boudreau and Lakhani 2013) সহ মানুষদের প্রবেশাধিকার প্রদান করে। সমস্যা সমাধানের মধ্যে বৈচিত্র্যের মূল্যের জন্য আরো Hong and Page (2004) এবং Page (2008) দেখুন।
অধ্যায়ে খোলা কল ক্ষেত্রে প্রতিটি এই বিভাগে এটি কেন এটি জন্য আরও ব্যাখ্যা একটি বিট প্রয়োজন। প্রথমত, আমি মানব গণনা এবং খোলা কল প্রকল্পের মধ্যে পার্থক্য এক উপায় হল আউটপুট সব সমাধান (মানব গণনা) বা সেরা সমাধান (খোলা কল) এর গড়। Netflix পুরস্কার এই বিষয়ে কিছুটা চতুর কারণ সেরা সমাধান একটি অনন্য সমাধানের একটি পরিশীলিত গড় পরিণত আউট, একটি পদ্ধতি একটি (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) সমাধান বলা (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) । Netflix দৃষ্টিকোণ থেকে, যাইহোক, সব তারা করতে ছিল সেরা সমাধান বাছাই করা ছিল। Netflix পুরস্কারের জন্য আরও দেখুন, Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , এবং Feuerverger, He, and Khatri (2012) ।
দ্বিতীয়ত, মানব গণনাের কিছু সংজ্ঞা (যেমন, Ahn (2005) ), ফাঁকটিকে একটি মানব গণনা প্রকল্প বিবেচনা করা উচিত। যাইহোক, আমি এটি একটি খোলা কল হিসাবে শ্রেণীবদ্ধ করার জন্য বেছে নিই কারণ এটি বিশেষ দক্ষতা প্রয়োজন (যদিও অগত্যা বিশেষ প্রশিক্ষণ না) এবং এটি একটি বিভক্ত-প্রয়োগ-সম্মিলন কৌশল ব্যবহার করার পরিবর্তে সর্বোত্তম সমাধানটি নেয়। আরও দেখুন জন্য দেখুন, Cooper et al. (2010) , Khatib et al. (2011) , এবং Andersen et al. (2012) ; বোস্টনের বিবরণটি Bohannon (2009) , Hand (2010) , এবং Nielsen (2012) বর্ণনাগুলির উপর তুলে ধরে।
অবশেষে, এক বিতর্কিত হতে পারে যে পিয়ার-টু-পেটেন্ট বিতরণ ডাটা সংগ্রহের একটি উদাহরণ। আমি এটি একটি খোলা কল হিসাবে অন্তর্ভুক্ত কারণ এটি একটি প্রতিযোগিতা মত গঠন আছে নির্বাচন এবং শুধুমাত্র শ্রেষ্ঠ অবদান ব্যবহার করা হয়, বিতরণ তথ্য সংগ্রহের সাথে, ভাল এবং খারাপ অবদান ধারণা কম স্পষ্ট। পিয়ার-টু-পেটেন্ট সম্পর্কে আরো জানার জন্য, Noveck (2006) , Ledford (2007) , Noveck (2009) , Noveck (2009) Bestor and Hamp (2010) ।
সামাজিক গবেষণা খোলা কল ব্যবহার করে, Glaeser et al. (2016) যারা অনুরূপ ফলাফল Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) 10 অধ্যায়ের মধ্যে রিপোর্ট করা হয়েছে যেখানে নিউইয়র্ক সিটি হাউজিং ইন্সপেক্টরগুলির উৎপাদনশীলতা Mayer-Schönberger and Cukier (2013) জন্য পূর্বাভাসের মডেলিং ব্যবহার করতে সক্ষম ছিল। নিউইয়র্ক শহরে, এই পূর্বাভাসের মডেলটি শহরের কর্মচারীদের দ্বারা নির্মিত হয়েছিল, কিন্তু অন্য ক্ষেত্রে, কেউ কল্পনা করতে পারে যে তারা খোলা কলগুলির সাথে তৈরি বা উন্নত হতে পারে (যেমন, Glaeser et al. (2016) )। যাইহোক, পূর্বাভাসের মডেলের সাথে একটি প্রধান উদ্বেগ সম্পদ বরাদ্দ ব্যবহৃত হয় যে এই মডেল বিদ্যমান পক্ষপাতিত্ব পুনরায় বলবৎ করার ক্ষমতা আছে অনেক গবেষক ইতিমধ্যে "আবর্জনা, আবর্জনা আউট", এবং ভবিষ্যদ্বাণীপূর্ণ মডেলের সঙ্গে " Barocas and Selbst (2016) , পক্ষপাতিত্ব" হতে পারে। " Barocas and Selbst (2016) এবং O'Neil (2016) দেখুন ভবিষ্যদ্বাণীকৃত মডেলের বিপদগুলি আরো জন্য দেখুন পক্ষপাতমূলক প্রশিক্ষণের তথ্য দিয়ে
একটি সমস্যা, যেগুলি সরকারগুলি খোলা প্রতিযোগিতাগুলি ব্যবহার করতে বাধা দিতে পারে তা হল এই তথ্য প্রকাশের প্রয়োজন, যা গোপনীয়তা লঙ্ঘনের দিকে পরিচালিত করতে পারে। খোলা কলগুলিতে গোপনীয়তা ও তথ্য প্রকাশের বিষয়ে আরো জানতে, Narayanan, Huey, and Felten (2016) এবং অধ্যায় 6 এ আলোচনা দেখুন।
ভবিষ্যদ্বাণী এবং ব্যাখ্যা মধ্যে পার্থক্য এবং সাদৃশ্য আরো জন্য, দেখুন Breiman (2001) , Shmueli (2010) , Watts (2014) , এবং Kleinberg et al. (2015) । সামাজিক গবেষণার পূর্বাভাসের বিষয়ে আরো জানতে Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , এবং Yarkoni and Westfall (2017) ।
নকশা পরামর্শ সহ জীববিদ্যা, খোলা কল প্রকল্পের একটি পর্যালোচনা জন্য দেখুন Saez-Rodriguez et al. (2016)
ইব্রাইডের আমার বিবরণ Bhattacharjee (2005) , Robbins (2013) , এবং Sullivan et al. (2014) এ বর্ণিত বিবরণে তুলে ধরে Sullivan et al. (2014) । গবেষকরা ইবিড ডাটা বিশ্লেষণের জন্য পরিসংখ্যানগত মডেল ব্যবহার করে আরও জানতে Fink et al. (2010) এবং Hurlbert and Liang (2012) । EBird অংশগ্রহণকারীদের দক্ষতার অনুমানের জন্য আরও দেখুন, Kelling, Johnston, et al. (2015) । প্রাণীবিদ্যাতে নাগরিক বিজ্ঞান ইতিহাসের আরও তথ্যের জন্য, দেখুন Greenwood (2007) ।
মালাউই জার্নাল প্রজেক্টের আরও তথ্যের জন্য Watkins and Swidler (2009) এবং Kaler, Watkins, and Angotti (2015) । দক্ষিণ আফ্রিকায় একটি সম্পর্কিত প্রকল্প আরো জন্য, Angotti and Sennott (2015) । মালাউই জার্নাল প্রজেক্টের তথ্য ব্যবহার করে গবেষণার আরও উদাহরণের জন্য Kaler (2004) এবং Angotti et al. (2014) দেখেন Angotti et al. (2014) ।
আমি সম্পর্কে শুনেছি যে সফল এবং ব্যর্থ ভর সহযোগিতা প্রকল্পের উদাহরণ উপর ভিত্তি করে নকশা পরামর্শ প্রস্তাব আমার পদ্ধতি ছিল, আবেগী। উদাহরণস্বরূপ, Kraut et al. (2012) , দেখুন, গণ সহযোদ্ধা প্রকল্প নকশা প্রাসঙ্গিক যে অনলাইন সম্প্রদায় ডিজাইন করার জন্য আরো সাধারণ সামাজিক মনস্তাত্ত্বিক তত্ত্ব প্রয়োগ করতে গবেষণা প্রচেষ্টা একটি প্রবাহ হয়েছে Kraut et al. (2012) ।
অংশগ্রহণকারীদের অনুপ্রাণিত বিষয়ে, এটি বাস্তবিকভাবে খুব জটিল বলে মনে হয় যে কেন লোকেরা (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) প্রকল্পে অংশগ্রহণ করে (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) । যদি আপনি একটি মাইক্রোটাস্ক শ্রম বাজারে অর্থ প্রদানের সাথে অংশগ্রহণকারীদের অনুপ্রাণিত করার পরিকল্পনা করেন (যেমন, আমাজন মেকানিকাল টার্ক), Kittur et al. (2013) কিছু পরামর্শ প্রদান করে।
Marshall, Lintott, and Fletcher (2015) দেখুন Zooiverse প্রকল্প থেকে বেরিয়ে আসার অপ্রত্যাশিত আবিষ্কারগুলির আরো উদাহরণের জন্য, অবাক করা সক্ষমতা সম্পর্কে।
নৈতিকতার বিষয়ে, জড়িত বিষয়ে কিছু ভাল সাধারণ ভূমিকাগুলি হল Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , এবং Zittrain (2008) । বিশেষ করে ভিড় কর্মচারীদের সঙ্গে আইনি সমস্যা সম্পর্কিত বিষয়গুলির জন্য, দেখুন Felstiner (2011) । O'Connor (2013) গবেষণার নৈতিক তদারকির বিষয়ে প্রশ্নে যখন গবেষকরা এবং অংশগ্রহণকারীদের ভূমিকা ব্লার হয়। নাগরিক বিজ্ঞান প্রকল্পের অংশগ্রহণকারীদের রক্ষা করার সময় শেয়ারিং ডেটা সম্পর্কিত বিষয়গুলির জন্য, দেখুন Bowser et al. (2014) । উভয় Purdam (2014) এবং Windt and Humphreys (2016) বিতর্কিত ডেটা সংগ্রহের নৈতিক সমস্যা সম্পর্কে কিছু আলোচনা করেছেন। অবশেষে, অধিকাংশ প্রকল্প অবদান স্বীকার করে কিন্তু অংশগ্রহণকারীদের লেখক ক্রেডিট দিতে না। Foldit- এ, খেলোয়াড়দের প্রায়ই একটি লেখক হিসাবে তালিকাভুক্ত করা হয় (Cooper et al. 2010; Khatib et al. 2011) । অন্যান্য খোলা কল প্রকল্পে, বিজয়ী অবদানকারী প্রায়ই তাদের সমাধানগুলি বর্ণনা করে একটি কাগজ লিখতে পারেন (যেমন, Bell, Koren, and Volinsky (2010) এবং Dieleman, Willett, and Dambre (2015) )।