অংশগ্রহণকারীদের নিয়োগ, চিকিত্সার র্যান্ডোমাইজেশন, চিকিত্সার বিতরণ, এবং ফলাফল পরিমাপ: এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষায় চারটি প্রধান উপাদান আছে.
র্যান্ডমাইজড নিয়ন্ত্রিত পরীক্ষায় চারটি প্রধান উপাদানের রয়েছে: অংশগ্রহণকারীদের নিয়োগ, চিকিত্সার রেন্ডারাইজেশন, চিকিত্সা সরবরাহ এবং পরিমাপের পরিমাপ। ডিজিটাল বয়স পরীক্ষার মৌলিক প্রকৃতি পরিবর্তন করে না, কিন্তু এটি সহজেই logistically করে তোলে। উদাহরণস্বরূপ, অতীতে, লক্ষ লক্ষ লোকের আচরণ পরিমাপ করা কঠিন ছিল, কিন্তু এখন অনেকগুলি ডিজিটাল সিস্টেমগুলিতে নিয়মিতভাবে ঘটছে। গবেষকরা এই নতুন সুযোগগুলি কাজে লাগাতে পারেন তা খুঁজে বের করতে পারেন এমন গবেষকরা আগে যে অসম্ভব অসাধারণ পরীক্ষাগুলি চালাতে সক্ষম হবে।
এই সব আরো একটি কংক্রিট করতে - উভয় কি একই হয়েছে এবং কি পরিবর্তন হয়েছে- এর মাইকেল Restivo এবং Arnout ভ্যান দে Rijt (2012) দ্বারা একটি পরীক্ষা বিবেচনা করা যাক। তারা উইকিপিডিয়ায় সম্পাদকীয় অবদানগুলিতে অনানুষ্ঠানিক পিয়ার পুরস্কারের প্রভাব বুঝতে চেয়েছিলেন। বিশেষ করে, তারা বার্নস্টারের প্রভাবগুলি অধ্যয়ন করেন, যে কোনও উইপিতে একজন উইকিপিডিয়ান অন্য কোনও উইকিপিডিয়ানকে কঠোর পরিশ্রম এবং উপযুক্ত অধ্যয়নের জন্য স্বীকার করতে পারেন। Restivo এবং ভ্যান দে Rijt 100 যোগ্য উইকিপিডিয়ান barnstars দিয়েছে। তারপর, তারা 90 দিনের মধ্যে উইকিপিডিয়ার প্রাপকগণের পরবর্তী অবদানগুলি অনুসরণ করে। তাদের আশ্চর্যের বিষয়, যাদেরকে তারা বার্নস্টসের ভূষিত করে তাদের একজনকে পাওয়ার পর কম সংখ্যক সম্পাদনা করে। অন্য কথায়, উদ্বুদ্ধ অবদানগুলির পরিবর্তে বালাস্টরা নিরুৎসাহিত হচ্ছে বলে মনে হচ্ছে।
সৌভাগ্যবশত, রেস্টিভো ও ভ্যান দে রিজত একটি "চিত্তাকর্ষণ এবং পর্যবেক্ষণ" পরীক্ষা চালাচ্ছিল না; তারা একটি এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা চলছে। সুতরাং, বার্নস্টারের জন্য 100 টি শীর্ষস্থানীয় ব্যবহারকারীদের বেছে নেওয়ার পাশাপাশি তারা 100 টি শীর্ষস্থানীয় খেলোয়াড়দেরও বেছে নিয়েছে যাদের তারা এক করে না। এই 100 একটি নিয়ন্ত্রণ গ্রুপ হিসাবে পরিবেশিত। এবং সমালোচকদের, যারা চিকিত্সা গ্রুপ ছিল এবং নিয়ন্ত্রণ গ্রুপ যারা ছিল এলোমেলোভাবে নির্ধারিত।
রিস্টিভো এবং ভ্যান ডি রিজট যখন কন্ট্রোল গোষ্ঠীর লোকদের আচরণের দিকে তাকিয়ে থাকত, তখন তাদের অবদান খুব কম হ'ল। উপরন্তু, যখন রিস্টিভো ও ভ্যান ডি রিজটের নিয়ন্ত্রণ গ্রুপের লোকজনের সাথে তুলনা করা হয় (অর্থাৎ, বনস্টারস পেয়েছি) তখন তারা দেখে যে চিকিত্সা গ্রুপে মানুষ প্রায় 60% বেশি অবদান রেখেছে। অন্য কথায়, উভয় দলের অবদান প্রতারিত হয়, কিন্তু নিয়ন্ত্রণ গোষ্ঠীর লোকেরা এত দ্রুত কাজ করছিল
এই গবেষণায় দেখায় হিসাবে, পরীক্ষায় নিয়ন্ত্রণ গ্রুপ কিছুটা বিপর্যয়মূলক যে একটি উপায় সমালোচনামূলক হয়। বার্নস্টার, রিস্টিভো ও ভ্যান ডি রিজটের প্রভাবকে যথাযথভাবে পরিমাপ করার জন্য যারা বার্নস্টার পাননি তাদের পর্যবেক্ষণ করতে হবে। অনেকবার, এমন গবেষকরা যারা পরীক্ষা গ্রুপের অবিশ্বাস্য মূল্যের প্রশংসা করতে ব্যর্থ হয়। যদি Restivo এবং ভান দে Rijt একটি নিয়ন্ত্রণ গ্রুপ ছিল না, তারা ঠিক ভুল উপসংহার টানা হবে। কন্ট্রোল গোষ্ঠীগুলি এত গুরুত্বপূর্ণ যে একটি প্রধান ক্যাসিনো সংস্থার প্রধান নির্বাহী কর্মকর্তা বলেছেন যে কেবল মাত্র তিনটি উপায় আছে যা কর্মচারীদেরকে তার কোম্পানীর কাছ থেকে বহিষ্কার করা যেতে পারে: যৌন নিপীড়নের জন্য, অথবা নিয়ন্ত্রণ গ্রুপের (Schrage 2011) ব্যতীত একটি পরীক্ষা চালানোর জন্য। ।
Restivo এবং ভ্যান ডি Rijt এর গবেষণায় একটি পরীক্ষা চার প্রধান উপাদানের ব্যাখ্যা: নিয়োগ, র্যান্ডমাইজেশন, হস্তক্ষেপ, এবং ফলাফল। একসঙ্গে এই চারটি উপাদানগুলি বিজ্ঞানীদের পারস্পরিক সম্পর্কের বাইরে চলে যায় এবং চিকিত্সার কার্যকারিতার পরিমাপের পরিমাপ দেয়। বিশেষত, র্যান্ডিডাইজেশন মানে যে চিকিত্সার এবং নিয়ন্ত্রণ গ্রুপে মানুষ অনুরূপ হবে। এটি গুরুত্বপূর্ণ কারণ এর মানে হল যে দুটি গ্রুপের মধ্যে ফলাফলের মধ্যে কোনও পার্থক্যটি চিকিত্সার জন্য দায়ী করা যায় না।
পরীক্ষার মেকানিক্সের একটি চমৎকার দৃষ্টান্ত হওয়ার পাশাপাশি, রেটিভো এবং ভ্যান ডি রিজটের গবেষণায় দেখানো হয়েছে যে ডিজিটাল পরীক্ষার সরবরাহগুলি এনালগ পরীক্ষার থেকে সম্পূর্ণ আলাদা হতে পারে। রেস্টিভো ও ভ্যান ডি রিজটের পরীক্ষায়, কাউকে বার্নস্টার দিতে সহজ ছিল, এবং সময়সীমার সংখ্যাগরিত সময়ের (সম্পাদনার ইতিহাস স্বয়ংক্রিয়ভাবে উইকিপিডিয়ার দ্বারা রেকর্ড করা হয়) ফলাফলের ফলাফল-সংখ্যাটি ট্র্যাক করা সহজ ছিল। চিকিত্সা এবং পরিশ্রমের পরিমান কোন খরচ ছাড়াই এই গুণটি অতীতের অভিজ্ঞতার তুলনায় গুণগতভাবে ভিন্ন। যদিও এই গবেষণায় ২00 জন লোক জড়িত ছিল, তবে এটি ২,000 বা এমনকি ২0,000 লোকের সাথে চালাতে পারত। গবেষকগণ 100 টা ফ্যাক্টর দ্বারা তাদের গবেষণায় স্কেল করা থেকে বিরত থাকার প্রধান বিষয় ছিল না; এটা নৈতিকতা ছিল। অর্থাৎ Restivo এবং van de Rijt সম্পাদকদের অদক্ষতা barnstars দিতে চান না, এবং তারা তাদের পরীক্ষা উইকিপিডিয়া সম্প্রদায় (Restivo and Rijt 2012, 2014) ব্যাহত করতে চান না। আমি এই অধ্যায়ে এবং অধ্যায়ে অধ্যায় মধ্যে পরীক্ষার দ্বারা উত্থাপিত কিছু নৈতিক বিবেচনার উপর ফিরে করব
উপসংহারে, রেটিভো এবং ভ্যান দে রিজটের গবেষণায় প্রমাণ পাওয়া যায় যে যখন পরীক্ষা-নিরীক্ষার মৌলিক লজিক পরিবর্তন হয় নি, তখন ডিজিটাল-যুগের পরীক্ষামূলক ব্যবহারগুলি নাটকীয়ভাবে ভিন্ন হতে পারে। পরবর্তীতে, এই পরিবর্তনের দ্বারা সৃষ্ট সুযোগগুলি আরও স্পষ্টভাবে বিচ্ছিন্ন করার জন্য, আমি অতীতের যেসব পরীক্ষা করেছি তা নিয়ে গবেষকরা এখন কী করতে পারেন তা তুলনা করবো।