অংশগ্রহণকারীদের নিয়োগ, চিকিত্সার র্যান্ডোমাইজেশন, চিকিত্সার বিতরণ, এবং ফলাফল পরিমাপ: এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষায় চারটি প্রধান উপাদান আছে.
এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষায় অনেক রুপ নিতে পারে এবং আচরণ অনেক ধরনের অধ্যয়ন ব্যবহার করা যেতে পারে. অংশগ্রহণকারীদের নিয়োগ, চিকিত্সার র্যান্ডোমাইজেশন, চিকিত্সার বিতরণ, এবং ফলাফল পরিমাপ: কিন্তু, তাদের অন্তঃস্থলে এলোপাতাড়িভাবে নিয়ন্ত্রিত পরীক্ষায় চারটি প্রধান উপাদান আছে. ডিজিটাল বয়স পরীক্ষা মৌলিক প্রকৃতি পরিবর্তন করা হয় না, কিন্তু এটা তাদের সহজ logistically করতে পারে. উদাহরণস্বরূপ, অতীতে এটি কঠিন হয়ে থাকতে পারে লাখ লাখ মানুষের আচরণ পরিমাপ করা, কিন্তু যে এখন নিয়মিতভাবে অনেক ডিজিটাল সিস্টেম ঘটছে. গবেষকরা যারা চিন্তা করতে পারেন এই নতুন সুযোগ জোতা কিভাবে পরীক্ষায় যে পূর্বে অসম্ভব ছিল চালাতে সক্ষম হতে হবে.
এই সমস্ত একটি বিট আরো কংক্রিট-উভয় কি একই স্থগিত করেছে এবং কি হয়েছে পরিবর্তিত-আসুন মাইকেল Restivo এবং Arnout ভ্যান ডি Rijt এর বিবেচনা করা (2012) . গবেষকরা উইকিপিডিয়া সম্পাদকীয় অবদান উপর অনানুষ্ঠানিক পিয়ার পুরস্কারের প্রভাব বুঝতে চেয়েছিলেন. বিশেষ করে, তারা barnstars প্রভাব চর্চিত, একটি পুরস্কার যে কোনো উইকিপিডিয়ান কঠোর পরিশ্রম ও অধ্যবসায় স্বীকার করতে কোনো অন্য উইকিপিডিয়ান দিতে পারে. Restivo এবং ভ্যান ডি Rijt 100 যোগ্য উইকিপিডিয়ানরা করতে barnstars দিয়েছেন. তারপর, Restivo এবং ভ্যান ডি Rijt পরবর্তী 90 দিন ধরে উইকিপিডিয়ায় প্রাপকদের 'পরবর্তী অবদান ট্র্যাক. তাদের বিস্ময় অনেক, যাদের তারা barnstars ভূষিত এক প্রাপ্তির পর কম সম্পাদনা করতে সেদিকেই ঝুঁকেছে. অন্য কথায়, barnstars বদলে নিরুৎসাহিত করা অবদান উৎসাহিত করলো.
সৌভাগ্যবসত, Restivo এবং ভ্যান ডি Rijt একটি "হতবুদ্ধি করা এবং পালন" পরীক্ষা চলমান হয় নি; তারা একটি এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা চলছে. সুতরাং, একটি barnstar গ্রহণ করতে 100 শীর্ষ অবদানকারী নির্বাচন ছাড়াও, তারা 100 শীর্ষ অবদানকারী যাদের তারা একটি barnstar দিতে হয়নি বাছাই. এই একশ একটি নিয়ন্ত্রণ দল হিসেবে দায়িত্ব পালন করেন এবং যারা একটি barnstar পেয়েছেন এবং যারা এলোমেলোভাবে নির্ধারিত ছিল না. যখন Restivo এবং ভ্যান ডি Rijt কনট্রোল গ্রুপের দিকে তাকিয়ে তারা দেখতে পান যে, খুব অবদান একটি খাড়া ড্রপ ছিল. অবশেষে, যখন গবেষক কনট্রোল গ্রুপের মধ্যে এবং চিকিত্সা দলের মানুষ (অর্থাৎ, barnstars গৃহীত) মানুষ তুলনায় তাঁরা দেখলেন যে barnstar সৃষ্ট সম্পাদকদের প্রায় 60% বেশি অবদান. কিন্তু, অবদান এই বৃদ্ধি উভয় দলের মধ্যে একটি সামগ্রিক পতন অংশ হিসাবে স্থান গ্রহণ করা হয়.
এই গবেষণায় illustrates হিসেবে পরীক্ষায় কনট্রোল গ্রুপের একটি উপায় যে কিছুটা আপাতবিরোধী হয় সমালোচনামূলক হয়. অর্ডার অবিকল barnstars প্রভাব পরিমাপ করার জন্য, Restivo এবং ভ্যান ডার Rijt মানুষ যে barnstars গ্রহণ করল না পালন করা প্রয়োজন. অনেক বার গবেষকরা যারা পরীক্ষায় সঙ্গে পরিচিত হয় না নিয়ন্ত্রণ গ্রুপ অবিশ্বাস্য মান তারিফ করতে ব্যর্থ হয়. Restivo এবং ভ্যান ডি Rijt একটি নিয়ন্ত্রণ গ্রুপ আছে না করে থাকেন, তারা ঠিক ভুল উপসংহার টানা হতো. চুরি, যৌন হয়রানি, এবং একটি পরীক্ষা চলমান একটি নিয়ন্ত্রণ গ্রুপ ছাড়া: কন্ট্রোল গ্রুপ এত গুরুত্বপূর্ণ একটি প্রধান ক্যাসিনো কোম্পানীর প্রধান নির্বাহী কর্মকর্তা সেখানে শুধুমাত্র তিনটি উপায়ে যে কর্মচারীরা তার কম্পানী থেকে চাকরিচ্যুত করা যেতে পারে যে বলেছেন, হয় (Schrage 2011) .
নিয়োগ, র্যান্ডোমাইজেশন, হস্তক্ষেপ, এবং ফলাফল: Restivo এবং ভ্যান ডি Rijt গবেষণায় একটি পরীক্ষা চারটি প্রধান উপাদান illustrates. একসাথে, এই চারটি উপাদানের বিজ্ঞানীরা সম্পর্কযুক্তরূপে অতিক্রম সরানো চিকিত্সা কার্যকারণ প্রভাব পরিমাপ করার অনুমতি দেয়. বিশেষভাবে, র্যান্ডোমাইজেশন এর মানে হল যে যখন আপনি চিকিত্সা এবং নিয়ন্ত্রণ গ্রুপ জন্য ফলাফল তুলনা আপনি অংশগ্রহণকারীদের যে সেট জন্য যে হস্তক্ষেপের কার্যকারণ প্রভাব একটি অনুমান পেতে. অন্য কথায়, একটি এলোমেলোভাবে নিয়ন্ত্রিত পরীক্ষা সঙ্গে আপনি কি নিশ্চিত যে ফলাফলের কোনো পার্থক্য হস্তক্ষেপ এবং না দ্বারা একটি confounder, একটি দাবী যে আমি সম্ভাব্য ফলাফলের কাঠামো ব্যবহার কারিগরী পরিশিষ্ট মধ্যে সুনির্দিষ্ট করা সৃষ্ট হতে পারে.
পরীক্ষা-নিরীক্ষা বলবিজ্ঞান একটি চমৎকার দৃষ্টান্ত হওয়া ছাড়াও, Restivo এবং ভ্যান ডি Rijt এর গবেষণায় এও দেখা যায় যে, ডিজিটাল পরীক্ষাগুলির সরবরাহ এনালগ পরীক্ষা থেকে সম্পূর্ণ ভিন্ন হতে পারে. Restivo এবং ভ্যান ডি Rijt এর পরীক্ষা, এটা বিশ্বের যে কেউ করতে barnstar দিতে সহজ ছিল এবং এটি সম্পাদনাগুলি ওভারের ফলাফল নম্বরের সময় বর্ধিত সময়সীমার (কারণ সম্পাদনা ইতিহাস স্বয়ংক্রিয়ভাবে উইকিপিডিয়া দ্বারা নথিভুক্ত করা হয়) ট্র্যাক সহজ ছিল. এই কোন খরচে চিকিত্সা প্রদানের এবং ফলাফলের পরিমাপ করার ক্ষমতা গুণগতভাবে অতীতে পরীক্ষায় অসদৃশ হয়. যদিও এই পরীক্ষা 200 মানুষ জড়িত, তা পারে 2,000 বা 20,000 মানুষ দিয়ে চালানো হয়েছে. 100 এর একটি গুণক দ্বারা তাদের পরীক্ষা স্কেলিং আপ খরচ হয় নি গবেষকরা বাধা প্রধান জিনিস, এটা নৈতিকতা ছিল. অর্থাৎ Restivo এবং ভ্যান ডি Rijt অযোগ্য সম্পাদকদের barnstars দিতে চাইনি এবং তারা তাদের পরীক্ষা উইকিপিডিয়া সম্প্রদায়ের ব্যাহত করতে চান না (Restivo and Rijt 2012; Restivo and Rijt 2014) . সুতরাং, যদিও Restivo এবং ভ্যান ডি Rijt এর পরীক্ষা তুলনামূলকভাবে সহজ, এটা পরিষ্কারভাবে দেখায় যে পরীক্ষা-নিরীক্ষা সম্পর্কে কিছু জিনিস একই থাকতে এবং কিছু পরিবর্তন হয়েছে. বিশেষ করে, পরীক্ষা-নিরীক্ষার মৌলিক লজিক একই, কিন্তু সরবরাহ পরিবর্তিত হয়েছে. পরে, পর্যায়ক্রমে আরও স্পষ্টভাবে এই পরিবর্তনের দ্বারা নির্মিত সুযোগ বিছিন্ন, আমি পরীক্ষায় গবেষকরা পরীক্ষাগুলির ধরণের যে অতীতের সম্পন্ন হয়েছে এখন কি করতে পারেন তুলনা করব.