تجارب عشوائية محكومة لديها أربعة مكونات رئيسية هي: التوظيف من المشاركين، التوزيع العشوائي للعلاج، وتقديم العلاج، وقياس النتائج.
يمكن أن تجارب عشوائية محكومة تتخذ أشكالا عديدة، ويمكن استخدامها لدراسة العديد من أنواع السلوك. ولكن، في جوهرها، تجارب عشوائية محكومة لديها أربعة مكونات رئيسية هي: التوظيف من المشاركين، التوزيع العشوائي للعلاج، وتقديم العلاج، وقياس النتائج. العصر الرقمي لا يغير الطبيعة الأساسية للتجريب، ولكنه جعلها أسهل لوجستيا. على سبيل المثال، في الماضي ربما كان من الصعب قياس سلوك الملايين من الناس، ولكن هذا ما يحدث الآن بشكل روتيني في العديد من الأنظمة الرقمية. وسوف يقوم الباحثون الذين يمكن معرفة كيفية تسخير هذه الفرص الجديدة ستكون قادرة على تشغيل تجارب لم تكن ممكنة في السابق.
لجعل هذا كل قليلا أكثر واقعية على حد سواء ما بقي على حاله وما الذي تغير، دعونا النظر مايكل Restivo وArnout فان دي Rijt في (2012) . أراد الباحثون إلى فهم تأثير المكافآت نظير رسمية بشأن المساهمات التحرير ويكيبيديا. على وجه الخصوص، درسوا آثار أوسمة، وهي جائزة أي يكيبيدي يمكن أن تعطي لأي يكيبيدي الأخرى الإقرار العمل الجاد وبذل العناية الواجبة. أعطى Restivo وفان دي Rijt أوسمة إلى 100 يكيبيديا المستحقة. ثم، تعقب Restivo وفان دي Rijt المساهمات المستلمين لاحقة إلى ويكيبيديا على مدى 90 يوما المقبلة. الكثير من دهشتهم، والأشخاص الذين كانوا منح أوسمة تميل إلى جعل أقل التعديلات بعد تلقي واحد. وبعبارة أخرى، بدا أوسمة أن تثبيط بدلا من تشجيع مساهمة.
لحسن الحظ، Restivo وفان دي Rijt كانت قيد التشغيل تجربة "التشويش ومراقبة". أنهم كانوا يديرون تجربة عشوائية محكومة. لذلك، بالإضافة إلى اختيار 100 أكبر المساهمين في الحصول على barnstar، كما أنها التقطت 100 أكبر المساهمين الذين لم يكن لإعطاء barnstar. هذه مائة بمثابة المجموعة الضابطة، والذين حصلوا على barnstar والذين لم تقرر بشكل عشوائي. عندما بدا Restivo وفان دي Rijt في السيطرة على المجموعة وجدوا أنه كان الانخفاض الحاد في المساهمات جدا. وأخيرا، عندما قارن الباحثون الناس في مجموعة العلاج (أي تلقى أوسمة) والناس في السيطرة على المجموعة، وجدوا أن barnstar تسببت المحررين للمساهمة حوالي 60٪ أكثر. ولكن، هذه الزيادة في مساهمة تجري كجزء من الانخفاض العام في كلا المجموعتين.
كما توضح هذه الدراسة، والمجموعة الضابطة في التجارب أمر بالغ الأهمية بطريقة غير متناقض إلى حد ما. من أجل قياس بدقة تأثير أوسمة، هناك حاجة Restivo وفان دير Rijt لمراقبة الناس التي لم تحصل على أوسمة. مرات العديد من الباحثين الذين ليسوا على دراية التجارب تفشل في تقدير قيمة لا تصدق من السيطرة على المجموعة. إذا Restivo وفان دي Rijt لم يكن لديك مجموعة مراقبة، وأنها قد رسمت بالضبط استنتاج خاطئ. مجموعات المراقبة هي في غاية الأهمية أن الرئيس التنفيذي لشركة كبرى كازينو وقال ان هناك ثلاثة طرق فقط أن الموظفين يمكن أن تطلق من شركته: السرقة، والتحرش الجنسي، وتشغيل تجربة دون مجموعة ضابطة (Schrage 2011) .
توضح Restivo وفان دي Rijt في دراسة المكونات الرئيسية الأربعة للتجربة: التوظيف والتوزيع العشوائي، والتدخل، والنتائج. معا، تسمح هذه المكونات الأربعة العلماء لتجاوز الارتباط وقياس تأثير مسبب من العلاجات. على وجه التحديد، التوزيع العشوائي يعني أنه عند مقارنة النتائج لمجموعات العلاج والسيطرة تحصل على تقدير التأثير السببي للأن تدخل لأن مجموعة من المشاركين. وبعبارة أخرى، مع تجربة عشوائية محكومة يمكنك أن تتأكد من أن أي اختلافات في النتائج سببها التدخل وليس المحير، مطالبة أن أقوم دقيقين في الملحق الفني باستخدام إطار النتائج المحتملة.
بالإضافة إلى كونه مثالا لطيفة من اليات التجارب، ويظهر Restivo وفان دي Rijt في الدراسة أيضا أن الخدمات اللوجستية من التجارب الرقمية يمكن أن تكون مختلفة تماما عن التجارب التناظرية. في Restivo والتجربة فان دي Rijt، وكان من السهل أن تعطي barnstar إلى أي شخص في العالم، وكان من السهل تتبع تحقيق نتائج عدد من التعديلات على مدى فترة طويلة من الزمن (لتحرير التاريخ يسجل تلقائيا من قبل ويكيبيديا). هذه القدرة على تقديم العلاج وقياس النتائج دون أي تكلفة هي نوعيا على عكس التجارب في الماضي. على الرغم من أن هذه التجربة شملت 200 شخص، كان يمكن أن يتم تشغيل مع 2000 أو 20000 شخصا. الشيء الرئيسي الذي يمنع الباحثين من توسيع نطاق التجربة من قبل عامل 100 لم يكلف، كان الأخلاق. وهذا هو، لم Restivo وفان دي Rijt لا نريد أن نعطي أوسمة للمحررين لا يستحقون وأنهم لا يريدون تجربتهم لعرقلة مجتمع ويكيبيديا (Restivo and Rijt 2012; Restivo and Rijt 2014) . لذلك، على الرغم من أن تجربة Restivo وفان دي Rijt بسيطة نسبيا، فإنه يبين بوضوح أن بعض الأشياء عن التجارب قد ظلت كما هي، وبعض قد تغيرت. على وجه الخصوص، والمنطق الأساسي من التجريب هو نفسه، ولكن تم تغيير اللوجستية. بعد ذلك، من أجل عزل أكثر وضوحا من الفرص الناشئة عن هذا التغيير، سوف مقارنة التجارب التي يمكن للباحثين القيام به الآن إلى أنواع التجارب التي تم القيام به في الماضي.