تجارب عشوائية محكومة لديها أربعة مكونات رئيسية هي: التوظيف من المشاركين، التوزيع العشوائي للعلاج، وتقديم العلاج، وقياس النتائج.
تحتوي التجارب المعشاة ذات الشواهد على أربعة مكونات رئيسية هي: توظيف المشاركين ، والتوزيع العشوائي للمعالجة ، وتقديم العلاج ، وقياس النتائج. لا يغير العصر الرقمي الطبيعة الأساسية للتجريب ، ولكنه يجعل الأمر أسهل من الناحية اللوجستية. على سبيل المثال ، في الماضي ، ربما كان من الصعب قياس سلوك الملايين من الناس ، ولكن هذا يحدث الآن بشكل روتيني في العديد من الأنظمة الرقمية. يمكن للباحثين الذين يمكنهم اكتشاف كيفية استغلال هذه الفرص الجديدة إجراء تجارب كانت مستحيلة في السابق.
ولجعل هذا الأمر أكثر واقعية بعض الشيء - سواء ما ظل على حاله أو ما تغير - لننظر في تجربة مايكل ريستيفو وأرنوت فان دي ريجيت (2012) . أرادوا فهم تأثير مكافآت الزملاء غير الرسمية على المساهمات التحريرية في ويكيبيديا. على وجه الخصوص ، درسوا آثار barnstars ، وهي جائزة يمكن أن يعطي أي Wikipedian إلى أي Wikipedian الأخرى على الاعتراف بالعمل الجاد والعناية الواجبة. أعطى Restivo و van de Rijt barnstars إلى 100 يستحقون Wikipedians. بعد ذلك ، قاموا بتتبع المساهمات اللاحقة للمتلقين إلى ويكيبيديا على مدار التسعين يومًا القادمة. كان من المفاجئ أن الأشخاص الذين منحهم حظوظهم كانوا يميلون إلى إجراء عدد أقل من التعديلات بعد الحصول على واحدة. وبعبارة أخرى ، يبدو أن barnstars تثبيط وليس تشجيع المساهمة.
لحسن الحظ ، لم يقم ريستيفو وفان دي ريجيت بتجربة "اضطراب ومراقبة". كانوا يديرون تجربة معشاة ذات شواهد. لذا ، بالإضافة إلى اختيار 100 من كبار المساهمين للحصول على barnstar ، اختاروا أيضًا 100 من كبار المساهمين الذين لم يعطوا أحدهم. هذه 100 خدم كمجموعة سيطرة. وبشكل حاسم ، تم تحديد من كان في مجموعة العلاج والذي كان في المجموعة الضابطة بشكل عشوائي.
عندما نظر Restivo و van de Rijt في سلوك الأشخاص في المجموعة الضابطة ، وجدوا أن مساهماتهم آخذة في التناقص أيضًا. علاوة على ذلك ، عندما قام ريستيفو وفان دو ريجيت بمقارنة الأشخاص في مجموعة العلاج (أي الذين تلقوا بارنستار) بأشخاص في المجموعة الضابطة ، وجدوا أن الأشخاص في مجموعة العلاج ساهموا بنحو 60٪ أكثر. بعبارة أخرى ، كانت مساهمات كلتا المجموعتين متوقفة ، ولكن مساهمات المجموعة الضابطة كانت أسرع بكثير.
كما توضح هذه الدراسة ، فإن مجموعة المراقبة في التجارب أمر بالغ الأهمية بطريقة متناقضة إلى حد ما. من أجل قياس تأثير barnstars بدقة ، احتاج كل من Restivo و van de Rijt إلى مراقبة الأشخاص الذين لم يستلموا barnstars. في كثير من الأحيان ، يفشل الباحثون الذين ليسوا على دراية بالتجارب في تقدير القيمة المذهلة للمجموعة الضابطة. إذا لم يكن لدى ريستيفو وفان دي ريجيت مجموعة مراقبة ، لكانا قد استخلصا النتيجة الخاطئة بالضبط. مجموعات المراقبة مهمة للغاية لدرجة أن الرئيس التنفيذي لشركة كبرى للكازينو قال إن هناك ثلاث طرق فقط يمكن طرد الموظفين من شركته: من أجل السرقة أو التحرش الجنسي أو من أجل إجراء تجربة بدون وجود مجموعة تحكم (Schrage 2011) .
توضح دراسة Restivo و van de Rijt المكونات الأربعة الرئيسية للتجربة: التجنيد ، والتوزيع العشوائي ، والتدخل ، والنتائج. معا ، هذه المكونات الأربعة تسمح للعلماء بالانتقال إلى ما وراء الارتباطات وقياس التأثير السببي للعلاجات. على وجه التحديد ، يعني التوزيع العشوائي أن الأشخاص في مجموعات العلاج والسيطرة سيكونون متشابهين. هذا أمر مهم لأنه يعني أن أي اختلاف في النتائج بين المجموعتين يمكن أن يعزى إلى العلاج وليس مؤسفاً.
بالإضافة إلى كونه توضيحًا رائعًا لميكانيكا التجارب ، فإن دراسة Restivo و van de Rijt تُظهر أيضًا أن لوجستي التجارب الرقمية يمكن أن تكون مختلفة تمامًا عن تجارب التجارب التناظرية. في تجربة Restivo و van de Rijt ، كان من السهل إعطاء barnstar لأي شخص ، وكان من السهل تتبع النتيجة - عدد التعديلات - على مدى فترة طويلة من الزمن (لأن سجل التعديل يتم تسجيله تلقائيًا بواسطة ويكيبيديا). هذه القدرة على تقديم العلاجات وقياس النتائج دون أي تكلفة هي على خلاف نوعي من التجارب في الماضي. على الرغم من أن هذه التجربة شملت 200 شخص ، إلا أنه كان من الممكن أن يدار بها 2000 أو حتى 20000 شخص. الشيء الرئيسي الذي منع الباحثين من توسيع نطاق تجربتهم بعامل قدره 100 لم يكن مجدياً ؛ كان الأخلاق. وهذا يعني أن ريستيفو وفان دو ريجيت لم يرغبان في إعطاء "بارنستارز" للمحررين غير المستحقين ، ولم يرغبوا في أن تعطل تجربتهم مجتمع ويكيبيديا (Restivo and Rijt 2012, 2014) . سوف أعود إلى بعض الاعتبارات الأخلاقية التي أثارتها التجارب في وقت لاحق في هذا الفصل وفي الفصل 6.
في الختام ، تظهر تجربة ريستيفو وفان دو ريجت بوضوح أنه على الرغم من أن المنطق الأساسي للتجارب لم يتغير ، إلا أن الخدمات اللوجستية لتجارب العصر الرقمي يمكن أن تكون مختلفة بشكل كبير. بعد ذلك ، من أجل عزل الفرص التي أحدثتها هذه التغييرات بوضوح أكبر ، سأقارن التجارب التي يمكن للباحثين القيام بها الآن مع أنواع التجارب التي أجريت في الماضي.