آزمایش های کنترل شده تصادفی چهار مواد تشکیل دهنده اصلی: استخدام شرکت کنندگان، تصادفی از درمان، تحویل از درمان، و اندازه گیری نتایج.
آزمایش های کنترل شده تصادفی تواند اشکال مختلفی را و می تواند مورد استفاده برای مطالعه بسیاری از انواع رفتار است. اما، در هسته خود، آزمایش های کنترل شده تصادفی چهار مواد تشکیل دهنده اصلی: استخدام شرکت کنندگان، تصادفی از درمان، تحویل از درمان، و اندازه گیری نتایج. عصر دیجیتال کند ماهیت بنیادی آزمایش را تغییر دهید، اما آنها را آسان تر لجستیکی. به عنوان مثال، در گذشته آن ممکن است دشوار برای اندازه گیری رفتار میلیونها نفر از مردم بوده است، اما که در حال حاضر به طور معمول در بسیاری از سیستم های دیجیتال اتفاق می افتد. محققانی که می توانید کشف کردن که چگونه برای مهار این فرصت های جدید قادر به اجرای آزمایش که قبلا غیر ممکن بود خواهد بود.
برای اینکه این همه کمی بتن-هر دو بیشتر چه ثابت مانده است و چیزی که تغییر-اجازه دهید در نظر مایکل Restivo و Arnout به ون د Rijt است (2012) . محققان می خواستم به درک اثر پاداش همکار رسمی در کمک های تحریریه به ویکیپدیا. به طور خاص، آنها اثرات barnstars مورد مطالعه، جایزه که هر ویکیپدیا می توانید به هر ویکیپدین دیگر را به اذعان کار سخت و علت سعی و کوشش. Restivo و ون د Rijt barnstars تا 100 ویکی مستحق داد. سپس، Restivo و ون د Rijt سهم پس از آن دریافت کنندگان به ویکیپدیا در طول 90 روز آینده دنبال کرده بود. بسیار به تعجب خود، مردم را به آنها اعطا barnstars تمایل به آنها را ویرایش کمتر پس از دریافت یک. به عبارت دیگر، به نظر می رسید barnstars دلسرد شود به جای تشویق سهم.
خوشبختانه، Restivo و ون د Rijt شد یک آزمایش "آشفته و مشاهده" در حال اجرا نیست. آنها یک آزمایش کنترل شده تصادفی در حال اجرا شد. بنابراین، علاوه بر انتخاب 100 کنندگان برتر دریافت barnstar، آنها نیز 100 مشارکت کنندگان برتر را به آنها یک barnstar نمی دهد برداشت. این صد به عنوان گروه شاهد خدمت کرده است، و کسی که یک barnstar و که به صورت تصادفی مشخص نشده بود. هنگامی که Restivo و ون د Rijt در گروه شاهد نگاه آنها دریافتند که آن را به حال با افت شدید در کمک بیش از حد. در نهایت، زمانی که محققان افراد در گروه درمان (به عنوان مثال، barnstars دریافت شده) و مردم در گروه کنترل مقایسه، آنها دریافتند که barnstar باعث ویرایشگران بخواهند در حدود 60 درصد بیشتر است. اما، این افزایش در سهم در حال وقوع بود به عنوان بخشی از کاهش کلی در هر دو گروه.
از آنجا که این مطالعه نشان می دهد، گروه کنترل در آزمایش در راه است که تا حدودی متناقض حیاتی است. به منظور دقت اندازه گیری اثر barnstars، Restivo و ون der Rijt مورد نیاز برای مشاهده مردم که barnstars دریافت نمی کنند. بار بسیاری از محققان که با آزمایش های آشنا نیست موفق به درک ارزش باور نکردنی از گروه شاهد بود. اگر Restivo و ون د Rijt یک گروه کنترل ندارد، آنها کشیده شده اند دقیقا به این نتیجه اشتباه است. سرقت، آزار و اذیت جنسی، و در حال اجرا یک آزمایش بدون گروه کنترل: گروه کنترل بسیار مهم است که مدیر عامل یک شرکت بزرگ کازینو گفته است که تنها سه راه است که کارکنان می توان از شرکت اخراج وجود دارد (Schrage 2011) .
Restivo و ون د Rijt مطالعه نشان می دهد که چهار عنصر اصلی یک آزمایش: استخدام، تصادفی، مداخله، و نتایج. با هم، این چهار عنصر دانشمندان اجازه می دهد به فراتر از همبستگی حرکت و اندازه گیری اثر تصادفی درمان. به طور خاص، تصادفی بدان معنی است که زمانی که شما مقایسه نتایج برای گروه مورد و شاهد شما را برآورد اثر تصادفی که مداخله برای مجموعه ای از شرکت کنندگان دریافت کنید. به عبارت دیگر، با یک آزمایش کنترل شده تصادفی شما می توانید مطمئن باشید که هر تفاوت در نتایج توسط مداخله و نه باعث مداخله گر، ادعایی که من دقیق در ضمیمه فنی با استفاده از چارچوب نتایج بالقوه.
علاوه بر اینکه یک تصویر زیبا از مکانیک آزمایش، Restivo و ون د Rijt مطالعه همچنین نشان می دهد که تدارکات از آزمایش های دیجیتال می تواند کاملا متفاوت از آزمایش های آنالوگ. در Restivo و آزمایش ون د Rijt، آن را آسان به barnstar به هر کسی در جهان بود و آن را آسان برای پیگیری نتیجه-تعداد ویرایشها بیش از یک دوره طولانی از زمان (به دلیل تاریخچه ویرایش به صورت خودکار توسط ویکیپدیا ثبت). این توانایی برای ارائه درمان و اندازه گیری نتایج بدون هیچ هزینه کیفی بر خلاف آزمایش در گذشته است. اگر چه این آزمایش شامل 200 نفر، که می توانست با 2000 یا 20000 نفر اجرا شده است. نکته اصلی جلوگیری از محققان از پوسته پوسته شدن تا آزمایش های خود را توسط یک عامل از 100 بود هزینه نیست، آن اخلاق بود. این است که، Restivo و ون د Rijt نمی خواست به را barnstars به سردبیران نالایق و آنها نمی خواست آزمایش خود را برای اخلال در جامعه ویکیپدیا (Restivo and Rijt 2012; Restivo and Rijt 2014) . بنابراین، اگر چه این آزمایش از Restivo و ون د Rijt نسبتا ساده است، آن را به وضوح نشان می دهد که برخی از چیزهایی که در مورد آزمایش ثابت مانده اند و برخی تغییر کرده است. به طور خاص، منطق اولیه از آزمایش همان است، اما تدارکات تغییر کرده است. در مرحله بعد، به منظور وضوح بیشتر منزوی فرصت های ایجاد شده توسط این تغییر، من آزمایش که محققان می توانند در حال حاضر به نوع تجارب که در گذشته انجام شده است انجام مقایسه.