در رویکردهایی که تا کنون در این رفتار نظارت بر کتاب دیده شده است (فصل 2) و سوالاتی را مطرح می کنند (فصل 3) پژوهشگران اطلاعات را جمع می کنند بدون اینکه عمدا و منظم تغییر جهان. رویکردی که در این آزمایشات در این فصل تحت پوشش قرار گرفته است اساسا متفاوت است. هنگامی که محققان آزمایش های خود را انجام می دهند، به صورت سیستماتیک در جهان برای ایجاد داده هایی که به طور ایده آل برای پاسخ دادن به سوالات مربوط به روابط علت و معلول مناسب هستند، مداخله می کنند.
سوالات علت و معلول در تحقیقات اجتماعی بسیار رایج هستند و نمونه هایی از جمله سوالاتی مانند: آیا افزایش حقوق معلم باعث افزایش یادگیری دانش آموزان می شود؟ تاثیر حداقل دستمزد بر میزان اشتغال چیست؟ چگونه نژاد متقاضی شغل او احتمال شغل خود را تحت تاثیر قرار می دهد؟ علاوه بر این سؤالات صریح علی، گاهی اوقات سوالات علت و معلول در سوالات عمومی تر درباره حداکثر کردن برخی از معیارهای عملکرد ضمنی می باشند. به عنوان مثال، سوال: "چه رنگ باید دکمه اهدا در یک وب سایت سازمان غیردولتی باشد؟" واقعا پرسش های بسیاری در مورد تاثیر رنگ های مختلف دکمه برای کمک های مالی است.
یکی از راه های پاسخ دادن به سوالات علت-و-اثر این است که الگوهای موجود در داده های موجود را جستجو کنید. به عنوان مثال، بازگشت به سوال در مورد اثر حقوق معلم در یادگیری دانش آموزان، شما ممکن است محاسبه کنید که دانش آموزان بیشتر در مدارس که حقوق و دستمزد معلم را بالا می برند بیشتر می آموزند. اما آیا این همبستگی نشان می دهد که حقوق بالاتر باعث می شود دانش آموزان بیشتر یاد بگیرند؟ البته که نه. مدارس که آموزگاران بیشتر می توانند درآمد بیشتری کسب می کنند ممکن است به طرق مختلفی متفاوت باشند. به عنوان مثال، دانش آموزان در مدارس با حقوق بالا معلم ممکن است از خانواده های ثروتمند تر است. بنابراین، آنچه به نظر می رسد اثر معلمان می تواند فقط از مقایسه انواع مختلف دانش آموزان. این تفاوت های نامتجانس بین دانش آموزان، مخالفان نامیده می شود و به طور کلی، احتمال مخدوش شدن، باعث می شود توانایی محققان برای پاسخ دادن به سوالات علت و معلول، با جستجوی الگوهای موجود در داده ها، خراب شود.
یک راه حل برای مشکل مهاجمین این است که سعی کنید مقادیر عادلانه را با تنظیم اختلاف های قابل مشاهده بین گروه ها مقایسه کنید. به عنوان مثال، شما ممکن است قادر به دانلود اطلاعات مالیات بر دارایی از تعدادی از وب سایت های دولتی. سپس شما می توانید عملکرد دانشجویان را در مدارس مقایسه کنید که قیمت خانه ها مشابه است اما حقوق معلم متفاوت است و شما هنوز هم می توانید این را پیدا کنید که دانش آموزان بیشتر در مکاتب با پرداخت بالاتر معلم بیشتر می آموزند. اما هنوز بسیاری از مخالفان احتمالی وجود دارند. شاید والدین این دانش آموزان در سطح تحصیلات خود متفاوت باشند. یا شاید مدارس با نزدیک شدن به کتابخانه های عمومی متفاوت باشند. یا شاید مدارس با معلم بالاتر پرداخت هزینه بیشتری برای مدرسان داشته باشند و پرداخت اصلی، نه پرداخت معلم، واقعا افزایش یادگیری دانش آموزان است. شما می توانید سعی کنید برای اندازه گیری و تنظیم برای این عوامل نیز، اما لیست از مخالفان ممکن است اساسا بی پایان است. در بسیاری از موارد، شما نمیتوانید برای تمامی مخربهای ممکن اندازه گیری کنید و تنظیم کنید. در پاسخ به این چالش، محققان تعدادی از تکنیک های ایجاد تخمین های علیه داده های غیر تجربی را توسعه داده اند؛ برخی از آنها در فصل 2 مورد بحث قرار گرفتند، اما برای برخی از انواع سوالات، این تکنیک ها محدود هستند و آزمایش ها امیدوار کننده هستند جایگزین.
آزمایشات محققان را قادر می سازد تا از داده های طبیعتا فراتر از همبستگی حرکت کنند تا به طور قابل اعتماد پاسخ هایی به سؤالات علت و معلولی خاصی را پاسخ دهند. در عصر انحصاری، آزمایش اغلب از لحاظ منطقی دشوار و گران بود. در حال حاضر، در عصر دیجیتال، محدودیت های تدارکاتی به تدریج از بین می روند. نه تنها آزمایش های انجام شده مانند انجام آن ها در گذشته آسان تر است، بلکه اکنون می توان آزمایش های جدیدی را انجام داد.
در آنچه که تا به حال نوشته ام، در زبان من کمی شل شده است، اما مهم است که بین دو چیز متمایز شود: آزمایش ها و آزمایش های تصادفی کنترل شده. در یک آزمایش یک محقق در جهان دخالت می کند و پس از آن یک نتیجه می گیرد. من شنیده ام که این رویکرد به عنوان "تحریک و رعایت" خوانده می شود. در یک آزمایش تصادفی کنترل شده ، محقق برای برخی افراد و نه برای دیگران مداخله می کند و محقق تصمیم می گیرد که افراد از طریق تصادفی (از قبیل کپی سکه) مداخله دریافت کنند. آزمایش های کنترل شده به صورت تصادفی، ایجاد یک مقایسه ی منصفانه بین دو گروه را ایجاد می کنند: یکی که مداخله را دریافت کرده و دیگری آن را نداشته است. به عبارت دیگر، آزمایش های کنترل شده تصادفی یک راه حل برای مشکلات مخرب هستند. با این حال، آزمایشهای متلاشی شده و مشاهده تنها شامل یک گروه است که مداخله را دریافت کرده است و بنابراین نتایج می تواند محققان را به نتیجه نادرست برساند (همانطور که من به زودی نشان خواهم داد). علیرغم تفاوت های مهم بین آزمایش ها و آزمایش های تصادفی کنترل شده، محققان اجتماعی اغلب از این اصطلاحات به طور متناوب استفاده می کنند. من از این کنوانسیون پیروی خواهم کرد، اما، در موارد خاص، من این کنوانسیون را شکست خواهم داد تا تاکید بر ارزش آزمایش های کنترل شده تصادفی بر روی آزمایش بدون تصادف و یک گروه کنترل.
آزمایش های تصادفی کنترل شده ثابت کرده اند که یک راه قدرتمند برای یادگیری در مورد دنیای اجتماعی است و در این فصل، من بیشتر به شما در مورد نحوه استفاده از آنها در تحقیقات خود نشان می دهم. در بخش 4.2 من منطق پایه آزمایش را با نمونه ای از آزمایش در ویکی پدیا نشان می دهم. سپس در بخش 4.3 من تفاوت بین آزمایشات آزمایشگاهی و آزمایش های میدانی و تفاوت های آزمایش های آنالوگ و آزمایش های دیجیتالی را توصیف می کنم. علاوه بر این، من استدلال می کنم که آزمایشات دیجیتالی می تواند بهترین ویژگی های آزمایشگاه آزمایشگاه (کنترل تنگ) و آزمایشات زمینه آنالیز (واقع گرایی) را ارائه دهد، همه در یک مقیاس که قبلا امکان پذیر نبود. بعد، در بخش 4.4، من سه مفاهیم، اعتبار، ناهمگونی اثرات درمان و مکانیسم ها را که برای طراحی آزمایش های غنی ضروری است، توصیف می کنم. با توجه به این پیشینه، من پیشنهاد می دهم که در دو استراتژی اصلی برای انجام آزمایش های دیجیتالی مشغول به کار باشند: انجام آن خودتان یا همکاری با قدرتمند. در نهایت، من با برخی توصیه های طراحی در مورد چگونگی استفاده از قدرت واقعی آزمایش های دیجیتال (بخش 4.6.1) و برخی از مسئولیت هایی که با این قدرت همراه است (بخش 4.6.2) را بیان می کنم.