Trong cách tiếp cận bảo hiểm cho đến nay trong hành vi của cuốn sách này-quan sát (Chương 2) và đặt câu hỏi (Chương 3) -researchers thu thập dữ liệu về những gì đang xảy ra tự nhiên trên thế giới. Các phương pháp tiếp cận bao gồm trong chương-chạy này thí nghiệm-về cơ bản là khác nhau. Khi các nhà nghiên cứu chạy thí nghiệm, họ có hệ thống can thiệp vào thế giới để tạo ra dữ liệu đó là lý tưởng để trả lời các câu hỏi về mối quan hệ nhân-quả.
Nguyên nhân và kết quả câu hỏi rất phổ biến trong nghiên cứu xã hội, và các ví dụ bao gồm các câu hỏi như: Có tăng lương giáo viên tăng học của học sinh? ảnh hưởng của tiền lương tối thiểu về tỷ lệ việc làm là gì? Làm thế nào để cuộc đua một công việc của đương đơn thực cơ hội nhận được một công việc của mình? Ngoài những câu hỏi này một cách rõ ràng nguyên nhân, đôi khi gây ra và kết quả câu hỏi là tiềm ẩn trong câu hỏi tổng quát hơn về tối đa hóa một số chỉ số hiệu suất. Ví dụ, câu hỏi "nút màu gì sẽ tối đa hóa đóng góp vào một trang web trang web NGO?" Thực sự là rất nhiều câu hỏi về tác động của màu sắc nút khác nhau trên sự đóng góp.
Một cách để trả lời câu hỏi nguyên nhân và hậu quả là để tìm kiếm các mẫu trong dữ liệu hiện có. Ví dụ, sử dụng dữ liệu từ hàng ngàn trường học, bạn có thể tính toán được rằng các sinh viên tìm hiểu thêm trong trường cung cấp lương giáo viên cao. Nhưng, không tương quan này cho thấy mức lương cao hơn gây ra sinh viên để tìm hiểu thêm? Tất nhiên là không. Trường học nơi giáo viên kiếm được nhiều hơn có thể khác nhau theo nhiều cách. Ví dụ, học sinh trong các trường học với mức lương giáo viên cao có thể đến từ những gia đình giàu có. Vì vậy, những gì trông giống như một hiệu ứng của giáo viên chỉ có thể đến từ việc so sánh các loại khác nhau của học sinh. Những khác biệt này không đo giữa học sinh được gọi là yếu tố gây nhiễu, và nói chung, khả năng yếu tố gây nhiễu tàn phá trên các nhà nghiên cứu khả năng để trả lời câu hỏi nguyên nhân và kết quả bằng cách tìm kiếm các mẫu trong dữ liệu hiện có.
Một giải pháp cho vấn đề của yếu tố gây nhiễu là cố gắng để so sánh công bằng bằng cách điều chỉnh những khác biệt quan sát được giữa các nhóm. Ví dụ, bạn có thể có thể tải dữ liệu thuế tài sản từ một số trang web của chính phủ. Sau đó, bạn có thể so sánh thành tích học sinh trong các trường học, nơi giá nhà tương tự nhưng mức lương giáo viên là khác nhau, và bạn vẫn có thể thấy rằng các sinh viên tìm hiểu thêm trong các trường học với mức lương giáo viên cao hơn. Nhưng, vẫn còn nhiều yếu tố gây nhiễu có thể. Có lẽ cha mẹ của những sinh viên khác nhau về trình độ học vấn hoặc có thể các trường học khác nhau về sự gần gũi của họ với các thư viện công cộng hoặc có thể các trường học với mức lương giáo viên cao hơn cũng có mức lương cao hơn cho hiệu trưởng và trả nợ gốc, không giáo viên lương, thực sự là những gì đang gia tăng học sinh học tập. Bạn có thể thử để đo lường các yếu tố khác, nhưng danh sách các yếu tố gây nhiễu có thể là vô tận. Trong nhiều trường hợp, bạn chỉ có thể đo lường và điều chỉnh cho tất cả các yếu tố gây nhiễu có thể. Cách tiếp cận này chỉ có thể đưa bạn đến nay.
Một giải pháp tốt hơn cho vấn đề của yếu tố gây nhiễu được chạy thử nghiệm. Các thí nghiệm cho phép các nhà nghiên cứu tiến xa hơn trong mối tương quan tự nhiên dữ liệu để trả lời đáng tin cậy nguyên nhân và kết quả câu hỏi. Trong độ tuổi tương tự, thí nghiệm thường là hậu cần khó khăn và tốn kém. Bây giờ, trong thời đại kỹ thuật số, hạn chế hậu cần đang dần dần mờ dần đi. Không chỉ là nó dễ dàng hơn để làm thí nghiệm như những nhà nghiên cứu đã thực hiện trong quá khứ, bây giờ có thể chạy các loại mới của các thí nghiệm.
Trong những gì tôi đã viết cho đến nay tôi đã được một chút lỏng lẻo trong ngôn ngữ của tôi, nhưng điều quan trọng là phải phân biệt giữa hai điều: các thí nghiệm và thí nghiệm ngẫu nhiên có kiểm soát. Trong một thí nghiệm một nhà nghiên cứu can thiệp trên thế giới và sau đó đo một kết quả. Tôi đã nghe nói phương pháp này được mô tả như "rẽ, quan sát." Chiến lược này là rất hiệu quả trong các ngành khoa học tự nhiên, nhưng trong khoa học y tế và xã hội, còn có một cách tiếp cận làm việc tốt hơn. Trong một thí nghiệm ngẫu nhiên có một nhà nghiên cứu can thiệp đối với một số người và không cho người khác, và, phê bình, các nhà nghiên cứu quyết định mà người ta nhận được sự can thiệp của ngẫu nhiên (ví dụ, lật một đồng xu). Quy trình này đảm bảo rằng các thí nghiệm kiểm soát ngẫu nhiên tạo ra sự so sánh công bằng giữa hai nhóm: một trong đó đã nhận được sự can thiệp và một trong đó không có. Nói cách khác, các thí nghiệm ngẫu nhiên có được một giải pháp cho các vấn đề của yếu tố gây nhiễu. Mặc dù có sự khác biệt quan trọng giữa các thí nghiệm và thí nghiệm ngẫu nhiên, các nhà nghiên cứu xã hội thường sử dụng những từ ngữ thay thế cho nhau. Tôi sẽ tuân theo quy ước này, nhưng, tại một số điểm, tôi sẽ phá vỡ quy ước để nhấn mạnh giá trị của các thí nghiệm ngẫu nhiên trên các thí nghiệm không ngẫu nhiên và một nhóm kiểm soát.
thí nghiệm đối chứng ngẫu nhiên đã được chứng minh là một cách mạnh mẽ để tìm hiểu về thế giới xã hội, và trong chương này, tôi sẽ dạy cho bạn biết thêm về cách sử dụng chúng trong nghiên cứu của bạn. Trong phần 4.2, tôi sẽ minh họa cho logic cơ bản của thí nghiệm với một ví dụ của một thử nghiệm trên Wikipedia. Sau đó, tại mục 4.3, tôi sẽ mô tả sự khác biệt giữa các thí nghiệm trong phòng thí nghiệm và thí nghiệm hiện trường và sự khác biệt giữa các thí nghiệm tương tự và các thí nghiệm kỹ thuật số. Hơn nữa, tôi sẽ tranh luận rằng thí nghiệm kỹ thuật số có thể cung cấp những tính năng tốt nhất của các thí nghiệm trong phòng thí nghiệm tương tự (kiểm soát chặt chẽ) và thí nghiệm tương tự (hiện thực), tất cả ở quy mô đó là không thể trước đó. Tiếp theo, tại mục 4.4, tôi sẽ mô tả ba khái niệm-giá trị, không đồng nhất của hiệu quả điều trị, và các cơ chế, đó là quan trọng đối với việc thiết kế các thí nghiệm phong phú. Với nền tảng đó, tôi sẽ mô tả thương mại-off tham gia vào hai chiến lược chính để tiến hành các thí nghiệm kỹ thuật số: tự làm (Mục 4.5.1) hoặc hợp tác với các mạnh (Mục 4.5.2). Cuối cùng, tôi sẽ kết thúc với một số lời khuyên thiết kế về làm thế nào bạn có thể tận dụng lợi thế về sức mạnh thực sự của thí nghiệm kỹ thuật số (mục 4.6.1) và mô tả một số trách nhiệm mà đi kèm với quyền lực (mục 4.6.2). Các chương sẽ được trình bày với một mức tối thiểu của các kí hiệu toán học và ngôn ngữ chính thức; độc giả quan tâm đến một cách tiếp cận chính thức hơn, toán học để thí nghiệm cũng nên đọc Phụ lục kỹ thuật vào cuối chương.