4.1 Giới thiệu

Trong các cách tiếp cận được đề cập đến trong cuốn sách này — quan sát hành vi (chương 2) và đặt câu hỏi (chương 3) - những người tìm kiếm thu thập dữ liệu mà không có chủ ý và thay đổi hệ thống thế giới. Cách tiếp cận được đề cập trong chương này — các thí nghiệm đang chạy — về cơ bản là khác nhau. Khi các nhà nghiên cứu chạy thử nghiệm, họ có hệ thống can thiệp vào thế giới để tạo ra dữ liệu lý tưởng để trả lời các câu hỏi về mối quan hệ nhân quả.

Các câu hỏi gây ra và hiệu quả rất phổ biến trong nghiên cứu xã hội, và các ví dụ bao gồm các câu hỏi như: Tăng lương giáo viên có làm tăng việc học của học sinh không? Ảnh hưởng của mức lương tối thiểu đối với tỷ lệ việc làm là gì? Cuộc đua của người nộp đơn xin việc làm ảnh hưởng đến cơ hội nhận được công việc của mình như thế nào? Ngoài các câu hỏi nhân quả rõ ràng này, đôi khi các câu hỏi gây ra và có hiệu lực được ẩn chứa trong các câu hỏi tổng quát hơn về tối đa hóa một số chỉ số hiệu suất. Ví dụ: câu hỏi “Nút đóng góp trên trang web của tổ chức phi chính phủ phải có màu gì?” Thực sự là rất nhiều câu hỏi về ảnh hưởng của các màu nút khác nhau đối với các khoản đóng góp.

Một cách để trả lời các câu hỏi gây ra và hiệu quả là tìm kiếm các mẫu trong dữ liệu hiện có. Ví dụ, quay trở lại câu hỏi về ảnh hưởng của lương giáo viên đối với việc học của học sinh, bạn có thể tính toán rằng học sinh học nhiều hơn trong các trường cung cấp lương giáo viên cao. Nhưng, mối tương quan này có cho thấy lương cao hơn khiến học sinh học thêm không? Tất nhiên là không. Các trường học mà giáo viên kiếm được nhiều hơn có thể khác nhau theo nhiều cách. Ví dụ, học sinh trong các trường có lương giáo viên cao có thể đến từ các gia đình giàu có hơn. Vì vậy, những gì trông giống như một hiệu ứng của giáo viên chỉ có thể đến từ việc so sánh các loại sinh viên khác nhau. Những khác biệt không có ý nghĩa giữa các sinh viên được gọi là những kẻ gây nhiễu , và, nói chung, khả năng những kẻ gây rối tàn phá khả năng của các nhà nghiên cứu để trả lời các câu hỏi gây ra và hiệu quả bằng cách tìm kiếm các mẫu trong dữ liệu hiện có.

Một giải pháp cho vấn đề của người gây nhiễu là cố gắng so sánh công bằng bằng cách điều chỉnh sự khác biệt có thể quan sát giữa các nhóm. Ví dụ: bạn có thể tải xuống dữ liệu thuế tài sản từ một số trang web của chính phủ. Sau đó, bạn có thể so sánh hiệu suất của học sinh ở các trường có giá nhà tương tự nhưng lương giáo viên là khác nhau, và bạn vẫn có thể thấy rằng học sinh học nhiều hơn ở các trường có lương giáo viên cao hơn. Nhưng vẫn còn nhiều người có thể gây nhầm lẫn. Có lẽ cha mẹ của những sinh viên này khác nhau về trình độ học vấn của họ. Hoặc có thể các trường khác nhau về sự gần gũi của họ với các thư viện công cộng. Hoặc có thể những trường học có lương giáo viên cao hơn cũng có mức lương cao hơn cho hiệu trưởng, và tiền gốc, không phải là giáo viên trả tiền, thực sự là điều đang gia tăng học tập của học sinh. Bạn có thể thử đo lường và điều chỉnh cho những yếu tố này, nhưng danh sách những kẻ gây nhiễu có thể là vô tận. Trong nhiều tình huống, bạn không thể đo lường và điều chỉnh cho tất cả những kẻ gây nhiễu có thể. Để đối phó với thách thức này, các nhà nghiên cứu đã phát triển một số kỹ thuật để đưa ra ước tính nhân quả từ dữ liệu phi thực nghiệm - tôi đã thảo luận một số trong số chúng trong chương 2, nhưng, đối với một số câu hỏi nhất định, thay thế.

Thử nghiệm cho phép các nhà nghiên cứu di chuyển vượt ra ngoài các mối tương quan trong dữ liệu xảy ra tự nhiên để trả lời một cách đáng tin cậy các câu hỏi nguyên nhân và hiệu quả nhất định. Trong độ tuổi tương tự, các thí nghiệm thường khó khăn và tốn kém về mặt hậu cần. Bây giờ, trong thời đại kỹ thuật số, các ràng buộc về hậu cần đang dần biến mất. Không chỉ dễ dàng hơn khi thực hiện các thử nghiệm như những thử nghiệm được thực hiện trong quá khứ, giờ đây có thể chạy các loại thử nghiệm mới.

Trong những gì tôi đã viết cho đến nay tôi đã được một chút lỏng lẻo trong ngôn ngữ của tôi, nhưng điều quan trọng là để phân biệt giữa hai điều: thí nghiệm và thử nghiệm ngẫu nhiên có kiểm soát. Trong một thử nghiệm , một nhà nghiên cứu can thiệp vào thế giới và sau đó đo lường kết quả. Trong một thử nghiệm ngẫu nhiên có đối chứng, một nhà nghiên cứu can thiệp cho một số người chứ không phải cho người khác, và nhà nghiên cứu quyết định người nào nhận được sự can thiệp bằng cách ngẫu nhiên (ví dụ, lật một đồng xu). Các thử nghiệm ngẫu nhiên có đối chứng tạo ra sự so sánh công bằng giữa hai nhóm: một nhóm đã nhận được sự can thiệp và một trong đó đã không nhận được sự can thiệp. Nói cách khác, các thử nghiệm ngẫu nhiên có đối chứng là một giải pháp cho các vấn đề của người gây nhiễu. Tuy nhiên, các thí nghiệm gây mê và quan sát chỉ liên quan đến một nhóm duy nhất đã nhận được sự can thiệp, và do đó các kết quả có thể dẫn các nhà nghiên cứu đến kết luận sai (như tôi sẽ trình bày sớm). Mặc dù có sự khác biệt quan trọng giữa các thí nghiệm và các thí nghiệm được kiểm soát ngẫu nhiên, các nhà nghiên cứu xã hội thường sử dụng các thuật ngữ này thay thế cho nhau. Tôi sẽ theo quy ước này, nhưng, tại một số điểm nhất định, tôi sẽ phá vỡ quy ước để nhấn mạnh giá trị của các thử nghiệm ngẫu nhiên có đối chứng trên các thí nghiệm không có ngẫu nhiên và nhóm kiểm soát.

Các thí nghiệm được kiểm soát ngẫu nhiên đã chứng tỏ là một cách mạnh mẽ để tìm hiểu về thế giới xã hội, và trong chương này, tôi sẽ cho bạn thấy thêm về cách sử dụng chúng trong nghiên cứu của bạn. Trong phần 4.2, tôi sẽ minh họa logic cơ bản của thử nghiệm với ví dụ về một thử nghiệm trên Wikipedia. Sau đó, trong phần 4.3, tôi sẽ mô tả sự khác biệt giữa các thí nghiệm trong phòng thí nghiệm và các thử nghiệm thực địa và sự khác biệt giữa các thí nghiệm tương tự và các thí nghiệm kỹ thuật số. Hơn nữa, tôi sẽ cho rằng các thí nghiệm kỹ thuật số có thể cung cấp các tính năng tốt nhất của các thí nghiệm tương tự (kiểm soát chặt chẽ) và các thí nghiệm tương tự (hiện thực), tất cả ở quy mô không thể thực hiện trước đó. Tiếp theo, trong phần 4.4, tôi sẽ mô tả ba khái niệm - tính hợp lệ, tính không đồng nhất của các hiệu ứng điều trị và các cơ chế — đó là rất quan trọng cho việc thiết kế các thí nghiệm phong phú. Với nền tảng đó, tôi sẽ mô tả các thỏa hiệp liên quan đến hai chiến lược chính để thực hiện các thí nghiệm kỹ thuật số: tự mình làm việc hoặc hợp tác với người mạnh mẽ. Cuối cùng, tôi sẽ kết luận với một số lời khuyên thiết kế về cách bạn có thể tận dụng sức mạnh thực sự của các thí nghiệm kỹ thuật số (phần 4.6.1) và mô tả một số trách nhiệm đi kèm với sức mạnh đó (phần 4.6.2).