4.5.2 Xây dựng thử nghiệm của riêng bạn

Xây dựng thí nghiệm riêng của bạn có thể là tốn kém, nhưng nó sẽ cho phép bạn tạo ra các thử nghiệm mà bạn muốn.

Ngoài các thử nghiệm chồng lên trên các môi trường hiện có, bạn cũng có thể tạo thử nghiệm của riêng mình. Ưu điểm chính của phương pháp này là kiểm soát; nếu bạn đang xây dựng thử nghiệm, bạn có thể tạo môi trường và phương pháp điều trị mà bạn muốn. Những môi trường thử nghiệm riêng biệt này có thể tạo ra cơ hội để kiểm tra các lý thuyết không thể kiểm tra trong môi trường tự nhiên. Những hạn chế chính của việc xây dựng thử nghiệm của riêng bạn là nó có thể tốn kém và môi trường mà bạn có thể tạo ra có thể không có hiện thực của một hệ thống tự nhiên. Các nhà nghiên cứu xây dựng thí nghiệm của riêng mình cũng phải có chiến lược tuyển dụng người tham gia. Khi làm việc trong các hệ thống hiện có, các nhà nghiên cứu về cơ bản là mang các thí nghiệm đến những người tham gia của họ. Nhưng, khi các nhà nghiên cứu xây dựng thí nghiệm của riêng họ, họ cần phải đưa những người tham gia vào nó. May mắn thay, các dịch vụ như Amazon Mechanical Turk (MTurk) có thể cung cấp cho các nhà nghiên cứu một cách thuận tiện để đưa người tham gia vào các thí nghiệm của họ.

Một ví dụ minh họa các đặc tính của môi trường riêng biệt để thử nghiệm các lý thuyết trừu tượng là thí nghiệm kỹ thuật số của Gregory Huber, Seth Hill và Gabriel Lenz (2012) . Thử nghiệm này khám phá một giới hạn thực tế có thể có đối với chức năng quản trị dân chủ. Các nghiên cứu không thực nghiệm trước đây về cuộc bầu cử thực tế cho thấy cử tri không thể đánh giá chính xác hiệu suất của các chính trị gia đương nhiệm. Đặc biệt, cử tri dường như bị ba thành kiến: (1) họ tập trung vào hiệu suất gần đây hơn là tích lũy; (2) chúng có thể được chế tác bằng cách hùng biện, rập khuôn và tiếp thị; và (3) chúng có thể bị ảnh hưởng bởi các sự kiện không liên quan đến hiệu suất đương nhiệm, chẳng hạn như sự thành công của các đội thể thao địa phương và thời tiết. Tuy nhiên, trong những nghiên cứu trước đây, rất khó để cô lập bất kỳ yếu tố nào trong số những yếu tố này xảy ra trong các cuộc bầu cử thực sự, lộn xộn. Do đó, Huber và các đồng nghiệp đã tạo ra một môi trường bầu cử rất đơn giản để cô lập, và sau đó thử nghiệm nghiên cứu, mỗi ba thành kiến ​​có thể có.

Khi tôi mô tả thiết lập thử nghiệm bên dưới, nó sẽ nghe rất nhân tạo, nhưng hãy nhớ rằng chủ nghĩa hiện thực không phải là mục tiêu trong các thí nghiệm kiểu phòng thí nghiệm. Thay vào đó, mục đích là để cô lập rõ ràng quá trình mà bạn đang cố gắng nghiên cứu, và sự cô lập chặt chẽ này đôi khi không thể thực hiện được trong các nghiên cứu có chủ nghĩa hiện thực hơn (Falk and Heckman 2009) . Hơn nữa, trong trường hợp đặc biệt này, các nhà nghiên cứu cho rằng nếu cử tri không thể đánh giá hiệu quả hoạt động trong bối cảnh đơn giản hóa này, thì họ sẽ không thể thực hiện nó trong một môi trường thực tế hơn, phức tạp hơn.

Huber và cộng sự đã sử dụng MTurk để tuyển dụng người tham gia. Khi một người tham gia đã đồng ý với thông báo và đã vượt qua một bài kiểm tra ngắn, cô ấy được cho biết rằng cô ấy đã tham gia trò chơi 32 vòng để kiếm các thẻ có thể được chuyển đổi thành tiền thật. Vào đầu trò chơi, mỗi người tham gia được cho biết rằng cô đã được chỉ định một “người cấp phát” sẽ cung cấp thẻ miễn phí của cô mỗi vòng và một số người phân bổ hào phóng hơn những người khác. Hơn nữa, mỗi người tham gia cũng được cho biết rằng cô ấy sẽ có cơ hội để giữ người cấp phát của mình hoặc được chỉ định một người mới sau 16 vòng của trò chơi. Với những gì bạn biết về các mục tiêu nghiên cứu của Huber và đồng nghiệp, bạn có thể thấy rằng người cấp phát đại diện cho chính phủ và lựa chọn này đại diện cho cuộc bầu cử, nhưng những người tham gia không nhận thức được mục tiêu chung của nghiên cứu. Tổng cộng, Huber và các đồng nghiệp đã tuyển dụng khoảng 4.000 người tham gia được trả khoảng 1,25 đô la cho một nhiệm vụ mất khoảng 8 phút.

Nhớ lại rằng một trong những phát hiện từ nghiên cứu trước đó là cử tri khen thưởng và trừng phạt các đương sự cho những kết quả rõ ràng ngoài tầm kiểm soát của họ, chẳng hạn như sự thành công của các đội thể thao địa phương và thời tiết. Để đánh giá liệu các quyết định bỏ phiếu của những người tham gia có thể bị ảnh hưởng bởi các sự kiện hoàn toàn ngẫu nhiên trong bối cảnh của họ hay không, Huber và các đồng nghiệp đã thêm một cuộc xổ số vào hệ thống thử nghiệm của họ. Ở vòng thứ 8 hoặc vòng thứ 16 (tức là ngay trước khi cơ hội thay thế người cấp phát) người tham gia được đặt ngẫu nhiên vào xổ số nơi một số thắng 5.000 điểm, một số thắng 0 điểm và một số thua 5.000 điểm. Xổ số này nhằm mục đích bắt chước tin tức tốt hay xấu độc lập với hiệu suất của chính trị gia. Mặc dù những người tham gia được thông báo rõ ràng rằng xổ số không liên quan đến hiệu suất của người cấp phát, kết quả của cuộc xổ số vẫn ảnh hưởng đến quyết định của người tham gia. Những người tham gia được hưởng lợi từ cuộc xổ số có nhiều khả năng giữ cho người phân bổ của họ, và hiệu ứng này mạnh hơn khi xổ số xảy ra ở vòng 16 — ngay trước quyết định thay thế — hơn khi xảy ra ở vòng 8 (hình 4.15). Những kết quả này, cùng với một số thí nghiệm khác trong bài báo, đã dẫn Huber và các đồng nghiệp kết luận rằng ngay cả trong một môi trường đơn giản, cử tri gặp khó khăn trong việc đưa ra quyết định khôn ngoan, một kết quả ảnh hưởng đến nghiên cứu trong tương lai về quyết định cử tri (Healy and Malhotra 2013) . Thí nghiệm của Huber và các đồng nghiệp cho thấy rằng MTurk có thể được sử dụng để tuyển dụng người tham gia thí nghiệm theo phong cách phòng thí nghiệm để kiểm tra chính xác các lý thuyết rất cụ thể. Nó cũng cho thấy giá trị của việc xây dựng môi trường thử nghiệm của riêng bạn: thật khó để tưởng tượng làm thế nào các quá trình tương tự này có thể đã bị cô lập một cách sạch sẽ trong bất kỳ môi trường nào khác.

Hình 4.15: Kết quả từ Huber, Hill, and Lenz (2012) . Những người tham gia được hưởng lợi từ xổ số có nhiều khả năng giữ lại người phân bổ của họ hơn, và hiệu ứng này mạnh hơn khi cuộc xổ số diễn ra ở vòng 16 — ngay trước quyết định thay thế — hơn là khi nó xảy ra ở vòng 8. Phỏng theo Huber, Hill, and Lenz (2012) , hình 5.

Ngoài việc xây dựng các thí nghiệm giống như trong phòng thí nghiệm, các nhà nghiên cứu cũng có thể tạo các thử nghiệm có nhiều lĩnh vực hơn. Ví dụ, Centola (2010) xây dựng một thí nghiệm kỹ thuật số để nghiên cứu ảnh hưởng của cấu trúc mạng xã hội lên sự lây lan của hành vi. Câu hỏi nghiên cứu của ông yêu cầu ông quan sát cùng một hành vi lan rộng trong các quần thể có cấu trúc mạng xã hội khác nhau nhưng không thể phân biệt được. Cách duy nhất để làm điều này là với một thử nghiệm được thiết kế riêng, tùy chỉnh. Trong trường hợp này, Centola đã xây dựng một cộng đồng y tế dựa trên web.

Centola tuyển dụng khoảng 1.500 người tham gia thông qua quảng cáo trên các trang web y tế. Khi những người tham gia đến cộng đồng trực tuyến - được gọi là Mạng sống lành mạnh — họ đã cung cấp sự đồng ý thông báo và sau đó được chỉ định “bạn bè khỏe mạnh.” Vì cách mà Centola giao cho những người bạn y tế này, anh ta có thể đan kết các cấu trúc mạng xã hội khác nhau các nhóm khác nhau. Một số nhóm được xây dựng để có mạng ngẫu nhiên (trong đó mọi người đều có khả năng được kết nối), trong khi các nhóm khác được xây dựng để có các mạng nhóm (nơi các kết nối có mật độ cục bộ dày đặc hơn). Sau đó, Centola giới thiệu một hành vi mới vào mỗi mạng: cơ hội đăng ký một trang web mới với thông tin sức khỏe bổ sung. Bất cứ khi nào có ai đăng ký trang web mới này, tất cả bạn bè của cô đều nhận được email thông báo về hành vi này. Centola thấy rằng hành vi này — đăng ký trang web mới — lan rộng nhanh hơn và nhanh hơn trong mạng nhóm hơn là trong mạng ngẫu nhiên, một phát hiện trái ngược với một số lý thuyết hiện có.

Nhìn chung, việc xây dựng thử nghiệm của riêng bạn cho phép bạn kiểm soát nhiều hơn; nó cho phép bạn xây dựng môi trường tốt nhất có thể để cô lập những gì bạn muốn học. Thật khó để tưởng tượng làm thế nào hai thí nghiệm mà tôi vừa mô tả có thể đã được thực hiện trong một môi trường đã tồn tại. Hơn nữa, việc xây dựng hệ thống của riêng bạn làm giảm mối quan tâm đạo đức xung quanh việc thử nghiệm trong các hệ thống hiện có. Tuy nhiên, khi bạn xây dựng thử nghiệm của riêng mình, bạn gặp phải nhiều vấn đề gặp phải trong các thử nghiệm trong phòng thí nghiệm: tuyển dụng người tham gia và quan ngại về chủ nghĩa hiện thực. Nhược điểm cuối cùng là việc xây dựng thí nghiệm của riêng bạn có thể tốn kém và mất thời gian, mặc dù, như những ví dụ này, các thí nghiệm có thể từ các môi trường tương đối đơn giản (như nghiên cứu bầu chọn bởi Huber, Hill, and Lenz (2012) ) đến các môi trường tương đối phức tạp (chẳng hạn như nghiên cứu về mạng và sự lây lan của Centola (2010) ).