4.5.1.2 Xây dựng thí nghiệm của riêng bạn

Xây dựng thí nghiệm riêng của bạn có thể là tốn kém, nhưng nó sẽ cho phép bạn tạo ra các thử nghiệm mà bạn muốn.

Ngoài đè thí nghiệm trên các môi trường hiện tại, bạn cũng có thể xây dựng thử nghiệm của chính bạn. Ưu điểm chính của phương pháp này là kiểm soát; nếu bạn đang xây dựng các thử nghiệm, bạn có thể tạo ra môi trường và phương pháp điều trị mà bạn muốn. Những môi trường thử nghiệm riêng biệt có thể tạo ra cơ hội để kiểm tra lý thuyết mà không thể để thử nghiệm trong môi trường tự nhiên. Những nhược điểm chính của việc xây dựng thí nghiệm của riêng bạn là nó có thể tốn kém và môi trường mà bạn có thể tạo ra có thể không có chủ nghĩa hiện thực của một hệ thống tự nhiên. Các nhà nghiên cứu xây dựng thử nghiệm của chính họ cũng phải có một chiến lược cho việc tuyển dụng người tham gia. Khi làm việc trong hệ thống hiện tại, các nhà nghiên cứu về bản chất là mang lại các thí nghiệm cho người tham gia của họ. Tuy nhiên, khi các nhà nghiên cứu xây dựng thí nghiệm riêng của họ, họ cần phải mang theo những người tham gia nó. May mắn thay, các dịch vụ như Amazon Mechanical Turk (MTurk) có thể cung cấp cho các nhà nghiên cứu một cách thuận tiện để mang lại cho người tham gia thí nghiệm của họ.

Một ví dụ minh họa các nhân đức của các môi trường riêng biệt để thử nghiệm các lý thuyết trừu tượng là các thí nghiệm trong phòng thí nghiệm kỹ thuật số bởi Gregory Huber, Seth Hill, và Gabriel Lenz (2012) . Thí nghiệm khảo sát một giới hạn thực tế có thể để các chức năng của quản trị dân chủ. nghiên cứu phi thực nghiệm trước đó của các cuộc bầu cử thực tế cho thấy cử tri không thể đánh giá chính xác hiệu suất của các chính trị gia đương nhiệm. Đặc biệt, các cử tri xuất hiện để bị ba thành kiến: 1) tập trung vào gần đây hơn là hiệu suất tích lũy; 2) manipulatable bởi hùng biện, khung, và tiếp thị; và 3) chịu ảnh hưởng bởi các sự kiện liên quan đến hiệu suất đương nhiệm, chẳng hạn như sự thành công của các đội thể thao trong nước và thời tiết. Trong những nghiên cứu trước đó, tuy nhiên, thật khó để cô lập bất kỳ của các yếu tố từ tất cả những thứ khác xảy ra trong thực tế, các cuộc bầu cử lộn xộn. Do đó, Huber và các đồng nghiệp đã tạo ra một môi trường có quyền biểu quyết đơn giản hóa cao để cô lập, và sau đó thực nghiệm nghiên cứu, mỗi một trong ba thành kiến ​​có thể.

Như tôi đã mô tả các thí nghiệm thiết lập bên dưới nó sẽ âm thanh rất nhân tạo, nhưng hãy nhớ rằng hiện thực không phải là một mục tiêu trong các thí nghiệm trong phòng thí nghiệm phong cách. Thay vào đó, mục đích là để cô lập rõ quy trình mà bạn đang cố gắng nghiên cứu, và cô lập chặt chẽ này là đôi khi không thể trong nghiên cứu với hơn chủ nghĩa hiện thực (Falk and Heckman 2009) . Hơn nữa, trong trường hợp đặc biệt này, các nhà nghiên cứu cho rằng nếu các cử tri không thể có hiệu quả đánh giá hiệu suất trong thiết lập rất đơn giản này, sau đó họ sẽ không có khả năng để làm điều đó trong một thực tế hơn cài đặt, phức tạp hơn.

Huber và các đồng nghiệp đã sử dụng Amazon Mechanical Turk (MTurk) để tuyển dụng người tham gia. Khi một người tham gia cung cấp sự đồng ý và thông qua một bài kiểm tra ngắn, cô đã nói rằng cô ấy đã tham gia vào một trò chơi vòng 32 để kiếm thẻ mà có thể được chuyển đổi thành tiền thật. Vào lúc bắt đầu của trò chơi, mỗi người tham gia đã nói rằng cô ấy đã được chỉ định một "cấp phát" mà sẽ cung cấp thẻ miễn phí của cô mỗi vòng và một số allocators là hào phóng hơn những người khác. Hơn nữa, mỗi người tham gia cũng đã nói rằng cô ấy sẽ có một cơ hội để thể giữ cấp phát của mình hoặc được giao một cái mới sau 16 vòng của trò chơi. Với những gì bạn biết về Huber và mục tiêu nghiên cứu đồng nghiệp, bạn có thể thấy rằng các cấp phát hiện một chính phủ và sự lựa chọn này đại diện cho một cuộc bầu cử, nhưng người tham gia đều không nhận thức được những mục tiêu chung của nghiên cứu. Tổng cộng, Huber và cộng sự đã tuyển khoảng 4.000 người tham gia đã được trả khoảng $ 1.25 cho một nhiệm vụ mà mất khoảng 8 phút.

Nhớ lại rằng một trong những phát hiện từ nghiên cứu trước đó đã được các cử tri phần thưởng và trừng phạt đương nhiệm đối với kết quả mà rõ ràng là ngoài tầm kiểm soát của họ, chẳng hạn như sự thành công của các đội thể thao địa phương và thời tiết. Để đánh giá xem liệu các quyết định tham gia bỏ phiếu có thể bị ảnh hưởng bởi sự kiện hoàn toàn ngẫu nhiên trong khung cảnh của họ, Huber và các đồng nghiệp thêm một xổ số để hệ thống thí nghiệm của họ. Ở hai vòng 8 hoặc vòng thứ 16 (tức là, ngay trước khi có cơ hội để thay thế các cấp phát) tham gia được đặt ngẫu nhiên trong xổ số, nơi một số giành 5000 điểm, một số thắng 0 điểm, và một số bị mất 5000 điểm. xổ số này được dự định để bắt chước tin tốt hay xấu mà là độc lập về hoạt động của các chính trị gia. Mặc dù những người tham gia đã nói một cách rõ ràng rằng xổ số là không liên quan đến việc thực hiện cấp phát của họ, kết quả xổ số vẫn còn ảnh hưởng quyết định của học viên. Những người tham gia được hưởng lợi từ xổ số có nhiều khả năng tiếp tục cấp phát, và ảnh hưởng rất nhiều khi xổ số xảy ra trong vòng 16 ngay trước khi thay thế quyết định hơn khi nó xảy ra trong vòng 8 (Hình 4.14). Những kết quả này, cùng với kết quả của một số thí nghiệm khác trong bài báo, dẫn Huber và các đồng nghiệp kết luận rằng ngay cả trong một thiết lập đơn giản, các cử tri có khó khăn quyết định khôn ngoan, một kết quả tác động nghiên cứu trong tương lai về việc ra quyết định của cử tri (Healy and Malhotra 2013) . Thí nghiệm của Huber và các đồng nghiệp cho thấy MTurk có thể được sử dụng để tuyển dụng người tham gia thí nghiệm trong phòng thí nghiệm theo phong cách để kiểm tra chính xác lý thuyết rất cụ thể. Nó cũng cho thấy giá trị của việc xây dựng môi trường thực nghiệm của mình: đó là khó tưởng tượng làm thế nào những quy trình tương tự có thể được phân lập như vậy sạch trong bất kỳ thiết lập khác.

Hình 4.14: Kết quả từ Huber, Hill, and Lenz (2012) . Những người tham gia được hưởng lợi từ xổ số có nhiều khả năng để giữ lại cấp phát của họ, và ảnh hưởng rất nhiều khi xổ số xảy ra trong vòng 16 ngay trước khi thay thế quyết định hơn khi nó xảy ra trong vòng 8.

Ngoài việc xây dựng các thí nghiệm trong phòng thí nghiệm như thế, các nhà nghiên cứu cũng có thể xây dựng các thí nghiệm mà có nhiều lĩnh vực như. Ví dụ, Centola (2010) đã xây dựng một thí nghiệm lĩnh vực kỹ thuật số để nghiên cứu tác động của cấu trúc mạng xã hội về sự lây lan của hành vi. Câu hỏi nghiên cứu của ông yêu cầu ông phải quan sát các hành vi tương tự lan truyền trong quần thể có cấu trúc mạng xã hội khác nhau nhưng nếu không thể phân biệt. Cách duy nhất để làm điều này là với một bespoke, thử nghiệm tùy chỉnh được xây dựng. Trong trường hợp này, Centola xây dựng một cộng đồng y tế dựa trên web.

Centola tuyển dụng khoảng 1.500 người tham gia với quảng cáo trên các trang web về sức khỏe. Khi người tham gia đến các cộng đồng trực tuyến phù hợp được gọi là Healthy Lifestyle Mạng-họ với điều kiện thông báo đồng ý và sau đó được phân công "bạn bè sức khỏe." Bởi vì cách Centola giao những bạn bè sức khỏe ông đã có thể đan cấu trúc mạng xã hội khác nhau với nhau trong khác nhau các nhóm. Một số nhóm đã được xây dựng để có mạng lưới ngẫu nhiên (nơi mọi người đều có khả năng được kết nối) và các nhóm khác đã được xây dựng để có mạng lưới cụm (nơi kết nối được tại địa phương đậm đặc). Sau đó, Centola giới thiệu một hành vi mới vào mỗi mạng, cơ hội để đăng ký cho một trang web mới với thông tin sức khỏe bổ sung. Bất cứ khi nào bất cứ ai đăng ký cho trang web mới này, tất cả các bạn bè của sức khỏe của cô đã nhận được một email thông báo hành vi này. Centola thấy rằng điều này vi-ký-up cho các trang Web mới-lan xa hơn và nhanh hơn trong mạng clustered hơn các mạng ngẫu nhiên, phát hiện này là trái với một số lý thuyết hiện có.

Nhìn chung, xây dựng thử nghiệm của chính bạn cung cấp cho bạn kiểm soát nhiều hơn; nó cho phép bạn xây dựng môi trường tốt nhất để cô lập những gì bạn muốn học. Thật khó có thể tưởng tượng như thế nào một trong những thí nghiệm này có thể đã được thực hiện trong một môi trường hiện có. Hơn nữa, việc xây dựng hệ thống của riêng bạn giảm mối quan tâm đạo đức xung quanh thử nghiệm trong các hệ thống hiện có. Khi bạn xây dựng thử nghiệm của chính bạn, tuy nhiên, bạn chạy vào rất nhiều các vấn đề đang gặp phải trong phòng thí nghiệm: việc tuyển sinh và lo ngại về chủ nghĩa hiện thực. Một nhược điểm cuối cùng là xây dựng thử nghiệm của chính bạn có thể tốn kém và tốn thời gian, mặc dù là những ví dụ trên, các thí nghiệm có thể dao động từ môi trường tương đối đơn giản (ví dụ như nghiên cứu về biểu quyết theo Huber, Hill, and Lenz (2012) ) để tương đối môi trường phức tạp (ví dụ như nghiên cứu về mạng lưới và sự lây lan của Centola (2010) ).