4.4 Di chuyển ngoài thí nghiệm đơn giản

Hãy vượt qua các thí nghiệm đơn giản. Ba khái niệm này rất hữu ích cho các thí nghiệm phong phú: tính hợp lệ, không đồng nhất của hiệu quả điều trị, và cơ chế.

Các nhà nghiên cứu của những người mới đến các thí nghiệm thường tập trung vào một câu hỏi rất cụ thể hẹp: không điều trị này "làm việc"? Ví dụ, không một cuộc gọi điện thoại từ một tình nguyện viên khuyến khích ai đó để bỏ phiếu? Liệu việc thay đổi một nút trang web từ màu xanh để tăng tỷ lệ nhấp qua màu xanh lá cây? Thật không may, phân nhịp lỏng lẻo về những "công trình" che lấp một thực tế rằng những thí nghiệm tập trung hạn hẹp không thực sự cho bạn biết một điều trị "làm việc" trong một cảm giác chung. Thay vào đó, tập trung hẹp thí nghiệm trả lời một câu hỏi nhiều cụ thể hơn: tác dụng điều trị trung bình cụ thể này với thực hiện cụ thể này cho dân số này tham gia vào thời điểm này là gì? Tôi sẽ gọi thí nghiệm tập trung vào câu hỏi hẹp thí nghiệm đơn giản này.

thí nghiệm đơn giản có thể cung cấp thông tin có giá trị, nhưng họ không trả lời được nhiều câu hỏi mà cả hai đều quan trọng và thú vị như: đang có một số người cho người điều trị có ảnh hưởng lớn hơn hoặc nhỏ hơn ?; là có một điều trị sẽ có hiệu quả hơn ?; và làm thế nào để thí nghiệm này liên quan đến lý thuyết xã hội rộng lớn hơn?

Để hiển thị các giá trị của di chuyển vượt ra ngoài thí nghiệm đơn giản, chúng ta hãy xem xét một trong các thí nghiệm tương tự yêu thích của tôi, một nghiên cứu của P. Wesley Schultz và đồng nghiệp về các mối quan hệ giữa chuẩn mực xã hội và tiêu thụ năng lượng (Schultz et al. 2007) . Schultz và các đồng nghiệp treo treo trên cửa trên 300 hộ gia đình ở San Marcos, California, và những giao treo trên cửa thông điệp khác nhau được thiết kế để khuyến khích bảo tồn năng lượng. Sau đó, Schultz và các đồng nghiệp đã đo hiệu quả của những tin nhắn trong điện năng tiêu thụ, cả hai sau một tuần và ba tuần; xem Hình 4.3 cho một mô tả chi tiết hơn về thiết kế thí nghiệm.

Hình 4.3: Sơ đồ thiết kế từ Schultz et al. (2007) . Các thí nghiệm lĩnh vực liên quan đến việc thăm khoảng 300 hộ gia đình ở San Marcos, California năm lần trong một thời gian tám tuần. Trên mỗi khi truy cập các nhà nghiên cứu bằng tay mất một đọc từ đồng hồ điện của ngôi nhà. Mở hai lần các nhà nghiên cứu đặt treo trên cửa vào nhà cung cấp một số thông tin về việc sử dụng năng lượng của họ. Câu hỏi nghiên cứu là như thế nào về nội dung của những tin nhắn này sẽ tác động sử dụng năng lượng.

Các thí nghiệm đã có hai điều kiện. Trong điều kiện đầu tiên, các hộ gia đình nhận được lời khuyên tiết kiệm năng lượng nói chung (ví dụ, dùng quạt thay vì điều hòa không khí) và thông tin về việc sử dụng năng lượng trong gia đình của họ so với mức trung bình của việc sử dụng năng lượng trong khu vực của mình. Schultz và các đồng nghiệp gọi đây là tình trạng bản quy phạm mô tả bởi vì các thông tin về việc sử dụng năng lượng trong khu phố của họ cung cấp thông tin về hành vi điển hình (tức là, một tiêu chuẩn mô tả). Khi Schultz và các đồng nghiệp đã xem xét việc sử dụng năng lượng dẫn đến nhóm này, việc điều trị xuất hiện không có hiệu lực, hoặc là trong ngắn hạn hoặc dài hạn; nói cách khác, việc điều trị không có vẻ để "làm việc" (Hình 4.4).

Nhưng, may mắn thay, Schultz et al. (2007) đã không giải quyết cho phân tích đơn giản này. Trước khi thí nghiệm bắt đầu họ lý luận rằng người sử dụng nhiều điện dân trên trung bình-có thể giảm mức tiêu thụ của họ, và rằng người dùng ánh sáng điện-người dưới trung bình-có thể thực sự làm tăng tiêu thụ của họ. Khi họ nhìn vào dữ liệu, đó là chính xác những gì họ tìm thấy (Hình 4.4). Vì vậy, những gì trông giống như một điều trị được không có tác dụng thực sự là một điều trị mà có hai tác động bù đắp. Các nhà nghiên cứu gọi là tăng phản tác dụng này trong số những người sử dụng ánh sáng tác dụng boomerang.

Hình 4.4: Kết quả từ Schultz et al. (2007) . Bảng đầu tiên cho thấy việc điều trị tiêu chuẩn mô tả có một ước tính không hiệu quả điều trị trung bình. Tuy nhiên, bảng thứ hai cho thấy hiệu quả điều trị trung bình này được thực sự bao gồm hai tác động bù đắp. Đối với người sử dụng nặng, việc điều trị giảm sử dụng nhưng đối với người sử dụng ánh sáng, điều trị tăng việc sử dụng. Cuối cùng, bảng thứ ba cho thấy rằng điều trị thứ hai, trong đó sử dụng định mức mô tả và bắt buộc, có khoảng tác dụng tương tự trên người sử dụng nhiều nhưng giảm nhẹ tác dụng boomerang vào người sử dụng ánh sáng.

Hơn nữa, Schultz và các đồng nghiệp dự đoán khả năng này, và trong điều kiện thứ hai họ triển khai điều trị hơi khác nhau, một thiết kế rõ ràng để loại bỏ hiệu ứng boomerang. Các hộ gia đình trong điều kiện thứ hai nhận được những lời khuyên chính xác cùng một điều trị nói chung tiết kiệm năng lượng và các thông tin về việc sử dụng năng lượng trong gia đình của họ so với các khu dân cư với một cạnh nhỏ bé của mình: đối với những người tiêu thụ dưới mức trung bình, các nhà nghiên cứu thêm :) và cho người với mức tiêu thụ trên mức trung bình họ thêm vào một :(. các biểu tượng cảm xúc đã được thiết kế để kích hoạt những gì các nhà nghiên cứu gọi là quy phạm mệnh lệnh. chuẩn mực pháp huấn tham khảo để nhận thức về những gì thường được phê duyệt (và từ chối) trong khi chỉ tiêu mô tả tham khảo để nhận thức về những gì thường được thực hiện (Reno, Cialdini, and Kallgren 1993) .

Bằng cách thêm vào một biểu tượng cảm xúc nhỏ bé này, các nhà nghiên cứu làm giảm đáng kể hiệu ứng boomerang (Hình 4.4). Như vậy, bằng cách làm này đơn giản thay đổi-một sự thay đổi đó đã được thúc đẩy bởi một lý thuyết trừu tượng xã hội tâm lý (Cialdini, Kallgren, and Reno 1991) -the nhà nghiên cứu đã có thể biến một chương trình từ đó dường như không làm việc vào một trong đó làm việc, và, đồng thời, họ có thể đóng góp vào sự hiểu biết chung về cách chuẩn mực xã hội ảnh hưởng đến hành vi của con người.

Tại thời điểm này, tuy nhiên, bạn có thể nhận thấy rằng một cái gì đó là một chút khác nhau về cuộc thử nghiệm này. Đặc biệt, các thí nghiệm của Schultz và các đồng nghiệp không thực sự có một nhóm trong cùng một cách mà các thí nghiệm đối chứng ngẫu nhiên làm. Việc so sánh giữa thiết kế và thiết kế của Restivo và van de Rijt minh họa sự khác biệt giữa hai thiết kế chủ yếu được sử dụng bởi các nhà nghiên cứu. Trong giữa các đối tượng thiết kế, chẳng hạn như Restivo và van de Rijt, có một nhóm điều trị và nhóm chứng, và bên trong-đối tượng thiết kế các hành vi của người tham gia được so sánh trước và sau khi điều trị (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Trong một thí nghiệm trong vòng-môn đó là, nếu mỗi người tham gia đóng vai trò là nhóm kiểm soát của mình. Sức mạnh từ-môn thiết kế là nó cung cấp sự bảo vệ chống lại các yếu tố gây nhiễu (như tôi đã mô tả trước đó), và sức mạnh của các thí nghiệm trong vòng-đối tượng được tăng độ chính xác trong dự toán. Khi mỗi người tham gia hoạt động như điều khiển của mình, giữa các người tham gia biến thể được loại bỏ (xem kỹ thuật Phụ lục). Để báo trước một điều đó sẽ đến sau khi tôi đưa ra lời khuyên về thiết kế thí nghiệm kỹ thuật số, có một thiết kế cuối cùng, được gọi là một thiết kế pha trộn, kết hợp độ chính xác được cải tiến của thiết kế bên trong, đối tượng và quyền chống gây nhiễu các thiết kế giữa các đối tượng.

Hình 4.5: Ba thiết kế thử nghiệm. Tiêu chuẩn chọn ngẫu nhiên các thí nghiệm kiểm soát sử dụng giữa các bộ môn thiết kế. Một ví dụ về thiết kế giữa các đối tượng là Restivo và van de Rijt của (2012) thử nghiệm trên barnstars và đóng góp cho Wikipedia: nhà nghiên cứu ngẫu nhiên chia người tham gia vào nhóm điều trị và kiểm soát, đã tham gia trong nhóm điều trị một barnstar, và so sánh kết quả của hai các nhóm. Một loại thứ hai của thiết kế là một thiết kế trong vòng-đối tượng. Hai thí nghiệm trong Schultz và đồng nghiệp của (2007) nghiên cứu về chuẩn mực xã hội và sử dụng năng lượng minh họa một thiết kế trong-môn: nghiên cứu so sánh việc sử dụng điện của người tham gia trước và sau khi nhận được điều trị. Trong vòng-đối tượng thiết kế cung cấp cải thiện độ chính xác thống kê bằng cách loại bỏ giữa đúng đối tượng (xem kỹ thuật Phụ lục), nhưng họ đang mở ra cho yếu tố gây nhiễu có thể (ví dụ như, thay đổi thời tiết giữa giai đoạn tiền xử lý và điều trị) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Trong vòng-đối tượng thiết kế cũng là biện pháp đôi khi được gọi là lặp đi lặp lại thiết kế. Cuối cùng, thiết kế hỗn hợp kết hợp chính xác cải tiến trong thiết kế-môn và quyền chống gây nhiễu các thiết kế giữa các đối tượng. Trong một thiết kế hỗn hợp, một nhà nghiên cứu so sánh sự thay đổi trong kết quả cho mọi người trong nhóm điều trị và kiểm soát. Khi các nhà nghiên cứu đã có thông tin trước khi điều trị, như là trường hợp trong nhiều thí nghiệm kỹ thuật số, thiết kế hỗn hợp được yêu thích hơn giữa các đối tượng thiết kế vì tăng độ chính xác (xem kỹ thuật Phụ lục).

Nhìn chung, thiết kế và kết quả của Schultz et al. (2007) cho thấy giá trị của di chuyển vượt ra ngoài thí nghiệm đơn giản. May mắn thay, bạn không cần phải là một thiên tài để tạo ra những thí nghiệm như thế này. các nhà khoa học xã hội đã phát triển ba khái niệm này sẽ hướng dẫn bạn hướng tới các thí nghiệm sáng tạo phong phú hơn và nhiều hơn nữa: 1) giá trị, 2) không đồng nhất của hiệu quả điều trị, và 3) các cơ chế. Đó là, nếu bạn giữ ba ý tưởng trong tâm trí trong khi bạn đang thiết kế thử nghiệm của bạn, bạn sẽ tự nhiên tạo thí nghiệm thú vị và hữu ích hơn. Để minh họa ba khái niệm trong hành động, tôi sẽ mô tả một số thí nghiệm một phần kỹ thuật số theo dõi được xây dựng trên những thiết kế thanh lịch và kết quả thú vị trong Schultz et al. (2007) . Như bạn sẽ thấy, thông qua thiết kế cẩn thận hơn, thực hiện, phân tích và giải thích, bạn cũng có thể tiến xa hơn những thí nghiệm đơn giản.