4.4 Di chuyển ngoài thí nghiệm đơn giản

Hãy vượt qua các thử nghiệm đơn giản. Ba khái niệm rất hữu ích cho các thí nghiệm phong phú: hiệu lực, tính không đồng nhất của hiệu quả điều trị và cơ chế.

Các nhà nghiên cứu mới làm quen với các thí nghiệm thường tập trung vào một câu hỏi rất hẹp, cụ thể: Liệu liệu điều trị này có “làm việc” không? Ví dụ, một cuộc gọi điện thoại từ một tình nguyện viên có khuyến khích ai đó bỏ phiếu không? Việc thay đổi nút trang web từ xanh dương sang xanh lục có tăng tỷ lệ nhấp không? Thật không may, lỏng lẻo phrasing về những gì "công trình" che khuất thực tế là các thí nghiệm tập trung hẹp không thực sự cho bạn biết liệu một điều trị "công trình" trong một ý nghĩa chung. Thay vào đó, các thí nghiệm tập trung hẹp lại trả lời một câu hỏi cụ thể hơn: Hiệu quả trung bình của việc điều trị cụ thể này với việc thực hiện cụ thể này cho dân số những người tham gia vào thời điểm này là gì? Tôi sẽ gọi các thí nghiệm tập trung vào các câu hỏi đơn giản hẹp này.

Các thí nghiệm đơn giản có thể cung cấp thông tin giá trị, nhưng họ không trả lời được nhiều câu hỏi vừa quan trọng vừa thú vị, chẳng hạn như liệu có một số người được điều trị có tác dụng lớn hơn hay nhỏ hơn; liệu có một cách điều trị khác có hiệu quả hơn hay không; và liệu thử nghiệm này có liên quan đến các lý thuyết xã hội rộng hơn hay không.

Để chứng minh giá trị của việc vượt qua các thí nghiệm đơn giản, chúng ta hãy xem xét một thí nghiệm tương tự của P. Wesley Schultz và các đồng nghiệp về mối quan hệ giữa các chỉ tiêu xã hội và tiêu thụ năng lượng (Schultz et al. 2007) . Schultz và các đồng nghiệp đã treo móc treo trên 300 hộ gia đình ở San Marcos, California, và những chiếc doorhangers này cung cấp các thông điệp khác nhau được thiết kế để khuyến khích bảo tồn năng lượng. Sau đó, Schultz và các đồng nghiệp đã đo lường hiệu quả của những thông điệp này về tiêu thụ điện, cả sau một tuần và sau ba tuần; xem hình 4.3 để biết mô tả chi tiết hơn về thiết kế thử nghiệm.

Hình 4.3: Sơ đồ thiết kế thí nghiệm từ Schultz et al. (2007) . Thử nghiệm thực địa này liên quan đến khoảng 300 hộ gia đình ở San Marcos, California năm lần trong khoảng thời gian 8 tuần. Trên mỗi chuyến thăm, các nhà nghiên cứu đã tự đọc một bài từ đồng hồ đo điện của nhà. Trong hai lần thăm viếng, họ đặt những cái móc trên mỗi nhà cung cấp một số thông tin về cách sử dụng năng lượng của hộ gia đình. Câu hỏi nghiên cứu là làm thế nào nội dung của những thông điệp này sẽ tác động đến việc sử dụng năng lượng.

Thí nghiệm có hai điều kiện. Đầu tiên, các hộ gia đình đã nhận được các mẹo tiết kiệm năng lượng chung (ví dụ, sử dụng quạt thay vì điều hòa không khí) và thông tin về việc sử dụng năng lượng của họ so với mức sử dụng năng lượng trung bình trong khu vực của họ. Schultz và các đồng nghiệp gọi đây là điều kiện quy tắc mô tả bởi vì thông tin về việc sử dụng năng lượng trong vùng lân cận cung cấp thông tin về hành vi điển hình (ví dụ, một tiêu chuẩn mô tả). Khi Schultz và các đồng nghiệp xem xét việc sử dụng năng lượng kết quả trong nhóm này, việc điều trị dường như không có tác dụng, trong ngắn hạn hoặc dài hạn; nói cách khác, việc điều trị dường như không "làm việc" (hình 4.4).

May mắn thay, Schultz và các đồng nghiệp đã không giải quyết cho phân tích đơn giản này. Trước khi thử nghiệm bắt đầu, họ lý luận rằng những người sử dụng điện nặng - những người trên mức trung bình - có thể giảm mức tiêu thụ của họ và những người sử dụng điện nhẹ - những người dưới mức trung bình - thực sự có thể tăng mức tiêu thụ của họ. Khi họ xem xét dữ liệu, đó chính xác là những gì họ đã tìm thấy (hình 4.4). Vì vậy, những gì trông giống như một điều trị mà không có hiệu lực thực sự là một điều trị có hai tác dụng bù đắp. Sự gia tăng phản tác dụng này giữa những người sử dụng ánh sáng là một ví dụ về hiệu ứng boomerang , nơi mà việc điều trị có thể có tác dụng ngược lại từ những gì được dự định.

Hình 4.4: Kết quả từ Schultz et al. (2007) . Bảng điều khiển (a) cho thấy rằng việc điều trị chuẩn mô tả có hiệu quả điều trị trung bình bằng không. Tuy nhiên, bảng điều khiển (b) cho thấy hiệu quả điều trị trung bình này thực sự bao gồm hai hiệu ứng bù đắp. Đối với những người sử dụng nặng, việc điều trị giảm sử dụng nhưng đối với người sử dụng ánh sáng, việc điều trị làm tăng mức sử dụng. Cuối cùng, bảng điều khiển (c) cho thấy rằng điều trị thứ hai, sử dụng các chỉ tiêu mô tả và bắt buộc, có tác dụng tương tự đối với người dùng nặng nhưng giảm thiểu hiệu ứng boomerang trên người dùng ánh sáng. Chuyển thể từ Schultz et al. (2007) .

Đồng thời với điều kiện đầu tiên, Schultz và các đồng nghiệp cũng chạy một điều kiện thứ hai. Các hộ gia đình trong điều kiện thứ hai nhận được cùng một điều trị - mẹo tiết kiệm năng lượng nói chung và thông tin về mức sử dụng năng lượng của hộ gia đình so với mức trung bình cho khu vực của họ - với một bổ sung nhỏ: cho những người có mức tiêu thụ dưới mức trung bình. ) và cho những người có mức tiêu thụ trên mức trung bình, họ thêm vào: (Những biểu tượng cảm xúc này được thiết kế để kích hoạt những gì các nhà nghiên cứu gọi là các chỉ tiêu bắt buộc . những gì thường được thực hiện (Reno, Cialdini, and Kallgren 1993) .

Bằng cách thêm một biểu tượng cảm xúc nhỏ bé này, các nhà nghiên cứu đã giảm đáng kể hiệu ứng boomerang (hình 4.4). Do đó, bằng cách thực hiện một thay đổi đơn giản này - một thay đổi được thúc đẩy bởi một lý thuyết tâm lý xã hội trừu tượng (Cialdini, Kallgren, and Reno 1991) - các nhà nghiên cứu đã có thể biến một chương trình dường như không hoạt động thành một và, đồng thời, họ đã có thể đóng góp cho sự hiểu biết chung về cách thức các tiêu chuẩn xã hội ảnh hưởng đến hành vi của con người.

Tuy nhiên, tại thời điểm này, bạn có thể nhận thấy rằng có một chút khác biệt về thử nghiệm này. Đặc biệt, thí nghiệm của Schultz và các đồng nghiệp không thực sự có một nhóm kiểm soát giống như cách mà các thí nghiệm ngẫu nhiên có đối chứng thực hiện. Một so sánh giữa thiết kế này và của Restivo và van de Rijt minh họa sự khác biệt giữa hai thiết kế thử nghiệm chính. Trong thiết kế giữa các đối tượng , chẳng hạn như của Restivo và van de Rijt, có một nhóm điều trị và một nhóm kiểm soát. Trong thiết kế nội bộ , mặt khác, hành vi của người tham gia được so sánh trước và sau khi điều trị (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Trong một thử nghiệm trong đối tượng, dường như mỗi người tham gia đóng vai trò là nhóm kiểm soát của riêng mình. Sức mạnh của thiết kế giữa các đối tượng là chúng cung cấp sự bảo vệ chống lại những kẻ gây nhiễu (như tôi đã mô tả trước đó), trong khi sức mạnh của các thí nghiệm trong đối tượng được tăng độ chính xác của các ước tính. Cuối cùng, để báo trước một ý tưởng sẽ đến sau khi tôi đưa ra lời khuyên về thiết kế các thí nghiệm kỹ thuật số, thiết kế _mixed design_combines cải thiện độ chính xác của thiết kế trong đối tượng và bảo vệ chống lại sự nhầm lẫn giữa các thiết kế giữa các đối tượng (hình 4.5).

Hình 4.5: Ba thiết kế thử nghiệm. Các thử nghiệm ngẫu nhiên được kiểm soát chuẩn sử dụng thiết kế giữa các đối tượng . Một ví dụ về thiết kế giữa các đối tượng là thí nghiệm của Restivo và van de Rijt (2012) về barnstars và đóng góp cho Wikipedia: các nhà nghiên cứu chia ngẫu nhiên những người tham gia vào nhóm điều trị và kiểm soát, cho những người tham gia vào nhóm điều trị một barnstar và so sánh kết quả cho hai nhóm. Loại thiết kế thứ hai là thiết kế trong đối tượng . Hai nghiên cứu trong nghiên cứu của Schultz và cộng sự (2007) về các chỉ tiêu xã hội và sử dụng năng lượng minh họa cho thiết kế nội bộ: các nhà nghiên cứu so sánh việc sử dụng điện của những người tham gia trước và sau khi được điều trị. Các thiết kế trong đối tượng cung cấp độ chính xác thống kê được cải thiện, nhưng chúng mở cho những người gây nhiễu có thể (ví dụ, thay đổi thời tiết giữa thời gian điều trị và điều trị) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Thiết kế bên trong đối tượng đôi khi còn được gọi là thiết kế các biện pháp lặp đi lặp lại. Cuối cùng, các thiết kế hỗn hợp kết hợp độ chính xác được cải thiện của các thiết kế trong đối tượng và bảo vệ chống lại sự nhầm lẫn giữa các thiết kế giữa các đối tượng. Trong một thiết kế hỗn hợp, một nhà nghiên cứu so sánh sự thay đổi trong kết quả cho những người trong nhóm điều trị và kiểm soát. Khi các nhà nghiên cứu đã có thông tin tiền xử lý, như trường hợp trong nhiều thí nghiệm kỹ thuật số, thiết kế hỗn hợp thường thích hợp hơn với thiết kế giữa các đối tượng bởi vì chúng giúp cải thiện độ chính xác của các ước tính.

Nhìn chung, thiết kế và kết quả nghiên cứu của Schultz và cộng sự (2007) cho thấy giá trị của việc di chuyển vượt ra ngoài các thí nghiệm đơn giản. May mắn thay, bạn không cần phải là một thiên tài sáng tạo để thiết kế các thí nghiệm như thế này. Các nhà khoa học xã hội đã phát triển ba khái niệm sẽ hướng dẫn bạn hướng tới các thí nghiệm phong phú hơn: (1) hiệu lực, (2) tính không đồng nhất của hiệu quả điều trị, và (3) cơ chế. Tức là, nếu bạn ghi nhớ ba ý tưởng này trong khi thiết kế thử nghiệm, bạn sẽ tự nhiên tạo ra một thử nghiệm thú vị và hữu ích hơn. Để minh họa cho ba khái niệm này, tôi sẽ mô tả một số thí nghiệm kỹ thuật số một phần theo dõi được xây dựng trên thiết kế thanh lịch và kết quả thú vị của Schultz và các đồng nghiệp (2007) . Như bạn sẽ thấy, thông qua thiết kế cẩn thận hơn, thực hiện, phân tích và giải thích, bạn cũng có thể vượt qua các thử nghiệm đơn giản.