4.6.1 Tạo zero dữ liệu chi phí biến đổi

Chìa khóa để chạy thử nghiệm lớn là tăng chi phí biến của bạn lên 0. Cách tốt nhất để làm điều này là tự động hóa và thiết kế các thí nghiệm thú vị.

Các thí nghiệm kỹ thuật số có thể có các cấu trúc chi phí khác nhau đáng kể, và điều này cho phép các nhà nghiên cứu chạy các thí nghiệm không thể trong quá khứ. Một cách để suy nghĩ về sự khác biệt này là để lưu ý rằng các thí nghiệm thường có hai loại chi phí: chi phí cố định và chi phí biến đổi. Chi phí cố định là chi phí không thay đổi bất kể số lượng người tham gia. Ví dụ, trong một thử nghiệm trong phòng thí nghiệm, chi phí cố định có thể là chi phí thuê không gian và mua đồ nội thất. Mặt khác, chi phí thay đổi tùy thuộc vào số lượng người tham gia. Ví dụ, trong một thí nghiệm trong phòng thí nghiệm, chi phí biến đổi có thể đến từ việc trả lương cho nhân viên và người tham gia. Nhìn chung, các thí nghiệm tương tự có chi phí cố định thấp và chi phí biến đổi cao, trong khi các thí nghiệm kỹ thuật số có chi phí cố định cao và chi phí biến đổi thấp (hình 4.19). Mặc dù các thử nghiệm kỹ thuật số có chi phí biến đổi thấp, nhưng bạn có thể tạo ra nhiều cơ hội thú vị khi bạn biến chi phí biến tất cả các con số về 0.

Hình 4.19: Sơ đồ cấu trúc chi phí trong các thí nghiệm tương tự và kỹ thuật số. Nhìn chung, các thí nghiệm tương tự có chi phí cố định thấp và chi phí biến đổi cao trong khi các thí nghiệm kỹ thuật số có chi phí cố định cao và chi phí biến đổi thấp. Các cấu trúc chi phí khác nhau có nghĩa là các thí nghiệm kỹ thuật số có thể chạy ở quy mô không thể thực hiện được với các thí nghiệm tương tự.

Có hai yếu tố chính của chi phí biến đổi - thanh toán cho nhân viên và thanh toán cho người tham gia — và mỗi người trong số này có thể được chuyển đến số không bằng các chiến lược khác nhau. Các khoản thanh toán cho nhân viên xuất phát từ công việc mà các trợ lý nghiên cứu thực hiện tuyển dụng người tham gia, cung cấp phương pháp điều trị và đo lường kết quả. Ví dụ, thí nghiệm tương tự của Schultz và cộng sự (2007) về việc sử dụng điện yêu cầu trợ lý nghiên cứu phải đi đến từng nhà để điều trị và đọc đồng hồ điện (hình 4.3). Tất cả nỗ lực này của các trợ lý nghiên cứu có nghĩa là thêm một hộ gia đình mới vào nghiên cứu sẽ có thêm vào chi phí. Mặt khác, đối với thử nghiệm kỹ thuật số của Restivo và van de Rijt (2012) về hiệu quả của giải thưởng trên các biên tập viên Wikipedia, các nhà nghiên cứu có thể bổ sung thêm nhiều người tham gia với hầu như không mất chi phí. Một chiến lược chung để giảm chi phí quản lý biến là thay thế công việc của con người (đắt tiền) với công việc máy tính (giá rẻ). Nói chung, bạn có thể tự hỏi mình: Thử nghiệm này có thể chạy trong khi mọi người trong nhóm nghiên cứu của tôi đang ngủ không? Nếu câu trả lời là có, bạn đã thực hiện một công việc tuyệt vời về tự động hóa.

Loại chi phí biến chính thứ hai là thanh toán cho người tham gia. Một số nhà nghiên cứu đã sử dụng Amazon Mechanical Turk và các thị trường lao động trực tuyến khác để giảm các khoản thanh toán cần thiết cho người tham gia. Để thúc đẩy chi phí biến đổi tất cả các con đường đến số không, tuy nhiên, một cách tiếp cận khác nhau là cần thiết. Trong một thời gian dài, các nhà nghiên cứu đã thiết kế các thí nghiệm quá nhàm chán, họ phải trả tiền cho mọi người tham gia. Nhưng nếu bạn có thể tạo một thử nghiệm mà mọi người muốn tham gia thì sao? Điều này nghe có vẻ xa vời, nhưng tôi sẽ cung cấp cho bạn một ví dụ dưới đây từ công việc của riêng tôi, và có nhiều ví dụ hơn trong bảng 4.4. Lưu ý rằng ý tưởng thiết kế các thí nghiệm thú vị này gợi lại một số chủ đề trong chương 3 về thiết kế các cuộc khảo sát thú vị hơn và trong chương 5 về thiết kế hợp tác quần chúng. Vì vậy, tôi nghĩ rằng người tham gia thích thú - những gì cũng có thể được gọi là trải nghiệm người dùng — sẽ là một phần ngày càng quan trọng trong thiết kế nghiên cứu trong thời đại kỹ thuật số.

Nếu bạn muốn tạo thử nghiệm với dữ liệu chi phí không thay đổi, bạn sẽ cần phải đảm bảo rằng mọi thứ hoàn toàn tự động và người tham gia không yêu cầu bất kỳ khoản thanh toán nào. Để cho thấy điều này là có thể, tôi sẽ mô tả nghiên cứu luận án của tôi về sự thành công và thất bại của các sản phẩm văn hóa.

Luận án của tôi đã được thúc đẩy bởi bản chất khó hiểu của sự thành công cho các sản phẩm văn hóa. Bài hát nổi tiếng, sách bán chạy nhất và phim bom tấn nhiều, thành công hơn nhiều so với trung bình. Bởi vì điều này, thị trường cho các sản phẩm này thường được gọi là thị trường “người chiến thắng-tất cả”. Tuy nhiên, cùng một lúc, bài hát, cuốn sách hoặc bộ phim cụ thể nào sẽ thành công là điều không thể đoán trước. Nhà biên kịch William Goldman (1989) tổng kết rất nhiều nghiên cứu khoa học bằng cách nói rằng, khi nói đến việc dự đoán thành công, “không ai biết được điều gì cả.” Không thể đoán trước được thị trường của tất cả các nhà đầu tư đã khiến tôi tự hỏi có bao nhiêu thành công về chất lượng và bao nhiêu chỉ là may mắn. Hoặc, thể hiện hơi khác một chút, nếu chúng ta có thể tạo ra thế giới song song và có tất cả chúng phát triển độc lập, các bài hát đó sẽ trở nên phổ biến trong mỗi thế giới? Và, nếu không, những gì có thể là một cơ chế gây ra những khác biệt này?

Để trả lời những câu hỏi này, chúng tôi — Peter Dodds, Duncan Watts (cố vấn luận án của tôi), và tôi - đã thực hiện một loạt các thí nghiệm trực tuyến. Đặc biệt, chúng tôi đã xây dựng một trang web có tên là MusicLab nơi mọi người có thể khám phá âm nhạc mới và chúng tôi đã sử dụng nó cho một loạt thử nghiệm. Chúng tôi tuyển dụng người tham gia bằng cách chạy quảng cáo biểu ngữ trên trang web có sở thích dành cho thanh thiếu niên (hình 4.20) và thông qua các đề cập trong giới truyền thông. Những người tham gia vào trang web của chúng tôi đã đồng ý với thông báo, đã hoàn thành bản câu hỏi ngắn về nền tảng và được phân công ngẫu nhiên vào một trong hai điều kiện thử nghiệm — ảnh hưởng độc lập và xã hội. Trong điều kiện độc lập, những người tham gia đã đưa ra quyết định về những bài hát để nghe, chỉ được đặt tên của các ban nhạc và các bài hát. Trong khi nghe một bài hát, những người tham gia được yêu cầu đánh giá nó sau đó họ có cơ hội (nhưng không phải là nghĩa vụ) để tải xuống bài hát. Trong điều kiện ảnh hưởng xã hội, người tham gia có cùng trải nghiệm, ngoại trừ họ cũng có thể xem số lần bài hát đã được tải xuống bởi những người tham gia trước đó. Hơn nữa, những người tham gia trong điều kiện ảnh hưởng xã hội được phân công ngẫu nhiên vào một trong tám thế giới song song, mỗi người trong số đó phát triển độc lập (hình 4.21). Sử dụng thiết kế này, chúng tôi đã chạy hai thử nghiệm liên quan. Trong lần đầu tiên, chúng tôi trình bày các bài hát cho những người tham gia trong một mạng lưới chưa phân loại, cung cấp cho họ một tín hiệu phổ biến yếu. Trong thí nghiệm thứ hai, chúng tôi trình bày các bài hát trong danh sách xếp hạng, cung cấp tín hiệu phổ biến mạnh hơn nhiều (hình 4.22).

Hình 4.20: Ví dụ về quảng cáo biểu ngữ mà đồng nghiệp của tôi và tôi đã sử dụng để tuyển dụng người tham gia cho các thí nghiệm (Salganik, Dodds, and Watts 2006) . Sao chép theo sự cho phép của Salganik (2007) , hình 2.12.

Hình 4.21: Thiết kế thử nghiệm cho các thí nghiệm (Salganik, Dodds, and Watts 2006) . Những người tham gia được phân công ngẫu nhiên vào một trong hai điều kiện: ảnh hưởng độc lập và xã hội. Những người tham gia trong điều kiện độc lập đã lựa chọn mà không có bất kỳ thông tin nào về những gì người khác đã làm. Những người tham gia trong điều kiện ảnh hưởng xã hội được phân công ngẫu nhiên vào một trong tám thế giới song song, nơi họ có thể thấy sự phổ biến - được đo bằng số lượt tải xuống của những người tham gia trước đó - của mỗi bài hát trong thế giới của họ, nhưng họ không thể thấy bất kỳ thông tin nào về họ thậm chí biết về sự tồn tại của bất kỳ thế giới nào khác. Chuyển thể từ Salganik, Dodds, and Watts (2006) , hình s1.

Chúng tôi thấy rằng sự phổ biến của các bài hát khác nhau trên toàn thế giới, cho thấy rằng may mắn đóng một vai trò quan trọng trong sự thành công. Ví dụ, trong một thế giới, bài hát "Lockdown" của 52Metro đứng ở vị trí thứ nhất trong số 48 bài hát, trong khi ở một thế giới khác, nó đứng ở vị trí thứ 40. Đây chính xác là bài hát tương tự cạnh tranh với tất cả các bài hát khác, nhưng trong một thế giới, nó đã trở nên may mắn và những người khác thì không. Hơn nữa, bằng cách so sánh kết quả trong hai thí nghiệm, chúng tôi nhận thấy rằng ảnh hưởng xã hội làm tăng tính chất chiến thắng của tất cả các thị trường này, điều này có thể gợi ý tầm quan trọng của kỹ năng. Nhưng, nhìn qua các thế giới (không thể được thực hiện bên ngoài loại thử nghiệm thế giới song song này), chúng tôi nhận thấy rằng ảnh hưởng xã hội thực sự làm tăng tầm quan trọng của may mắn. Hơn nữa, đáng ngạc nhiên, đó là những bài hát hấp dẫn nhất mà may mắn quan trọng nhất (hình 4.23).

Hình 4.22: Ảnh chụp màn hình từ các điều kiện ảnh hưởng xã hội trong các thí nghiệm (Salganik, Dodds, and Watts 2006) . Trong điều kiện ảnh hưởng xã hội trong thử nghiệm 1, các bài hát, cùng với số lượt tải xuống trước đó, được trình bày cho những người tham gia được sắp xếp theo lưới hình chữ nhật 16 \(\times\) 3, vị trí của các bài hát được gán ngẫu nhiên cho mỗi bài hát người tham gia. Trong thử nghiệm 2, những người tham gia trong điều kiện ảnh hưởng xã hội đã được hiển thị các bài hát, với số lượng tải xuống, được trình bày trong một cột theo thứ tự giảm dần của mức độ phổ biến hiện tại.

Hình 4.23: Kết quả từ các thí nghiệm MusicLab cho thấy mối quan hệ giữa sự hấp dẫn và thành công (Salganik, Dodds, and Watts 2006) . Các \(x\) -axis là thị phần của bài hát trong thế giới độc lập, phục vụ như một thước đo của sự hấp dẫn của bài hát, và \(y\) -axis là thị phần của cùng một bài hát trong tám thế giới ảnh hưởng xã hội, phục vụ như một thước đo về sự thành công của các bài hát. Chúng tôi nhận thấy rằng tăng ảnh hưởng xã hội mà những người tham gia đã trải qua — cụ thể là sự thay đổi về bố cục từ thí nghiệm 1 sang thử nghiệm 2 (hình 4.22) đã thành công không thể đoán trước, đặc biệt là đối với các bài hát có sức hấp dẫn cao nhất. Chuyển thể từ Salganik, Dodds, and Watts (2006) , hình 3.

MusicLab đã có thể chạy với chi phí cơ bản là không thay đổi do cách nó được thiết kế. Đầu tiên, mọi thứ hoàn toàn tự động nên nó có thể chạy trong khi tôi đang ngủ. Thứ hai, việc bồi thường là âm nhạc miễn phí, vì vậy không có chi phí bồi thường cho người tham gia biến đổi. Việc sử dụng âm nhạc như bồi thường cũng cho thấy đôi khi một sự cân bằng giữa chi phí cố định và biến đổi. Sử dụng âm nhạc làm tăng chi phí cố định bởi vì tôi phải dành thời gian bảo vệ sự cho phép của các ban nhạc và chuẩn bị các báo cáo cho họ về phản ứng của người tham gia đối với âm nhạc của họ. Nhưng trong trường hợp này, tăng chi phí cố định để giảm chi phí biến là điều phải làm; đó là điều đã cho phép chúng tôi chạy thử nghiệm lớn hơn khoảng 100 lần so với thử nghiệm trong phòng thí nghiệm tiêu chuẩn.

Hơn nữa, các thí nghiệm MusicLab cho thấy rằng chi phí biến không phải không phải là một kết thúc trong chính nó; thay vào đó, nó có thể là một phương tiện để chạy một loại thử nghiệm mới. Lưu ý rằng chúng tôi đã không sử dụng tất cả những người tham gia của chúng tôi để chạy thử nghiệm ảnh hưởng xã hội tiêu chuẩn 100 lần. Thay vào đó, chúng tôi đã làm một cái gì đó khác nhau, mà bạn có thể nghĩ đến như chuyển từ một thí nghiệm tâm lý sang một cuộc xã hội học (Hedström 2006) . Thay vì tập trung vào việc ra quyết định cá nhân, chúng tôi tập trung vào thử nghiệm về tính phổ biến, một kết quả tập thể. Chuyển đổi này thành một kết quả tập thể có nghĩa là chúng tôi cần khoảng 700 người tham gia để tạo ra một điểm dữ liệu (có 700 người trong mỗi thế giới song song). Quy mô đó chỉ có thể là do cấu trúc chi phí của thử nghiệm. Nói chung, nếu các nhà nghiên cứu muốn nghiên cứu cách kết quả tập thể phát sinh từ các quyết định cá nhân, các thí nghiệm nhóm như MusicLab rất thú vị. Trong quá khứ, họ đã gặp khó khăn về mặt hậu cần, nhưng những khó khăn đó đang mờ dần do khả năng không có dữ liệu chi phí biến đổi.

Ngoài việc minh họa các lợi ích của dữ liệu chi phí không thay đổi, các thí nghiệm MusicLab cũng cho thấy một thách thức với cách tiếp cận này: chi phí cố định cao. Trong trường hợp của tôi, tôi đã vô cùng may mắn khi có thể làm việc với một nhà phát triển web tài năng tên Peter Hausel trong khoảng sáu tháng để xây dựng thử nghiệm. Điều này chỉ có thể vì cố vấn của tôi, Duncan Watts, đã nhận được một số khoản tài trợ để hỗ trợ cho loại nghiên cứu này. Công nghệ đã được cải thiện kể từ khi chúng tôi xây dựng MusicLab vào năm 2004 vì vậy sẽ dễ dàng hơn nhiều khi xây dựng một thử nghiệm như thế này ngay bây giờ. Tuy nhiên, các chiến lược chi phí cố định cao chỉ thực sự có thể cho các nhà nghiên cứu có thể bằng cách nào đó chi trả các chi phí đó.

Tóm lại, các thí nghiệm kỹ thuật số có thể có cấu trúc chi phí khác nhau đáng kể so với các thí nghiệm tương tự. Nếu bạn muốn chạy thử nghiệm thực sự lớn, bạn nên cố gắng giảm chi phí biến càng nhiều càng tốt và lý tưởng nhất là tất cả các con đường về 0. Bạn có thể làm điều này bằng cách tự động hóa các cơ chế thí nghiệm của bạn (ví dụ, thay thế thời gian của con người bằng thời gian máy tính) và thiết kế các thí nghiệm mà mọi người muốn tham gia. Các nhà nghiên cứu có thể thiết kế thử nghiệm với các tính năng này sẽ có thể chạy các loại thử nghiệm mới không thể trong quá khứ. Tuy nhiên, khả năng tạo ra các thí nghiệm chi phí không biến đổi có thể nâng cao các câu hỏi đạo đức mới, chủ đề mà bây giờ tôi sẽ giải quyết.