4.3 Hai kích thước của các thí nghiệm: phòng thí nghiệm hiện trường và analog-kỹ thuật số

Thí nghiệm Lab cung cấp điều khiển, thí nghiệm lĩnh vực cung cấp thực, và thí nghiệm kỹ thuật số kết hợp kiểm soát và thực tế theo quy mô.

Các thí nghiệm đến trong nhiều hình dạng và kích cỡ khác nhau. Nhưng, bất chấp những khác biệt này, các nhà nghiên cứu đã tìm thấy nó hữu ích để tổ chức thí nghiệm cùng một sự liên tục giữa các thí nghiệm trong phòng thí nghiệm và thí nghiệm. Bây giờ, tuy nhiên, các nhà nghiên cứu cũng nên tổ chức thí nghiệm cùng một sự liên tục giữa các thí nghiệm tương tự và các thí nghiệm kỹ thuật số. thiết kế không gian hai chiều này sẽ giúp bạn hiểu rõ những điểm mạnh và điểm yếu của phương pháp tiếp cận khác nhau và đề xuất các khu vực của cơ hội lớn nhất (Hình 4.1).

Hình 4.1: Sơ đồ không gian thiết kế cho các thí nghiệm. Trong quá khứ, các thí nghiệm khác nhau dọc theo chiều hướng phòng thí nghiệm hiện trường. Bây giờ, họ cũng khác nhau về kích thước tương tự kỹ thuật số. Trong quan điểm của tôi, các khu vực của cơ hội lớn nhất là thí nghiệm kỹ thuật số.

Trong quá khứ, cách chính mà các nhà nghiên cứu đã tổ chức thí nghiệm là cùng kích thước phòng thí nghiệm hiện trường. Phần lớn các thí nghiệm trong các ngành khoa học xã hội là các thí nghiệm trong phòng thí nghiệm, nơi sinh viên đại học thực hiện nhiệm vụ kỳ lạ trong một phòng thí nghiệm tín chỉ khóa học. Kiểu thí nghiệm nghiên cứu thống trị trong tâm lý bởi vì nó cho phép các nhà nghiên cứu để tạo ra phương pháp điều trị rất đặc biệt được thiết kế để kiểm tra lý thuyết rất cụ thể về hành vi xã hội. Tuy nhiên, đối với những vấn đề nhất định, một cái gì đó cảm thấy một chút lạ về những kết luận mạnh mẽ về hành vi con người từ những người không bình thường như thực hiện các nhiệm vụ khác thường như vậy trong một khung cảnh không bình thường như vậy. Những lo ngại này đã dẫn đến một phong trào hướng về thí nghiệm. thí nghiệm kết hợp các thiết kế mạnh mẽ của các thí nghiệm kiểm soát ngẫu nhiên với các nhóm đại diện nhiều người tham gia, thực hiện nhiệm vụ phổ biến hơn, trong khung cảnh thiên nhiên hơn.

Mặc dù một số người nghĩ rằng các thí nghiệm trong phòng thí nghiệm và các lĩnh vực như các phương pháp cạnh tranh, nó là tốt nhất để nghĩ về họ như phương pháp bổ sung với những điểm mạnh và điểm yếu khác nhau. Ví dụ, Correll, Benard, and Paik (2007) sử dụng cả một thí nghiệm trong phòng thí nghiệm và một thí nghiệm lĩnh vực trong một nỗ lực để tìm ra nguồn gốc của các "hình phạt làm mẹ." Tại Hoa Kỳ, bà mẹ kiếm được ít tiền hơn so với phụ nữ không có con, ngay cả khi phụ nữ so sánh với kỹ năng tương tự như làm việc trong các công việc tương tự. Có nhiều cách giải thích cho mô hình này, và một là sử dụng lao động là thiên vị đối với các bà mẹ. (Thật thú vị, ngược lại có vẻ là đúng đối với cha: họ có xu hướng kiếm được nhiều hơn so với những người đàn ông không có con tương đương). Để đánh giá có thể thiên vị đối với các bà mẹ, Correll và các đồng nghiệp đã chạy hai thí nghiệm: một trong các phòng thí nghiệm và một trong lĩnh vực này.

Đầu tiên, trong một thí nghiệm trong phòng thí nghiệm Correll và các đồng nghiệp đã nói với những người tham gia, những người sinh đại học, mà một công ty truyền thông mới thành lập trụ sở tại California đã tiến hành một cuộc tìm kiếm việc làm cho một người để dẫn bộ phận tiếp thị East Coast mới của nó. Học sinh được cho biết rằng công ty muốn giúp đỡ của họ trong quá trình tuyển dụng và họ được yêu cầu xem xét hồ sơ của nhiều ứng cử viên tiềm năng và để đánh giá các ứng cử viên trên một số khía cạnh như trí thông minh, sự ấm áp, và cam kết làm việc. Hơn nữa, các sinh viên được hỏi họ sẽ khuyên bạn nên thuê người nộp đơn và những gì họ muốn giới thiệu là một mức lương khởi điểm. Không biết rằng các sinh viên, tuy nhiên, các hồ sơ đã được đặc biệt xây dựng để được tương tự, ngoại trừ một điều: một số hồ sơ hiệu mẹ (bằng việc tham gia vào một hiệp hội phụ huynh-giáo niêm yết) và một số thì không. Correll thấy rằng sinh viên ít có khả năng để đề nghị thuê các bà mẹ và cung cấp cho họ thấp hơn mức lương khởi điểm. Hơn nữa, thông qua phân tích thống kê của cả xếp hạng và các quyết định liên quan đến tuyển dụng, Correll thấy nhược điểm của các bà mẹ đã được giải thích chủ yếu bởi thực tế rằng các bà mẹ được đánh giá thấp hơn về năng lực và cam kết. Nói cách khác, Correll cho rằng những đặc điểm này là cơ chế mà qua đó các bà mẹ bị thiệt thòi. Như vậy, thí nghiệm trong phòng thí nghiệm này cho phép Correll và các đồng nghiệp để đo lường ảnh hưởng nhân quả và cung cấp một lời giải thích có thể cho hiệu lực đó.

Tất nhiên, người ta có thể hoài nghi về kết luận về toàn bộ thị trường lao động Mỹ dựa trên quyết định của một vài trăm sinh viên đại học người có lẽ không bao giờ có một công việc toàn thời gian, hãy để một mình thuê người. Do đó, Correll và các đồng nghiệp cũng đã tiến hành một thí nghiệm lĩnh vực bổ sung. Các nhà nghiên cứu phản ứng với hàng trăm việc làm công việc quảng cáo bằng cách gửi thư xin việc và sơ yếu lý giả. Tương tự như các tài liệu cho thấy các sinh viên đại học, một số hồ sơ hiệu mẹ và một số thì không. Correll và các đồng nghiệp phát hiện ra rằng các bà mẹ ít có khả năng để có được gọi trở lại để phỏng vấn hơn phụ nữ không có con đều có trình độ. Nói cách khác, người sử dụng lao động sản đưa ra quyết định hậu quả trong một khung cảnh thiên nhiên cư xử giống như các sinh viên đại học. họ đã đưa ra quyết định tương tự cho cùng một lý do? Thật không may, chúng tôi không biết. Các nhà nghiên cứu đã không thể yêu cầu người sử dụng lao động để đánh giá các ứng cử viên hoặc giải thích quyết định của mình.

Điều này đôi thí nghiệm tiết lộ rất nhiều về các thí nghiệm trong phòng thí nghiệm và các lĩnh vực nói chung. phòng thí nghiệm cung cấp các nhà nghiên cứu gần tổng kiểm soát môi trường trong đó người tham gia đưa ra quyết định. Vì vậy, ví dụ, trong các thí nghiệm trong phòng thí nghiệm, Correll đã có thể đảm bảo rằng tất cả các hồ sơ đã được đọc trong một khung cảnh yên tĩnh; trong thí nghiệm hiện trường, một số các hồ sơ có thể không thậm chí còn được đọc. Hơn nữa, do những người tham gia trong các phòng thí nghiệm biết rằng họ đang được nghiên cứu, các nhà nghiên cứu thường có khả năng thu thập dữ liệu bổ sung có thể giúp họ hiểu được lý do tại sao những người tham gia đang làm cho quyết định của mình. Ví dụ, Correll hỏi người tham gia thí nghiệm trong phòng thí nghiệm để đánh giá các ứng cử viên vào kích thước khác nhau. Đây là loại dữ liệu quá trình có thể giúp các nhà nghiên cứu hiểu được cơ chế đằng sau sự khác biệt trong cách người tham gia điều trị các hồ sơ.

Mặt khác, những đặc điểm chính xác mà tôi vừa mô tả như lợi thế đôi khi nó cũng được coi là bất lợi. Các nhà nghiên cứu người thích thí nghiệm cho rằng những người tham gia trong các thí nghiệm trong phòng thí nghiệm có thể hành động rất khác khi họ đang bị theo dõi chặt chẽ. Ví dụ, trong phòng thí nghiệm tham gia thí nghiệm có thể đoán ra mục đích của nghiên cứu và thay đổi hành vi của họ để không xuất hiện thiên vị. Hơn nữa, các nhà nghiên cứu người thích thí nghiệm có thể tranh luận rằng sự khác biệt nhỏ trên hồ sơ chỉ có thể đứng ra trong một môi trường phòng thí nghiệm rất sạch, vô trùng, và do đó các thí nghiệm trong phòng thí nghiệm sẽ qua ước tính ảnh hưởng của mẹ về quyết định tuyển dụng thực sự. Cuối cùng, nhiều người ủng hộ của các thí nghiệm lĩnh vực phê bình thí nghiệm sự phụ thuộc vào những người tham gia kỳ lạ: chủ yếu là sinh viên đến từ phương Tây, giáo dục, công nghiệp hoá, phong phú, và các quốc gia dân chủ (Henrich, Heine, and Norenzayan 2010) . Các thí nghiệm của Correll và các cộng sự (2007) minh họa cho hai thái cực trên sự liên tục trong phòng thí nghiệm hiện trường. Ở giữa hai thái cực này có một loạt các thiết kế lai bao gồm các phương pháp như mang không phải sinh viên vào một phòng thí nghiệm hoặc đi sâu vào lĩnh vực này nhưng vẫn có những người tham gia thực hiện một nhiệm vụ bất thường.

Ngoài kích thước phòng thí nghiệm trường đã tồn tại trong quá khứ, các đại kỹ thuật số có nghĩa là các nhà nghiên cứu hiện nay có kích thước lớn thứ hai cùng mà thí nghiệm có thể khác nhau: Analog-kỹ thuật số. Cũng như có những thí nghiệm tinh khiết trong phòng thí nghiệm, thí nghiệm tinh khiết, và một loạt các giống lai ở giữa, có những thí nghiệm tinh khiết tương tự, thí nghiệm kỹ thuật số thuần túy, và một loạt các giống lai. Đó là khó khăn để đưa ra một định nghĩa chính thức của không gian này, nhưng một định nghĩa làm việc hữu ích là thí nghiệm đầy đủ kỹ thuật số là các thí nghiệm sử dụng các cơ sở hạ tầng kỹ thuật số để tuyển dụng người tham gia, ngẫu nhiên, cung cấp phương pháp điều trị, và đo lường kết quả. Ví dụ, Restivo và van de Rijt của (2012) nghiên cứu về barnstars và Wikipedia là một thử nghiệm hoàn toàn kỹ thuật số bởi vì nó sử dụng các hệ thống kỹ thuật số cho tất cả bốn bước này. Tương tự như vậy đầy đủ các thí nghiệm tương tự được các thí nghiệm mà không sử dụng các cơ sở hạ tầng kỹ thuật số cho bất kỳ trong bốn bước. Nhiều người trong số các thí nghiệm kinh điển trong tâm lý những thí nghiệm tương tự. Ở giữa hai thái cực này có một phần thí nghiệm kỹ thuật số sử dụng một sự kết hợp của các hệ thống analog và kỹ thuật số cho bốn bước.

Vấn đề nghiêm trọng các cơ hội để chạy thí nghiệm kỹ thuật số không chỉ trực tuyến. Các nhà nghiên cứu thể chạy thử nghiệm một phần kỹ thuật số bằng cách sử dụng các thiết bị kỹ thuật số trong thế giới vật chất để cung cấp phương pháp điều trị hay đo lường kết quả. Ví dụ, các nhà nghiên cứu có thể sử dụng điện thoại thông minh để cung cấp những phương pháp điều trị hoặc các cảm biến trong môi trường xây dựng để đo lường kết quả. Trong thực tế, như chúng ta sẽ thấy sau này trong chương này, các nhà nghiên cứu đã sử dụng đồng hồ điện nhà để đo lường kết quả trong các thí nghiệm về chuẩn mực xã hội và tiêu thụ năng lượng liên quan đến 8,5 triệu hộ gia đình (Allcott 2015) . Khi các thiết bị kỹ thuật số trở nên ngày càng hội nhập vào cuộc sống của người dân và các cảm biến trở nên tích hợp vào môi trường xây dựng, những cơ hội để chạy thí nghiệm một phần kỹ thuật số trong thế giới vật lý sẽ làm tăng đáng kể. Nói cách khác, các thí nghiệm kỹ thuật số không chỉ thí nghiệm trực tuyến.

hệ thống kỹ thuật số tạo ra những khả năng mới cho các thí nghiệm ở khắp mọi nơi cùng sự liên tục trong phòng thí nghiệm hiện trường. Trong các thí nghiệm trong phòng thí nghiệm tinh khiết, ví dụ, các nhà nghiên cứu có thể sử dụng các hệ thống kỹ thuật số cho phép đo tốt hơn về hành vi của người tham gia; một ví dụ của loại hình này được cải tiến đo là thiết bị theo dõi mắt mà cung cấp các biện pháp chính xác và liên tục của các vị trí ánh nhìn. Các đại kỹ thuật số cũng tạo ra khả năng vận hành các thí nghiệm trong phòng thí nghiệm như trực tuyến. Ví dụ, các nhà nghiên cứu đã nhanh chóng được thông qua Amazon Mechanical Turk (MTurk) để tuyển dụng người tham gia thí nghiệm trực tuyến (Hình 4.2). MTurk phù hợp với "chủ nhân", những người có nhiệm vụ cần được hoàn thành với "công nhân", những người muốn hoàn thành những nhiệm vụ với tiền bỏ ra. Không như thị trường lao động truyền thống, tuy nhiên, các nhiệm vụ liên quan thường chỉ cần một vài phút để hoàn thành và toàn bộ tương tác giữa sử dụng lao động và người lao động là ảo. Bởi vì bắt chước MTurk khía cạnh của các thí nghiệm trong phòng thí nghiệm chi trả cổ truyền dân để hoàn thành nhiệm vụ mà họ sẽ không làm cho tự nó là tự nhiên thích hợp cho một số loại thí nghiệm. Về cơ bản, MTurk đã tạo ra cơ sở hạ tầng cho việc quản lý một hồ bơi của người tham gia tuyển dụng trực tuyến và trả tiền người và các nhà nghiên cứu đã tận dụng cơ sở hạ tầng để khai thác vào một hồ bơi luôn có sẵn của người tham gia.

Hình 4.2: Các giấy tờ xuất bản sử dụng dữ liệu từ Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk và thị trường lao động trực tuyến khác cung cấp các nhà nghiên cứu một cách thuận tiện để tuyển dụng người tham gia thí nghiệm.

thí nghiệm kỹ thuật số tạo ra thậm chí nhiều khả năng hơn cho các thí nghiệm hiện trường như thế nào. thí nghiệm kỹ thuật số có thể cung cấp kiểm soát và xử lý dữ liệu chặt chẽ để hiểu cơ chế có thể (như các thí nghiệm trong phòng thí nghiệm) và người tham gia đa dạng hơn khi quyết định thực trong một môi trường tự nhiên (như thí nghiệm). Ngoài sự kết hợp của các đặc tính tốt của các thí nghiệm trước đó, thí nghiệm kỹ thuật số cũng có ba cơ hội gặp nhiều khó khăn trong phòng thí nghiệm và các lĩnh vực tương tự.

Đầu tiên, trong khi hầu hết các phòng thí nghiệm và các lĩnh vực thí nghiệm tương tự đã có hàng trăm người tham gia, thí nghiệm kỹ thuật số có thể có hàng triệu người tham gia. thay đổi quy mô này là do một số thí nghiệm kỹ thuật số có thể sản xuất dữ liệu tại số không chi phí biến đổi. Đó là, một khi các nhà nghiên cứu đã tạo ra một cơ sở hạ tầng thực nghiệm, tăng số lượng người tham gia thường không làm tăng chi phí. Tăng số lượng người tham gia bởi một yếu tố của 100 hoặc nhiều hơn không chỉ là một sự thay đổi về số lượng, nó là một sự thay đổi về chất, vì nó cho phép các nhà nghiên cứu để tìm hiểu những điều khác nhau từ các thí nghiệm (ví dụ, không đồng nhất của hiệu quả điều trị) và chạy thiết kế thử nghiệm hoàn toàn khác nhau ( ví dụ, thử nghiệm nhóm lớn). Điểm này là rất quan trọng, tôi sẽ trở lại với nó về phía cuối của chương này khi tôi cung cấp lời khuyên về việc tạo ra các thí nghiệm kỹ thuật số.

Thứ hai, trong khi hầu hết các phòng thí nghiệm và các lĩnh vực thí nghiệm tương tự đối xử với người tham gia như các vật dụng không thể phân biệt, thí nghiệm kỹ thuật số thường sử dụng các thông tin cơ bản về người tham gia vào việc thiết kế và phân tích các giai đoạn của nghiên cứu. Thông tin cơ bản này, được gọi là thông tin trước khi điều trị, thường có sẵn trong các thí nghiệm kỹ thuật số bởi vì họ diễn ra trong môi trường đo đầy đủ. Ví dụ, một nhà nghiên cứu tại Facebook có thông tin trước khi điều trị nhiều hơn là một nhà nghiên cứu thiết kế một thí nghiệm trong phòng thí nghiệm tiêu chuẩn với sinh viên đại học. thông tin tiền xử lý này cho phép các nhà nghiên cứu tiến xa hơn điều trị tham gia các widget như không thể phân biệt. Cụ thể hơn, thông tin tiền xử lý cho phép những thiết kế như vậy hiệu quả hơn thí nghiệm như chặn (Higgins, Sävje, and Sekhon 2016) và tuyển dụng nhắm mục tiêu của người tham gia (Eckles, Kizilcec, and Bakshy 2016) -Và phân tích-đó sâu sắc hơn như ước tính không đồng nhất tác dụng điều trị (Athey and Imbens 2016a) và điều chỉnh covariate cho độ chính xác được cải thiện (Bloniarz et al. 2016) .

Thứ ba, trong khi nhiều thí nghiệm tương tự và lĩnh vực cung cấp phương pháp điều trị và kết quả đo lường trong một số lượng tương đối nén thời gian, một số thí nghiệm liên quan đến lĩnh vực kỹ thuật số phương pháp điều trị có thể được phân phối qua thời gian và các tác động cũng có thể được đo theo thời gian. Ví dụ, thử nghiệm Restivo và của van de Rijt có kết quả đo hàng ngày trong 90 ngày, và một trong những thí nghiệm tôi sẽ nói cho bạn về sau này trong chương (Ferraro, Miranda, and Price 2011) theo dõi kết quả hơn 3 năm tại cơ bản không có Giá cả. Ba cơ hội kích thước, thông tin trước khi điều trị và điều trị theo chiều dọc và kết quả dữ liệu phổ biến nhất khi thí nghiệm được chạy trên luôn-trên các hệ thống đo lường (xem chương 2 để biết thêm về luôn-trên các hệ thống đo lường).

Mặc dù thử nghiệm lĩnh vực kỹ thuật số cung cấp nhiều khả năng, họ cũng chia sẻ một số điểm yếu của cả hai phòng thí nghiệm tương tự và thí nghiệm. Ví dụ, các thí nghiệm không thể được sử dụng để nghiên cứu quá khứ, và họ chỉ có thể ước lượng ảnh hưởng của phương pháp điều trị có thể được thao tác. Ngoài ra, mặc dù các thí nghiệm là chắc chắn hữu ích để hướng dẫn chính sách, hướng dẫn chính xác mà họ có thể cung cấp là hơi bị hạn chế vì các biến chứng như phụ thuộc môi trường, các vấn đề tuân thủ, và các hiệu ứng cân bằng (Banerjee and Duflo 2009; Deaton 2010) . Cuối cùng, thí nghiệm kỹ thuật số phóng đại vấn đề đạo đức được tạo ra bởi các thí nghiệm hiện trường. Những người ủng hộ thí nghiệm trumpet khả năng của họ để kín đáo và ngẫu nhiên can thiệp vào các quyết định do hậu quả được thực hiện bởi hàng triệu người. Các tính năng này cung cấp lợi thế khoa học nhất định, nhưng họ cũng có thể làm thí nghiệm lĩnh vực đạo đức phức tạp (nghĩ về nó như là các nhà nghiên cứu điều trị những người như "con chuột thí nghiệm" trên một quy mô lớn). Hơn nữa, ngoài tác hại có thể tham gia, thí nghiệm kỹ thuật số, vì quy mô của họ, có thể cũng quan ngại về sự gián đoạn làm việc hệ thống xã hội (ví dụ, những lo ngại về gián đoạn hệ thống khen thưởng của Wikipedia nếu Restivo và van der Rijt đã quá nhiều barnstars) .