3.5.2 Điều tra Wiki

Các cuộc điều tra wiki cho phép các giống lai mới của câu hỏi đóng và mở.

Ngoài việc đặt câu hỏi vào những thời điểm tự nhiên hơn và trong bối cảnh tự nhiên hơn, công nghệ mới cũng cho phép chúng ta thay đổi hình thức của các câu hỏi. Hầu hết các câu hỏi khảo sát đều được đóng lại, với những người được hỏi lựa chọn từ một bộ lựa chọn cố định được viết bởi các nhà nghiên cứu. Đây là một quá trình mà một nhà nghiên cứu khảo sát nổi bật gọi là "đặt từ trong miệng của người dân." Ví dụ, đây là câu hỏi khảo sát kín:

“Câu hỏi tiếp theo này là về chủ đề công việc. Bạn vui lòng xem thẻ này và cho tôi biết điều gì trong danh sách này bạn thích nhất trong công việc?

1. Thu nhập cao
2. Không có nguy cơ bị sa thải
3. Giờ làm việc ngắn, rất nhiều thời gian rảnh
4. Cơ hội thăng tiến
5. Công việc rất quan trọng và mang lại cảm giác hoàn thành. "

Nhưng đó là những câu trả lời duy nhất có thể? Các nhà nghiên cứu có thể thiếu một cái gì đó quan trọng bằng cách hạn chế các câu trả lời cho năm người này? Cách thay thế cho câu hỏi kín là câu hỏi khảo sát mở. Đây là câu hỏi tương tự được yêu cầu ở dạng mở:

"Câu hỏi tiếp theo là về chủ đề của tác phẩm. Mọi người nhìn cho những thứ khác nhau trong một công việc. Điều gì sẽ bạn thích nhất trong công việc? "

Mặc dù hai câu hỏi này xuất hiện khá giống nhau, một thí nghiệm khảo sát của Howard Schuman và Stanley Presser (1979) cho thấy họ có thể tạo ra các kết quả rất khác nhau: gần 60% các câu trả lời cho câu hỏi mở không được đưa vào 5 câu trả lời của nhà nghiên cứu ( hình 3.9).

Hình 3.9: Các kết quả từ một thử nghiệm khảo sát cho thấy rằng các câu trả lời có thể phụ thuộc vào việc câu hỏi được hỏi ở dạng đóng hay mở. Chuyển thể từ Schuman and Presser (1979) , bảng 1.

Mặc dù câu hỏi mở và đóng có thể mang lại những thông tin khá khác nhau và cả hai đều phổ biến trong những ngày đầu nghiên cứu khảo sát, những câu hỏi kín đã đến để thống trị lĩnh vực này. Sự thống trị này không phải vì các câu hỏi kín đã được chứng minh là cung cấp phép đo tốt hơn, mà là vì chúng dễ sử dụng hơn nhiều; quá trình phân tích các câu hỏi mở là dễ bị lỗi và tốn kém. Việc di chuyển ra khỏi các câu hỏi mở là không may bởi vì đó chính xác là thông tin mà các nhà nghiên cứu không biết trước thời hạn có thể có giá trị nhất.

Tuy nhiên, sự chuyển đổi từ các cuộc điều tra do con người quản lý sang máy tính, gợi ý một cách mới trong vấn đề cũ này. Điều gì sẽ xảy ra nếu chúng ta có thể có các câu hỏi khảo sát kết hợp các tính năng tốt nhất của cả các câu hỏi mở và đóng? Đó là, nếu chúng ta có thể có một cuộc khảo sát mà cả hai đều mở ra thông tin mới và tạo ra các phản ứng dễ phân tích? Đó chính xác là những gì Karen Levy và tôi (2015) đã cố gắng tạo ra.

Đặc biệt, Karen và tôi nghĩ rằng các trang web thu thập và quản lý nội dung do người dùng tạo có thể thông báo cho việc thiết kế các loại khảo sát mới. Chúng tôi đặc biệt lấy cảm hứng từ Wikipedia — một ví dụ tuyệt vời về một hệ thống động, mở được thúc đẩy bởi nội dung do người dùng tạo ra — vì vậy chúng tôi đã gọi khảo sát mới của chúng tôi là một cuộc khảo sát wiki . Cũng như Wikipedia phát triển theo thời gian dựa trên ý tưởng của những người tham gia, chúng tôi tưởng tượng một cuộc khảo sát diễn biến theo thời gian dựa trên ý tưởng của những người tham gia. Karen và tôi đã phát triển ba đặc tính mà các cuộc điều tra wiki phải thỏa mãn: chúng phải tham lam, hợp tác và thích ứng. Sau đó, với một nhóm các nhà phát triển web, chúng tôi đã tạo một trang web có thể chạy các khảo sát wiki: www.allourideas.org .

Quá trình thu thập dữ liệu trong một cuộc khảo sát wiki được minh họa bởi một dự án chúng tôi đã làm với Văn phòng Thị trưởng thành phố New York để tích hợp ý tưởng của người dân vào PlaNYC 2030, kế hoạch phát triển bền vững toàn thành phố New York. Để bắt đầu quá trình này, Văn phòng Thị trưởng tạo ra một danh sách gồm 25 ý tưởng dựa trên sự tiếp cận trước đây của họ (ví dụ: “Yêu cầu tất cả các tòa nhà lớn để nâng cấp hiệu quả năng lượng” và “Dạy trẻ về các vấn đề xanh như một phần của chương trình học”). Sử dụng 25 ý tưởng này làm hạt giống, Văn phòng Thị trưởng hỏi câu hỏi “Bạn nghĩ đâu là ý tưởng tốt hơn để tạo ra một Thành phố New York xanh hơn, lớn hơn?” Người trả lời được trình bày với một cặp ý tưởng (ví dụ: “Mở sân trường trên toàn thành phố như sân chơi công cộng ”và“ Tăng trồng cây mục tiêu ở các vùng lân cận có tỷ lệ hen cao ”), và được yêu cầu chọn giữa chúng (hình 3.10). Sau khi chọn, người trả lời ngay lập tức được trình bày với một cặp ý tưởng được lựa chọn ngẫu nhiên khác. Họ đã có thể tiếp tục đóng góp thông tin về sở thích của họ miễn là họ muốn bằng cách bỏ phiếu hoặc bằng cách chọn “Tôi không thể quyết định.” Quan trọng, tại bất kỳ thời điểm nào, người trả lời đều có thể đóng góp ý tưởng của họ, Văn phòng Thị trưởng - trở thành một phần của hồ bơi của những ý tưởng được trình bày cho người khác. Do đó, các câu hỏi mà những người tham gia nhận được đều mở và đóng cùng một lúc.

Hình 3.10: Giao diện cho một cuộc khảo sát wiki. Bảng điều khiển (a) hiển thị màn hình và bảng điều khiển phản hồi (b) hiển thị màn hình kết quả. Được sao chép theo sự cho phép của Salganik and Levy (2015) , hình 2.

Văn phòng Thị trưởng đã đưa ra khảo sát wiki vào tháng 10 năm 2010 cùng với một loạt các cuộc họp cộng đồng để có được phản hồi của cư dân. Trong khoảng bốn tháng, 1.436 người trả lời đã đóng góp 31.893 câu trả lời và 464 ý tưởng mới. Về mặt phê bình, 8 trong số 10 ý tưởng ghi điểm hàng đầu đã được tải lên bởi những người tham gia chứ không phải là một phần của bộ ý tưởng hạt giống từ Văn phòng Thị trưởng. Và, như chúng tôi mô tả trong bài báo của chúng tôi, cùng một khuôn mẫu này, với những ý tưởng được tải lên ghi điểm tốt hơn so với ý tưởng về hạt giống, xảy ra trong nhiều khảo sát wiki. Nói cách khác, bằng cách cởi mở với thông tin mới, các nhà nghiên cứu có thể học được những điều có thể bị bỏ lỡ bằng cách sử dụng các phương pháp tiếp cận khép kín hơn.

Ngoài kết quả của các khảo sát cụ thể này, dự án khảo sát wiki của chúng tôi cũng minh họa cách cấu trúc chi phí của nghiên cứu kỹ thuật số có nghĩa là các nhà nghiên cứu hiện có thể tham gia với thế giới theo những cách khác nhau. Các nhà nghiên cứu học thuật hiện có thể xây dựng các hệ thống thực có thể được nhiều người sử dụng: chúng tôi đã tổ chức hơn 10.000 cuộc khảo sát wiki và đã thu thập hơn 15 triệu câu trả lời. Khả năng tạo ra thứ gì đó có thể được sử dụng trên quy mô đến từ thực tế là khi trang web đã được xây dựng, chi phí cơ bản không có gì để làm cho nó tự do sẵn có cho mọi người trên thế giới (tất nhiên, điều này sẽ không đúng nếu chúng ta có con người phỏng vấn -administered). Hơn nữa, quy mô này cho phép các loại nghiên cứu khác nhau. Ví dụ, 15 triệu câu trả lời này, cũng như luồng người tham gia của chúng tôi, cung cấp một giường thử nghiệm có giá trị cho nghiên cứu phương pháp trong tương lai. Tôi sẽ mô tả thêm về các cơ hội nghiên cứu khác được tạo ra bởi các cấu trúc chi phí theo thời đại kỹ thuật số — đặc biệt là dữ liệu chi phí biến đổi không - khi tôi thảo luận các thí nghiệm trong chương 4.