bình luận thêm

Phần này được thiết kế để được sử dụng như một tài liệu tham khảo, chứ không phải là để được đọc như một câu chuyện.

• Giới thiệu (Phần 5.1)

Cộng tác đại chúng pha trộn ý tưởng từ khoa học công dân, crowdsourcing, và trí tuệ tập thể. Khoa học công dân thường có nghĩa là liên quan đến "công dân" (tức là, không khoa học) trong quá trình khoa học (Crain, Cooper, and Dickinson 2014) . Crowdsourcing thường có nghĩa là lấy một vấn đề thường được giải quyết trong một tổ chức và thay vì gia công phần mềm cho một đám đông (Howe 2009) . Trí tuệ tập thể thường có nghĩa là một nhóm cá nhân hành động tập thể theo những cách mà có vẻ thông minh (Malone and Bernstein 2015) . Nielsen (2012) là một giới thiệu cuốn sách dài tuyệt vời vào sức mạnh của sự hợp tác đại chúng để nghiên cứu khoa học.

Có rất nhiều loại của sự hợp tác đại chúng mà không phù hợp với gọn gàng vào ba loại mà tôi đề xuất, và tôi nghĩ rằng ba đáng được chú ý đặc biệt bởi vì họ có thể có ích trong nghiên cứu xã hội tại một số điểm. Một ví dụ là thị trường dự đoán, nơi người tham gia mua và hợp đồng thương mại được quy đổi dựa trên kết quả đó xảy ra trong thế giới (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . Thị trường dự đoán thường được sử dụng bởi các công ty và chính phủ dự báo, thị trường và dự đoán cũng đã được sử dụng bởi các nhà nghiên cứu xã hội để dự đoán khả năng nhân rộng của nghiên cứu được công bố trong tâm lý học (Dreber et al. 2015) .

Một ví dụ thứ hai không phù hợp cũng vào sơ đồ phân loại của tôi là dự án bác học, nơi mà các nhà nghiên cứu cộng tác sử dụng blog và wiki để chứng minh định lý toán học mới (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . Các dự án bác học là một số cách tương tự để giải Netflix, nhưng trong những người tham gia dự án bác học tích cực hơn được xây dựng trên giải pháp từng phần của người khác.

Một ví dụ thứ ba mà không phù hợp cũng vào sơ đồ phân loại của tôi là huy động phụ thuộc thời gian như Cơ quan Defense Advanced Research Projects (DARPA) Mạng Challenge (ví dụ, Red Balloon Challenge). Để biết thêm về những thời gian huy động nhạy cảm thấy Pickard et al. (2011) , Tang et al. (2011) , và Rutherford et al. (2013) .

• Tính toán của con người (Phần 5.2)

Thuật ngữ "tính con người" đi ra khỏi công việc được thực hiện bởi các nhà khoa học máy tính, và sự hiểu biết về bối cảnh đằng sau nghiên cứu này sẽ cải thiện khả năng của bạn để chọn ra những vấn đề mà có thể tuân theo nó. Đối với nhiệm vụ nhất định, máy tính là vô cùng mạnh mẽ với khả năng vượt xa con người, ngay cả các chuyên gia. Ví dụ, trong cờ vua, các máy tính có thể đánh bại ngay cả những bậc thầy vĩ đại nhất. Nhưng, và điều này ít được đánh giá cao bởi các nhà khoa học xã hội-cho các nhiệm vụ khác, máy tính là thực sự tồi tệ hơn nhiều so với mọi người. Nói cách khác, ngay bây giờ bạn là tốt hơn so với ngay cả những máy tính tinh vi nhất tại một số nhiệm vụ liên quan đến xử lý hình ảnh, video, âm thanh và văn bản. Vì vậy, như đã được minh họa bằng một XKCD tuyệt vời hoạt hình có những nhiệm vụ được dễ dàng cho các máy tính và khó khăn cho người dân, nhưng cũng có những nhiệm vụ mà khó cho các máy tính và dễ dàng cho người dân (Hình 5.13). các nhà khoa học máy tính làm việc trên những khó-cho-máy tính-dễ-cho-con người nhiệm vụ, do đó, nhận ra rằng họ có thể bao gồm con người trong quá trình tính toán của họ. Dưới đây là cách Luis von Ahn (2005) mô tả tính con người khi ông lần đầu tiên đặt ra thuật ngữ trong luận án của mình: ". Một mô hình cho việc sử dụng sức mạnh xử lý của con người để giải quyết vấn đề mà máy tính chưa thể giải quyết"

Hình 5.13: Đối với một số nhiệm vụ máy tính là tuyệt vời, vượt khả năng của các chuyên gia của con người. Nhưng, đối với các công việc khác, con người bình thường có thể làm tốt hơn các hệ thống máy tính thậm chí còn phức tạp. vấn đề quy mô lớn có liên quan đến nhiệm vụ mà khó cho các máy tính và dễ dàng cho con người là rất phù hợp cho tính toán của con người. Được sử dụng theo các điều khoản được mô tả ở đây: http://xkcd.com/license.html

Theo định nghĩa này Foldit-mà tôi mô tả ở phần trên mở các cuộc gọi-có thể được coi là một dự án tính toán của con người. Tuy nhiên, tôi chọn để phân loại Foldit là một cuộc gọi mở bởi vì nó đòi hỏi kỹ năng chuyên môn và phải mất giải pháp tốt nhất đóng góp hơn là sử dụng một áp-kết hợp phân chia chiến lược.

Đối với một điều trị chiều dài cuốn sách tuyệt vời của tính toán của con người, theo nghĩa chung nhất của từ ngữ, xem Law and Ahn (2011) . Chương 3 của Law and Ahn (2011) có một cuộc thảo luận thú vị của kết hợp các bước phức tạp hơn so với những người thân trong chương này.

Thuật ngữ "split-áp-kết hợp" đã được sử dụng bởi Wickham (2011) để mô tả một chiến lược để tính toán thống kê, nhưng nó hoàn toàn nắm bắt được quá trình của nhiều dự án tính toán của con người. Sự chia rẽ-áp-kết hợp chiến lược tương tự như khung MapReduce phát triển tại Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

Hai dự án tính toán của con người thông minh mà tôi đã không có không gian để thảo luận là các game ESP (Ahn and Dabbish 2004) và reCAPTCHA (Ahn et al. 2008) . Cả hai dự án tìm cách sáng tạo để tạo động lực cho người tham gia để cung cấp nhãn trên hình ảnh. Tuy nhiên, cả hai dự án cũng nêu ra những câu hỏi về đạo đức bởi vì, không giống như Galaxy Zoo, tham gia các trò chơi ESP và reCAPTCHA không biết làm thế nào dữ liệu của họ đã được sử dụng (Lung 2012; Zittrain 2008) .

Lấy cảm hứng từ trò chơi ESP, nhiều nhà nghiên cứu đã cố gắng để phát triển những người khác "trò chơi với một mục đích" (Ahn and Dabbish 2008) (tức là "tính con người dựa trên trò chơi" (Pe-Than, Goh, and Lee 2015) ) mà có thể được sử dụng để giải quyết một loạt các vấn đề khác. Những gì các "trò chơi với một mục đích" có điểm chung là họ cố gắng làm cho các nhiệm vụ liên quan đến tính toán của con người thú vị. Như vậy, trong khi các trò chơi ESP chia sẻ cùng một split-xin-kết hợp cấu trúc với Galaxy Zoo, nó khác nhau như thế nào trong những người tham gia được thúc đẩy-fun vs mong muốn giúp đỡ khoa học.

Mô tả của tôi về Galaxy Zoo dựa trên Nielsen (2012) , Adams (2012) , Clery (2011) , và Hand (2010) , và trình bày của tôi trong những mục tiêu nghiên cứu của Galaxy Zoo đã được đơn giản hóa. Để biết thêm về lịch sử phân loại thiên hà trong thiên văn học và cách Galaxy Zoo tiếp tục truyền thống này, xem Masters (2012) và Marshall, Lintott, and Fletcher (2015) . Xây dựng trên Galaxy Zoo, các nhà nghiên cứu đã hoàn thành Galaxy Zoo 2 mà thu hơn 60 triệu phân loại hình thái phức tạp từ các tình nguyện viên (Masters et al. 2011) . Hơn nữa, họ rẽ vào các vấn đề bên ngoài của hình thái thiên hà bao gồm khám phá bề mặt của mặt trăng, tìm kiếm các hành tinh và sao chép tài liệu cũ. Hiện nay, tất cả các dự án của họ được thu thập tại www.zooniverse.org (Cox et al. 2015) . Một trong những dự án-Snapshot Serengeti-cung cấp bằng chứng rằng Galaxy Zoo loại dự án phân loại hình ảnh cũng có thể được thực hiện cho các nghiên cứu về môi trường (Swanson et al. 2016) .

Đối với các nhà nghiên cứu dự định sử dụng một thị trường lao động vi nhiệm vụ (ví dụ, Amazon Mechanical Turk) cho một dự án tính toán của con người, Chandler, Paolacci, and Mueller (2013) và Wang, Ipeirotis, and Provost (2015) đưa ra lời khuyên tốt về thiết kế nhiệm vụ và các vấn đề liên quan khác.

Các nhà nghiên cứu quan tâm đến việc tạo ra những gì tôi đã được gọi là hệ thống tính toán của con người thế hệ thứ hai (ví dụ, hệ thống sử dụng nhãn con người để đào tạo một mô hình học máy) có thể quan tâm Shamir et al. (2014) (cho một ví dụ sử dụng âm thanh) và Cheng and Bernstein (2015) . Ngoài ra, các dự án này có thể được thực hiện với các cuộc gọi mở, theo đó các nhà nghiên cứu cạnh tranh để tạo ra các mô hình học máy tính với hiệu suất tiên đoán nhất. Ví dụ, nhóm Galaxy Zoo chạy một cuộc gọi mở và tìm thấy một cách tiếp cận mới vượt trội so với một phát triển trong Banerji et al. (2010) ; thấy Dieleman, Willett, and Dambre (2015) để biết chi tiết.

• Mở các cuộc gọi (Phần 5.3)

mở các cuộc gọi không phải là mới. Trong thực tế, một trong những cuộc gọi mở nổi tiếng nhất ngày trở lại vào năm 1714 khi Quốc hội của nước Anh tạo Giải Kinh độ cho bất cứ ai có thể phát triển một cách để xác định kinh độ của một con tàu trên biển. Vấn đề bối rối rất nhiều các nhà khoa học vĩ đại nhất của ngày, trong đó có Isaac Newton, và giải pháp chiến thắng cuối cùng đã được gửi bởi một thợ đồng hồ từ vùng quê tiếp cận vấn đề khác nhau từ các nhà khoa học đã tập trung vào một giải pháp nào đó mà sẽ liên quan đến thiên văn học (Sobel 1996) . Ví dụ này minh họa, một trong những lý do đó mở các cuộc gọi được cho là làm việc rất tốt là họ cung cấp quyền truy cập cho những người có quan điểm và kỹ năng khác nhau (Boudreau and Lakhani 2013) . Xem Hong and Page (2004) và Page (2008) để biết thêm về giá trị của sự đa dạng trong việc giải quyết vấn đề.

Mỗi phòng trong trường hợp cuộc gọi mở trong chương đòi hỏi một chút giải thích thêm cho lý do tại sao nó thuộc về thể loại này. Đầu tiên, một cách mà tôi phân biệt giữa tính toán của con người và các dự án kêu gọi mở là liệu đầu ra là trung bình của tất cả các giải pháp (tính toán của con người) hoặc giải pháp tốt nhất (mở cuộc gọi). Giải thưởng Netflix là một chút khó khăn trong vấn đề này bởi vì giải pháp tốt nhất hóa ra lại là một trung bình phức tạp của các giải pháp cá nhân, một tiếp cận được gọi là một giải pháp quần (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Tuy nhiên, từ quan điểm của Netflix, tất cả họ phải làm là chọn giải pháp tốt nhất.

Thứ hai, bằng một số định nghĩa về tính con người (ví dụ, Von Ahn (2005) ), Foldit cần được xem xét một dự án tính toán của con người. Tuy nhiên, tôi chọn để phân loại Foldit là một cuộc gọi mở bởi vì nó đòi hỏi kỹ năng chuyên môn và phải mất giải pháp tốt nhất góp phần, thay vì sử dụng một-áp-kết hợp phân chia chiến lược.

Cuối cùng, người ta có thể lập luận rằng Peer-to-sáng chế là một ví dụ về thu thập dữ liệu phân tán. Tôi chọn để bao gồm nó như là một cuộc gọi mở vì nó có cấu trúc cuộc thi giống như và chỉ có những đóng góp tốt nhất được sử dụng (trong khi với bộ sưu tập dữ liệu phân tán, ý tưởng đóng góp tốt và xấu là chưa rõ ràng).

Để biết thêm về các giải thưởng Netflix, xem Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , và Feuerverger, He, and Khatri (2012) . Để biết thêm về Foldit thấy, Cooper et al. (2010) , Andersen et al. (2012) , và Khatib et al. (2011) ; Mô tả của tôi về Foldit dựa trên mô tả trong Nielsen (2012) , Bohannon (2009) , và Hand (2010) . Để biết thêm về Peer-to-sáng chế, xem Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , và Noveck (2009) .

Tương tự như các kết quả của Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , Chương 10 báo cáo lợi nhuận lớn trong năng suất thanh tra nhà ở tại thành phố New York khi kiểm tra được hướng dẫn bởi các mô hình tiên đoán. Tại thành phố New York, các mô hình dự báo được xây dựng bởi các nhân viên thành phố, nhưng trong trường hợp khác, người ta có thể tưởng tượng rằng họ có thể được tạo ra hoặc cải thiện với các cuộc gọi mở (ví dụ, Glaeser et al. (2016) ). Tuy nhiên, một trong những mối quan tâm lớn với các mô hình dự báo được sử dụng để phân bổ nguồn lực là mô hình có khả năng củng cố những thành kiến ​​có sẵn. Nhiều nhà nghiên cứu đã biết "rác vào, rác thải ra", và với các mô hình tiên đoán nó có thể là "thiên vị trong, thiên vị ra." Xem Barocas and Selbst (2016) và O'Neil (2016) để biết thêm về sự nguy hiểm của các mô hình dự báo được xây dựng với dữ liệu huấn luyện thiên vị.

Một vấn đề mà có thể ngăn chặn các chính phủ sử dụng các cuộc thi mở là nó đòi hỏi phát hành dữ liệu, có thể dẫn đến hành vi vi phạm quyền riêng tư. Để biết thêm về sự riêng tư và phát hành dữ liệu trong các cuộc gọi mở thấy Narayanan, Huey, and Felten (2016) và các cuộc thảo luận trong chương 6.

• Thu thập dữ liệu phân tán (Phần 5.4)

Mô tả của tôi về eBird dựa trên mô tả trong Bhattacharjee (2005) và Robbins (2013) . Để biết thêm về cách nghiên cứu sử dụng mô hình thống kê để phân tích dữ liệu eBird thấy Hurlbert and Liang (2012) và Fink et al. (2010) . Để biết thêm về lịch sử của khoa học công dân trong ornothology, xem Greenwood (2007) .

Để biết thêm về các dự án Tạp chí Malawi, thấy Watkins and Swidler (2009) và Kaler, Watkins, and Angotti (2015) . Và để biết thêm về một dự án có liên quan ở Nam Phi, xem Angotti and Sennott (2015) . Để biết thêm ví dụ về các dữ liệu nghiên cứu sử dụng từ các dự án Malawi Tạp chí thấy Kaler (2004) và Angotti et al. (2014) .

• Thiết kế của riêng bạn (Phần 5.5)

Biện pháp của tôi để cung cấp tư vấn thiết kế là quy nạp, dựa trên các ví dụ về thành công và thất bại trong dự án hợp tác đại chúng mà tôi đã nghe nói về. Ngoài ra còn có một dòng nghiên cứu cố gắng áp dụng các lý thuyết tâm lý xã hội tổng quát hơn để thiết kế các cộng đồng trực tuyến có liên quan đến việc thiết kế các dự án hợp tác quần chúng, xem, ví dụ, Kraut et al. (2012) .

Về tham gia thúc đẩy, nó thực sự là khá khó khăn để tìm ra chính xác lý do tại sao mọi người tham gia vào các dự án hợp tác hàng loạt (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . Nếu bạn có kế hoạch để thúc đẩy người tham gia với thanh toán trên thị trường lao động vi nhiệm vụ (ví dụ, Amazon Mechanical Turk) Kittur et al. (2013) cung cấp một số lời khuyên.

Về cho phép bất ngờ, cho nhiều ví dụ về những khám phá bất ngờ sắp ra của dự án Zoouniverse, xem Marshall, Lintott, and Fletcher (2015) .

Về việc đạo đức, một số giới thiệu tổng quát tốt để các vấn đề liên quan là Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , và Zittrain (2008) . Đối với các vấn đề cụ thể liên quan đến các vấn đề pháp lý với người lao động đám đông, thấy Felstiner (2011) . O'Connor (2013) đề cập đến câu hỏi về giám sát đạo đức của nghiên cứu khi vai trò của các nhà nghiên cứu và những người tham gia làm mờ. Đối với các vấn đề liên quan đến dữ liệu chia sẻ trong khi bảo vệ participats trong các dự án khoa học công dân, xem Bowser et al. (2014) . Cả hai Purdam (2014) và Windt and Humphreys (2016) có một số cuộc thảo luận về các vấn đề đạo đức trong bộ sưu tập dữ liệu phân tán. Cuối cùng, hầu hết các dự án ghi nhận những đóng góp nhưng không cung cấp tín dụng giả để tham gia. Trong Foldit, các cầu thủ Foldit thường được liệt kê như là một tác giả (Cooper et al. 2010; Khatib et al. 2011) . Trong các dự án kêu gọi mở khác, đóng góp chiến thắng thường có thể viết một bài báo mô tả giải pháp của họ (ví dụ, Bell, Koren, and Volinsky (2010) và Dieleman, Willett, and Dambre (2015) ). Trong gia đình Galaxy Zoo của dự án, đóng góp rất tích cực và quan trọng đôi khi được mời làm đồng tác giả trên giấy tờ. Ví dụ, Ivan Terentev và Tim Matorny, hai người tham gia Zoo Đài Galaxy từ Nga, là đồng tác giả trên một trong các giấy tờ phát sinh từ dự án (Banfield et al. 2016; Galaxy Zoo 2016) .