또한 해설

이 섹션은 서술로 읽을 수보다는 기준으로서 사용되도록 설계된다.

• 소개 (5.1 절)

질량 협력은 시민 과학, 크라우드 소싱, 그리고 집단 지성에서 아이디어를 조화를 이루고 있습니다. 시민 과학은 일반적으로 "시민"과학적 과정에서 (즉, 비 과학자)과 관련된 의미 (Crain, Cooper, and Dickinson 2014) . 크라우드 소싱은 일반적으로 군중에 아웃소싱하는 대신 일반적으로 조직 내에서 해결할 문제를 복용하고 의미 (Howe 2009) . 집단 지성은 일반적으로 지능 보인다 방법으로 집단적으로 행동하는 개인의 그룹을 의미합니다 (Malone and Bernstein 2015) . Nielsen (2012) 과학 연구를위한 대량 공동의 힘으로 멋진 책 길이 소개합니다.

이 내가 제시 한 세 가지 범주로 깔끔하게 맞지 않는 질량 협력의 많은 유형이있다, 그리고 나는 그들이 어떤 점에서 사회 연구에 도움이 될 수 있기 때문에 세 가지 특별한 관심을받을 자격 생각합니다. 한 가지 예는 참가자가 구입 예측 시장, 세계에서 발생하는 결과에 상환을 기반으로 무역 계약이다 (Wolfers and Zitzewitz 2004; Arrow et al. 2008) . 예측 시장은 종종 예측을 위해 기업과 정부에 의해 사용되며, 예측 시장은 심리학에 발표 된 연구의 반복 가능성 예측하는 사회 연구자들에 의해 사용되어왔다 (Dreber et al. 2015) .

내 분류 방식에 잘 맞지 않는 두 번째 예는 연구자들이 새로운 수학의 정리를 증명하기 위해 블로그와 위키를 사용하여 공동 박식 프로젝트이다 (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) . 박식 프로젝트는 넷플릭스 상 유사한 몇 가지 방법에 있지만 박식 프로젝트 참여에보다 적극적으로 다른 사람의 부분적인 솔루션을 기반으로.

내 분류 방식에 잘 맞지 않는 세 번째 예는 (즉, 빨간색 풍선 도전) 방위 고등 연구 계획국 (DARPA) 네트워크 과제로 시간에 따른 동원에게 있습니다. 이러한 시간에 대한 자세한 내용은 민감한 동원 볼 Pickard et al. (2011) , Tang et al. (2011) , 그리고 Rutherford et al. (2013) .

• 인간 연산 (5.2 절)

용어 "인간의 계산은"컴퓨터 과학자에 의해 수행 작업에서 나오는, 그리고 의무가 될 수있는 문제점을 선택할 수있는 능력을 향상 본 연구의 뒤에 상황을 이해. 특정 작업의 경우, 컴퓨터는 지금까지 심지어 전문가 인간을 초과하는 기능이 매우 강력하다. 예를 들어, 체스, 컴퓨터도 최고의 그랜드 마스터를 이길 수 있습니다. 그러나-이 덜 아니라 사회에 의해 평가되는 과학자-에 대해 다른 작업, 컴퓨터는 실제로 사람보다 훨씬 더 있습니다. 즉, 지금 당신은 이미지, 비디오, 오디오, 텍스트의 처리를 포함하는 특정 작업에서 가장 복잡한 컴퓨터보다 더 낫다. 이와 같은 멋진 XKCD에 의해 설명 된 만화 거기 사람들을위한 컴퓨터 쉽고 어려운 작업이지만, 컴퓨터의 하드 사람들을위한 쉬운 작업 (그림 5.13)도있다. 하드 - 컴퓨터 - 쉬운을위한 인간에 대한 작업, 따라서 그들의 계산 과정에서 인간을 포함 할 수 있음을 깨달았다 이러한 작업을 컴퓨터 과학자. 여기에 루이스 폰 안 방법 (2005) 그 제 그의 논문에서 용어를 낸 경우 인간의 계산을 설명했다. "패러다임을 컴퓨터가 아직 해결할 수없는 문제를 해결하기 위해 인간의 처리 능력을 이용하는"

5.13 그림 : 일부 작업의 컴퓨터는 놀라운 인간 전문가의 능력을 초과. 그러나, 다른 작업에, 보통의 인간은 심지어 정교한 컴퓨터 시스템을 능가 할 수 있습니다. 컴퓨터의 하드와 인간에 대한 쉬운 작업을 포함하는 대규모의 문제는 인간의 계산에 적합하다. 여기에 설명 된 조건에 따라 사용 : http://xkcd.com/license.html

이 정의 FoldIt-I가 열려 섹션에 설명으로 전화-수있는 인간 계산 프로젝트로 간주 될 수있다. 그러나, 전문 기술을 필요로하기 때문에 나는 공모로 FoldIt을 분류 선택이 최선의 해결책은 분할 적용-결합 전략을 사용하는 대신에 기여합니다.

인간의 계산의 우수한 책 길이의 치료를 위해 용어의 가장 일반적인 의미에서 볼 Law and Ahn (2011) . 제 3 장 Law and Ahn (2011) 이 장에있는 것보다 더 복잡한 결합 단계의 흥미로운 토론이있다.

용어는 "분할 신청 결합"에 의해 사용되었다 Wickham (2011) 통계 컴퓨팅을위한 전략을 설명하기 위해,하지만 완벽하게 사람의 계산 프로젝트의 프로세스를 캡처합니다. 분할 신청 결합 전략은 구글에서 개발 한 맵리 듀스 프레임 워크와 유사하다 (Dean and Ghemawat 2004; Dean and Ghemawat 2008) .

나는 토론 공간을 가지고 있지 않은 두 영리한 인간 계산 프로젝트는 ESP 게임입니다 (Ahn and Dabbish 2004) 및 reCAPTCHA를 (Ahn et al. 2008) . 이 프로젝트는 모두 이미지에 레이블을 제공하기 위해 참가자들에게 동기를 부여하는 창조적 인 방법을 찾아 냈다. 갤럭시 동물원 달리, ESP 게임 및 reCAPTCHA를 참가자가 자신의 데이터가 사용되는 상황을 몰랐 때문에, 이러한 프로젝트 모두는 윤리적 문제를 제기 (Lung 2012; Zittrain 2008) .

ESP를 게임에서 영감을, 많은 연구자가 다른 사람의 "목적을 가진 게임"개발 시도 (Ahn and Dabbish 2008) (즉, "인간 기반 연산 게임" (Pe-Than, Goh, and Lee 2015) )가 될 수있다 다른 다양한 문제를 해결하기 위해 사용된다. 무엇이 "목적을 가진 게임"공통점은 그들이 즐거운 인간의 계산에 관련된 작업을 만들기 위해 노력하고 있다는 점이다. ESP를 게임 은하 동물원과 같은 분할 적용-결합 구조를 공유하는 동안 따라서, 그것은 과학을 돕기 위해 욕망 대 참가자가되는 방법 동기 부여 - 재미 다르다.

갤럭시 동물원 내 설명에 그립니다 Nielsen (2012) , Adams (2012) , Clery (2011) , 및 Hand (2010) , 갤럭시 동물원의 연구 목표의 나의 발표는 간단했다. 천문학에서 은하 분류의 역사와 방법 갤럭시 동물원이 전통을 계속에 대한 자세한 내용은 참조 Masters (2012) 와 Marshall, Lintott, and Fletcher (2015) . 갤럭시 동물원에 건물, 연구진은 자원 봉사자 60만이 좀 더 복잡한 형태 학적 분류를 수집 갤럭시 동물원이 완료 (Masters et al. 2011) . 또한, 그들은 달의 표면을 탐험 행성을 찾고, 오래된 문서를 전사 포함 은하 형태의 외부 문제로 밖으로 분기. 현재 모든 프로젝트에서 수집 www.zooniverse.org (Cox et al. 2015) . 의 한 프로젝트는 스냅 샷 갤럭시 동물원 형 이미지 분류 프로젝트는 환경 연구를 위해 할 수있는 증거를 세렝게티는-제공 (Swanson et al. 2016) .

연구진은 인간 계산 프로젝트에 대한 마이크로 작업 노동 시장 (예를 들어, 아마존 기계 터크)를 사용하는 계획에 대해, Chandler, Paolacci, and Mueller (2013) 와 Wang, Ipeirotis, and Provost (2015) 작업 디자인과 좋은 조언을 제공 기타 관련 문제를 해결합니다.

내가 두 번째 세대 인간의 계산 시스템이라고 한 것을 제작에 관심이 연구자들은 (예를 들면, 기계 학습 모델을 양성하는 인간의 라벨을 사용하는 시스템)에 관심이있을 수 있습니다 Shamir et al. (2014) 및 (오디오 사용 예) Cheng and Bernstein (2015) . 또한,이 프로젝트는 연구자가 가장 큰 예측 성능과 기계 학습 모델을 만들기 위해 경쟁함으로써 열린 통화, 수행 할 수 있습니다. 예를 들어, 갤럭시 동물원 팀은 공개 모집을 실행하고 개발 한보다 실적이 새로운 접근 방식을 발견 Banerji et al. (2010) ; 참조 Dieleman, Willett, and Dambre (2015) 자세한 내용을.

• 열기 호출 (5.3 절)

열기 호출은 새로운 것이 아니다. 영국의 의회는 바다에서 선박의 경도를 결정하는 방법을 개발할 수있는 사람을위한 경도 상을 만들 때 사실, 가장 잘 알려진 오픈 통화 중 하나는 1714 년으로 거슬러. 문제는 아이작 뉴턴을 포함하여 일의 가장 위대한 과학자의 많은 난처한 상황에 빠진, 그리고 경력에 빛나는 솔루션은 결국 어떻게 든 천문학을 포함하는 솔루션에 집중 한 과학자는 다르게 문제를 접근 시골에서 시계 제조공에 의해 제출 된 (Sobel 1996) . 이 예에서 보듯, 오픈 통화가 잘 작동하는 것으로 생각하는 이유 중 하나는 서로 다른 관점과 기술을 가진 사람에 대한 액세스를 제공하는 것입니다 (Boudreau and Lakhani 2013) . 보기 Hong and Page (2004) 와 Page (2008) 문제 해결의 다양성의 가치에 대한 자세한 내용은.

장에서 공모의 각각의 경우는이 범주에 속하는 이유에 대한 자세한 설명을 조금 필요합니다. 첫째, 인간의 계산과 공모 사업을 구분 한 가지 방법은 출력이 모든 솔루션의 평균 (인간의 계산) 또는 최선의 해결책 (공모)를인지한다. 가장 좋은 방법은 개별 솔루션의 정교한 평균으로 밝혀졌다 때문에 넷플릭스 상이 점에서 다소 까다 롭습니다,이 앙상블 솔루션이라는 접근 (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . 넷플릭스의 관점에서, 그러나, 그들이했던 모든 최고의 솔루션을 선택했다.

둘째, 인간 연산 일부 정의에 의해 (예를 들어, Von Ahn (2005) ), FoldIt 인간 연산 프로젝트 고려되어야한다. 그러나, 전문 기술을 필요로하기 때문에 나는 공모로 FoldIt을 분류 선택이 최선의 해결책이 아니라 분할 적용-결합 전략을 사용하는 것보다, 기여합니다.

마지막으로, 하나는 피어 - 투 - 특허 분산 데이터 컬렉션의 일례이다 주장 할 수있다. 나는 경연 대회와 같은 구조를 가지고 (분산 데이터 수집으로, 좋고 나쁜 공헌 아이디어가 명확하지 반면) 만 가장 기여가 사용되기 때문에 공개 모집으로 포함하도록 선택합니다.

넷플 릭스 상에 대한 자세한 내용을 참조 Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , 및 Feuerverger, He, and Khatri (2012) . FoldIt에 더 많은 참조하십시오는, Cooper et al. (2010) , Andersen et al. (2012) 및 Khatib et al. (2011) ; FoldIt 내 설명에 설명립니다 Nielsen (2012) , Bohannon (2009) , 및 Hand (2010) . 피어 - 투 - 특허에 대한 자세한 내용은 참조 Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) , 및 Noveck (2009) .

의 결과와 유사 Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , 뉴욕시에서 주택 검사관의 생산성 제 10 장 보고서 큰 이득 검사는 예측 모델에 의해 유도되는 경우. 뉴욕시에서 이러한 예측 모델은 도시 직원에 의해 만들어진, 그러나 다른 경우에, 하나는 만들거나 열린 통화 향상 될 수 있음을 상상할 수있는 (예를 들어, Glaeser et al. (2016) ). 그러나, 예측 모델은 리소스를 할당하는 데 사용되는 하나의 중요한 문제는 모델은 기존의 편향을 보강 할 가능성이 있다는 것이다. 많은 연구자들은 이미 "쓰레기를 쓰레기를"알아, 예측 모델이 될 수있다 "에 바이어스, 바이어스 아웃"을 참조하십시오. Barocas and Selbst (2016) 와 O'Neil (2016) 구축 예측 모델의 위험성에 대한 자세한 내용은 바이어스 훈련 데이터와.

오픈 콘테스트를 사용하여 정부되지 않을 수 있습니다 하나의 문제는 개인 정보 침해로 이어질 수있는 데이터 자료를 필요로한다는 것이다. 열린 통화에서 개인 정보 보호 및 데이터 릴리스에 대한 자세한 내용은 참조 Narayanan, Huey, and Felten (2016) 과 제 6 장에서 논의.

• 분산 데이터 수집 (5.4 절)

eBird의 내 설명에 설명립니다 Bhattacharjee (2005) 과 Robbins (2013) . 연구진은 eBird 데이터를 분석하는 통계 모델을 사용하는 방법에 대한 자세한 참조하십시오 Hurlbert and Liang (2012) 와 Fink et al. (2010) . ornothology 시민 과학의 역사에 대한 자세한 내용을 참조하십시오 Greenwood (2007) .

말라위 저널 프로젝트에 대한 자세한 내용을 참조 Watkins and Swidler (2009) 과 Kaler, Watkins, and Angotti (2015) . 남아 프리 카 공화국에서 관련 프로젝트에 대한 자세한 내용은 참조 Angotti and Sennott (2015) . 말라위 저널 프로젝트에서 연구하여 데이터의 더 많은 예제를 참조 Kaler (2004) 과 Angotti et al. (2014) .

• 자신 (5.5 절) 설계

설계 조언을 제공에 대한 나의 접근 방식은 성공의 예에 따라, 유도 있었고, 난에 대해 들었습니다 질량 공동 프로젝트를 실패했습니다. 연구의 흐름은, 예를 들어, 대량 협력 프로젝트의 설계에 관련이 온라인 커뮤니티를 설계에 더 많은 일반 사회 심리학 이론을 적용 볼 시도도있다 Kraut et al. (2012) .

동기 부여 참가자에 대해서는, 사람들이 대량 협업 프로젝트에 참여하는 이유를 정확하게 파악하는 사실은 꽤 까다 롭습니다 (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) . 당신은 (예를 들어, 아마존 기계 터크) 마이크로 작업 노동 시장에 대한 결제와 참가자들에게 동기를 부여하려는 경우 Kittur et al. (2013) 몇 가지 조언을 제공합니다.

Zoouniverse 프로젝트에서 나오는 예기치 않은 발견의 더 많은 예를 들어, 놀람 수 있도록 관련하여, 참조 Marshall, Lintott, and Fletcher (2015) .

윤리적 인 관련하여, 관련 문제에 대한 좋은 일반적인 소개는 Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , 그리고 Zittrain (2008) . 특히 군중 직원과 법률 문제와 관련된 문제에 대한 내용은 Felstiner (2011) . O'Connor (2013) 연구의 윤리적 감독에 대한 질문을 해결 연구자와 참여자의 역할이 흐릿 할 때. 시민 과학 프로젝트에 participats을 보호하면서 데이터를 공유 관련된 문제에 대한 내용은 Bowser et al. (2014) . 두 Purdam (2014) 과 Windt and Humphreys (2016) 분산 데이터 수집의 윤리적 문제에 대한 논의가있다. 마지막으로, 대부분의 프로젝트는 기여를 인정하지만, 참가자들에게 저자의 신용을 제공하지 않습니다. Foldit에서, Foldit 플레이어는 종종 저자로 나열됩니다 (Cooper et al. 2010; Khatib et al. 2011) . 다른 공모 프로젝트에서 승리 기여는 종종 자신의 솔루션을 설명하는 논문을 쓸 수 있습니다 (예를 들어, Bell, Koren, and Volinsky (2010) 와 Dieleman, Willett, and Dambre (2015) ). 프로젝트의 갤럭시 동물원 가족에서 매우 활동적이고 중요한 기여는 가끔 논문에 공동 저자로 초대합니다. 예를 들어, 이반 Terentev 및 팀 Matorny, 러시아에서 두 개의 라디오 갤럭시 동물원 참가자는 해당 프로젝트에서 발생 서류 중 하나에 공동 저자이었다 (Banfield et al. 2016; Galaxy Zoo 2016) .