ความเห็นเพิ่มเติม

ในส่วนนี้จะถูกออกแบบมาเพื่อใช้เป็นข้อมูลอ้างอิงมากกว่าที่จะอ่านเป็นเรื่องเล่า

• บทนำ (มาตรา 5.1)

การทำงานร่วมกันของมวลผสมผสานความคิดจากวิทยาศาสตร์พลเมือง crowdsourcing และปัญญารวม วิทยาศาสตร์มักจะหมายถึงประชาชนที่เกี่ยวข้องกับ "ประชาชน" (กล่าวคือไม่ใช่นักวิทยาศาสตร์) ในกระบวนการทางวิทยาศาสตร์ (Crain, Cooper, and Dickinson 2014) Crowdsourcing มักจะหมายถึงการแก้ไขปัญหามักเกิดขึ้นภายในองค์กรและแทนที่จะเอาท์ซอร์สไปยังฝูงชน (Howe 2009) ปัญญารวมมักจะหมายถึงกลุ่มของบุคคลที่ทำหน้าที่รวมในรูปแบบที่ดูเหมือนอัจฉริยะ (Malone and Bernstein 2015) . Nielsen (2012) มีการแนะนำหนังสือที่มีความยาวที่ยอดเยี่ยมในอำนาจของความร่วมมือมวลสำหรับการวิจัยทางวิทยาศาสตร์

มีหลายประเภทของการทำงานร่วมกันของมวลที่ไม่เหมาะสมอย่างเรียบร้อยในสามประเภทที่ผมนำเสนอนี้และผมคิดว่าสามสมควรได้รับความสนใจเป็นพิเศษเพราะพวกเขาอาจจะมีประโยชน์ในการวิจัยทางสังคมในบางจุด ตัวอย่างหนึ่งคือตลาดการคาดการณ์ที่ผู้เข้าร่วมซื้อและสัญญาการค้าที่มีแลกขึ้นอยู่กับผลที่เกิดขึ้นในโลก (Wolfers and Zitzewitz 2004; Arrow et al. 2008) ตลาดทำนายมักจะถูกใช้โดย บริษัท และรัฐบาลสำหรับการพยากรณ์และตลาดคาดการณ์ได้ถูกนำมาใช้โดยนักวิจัยทางสังคมที่จะคาดการณ์ replicability ของการศึกษาที่ตีพิมพ์ในด้านจิตวิทยา (Dreber et al. 2015)

ตัวอย่างที่สองที่ไม่เหมาะสมเป็นอย่างดีในรูปแบบการจัดหมวดหมู่ของฉันคือโครงการพหูสูตที่นักวิจัยร่วมมือโดยใช้บล็อกและวิกิจะพิสูจน์ทฤษฎีบทคณิตศาสตร์ใหม่ (Gowers and Nielsen 2009; Cranshaw and Kittur 2011; Nielsen 2012; Kloumann et al. 2016) โครงการพหูสูตอยู่ในวิธีการบางอย่างที่คล้ายกับ Netflix รางวัล แต่ในพหูสูตผู้เข้าร่วมโครงการสร้างขึ้นอย่างแข็งขันในการแก้ปัญหาบางส่วนของคนอื่น ๆ

ตัวอย่างที่สามที่ไม่เหมาะสมเป็นอย่างดีในรูปแบบการจัดหมวดหมู่ของฉันคือการขับเคลื่อนขึ้นกับเวลาเช่นกลาโหมโครงการวิจัยขั้นสูง Agency (DARPA) ท้าทายเครือข่าย (เช่นท้าทายบอลลูนสีแดง) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับช่วงเวลาที่มีความสำคัญเหล่านี้ขับเคลื่อนเห็น Pickard et al. (2011) , Tang et al. (2011) และ Rutherford et al. (2013)

• การคำนวณของมนุษย์ (ข้อ 5.2)

คำว่า "การคำนวณของมนุษย์" ออกมาจากงานที่ทำโดยนักวิทยาศาสตร์คอมพิวเตอร์และความเข้าใจบริบทที่อยู่เบื้องหลังการวิจัยครั้งนี้จะช่วยเพิ่มความสามารถของคุณที่จะเลือกออกปัญหาที่อาจจะคล้อยตามมัน สำหรับงานบางอย่างคอมพิวเตอร์ที่มีประสิทธิภาพอย่างไม่น่าเชื่อที่มีความสามารถไกลเกินมนุษย์ผู้เชี่ยวชาญแม้กระทั่ง ยกตัวอย่างเช่นในหมากรุกคอมพิวเตอร์สามารถเอาชนะแม้แต่ที่ดีที่สุดโทแกรนด์ แต่และนี้เป็นที่นิยมน้อยอย่างดีจากสังคมนักวิทยาศาสตร์สำหรับงานอื่น ๆ คอมพิวเตอร์เป็นจริงมากยิ่งกว่าคน ในคำอื่น ๆ ตอนนี้คุณจะดีกว่าแม้แต่คอมพิวเตอร์ที่ซับซ้อนมากที่สุดในงานบางอย่างที่เกี่ยวข้องกับการประมวลผลของภาพ, วิดีโอ, เสียงและข้อความ ดังนั้นตามที่ได้รับการแสดงโดยที่ยอดเยี่ยม XKCD การ์ตูนมีงานที่ง่ายสำหรับคอมพิวเตอร์และยากสำหรับคน แต่ก็ยังมีงานที่ยากสำหรับคอมพิวเตอร์และง่ายสำหรับคนที่ (รูปที่ 5.13) นักวิทยาศาสตร์คอมพิวเตอร์ที่ทำงานเกี่ยวกับเหล่านี้สำหรับคอมพิวเตอร์ง่ายสำหรับมนุษย์ยากงานจึงตระหนักว่าพวกเขาอาจรวมถึงมนุษย์ในขั้นตอนการคำนวณของพวกเขา นี่คือวิธีที่หลุยส์ฟอน Ahn (2005) อธิบายการคำนวณของมนุษย์ตอนแรกที่เขาเป็นคนบัญญัติศัพท์ในวิทยานิพนธ์ของเขา: ". กระบวนทัศน์สำหรับการใช้พลังการประมวลผลของมนุษย์ที่จะแก้ปัญหาที่คอมพิวเตอร์ยังไม่สามารถแก้ปัญหา"

รูปที่ 5.13: สำหรับงานบางอย่างคอมพิวเตอร์เป็นที่น่าอัศจรรย์เกินความสามารถของผู้เชี่ยวชาญของมนุษย์ แต่สำหรับงานอื่น ๆ ที่มนุษย์ธรรมดาสามารถมีประสิทธิภาพสูงกว่าระบบคอมพิวเตอร์ที่มีความซับซ้อนมากยิ่ง ปัญหาขนาดใหญ่ที่เกี่ยวข้องกับงานที่ยากสำหรับคอมพิวเตอร์และง่ายสำหรับมนุษย์จะดีเหมาะสำหรับการคำนวณของมนุษย์ ใช้ไปตามเงื่อนไขที่อธิบายที่นี่: http://xkcd.com/license.html

ตามคำนิยามนี้ Foldit ซึ่งผมอธิบายไว้ในส่วนที่เกี่ยวกับการเปิดโทรอาจถือได้ว่าเป็นโครงการที่การคำนวณของมนุษย์ แต่ผมเลือกที่จะจัดหมวดหมู่เป็น Foldit เปิดสายเพราะมันต้องใช้ทักษะเฉพาะและจะใช้เวลาทางออกที่ดีที่สุดส่วนร่วมมากกว่าการใช้แยกใช้-รวมกลยุทธ์

สำหรับการรักษาความยาวหนังสือที่ดีของการคำนวณของมนุษย์ในความหมายทั่วไปมากที่สุดของคำให้ดู Law and Ahn (2011) บทที่ 3 ของ Law and Ahn (2011) มีการอภิปรายที่น่าสนใจของที่ซับซ้อนมากขึ้นรวมขั้นตอนกว่าคนในบทนี้

คำว่า "แยกใช้-รวม" ถูกใช้โดย Wickham (2011) เพื่ออธิบายกลยุทธ์สำหรับการคำนวณทางสถิติ แต่มันสมบูรณ์แบบจับกระบวนการของการคำนวณหลายโครงการของมนุษย์ แยกสมัคร-รวมกลยุทธ์คล้ายกับกรอบ MapReduce พัฒนาที่ Google (Dean and Ghemawat 2004; Dean and Ghemawat 2008)

ฉลาดทั้งสองโครงการการคำนวณของมนุษย์ที่ผมไม่ได้มีพื้นที่ในการหารือคือเกม ESP (Ahn and Dabbish 2004) และ reCAPTCHA (Ahn et al. 2008) ทั้งสองของโครงการเหล่านี้พบวิธีที่สร้างสรรค์เพื่อกระตุ้นให้ผู้เข้าร่วมประชุมเพื่อให้ป้ายชื่อบนภาพ อย่างไรก็ตามทั้งสองของโครงการเหล่านี้ยังยกคำถามจริยธรรมเพราะไม่เหมือนสวนสัตว์กาแล็กซี่เข้าร่วมในเกม ESP และ reCAPTCHA ไม่ทราบว่าข้อมูลของพวกเขาถูกนำมาใช้ (Lung 2012; Zittrain 2008)

แรงบันดาลใจจากเกม ESP นักวิจัยหลายคนได้พยายามที่จะพัฒนาคนอื่น ๆ "เกมกับวัตถุประสงค์" (Ahn and Dabbish 2008) (เช่น "เกมการคำนวณของมนุษย์ตาม" (Pe-Than, Goh, and Lee 2015) ) ที่สามารถ ใช้ในการแก้ความหลากหลายของปัญหาอื่น ๆ สิ่งเหล่านี้ "เกมกับวัตถุประสงค์" มีเหมือนกันคือว่าพวกเขาพยายามที่จะทำให้งานที่เกี่ยวข้องในการคำนวณของมนุษย์ที่สนุกสนาน ดังนั้นในขณะที่เกม ESP หุ้นเดียวกันแยกใช้-รวมโครงสร้างกับสวนสัตว์กาแล็กซี่มันแตกต่างในวิธีการที่มีแรงจูงใจเข้าร่วมสนุกกับความปรารถนาที่จะช่วยให้วิทยาศาสตร์

คำอธิบายของฉันของสวนสัตว์ Galaxy ดึง Nielsen (2012) , Adams (2012) , Clery (2011) และ Hand (2010) และการนำเสนอของฉันของเป้าหมายการวิจัยของกาแล็กซี่สวนสัตว์ถูกง่าย สำหรับข้อมูลเพิ่มเติมเกี่ยวกับประวัติศาสตร์ของการจัดหมวดหมู่จักรวาลในดาราศาสตร์และวิธีการสวนสัตว์กาแล็กซี่ยังคงประเพณีนี้ดู Masters (2012) และ Marshall, Lintott, and Fletcher (2015) อาคารสวนสัตว์ Galaxy นักวิจัยเสร็จสิ้นการสวนสัตว์ Galaxy 2 ซึ่งรวบรวมกว่า 60 ล้านการจำแนกลักษณะทางสัณฐานวิทยาที่ซับซ้อนมากขึ้นจากอาสาสมัคร (Masters et al. 2011) นอกจากนี้พวกเขาแยกออกไปสู่​​ปัญหาด้านนอกของกาแลคซีสัณฐานรวมทั้งการสำรวจพื้นผิวของดวงจันทร์หาดาวเคราะห์และถ่ายทอดเอกสารเก่า ปัจจุบันโครงการของพวกเขาทั้งหมดจะถูกเก็บที่ www.zooniverse.org (Cox et al. 2015) หนึ่งในโครงการ Snapshot Serengeti-มีหลักฐานว่าโครงการการจัดหมวดหมู่ Galaxy Zoo-ประเภทของภาพยังสามารถทำได้สำหรับการวิจัยด้านสิ่งแวดล้อม (Swanson et al. 2016)

สำหรับนักวิจัยวางแผนที่จะใช้ไมโครงานตลาดแรงงาน (เช่น Amazon Mechanical Turk) สำหรับโครงการการคำนวณของมนุษย์ Chandler, Paolacci, and Mueller (2013) และ Wang, Ipeirotis, and Provost (2015) ให้คำแนะนำที่ดีในการออกแบบงานและ ประเด็นอื่น ๆ ที่เกี่ยวข้อง

นักวิจัยสนใจในการสร้างสิ่งที่ผมเคยเรียกว่ารุ่นที่สองระบบการคำนวณของมนุษย์ (เช่นระบบที่ใช้ป้ายของมนุษย์ในการฝึกอบรมรูปแบบการเรียนรู้ของเครื่อง) อาจจะสนใจใน Shamir et al. (2014) (สำหรับตัวอย่างการใช้เสียง) และ Cheng and Bernstein (2015) นอกจากนี้โครงการเหล่านี้สามารถทำได้ด้วยการโทรเปิดโดยนักวิจัยในการแข่งขันเพื่อสร้างโมเดลการเรียนรู้ที่มีประสิทธิภาพตามที่คาดที่ยิ่งใหญ่ที่สุด ยกตัวอย่างเช่นทีมสวนสัตว์กาแล็กซี่วิ่งเปิดสายและพบวิธีการใหม่ที่มีประสิทธิภาพสูงกว่าคนที่ได้รับการพัฒนาใน Banerji et al. (2010) ; ดู Dieleman, Willett, and Dambre (2015) สำหรับรายละเอียด

• เปิดการโทร (มาตรา 5.3)

สายเปิดจะไม่ใหม่ ในความเป็นจริงมากที่สุดแห่งหนึ่งที่รู้จักกันดีโทรเปิดวันที่กลับไป 1714 เมื่อรัฐสภาของสหราชอาณาจักรที่สร้างขึ้นรางวัลลองจิจูดสำหรับทุกคนที่สามารถพัฒนาวิธีการตรวจสอบเส้นแวงของเรือที่ทะเล ปัญหานิ่งงันมากของนักวิทยาศาสตร์ที่ยิ่งใหญ่ที่สุดของวันรวมทั้งไอแซกนิวตันและทางออกที่ชนะในที่สุดก็ถูกส่งมาโดยช่างนาฬิกาจากชนบทที่เข้าหาปัญหาที่แตกต่างจากนักวิทยาศาสตร์ที่กำลังจดจ่ออยู่กับการแก้ปัญหาที่ใดจะเกี่ยวข้องกับดาราศาสตร์ที่ (Sobel 1996) ในฐานะที่เป็นตัวอย่างนี้แสดงให้เห็นถึงเหตุผลหนึ่งที่ว่าสายเปิดกำลังคิดว่าจะทำงานให้ดีที่พวกเขาให้เข้าถึงคนที่มีมุมมองที่แตกต่างกันและทักษะ (Boudreau and Lakhani 2013) ดู Hong and Page (2004) และ Page (2008) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับคุณค่าของความหลากหลายในการแก้ปัญหา

แต่ละกรณีเปิดสายในบทที่ต้องบิตของคำอธิบายเพิ่มเติมว่าทำไมมันเป็นในหมวดหมู่นี้ แรกวิธีหนึ่งที่ผมเห็นความแตกต่างระหว่างการคำนวณของมนุษย์และโครงการเปิดสายไม่ว่าจะเป็นเอาท์พุทเป็นค่าเฉลี่ยของการแก้ปัญหาทั้งหมด (คำนวณมนุษย์) หรือทางออกที่ดีที่สุด (เปิดสาย) รางวัล Netflix ค่อนข้างยุ่งยากในเรื่องนี้เพราะทางออกที่ดีที่สุดจะกลายเป็นค่าเฉลี่ยที่มีความซับซ้อนของการแก้ปัญหาของแต่ละบุคคลการเข้าหาเรียกว่าวิธีการแก้ปัญหาทั้งมวล (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) จากมุมมองของ Netflix แต่สิ่งที่พวกเขาต้องทำคือเลือกทางออกที่ดีที่สุด

ประการที่สองโดยคำจำกัดความของการคำนวณของมนุษย์บางคน (เช่น Von Ahn (2005) ) Foldit ควรได้รับการพิจารณาโครงการการคำนวณของมนุษย์ แต่ผมเลือกที่จะจัดหมวดหมู่เป็น Foldit เปิดสายเพราะมันต้องใช้ทักษะเฉพาะและจะใช้เวลาทางออกที่ดีที่สุดส่วนร่วมมากกว่าการใช้แยกใช้-รวมกลยุทธ์

สุดท้ายใครจะเถียงว่า Peer-to-สิทธิบัตรเป็นตัวอย่างของการเก็บรวบรวมข้อมูลแจกจ่าย ฉันเลือกที่จะรวมไว้เป็นเปิดสายเพราะมันมีโครงสร้างการประกวดเหมือนและมีเพียงผลงานที่ดีที่สุดที่มีการใช้ (ในขณะที่มีการเก็บรวบรวมข้อมูลการกระจายความคิดของผลงานที่ดีและไม่ดีที่มีความชัดเจนน้อยกว่า)

สำหรับข้อมูลเพิ่มเติมเกี่ยวรางวัล Netflix, ดู Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) และ Feuerverger, He, and Khatri (2012) สำหรับข้อมูลเพิ่มเติมเกี่ยว Foldit เห็น Cooper et al. (2010) , Andersen et al. (2012) และ Khatib et al. (2011) ; คำอธิบายของฉัน Foldit ดึงรายละเอียดใน Nielsen (2012) , Bohannon (2009) และ Hand (2010) สำหรับข้อมูลเพิ่มเติมเกี่ยว Peer-to-สิทธิบัตรเห็น Noveck (2006) , Bestor and Hamp (2010) , Ledford (2007) และ Noveck (2009)

คล้ายกับผลของการ Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) , บทที่ 10 รายงานกำไรขนาดใหญ่ในการผลิตของผู้ตรวจที่อยู่อาศัยในนครนิวยอร์กเมื่อตรวจสอบถูกชี้นำโดยรูปแบบการพยากรณ์ ในนิวยอร์กซิตี้เหล่านี้รูปแบบการพยากรณ์ที่ถูกสร้างขึ้นโดยพนักงานเมือง แต่ในกรณีอื่น ๆ ใครจะคิดว่าพวกเขาอาจจะสร้างหรือปรับปรุงให้ดีขึ้นกับสายเปิด (เช่น Glaeser et al. (2016) ) แต่หนึ่งในความกังวลที่สำคัญกับรูปแบบการพยากรณ์ถูกใช้ในการจัดสรรทรัพยากรที่เป็นรุ่นที่มีศักยภาพในการเสริมสร้างความอคติที่มีอยู่ นักวิจัยหลายคนรู้อยู่แล้วว่า "ขยะในขยะออก" และมีรูปแบบการพยากรณ์ที่จะสามารถ "อคติอคติออก." ดู Barocas and Selbst (2016) และ O'Neil (2016) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับอันตรายของรูปแบบการพยากรณ์ในตัว ที่มีข้อมูลการฝึกอบรมลำเอียง

ปัญหาหนึ่งที่อาจป้องกันไม่ให้รัฐบาลจากการใช้การแข่งขันแบบเปิดคือมันต้องปล่อยข้อมูลซึ่งอาจนำไปสู่​​การละเมิดความเป็นส่วนตัว สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความเป็นส่วนตัวและปล่อยข้อมูลในการเรียกเปิดดู Narayanan, Huey, and Felten (2016) และการอภิปรายในบทที่ 6

• การเก็บรวบรวมข้อมูลที่กระจายได้ (มาตรา 5.4)

คำอธิบายของฉัน eBird ดึงรายละเอียดใน Bhattacharjee (2005) และ Robbins (2013) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการที่นักวิจัยใช้แบบจำลองทางสถิติในการวิเคราะห์ข้อมูล eBird ดู Hurlbert and Liang (2012) และ Fink et al. (2010) สำหรับข้อมูลเพิ่มเติมเกี่ยวกับประวัติศาสตร์ของวิทยาศาสตร์พลเมืองใน ornothology ให้ดู Greenwood (2007)

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับโครงการวารสารมาลาวีดู Watkins and Swidler (2009) และ Kaler, Watkins, and Angotti (2015) และสำหรับข้อมูลเพิ่มเติมเกี่ยวกับโครงการที่เกี่ยวข้องในแอฟริกาใต้ดู Angotti and Sennott (2015) สำหรับตัวอย่างเพิ่มเติมของการวิจัยโดยใช้ข้อมูลจากโครงการวารสารมาลาวีดู Kaler (2004) และ Angotti et al. (2014)

• การออกแบบของคุณเอง (มาตรา 5.5)

วิธีการของฉันที่จะนำเสนอคำแนะนำการออกแบบเป็นอุปนัยบนพื้นฐานของตัวอย่างที่ประสบความสำเร็จและล้มเหลวในโครงการความร่วมมือมวลที่ผมเคยได้ยินเกี่ยวกับ นอกจากนี้ยังมีกระแสของการวิจัยความพยายามที่จะใช้ทฤษฎีทางจิตวิทยาทั่วไปมากขึ้นทางสังคมเพื่อการออกแบบชุมชนออนไลน์ที่มีความเกี่ยวข้องกับการออกแบบของโครงการความร่วมมือมวลเห็นเช่น Kraut et al. (2012)

เกี่ยวกับการเข้าร่วมการสร้างแรงจูงใจให้มันเป็นจริงค่อนข้างยุ่งยากที่จะคิดออกว่าทำไมคนที่มีส่วนร่วมในโครงการความร่วมมือมวล (Nov, Arazy, and Anderson 2011; Cooper et al. 2010, Raddick et al. (2013) ; Tuite et al. 2011; Preist, Massung, and Coyle 2014) ถ้าคุณวางแผนที่จะกระตุ้นให้ผู้เข้าร่วมกับการชำระเงินในตลาดแรงงานไมโครงาน (เช่น Amazon Mechanical Turk) Kittur et al. (2013) มีคำแนะนำบางอย่าง

เกี่ยวกับการเปิดใช้งานความประหลาดใจสำหรับตัวอย่างเพิ่มเติมของการค้นพบที่ไม่คาดคิดจากโครงการ Zoouniverse มาดู Marshall, Lintott, and Fletcher (2015)

เกี่ยวกับเรื่องของจริยธรรมบางแนะนำที่ดีทั่วไปกับปัญหาที่เกี่ยวข้องกับการมี Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) และ Zittrain (2008) สำหรับปัญหาเฉพาะที่เกี่ยวข้องกับประเด็นทางกฎหมายกับพนักงานฝูงชนเห็น Felstiner (2011) . O'Connor (2013) ที่อยู่ในคำถามเกี่ยวกับการกำกับดูแลจริยธรรมของการวิจัยเมื่อบทบาทของนักวิจัยและผู้เข้าร่วมเบลอ สำหรับปัญหาที่เกี่ยวข้องกับการใช้ข้อมูลร่วมกันในขณะที่ปกป้อง participats ในโครงการวิทยาศาสตร์พลเมืองดู Bowser et al. (2014) ทั้งสอง Purdam (2014) และ Windt and Humphreys (2016) มีการอภิปรายเกี่ยวกับประเด็นด้านจริยธรรมในการเก็บรวบรวมข้อมูลการกระจาย สุดท้ายโครงการส่วนใหญ่รับทราบผลงาน แต่ไม่ได้ให้เครดิตแก่ผู้เข้าร่วมการประพันธ์ ใน Foldit ผู้เล่น Foldit มักจะมีการระบุไว้ในฐานะนักเขียน (Cooper et al. 2010; Khatib et al. 2011) ในโครงการอื่น ๆ โทรเปิดผู้สนับสนุนชนะมักจะเขียนกระดาษอธิบายโซลูชั่นของพวกเขา (เช่น Bell, Koren, and Volinsky (2010) และ Dieleman, Willett, and Dambre (2015) ) ในตระกูลกาแล็กซี่สวนสัตว์ของโครงการมากร่วมสมทบการใช้งานและที่สำคัญบางครั้งได้รับเชิญให้เป็นผู้เขียนร่วมบนกระดาษ ยกตัวอย่างเช่นอีวาน Terentev และทิม Matorny สองเข้าร่วมวิทยุ Galaxy สวนสัตว์จากรัสเซียเป็นผู้เขียนร่วมในหนึ่งในเอกสารที่เกิดขึ้นจากโครงการที่ (Banfield et al. 2016; Galaxy Zoo 2016)