Ki sa ki li pwochen

• Entwodiksyon (seksyon 5.1)

Kolaborasyon Mass melanje lide nan syans sitwayen , crowdsourcing , ak kolektif entèlijans . Syans Sitwayen anjeneral vle di ki enplike "sitwayen" (sa vle di, nonscientists) nan pwosesis syantifik la; pou plis, gade Crain, Cooper, and Dickinson (2014) ak Bonney et al. (2014) . Crowdsourcing anjeneral vle di pran yon pwoblèm nòmalman rezoud nan yon òganizasyon ak olye externalisation li nan yon foul moun; pou plis, gade Howe (2009) . Kolektif entèlijans anjeneral vle di gwoup moun ki aji ansanm nan fason ki sanble entèlijan; pou plis, gade Malone and Bernstein (2015) . Nielsen (2012) se yon entwodiksyon liv-longè sou pouvwa a nan mas kolaborasyon pou rechèch syantifik.

Genyen anpil kalite mas kolaborasyon ki pa anfòm nètman nan kategori twa ke mwen te pwopoze, e mwen panse twa nan sa yo merite atansyon espesyal paske yo ta ka itil nan rechèch sosyal. Yon egzanp se mache prediksyon, kote patisipan yo achte ak kontra komès ki rann posib baze sou rezilta ki rive nan mond lan. Predi ke mache yo souvan itilize pa konpayi ak gouvènman pou prévisions, epi yo te tou yo te itilize pa chèchè sosyal yo predi replikabilite nan pibliye syans nan sikoloji (Dreber et al. 2015) . Pou yon BECA de mache prediksyon, gade Wolfers and Zitzewitz (2004) ak Arrow et al. (2008) .

Yon dezyèm egzanp ki pa anfòm byen nan konplo kategorizasyon mwen an se pwojè a PolyMath, kote chèchè kolabore lè l sèvi avèk blogs ak wikis pwouve teyorèm nouvo matematik. Pwojè a PolyMath se nan kèk fason ki sanble ak Prize a Netflix, men nan pwojè sa a patisipan yo plis aktivman bati sou solisyon yo yon pati nan lòt moun. Pou plis sou pwojè a PolyMath, gade Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , ak Kloumann et al. (2016) .

Yon egzanp twazyèm ki pa anfòm byen nan konplo kategorizasyon mwen an se ke nan mobilizasyon tan-depandan tankou Defans Rezo a avanse pwojè Ajans (DARPA) Rezo defi (sa vle di, Red Balloon defi a). Pou plis sou mobilizasyon sa yo tan-sansib al gade Pickard et al. (2011) , Tang et al. (2011) , ak Rutherford et al. (2013) .

• Kalkil imen (seksyon 5.2)

Tèm "kalkil imen an" soti nan travay pa syantis òdinatè, ak konpreyansyon kontèks la dèyè rechèch sa a pral amelyore kapasite w nan chwazi soti pwoblèm ki ta ka apwopriye pou li. Pou travay sèten, òdinatè yo ekstrèmman pwisan, ak kapasite byen lwen depase sa yo ki nan menm moun ekspè. Pou egzanp, nan echèk, òdinatè ka bat menm pi gran Grandmasters yo. Men, epi sa a se mwens byen apresye pa syantis sosyal-pou lòt travay, òdinatè yo aktyèlman pi mal pase moun. Nan lòt mo, kounye a ou pi bon pase menm òdinatè ki pi sofistike nan sèten travay ki enplike pwosesis nan imaj, videyo, odyo, ak tèks. Syantis òdinatè yo ap travay sou sa yo difisil-pou-òdinatè-fasil-pou-moun travay Se poutèt sa reyalize ke yo ka gen ladan moun nan pwosesis enfòmatik yo. Men ki jan Luis von Ahn (2005) dekri kalkil imen lè li te premye envante tèm nan nan disètasyon li: "yon paradigm pou itilize pouvwa pwosesis moun yo rezoud pwoblèm ke òdinatè pa kapab ankò rezoud." Pou yon tretman liv-longè nan kalkil imen, nan sans jeneral nan tèm nan, gade Law and Ahn (2011) .

Selon definisyon ki pwopoze nan Ahn (2005) Foldit-ki mwen te dekri nan seksyon sou apèl ouvè-yo kapab konsidere yon pwojè kalkil imen. Sepandan, mwen chwazi pou kategorize Foldit kòm yon apèl ouvè paske li mande pou ladrès espesyal (byenke pa nesesèman fòmèl fòmasyon) epi li pran solisyon an pi byen kontribye, olye ke lè l sèvi avèk yon estrateji fann-aplike-konbine.

Tèm "fann-aplike-konbine" te itilize pa Wickham (2011) pou dekri yon estrateji pou informatique estatistik, men li parfe kaptire pwosesis la nan pwojè anpil kalkil imen. Estrateji fann-aplike-konbine a sanble ak ankadreman MapReduce devlope nan Google; pou plis sou MapReduce, wè Dean and Ghemawat (2004) ak Dean and Ghemawat (2008) . Pou plis sou lòt achitekti informatique distribiye, gade Vo and Silvia (2016) . Chapit 3 nan Law and Ahn (2011) gen yon diskisyon sou pwojè ki gen plis konplèks konbine etap pase sa ki nan chapit sa a.

Nan pwojè yo kalkil imen ke mwen te diskite nan chapit la, patisipan yo te okouran de sa ki te pase. Gen kèk lòt pwojè, sepandan, chache pran "travay" ki deja k ap pase (menm jan ak eBird) ak san konsyans patisipan. Gade, pou egzanp, jwèt la ESP (Ahn and Dabbish 2004) ak reCAPTCHA (Ahn et al. 2008) . Sepandan, tou de nan pwojè sa yo tou ogmante kesyon etik paske patisipan yo pa t 'konnen ki jan yo te itilize yo (Zittrain 2008; Lung 2012) .

Enspire pa jwèt la ESP, chèchè anpil te eseye devlope lòt "jwèt ak yon objektif" (Ahn and Dabbish 2008) (sètadi, "jwèt ki baze sou imen jwèt" (Pe-Than, Goh, and Lee 2015) ) ki ka itilize yo rezoud yon varyete de lòt pwoblèm. Ki sa yo "jwèt ak yon objektif" gen an komen se yo ke yo eseye fè travay yo ki enplike nan kalkil imen agreyab. Kidonk, pandan ESP jwèt la pataje menm estil-aplike-konbine estrikti a ak Galaksi Zoo, li diferan nan ki jan patisipan yo motive-plezi kont dezi ede syans. Pou plis sou jwèt ak yon objektif, gade Ahn and Dabbish (2008) .

Deskripsyon mwen nan Galaksi Zoo trase sou Nielsen (2012) , Adams (2012) , Clery (2011) , ak Hand (2010) , ak prezantasyon mwen nan objektif rechèch la nan Galaksi Zoo te senplifye. Pou plis sou istwa a nan klasifikasyon galaksi nan astwonomi ak ki jan Galaksi Zoo ap kontinye sa a tradisyon, wè Masters (2012) ak Marshall, Lintott, and Fletcher (2015) . Bati sou Galaksi Zoo, chèchè yo te konplete Galaksi Zoo 2 ki kolekte plis pase 60 milyon klasik pi konplèks morphological soti nan volontè (Masters et al. 2011) . Pli lwen, yo branche soti nan pwoblèm deyò nan galaksi morphe, ki gen ladan eksplore sifas la nan Lalin lan, pou chèche planèt, ak transkripsyon dokiman fin vye granmoun. Aktyèlman, tout pwojè yo ranmase nan sit entènèt Zooniverse (Cox et al. 2015) . Youn nan pwojè-Snapshot Serengeti-a bay prèv ki montre Galaksi Zoo-kalite pwojè klasifikasyon imaj kapab fèt tou pou rechèch anviwonman an (Swanson et al. 2016) .

Pou chèchè planifye yo sèvi ak yon mache travay microtask (egzanp, Amazon Mechanical Turk) pou yon pwojè kalkil imen, Chandler, Paolacci, and Mueller (2013) ak J. Wang, Ipeirotis, and Provost (2015) ofri bon konsèy sou konsepsyon travay ak lòt pwoblèm ki gen rapò. Porter, Verdery, and Gaddis (2016) ofri egzanp ak konsèy konsantre espesyalman sou itilizasyon nan mache travay microtask pou sa yo rele "ogmantasyon done." Liy ant done ogmantasyon ak koleksyon done se yon ti jan twoub. Pou plis enfòmasyon sou kolekte ak lè l sèvi avèk etikèt pou aprantisaj sipèvize pou tèks, gade Grimmer and Stewart (2013) .

Chèchè enterese nan kreye sa mwen te rele òdinatè-ede sistèm kalkil imen (egzanp, sistèm ki itilize etikèt imen nan tren yon modèl aprantisaj machin) ta ka enterese nan Shamir et al. (2014) (pou yon egzanp lè l sèvi avèk odyo) ak Cheng and Bernstein (2015) . Epitou, modèl yo aprantisaj machin nan pwojè sa yo ka mande avèk apèl ouvè, kote chèchè konpetisyon yo kreye modèl aprantisaj machin ak pèfòmans nan pi gran prediksyon. Pou egzanp, Galaksi zoo ekip la kouri yon apèl rele epi li te jwenn yon nouvo apwòch ki outperformed youn nan devlope nan Banerji et al. (2010) ; gade Dieleman, Willett, and Dambre (2015) pou plis detay.

• Louvri apèl (seksyon 5.3)

Louvri apèl yo pa nouvo. An reyalite, youn nan apèl yo ki pi byen li te ye louvri dat tounen nan 1714 lè Palman an Bretay la te kreye Prize la Long pou nenpòt moun ki ta ka devlope yon fason yo detèmine lonjitid a nan yon bato nan lanmè. Pwoblèm nan stumped anpil nan syantis yo pi gran nan jou yo, ki gen ladan Isaac Newton, ak solisyon an genyen evantyèlman soumèt pa John Harrison, yon clockmaker soti nan peyi a ki pwoche bò pwoblèm nan yon fason diferan de syantis ki te konsantre sou yon solisyon ki ta yon jan kanmenm enplike nan astwonomi ; pou plis enfòmasyon, al gade Sobel (1996) . Kòm egzanp sa a montre, yon rezon ki fè apèl yo louvri yo te panse nan travay sa byen se yo ke yo bay aksè a moun ki gen pèspektiv diferan ak ladrès (Boudreau and Lakhani 2013) . Gade Hong and Page (2004) ak Page (2008) pou plis enfòmasyon sou valè divèsite nan rezoud pwoblèm.

Chak nan ka yo rele louvri nan chapit la mande pou yon ti jan nan plis eksplikasyon pou poukisa li fè pati nan kategori sa a. Premyèman, yon fason ke mwen distenge ant kalkil imen ak apèl pwojè apèl se si pwodiksyon an se yon mwayèn de tout solisyon yo (imitasyon imen) oswa solisyon a pi bon (louvri apèl). Prize Netflix la se yon ti jan difisil nan sa a konsiderasyon paske solisyon a pi byen yo te tounen soti yon mwayèn sofistike nan solisyon endividyèl, yon apwòch ki rele yon solisyon ansanbl (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Soti nan pèspektiv Netflix, sepandan, tout sa yo te fè te chwazi solisyon a pi byen. Pou plis sou Prize Netflix la, gade Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , ak Feuerverger, He, and Khatri (2012) .

Dezyèmman, pa kèk definisyon nan kalkil imen (egzanp, Ahn (2005) ), Foldit ta dwe konsidere kòm yon pwojè kalkil imen. Sepandan, mwen chwazi yo kategorize li kòm yon apèl louvri paske li mande pou konpetans espesyalize (byenke pa nesesèman espesyalize fòmasyon) epi li pran solisyon an pi byen, olye ke lè l sèvi avèk yon estrateji fann-aplike-konbine. Pou plis enfòmasyon sou Foldit wè, Cooper et al. (2010) , Khatib et al. (2011) , ak Andersen et al. (2012) ; deskripsyon mwen an nan Foldit trase sou deskripsyon nan Bohannon (2009) , Hand (2010) , ak Nielsen (2012) .

Finalman, youn ta ka diskite ke patikil-a-patant se yon egzanp nan koleksyon done distribiye. Mwen chwazi pou mwen mete li kòm yon apèl ouvè paske li gen yon estrikti tankou konkou epi sèlman kontribisyon yo pi bon yo te itilize, tandiske ak koleksyon done distribiye, lide a nan bon ak move kontribisyon se mwens klè. Pou plis enfòmasyon sou patnè-patant lan, gade Noveck (2006) , Ledford (2007) , Noveck (2009) , ak Bestor and Hamp (2010) .

An tèm de lè l sèvi avèk apèl ouvè nan rechèch sosyal, rezilta ki sanble ak sa yo ki nan Glaeser et al. (2016) , yo rapòte nan chapit 10 nan Mayer-Schönberger and Cukier (2013) kote New York City te kapab itilize modèl prediksyon pou pwodui gwo pwogrè nan pwodiktivite enspektè lojman yo. Nan New York City, modèl prediksyon sa yo te bati pa anplwaye vil yo, men nan lòt ka yo, yon moun te ka imajine ke yo ka kreye oswa amelyore ak apèl ouvè (egzanp, Glaeser et al. (2016) ). Sepandan, yon gwo enkyetid ak modèl prediksyon yo te itilize pou asiyen resous se ke modèl sa yo gen potansyèl pou ranfòse prejije ki egziste yo. Anpil chèchè deja konnen "fatra nan, fatra deyò," ak modèl prediksyon li ka "patipri nan, patipri soti." Gade Barocas and Selbst (2016) ak O'Neil (2016) pou plis sou danje ki genyen nan modèl prediksyon ak done fòmasyon partial.

Yon pwoblèm ki ta ka anpeche gouvènman an soti nan lè l sèvi avèk konpetisyon louvri se ke sa a mande pou lage done, ki ta kapab mennen nan vyolasyon sou vi prive. Pou plis enfòmasyon sou vi prive ak done lage nan apèl ouvè, gade Narayanan, Huey, and Felten (2016) ak diskisyon an nan chapit 6.

Pou plis enfòmasyon sou diferans ak resanblans ant prediksyon ak eksplikasyon, gade Breiman (2001) , Shmueli (2010) , Watts (2014) , ak Kleinberg et al. (2015) . Pou plis sou wòl prediksyon nan rechèch sosyal, gade Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , ak Yarkoni and Westfall (2017) .

Pou yon revizyon nan pwojè apèl louvri nan byoloji, ki gen ladan konsèy konsepsyon, gade Saez-Rodriguez et al. (2016) .

• Koleksyon done distribiye (seksyon 5.4)

Deskripsyon mwen nan eBird trase sou deskripsyon nan Bhattacharjee (2005) , Robbins (2013) , ak Sullivan et al. (2014) . Pou plis enfòmasyon sou kijan chèchè itilize modèl estatistik pou analize done eBird yo wè Fink et al. (2010) ak Hurlbert and Liang (2012) . Pou plis sou estimasyon konpetans nan patisipan yo eBird, gade Kelling, Johnston, et al. (2015) . Pou plis enfòmasyon sou istwa syans sitwayen nan ornitoloji, gade Greenwood (2007) .

Pou plis sou Pwojè Jounal Malawi, gade Watkins and Swidler (2009) ak Kaler, Watkins, and Angotti (2015) . Pou plis sou yon pwojè ki gen rapò nan Lafrik di sid, gade Angotti and Sennott (2015) . Pou plis egzanp sou rechèch lè l sèvi avèk done ki soti nan Malawi Journals Pwojè a wè Kaler (2004) ak Angotti et al. (2014) .

• Designing pwòp ou a (seksyon 5.5)

Apwòch mwen pou ofri konsèy konsepsyon te endike, ki baze sou egzanp yo nan siksè ak echwe pwojè kolaborasyon mas ke mwen te tande pale sou. Te gen tou yon kouran nan rechèch fè efò pou aplike plis jeneral sosyal teyori sikolojik nan desine kominote sou entènèt ki gen rapò ak desen an nan pwojè kolaborasyon mas, gade, pou egzanp, Kraut et al. (2012) .

Konsènan patisipan motivasyon, li aktyèlman trè difisil pou evalye egzakteman poukisa moun patisipe nan pwojè kolaborasyon mas yo (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . Si ou planifye motive patisipan yo ak peman sou yon mache travay microtask (egzanp, Amazon Mechanical Turk), Kittur et al. (2013) ofri kèk konsèy.

Konsènan pèmèt sipriz, pou plis egzanp dekouvèt inatandi kap vini soti nan pwojè Zooiverse, gade Marshall, Lintott, and Fletcher (2015) .

Konsènan ke yo etik, kèk bon entwodiksyon jeneral nan pwoblèm yo ki enplike yo se Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , ak Zittrain (2008) . Pou pwoblèm espesyalman ki gen rapò ak pwoblèm legal ak anplwaye foul moun, gade Felstiner (2011) . O'Connor (2013) adrese kesyon sou sipèvizyon etik nan rechèch lè wòl chèchè yo ak patisipan yo blur. Pou pwoblèm ki gen rapò ak pataje done pandan y ap pwoteje patisipan yo nan pwojè syans sitwayen, gade Bowser et al. (2014) . Tou de Purdam (2014) ak Windt and Humphreys (2016) gen kèk diskisyon sou pwoblèm etik yo nan koleksyon done distribye yo. Finalman, pifò pwojè rekonèt kontribisyon, men se pa bay kredi otè a patisipan yo. Nan Foldit, jwè yo yo souvan ki nan lis kòm yon otè (Cooper et al. 2010; Khatib et al. 2011) . Nan lòt pwojè rele ouvè, kontribitè genyen an ka ekri yon papye ki dekri solisyon yo (tankou Bell, Koren, and Volinsky (2010) ak Dieleman, Willett, and Dambre (2015) ).