શું આગળ વાંચવા માટે

• પરિચય (વિભાગ 5.1)

સામૂહિક સહયોગ નાગરિક વિજ્ઞાન , ભીડસ્રોસિંગ અને સામૂહિક બુદ્ધિથી વિચારોને ભેળવે છે. નાગરિક વિજ્ઞાનનો અર્થ સામાન્ય રીતે વૈજ્ઞાનિક પ્રક્રિયામાં "નાગરિકો" (એટલે ​​કે, નોન્સિએજિસ્ટ્સ) ને સંડોવવાનો અર્થ થાય છે; વધુ માટે, Crain, Cooper, and Dickinson (2014) અને Bonney et al. (2014) . ક્રૉડસોર્સિંગનો સામાન્ય અર્થ એ છે કે સામાન્ય રીતે એક સંસ્થામાં હલ કરવામાં સમસ્યા ઉઠાવવી અને તેના બદલે ભીડમાં આઉટસોર્સિંગ કરવું; વધુ માટે, Howe (2009) જુઓ. સામૂહિક ઇન્ટેલિજન્સનો સામાન્ય અર્થ એ થાય છે કે વ્યક્તિઓના સમૂહો સામૂહિક રીતે કાર્ય કરે છે જે બુદ્ધિશાળી લાગે છે; વધુ માટે, Malone and Bernstein (2015) જુઓ Malone and Bernstein (2015) . Nielsen (2012) વૈજ્ઞાનિક સંશોધન માટે સામૂહિક સહયોગની શક્તિનો એક પુસ્તક લંબાઈ પરિચય છે.

ઘણા પ્રકારનાં સામૂહિક સહકાર છે, જે ત્રણ વર્ગોમાં સરસ રીતે ફિટ થતા નથી જે મેં પ્રસ્તાવિત કર્યા છે, અને મને લાગે છે કે તેમાંના ત્રણ વિશેષ ધ્યાન આપે છે કારણ કે તે સામાજિક સંશોધન માટે ઉપયોગી હોઈ શકે છે. એક ઉદાહરણ પૂર્વાનુમાન બજારો છે, જ્યાં સહભાગીઓ ખરીદે છે અને વેપાર કરારો જે વિશ્વમાં થાય છે તે પરિણામો પર આધારિત છે. ભવિષ્યની આગાહી કરવા માટે મોટેભાગે કંપનીઓ અને સરકારો દ્વારા ઉપયોગમાં લેવામાં આવતા બજારોનો ઉપયોગ કરવામાં આવે છે, અને તેઓ સામાજિક સંશોધકો દ્વારા મનોવિજ્ઞાન (Dreber et al. 2015) માં પ્રકાશિત અભ્યાસોની પ્રતિકૃતિની આગાહી કરવા માટે ઉપયોગમાં લેવાય છે. પૂર્વાનુમાન બજારોનું વિહંગાવલોકન માટે, Wolfers and Zitzewitz (2004) અને Arrow et al. (2008) .

બીજું ઉદાહરણ જે મારી વર્ગીકરણ યોજનામાં યોગ્ય રીતે ફિટ ન થાય તે પોલિમથ પ્રોજેક્ટ છે, જ્યાં સંશોધકોએ નવા ગણિત સિદ્ધાંતોને સાબિત કરવા માટે બ્લોગ્સ અને વિકિઝનો ઉપયોગ કરીને સહયોગ કર્યો હતો. પોલીમિથ પ્રોજેકટ નેટફ્લીક્સ પ્રાઇઝ જેવી જ કેટલીક રીતોમાં છે, પરંતુ આ પ્રોજેક્ટમાં સહભાગીઓ અન્ય લોકોના આંશિક ઉકેલો પર વધુ સક્રિય રીતે બાંધવામાં આવે છે. પોલીમિથ પ્રોજેક્ટ પર વધુ જાણવા માટે, Gowers and Nielsen (2009) , Cranshaw and Kittur (2011) , Nielsen (2012) , અને Kloumann et al. (2016)

ત્રીજા ઉદાહરણ કે જે મારી વર્ગીકરણ યોજનામાં યોગ્ય રીતે ફિટ ન થાય તે સમય આધારિત નિર્દેશન સંગ્રામ જેવા કે ડિફેન્સ એડવાન્સ્ડ રિસર્ચ પ્રોજેક્ટ્સ એજન્સી (ડીએઆરપીએ) નેટવર્ક ચેલેન્જ (એટલે ​​કે રેડ બલૂન ચેલેન્જ). આ સમય-સંવેદનશીલ ગતિશીલતા પર વધુ માટે Pickard et al. (2011) જુઓ Pickard et al. (2011) , Tang et al. (2011) , અને Rutherford et al. (2013) .

• માનવ ગણતરી (વિભાગ 5.2)

કોમ્પ્યુટર વૈજ્ઞાનિકો દ્વારા કરાયેલા કામમાંથી "માનવ ગણતરી" શબ્દ બહાર આવે છે, અને આ સંશોધન પાછળના સંદર્ભને સમજવાથી તે માટે સમસ્યાઓ ઉભી કરવાની તમારી ક્ષમતામાં સુધારો થશે જે તેના માટે યોગ્ય હોઈ શકે. ચોક્કસ કાર્યો માટે, કમ્પ્યુટર્સ ઉત્સાહી શક્તિશાળી છે, ક્ષમતાઓ સાથે પણ નિષ્ણાત માનવોની સરખામણીએ. ઉદાહરણ તરીકે, ચેસમાં, કમ્પ્યુટર્સ શ્રેષ્ઠ ગ્રાન્ડમાસ્ટર્સને હરાવી શકે છે. પરંતુ - અને આ સામાજિક વિજ્ઞાનીઓ દ્વારા ઓછી પ્રશંસા કરવામાં આવે છે - અન્ય કાર્યો માટે, વાસ્તવમાં કમ્પ્યુટર ખરેખર લોકો કરતા વધુ ખરાબ છે. બીજા શબ્દોમાં કહીએ તો, હમણાં તમે ચિત્રો, વિડિઓ, ઑડિઓ અને ટેક્સ્ટની પ્રક્રિયાને લગતી અમુક કાર્યો પર સૌથી વધુ વ્યવહારદક્ષ કમ્પ્યુટર કરતાં વધુ સારી છે. આ હાર્ડ-થી-કમ્પ્યુટર્સ પર કાર્યરત કમ્પ્યુટર વૈજ્ઞાનિકોએ સરળ-માનવીય કાર્યો માટે આથી સમજાયું કે તેઓ તેમની કોમ્પ્યુટેશનલ પ્રક્રિયામાં માનવોનો સમાવેશ કરી શકે છે. અહીં કેવી રીતે લુઈસ વોન અહં (2005) માનવ ગણતરીને વર્ણવે છે, જ્યારે તેમણે સૌપ્રથમ તેમના મહાનિબંધમાં શબ્દની રચના કરી હતી: "માનવીય પ્રોસેસિંગ પાવરનો ઉપયોગ કરવા માટે એક નમૂનારૂપ સમસ્યાઓ કે જે કમ્પ્યુટર્સ હજુ સુધી હલ ન કરી શકે તે હલ કરવા માટે." માનવ ગણતરીની પુસ્તક-લંબાઈની સારવાર માટે શબ્દનો સૌથી સામાન્ય અર્થ, Law and Ahn (2011) .

Ahn (2005) ફોલ્ડિટમાં પ્રસ્તાવિત વ્યાખ્યા મુજબ, જે મેં ખુલ્લા કોલ્સ પરના વિભાગમાં વર્ણવ્યું છે- તે માનવ ગણતરી પ્રોજેક્ટ તરીકે ગણી શકાય. જો કે, હું ફોલ્ડિટને એક ખુલ્લા કૉલ તરીકે વર્ગીકૃત કરવાનું પસંદ કરું છું કારણ કે તેને વિશિષ્ટ કુશળતા (જોકે તે જરૂરી નથી ઔપચારિક તાલીમ) ની જરૂર છે અને તે સ્પ્લિટ-એપ્લીકેશન-ગઠનની વ્યૂહરચનાનો ઉપયોગ કરવાને બદલે, તેનો શ્રેષ્ઠ ઉકેલ છે.

શબ્દ "સ્પ્લિટ-એપ્લીકેશન-ગોડાઉન" નો ઉપયોગ Wickham (2011) દ્વારા આંકડાકીય કમ્પ્યુટિંગ માટેની વ્યૂહરચનાને વર્ણવવા માટે કરવામાં આવ્યો હતો, પરંતુ તે ઘણા માનવીય કમ્પ્યુટેશન પ્રોજેક્ટ્સની પ્રક્રિયાને સંપૂર્ણ રીતે મેળવે છે. સ્પ્લિટ-એપ્લીકેશન-ગઠન વ્યૂહરચના ગૂગલ (Google) પર વિકસાવવામાં આવેલા મેપફ્રિડસ ફ્રેમવર્ક જેવી જ છે; મેપ રાઇડુસ પર વધુ માટે, Dean and Ghemawat (2004) અને Dean and Ghemawat (2008) . અન્ય ડિસ્ટ્રિબ્યુટેડ કમ્પ્યુટિંગ આર્કિટેક્ચર પર વધુ જાણવા માટે, Vo and Silvia (2016) . Law and Ahn (2011) ના પ્રકરણ 3 માં આ પ્રકરણમાંના પ્રોજેક્ટ્સની ચર્ચા વધુ જટિલ સાથે મળી છે.

માનવ ગણતરીની પ્રકલ્પોમાં મેં પ્રકરણમાં ચર્ચા કરી છે, સહભાગીઓ શું થઈ રહ્યું છે તે અંગે વાકેફ હતા. કેટલાક અન્ય પ્રોજેક્ટ્સ, જોકે, "કાર્ય" કે જે પહેલાથી જ થઈ રહ્યું છે (ઈ-બર્ડ જેવી જ) મેળવે છે અને સહભાગી જાગરૂકતા વગર મેળવે છે. જુઓ, ઉદાહરણ તરીકે, ESP ગેમ (Ahn and Dabbish 2004) અને (Ahn and Dabbish 2004) (Ahn et al. 2008) . જો કે, આ બન્ને યોજનાઓ નૈતિક પ્રશ્નો ઉભી કરે છે કારણ કે સહભાગીઓને ખબર નથી કે તેમનો ડેટા કેવી રીતે ઉપયોગમાં લેવાતો હતો (Zittrain 2008; Lung 2012) .

ઇએસપી ગેમ દ્વારા પ્રેરિત, ઘણા સંશોધકોએ "હેતુ સાથે રમતો" (Ahn and Dabbish 2008) (એટલે ​​કે, "માનવ-આધારિત ગણતરી રમતો" (Pe-Than, Goh, and Lee 2015) વિકસાવવા માટે પ્રયત્ન કર્યો છે. અન્ય સમસ્યાઓ વિવિધ ઉકેલવા માટે વપરાય છે. આ "એક હેતુ સાથેના રમતો" માં શું સામાન્ય છે તે છે કે તેઓ માનવ ગણતરીમાં આનંદદાયક એવા કાર્યો કરવાના પ્રયાસ કરે છે. આમ, જ્યારે ઇએસપી ગેમ ગેલેક્સી પ્રાણીસંગ્રહાલય સાથે સમાન સ્પ્લિટ-એપ્લીકેશન-ભેગા માળખું વહેંચે છે, ત્યારે તે કેવી રીતે સહભાગીઓને પ્રેરિત કરે છે - વિજ્ઞાનને મદદ કરવા માટે આનંદની વિરુદ્ધની ઇચ્છા. ઉદ્દેશ્યથી રમતો પર વધુ જાણવા માટે, Ahn and Dabbish (2008) .

ગેલેક્સી ઝૂનું વર્ણન Nielsen (2012) , Adams (2012) , Clery (2011) , અને Hand (2010) , અને ગેલેક્સી ઝૂના રિસર્ચ ગોલની રજૂઆત સરળ હતી. ખગોળશાસ્ત્રમાં આકાશગંગાના વર્ગીકરણના ઇતિહાસ પર અને ગેલેક્સી પ્રાણીસંગ્રહાલયમાં આ પરંપરા ચાલુ રહે તે માટે, Masters (2012) અને Marshall, Lintott, and Fletcher (2015) . ગેલેક્સી પ્રાણીસંગ્રહાલય પર નિર્માણ, સંશોધકોએ ગેલેક્સી ઝૂ 2 પૂર્ણ કર્યું છે, જે સ્વયંસેવકો (Masters et al. 2011) થી 60 મિલિયનથી વધુ જટિલ સંકુલનું વર્ગીકરણ કરે છે. વધુમાં, તેઓ ચંદ્રની સપાટીની શોધખોળ, ગ્રહોની શોધ અને જૂની દસ્તાવેજોનું લિસ્ટિંગ સહિત, ગેલેક્સી મોર્ફોલોજીની બહારની સમસ્યાઓમાં વિભાજીત થયા. હાલમાં, તેમના તમામ પ્રોજેક્ટ્સને ઝૂનુસિઝ વેબસાઇટ (Cox et al. 2015) પર એકત્રિત કરવામાં આવે છે. પ્રોજેક્ટ્સ પૈકી એક- સ્નેપશોટ સેરેનગેટી- પુરાવા આપે છે કે ગેલેક્સી ઝૂ-ટાઈપ ઇમેજ વર્ગીકરણ પ્રોજેક્ટ્સ પર્યાવરણીય સંશોધન માટે પણ કરી શકાય છે (Swanson et al. 2016) .

માનવીય કમ્પ્યુટેશન પ્રોજેક્ટ, Chandler, Paolacci, and Mueller (2013) અને J. Wang, Ipeirotis, and Provost (2015) માટે માઇક્રોટૅક્સ મજૂર બજાર (દા.ત. એમેઝોન યાંત્રિક ટર્ક) નો ઉપયોગ કરવાનું આયોજન કરતા સંશોધકો માટે Chandler, Paolacci, and Mueller (2013) ટાસ્ક ડિઝાઇન પર સારી સલાહ આપે છે અને અન્ય સંબંધિત મુદ્દાઓ Porter, Verdery, and Gaddis (2016) માઇક્રોટૉક શ્રમ બજારોના ઉપયોગ પર ખાસ ધ્યાન કેન્દ્રિત કરે છે અને તે "ડેટા એડગ્નમેન્ટ" તરીકે ઓળખાય છે. માહિતીના વિસ્તરણ અને ડેટા સંગ્રહ વચ્ચેની રેખા અંશે ઝાંખુ છે. ટેક્સ્ટ માટે નિરીક્ષણ કરેલ શિક્ષણ માટે લેબલ્સ એકત્ર કરવા અને ઉપયોગ કરવા વિશે વધુ જાણવા માટે, Grimmer and Stewart (2013) .

મેં કોમ્પ્યુટર-સહાયિત માનવ ગણતરી સિસ્ટમ્સ (દા.ત. સિસ્ટમો કે જે માનવ લેબેલ્સનો ઉપયોગ મશીન પ્રશિક્ષણ મોડેલને તાલીમ આપવા માટે કરે છે) કહેવાય છે તે બનાવવા માટેના સંશોધકોને Shamir et al. (2014) રસ હોઈ શકે છે Shamir et al. (2014) (ઑડિઓની મદદથી ઉદાહરણ તરીકે) અને Cheng and Bernstein (2015) . ઉપરાંત, આ પ્રોજેક્ટ્સમાં મશીન લર્નિંગ મૉડેલને ખુલ્લા કોલ્સ સાથે સોલ્યુશન્સ મળી શકે છે, જેમાં સંશોધકો સૌથી મહાન આગાહી કામગીરી સાથે મશીન શિક્ષણ મોડેલ બનાવવા માટે સ્પર્ધા કરે છે. ઉદાહરણ તરીકે, ગેલેક્સી ઝૂ ટીમ ખુલ્લી કોલ ચાલી રહી હતી અને એક નવું અભિગમ મળી જે Banerji et al. (2010) ; વિગતો માટે Dieleman, Willett, and Dambre (2015) જુઓ

• કૉલ્સ ખોલો (વિભાગ 5.3)

ઓપન કૉલ્સ નવી નથી હકીકતમાં, સૌથી જાણીતા ઓપન કૉલ્સ પૈકીની એક 1714 ની તારીખો છે જ્યારે બ્રિટનની સંસદે કોઈ પણ વ્યક્તિ માટે રેખાંશ પુરસ્કાર બનાવ્યો જે દરિયામાં એક વહાણના રેખાંશ નક્કી કરવા માટેનો માર્ગ વિકસાવી શકે. આ સમસ્યા, આઇઝેક ન્યૂટન સહિતના ઘણા મહાન વૈજ્ઞાનિકોને સ્ટમ્પ્ડ કરી અને વિજેતા ઉકેલને અંતે ખેડૂતોના ઘડવૈયા જ્હોન હેરિસન દ્વારા રજૂ કરવામાં આવ્યો, જેમણે આ સમસ્યાનો ઉકેલ એવા વૈજ્ઞાનિકો પાસેથી અલગ કર્યો કે જેઓ કોઈ ઉકેલ પર ધ્યાન કેન્દ્રીત કરે છે કે જે કોઈક રીતે ખગોળશાસ્ત્ર ; વધુ માહિતી માટે, Sobel (1996) જુઓ. જેમ જેમ આ ઉદાહરણ સમજાવે છે, એક કારણ એ છે કે ઓપન કોલ્સ એટલી સારી રીતે કામ કરવા લાગે છે કે તેઓ વિવિધ પરિપ્રેક્ષ્યો અને (Boudreau and Lakhani 2013) લોકોની ઍક્સેસ પ્રદાન કરે છે (Boudreau and Lakhani 2013) . સમસ્યા ઉકેલવામાં વિવિધતાના મૂલ્ય વિશે વધુ માટે Hong and Page (2004) અને Page (2008) .

પ્રકરણમાં દરેક ખુલ્લા કૉલના કિસ્સાઓમાં આ શ્રેણીમાં શા માટે છે તે માટે વધુ સ્પષ્ટતાની જરૂર છે. પ્રથમ, માનવ ગણતરી અને ખુલ્લા કોલ પ્રોજેક્ટ્સ વચ્ચે તફાવત હોવાનો એક રસ્તો એ છે કે શું આઉટપુટ તમામ ઉકેલો (માનવ ગણતરી) અથવા શ્રેષ્ઠ ઉકેલ (ખુલ્લા કૉલ) ની સરેરાશ છે. આ સંદર્ભમાં નેટફ્લક્સ ઇનામ અંશે મુશ્કેલ છે કારણ કે શ્રેષ્ઠ ઉકેલ વ્યક્તિગત સોલ્યુશન્સની સુસંસ્કૃત એવરેજ બનવા તરફ (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) ઉકેલ (Bell, Koren, and Volinsky 2010; Feuerverger, He, and Khatri 2012) . Netflix ના પરિપ્રેક્ષ્યમાં, તેમછતાં, તેઓ જે કરવાનું હતું તે બધાએ શ્રેષ્ઠ ઉકેલ બનાવ્યો હતો. Bennett and Lanning (2007) , Thompson (2008) , Bell, Koren, and Volinsky (2010) , અને Feuerverger, He, and Khatri (2012) .

બીજું, માનવ ગણતરીની કેટલીક વ્યાખ્યાઓ (દા.ત., Ahn (2005) ), ફોલ્ડિટને માનવ ગણતરી પ્રોજેક્ટ તરીકે ગણવામાં આવે છે. જો કે, હું તેને એક ખુલ્લા કૉલ તરીકે વર્ગીકૃત કરવાનું પસંદ કરું છું કારણ કે તે વિશિષ્ટ કૌશલ્યોની જરૂર છે (જોકે તે જરૂરી તાલીમ નથી) અને તે સ્પ્લિટ-એપ્લીકેશન-ગઠ્ઠાણ વ્યૂહરચનાનો ઉપયોગ કરતા શ્રેષ્ઠ ઉકેલ લે છે. ફોલ્ડિટ પર વધુ જુઓ, Cooper et al. (2010) , Khatib et al. (2011) , અને Andersen et al. (2012) ; મારા વર્ણનનું વર્ણન બોહાહન Bohannon (2009) , Hand (2010) , અને Nielsen (2012) માં વર્ણનો પર આધારિત છે.

છેલ્લે, એક એવી દલીલ કરી શકે છે કે પીઅર-ટુ-પેટન્ટ વિતરણ ડેટા સંગ્રહનું ઉદાહરણ છે. હું તેને એક ખુલ્લા કૉલ તરીકે શામેલ કરવાનું પસંદ કરું છું કારણ કે તેમાં હરીફાઈ જેવી રચના છે અને ફક્ત શ્રેષ્ઠ યોગદાનનો ઉપયોગ કરવામાં આવે છે, જ્યારે વિતરણ ડેટા સંગ્રહ સાથે, સારા અને ખરાબ યોગદાનનો વિચાર ઓછો સ્પષ્ટ છે. પીઅર-ટુ-પેટન્ટ પર વધુ માટે, Noveck (2006) , Ledford (2007) , Noveck (2009) , અને Bestor and Hamp (2010) .

સોશિયલ રિસર્ચમાં ઓપન કોલનો ઉપયોગ કરવાના સંદર્ભમાં, Glaeser et al. (2016) સમાન પરિણામો Glaeser et al. (2016) , Mayer-Schönberger and Cukier (2013) ના પ્રકરણ 10 માં જણાવાયું છે જેમાં ન્યૂ યોર્ક સિટી હાઉસિંગ નિરીક્ષકોની ઉત્પાદકતામાં મોટો ફાયદો Mayer-Schönberger and Cukier (2013) કરવા માટે આગાહી મોડેલિંગનો ઉપયોગ કરી શક્યું હતું. ન્યુ યોર્ક સિટીમાં, આ આગાહી મોડેલો શહેરના કર્મચારીઓ દ્વારા બનાવવામાં આવ્યા હતા, પરંતુ અન્ય કિસ્સાઓમાં, તે કલ્પના કરી શકે છે કે તેઓ ખુલ્લા કૉલ્સ (દા.ત., Glaeser et al. (2016) ) સાથે બનાવવામાં અથવા સુધારી શકે છે. જો કે, સંભવિત મોડલ સાથે એક મુખ્ય ચિંતા એ છે કે સ્ત્રોતો ફાળવવા માટે ઉપયોગ કરવામાં આવે છે, આ મોડેલોમાં હાલના પક્ષપાતને મજબૂત કરવાની ક્ષમતા છે. ઘણા સંશોધકો પહેલેથી જ "કચરો, કચરો બહાર" જાણે છે અને આગાહીયુક્ત મોડલ સાથે તે "પૂર્વગ્રહયુક્ત, પૂર્વગ્રહયુક્ત" હોઈ શકે છે. Barocas and Selbst (2016) અને O'Neil (2016) Barocas and Selbst (2016) અનુમાનિત મોડલના જોખમો વિશે વધુ જાણવા માટે પક્ષપાતી તાલીમ માહિતી સાથે

એક સમસ્યા જે સરકારોને ખુલ્લા સ્પર્ધાઓનો ઉપયોગ કરવાથી અટકાવી શકે છે તે છે કે આને ડેટા રિલીઝની જરૂર છે, જે ગોપનીયતા ઉલ્લંઘન તરફ દોરી શકે છે. ખુલ્લા કૉલ્સમાં ગોપનીયતા અને ડેટા રિલીઝ વિશે વધુ જાણવા માટે, Narayanan, Huey, and Felten (2016) અને પ્રકરણ 6 માં ચર્ચા જુઓ.

આગાહી અને સમજૂતી વચ્ચેના તફાવતો અને સમાનતા વિશે વધુ જાણવા માટે, Breiman (2001) , Breiman (2001) Shmueli (2010) , Watts (2014) અને Kleinberg et al. (2015) . સામાજિક સંશોધનમાં આગાહીની ભૂમિકા વિશે વધુ જાણવા માટે, Cederman and Weidmann (2017) Athey (2017) , Cederman and Weidmann (2017) , Hofman, Sharma, and Watts (2017) , ( ??? ) , અને Yarkoni and Westfall (2017) .

ડિઝાઇન સલાહ સહિત જીવવિજ્ઞાનમાં ખુલ્લા કૉલ પ્રોજેક્ટ્સની સમીક્ષા માટે, જુઓ Saez-Rodriguez et al. (2016)

• વિતરણ થયેલ ડેટા સંગ્રહ (વિભાગ 5.4)

ઈબર્ડનું મારું વર્ણન Bhattacharjee (2005) , Robbins (2013) , અને Sullivan et al. (2014) . ઈ-બર્ડ ડેટાના વિશ્લેષણ કરવા સંશોધકો આંકડાકીય મોડલ્સનો ઉપયોગ કેવી રીતે કરે છે તે વિશે વધુ જાણવા માટે Fink et al. (2010) અને Hurlbert and Liang (2012) . ઈબર્ડ સહભાગીઓની કુશળતાના અંદાજ વિશે વધુ જાણવા માટે, Kelling, Johnston, et al. (2015) . ઓર્નિથોલોજીમાં નાગરિક વિજ્ઞાનના ઇતિહાસ પર વધુ જાણવા માટે, Greenwood (2007) જુઓ.

માલાવી જર્નલો પ્રોજેક્ટ પર વધુ માટે, Watkins and Swidler (2009) અને Kaler, Watkins, and Angotti (2015) . દક્ષિણ આફ્રિકામાં સંબંધિત પ્રોજેક્ટ વિશે વધુ જાણવા માટે, Angotti and Sennott (2015) . માલાવી જર્નલો પ્રોજેક્ટના ડેટાનો ઉપયોગ કરીને સંશોધનના વધુ ઉદાહરણો માટે Kaler (2004) અને Angotti et al. (2014) .

• તમારી પોતાની ડિઝાઇન (વિભાગ 5.5)

ડિઝાઇન સલાહ આપવાનો મારો અભિગમ ઇન્ડક્વિવ હતો, સફળ અને નિષ્ફળ સામૂહિક સહકારના પ્રોજેક્ટ્સનાં ઉદાહરણો કે જે મેં સાંભળ્યા છે તેના આધારે. સામૂહિક સહકારના પ્રોજેક્ટ્સના ડિઝાઇન સાથે સંબંધિત ઓનલાઇન સમુદાયોને ડિઝાઇન કરવા માટે વધુ સામાજીક મનોવૈજ્ઞાનિક સિદ્ધાંતોને લાગુ કરવાના પ્રયત્નોનો એક પ્રવાહ પણ છે, જુઓ, ઉદાહરણ તરીકે, Kraut et al. (2012) .

સહભાગીઓને પ્રેરિત કરવા અંગે, તે વાસ્તવમાં ખૂબ જ મુશ્કેલ છે કારણ કે લોકો સામૂહિક સહયોગ પ્રોજેક્ટમાં ભાગ લે છે (Cooper et al. 2010; Nov, Arazy, and Anderson 2011; Tuite et al. 2011; Raddick et al. 2013; Preist, Massung, and Coyle 2014) . જો તમે સહભાગીઓને માઇક્રોટૉક શ્રમ બજાર (દા.ત. એમેઝોન યાંત્રિક ટર્ક) પર ચુકવણી સાથે પ્રોત્સાહિત કરવાની યોજના ઘડી રહ્યા હોય, તો કેટરૂ Kittur et al. (2013) કેટલાક સલાહ આપે છે

આશ્ચર્યજનક સક્ષમ કરવા અંગે, ઝૂઓફર્સ પ્રોજેક્ટ્સમાંથી આવતા અનપેક્ષિત શોધોના વધુ ઉદાહરણો માટે, Marshall, Lintott, and Fletcher (2015) .

નૈતિક હોવા અંગે, Gilbert (2015) , Salehi et al. (2015) , Schmidt (2013) , Williamson (2016) , Resnik, Elliott, and Miller (2015) , અને Zittrain (2008) . ભીડ કર્મચારીઓ સાથેના કાનૂની મુદ્દાઓને લગતા મુદ્દાઓ માટે, Felstiner (2011) જુઓ. O'Connor (2013) સંશોધકોની ભૂમિકા અને સહભાગીઓની અસ્પષ્ટતાના સંશોધનની નીતિવિષયક દેખરેખ વિશે પ્રશ્નો પૂછે છે. નાગરિક વિજ્ઞાન પ્રોજેક્ટ્સમાં સહભાગીઓને બચાવતી વખતે વહેંચણીના ડેટાથી સંબંધિત સમસ્યાઓ માટે, જુઓ Bowser et al. (2014) . બંને Purdam (2014) અને Windt and Humphreys (2016) વિતરણ ડેટા સંગ્રહમાં નૈતિક મુદ્દાઓ વિશે કેટલીક ચર્ચાઓ ધરાવે છે. છેલ્લે, મોટા ભાગનાં પ્રોજેક્ટ્સ યોગદાન પ્રત્યુત્તર આપે છે પરંતુ સહભાગીઓને લેખકોને ક્રેડિટ આપતા નથી. ફોલ્ડિટમાં ખેલાડીઓને ઘણીવાર લેખક તરીકે યાદી આપવામાં આવે છે (Cooper et al. 2010; Khatib et al. 2011) . અન્ય ખુલ્લા કૉલ પ્રોજેક્ટ્સમાં, વિજેતા ફાળો આપનાર ઘણી વાર તેમના ઉકેલો (દા.ત. Bell, Koren, and Volinsky (2010) અને Dieleman, Willett, and Dambre (2015) ) નું વર્ણન કરતી પેપર લખી શકે છે.