વધુ કોમેન્ટરી

આ વિભાગ બદલે કથા વાંચી શકાય એક સંદર્ભ તરીકે ઉપયોગ કરવા માટે રચાયેલ છે.

• પરિચય (વિભાગ 4.1)

સામાજિક સંશોધન પદ્ધતિ મુખ્યત્વે કાર્યકારણની વિશે પ્રશ્નો ઘણી વખત જટિલ અને જટિલ છે. સાધક આલેખ પર આધારિત પદ્ધતિ મુખ્યત્વે કાર્યકારણની માટે પાયાના અભિગમ માટે, જુઓ Pearl (2009) , અને પાયાના સંભવિત પરિણામો પર આધારિત અભિગમ માટે, જુઓ Imbens and Rubin (2015) (અને આ પ્રકરણમાં ટેકનિકલ પરિશિષ્ટ). આ બે અભિગમો વચ્ચે સરખામણી માટે, જુઓ Morgan and Winship (2014) . એક confounder વ્યાખ્યાયિત કરવા માટે એક ઔપચારિક અભિગમ માટે, જુઓ VanderWeele and Shpitser (2013) .

પ્રકરણમાં, હું શું પ્રાયોગિક અને બિન-પ્રયોગ માહિતી સાધક અંદાજ બનાવવા માટે અમારી ક્ષમતા વચ્ચે તેજસ્વી રેખા જેવા લાગતું હતું બનાવવામાં. વાસ્તવમાં, મને લાગે છે કે ભેદ blurrier છે. ઉદાહરણ તરીકે, કે જે દરેક ધુમ્રપાન કેન્સર હોવા છતાં અમે એક નિદર્શિત અંકુશિત પ્રયોગ દબાણ કરે છે કે લોકો ધૂમ્રપાન ક્યારેય નહોતું કર્યું છે કારણ બને છે સ્વીકારે છે. બિન-પ્રાયોગિક માહિતી સાધક અંદાજો પર ઉત્તમ પુસ્તક લંબાઈ સારવાર માટે જુઓ Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , અને Dunning (2012) .

અધ્યાય 1 અને 2 Freedman, Pisani, and Purves (2007) પ્રયોગો, નિયંત્રિત પ્રયોગો વચ્ચે તફાવતો માં સ્પષ્ટ પરિચય આપે છે, અને નિયંત્રિત પ્રયોગો રેન્ડમાઇઝ્ડ.

Manzi (2012) નિદર્શિત અંકુશિત પ્રયોગો ફિલોસોફિકલ અને આંકડાકીય underpinnings એક રસપ્રદ અને વાંચનીય પરિચય પૂરો પાડે છે. તે પણ બિઝનેસ પ્રયોગો શક્તિ રસપ્રદ વાસ્તવિક દુનિયાની ઉદાહરણો પૂરી પાડે છે.

• પ્રયોગો શું છે? (વિભાગ 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) પ્રાયોગિક ડિઝાઇન અને વિશ્લેષણ આંકડાકીય પાસાં સારી પરિચય પૂરો પાડે છે. અર્થશાસ્ત્ર: વધુમાં, ત્યાં ઘણા વિવિધ ક્ષેત્રોમાં પ્રયોગો ઉપયોગ ઉત્તમ સારવાર છે (Bardsley et al. 2009) , સમાજશાસ્ત્ર (Willer and Walker 2007; Jackson and Cox 2013) , મનોવિજ્ઞાન (Aronson et al. 1989) , રાજકીય વિજ્ઞાન (Morton and Williams 2010) , અને સામાજિક નીતિ (Glennerster and Takavarasha 2013) .

સહભાગી ભરતી (દા.ત., નમૂના) મહત્વ ઘણીવાર પ્રાયોગિક સંશોધન હેઠળ પ્રશંસા છે. જો કે, જો સારવાર અસર વસ્તી ભિન્ન લક્ષણો ધરાવે છે, તો પછી નમૂના જટિલ છે. Longford (1999) જ્યારે તેમણે ફાંસી નમૂના સાથે વસતિ તરીકે પ્રયોગો વિચારી સંશોધકો માટે હિમાયત રીતે આ સ્પષ્ટ બિંદુ બનાવે છે.

• પ્રયોગો બે પરિમાણો: લેબ ક્ષેત્ર અને એનાલોગ-ડિજિટલ (વિભાગ 4.3)

બંને જૂથના કે હું લેબ અને ક્ષેત્ર પ્રયોગો વચ્ચે રજૂ સરળ એક બીટ છે. હકીકતમાં, અન્ય સંશોધકો ખાસ મુદ્દાઓ કે અલગ ક્ષેત્ર પ્રયોગો વિવિધ સ્વરૂપો વધુ વિગતવાર પ્રતીકાત્મક વ્યાખ્યાઓ કરવાની દરખાસ્ત કરી છે, (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . સર્વે પ્રયોગો અને સામાજિક પ્રયોગો સર્વે પ્રયોગો છે હાલની સર્વે ઇન્ફ્રાસ્ટ્રક્ચરની મદદથી પ્રયોગો અને વૈકલ્પિક આવૃત્તિઓ માટે પ્રતિસાદ તુલના કરો વધુ, ત્યાં સામાજિક વૈજ્ઞાનિકો દ્વારા કરવામાં પ્રયોગો કે લેબ અને ક્ષેત્રમાં બંને જૂથના માં સરસ રીતે ફિટ નથી અન્ય બે પ્રકારના હોય છે. એ જ પ્રશ્નો (કેટલાક સર્વે પ્રયોગો પ્રકરણ 3 માં રજૂ કરવામાં આવે છે); સર્વે પ્રયોગો પર વધુ જોવા માટે Mutz (2011) . સામાજિક પ્રયોગો પ્રયોગો જ્યાં સારવાર કેટલાક સામાજિક નીતિ કે માત્ર સરકાર દ્વારા અમલ કરી શકાય છે છે. સામાજિક પ્રયોગો નજીકથી મૂલ્યાંકન કાર્યક્રમ સાથે સંબંધિત છે. નીતિ પ્રયોગો પર વધુ માટે, જુઓ Orr (1998) , Glennerster and Takavarasha (2013) , અને Heckman and Smith (1995) .

કાગળો નંબર અમૂર્ત લેબ અને ક્ષેત્રમાં પ્રયોગો સાથે સરખાવ્યું (Falk and Heckman 2009; Cialdini 2009) અને રાજકીય વિજ્ઞાન ચોક્કસ પ્રયોગો પરિણામો દ્રષ્ટિએ (Coppock and Green 2015) , અર્થશાસ્ત્ર (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) અને મનોવિજ્ઞાન (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) લેબ અને ક્ષેત્ર પ્રયોગો પરિણામો સરખામણી માટે એક સરસ સંશોધન ડિઝાઇન તક આપે છે.

તેમની વર્તણૂક બદલવા કારણ કે તેઓ જાણતા તેઓ નજીકથી નિરીક્ષણ કરવામાં આવી રહી છે ક્યારેક માંગ અસરો કહેવામાં આવે છે, અને તેઓ મનોવિજ્ઞાન અભ્યાસ કરવામાં આવે છે સહભાગીઓ વિશે ચિંતા (Orne 1962) અને અર્થશાસ્ત્ર (Zizzo 2009) . તેમ છતાં મોટે ભાગે પ્રયોગશાળામાં પ્રયોગો સાથે સંકળાયેલ છે, આ જ મુદ્દાઓ તેમજ ક્ષેત્ર પ્રયોગો માટે મુશ્કેલીનું કારણ બની શકે છે. હકીકતમાં, માંગ અસરો પણ ક્યારેક હોથ્રોન અસરો શબ્દ કે એક ક્ષેત્ર પ્રયોગ પરથી આવ્યો છે, ખાસ કરીને પ્રખ્યાત પ્રકાશ પ્રયોગો કે વેસ્ટર્ન ઈલેક્ટ્રિક કંપની હોથ્રોન કામ કરે છે ખાતે 1924 માં શરૂ થયો હતો કહેવાય છે, (Adair 1984; Levitt and List 2011) . બંને માંગ અસરો અને હોથોર્ન અસરો નજીકથી પ્રકરણ 2 ચર્ચા પ્રતિક્રિયાશીલ માપ વિચાર સાથે સંબંધિત છે (આ પણ જુઓ Webb et al. (1966) ).

ક્ષેત્રમાં પ્રયોગો ઇતિહાસ અર્થશાસ્ત્ર વર્ણન કરવામાં આવ્યું છે (Levitt and List 2009) , રાજકીય વિજ્ઞાન (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , મનોવિજ્ઞાન (Shadish 2002) , અને જાહેર નીતિ (Shadish and Cook 2009) . જ્યાં ક્ષેત્ર પ્રયોગો ઝડપથી આગળ આવ્યા સામાજિક વિજ્ઞાન એક વિસ્તાર આંતરરાષ્ટ્રીય વિકાસ છે. અર્થશાસ્ત્ર અંદર કે કામ હકારાત્મક સમીક્ષા માટે જુઓ Banerjee and Duflo (2009) , અને એક જટિલ આકારણી માટે જોઈ Deaton (2010) . રાજકીય વિજ્ઞાન આ કામ એક સમીક્ષા માટે જોઈ Humphreys and Weinstein (2009) . છેલ્લે, નૈતિક ક્ષેત્ર પ્રયોગો સાથે સંકળાયેલા પડકારો રાજકીય વિજ્ઞાન તપાસવામાં આવ્યા છે (Humphreys 2015; Desposato 2016b) અને વિકાસ અર્થશાસ્ત્ર (Baele 2013) .

પ્રકરણ માં, હું સૂચવ્યું કે પૂર્વ સારવાર માહિતી અંદાજ સારવાર અસરો ચોકસાઇ સુધારવા માટે વાપરી શકાય છે, પરંતુ આ અભિગમ વિશે કેટલીક ચર્ચા છે: Freedman (2008) , Lin (2013) , અને Berk et al. (2013) ; જોવા Bloniarz et al. (2016) વધુ માહિતી માટે.

• સરળ પ્રયોગો બહાર ખસેડવા (વિભાગ 4.4)

માન્યતા, સારવાર અસરો વૈવિધ્યનો અને પદ્ધતિઓ: હું ત્રણ વિભાવનાઓ પર ધ્યાન કેન્દ્રિત કરવા માટે પસંદ કર્યા છે. આ વિચારો વિવિધ ક્ષેત્રોમાં વિવિધ નામો છે. ઉદાહરણ તરીકે, મનોવૈજ્ઞાનિકો મિડીયેટર અને મધ્યસ્થીઓ પર ધ્યાન કેન્દ્રિત દ્વારા સરળ પ્રયોગો બહાર ખસેડવા માટે હોય છે (Baron and Kenny 1986) . મિડીયેટર વિચાર હું શું પદ્ધતિઓ કૉલ દ્વારા પકડવામાં આવે છે, અને મધ્યસ્થીઓ વિચાર હું શું બાહ્ય માન્યતા (દા.ત., પ્રયોગ પરિણામો અલગ અલગ હોઈ શકે છે, જો તે વિવિધ પરિસ્થિતિઓમાં ચલાવી હતી) અને સારવાર અસરો વૈવિધ્યનો (કોલ દ્વારા પકડવામાં આવે છે દા.ત., અસરો અન્ય લોકો કરતા કેટલાક લોકો) માટે મોટી હોય છે.

ના પ્રયોગ Schultz et al. (2007) બતાવે છે કે કેવી સામાજિક સિદ્ધાંતો અસરકારક દરમિયાનગીરી ડિઝાઇન કરવા માટે વાપરી શકાય. અસરકારક હસ્તક્ષેપ ડિઝાઇન સિદ્ધાંત ભૂમિકા અંગે વધુ સામાન્ય દલીલ માટે, જુઓ Walton (2014) .

• માન્યતા (વિભાગ 4.4.1)

આંતરિક અને બાહ્ય માન્યતા ખ્યાલો પ્રથમ રજૂ કરવામાં આવ્યા હતા Campbell (1957) . જુઓ Shadish, Cook, and Campbell (2001) , એક વધુ વિગતવાર ઇતિહાસ અને આંકડાકીય નિષ્કર્ષ માન્યતા, આંતરિક માન્યતા એક સાવચેત લંબાણ માટે માન્યતા, અને બાહ્ય માન્યતા રચવા.

પ્રયોગો આંકડાકીય નિષ્કર્ષ માન્યતા સંબંધિત મુદ્દાઓનું વિહંગાવલોકન જોવા માટે Gerber and Green (2012) (એક સામાજિક વિજ્ઞાન પરિપ્રેક્ષ્ય માટે) અને Imbens and Rubin (2015) (એક આંકડાકીય પરિપ્રેક્ષ્ય માટે). આંકડાકીય નિષ્કર્ષ માન્યતા છે કે કેટલાક મુદ્દાઓ ઓનલાઇન ક્ષેત્ર પ્રયોગો ખાસ ઊભી જેમ આધારિત માહિતી સાથે વિશ્વાસ અંતરાલો બનાવવા માટે ગણતરીની કાર્યક્ષમ પદ્ધતિઓ મુદ્દાઓ સમાવેશ થાય છે (Bakshy and Eckles 2013) .

આંતરિક માન્યતા જટિલ ક્ષેત્ર પ્રયોગો તેની ખાતરી કરવા માટે મુશ્કેલ હોઈ શકે છે. ઉદાહરણ તરીકે, માટે, જુઓ Gerber and Green (2000) , Imai (2005) , અને Gerber and Green (2005) મતદાન વિશે જટિલ ક્ષેત્ર પ્રયોગ અમલીકરણ વિશે ચર્ચા છે. Kohavi et al. (2012) અને Kohavi et al. (2013) ઓનલાઇન ક્ષેત્ર પ્રયોગો અંતરાલ માન્યતા પડકારો માં એક પરિચય પૂરો પાડે છે.

આંતરિક માન્યતા સાથે એક મુખ્ય ચિંતા રેન્ડમાઈઝેશન સાથે સમસ્યાઓ છે. એક રીતે સંભવિત રેન્ડમાઈઝેશન સાથે સમસ્યાઓ શોધવા માટે અવલોકનક્ષમ લક્ષણો પર સારવાર અને નિયંત્રણ જૂથો સરખાવવા માટે છે. સરખામણી આ પ્રકારની બેલેન્સ ચેક કહેવામાં આવે છે. જુઓ Hansen and Bowers (2008) એક આંકડાકીય અભિગમ તપાસમાં સંતુલન, અને જોવા માટે Mutz and Pemantle (2015) બેલેન્સ તપાસમાં વિશે ચિંતા છે. ઉદાહરણ તરીકે, એક સિલક મદદથી તપાસ Allcott (2011) મળી કેટલાક પુરાવા છે કે રેન્ડમાઈઝેશન OPower પ્રયોગો કેટલાક પ્રયોગો ત્રણ યોગ્ય રીતે અમલ ન હતી ત્યાં છે (કોષ્ટક જુઓ 2; સાઇટ્સ 2, 6, અને 8). અન્ય અભિગમ માટે, જુઓ Imbens and Rubin (2015) , પ્રકરણ 21.

આંતરિક માન્યતા સાથે સંબંધિત અન્ય મુખ્ય ચિંતા છે: 1) એક બાજુ બિન-પાલન, જ્યાં સારવાર જૂથ દરેક જણ ખરેખર સારવાર પ્રાપ્ત થાય છે, 2) બે બાજુ બિન-પાલન, જ્યાં સારવાર જૂથ દરેક જણ સારવાર અને કેટલાક મેળવે નિયંત્રણ જૂથ લોકો સારવાર, 3) ઘસારાનું, જ્યાં પરિણામો કેટલાક સહભાગીઓ માટે માપવામાં આવે છે, અને 4) હસ્તક્ષેપ, જ્યાં સારવાર પર લોકો પાસેથી સારવાર શરત લોકોને નિયંત્રિત સ્થિતિમાં ઢોળાઇ મેળવે છે. જુઓ Gerber and Green (2012) પ્રકરણ 5, 6, 7, અને આ મુદ્દાઓ દરેક પર વધુ માટે 8.

રચના માન્યતા પર વધુ માટે, જુઓ Westen and Rosenthal (2003) , અને મોટા ડેટા સ્રોતો રચના માન્યતા પર વધુ માટે Lazer (2015) અને આ પુસ્તક પ્રકરણ 2.

બાહ્ય માન્યતા એક પાસા સેટિંગ જ્યાં એક હસ્તક્ષેપ ચકાસાયેલ છે. Allcott (2015) સાઇટ પસંદગી પૂર્વગ્રહ એક સાવચેત સૈદ્ધાંતિક અને પ્રયોગમૂલક સારવાર પૂરી પાડે છે. આ મુદ્દો પણ ચર્ચા કરવામાં આવી છે Deaton (2010) . ઘણી સાઇટ્સ નકલ હોવા ઉપરાંત, હોમ એનર્જી રિપોર્ટ હસ્તક્ષેપ પણ સ્વતંત્ર રીતે બહુવિધ સંશોધન જૂથો દ્વારા અભ્યાસ કરવામાં આવ્યો છે (દા.ત., Ayres, Raseman, and Shih (2013) ).

• સારવાર અસરો વૈવિધ્યનો (વિભાગ 4.4.2)

ક્ષેત્રમાં પ્રયોગો સારવાર અસરો વૈવિધ્યનો એક ઉત્તમ ઝાંખી માટે, પ્રકરણ 12 જુઓ Gerber and Green (2012) . તબીબી ટ્રાયલ સારવાર અસરો વૈવિધ્યનો પરિચય માટે, જુઓ Kent and Hayward (2007) , Longford (1999) , અને Kravitz, Duan, and Braslow (2004) . સારવાર અસરો વૈવિધ્યનો સામાન્ય રીતે પૂર્વ સારવાર લક્ષણો પર આધારિત તફાવતો પર ભાર મૂકે છે. તમે પોસ્ટ સારવાર પરિણામો પર આધારિત વૈવિધ્યનો રસ હોય તો, પછી વધુ જટિલ approachs જેમ મુખ્ય સ્તરીકરણ તરીકે જરૂરી છે (Frangakis and Rubin 2002) ; જોવા Page et al. (2015) એક સમીક્ષા છે.

ઘણા સંશોધકો રેખીય રીગ્રેસન સુધારાયું મદદથી સારવાર અસરો વૈવિધ્યનો અંદાજ છે, પરંતુ નવી પદ્ધતિઓ મશીન શિક્ષણ પર આધાર રાખે છે, ઉદાહરણ તરીકે Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , અને Athey and Imbens (2016a) .

કારણ કે ત્યાં ઘણા સરખામણી સમસ્યાઓ અને ". માછીમારી" ત્યાં આંકડાકીય અભિગમ છે કે જે ઘણી સરખામણી વિશે સરનામું ચિંતા મદદ કરી શકે છે વિવિધ છે અસરો વૈવિધ્યનો તારણો વિશે કેટલાક નાસ્તિકતા છે (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "માછીમારી" અંગે ચિંતા કરવાનો એક અભિગમ પૂર્વ નોંધણી, જે મનોવિજ્ઞાન વધુ ને વધુ સામાન્ય બની રહ્યું છે (Nosek and Lakens 2014) , રાજકીય વિજ્ઞાન (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) અને અર્થશાસ્ત્ર (Olken 2015) .

અભ્યાસ માં Costa and Kahn (2013) માત્ર પ્રયોગ ઘરોમાં લગભગ અડધા વસ્તી વિષયક માહિતી સાથે લિંક કરી સક્ષમ હતા. આ વિશ્લેષણ સાથે વિગતો અને શક્ય સમસ્યાઓ રસ વાચકો મૂળ કાગળ નો સંદર્ભ લેવો જોઈએ.

• પદ્ધતિઓ (વિભાગ 4.4.3)

પદ્ધતિ અતિ મહત્વપૂર્ણ છે, પરંતુ તેઓ અભ્યાસ કરવા માટે ખૂબ જ મુશ્કેલ હોઈ બહાર ફેરવે છે. પદ્ધતિઓ વિશે સંશોધન નજીકથી મનોવિજ્ઞાન મિડીયેટર અભ્યાસ માટે સંબંધિત છે (પરંતુ આ પણ જુઓ VanderWeele (2009) બે વિચારો વચ્ચે એક ચોક્કસ સરખામણી માટે). આવા વિકસાવવામાં અભિગમ તરીકે શોધવા તંત્ર સ્ટેટિસ્ટિકલ અભિગમ, Baron and Kenny (1986) , તદ્દન સામાન્ય છે. કમનસીબે, તે તારણ છે કે તે કાર્યવાહી કેટલાક મજબૂત ધારણા પર આધાર રાખે છે (Bullock, Green, and Ha 2010) અને ભોગ ત્યારે ત્યાં ઘણી પદ્ધતિઓ છે, કારણ કે એક ઘણી પરિસ્થિતિઓમાં આશા રાખી શકે છે (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) અને Imai and Yamamoto (2013) કેટલાક સુધારો આંકડાકીય પદ્ધતિઓ તક આપે છે. વધુમાં, VanderWeele (2015) સંવેદનશીલતા વિશ્લેષણ કરવા માટે એક વ્યાપક અભિગમ સહિત મહત્વના પરિણામો, એક નંબર સાથે એક પુસ્તક લંબાઈ સારવાર આપે છે.

એક અલગ અભિગમ પ્રયોગો કે પદ્ધતિ સીધા (દા.ત., આપ્યા ખલાસીઓ વિટામિન સી) ચાલાકી કરવાનો પ્રયાસ પર ધ્યાન કેન્દ્રિત કરે છે. કમનસીબે, ઘણી સામાજિક વિજ્ઞાન સેટિંગ્સ ત્યાં ઘણીવાર અનેક પદ્ધતિઓ છે અને તે સારવાર કે અન્ય ફેરફાર કર્યા વિના એક ડિઝાઇન બદલો મુશ્કેલ છે. કેટલાક અભિગમ પ્રાયોગિક ફેરફાર પદ્ધતિઓ વર્ણવેલ છે માટે Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , અને Pirlott and MacKinnon (2016) .

છેલ્લે, પદ્ધતિઓ પણ એક લાંબો ઇતિહાસ વિજ્ઞાન ફિલસૂફી દ્વારા વર્ણવી Hedström and Ylikoski (2010) .

• વર્તમાન વાતાવરણમાં ઉપયોગ (વિભાગ 4.5.1.1)

પત્રવ્યવહાર અભ્યાસ અને ઓડિટ અભ્યાસ ઉપયોગ ભેદભાવ માપવા પર વધુ માટે જુઓ Pager (2007) .

• તમારા પોતાના પ્રયોગ બનાવો (વિભાગ 4.5.1.2)

સૌથી સામાન્ય રીતે પ્રયોગો કે તમે બિલ્ડ કરવા સહભાગીઓ ભરતી એમેઝોન યાંત્રિક ટર્ક (MTurk) છે. પરંપરાગત પ્રયોગશાળામાં પ્રયોગો કિંમતે લોકો MTurk નકલ પાસાઓ ક્રિયાઓ કે તેઓ ફ્રી ઘણા સંશોધકો માટે ન હોત પૂર્ણ કરવા માટે કારણ કે પહેલેથી જ પરંપરાગત કરતાં ઝડપી અને સસ્તા માહિતી સંગ્રહ પરિણામે માનવ વિષયો પ્રયોગો માં સહભાગીઓની કારણ કે Turkers (MTurk પર કામદાર) નો ઉપયોગ કરીને શરૂ કર્યું છે કેમ્પસ પ્રયોગશાળા પ્રયોગો (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

MTurk ભરતી સહભાગીઓ સાથે પ્રયોગો સૌથી મોટી તાકાત હેરફેર છે: તેઓ સંશોધકો સહભાગીઓ ભરતી ઝડપથી અને જરૂરી પરવાનગી આપે છે. જ્યારે પ્રયોગશાળામાં પ્રયોગો ચલાવવા માટે અઠવાડિયા લાગી શકે છે અને આ ક્ષેત્રમાં પ્રયોગો મહિના લાગી સેટ અપ કરી શકો છો, MTurk ભરતી સહભાગીઓ સાથે પ્રયોગો દિવસોમાં ચલાવી શકાય છે. ઉદાહરણ તરીકે, Berinsky, Huber, and Lenz (2012) એક જ દિવસમાં 400 વિષયો ભરતી 8 મિનિટ પ્રયોગ ભાગ લેવા માટે સક્ષમ હતા. વધુમાં, આ સહભાગીઓ (કારણ કે પ્રકરણ 3 માં ચર્ચા, સર્વેક્ષણો અને સામૂહિક સહયોગ સહિત અને 5) વર્ચ્યુઅલ કોઈપણ હેતુ માટે ભરતી કરી શકાય છે. ભરતી આ સરળતા છે કે સંશોધકો ઝડપી ઉત્તરાધિકાર માં સંબંધિત પ્રયોગો સિક્વન્સ ચલાવી શકો છો છે.

તમારા પોતાના પ્રયોગો માટે MTurk સહભાગીઓ ભરતી પહેલાં, ત્યાં ચાર મહત્વપૂર્ણ વસ્તુઓ જાણવા જેવી છે. પ્રથમ, ઘણા સંશોધકો Turkers સંડોવતા પ્રયોગો બિન-ચોક્કસ નાસ્તિકતા છે. કારણ કે આ નાસ્તિકતા ચોક્કસ નથી, તે પુરાવા સાથે સામનો કરવા માટે મુશ્કેલ છે. જો કે, Turkers મદદથી અભ્યાસ ઘણા વર્ષો પછી, આપણે હવે કહી શકાય કે આ નાસ્તિકતા ખાસ કરીને જરૂરી નથી. ઘણા અન્ય વસ્તી અને ઘણા અભ્યાસો અન્ય વસ્તી ના પરિણામો Turkers સાથે પ્રયોગો પરિણામો સરખામણી Turkers વસ્તી વિષયક સરખામણી અભ્યાસ કરવામાં આવી છે. આ બધા કામ આપેલ છે, મને લાગે છે કે તમે એના વિશે વિચારો માટે શ્રેષ્ઠ માર્ગ છે કે Turkers ખૂબ વિદ્યાર્થીઓ પરંતુ થોડી વધુ વૈવિધ્યસભર જેમ, વાજબી સગવડ નમૂનો છે (Berinsky, Huber, and Lenz 2012) . આમ, માત્ર કારણ કે વિદ્યાર્થીઓ કેટલાક માટે વાજબી વસ્તી પરંતુ તમામ પ્રાયોગિક સંશોધન છે, Turkers કેટલાક માટે વાજબી વસ્તી નથી, પરંતુ બધા સંશોધન છે. તમે Turkers સાથે કામ કરવા માટે જતા હોય છે, તો પછી તે અર્થમાં આ તુલનાત્મક અભ્યાસ અનેક વાંચી અને તેમના ઘોંઘાટ સમજવા માટે બનાવે છે.

બીજું, સંશોધકો ટર્ક પ્રયોગો આંતરિક માન્યતા વધારો શ્રેષ્ઠ પદ્ધતિઓ વિકસાવી છે, અને તમે તે વિશે જાણવા માટે અને આ શ્રેષ્ઠ પદ્ધતિઓ પાલન કરીશું (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . ઉદાહરણ તરીકે, Turkers મદદથી સંશોધકો screeners વાપરવા માટે બેધ્યાન સહભાગીઓ દૂર કરવા માટે પ્રોત્સાહિત કરવામાં આવે છે (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (આ પણ જુઓ DJ Hauser and Schwarz (2015b) અને DJ Hauser and Schwarz (2015a) ). તમે બેધ્યાન સહભાગીઓ દૂર નથી, તો પછી સારવાર કોઈપણ અસર બેધ્યાન સહભાગીઓ રજૂ અવાજ દ્વારા ધોવાઇ કરી શકાય છે, અને વ્યવહારમાં બેધ્યાન સહભાગીઓ ની સંખ્યા નોંધપાત્ર હોઈ શકે છે. હુબર અને સાથીદારો પ્રયોગ (2012) સહભાગીઓ લગભગ 30% મૂળભૂત ધ્યાન screeners નિષ્ફળ. અન્ય સમસ્યા Turkers સાથે સામાન્ય બિન નિષ્કપટ સહભાગીઓ છે (Chandler et al. 2015) .

ત્રીજું, ડિજિટલ પ્રયોગો કેટલાક અન્ય સ્વરૂપો સંબંધિત, MTurk પ્રયોગો પરિમાણ કરી શકો છો; Stewart et al. (2015) અંદાજ છે કે જે કોઈપણ સમયે ત્યાં MTurk પર માત્ર 7,000 લોકો છે.

છેલ્લે, તમને ખબર હોવી જોઇએ કે MTurk તેના પોતાના નિયમો અને ધોરણો સાથે એક સમુદાય છે (Mason and Suri 2012) . તે જ રીતે તમે એક દેશ જ્યાં તમે તમારા પ્રયોગો ચલાવવા માટે જતા હતા સંસ્કૃતિ વિશે શોધવા માટે પ્રયાસ કરશે, તમે સંસ્કૃતિ અને Turkers ધોરણો વિશે વધુ શોધવા માટે પ્રયાસ કરવો જોઈએ (Salehi et al. 2015) . અને, તમને ખબર હોવી જોઇએ કે Turkers તમારા પ્રયોગ વિશે વાત કરવામાં આવશે, તો તમે કંઈક અયોગ્ય અથવા અનૈતિક કરવા (Gray et al. 2016) .

MTurk તમારા પ્રયોગો માટે સહભાગીઓ ભરતી કરવા માટે એક અતિ અનુકૂળ માર્ગ છે, શું તેઓ જેમ કે લેબ જેવા છે, Huber, Hill, and Lenz (2012) , અથવા વધુ ક્ષેત્રમાં જેવા, જેમ કે Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , અને Mao et al. (2016) .

• તમારા પોતાના ઉત્પાદન બનાવો (વિભાગ 4.5.1.3)

તમે તમારા પોતાના ઉત્પાદન બનાવવા માટે પ્રયાસ કરી વિચારી રહ્યા હોય તો, હું ભલામણ છે કે તમે સલાહ MovieLens જૂથ દ્વારા ઓફર વાંચી Harper and Konstan (2015) . તેમના અનુભવ પરથી એક કી સૂઝ કે દરેક સફળ પ્રોજેક્ટ માટે ત્યાં ઘણી નિષ્ફળતાઓ છે. ઉદાહરણ તરીકે, MovieLens જૂથ જેમ કે GopherAnswers કે સદંતર નિષ્ફળ નીવડ્યા હતા, જેમ કે અન્ય ઉત્પાદનો લોન્ચ (Harper and Konstan 2015) . એક સંશોધક ઉત્પાદન બીલ્ડ કરવા માટે પ્રયત્ન કરતી વખતે નિષ્ફળ અન્ય ઉદાહરણ એક ઑનલાઇન રમત આર્ડેન કહેવાય બિલ્ડ એડવર્ડ Castronova પ્રયાસ છે. ભંડોળ $ 250,000 હોવા છતાં, આ પ્રોજેક્ટ એક ફ્લોપ રહી હતી (Baker 2008) . GopherAnswers અને આર્ડેન જેવા પ્રોજેક્ટ્સ કમનસીબે ખૂબ MovieLens જેવા પ્રોજેક્ટો કરતાં વધુ સામાન્ય છે. છેલ્લે, જ્યારે હું જણાવ્યું હતું કે હું કોઇ પણ અન્ય સંશોધકો કે જેઓ સફળતાપૂર્વક પુનરાવર્તન પ્રયોગો માટે ઉત્પાદનો બાંધવામાં હતી ખબર ન હતી અહીં મારા માપદંડ છે: 1) સહભાગીઓ કારણ કે તે શું તેમને પૂરી પાડે છે (દા.ત., તેઓ ચૂકવવામાં આવે છે ઉત્પાદન ઉપયોગ અને તેઓ નથી સ્વયંસેવકો વિજ્ઞાન મદદ) અને 2) ઉત્પાદન એક કરતાં વધુ અલગ પ્રયોગ (એટલે ​​કે, એ જ પ્રયોગ ઘણી અલગ સહભાગી પુલ સાથે વખત) માટે ઉપયોગ કરવામાં આવે છે. તમે અન્ય ઉદાહરણો ખબર તો મને જણાવવા વિનંતી.

• શક્તિશાળી સાથે જીવનસાથી (વિભાગ 4.5.2)

હું પાશ્ચર એ ચતુર્થાંશ ટેક કંપનીઓ વારંવાર ચર્ચા વિચાર સાંભળ્યું કર્યું, અને તે Google પર સંશોધન પ્રયત્નો આયોજન કરવામાં મદદ કરે છે (Spector, Norvig, and Petrov 2012) .

બોન્ડ અને સહકર્મીઓ 'અભ્યાસ (2012) પણ જેઓ તેમને પ્રાપ્ત મિત્રો પર આ સારવાર અસર શોધવા માટે પ્રયત્ન કરે છે. કારણ કે પ્રયોગ ડિઝાઇન, આ spillovers સ્વચ્છ શોધવા માટે મુશ્કેલ છે; રસ વાચકો જોવા જોઈએ Bond et al. (2012) વધુ સંપૂર્ણ ચર્ચા માટે. આ પ્રયોગ મતદાન માટે પ્રોત્સાહિત કરવા માટે પ્રયાસો પર રાજકીય વિજ્ઞાન પ્રયોગો એક લાંબી પરંપરા ભાગ છે (Green and Gerber 2015) . કારણ કે તેઓ પાશ્ચર એ ચતુર્થાંશ છે આ વિચાર-આઉટ મત પ્રયોગો ભાગ સામાન્ય છે. એટલે કે, ત્યાં ઘણા લોકો મતદાન અને મતદાન વધારવા માટે વર્તન બદલવા અને સામાજિક પ્રભાવ વિશે વધુ સામાન્ય સિદ્ધાંતો ચકાસવા માટે એક રસપ્રદ વર્તન હોઈ શકે પ્રેરિત છે.

અન્ય સંશોધકોએ આવા રાજકીય પક્ષો, એનજીઓ, અને વ્યવસાયો ભાગીદાર સંસ્થાઓ સાથે ક્ષેત્ર પ્રયોગો ચાલી વિશે સલાહ પૂરી પાડવામાં આવી છે (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . અન્ય કેવી રીતે સંસ્થાઓ સાથે ભાગીદારી સંશોધન ડિઝાઇન અસર કરી શકે છે તે વિશે સલાહ ઓફર કરે છે (Green, Calfano, and Aronow 2014; King et al. 2007) . ભાગીદારી પણ નૈતિક પ્રશ્નો પરિણમી શકે છે (Humphreys 2015; Nickerson and Hyde 2016) .

• ડિઝાઇન સલાહ (વિભાગ 4.6)

તમે તમારા પ્રયોગ ચલાવતા પહેલાં એક વિશ્લેષણ યોજના બનાવી રહ્યા છે, તો હું સૂચવે છે કે તમે રિપોર્ટિંગ દિશાનિર્દેશો વાંચન દ્વારા શરૂ કરો. પત્ની માર્ગદર્શિકા (પરીક્ષણમાં કોન્સોલિડેટેડ સ્ટાન્ડર્ડ રિપોર્ટિંગ) દવા માં વિકસાવવામાં આવી હતી (Schulz et al. 2010) અને સામાજિક સંશોધન માટે સુધારી (Mayo-Wilson et al. 2013) . માર્ગદર્શિકા સંબંધિત સમૂહ પ્રાયોગિક પોલિટીકલ સાયન્સ જર્નલ ઓફ સંપાદકો દ્વારા વિકસિત કરવામાં આવી છે (Gerber et al. 2014) (આ પણ જુઓ Mutz and Pemantle (2015) અને Gerber et al. (2015) ). છેલ્લે, રિપોર્ટિંગ દિશાનિર્દેશો મનોવિજ્ઞાન માં વિકસાવવામાં આવી છે (Group 2008) , અને એ પણ જોવા Simmons, Nelson, and Simonsohn (2011) .

તમે એક વિશ્લેષણ યોજના બનાવો તો તમે તેને પૂર્વ રજીસ્ટર કારણ કે પૂર્વ નોંધણી વિશ્વાસ અન્ય લોકો તમારા પરિણામો છે કે વધારો કરશે વિચાર કરવો જોઇએ. વધુમાં, જો તમે એક ભાગીદાર સાથે કામ કરી રહ્યા છે, તે તમારા જીવનસાથી માતાનો પરિણામો જોયા બાદ વિશ્લેષણ બદલવા માટે ક્ષમતા મર્યાદિત કરશે. પૂર્વ નોંધણી મનોવિજ્ઞાન વધુ ને વધુ સામાન્ય બની રહ્યું છે (Nosek and Lakens 2014) , રાજકીય વિજ્ઞાન (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , અને અર્થશાસ્ત્ર (Olken 2015) .

તમારા પૂર્વ વિશ્લેષણ યોજના બનાવતી વખતે તમે ધ્યાન રાખો કે અમુક સંશોધકો પણ રીગ્રેસન અને સંબંધિત અભિગમ ઉપયોગ અંદાજ સારવાર અસર ચોકસાઇ સુધારવા માટે હોવી જોઈએ, અને ત્યાં આ અભિગમ વિશે કેટલીક ચર્ચા છે: Freedman (2008) , Lin (2013) , અને Berk et al. (2013) ; જોવા Bloniarz et al. (2016) વધુ માહિતી માટે.

ઓનલાઇન ક્ષેત્ર પ્રયોગો માટે ડિઝાઇન સલાહ ખાસ પણ પ્રસ્તુત છે Konstan and Chen (2007) અને Chen and Konstan (2015) .

• શૂન્ય ચલ ખર્ચ ડેટા બનાવો (વિભાગ 4.6.1)

MusicLab પ્રયોગો પર વધુ માટે, જુઓ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , અને Salganik (2007) . વિજેતા-લે-બધા બજારો પર વધુ માટે, જુઓ Frank and Cook (1996) . વધુ સામાન્ય અનટેન્ગલિંગ નસીબ અને કૌશલ્ય પર વધુ માટે, જુઓ Mauboussin (2012) , Watts (2012) , અને Frank (2016) .

ફરજિયાત ભરતી છે: સહભાગી ચૂકવણી કે સંશોધકો સાવધાની સાથે ઉપયોગ કરવો જોઈએ દૂર કરવા માટે અન્ય અભિગમ છે. ઘણા ઑનલાઇન ક્ષેત્ર પ્રયોગો માં સહભાગીઓની મૂળભૂત પ્રયોગો મૂકવામાં આવતો અને ક્યારેય સરભર કરવામાં આવે છે. આ અભિગમ ઉદાહરણો Restivo અને વેન દે Rijt માતાનો સમાવેશ થાય છે (2012) વિકિપીડિયા અને બોન્ડ અને સાથીદાર માં પારિતોષિકો પર પ્રયોગ (2012) મત આપવા માટે લોકો પ્રોત્સાહિત પર પ્રયોગ. આ પ્રયોગો ખરેખર શૂન્ય ચલ ખર્ચ નથી, તેઓ સંશોધકો શૂન્ય ચલ ખર્ચ છે. તેમ છતાં આ પ્રયોગો ઘણા ખર્ચ દરેક સહભાગી માટે અત્યંત નાની છે, નાના ખર્ચ સહભાગીઓ એક પ્રચંડ નંબર ઝડપથી ઉમેરી શકો છો લાદ્યો હતો. મોટા ઑનલાઇન પ્રયોગો ચાલી સંશોધકો વારંવાર કહે છે કે આ નાની અસરો મહત્વનું છે જ્યારે અનેક લોકો માટે લાગુ બની શકે છે નાના અંદાજે સારવાર અસરો મહત્વ justify. ચોક્કસ જ વિચારી ખર્ચ કે સંશોધકો સહભાગીઓ પર લાદી લાગુ પડે છે. તમારા પ્રયોગો એક મિનિટ બગાડો એક મિલિયન લોકો માટેનું કારણ બને છે, પ્રયોગ કોઈ ચોક્કસ વ્યક્તિ માટે ખૂબ જ નુકસાનકારક છે, પરંતુ એકંદર તે સમય લગભગ બે વર્ષ પામે છે.

સહભાગીઓ માટે શૂન્ય ચલ ખર્ચ ચુકવણી બનાવવા માટે બીજો અભિગમ એક લોટરી, એક અભિગમ છે કે જે પણ સર્વે રિસર્ચ ઉપયોગ કરવામાં આવ્યો છે ઉપયોગ કરવા માટે છે (Halpern et al. 2011) . છેલ્લે, ડિઝાઇન વિશે વધુ આનંદપ્રદ વપરાશકર્તા અનુભવ જોવા Toomim et al. (2011) .

• , બદલો રિફાઇન, અને ઘટાડો (વિભાગ 4.6.2)

અહીં ત્રણ આર મૂળ વ્યાખ્યાઓ, છે Russell and Burch (1959) :

"પુરવણી નિર્જીવ સામગ્રી સભાન રહેતા ઉચ્ચ પ્રાણીઓ માટે અવેજી થાય છે. ઘટાડો આપેલ રકમ અને ચોકસાઇ માહિતી મેળવવા માટે ઉપયોગમાં લેવાતા પ્રાણીઓના સંખ્યામાં ઘટાડો થાય છે. સંસ્કારિતા ભારણ અથવા તે પ્રાણીઓ હજુ પણ વાપરી શકાય છે, કે જે લાગુ પડે inhumane કાર્યવાહી ઉચ્ચતા કોઈપણ ઘટાડો થાય છે. "

ત્રણ આર કે હું પ્રસ્તાવ પ્રકરણ 6. વર્ણવેલ નૈતિક સિદ્ધાંતો પર ફરીથી લખી નથી તેના બદલે, તેઓ માનવ પ્રયોગો સેટિંગ માટે તે સિદ્ધાંતો-અહેસાન-ખાસ કરીને વધુ ઝીણવટપૂર્વક આવૃત્તિ છે.

જ્યારે લાગણીનો સંસર્ગ વિચારણા, જ્યારે આ પ્રયોગ ઈન્ટરપ્રીટ ધ્યાનમાં રાખવા ત્રણ બિન-નૈતિક મુદ્દાઓ છે. પ્રથમ, તે કેવી રીતે પ્રયોગ વાસ્તવિક વિગતો સૈદ્ધાંતિક દાવા સાથે જોડાવા સ્પષ્ટ નથી; અન્ય શબ્દોમાં, ત્યાં રચના માન્યતા વિશે પ્રશ્નો હોય છે. તે સ્પષ્ટ છે કે હકારાત્મક અને નકારાત્મક શબ્દ ગણે છે) 1 તે સ્પષ્ટ નથી ખરેખર સહભાગીઓ લાગણીશીલ રાજ્ય એક સારો સૂચક છે કે શબ્દો છે કે જે લોકો પોસ્ટ તેમના લાગણીઓ એક સારો સૂચક છે અને 2) તે સ્પષ્ટ નથી ખાસ સેન્ટિમેન્ટ વિશ્લેષણ ટેકનીક છે કે જે સંશોધકો ઉપયોગ વિશ્વસનીય લાગણીઓ અટકળ બાંધવી કરવા માટે સક્ષમ છે (Beasley and Mason 2015; Panger 2016) . અન્ય શબ્દોમાં, ત્યાં એક પૂર્વગ્રહયુક્ત સંકેત એક ખરાબ માપ હોઇ શકે છે. બીજું, ડિઝાઇન અને પ્રયોગ વિશ્લેષણ જે અમને મોટા ભાગના અસર કરવામાં આવી હતી (એટલે ​​કે, ત્યાં સારવાર અસરો વૈવિધ્યનો કોઈ વિશ્લેષણ છે) અને શું પદ્ધતિ હોઈ શકે છે તે વિશે કશું કહે છે. આ કિસ્સામાં, સંશોધકો સહભાગીઓ વિશે જાણકારી ઘણી હતી, પરંતુ તેઓ અનિવાર્યપણે વિશ્લેષણ વિજેટો તરીકે ગણવામાં આવ્યા હતા. ત્રીજું, આ પ્રયોગ અસર કદ ખૂબ નાનું હતું; સારવાર અને નિયંત્રણ શરતો વચ્ચે તફાવત વિશે 1 1000 શબ્દો છે. તેમના પેપરમાં, ક્રેમર અને સહકર્મીઓ કેસ છે કે આ કદ એક અસર મહત્વનું છે કારણ કે લોકો લાખો સેંકડો ઍક્સેસ તેમના સમાચાર દરેક દિવસ ફીડ બનાવવા. અન્ય શબ્દોમાં, તેઓ એવી દલીલ કરે છે કે પણ અસરો કે દરેક વ્યક્તિ તેઓ એકંદર મોટી છે માટે નાના છે. જો તમે આ દલીલ સ્વીકારી હતી, તે હજુ પણ સ્પષ્ટ ન હોય તો આ કદ એક અસર લાગણીશીલ સંસર્ગ વિશે વધુ સામાન્ય વૈજ્ઞાનિક પ્રશ્ન સંબંધિત મહત્વપૂર્ણ છે. આવી પરિસ્થિતિઓમાં જ્યાં નાના અસરો મહત્વપૂર્ણ છે તેના પર વધુ માટે જુઓ Prentice and Miller (1992) .

પ્રથમ આર (પુરવણી), શરતો ભાવનાત્મક સંસર્ગ પ્રયોગ સરખામણી (Kramer, Guillory, and Hancock 2014) અને ભાવનાત્મક સંસર્ગ કુદરતી પ્રયોગ (Coviello et al. 2014) થી ખસેડવાની સાથે સંકળાયેલા વેપાર ન વિશે કેટલીક સામાન્ય પાઠ તક આપે છે કુદરતી પ્રયોગો પ્રયોગો (અને બિન-પ્રાયોગિક માહિતી પ્રયોગો આશરે છે કે પ્રયાસ બંધબેસતા જેવા અન્ય અભિગમ, પ્રકરણ 2 જુઓ). નૈતિક લાભો ઉપરાંત, પ્રાયોગિક બિન-પ્રાયોગિક અભ્યાસ પર સ્વિચ પણ સારવાર કે તેઓ logistically જમાવવા માટે અસમર્થ છે અભ્યાસ સંશોધકો સક્રિય કરે છે. આ નૈતિક અને હેરફેર લાભ ખર્ચે આવે છે, તેમ છતાં. કુદરતી પ્રયોગો સાથે સંશોધકો સહભાગીઓ રેન્ડમાઈઝેશન ભરતી જેવી વસ્તુઓ પર ઓછી નિયંત્રણ અને સારવાર પ્રકૃતિ છે. ઉદાહરણ તરીકે, એક સારવાર તરીકે વરસાદ એક મર્યાદા એ છે કે તે બંને હકારાત્મકતા વધી જાય છે અને ઋણભારિતા ઘટે છે. પ્રાયોગિક અભ્યાસમાં, જોકે, ક્રેમર અને સહકર્મીઓ સ્વતંત્ર હકારાત્મકતા અને નકારાત્મકતા સંતુલિત કરવા માટે સક્ષમ હતા.

ખાસ દ્વારા વપરાતા માર્ગ Coviello et al. (2014) વધુ ઝીણવટપૂર્વક હતી Coviello, Fowler, and Franceschetti (2014) . વાદ્ય ચલો પરિચય માટે જુઓ Angrist and Pischke (2009) (ઓછા ઔપચારિક) અથવા Angrist, Imbens, and Rubin (1996) (વધુ ઔપચારિક). વાદ્ય ચલો એક શંકા મૂલ્યાંકન માટે જુઓ Deaton (2010) , અને નબળા સાધનો (વરસાદ નબળા સાધન છે) સાથે નિમિત્ત ચલો પરિચય માટે, જુઓ Murray (2006) .

વધારે સામાન્ય રીતે, કુદરતી પ્રયોગો માટે એક સારા પરિચય છે Dunning (2012) , અને Rosenbaum (2002) , Rosenbaum (2009) , અને Shadish, Cook, and Campbell (2001) પ્રયોગો વગર સાધક અસરો અંદાજ વિશે સારા વિચારો આપે છે.

બીજા આર (સંસ્કારિતા) દ્રષ્ટિએ, ત્યાં વૈજ્ઞાનિક અને હેરફેર વેપાર ન પોસ્ટ્સ બુસ્ટીંગ માટે પોસ્ટ્સ અવરોધિત થી લાગણીનો સંસર્ગ ડિઝાઇન બદલવા વિચારી રહ્યાં છે. ઉદાહરણ તરીકે, તે કેસ ન્યૂઝ ફીડ ટેકનિકલ અમલીકરણ તે નોંધપાત્ર સરળ છે પોસ્ટ્સ બુસ્ટીંગ સાથે એક પ્રયોગ કરતાં પોસ્ટ્સ અવરોધિત સાથે પ્રયોગ કરવા માટે બનાવે છે કે હોઈ શકે છે (નોંધ કરો કે પોસ્ટ્સ અવરોધિત સાથે પ્રયોગ પર એક સ્તર તરીકે અમલ કરી શકાય અંતર્ગત સિસ્ટમ ફેરફાર) માટે કોઈ જરૂર વગર સમાચાર ફીડ સિસ્ટમ ટોચ. વૈજ્ઞાનિક, જો કે, સિદ્ધાંત પ્રયોગ દ્વારા સંબોધવામાં સ્પષ્ટ રીતે અન્ય પર એક ડિઝાઇન સૂચવે નહોતી.

કમનસીબે, હું અવરોધિત અને સમાચાર ફીડ સામગ્રી બુસ્ટીંગ સંબંધિત ગુણવત્તાના વિશે નોંધપાત્ર પહેલાં સંશોધન પરિચિત નથી. પણ, હું ખૂબ સંશોધન તેમને ઓછી હાનિકારક બનાવવા માટે સારવાર શુદ્ધિકરણ વિશે જોઇ ન હોય; એક અપવાદ છે Jones and Feamster (2015) , કે જે ઇન્ટરનેટ સેન્સરશીપ માપ કિસ્સામાં ગણવામાં આવે છે (એક વિષય હું એન્કોર અભ્યાસ સંબંધ પ્રકરણ 6 ચર્ચા (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ત્રીજા આર (ઘટાડો) દ્રષ્ટિએ, પરંપરાગત શક્તિ વિશ્લેષણ માટે એક સારા પરિચય છે Cohen (1988) . પૂર્વ સારવાર covariates ડિઝાઇન સ્ટેજ અને પ્રયોગો વિશ્લેષણ તબક્કામાં સમાવેશ થાય છે કરી શકાય છે; પ્રકરણ 4 Gerber and Green (2012) બંને અભિગમ માટે એક સારા પરિચય પૂરો પાડે છે, અને Casella (2008) એક વધુ ગહન સારવાર પૂરી પાડે છે. તકનીકો કે રેન્ડમાઈઝેશન આ પૂર્વ સારવાર માહિતીનો ઉપયોગ સામાન્ય રીતે ક્યાં પ્રાયોગિક ડિઝાઇન અથવા સ્તરીય પ્રાયોગિક ડિઝાઇન (પરિભાષા સમુદાયો સમગ્ર સતત ઉપયોગ નથી થતો) અવરોધિત કહેવામાં આવે છે; આ તકનીકોનો ઊંડે પ્રકરણ 3. જુઓ ચર્ચા સ્તરીય નમૂના યુકિતઓ સાથે સંબંધિત છે Higgins, Sävje, and Sekhon (2016) મોટા પ્રયોગો આ ડિઝાઇન વાપરવા પર વધુ છે. પૂર્વ સારવાર covariates પણ વિશ્લેષણ તબક્કામાં સમાવેશ થાય છે કરી શકાય છે. McKenzie (2012) વધુ વિગતવાર ક્ષેત્ર પ્રયોગો વિશ્લેષણ તફાવત ઈન તફાવતો અભિગમ શોધ. જુઓ Carneiro, Lee, and Wilhelm (2016) જુદા જુદા અભિગમો સારવાર અસરો અંદાજમાં ચોકસાઇ વધારવા માટે વચ્ચે વેપાર ન પર વધુ છે. છેલ્લે, જ્યારે નક્કી ડિઝાઇન અથવા વિશ્લેષણ સ્ટેજ (અથવા બંને) ખાતે પ્રિ-સારવાર covariates સમાવવા માટે પ્રયાસ કરવા માટે કે શું, ત્યાં અમુક ધ્યાનમાં પરિબળો છે. એક સેટિંગ જ્યાં સંશોધકો બતાવવા માટે કે તેઓ "માછીમારી" નથી માંગો છો (Humphreys, Sierra, and Windt 2013) , ડિઝાઇન તબક્કામાં પૂર્વ સારવાર covariates મદદથી મદદરૂપ થઈ શકે છે (Higgins, Sävje, and Sekhon 2016) . આવી પરિસ્થિતિઓમાં જ્યાં સહભાગીઓ અનુક્રમે આવો, ખાસ કરીને ઓનલાઇન ક્ષેત્ર પ્રયોગો, ડિઝાઇન તબક્કામાં પૂર્વ સારવાર માહિતીનો ઉપયોગ કરીને logistically મુશ્કેલ હોઈ શકે છે, ઉદાહરણ માટે જુઓ Xie and Aurisset (2016) .

તે શા માટે તફાવત-તફાવતો સ્પૉટ ઈન અર્થ કરતાં ખૂબ જ વધુ અસરકારક હોઈ શકે વિશે અંતર્જ્ઞાન એક બીટ ઉમેરવા વર્થ છે. ઘણા ઑનલાઇન પરિણામો ખૂબ જ ઊંચી અણબનાવ છે (જુઓ દા.ત., Lewis and Rao (2015) અને Lamb et al. (2015) ) અને સમય જતાં પ્રમાણમાં સ્થિર છે. આ કિસ્સામાં, એક સ્કોર બદલો નોંધપાત્ર નાના અંતર હોય છે, આંકડાકીય ટેસ્ટ શક્તિ વધી જશે. એક કારણ આ સંપર્ક વધુ વખત ઉપયોગ ન કરવામાં આવે છે કે ડિજિટલ વય પહેલાં તે પૂર્વ સારવાર પરિણામો હોય છે માટે સામાન્ય ન હતી. તે વિશે વિચારો વધુ નક્કર રીતે એક પ્રયોગ કલ્પના માપવા માટે એક ચોક્કસ કસરતનો વજન નુકશાન માટેનું કારણ બને છે કે શું છે. તમે તફાવત ઈન અર્થ અભિગમ શું છે, તો તમારા અંદાજ ચલન કે વસ્તી વજન ચલન માંથી આવે છે પડશે. તમે તફાવત ઈન તફાવત અભિગમ શું છે, તો જો કે, વજન કે કુદરતી રીતે બનતું વિવિધતા દૂર નહીં અને તમને વધુ સરળતાથી સારવાર કારણે તફાવત શોધી શકે છે.

મહત્ત્વની એક રીત તમારી પ્રયોગના સહભાગીઓની સંખ્યા ઘટાડવા માટે પાવર વિશ્લેષણ, જે ક્રેમર અને સહકર્મીઓ અસર કદ દ્વારા કુદરતી પ્રયોગ પાલન પર આધારિત કરવામાં આવી છે શકે કરવા માટે છે Coviello et al. (2014) અથવા પહેલાંની બિન-પ્રાયોગિક સંશોધન ક્રેમર દ્વારા (2012) (હકીકતમાં આ આ પ્રકરણના અંતે પ્રવૃત્તિઓ હોય છે). નોંધ કરો કે શક્તિ વિશ્લેષણ આ ઉપયોગ લાક્ષણિક કરતાં થોડી અલગ છે. (હેઠળ સંચાલિત એટલે) એનાલોગ ઉંમર માં, સંશોધકોએ સામાન્ય રીતે ખાતરી કરો કે તેમના અભ્યાસમાં પણ નાના ન હતી બનાવવા માટે શક્તિ વિશ્લેષણ કર્યું હતું. (ઉપર સંચાલિત એટલે) હવે, જો કે, સંશોધકો શક્તિ વિશ્લેષણ ખાતરી કરો કે તેમના અભ્યાસમાં ખૂબ મોટી નથી બનાવવા શું કરવું જોઈએ.

Repurpose: છેલ્લે, હું ઉમેરી ચોથા આર ગણવામાં આવે છે. સંશોધકો પોતાને વધુ પ્રાયોગિક માહિતી સાથે શોધી જો કરતાં તેઓ તેમના મૂળ સંશોધન પ્રશ્ન સંબોધવા માટે જરૂર છે, તેઓ નવા પ્રશ્નો પૂછી માહિતી repurpose જોઈએ. ઉદાહરણ તરીકે, કલ્પના કરો કે ક્રેમર અને સહકર્મીઓ વધુ માહિતી કરતાં તેમના સંશોધન પ્રશ્ન સંબોધવા માટે જરૂરી તફાવત ઈન તફાવતો અંદાજ વપરાય છે અને પોતાની જાતને મળી હતી. તેના બદલે fullest અંશે માહિતી ઉપયોગ ન કરતાં, તેઓ એક કાર્ય પૂર્વ સારવાર માટે લાગણીશીલ અભિવ્યક્તિ તરીકે અસર કદ અભ્યાસ કરી શકે છે. જસ્ટ તરીકે Schultz et al. (2007) જાણવા મળ્યું છે કે સારવાર અસર પ્રકાશ અને ભારે વપરાશકર્તાઓ માટે અલગ અલગ હતી, કદાચ ન્યૂઝ ફીડ અસરો લોકો પહેલાથી જ ખુશ કરો (અથવા એસએડી) સંદેશા પોસ્ટ ચૂકેલા માટે અલગ અલગ હતા. "માછીમારી" તરફ દોરી શકે છે Repurposing (Humphreys, Sierra, and Windt 2013) અને "પી હેકિંગ" (Simmons, Nelson, and Simonsohn 2011) , પરંતુ આ મોટે ભાગે પ્રમાણિક રિપોર્ટિંગ એક જોડાણ સાથે એડ્રેસેબલ છે (Simmons, Nelson, and Simonsohn 2011) , પૂર્વ નોંધણી (Humphreys, Sierra, and Windt 2013) , અને મશીન શિક્ષણ પદ્ધતિઓ છે કે જે પર-ફિટિંગ ટાળવા માટે પ્રયત્ન કરે છે.