શું આગળ વાંચવા માટે

• પરિચય (વિભાગ 4.1)

સામાજીક સંશોધનમાં કાર્યકારણ વિશે પ્રશ્નો ઘણી વાર જટિલ અને જટિલ છે. સાધક આલેખ પર આધારિત કાર્યકારણના પાયાના અભિગમ માટે, Pearl (2009) જુઓ અને સંભવિત પરિણામો પર આધારિત પાયાના અભિગમ માટે, Imbens and Rubin (2015) . આ બે અભિગમો વચ્ચે સરખામણી કરવા માટે, Morgan and Winship (2014) જુઓ Morgan and Winship (2014) . VanderWeele and Shpitser (2013) વ્યાખ્યાયિત કરવાના ઔપચારિક અભિગમ માટે, VanderWeele and Shpitser (2013) .

આ પ્રકરણમાં, પ્રાયોગિક અને નોન-પ્રયોગ ડેટામાંથી સાબિત અંદાજો કરવાની આપણી ક્ષમતા વચ્ચેની એક તેજસ્વી રેખાની જેમ મેં જે બનાવ્યું છે તે બનાવ્યું છે. જો કે, મને લાગે છે કે વાસ્તવમાં, આ તફાવત વધુ ઝાંખી છે. દાખલા તરીકે, દરેક વ્યક્તિ સ્વીકારે છે કે ધુમ્રપાનને કેન્સરથી પીડાય છે, તેમ છતાં લોકોમાં ધૂમ્રપાન કરવા માટે સશક્ત કરેલા કોઈપણ રેન્ડમેડિક નિયંત્રિત પ્રયોગ ક્યારેય કરવામાં આવ્યાં નથી. નોન-પ્રાયોગિક ડેટામાંથી સાધક અંદાજો બનાવવા પર ઉત્તમ પુસ્તક-લંબાઈની સારવાર માટે Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) અને Dunning (2012) .

Freedman, Pisani, and Purves (2007) ના પ્રકરણ 1 અને 2 પ્રયોગો, નિયંત્રિત પ્રયોગો અને રેન્ડમાઇઝ્ડ અંકુશિત પ્રયોગો વચ્ચેનાં તફાવતોનો સ્પષ્ટ પરિચય આપે છે.

Manzi (2012) રેન્ડમાઇઝ્ડ અંકુશિત પ્રયોગોના ફિલોસોફિકલ અને આંકડાકીય ધોરણોને રસપ્રદ અને વાંચનીય પરિચય પૂરો પાડે છે. તે વ્યવસાયમાં પ્રયોગોની શક્તિના રસપ્રદ વાસ્તવિક ઉદાહરણો પણ પ્રદાન કરે છે. Issenberg (2012) રાજકીય અભિયાનોમાં પ્રયોગોના ઉપયોગ માટે રસપ્રદ પરિચય પૂરો પાડે છે.

• પ્રયોગો શું છે? (સેક્શન 4.2)

Box, Hunter, and Hunter (2005) , @ કેસેલા_સ્ટેટિકલ_2008, Athey and Imbens (2016b) પ્રાયોગિક ડિઝાઇન અને વિશ્લેષણના આંકડાકીય પાસાઓ માટે સારા પરિચયો પૂરા પાડે છે. આગળ, ઘણા જુદા ક્ષેત્રોમાં પ્રયોગોના ઉપયોગની ઉત્તમ ઉપાય છે: અર્થશાસ્ત્ર (Bardsley et al. 2009) , સમાજશાસ્ત્ર (Willer and Walker 2007; Jackson and Cox 2013) , મનોવિજ્ઞાન (Aronson et al. 1989) , રાજકીય વિજ્ઞાન (Morton and Williams 2010) , અને સોશિયલ પોલિસી (Glennerster and Takavarasha 2013) .

સહભાગી ભરતીનું મહત્વ (દા.ત., સેમ્પલિંગ) પ્રાયોગિક સંશોધનમાં ઘણીવાર પ્રશંસા કરવામાં આવે છે. જો કે, જો સારવારની અસર વસ્તીમાં વિપરીત હોય, તો પછી નમૂના મહત્વપૂર્ણ છે. Longford (1999) આ બિંદુને સ્પષ્ટ બનાવે છે જ્યારે તે સંશોધકો માટે પ્રયોગો અંગે વિચારે છે, જેમાં અનિવાર્ય નમૂનાનું વસ્તી સર્વેક્ષણ છે.

• પ્રયોગોના બે પરિમાણો: લેબ-ક્ષેત્ર અને એનાલોગ-ડિજિટલ (વિભાગ 4.3)

મેં સૂચવ્યું છે કે લેબ અને ફિલ્ડ પ્રયોગો વચ્ચે અખંડતા છે, અને અન્ય સંશોધકોએ વધુ વિગતવાર લખાણો પ્રસ્તાવિત કર્યા છે, ખાસ કરીને એવા ક્ષેત્રો જે વિવિધ પ્રયોગોના અલગ અલગ સ્વરૂપોને અલગ કરે છે (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013)

સંખ્યાબંધ કાગળોએ અમૂર્ત (Falk and Heckman 2009; Cialdini 2009) માં લેબ અને ફિલ્ડ પ્રયોગો (Falk and Heckman 2009; Cialdini 2009) રાજકીય વિજ્ઞાન (Coppock and Green 2015) માં વિશિષ્ટ પ્રયોગોના પરિણામોની દ્રષ્ટિએ, અર્થશાસ્ત્ર (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , અને મનોવિજ્ઞાન (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) લેબ અને ફિલ્ડ પ્રયોગોના પરિણામોની તુલના કરવા માટે એક સરસ સંશોધન ડિઝાઇન ઓફર કરે છે. Parigi, Santana, and Cook (2017) વર્ણવે છે કે કેવી રીતે ઓનલાઇન ક્ષેત્ર પ્રયોગો લેબ અને ક્ષેત્ર પ્રયોગો કેટલીક લાક્ષણિકતાઓ ભેગા કરી શકો છો.

સહભાગીઓ તેમના વર્તનને બદલતા હોવાથી ચિંતા કરે છે કારણ કે તેમને ખબર છે કે તેઓ નજીકથી નિરીક્ષણ કરવામાં આવે છે, તેમને ઘણીવાર માંગ અસરો કહેવામાં આવે છે, અને તેઓ મનોવિજ્ઞાન (Orne 1962) અને અર્થશાસ્ત્ર (Zizzo 2010) . તેમ છતાં મોટેભાગે લેબ પ્રયોગો સાથે સંકળાયેલા છે, આ જ મુદ્દાઓ ક્ષેત્ર પ્રયોગો માટે તેમજ સમસ્યાઓનું કારણ બની શકે છે. હકીકતમાં, માંગ અસરોને કેટલીકવાર હૉથોર્ન ઇફેક્ટ્સ કહેવામાં આવે છે, જે પ્રસિદ્ધ પ્રકાશન પ્રયોગો છે જે 1924 માં વેસ્ટર્ન ઇલેક્ટ્રીક કંપનીના હોથોર્ન વર્ક્સ (Adair 1984; Levitt and List 2011) . માગની બંને અસરો અને હોથોર્ન અસરો પ્રકરણ 2 માં ચર્ચા કરાયેલ પ્રતિક્રિયાત્મક માપના વિચારથી નજીકથી સંકળાયેલા છે ( Webb et al. (1966) ).

ક્ષેત્ર પ્રયોગો અર્થશાસ્ત્ર (Levitt and List 2009) માં લાંબા ઇતિહાસ ધરાવે છે, રાજકીય વિજ્ઞાન (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , મનોવિજ્ઞાન (Shadish 2002) અને જાહેર નીતિ (Shadish and Cook 2009) . સામાજિક વિજ્ઞાનનું એક ક્ષેત્ર જ્યાં ક્ષેત્ર પ્રયોગો ઝડપથી આગળ વધ્યા તે આંતરરાષ્ટ્રીય વિકાસ છે. અર્થશાસ્ત્રમાં તે કામની સકારાત્મક સમીક્ષા માટે Banerjee and Duflo (2009) , અને નિર્ણાયક મૂલ્યાંકન માટે જુઓ Deaton (2010) . રાજકીય વિજ્ઞાનમાં આ કાર્યની સમીક્ષા માટે Humphreys and Weinstein (2009) . છેવટે, રાજકીય વિજ્ઞાન (Humphreys 2015; Desposato 2016b) અને ડેવલપમેન્ટ ઇકોનોમિક્સ (Baele 2013) ના સંદર્ભમાં ક્ષેત્ર પ્રયોગોમાંથી ઉદ્દભવતી નૈતિક પડકારોનો (Humphreys 2015; Desposato 2016b) .

આ વિભાગમાં, મેં સૂચવ્યું હતું કે પ્રિ-ટ્રીટમેન્ટની માહિતીનો ઉપયોગ અંદાજિત સારવાર અસરોની ચોકસાઈને સુધારવા માટે થઈ શકે છે, પરંતુ આ અભિગમ વિશે કેટલીક ચર્ચાઓ છે; Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , અને Bloniarz et al. (2016) વધુ માહિતી માટે

છેલ્લે, સામાજિક વિજ્ઞાનીઓ દ્વારા કરવામાં આવતી બે પ્રયોગો પ્રયોગો છે, જે પ્રયોગશાળા ક્ષેત્રમાં પરિમાણ સાથે સરસ રીતે ફિટ થતા નથી: મોજણી પ્રયોગો અને સામાજિક પ્રયોગો. સર્વેના પ્રયોગો પ્રવર્તમાન સર્વેક્ષણોના ઇન્ફ્રાસ્ટ્રક્ચરનો ઉપયોગ કરીને પ્રયોગો છે અને તે જ પ્રશ્નોનાં વૈકલ્પિક સંસ્કરણોની પ્રતિક્રિયાઓની તુલના કરે છે (પ્રકરણ 3 માં કેટલાંક સર્વેક્ષણ પ્રયોગો પ્રસ્તુત છે); સર્વેક્ષણ પ્રયોગો પર વધુ માટે જુઓ Mutz (2011) . સામાજિક પ્રયોગો એવા પ્રયોગો છે જ્યાં સારવાર કેટલીક સામાજિક નીતિ છે જે ફક્ત સરકાર દ્વારા અમલ કરી શકાય છે. સામાજિક પ્રયોગો કાર્યક્રમ મૂલ્યાંકન સાથે ગાઢ સંબંધ ધરાવે છે. નીતિના પ્રયોગો પર વધુ જાણવા માટે, Heckman and Smith (1995) , Orr (1998) , અને @ ગ્લાન્નેસ્ટર_આરનીંગ_2013 જુઓ.

• સરળ પ્રયોગોથી આગળ વધવું (વિભાગ 4.4)

મેં ત્રણ વિભાવનાઓ પર ધ્યાન કેન્દ્રિત કરવાનું પસંદ કર્યું છે: માન્યતા, ઉપચારની અસરોની વિવિધતા, અને પદ્ધતિઓ. આ વિભાવનાઓને વિવિધ ક્ષેત્રોમાં અલગ અલગ નામો છે ઉદાહરણ તરીકે, મનોવૈજ્ઞાનિકો મધ્યસ્થીઓ અને મધ્યસ્થીઓ (Baron and Kenny 1986) પર ધ્યાન કેન્દ્રિત કરીને સરળ પ્રયોગોથી આગળ વધવાનું વલણ ધરાવે છે. મધ્યસ્થીઓનો વિચાર હું જે પદ્ધતિઓ કહી રહ્યો છું તે દ્વારા કબજે કરવામાં આવે છે, અને હું બાહ્ય માન્યતા (દા.ત., પ્રયોગના પરિણામો અલગ અલગ પરિસ્થિતિઓમાં ચાલતી હોય તો અલગ હોઈ શકે છે) અને સારવારની અસરોની વિવિધતાને આધારે મધ્યસ્થીનો વિચાર કબજે કરવામાં આવે છે ( દા.ત., અન્ય લોકો માટે કરતાં કેટલાક લોકો માટે મોટી અસરો છે).

Schultz et al. (2007) દ્વારા પ્રયોગ Schultz et al. (2007) બતાવે છે કે કેવી રીતે સામાજિક સિદ્ધાંતો અસરકારક હસ્તક્ષેપો ડિઝાઇન કરવા માટે વાપરી શકાય છે. અસરકારક હસ્તક્ષેપોને ડિઝાઇન કરવાના સિદ્ધાંતની ભૂમિકા વિશે વધુ સામાન્ય દલીલ માટે, જુઓ Walton (2014) .

• માન્યતા (વિભાગ 4.4.1)

Campbell (1957) દ્વારા આંતરિક અને બાહ્ય માન્યતાના ખ્યાલો સૌપ્રથમ રજૂ કરવામાં આવ્યા હતા. Shadish, Cook, and Campbell (2001) વધુ વિગતવાર ઇતિહાસ માટે અને આંકડાકીય નિષ્કર્ષની માન્યતા, આંતરિક માન્યતા, માન્યતાની રચના, અને બાહ્ય માન્યતાનું કાળજીપૂર્વકનું વિસ્તરણ જુઓ.

પરીક્ષણોમાં આંકડાકીય નિષ્કર્ષની માન્યતા અંગેની ઝાંખી માટે Gerber and Green (2012) (સામાજિક વિજ્ઞાન પરિપ્રેક્ષ્યમાં) અને Imbens and Rubin (2015) (આંકડાકીય પરિપ્રેક્ષ્યમાં) જુઓ. આંકડાકીય નિષ્કર્ષ માન્યતાના કેટલાક મુદ્દાઓ કે જે ઓનલાઇન ક્ષેત્ર પ્રયોગમાં ખાસ કરીને ઊભી થાય છે, તેમાં આધારભૂત ડેટા (Bakshy and Eckles 2013) સાથે આત્મવિશ્વાસના અંતરાલો બનાવવા માટે કોમ્પ્યુટેશનલલી કાર્યક્ષમ પદ્ધતિઓનો સમાવેશ થાય છે.

જટિલ ક્ષેત્ર પ્રયોગોમાં તેની ખાતરી કરવા માટે આંતરિક માન્યતા મુશ્કેલ હોઈ શકે છે. ઉદાહરણ તરીકે, Gerber and Green (2000) , Imai (2005) , અને Gerber and Green (2005) મતદાન વિશે એક જટિલ ક્ષેત્ર પ્રયોગના અમલીકરણ વિશે ચર્ચા માટે જુઓ. Kohavi et al. (2012) અને Kohavi et al. (2013) ઓનલાઇન ક્ષેત્રમાં પ્રયોગોમાં અંતરાલ માન્યતાના પડકારોમાં પરિચય પૂરો પાડે છે.

આંતરિક માન્યતા માટે એક મુખ્ય ખતરો એ નિષ્ફળ રેન્ડમાઝેશનની શક્યતા છે રેન્ડમેડાઇઝેશન સાથે સમસ્યા શોધવાની એક સંભવિત રીત નિરીક્ષણ લક્ષણો પર સારવાર અને નિયંત્રણ જૂથોની સરખામણી કરવા માટે છે. આ પ્રકારની સરખામણીને સંતુલન તપાસ કહેવામાં આવે છે. સંતુલન તપાસ વિશેની ચિંતાઓ માટે સંતુલન તપાસ અને Mutz and Pemantle (2015) માટે આંકડાકીય અભિગમ માટે Hansen and Bowers (2008) જુઓ. ઉદાહરણ તરીકે, સંતુલન Allcott (2011) ઉપયોગ કરીને, Allcott (2011) કેટલાક પુરાવા મળ્યા હતા કે Allcott (2011) રેન્ડમેડાકરણ યોગ્ય રીતે લાગુ પાડવામાં આવ્યું ન હતું (કોષ્ટક 2; સાઇટ્સ 2, 6 અને 8). અન્ય અભિગમો માટે, Imbens and Rubin (2015) ના પ્રકરણ 21 જુઓ.

આંતરિક માન્યતા સંબંધિત અન્ય મુખ્ય બાબતો આ મુજબ છે: (1) એક બાજુની બિન-અનુપાલન, જ્યાં સારવાર જૂથમાંના દરેકને વાસ્તવમાં સારવાર મળતી ન હતી, (2) બે બાજુવાળા બિન-અનુપાલન, જ્યાં ઉપચાર ગ્રૂપમાં દરેક જણ સારવાર લેતા નથી અને કેટલાક લોકો નિયંત્રણ જૂથને સારવાર મળે છે, (3) એટ્રિશન, જ્યાં પરિણામો કેટલાક સહભાગીઓ માટે માપવામાં આવતા નથી, અને (4) દખલગીરી, જ્યાં સારવાર સારવારની હાલતના લોકોથી નિયંત્રણની હાલતમાં લોકો પર પ્રસરે છે. આ દરેક મુદ્દાઓ પર વધુ માટે Gerber and Green (2012) પ્રકરણ 5, 6, 7 અને 8 જુઓ.

વધુ Westen and Rosenthal (2003) , અને આ પુસ્તકના મોટા ડેટા સ્રોતો, Lazer (2015) અને પ્રકરણ 2 માં માન્યતાની રચના કરવા વિશે વધુ જાણો.

બાહ્ય માન્યતાનો એક પાસું તે સેટિંગ છે જેમાં હસ્તક્ષેપની ચકાસણી કરવામાં આવે છે. Allcott (2015) સાઇટ પસંદગી પૂર્વગ્રહનો એક Allcott (2015) સૈદ્ધાંતિક અને આનુભાવિક સારવાર પૂરી પાડે છે. આ મુદ્દાને Deaton (2010) દ્વારા પણ ચર્ચા કરવામાં આવી છે. બાહ્ય માન્યતાનો બીજો પાસાનો એ છે કે સમાન હસ્તક્ષેપના વૈકલ્પિક કામગીરીને સમાન અસરો હશે. આ કિસ્સામાં, Schultz et al. (2007) વચ્ચેની સરખામણી Schultz et al. (2007) અને Allcott (2011) બતાવે છે કે Allcott (2011) પ્રયોગો શ્લ્લત્ઝ અને સહકર્મીઓ (5% વિરુદ્ધ 1.7%) દ્વારા મૂળ પ્રયોગો કરતા ઓછી અંદાજિત સારવારની અસર ધરાવે છે. Allcott (2011) એવું અનુમાન લગાવ્યું હતું કે ફોલો-અપ પ્રયોગોમાં જે રીતે ઉપચાર અલગ હતી તેના કારણે નાના અસર પડી હતી: એક હસ્તપ્રત પ્રમોટકોનની સરખામણીમાં, એક પ્રાયોજિત યુનિવર્સિટી દ્વારા પ્રાયોજિત અભ્યાસના ભાગ રૂપે, જનસંખ્યાના ભાગ તરીકે પાવર કંપની પાસેથી રિપોર્ટ કરો

• ઉપચારની અસરોની વિભિન્નતા (વિભાગ 4.4.2)

ક્ષેત્ર પ્રયોગોમાં સારવારની અસરોની વિભિન્નતા અંગેની એક ઉત્તમ ઝાંખી માટે, Gerber and Green (2012) ના પ્રકરણ 12 જુઓ. તબીબી ટ્રાયલ્સમાં સારવારની અસરોની વિવિધતાના પરિચય માટે, Kent and Hayward (2007) , Longford (1999) Kravitz, Duan, and Braslow (2004) . સારવાર અસરોની વિભિન્નતા અંગેની માન્યતાઓ સામાન્ય રીતે પૂર્વ-સારવાર લક્ષણો પર આધારિત તફાવતો પર ધ્યાન કેન્દ્રિત કરે છે. જો તમે પોસ્ટ-ટ્રીટમેન્ટ પરિણામો પર આધારિત (Frangakis and Rubin 2002) રસ ધરાવો છો, તો પછી વધુ જટિલ અભિગમો આવશ્યક છે, જેમ કે મુખ્ય સ્તરીકરણ (Frangakis and Rubin 2002) ; Page et al. (2015) જુઓ Page et al. (2015) સમીક્ષા માટે

ઘણા સંશોધકો રેખીય રીગ્રેસનની મદદથી સારવારની અસરોની વિભિન્નતાને અંદાજ આપે છે, પરંતુ નવી પદ્ધતિઓ મશીન શિક્ષણ પર આધાર રાખે છે; જુઓ, ઉદાહરણ તરીકે, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) .

બહુવિધ તુલનાત્મક સમસ્યાઓ અને "માછીમારી" માટે અસરોની વિભિન્નતાના તારણો વિશે કેટલીક નાસ્તિકતા છે. વિવિધ આંકડાકીય અભિગમો છે જે બહુવિધ સરખામણી (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . "માછીમારી" વિશે ચિંતા કરવા માટેની એક અભિગમ પૂર્વ-નોંધણી છે, જે મનોવિજ્ઞાન (Nosek and Lakens 2014) માં વધુને વધુ સામાન્ય બની રહી છે, રાજકીય વિજ્ઞાન (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , અને અર્થશાસ્ત્ર (Olken 2015) .

Costa and Kahn (2013) દ્વારા અભ્યાસમાં Costa and Kahn (2013) પ્રયોગમાં માત્ર અડધા ઘરોને વસ્તીવિષયક માહિતી સાથે જોડવામાં આવી શકે છે. આ વિગતોમાં રસ ધરાવતા વાચકોને મૂળ કાગળનો ઉલ્લેખ કરવો જોઈએ.

• પદ્ધતિઓ (વિભાગ 4.4.3)

મિકેનિઝમ્સ અતિ મહત્વપૂર્ણ છે, પરંતુ તેઓ અભ્યાસ કરવા માટે ખૂબ જ મુશ્કેલ હોઈ ચાલુ. મિકેનિઝમ્સ વિશેની સંશોધન મનોવિજ્ઞાનના મધ્યસ્થીઓના અભ્યાસ સાથે ગાઢ સંબંધ ધરાવે છે (પરંતુ બે વિચારો વચ્ચે ચોક્કસ સરખામણી માટે પણ VanderWeele (2009) જુઓ). પદ્ધતિઓ શોધવાના આંકડાકીય અભિગમો, જેમ કે Baron and Kenny (1986) માં વિકસિત અભિગમ, તે ખૂબ સામાન્ય છે. કમનસીબે, તે તારણ આપે છે કે તે કાર્યવાહી કેટલાક મજબૂત ધારણાઓ (Bullock, Green, and Ha 2010) પર આધાર રાખે છે અને ઘણી પદ્ધતિઓ હોય ત્યારે પીડાય છે, કારણ કે એક ઘણી પરિસ્થિતિઓમાં અપેક્ષા રાખી શકે છે (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) અને Imai and Yamamoto (2013) કેટલાક સુધારેલા આંકડાકીય પદ્ધતિઓ રજૂ કરે છે. વધુમાં, VanderWeele (2015) સંવેદનશીલતા વિશ્લેષણ માટે વ્યાપક અભિગમ સહિત, ઘણા મહત્વપૂર્ણ પરિણામો સાથે એક પુસ્તક-લંબાઈ સારવાર આપે છે.

એક અલગ અભિગમ પ્રયોગો પર ધ્યાન કેન્દ્રિત કરે છે કે જે પદ્ધતિને સીધી રીતે કામ કરવાનો પ્રયાસ કરે છે (દા.ત., ખલાસીઓને વિટામિન સી આપવી). કમનસીબે, ઘણી સામાજિક વિજ્ઞાનની સેટિંગ્સમાં, ઘણીવાર બહુવિધ પદ્ધતિઓ હોય છે અને સારવારને બદલવી મુશ્કેલ છે જે અન્યને બદલ્યા વિના એકને બદલી શકે છે. પ્રાયોગિક રીતે ફેરફાર કરવાની પદ્ધતિઓ Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) અને Pirlott and MacKinnon (2016) Ludwig, Kling, and Mullainathan (2011) , અને Pirlott and MacKinnon (2016) .

સંપૂર્ણ પરિબળ પ્રયોગો ચલાવતા સંશોધકોને બહુવિધ પૂર્વધારણા પરીક્ષણ અંગે ચિંતા કરવાની જરૂર પડશે; વધુ માહિતી માટે Fink, McConnell, and Vollmer (2014) અને List, Shaikh, and Xu (2016) જુઓ.

છેવટે, Hedström and Ylikoski (2010) દ્વારા વર્ણવવામાં આવેલા વિજ્ઞાનના ફિલસૂફીમાં પદ્ધતિનો પણ લાંબો ઇતિહાસ છે.

• અસ્તિત્વમાંના વાતાવરણનો ઉપયોગ કરીને (વિભાગ 4.5.1)

ભેદભાવને માપવા પત્રવ્યવહાર અભ્યાસ અને ઓડિટ અભ્યાસોના ઉપયોગ માટે વધુ જુઓ, Pager (2007) જુઓ.

• તમારા પોતાના પ્રયોગ બનાવો (વિભાગ 4.5.2)

પ્રયોગો માટે સહભાગીઓની ભરતી કરવાની સૌથી સામાન્ય રીત તમે એમેઝોન યાંત્રિક ટર્ક (એમ.સી. કારણ કે એમટીયુકેક પરંપરાગત લેબ પ્રયોગોના પાસાંઓનું પાલન કરે છે, જેથી લોકો મફતમાં કાર્ય કરી શકે નહીં, જેથી તેઓ મફતમાં નહીં કરી શકે. ઘણા સંશોધકોએ પહેલાથી જ પ્રયોગાત્મક સહભાગીઓ તરીકે ટર્કર્સ (એમટીયુકેના કામદારો) નો ઉપયોગ કરવાનું શરૂ કરી દીધું છે, જેના પરિણામે તે વધુ ઝડપી અને સસ્તો ડેટા સંગ્રહ કરી શકાય છે. પરંપરાગત ઓન-કેમ્પસ પ્રયોગશાળા પ્રયોગો (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

સામાન્ય રીતે, એમટીયુકેક દ્વારા ભરતી કરવામાં આવેલા સહભાગીઓનો ઉપયોગ કરવાનો સૌથી મોટો ફાયદો હેરફેર છે. જ્યાં પ્રયોગો ચલાવવા માટે અઠવાડિયા લાગી શકે છે અને પ્રયોગોને ફીલ્ડ કરવા માટે મહિના લાગી શકે છે, એમટીયુકેકમાંથી ભરતી કરવામાં આવેલા સહભાગીઓ સાથેના પ્રયોગો દિવસોમાં ચલાવી શકાય છે. ઉદાહરણ તરીકે, Berinsky, Huber, and Lenz (2012) 8 મિનિટ પ્રયોગમાં ભાગ લેવા માટે એક દિવસમાં 400 વિષયોની ભરતી કરી શક્યા હતા. વધુમાં, આ સહભાગીઓને કોઈ પણ હેતુ માટે ભરતી કરી શકાય છે (સર્વેક્ષણો અને સામૂહિક સહયોગ સહિત, પ્રકરણ 3 અને 5 માં ચર્ચા કરાયેલ). ભરતીની આ સરળતા એ છે કે સંશોધકો ઝડપી ઉત્તરાધિકારમાં સંબંધિત પ્રયોગોની શ્રેણી ચલાવી શકે છે.

તમારા પોતાના પ્રયોગો માટે મિન્ટુકના સહભાગીઓને ભરતી કરતા પહેલા, ત્યાં ચાર મહત્વપૂર્ણ વસ્તુઓ છે જે તમને જાણવાની જરૂર છે. સૌપ્રથમ, ઘણા સંશોધકો પાસે તુર્કર્સને સંલગ્ન પ્રયોગોના અચોક્કસ નાસ્તિકતા છે. કારણ કે આ નાસ્તિકતા ચોક્કસ નથી, પુરાવા સાથે કાબૂમાં રાખવું મુશ્કેલ છે. જો કે, ઘણા વર્ષો સુધી ટર્કર્સનો ઉપયોગ કરતા અભ્યાસો પછી, અમે હવે નિષ્કર્ષ કરી શકીએ છીએ કે આ નાસ્તિકતા ખાસ કરીને વાજબી નથી. અન્ય લોકોની સરખામણીમાં તુર્કર્સની વસ્તીવિષયકતાની સરખામણીમાં ઘણા અભ્યાસો થયા છે અને અન્ય લોકોની સરખામણીમાં ટર્કર્સ સાથેના પ્રયોગોનાં પરિણામોની તુલના કરતા ઘણા અભ્યાસો છે. આ બધા કામને ધ્યાનમાં લીધા પછી, મને લાગે છે કે તમારા વિશે વિચારવું એ શ્રેષ્ઠ માર્ગ છે કે તુર્કર્સ વાજબી સગવડના નમૂના છે, મોટાભાગે વિદ્યાર્થીઓની જેમ પરંતુ સહેજ વધુ વૈવિધ્યસભર (Berinsky, Huber, and Lenz 2012) . આમ, જેમ જેમ કેટલાક વિદ્યાર્થીઓ માટે વાજબી વસ્તી હોય છે, પરંતુ બધા જ નહીં, સંશોધન, તુર્કર્સ કેટલાક માટે વાજબી વસ્તી છે, પરંતુ તમામ નહીં, સંશોધન જો તમે તુર્કર્સ સાથે કામ કરવા જઇ રહ્યા હોવ, તો તે આ તુલનાત્મક અભ્યાસોને વાંચવા અને તેમના ઘોંઘાટને સમજવા માટે સમજણ ધરાવે છે.

બીજું, સંશોધકોએ એમટી્યુક્યુક પ્રયોગોની આંતરિક માન્યતા વધારવા માટે શ્રેષ્ઠ પ્રયાસો વિકસાવી છે, અને તમારે આ શ્રેષ્ઠ પદ્ધતિઓ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) વિશે જાણવા અને અનુસરવા જોઈએ. દાખલા તરીકે, તુર્કર્સનો ઉપયોગ કરનારા સંશોધકોને બિનઅનુભવી સહભાગીઓ (Berinsky, Margolis, and Sances 2014, 2016) દૂર કરવા માટે સ્ક્રિનર્સનો ઉપયોગ કરવા પ્રોત્સાહિત કરવામાં આવે છે (પણ DJ Hauser and Schwarz (2015b) અને DJ Hauser and Schwarz (2015a) ) જુઓ. જો તમે અજાણ્યા સહભાગીઓને દૂર કરી શકતા ન હો, તો સારવારનો કોઈ પણ પ્રભાવ અવાજ દ્વારા ધોવાઇ શકાય છે જે તેઓ રજૂ કરે છે, અને વ્યવહારમાં અસાવધ સહભાગીઓની સંખ્યા નોંધપાત્ર હોઈ શકે છે. હ્યુબેર અને સહકર્મીઓ દ્વારા પ્રયોગમાં (2012) , આશરે 30% સહભાગીઓ મૂળભૂત ધ્યાન સ્ક્રીયર નિષ્ફળ ગયા હતા અન્ય સમસ્યાઓ જે સામાન્ય રીતે ઉત્પન્ન થાય છે જ્યારે તુર્કર્સનો ઉપયોગ કરવામાં આવે છે તે બિન-નિષ્કપક્ષી સહભાગીઓ છે (Chandler et al. 2015) અને એટ્રિશન (Zhou and Fishbach 2016) .

ત્રીજું, ડિજિટલ પ્રયોગોના કેટલાક અન્ય સ્વરૂપોની તુલનામાં, એમટીયુટીક પ્રયોગો પાયે શકતા નથી; Stewart et al. (2015) અંદાજ છે કે કોઇ પણ સમયે ત્યાં માત્ર 7,000 લોકો એમટીયુકેક પર છે.

છેલ્લે, તમને ખબર હોવી જોઇએ કે એમટીયુકેક તેના પોતાના નિયમો અને ધોરણો સાથે એક સમુદાય છે (Mason and Suri 2012) . તે જ રીતે તમે તમારા પ્રયોગો ચલાવવા જઈ રહ્યા છો તે દેશની સંસ્કૃતિ વિશે શોધવાનો પ્રયાસ કરશો, તમારે તુર્કર્સ (Salehi et al. 2015) સાલીહે (Salehi et al. 2015) ના સંસ્કૃતિ અને નિયમો વિશે વધુ જાણવા પ્રયત્ન કરવો જોઈએ. અને તમને ખબર હોવી જોઇએ કે જો તમે અનુચિત અથવા અનૈતિક (Gray et al. 2016) કંઈક કરો તો તુર્કર્સ તમારા પ્રયોગ વિશે વાત કરશે.

મીટ્યુક તમારા પ્રયોગો માટે સહભાગીઓની ભરતી કરવાની એક ઉત્સાહી અનુકૂળ રીત છે, પછી ભલે તે Huber, Hill, and Lenz (2012) જેવા Mason and Watts (2009) જેવા ક્ષેત્રો જેવા વધુ પ્રયોગશાળા જેવા છે. , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , અને Mao et al. (2016)

• તમારા પોતાના ઉત્પાદન (વિભાગ 4.5.3) બનાવો

જો તમે તમારા પોતાના ઉત્પાદનને બનાવવાનો પ્રયાસ કરવા વિચારી રહ્યાં છો, તો હું ભલામણ કરું છું કે તમે Harper and Konstan (2015) માં મુવીલાન્સ ગ્રુપ દ્વારા આપવામાં આવેલી સલાહ વાંચો. તેમના અનુભવમાંથી એક મહત્વપૂર્ણ સૂક્ષ્મદ્રષ્ટિ એ છે કે દરેક સફળ પ્રોજેક્ટ માટે ઘણાં, ઘણા નિષ્ફળતાઓ છે. ઉદાહરણ તરીકે, મુવીલાન્સ ગ્રૂપે અન્ય પ્રોડક્ટ્સ શરૂ કરી, જેમ કે ગોફર એન્સર્સ, જે સંપૂર્ણ નિષ્ફળતાઓ હતી (Harper and Konstan 2015) . એક ઉત્પાદનનું નિર્માણ કરતી વખતે સંશોધકનું બીજું એક ઉદાહરણ એડેન કાસ્ટ્રોનોવા એ આર્ડેન નામની ઓનલાઈન ગેમનું નિર્માણ કરવાનો પ્રયાસ છે. ભંડોળમાં $ 250,000 હોવા છતાં, આ પ્રોજેક્ટ ફ્લોપ (Baker 2008) . ગોફર એંઉન્સર્સ અને આર્ડેન જેવા પ્રોજેક્ટ્સ કમનસીબે ફિલ્મલોન્સ જેવા પ્રોજેક્ટ્સ કરતાં વધુ સામાન્ય છે.

• શક્તિશાળી સાથે પાર્ટનર (વિભાગ 4.5.4)

મેં ટેક કંપનીઓ પર વારંવાર ચર્ચા કરેલ પાશ્ચરની ચતુર્ભુજનો વિચાર સાંભળ્યો છે, અને તે Google (Spector, Norvig, and Petrov 2012) સંશોધન પ્રયત્નોને ગોઠવવામાં સહાય કરે છે.

બોન્ડ અને સહકાર્યકરોના અભ્યાસ (2012) પણ જેઓ આ પ્રાપ્ત કરેલા મિત્રો પર આ સારવારની અસર શોધી કાઢવાનો પ્રયાસ કરે છે. પ્રયોગની ડિઝાઇનને કારણે, આ સ્પિલવેરને સ્વચ્છ રીતે શોધવું મુશ્કેલ છે; રસ વાચકો Bond et al. (2012) જોવા જોઈએ Bond et al. (2012) વધુ સંપૂર્ણ ચર્ચા માટે. જોન્સ અને સહકર્મીઓ (2017) 2012 ની ચૂંટણી દરમિયાન પણ એક સમાન પ્રયોગ હાથ ધર્યા હતા. આ પ્રયોગો મતદાનને પ્રોત્સાહિત કરવાના પ્રયાસો પર રાજકીય વિજ્ઞાનના પ્રયોગોની લાંબી પરંપરાનો ભાગ છે (Green and Gerber 2015) . આ વિચાર-આઉટ-ધ-મત પ્રયોગ સામાન્ય છે, કારણ કે તેઓ પાશ્ચરની ક્વાડ્રન્ટમાં છે. તે છે, મતદાન વધારવા માટે પ્રેરિત ઘણા લોકો છે અને મતદાન વર્તન ફેરફાર અને સામાજિક પ્રભાવ વિશે વધુ સામાન્ય સિદ્ધાંતોનું પરીક્ષણ કરવા માટે એક રસપ્રદ વર્તન હોઈ શકે છે.

રાજકીય પક્ષો, એનજીઓ અને વ્યવસાયો જેવી ભાગીદાર સંગઠનો સાથે ક્ષેત્ર પ્રયોગો ચલાવવા વિશે સલાહ માટે, Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) અને Gueron (2002) . સંસ્થાઓ સાથેની ભાગીદારી સંશોધનના ડિઝાઇન પર કેવી અસર કરી શકે તે અંગેના વિચારો માટે, King et al. (2007) જુઓ King et al. (2007) અને Green, Calfano, and Aronow (2014) . Humphreys (2015) અને Nickerson and Hyde (2016) દ્વારા ચર્ચા કરવામાં આવે તે પ્રમાણે ભાગીદારી પણ નૈતિક પ્રશ્નો તરફ દોરી શકે છે.

• ડિઝાઇન સલાહ (વિભાગ 4.6)

જો તમે તમારા પ્રયોગને ચલાવતા પહેલા એક વિશ્લેષણ યોજના બનાવી રહ્યા છો, તો હું સૂચિત કરું છું કે તમે રિપોર્ટિંગ માર્ગદર્શિકા વાંચીને પ્રારંભ કરો છો. કૉન્સર્ટ (ટ્રાયલ્સની કોન્સોલિડેટેડ સ્ટાન્ડર્ડ રિપોર્ટિંગ) માર્ગદર્શિકા દવાઓ (Schulz et al. 2010) માં વિકસાવવામાં આવી હતી (Schulz et al. 2010) સામાજિક સંશોધન માટે સંશોધિત (Mayo-Wilson et al. 2013) . પ્રાયોગિક રાજકીય વિજ્ઞાનના જર્નલ (Gerber et al. 2014) ના સંપાદકો દ્વારા સંબંધિત માર્ગદર્શિકા વિકસાવવામાં આવી છે (જુઓ Mutz and Pemantle (2015) અને Gerber et al. (2015) ). અંતે, મનોવિજ્ઞાન (APA Working Group 2008) માં માર્ગદર્શિકાઓની જાણ કરવામાં આવી છે, અને Simmons, Nelson, and Simonsohn (2011) .

જો તમે એક વિશ્લેષણ યોજના બનાવો છો, તો તમારે તેને પૂર્વ-રજીસ્ટર કરવાનું વિચારવું જોઈએ કારણ કે પ્રી-રજીસ્ટ્રેશન વિશ્વાસમાં વધારો કરશે કે અન્ય લોકો તમારા પરિણામોમાં છે. વધુમાં, જો તમે પાર્ટનર સાથે કામ કરી રહ્યા હો, તો તે પરિણામો જોયા બાદ વિશ્લેષણ બદલવાની તમારી ભાગીદારની ક્ષમતાને મર્યાદિત કરશે. મનોવિજ્ઞાન (Nosek and Lakens 2014) , રાજકીય વિજ્ઞાન (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) અને ઇકોનોમિક્સ (Olken 2015) માં પૂર્વ-નોંધણી વધુ સામાન્ય બની રહી છે.

ખાસ કરીને ઓનલાઇન ક્ષેત્ર પ્રયોગો માટે Konstan and Chen (2007) સલાહ Konstan and Chen (2007) અને Chen and Konstan (2015) માં પ્રસ્તુત છે.

મેં આર્માડાની વ્યૂહરચનાને શું કહેવું છે તે ક્યારેક પ્રોગ્રામેટિક સંશોધન કહેવાય છે; Wilson, Aronson, and Carlsmith (2010) .

• શૂન્ય ચલ ખર્ચ ડેટા બનાવો (સેક્શન 4.6.1)

મ્યુઝિકલૅબ પ્રયોગો પર વધુ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) Salganik and Watts (2009b) , Salganik and Watts (2009a) Salganik and Watts (2009b) , Salganik and Watts (2009a) અને Salganik (2007) . વિજેતા-લેવા-તમામ બજારો પર વધુ માટે, જુઓ Frank and Cook (1996) . સામાન્ય રીતે નસીબ અને કુશળતામાં વધુ માહિતી માટે, Mauboussin (2012) , Watts (2012) , અને Frank (2016) .

સહભાગી ચુકવણીને દૂર કરવા માટે એક બીજું અભિગમ છે કે જે સંશોધકોએ સાવધાનીથી ઉપયોગ કરવો જોઈએ: ફરજિયાત ઘણા ઓનલાઇન ફીલ્ડ પ્રયોગોમાં સહભાગીઓ મૂળભૂત રીતે પ્રયોગોમાં મુસદ્દો તૈયાર કરવામાં આવે છે અને ક્યારેય સરભર નથી. વિકલાંગ અને બોન્ડ અને સાથીદાર (2012) લોકોના મત આપવા માટે પ્રોત્સાહિત કરવા માટે પ્રયોગોના પ્રયોગ પર રેસ્ટિવો અને વાન દ રિજ (2012) પ્રયોગનો સમાવેશ થાય છે. આ પ્રયોગો ખરેખર શૂન્ય ચલ ખર્ચે નથી-તેના બદલે, તેઓ પાસે સંશોધકો માટે શૂન્ય ચલ ખર્ચ હોય છે . આવા પ્રયોગોમાં, જો દરેક સહભાગીનો ખર્ચ અત્યંત નાનો છે, તો એકંદર ખર્ચ ખૂબ મોટો હોઈ શકે છે. મોટા પ્રમાણમાં ઓનલાઇન પ્રયોગો ચલાવતા સંશોધકો ઘણીવાર નાના અંદાજિત સારવાર અસરોના મહત્વને કહીને કહે છે કે ઘણા લોકોને લાગુ પડે છે ત્યારે આ નાની અસરો મહત્વપૂર્ણ બની શકે છે. ચોક્કસ જ વિચારસરણી એવા ખર્ચને લાગુ પડે છે કે જે સંશોધકો ભાગ લેનારાઓ પર લાદશે. જો તમારા પ્રયોગથી એક મિલીયન લોકો એક મિનિટમાં બગાડ કરે છે, તો પ્રયોગ કોઈ ચોક્કસ વ્યક્તિ માટે ખૂબ જ હાનિકારક નથી, પરંતુ એકંદરે તે લગભગ બે વર્ષનો સમય બગાડ્યો છે.

સહભાગીઓને શૂન્ય વેરિયેબલ વેલ્યુ પેમેન્ટ બનાવવાનો બીજો અભિગમ લોટરીનો ઉપયોગ કરવો, એક અભિગમ જેનો ઉપયોગ મોજણી સંશોધન (Halpern et al. 2011) માં પણ કરવામાં આવ્યો છે. આનંદદાયક વપરાશકર્તા અનુભવોને ડિઝાઇન કરવા વિશે વધુ માટે, જુઓ Toomim et al. (2011) . શૂન્ય ચલ ખર્ચ પ્રયોગો બનાવવા માટે બૉટોનો ઉપયોગ કરવા વિશે વધુ જુઓ ( ??? ) .

• બદલો, રીફાઇન કરો અને ઘટાડો કરો (સેક્શન 4.6.2)

મૂળ Russell and Burch (1959) દ્વારા મૂળ રૂપે સૂચવવામાં આવેલા ત્રણ આર મુજબ નીચે મુજબ છે:

"પુરવણી નિર્જીવ સામગ્રી સભાન રહેતા ઉચ્ચ પ્રાણીઓ માટે અવેજી થાય છે. ઘટાડો આપેલ રકમ અને ચોકસાઇ માહિતી મેળવવા માટે ઉપયોગમાં લેવાતા પ્રાણીઓના સંખ્યામાં ઘટાડો થાય છે. સંસ્કારિતા ભારણ અથવા તે પ્રાણીઓ હજુ પણ વાપરી શકાય છે, કે જે લાગુ પડે inhumane કાર્યવાહી ઉચ્ચતા કોઈપણ ઘટાડો થાય છે. "

ત્રણ આર જે હું પ્રસ્તાવતો છું તે પ્રકરણ 6 માં વર્ણવ્યા પ્રમાણે નૈતિક સિદ્ધાંતોને ઓવરરાઇડ કરતું નથી. તેના બદલે, તેઓ તે સિદ્ધાંતોમાંના એક વધુ વિસ્તૃત સંસ્કરણ છે - વિશેષતા- ખાસ કરીને માનવ પ્રયોગોના સેટિંગમાં.

પ્રથમ આર ("રિપ્લેસમેન્ટ") ની દ્રષ્ટિએ, ભાવનાત્મક સંશ્લેષણ પ્રયોગ (Kramer, Guillory, and Hancock 2014) અને ભાવનાત્મક ચેપી કુદરતી પ્રયોગ (Lorenzo Coviello et al. 2014) સામેલ વેપાર-નહી વિશે કેટલાક સામાન્ય પાઠ પૂરા પાડે છે પ્રયોગોથી લઈને કુદરતી પ્રયોગો (અને અન્ય અભિગમો જેવા કે બિન-પ્રાયોગિક ડેટામાં આશરે પ્રયોગો સાથે મેળ ખાતી જેમ જુઓ) પ્રકરણ 2 જુઓ. નૈતિક લાભો ઉપરાંત, પ્રાયોગિકથી બિન-પ્રાયોગિક અભ્યાસોમાં ફેરબદલ કરવાથી સંશોધકોએ એવા સારવારોનો અભ્યાસ કરવાનું પણ સક્ષમ કરે છે કે જે તેઓ લોજિસ્ટિકપણે જમાવવા માટે અસમર્થ હોય છે. આ નૈતિક અને હેરફેરનો લાભ ખર્ચમાં આવે છે, જોકે. કુદરતી પ્રયોગોના સંશોધકો સાથે સહભાગીઓની ભરતી, રેન્ડમાઈઝેશન અને સારવારની પ્રકૃતિ જેવી વસ્તુઓ પર ઓછું નિયંત્રણ હોય છે. ઉદાહરણ તરીકે, સારવાર તરીકે વરસાદની એક મર્યાદા એ છે કે તે બંને હકારાત્મકતા વધારે છે અને નકારાત્મકતા ઘટાડે છે. પ્રયોગાત્મક અભ્યાસમાં, જોકે, ક્રૅમર અને સહકાર્યકરો સ્વતંત્રતા અને નકારાત્મકતાને સ્વતંત્ર રીતે સંતુલિત કરવા સક્ષમ હતા. Lorenzo Coviello et al. (2014) દ્વારા ઉપયોગમાં લેવાતો ખાસ અભિગમ Lorenzo Coviello et al. (2014) વધુ L. Coviello, Fowler, and Franceschetti (2014) દ્વારા વધુ elaborated હતી. ઇન્સ્ટ્રુમેન્ટલ ચલોની પરિચય માટે, જેનો Lorenzo Coviello et al. (2014) દ્વારા ઉપયોગમાં લેવાતો અભિગમ છે Lorenzo Coviello et al. (2014) , Angrist, Imbens, and Rubin (1996) Angrist and Pischke (2009) (ઓછો ઔપચારિક) અથવા Angrist, Imbens, and Rubin (1996) (વધુ ઔપચારિક) જુઓ. ઇન્સ્ટ્રુમેન્ટલ વેરિયેબલ્સના સંશયાત્મક મૂલ્યાંકન માટે, Deaton (2010) જુઓ, અને નબળા સાધનો સાથેના વાદ્ય ચલોના પરિચય માટે (વરસાદ એક નબળા સાધન છે), જુઓ Murray (2006) . વધુ સામાન્ય રીતે, કુદરતી પ્રયોગોનો સારો પરિચય Dunning (2012) દ્વારા આપવામાં આવ્યો છે, જ્યારે Rosenbaum (2002) , ( ??? ) , અને Shadish, Cook, and Campbell (2001) પ્રયોગો વિના સાધક અસરો અંદાજો વિશે સારા વિચારો આપે છે.

બીજા આર ("રિફાઇનમેન્ટ") ની દ્રષ્ટિએ, પોસ્ટ્સને બૉસ્ટિંગ કરવા પોસ્ટ્સને અવરોધિત કરવાથી લાગણીસભર સંસર્ગનું ડિઝાઇન બદલતા વિચારણા કરતી વખતે વૈજ્ઞાનિક અને હેરફેર ટ્રેડ-ઓફ છે. ઉદાહરણ તરીકે, તે કદાચ એવું બની શકે છે કે ન્યૂઝ ફીડના તકનીકી અમલીકરણથી તે એક પ્રયોગ કરવા માટે ખૂબ જ સરળ છે જેમાં પોસ્ટ્સને બ્લોક કરવામાં આવે છે તેના બદલે તે પોસ્ટ્સને બ્લૉક કરવામાં આવે છે (નોંધ કરો કે પોસ્ટ્સને અવરોધિત કરવાનું એક પ્રયોગ અમલ કરી શકાય છે અન્ડરલાઇંગ સિસ્ટમના ફેરફારોની જરૂર વગર ન્યૂઝ ફીડ સિસ્ટમની ટોચ પર એક સ્તર તરીકે) વૈજ્ઞાનિક રીતે, જોકે, પ્રયોગ દ્વારા સંબોધવામાં આવતો સિદ્ધાંત સ્પષ્ટપણે અન્ય એક ડિઝાઇનને સ્પષ્ટપણે દર્શાવતો નથી. દુર્ભાગ્યે, મને ન્યૂઝ ફીડમાં સામગ્રીને અવરોધિત કરવા અને પ્રોત્સાહન આપવાના સંબંધિત ગુણ વિશેની પહેલાંની સંશોધનની વાકેફ નથી. ઉપરાંત, મેં તેમને ઓછી હાનિકારક બનાવવા માટે સારવાર રિફાઇનિંગ વિશે વધુ સંશોધન જોયો નથી; એક અપવાદ B. Jones and Feamster (2015) , જે ઈન્ટરનેટ સેન્સરશીપના B. Jones and Feamster (2015) ધ્યાનમાં લે છે (વિષય કે જે હું અધ્યાય 6 માં (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ચર્ચા કરું છું (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ત્રીજા આર ("ઘટાડો") ની દ્રષ્ટિએ, પરંપરાગત શક્તિ વિશ્લેષણના સારા પરિચય Cohen (1988) (પુસ્તક) અને Cohen (1992) (લેખ) દ્વારા આપવામાં આવે છે, જ્યારે Gelman and Carlin (2014) એક અલગ દ્રષ્ટિકોણથી રજૂ કરે છે. પ્રિ-ટ્રીટમેન્ટ કોવેરિયેટ્સને પ્રયોગોના ડિઝાઇન અને વિશ્લેષણ તબક્કામાં શામેલ કરી શકાય છે; Gerber and Green (2012) ) ના પ્રકરણ 4 બંને અભિગમોને સારી રજૂઆત કરે છે, અને Casella (2008) વધુ ઊંડાણવાળી સારવાર પૂરી પાડે છે. રેન્ડમાઝેશનમાં આ પ્રી-ટ્રીટમેન્ટની માહિતીનો ઉપયોગ કરતી ટેકનીકને સામાન્ય રીતે ક્યાં તો અવરોધિત પ્રાયોગિક ડિઝાઇન અથવા સ્તરબદ્ધ પ્રાયોગિક ડિઝાઇન (ટર્મિનોલોજીનો સમગ્ર સમુદાયોમાં ઉપયોગ થતો નથી) કહેવામાં આવે છે; આ તકનીકો પ્રકરણ 3 માં ચર્ચા થયેલ સ્તરીકૃત નમૂના તકનીકીઓ સાથે ગાઢ રીતે સંકળાયેલા છે. વિશાળ પ્રયોગોમાં આ ડિઝાઇનનો ઉપયોગ કરવા માટે વધુ Higgins, Sävje, and Sekhon (2016) . પ્રિ-સારવાર કોવેરીયેટ્સને વિશ્લેષણના તબક્કામાં પણ સામેલ કરી શકાય છે. McKenzie (2012) ક્ષેત્રમાં પ્રયોગોનું વધુ વિગતવાર વર્ણન કરવા માટે તફાવતો-તફાવત-તફાવત અભિગમની શોધ કરે છે. સારવારની અસરોના અંદાજોમાં ચોકસાઇ વધારવા માટે વિવિધ અભિગમો વચ્ચેના વેપાર-સંબંધો વિશે વધુ માટે Carneiro, Lee, and Wilhelm (2016) . છેલ્લે, ડિઝાઇન અથવા વિશ્લેષણના તબક્કે (અથવા બન્ને) પ્રિ-સારવાર કોવેરીએટ્સનો સમાવેશ કરવાનો પ્રયાસ કરવો તે નક્કી કરતી વખતે, ત્યાં ધ્યાનમાં લેવાના થોડાક કારણો છે એક સેટિંગમાં સંશોધકોએ બતાવવું છે કે તેઓ "મત્સ્યઉદ્યોગ" (Humphreys, Sierra, and Windt 2013) , ડિઝાઇન-સ્ટેજની પૂર્વ-સારવાર કોવેરીયેટ્સનો ઉપયોગ કરીને તે ઉપયોગી થઈ શકે છે (Higgins, Sävje, and Sekhon 2016) . પરિસ્થિતિઓમાં સહભાગીઓ ક્રમશઃ પહોંચે છે, ખાસ કરીને ઓનલાઈન ક્ષેત્ર પ્રયોગો, ડિઝાઇન તબક્કામાં પ્રી-ટ્રીટમેન્ટ માહિતીનો ઉપયોગ કરવો તે મુશ્કેલ હોઈ શકે છે; જુઓ, ઉદાહરણ તરીકે, Xie and Aurisset (2016) .

તફાવત-તફાવતોનો અભિગમ તફાવત-ઇન-અર્થ કરતાં એક કરતાં વધુ અસરકારક હોઇ શકે છે તે વિશે થોડુંક અંતર્જ્ઞાન ઉમેરવામાં વર્થ છે ઘણા ઓનલાઈન પરિણામોમાં અત્યંત ઊંચું અંતર હોય છે (જુઓ દા.ત. RA Lewis and Rao (2015) અને Lamb et al. (2015) ) અને સમય જતાં પ્રમાણમાં સ્થિર છે. આ કિસ્સામાં, ફેરફારના સ્કોરમાં નોંધપાત્ર પ્રમાણમાં નાના તફાવત હશે, આંકડાકીય કસોટીની શક્તિ વધશે. આ અભિગમ વધુ વખત ઉપયોગમાં લેવાતો નથી તે એક કારણ એ છે કે ડિજિટલ વય પહેલાં, પ્રિ-ટ્રીટમેન્ટ પરિણામો હોવાનું સામાન્ય નથી. આ વિશે વિચારવાનો વધુ નક્કર માર્ગ એ છે કે એક ચોક્કસ કસરતનો નિયમિત વજન ઘટાડવાનું કારણ છે કે કેમ તે માપવા માટે એક પ્રયોગની કલ્પના કરવી. જો તમે તફાવત-ઇન-માસ અભિગમ અપનાવો છો, તો તમારા અંદાજની વસ્તીમાં વજનમાં બદલાતીતાથી થતા બદલાતીતા હશે. જો તમે તફાવતો-તફાવત વચ્ચેનો અભિગમ અપનાવી શકો છો, જો કે, જે કુદરતી રીતે વજનમાં બદલાતા તફાવતને દૂર કરવામાં આવે છે, અને તમે સારવાર દ્વારા થયેલા તફાવતને વધુ સરળતાથી શોધી શકો છો.

છેલ્લે, હું ચોથા આર ઉમેરીને માનવામાં: "repurpose". એટલે કે, જો સંશોધકો પોતાના મૂળ સંશોધન પ્રશ્નને સંબોધિત કરતા વધુ પ્રાયોગિક ડેટા સાથે પોતાને શોધે છે, તો તેઓ નવા પ્રશ્નો પૂછવા માટે ડેટાનું પુનઃઉત્પાદન કરવું જોઈએ. ઉદાહરણ તરીકે, કલ્પના કરો કે ક્રૅમર અને તેના સાથીદારોએ તફાવત-ઇન-ફોકસના અંદાજનો ઉપયોગ કર્યો હતો અને પોતાના સંશોધન પ્રશ્નને સંબોધવા માટે તેના કરતા વધુ માહિતી મેળવી હતી. ડેટાને પૂર્ણ અંશે ઉપયોગ કરવાને બદલે, તેઓ પૂર્વ-અસરકારક ભાવનાત્મક અભિવ્યક્તિના કાર્ય તરીકે અસરના કદનો અભ્યાસ કરી શક્યા હોત. જસ્ટ Schultz et al. (2007) જાણવા મળ્યું કે સારવારની અસર પ્રકાશ અને ભારે વપરાશકર્તાઓ માટે અલગ હતી, કદાચ ન્યૂઝ ફીડની અસરો લોકો માટે સુખી (અથવા ઉદાસી) સંદેશા પોસ્ટ કરવા પહેલાથી જ જુદી હતી. પુનઃપ્રાપ્ત કરવાથી "માછીમારી" (Humphreys, Sierra, and Windt 2013) અને "પી-હેકિંગ" (Simmons, Nelson, and Simonsohn 2011) , પરંતુ પ્રમાણિક રિપોર્ટિંગ (Simmons, Nelson, and Simonsohn 2011) ના સંયોજન સાથે આ મોટેભાગે (Simmons, Nelson, and Simonsohn 2011) , પ્રી-રજીસ્ટ્રેશન (Humphreys, Sierra, and Windt 2013) , અને મશીન લર્નિંગ પધ્ધતિઓ જે ઓવર ફિટિંગ ટાળવાનો પ્રયાસ કરે છે.