ቀጥሎ ምን ማንበብ አለብህ

• መግቢያ (ክፍል 4.1)

በማህበራዊ ምርምር ውስጥ የሚከሰቱት ምክንያቶች ብዙውን ጊዜ ውስብስብ እና ውስብስብ ናቸው. በፐብሊክ ግራፍ Pearl (2009) ሎጂክ) ግራፍ ላይ የተመሠረተ የማመላከቻ አቀራረብን ለማግኘት Pearl (2009) እና ሊገኙ የሚችሉ ውጤቶች ላይ በመመርኮዝ የመነሻ አካሄድ ይመልከቱ Imbens and Rubin (2015) የሚለውን ይመልከቱ. በእነዚህ ሁለት አቀራረቦች መካከል ንጽጽር ለማግኘት, Morgan and Winship (2014) . VanderWeele and Shpitser (2013) ለመግለጽ መደበኛ ዘዴ ለማግኘት VanderWeele and Shpitser (2013) .

በዚህ ምእራፍ ውስጥ ከፕሮጀክቱ እና ሙከራ ባልደረቦች መካከል የ causal ግምቶችን በራሳችን ልምዶች መካከል የሚፈጥሩ መስመሮችን ፈጥሬያለሁ. ሆኖም ግን, በተጨባጭ, ልዩነቱ ይበልጥ የተደበቀ ይመስለኛል. ለምሳሌ, ማጨስ ካንሰር እንደሚያስከትል ሁሉም ሰው ይቀበላል, ምንም እንኳ ሰዎችን ወደ ማጨስ የሚያስገድድ ያልተቃለለ ቁጥጥር ሙከራ ቢደረግም. Shadish, Cook, and Campbell (2001) ( ??? ) ግምታዊ ጥናት (ግምታዊ ግምታዊ ( ??? ) Shadish, Cook, and Campbell (2001) Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) እና Dunning (2012) .

Freedman, Pisani, and Purves (2007) ምዕራፎች 1 እና 2 መካከል በተደረጉ ሙከራዎች, ቁጥጥር በሚደረግባቸው ሙከራዎች እና በአጋጣሚ በተደረጉ የቁጥጥር ሙከራዎች መካከል ያለውን ልዩነት ግልፅ የሆነ መግቢያ ያቀርባሉ.

Manzi (2012) በዘፈቀደ ቁጥጥር የሚደረግባቸው ሙከራዎች ፍልስፍና እና ስታትስቲክስ ውስጥ የተካተቱ አስደናቂ እና ገላጭ መግቢያዎችን ያቀርባል. እንዲሁም በንግድ ስራ ውስጥ የመሞከር ኃይል አበረታች የሆኑ በገሃዱ ዓለም ያሉ ምሳሌዎችን ያቀርባል. Issenberg (2012) በፖለቲካዊ ዘመቻዎች ውስጥ ለሙከራ ሙከራዎች አስደናቂ የሆነ መግቢያ ይሰጣል.

• ሙከራዎች ምንድን ናቸው? (ክፍል 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical2008, እና Athey Athey and Imbens (2016b) ለሙከራ ዲዛይንና ትንተና የስታቲስቲክስ ገጽታዎች ጥሩ መግቢያዎችን ያቀርባሉ. በተጨማሪም በበርካታ መስኮች የተደረጉ ሙከራዎች እጅግ በጣም ጥሩ የሆኑ ህክምናዎች አሉ. (Bardsley et al. 2009) ኢኮኖሚክስ (Bardsley et al. 2009) , ሶሺዮሎጂ (Willer and Walker 2007; Jackson and Cox 2013) , ሳይኮሎጂ (Aronson et al. 1989) , የፖለቲካ ሳይንስ (Morton and Williams 2010) እና ማህበራዊ ፖሊሲዎች (Glennerster and Takavarasha 2013) .

ተሳታፊ ምልመላ አስፈላጊነት (ምሳሌ, ናሙና) በአብዛኛው በምርምር ምርምር አልታወቀም. ይሁን እንጂ የሕክምናው ውጤት በሕዝብ ውስጥ ተባዕት ሆኖ ከተገኘ የምርመራ ዘዴው ወሳኝ ነው. Longford (1999) የሃፍዳርድ ናሙናዎችን እንደ የህዝብ የዳሰሳ ጥናት አድርጎ ለሚያሳኩ ሙከራዎች ለሚሰጡት ተመራጮችን ሲያቀርብ ይህ ነጥብ ግልጽ ያደርጋል.

• የሙከራዎች ሁለት ልኬቶች-lab-field እና analog-digital (ክፍል 4.3)

በመካኒት እና የመስክ ሙከራዎች መካከል ቀጣይነት እንዳለው አመልክቻለሁ, እና ሌሎች ተመራማሪዎች ደግሞ የበለጠ ዝርዝር ንድፎችን, በተለይም የተለያዩ የመስክ ሙከራዎችን (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

በርካታ ጥናቶች የቤተ ሙከራና የመስክ ሙከራዎች ን በ ረቂቅ (Falk and Heckman 2009; Cialdini 2009) እና በፖለቲካ ሳይንስ (Coppock and Green 2015) የተወሰኑ ውጤቶችን (Coppock and Green 2015) (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) ኢኮኖሚክስ) (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , እና ሳይኮሎጂ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) የላብራቶሪ እና የመስክ ሙከራዎችን ለማወዳደር የምርምር ንድፍ ያቀርባሉ. Parigi, Santana, and Cook (2017) የመስመር ላይ የመስክ ሙከራዎች አንዳንድ የላብራቶሪ እና የመስክ ሙከራዎችን ባህሪዎች እንዴት ማዋሃድ እንደሚችሉ ይገልጻል.

ስላሉ ተሳታፊዎች ስነምግባቸውን በሚቀይሩበት ወቅት የሚያሳስቧቸው ስጋቶች አንዳንዴም የፍላጎት ተፅእኖ በመባል ይታወቃሉ ምክንያቱም የሥነ ልቦና ትምህርት (Orne 1962) እና ኢኮኖሚክስ (Zizzo 2010) . ብዙዎቹ በቤተ ሙከራ ሙከራዎች ውስጥ የተያያዙ ቢሆኑም, እነዚህም በተመሳሳይ የመስክ ሙከራዎች ላይ ችግር ይፈጥራሉ. እንደ እውነቱ ከሆነ, የፍላጎት ውጤቶች አንዳንድ ጊዜ ሃውቶርን (ሃውቶርን) ተጽእኖዎች ይባላሉ , ይህም በ 1924 በሃውቶርን ኦቭ ዌስተር ኤሌክትሪክ ኩባንያ (Adair 1984; Levitt and List 2011) Works of the Western Electric Company) (Adair 1984; Levitt and List 2011) ታዋቂ ለሆኑ የማንፀባረቅ ሙከራዎች የመነጨ ነው. ሁለቱም የፍላጎት ውጤትና የሃውቶርን ውጤቶች በምዕራፍ 2 የተገለፀውን ተለዋዋጭ መለኪያ ሃሳቦች ጋር በቅርበት ይዛመዳሉ ( Webb et al. (1966) በተጨማሪ ይመልከቱ.

የመስክ ሙከራዎች ረጅም ዘመን ያስቆጠሩ ኢኮኖሚክስ (Levitt and List 2009) , ፖለቲካዊ ሳይንስ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , ሳይኮሎጂ (Shadish 2002) , እና የህዝብ ፖሊሲ (Shadish and Cook 2009) . የመስክ ሙከራዎች በአጭር ጊዜ ውስጥ ትልቅ ቦታ የሚሰጡበት የማኅበራዊ ሣይንስ ዓለም አቀፍ ዓለም አቀፍ ልማት ነው. በኢኮኖሚክስ ውስጥ ይህንን ሥራ አዎንታዊ ግምገማ ለመመልከት Banerjee and Duflo (2009) , እና ለግምገማ ግምገማ Deaton (2010) ይመልከቱ. በፖለቲካ ሳይንስ ውስጥ ይህን ስራ ለመገምገም Humphreys and Weinstein (2009) . በመጨረሻም ከክልል ሙከራ የተገኙ ስነ-ምግባራዊ ተግዳሮቶች በፖለቲካ ሳይንስ (Humphreys 2015; Desposato 2016b) እና የልማት ኢኮኖሚ (Baele 2013) (Humphreys 2015; Desposato 2016b) .

በዚህ ክፍል ውስጥ, የቅድመ ህክምና መረጃ የተገመተ የህክምና ውጤቶችን ትክክለኛነት ለማሻሻል ሊያግዝ እንደሚችል ነገርኩት, ግን በዚህ አቀራረብ ላይ ጥቂት ክርክር አለ. Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , እና Bloniarz et al. (2016) ለተጨማሪ መረጃ.

በመጨረሻም በማህበራዊ ሳይንቲስቶች የተካሄዱ ሌሎች ሁለት ዓይነት ሙከራዎች አሉ. የዳሰሳ ጥናት ሙከራዎች አሁን ያሉት የዳሰሳ ጥናቶች መሠረተ ልማት በመጠቀም ሙከራዎች ናቸው, እና ለተለመዱ ተመሳሳይ የጥያቄዎች ምላሾች (ምላሾች) ን ማወዳደር ናቸው (የተወሰኑ የዳሰሳ ጥናቶች በምዕራፍ 3 ውስጥ ቀርበዋል). ለተጨማሪ የአሰሳ ሙከራዎች Mutz (2011) ይመልከቱ. ማህበራዊ ሙከራዎች ህክምና በተወሰኑ መንግስታት ብቻ ሊተገበሩ የሚችሉ አንዳንድ ማህበራዊ ፖሊሲዎች ናቸው. ማህበራዊ ሙከራዎች ከፕሮግራሙ ግምገማ ጋር በቅርበት የተገናኙ ናቸው. ስለ የፖሊሲ ሙከራዎች ተጨማሪ ይመልከቱ Heckman and Smith (1995) , Orr (1998) , እና @ glennerster_running_2013.

• ከአራት ቀላል ሙከራዎች በላይ መሄድ (ክፍል 4.4)

በሶስት ጽንሰ-ሐሳቦች ላይ ለማተኮር መምረጥ አልችልም: ተቀባይነት, የመድሐኒት ውጤቶች እና ሂደቶች. እነዚህ ጽንሰ-ሐሳቦች በተለያየ መስክ የተለያዩ ስሞች አሉዋቸው. ለምሳሌ ያህል, የሥነ ልቦና መካከለኛ እና አወያዮች ላይ በማተኮር ቀላል ሙከራዎች ባሻገር ለመሄድ አዝማሚያ (Baron and Kenny 1986) . ሸምጋዮች ሀሳባቸውን የሚለኩበት መንገድ ነው, እናም የአወላጅ አዋቂዎች ውጫዊ ተቀባይነት ባለው (ለምሳሌ, የተሞክሮው ውጤት በተለያዩ ሁኔታዎች ውስጥ ከተተገበረ የተለየ ነው) እንዲሁም የመድሃኒት ውጤቶች (ሄትሮጀኔሽን) ለምሣሌ-ለአንዳንድ ሰዎች ከሌሎች ይልቅ ሰፊ ውጤት ይኖራቸዋል).

ሙከራው በ Schultz et al. (2007) ማህበራዊ ጽንሰ-ሐሳቦች ውጤታማ ጣልቃኞችን ለመምለጥ እንዴት መጠቀም እንደሚቻል ያሳያል. ውጤታማ የጣልቃ ገብነት መርሃ ግብርን ለመምረጥ የጦማሪያን ሚና በአጠቃላይ አጠቃላይ መከራከሪያ በተመለከተ Walton (2014) ይመልከቱ.

• መመዘኛ (ክፍል 4.4.1)

የውስጣዊም ውጫዊ ጽንሰ-ሐሳቦች መጀመሪያ የተጀመሩት Campbell (1957) . ለተጨማሪ ዝርዝር ታሪክና የስታትስቲክስ መደምደሚያ ትክክለኛነት, ውስጣዊ ትክክለኛነት, ትክክለኛነት እና የውጭነት ማረጋገጥ በጥንቃቄ Shadish, Cook, and Campbell (2001) ይመልከቱ.

Imbens and Rubin (2015) ካለው የስታትስቲክስ ማጠቃለያ ጋር የተያያዙ ጉዳዮችን ጠቅለል አድርጎ ለመመልከት Gerber and Green (2012) (ከኅብረተሰቡ ሳይንሳዊ እይታ) እና Imbens and Rubin (2015) (ከስታትስቲክስ አተያየት) ይመልከቱ. አንዳንድ በመስመር ላይ የመስክ ሙከራዎች ላይ የሚከሰቱ አንዳንድ (Bakshy and Eckles 2013) እትሞች እንደ ጥብቅ ውሂብ (Bakshy and Eckles 2013) መካከል ያሉ ሚስጥራዊ (Bakshy and Eckles 2013) ለመፍጠር በሂሳብ ስራ ውጤታማ የሆኑ ዘዴዎችን ያካትታል.

ውስጣዊ ውስንነት ውስብስብ የመስክ ሙከራዎችን ለማረጋገጥ አስቸጋሪ ሊሆን ይችላል. ለምሳሌ ያህል Gerber and Green (2000) , Imai (2005) , እና Gerber and Green (2005) ስለ ድምፅ አሰጣጥ ላይ ውስብስብ የመስክ ሙከራን አስመልክተው ክርክር ላይ ይመልከቱ. Kohavi et al. (2012) እና Kohavi et al. (2013) በመስመር ላይ የመስክ ሙከራዎች መካከል ያለውን የጠለፋዎች ልዩነቶች ያቀርባል.

አንዱን ውስጣዊ ደህንነት ለማረጋገጥ ከሚያስከትላቸው ዋና ዋና ስጋቶች ውስጥ አንዱ በአጋጣሚ የተከናወነ ሓድል (randomisation) ሊሆን ይችላል በዘፈቀደ የሚደረግ ችግርን ለመለየት ከሚቻል አንድ አማራጭ መንገድ ህክምናውን እና የቁጥጥር ቡድኖችን በተራቀቀ ባሕርያት ማነፃፀር ነው. እንዲህ ዓይነቱ ንጽጽር የሂሳብ ሒሳብ ይባላል. ስለ ሚዛን ፍተሻዎች ስጋት በተመለከተ ለስታቲስቲክ አቀራረብ ሚዛን Mutz and Pemantle (2015) Hansen and Bowers (2008) ይመልከቱ. ለምሳሌ, Allcott (2011) በሂሳብ መዝገብ ላይ መጠቀም በሶስቱ ኦፔራ ሙከራዎች (ዞን 2 ን; ገፅ 2, 6 እና 8 ይመልከቱ) በአግባቡ ያልተተገበሩ ማስረጃዎችን አግኝተዋል. ለሌሎች ስልቶች, Imbens and Rubin (2015) ምዕራፍ 21 ይመልከቱ.

ከውስጣዊ እጦት ጋር የተያያዙ ሌሎች ዋነኞቹ አሳሳቢ ጉዳዮች-(1) የአንድ ወገን መድልዎ አልባነት, በሕክምናው ቡድን ውስጥ ሁሉም ሰው የሕክምና እርዳታው ያልደረሰበት, (2) በሁለት ወገን ያለ ማመቻቸት, በቡድኑ ውስጥ ያለው ሰው ሁሉ ህክምናውን እና ጥቂት ሰዎችን የቁጥጥር ቡድኑ ህክምናውን, (3) የተውጣጡ, ለተወሰኑ ተሳታፊዎች ውጤቶችን የማይለካ እና (4) ጣልቃ-ገብነት, በሕክምና ሁኔታ ውስጥ ከሰዎች ህመም ወደ ቁስሉ ውስጥ በሚኖሩበት ሁኔታ ይደርሳል. በእያንዳንዱ በእነዚህ ጉዳዮች ላይ የበለጠ መረጃ ለማግኘት ምዕራፍ Gerber and Green (2012) ምዕራፍ 5, 6, 7 እና 8 ተመልከት.

ተቀባይነት Westen and Rosenthal (2003) ተጨማሪ መረጃ ለማግኘት, Westen and Rosenthal (2003) የሚለውን ይመልከቱ, እንዲሁም በትልልቅ የውሂብ ምንጮች ውስጥ Lazer (2015) እና የዚህ መጽሐፍ ምዕራፍ 2 ላይ ተቀባይነት እንዲኖረው ለማድረግ.

የውጭ ውስንነት አንዱ ገጽታ ጣልቃ የሚገባበት መቼት ነው. Allcott (2015) ለትክክለኛው የቦታ መረጣ ጥንቃቄ የተሞላበት እና ተግባራዊ የሆነ ጥንቃቄን ያቀርባል. ይህ ጉዳይ በ Deaton (2010) ተብራርቷል. የውጭ ተቀባይነት ያለው ሌላኛው ገጽታ ተመሳሳይ የአሠራር ጣልቃ ገብነት ተመሳሳይ ውጤት ሊያስከትል ይችላል. በዚህ ሁኔታ, በ Schultz et al. (2007) መካከል ያለ ንጽጽር Schultz et al. (2007) እና Allcott (2011) እንደሚያሳየው የፔቭል ሙከራዎች በሼልትዝ እና ባልደረቦች (1.7% እና 5%) ከመጀመሪያዎቹ ሙከራዎች ያነሱ ግኝት ተጨባጭ ውጤት አለው. Allcott (2011) እንደ እጅ በእጅ የተጻፈ ስሜታዊ ስሜት ገላጭ የስሜት ገላጭ Allcott (2011) ትናንሽ ተፅእኖ) እንደነበራቸው ይገምታሉ. ከኃይል ኩባንያ የተገኘ ሪፖርት.

• የሕክምናው ተጽእኖ አለመታየት (ክፍል 4.4.2)

በመስክ ሙከራዎች ውስጥ የሚደረጉ የሕክምና ውጤቶች በአዕላፍ-ጠቋሚዎች እጅግ በጣም ጥሩ የሆነ እይታ, ምዕራፍ 11 Gerber and Green (2012) . Kravitz, Duan, and Braslow (2004) Kent and Hayward (2007) , Longford (1999) Kravitz, Duan, and Braslow (2004) . የሕክምናው መድሃኒቶች (ሄርኔኔኔኒኬሽን) ውጤቶች በአጠቃላይ በቅድመ ህክምና ባህሪያት ላይ በሚተኩር ልዩነቶች ላይ ያተኩራሉ. በድህረ-ህክምና ውጤቶች ላይ በመመርኮዝ (Frangakis and Rubin 2002) ልዩነት ላይ ፍላጎት ካሳዩ እንደ ርእሰ- (Frangakis and Rubin 2002) ያሉ ይበልጥ ውስብስብ አቀራረብ አስፈላጊዎች ናቸው. Page et al. (2015) ለግምገማ.

ብዙ ተመራማሪዎች የመድሃኒት ተጽእኖን በመጠቀም የመድሃኒት ተጽእኖ አለማቸውን ይገምታሉ, ነገር ግን አዳዲስ ዘዴዎች በማሽን ትምህርት ላይ ይደገፋሉ. ለምሳሌ ያህል, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , Athey and Imbens (2016a) .

በርካታ የንፅፅር ችግሮች እና "አሳ ማጥመድ" ስለ ውጤት ውጤቶች (ሄትሮጅኒየም) ውጤቶች ግኝቶች አሉ. የተለያዩ የንፅፅር ስጋቶችን (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . ስለ << ዓሳ ማስገር >> አንድ አሳሳቢ አቀራረብ ቅድመ-ምዝገባ ሲሆን ይህም (Nosek and Lakens 2014) , በፖለቲካ ሳይንስ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) (Nosek and Lakens 2014) (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , እና ኢኮኖሚክስ (Olken 2015) .

Costa and Kahn (2013) ጥናት ውስጥ በግማሽ የሚሆኑት አባ / እማወራወች ከዝነ-ሕዝብ መረጃ ጋር የተገናኙት ናቸው. በእነዚህ ዝርዝሮች ላይ ፍላጎት ያላቸው አንባቢዎች ዋናውን ወረቀት ማየት አለባቸው.

• ስልቶች (ክፍል 4.4.3)

መአቀፍዎች እጅግ በጣም አስፈላጊ ናቸው, ግን ለመማር በጣም አስቸጋሪ ይሆናሉ. የሚዛመዱ ጥናቶች ሥነ ልቦናዊ ( VanderWeele (2009) ጥናት ጋር በቅርብ የተሳሰረ ነው. (ግን VanderWeele (2009) የሚለውን ተመልከት. Baron and Kenny (1986) ውስጥ Baron and Kenny (1986) አቀራረቦችን የመሳሰሉ ዘዴዎችን ለመፈለግ ስታትስቲክስ አቀራረብ በጣም የተለመደ ነው. በሚያሳዝን ሁኔታ ግን, እነዚህ ሂደቶች በተወሰኑ ጠንካራ ግምቶች (Bullock, Green, and Ha 2010) የተመሰረቱ ናቸው. እንዲሁም በብዙ ሁኔታዎች (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) እና Imai and Yamamoto (2013) አንዳንድ የተሻሻለ የስታቲስቲክስ ዘዴዎችን አቅርበዋል. ከዚህም በተጨማሪ VanderWeele (2015) ትንታኔ አጠቃላይ የአቀራረብ ዘዴን ጨምሮ በርካታ አስፈላጊ ውጤቶችን የያዘ መጽሐፍ-ረዥም ህክምና ያቀርባል.

የተለየ ስልት ሥራውን በቀጥታ ለመጫን የሚሞክሩ ሙከራዎች ላይ ያተኩራሉ (ለምሳሌ, የባህር ሞላትን ለቫይታሚን ሲ መስጠት). በሚያሳዝን ሁኔታ, በብዙ ማኅበራዊ ሳይንስ መቼቶች ብዙውን ጊዜ በርካታ የአሠራር ስልቶች አሉ እና አንዱን ሳይቀይሩ የሚቀያየር ዘዴዎችን ለመለወጥ አስቸጋሪ ነው. አንዳንዶች Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) Pirlott and MacKinnon (2016) Ludwig, Kling, and Mullainathan (2011) , እና Pirlott and MacKinnon (2016) .

ሙሉ የፈተና ሙከራዎችን የሚያካሂዱ ተመራማሪዎች ስለ ብዙ ፈለግ ሙከራዎች መጨነቅ ይኖርባቸዋል. ለተጨማሪ መረጃ Fink, McConnell, and Vollmer (2014) እና List, Shaikh, and Xu (2016) ይመልከቱ.

በመጨረሻም, Hedström and Ylikoski (2010) እንደተገለፀው Hedström and Ylikoski (2010) በሳይንስ ፍልስፍና ውስጥ ረዥም ታሪክ አላቸው.

• ነባር አካባቢዎችን መጠቀም (ክፍል 4.5.1)

ስለ Pager (2007) ለመለካት Pager (2007) ጥናት እና ለኦዲት ጥናት የበለጠ ለማወቅ, Pager (2007) ይመልከቱ.

• የራስዎን ሙከራ ይገንቡ (ክፍል 4.5.2)

የሚገነቡትን ሙከራዎች ለመምረጥ በጣም የተለመደው መንገድ Amazonasonic Mechan Turk (MTurk) ነው. MTurk ስለ ባህላዊ ላቦራቶሪ ሙከራ ሙከራዎች - ለምሳሌ ገዢዎች በነጻ ሊያደርጉ የማይችሉትን ስራዎች ለማጠናቀቅ ስለሚሞክሩ - ብዙ ተመራማሪዎች የሙከራ ተሳታፊዎችን እንደ ቱርተስተር (የቲውራትክ ሰራተኞችን) መጠቀም ጀምረዋል, ይህም እጅግ በጣም ፈጣንና ርካሽ የሆነ የመረጃ ስብስብ በባህላዊ የካምፓስ ላቦራቶሪ ሙከራዎች (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

በአጠቃላይ, ከ MTTK ተቀጣሪዎች ተሳታፊዎች መጠቀማችን ትልቁ ጥቅም የሎጂስቲክስ ናቸው. የቤተ ሙከራ ሙከራዎች ሳምንታት ሊወስዱ ይችላሉ እና የመስክ ሙከራዎች ለመቋቋም ወራት ይወስዳሉ, ከ MTurk ከተመረጡት ተሳታፊዎች ሙከራዎች በቀናት ሊሰሩ ይችላሉ. ለምሳሌ Berinsky, Huber, and Lenz (2012) በአንድ የ 8 ደቂቃ ሙከራ ውስጥ 400 ርዕሰ ጉዳዮችን ለመመልመል ይችላሉ. በተጨማሪም እነኚህ ተሳታፊዎች በምዕራፍ 3 እና 5 ውስጥ እንደተገለፀው ለማንኛውም ዓላማ (ቅኝት እና ትብብርን ጨምሮ) ለማንኛውም ዓላማ ሊመደቡ ይችላሉ. የመልሶ ማቋቋም ቀላልነት ማለት ተመራማሪዎች በተዛመደ ተዛማጅ ሙከራዎችን በቅደም ተከተል ማስኬድ ይችላሉ ማለት ነው.

ለራስዎ ሙከራዎች ከተሳታፊዎች ከመመክከርዎ በፊት ከምታውቁት አራት ዋና ዋና ነገሮች አሉ. በመጀመሪያ, ብዙ ተመራማሪዎች የቱርኪርን ተሳትፎ በተመለከተ ሙከራዎች በትክክል ያልታወቀ ጥርጣሬ አላቸው. ይህ ጥርጣሬ የተለየ አይደለም, ምክንያቱም ከመረጃዎች ጋር መጣጣም አለበት. ይሁን እንጂ ቱርከርን በመጠቀም ለብዙ ዓመታት ጥናት ካደረግን በኋላ ይህ ጥርጣሬ ፈጽሞ ትክክል እንዳልሆነ መደምደም እንችላለን. የቱርተርስን ስነ-ህዝብ ከሌሎች ህዝቦች ጋር በማነፃፀር ብዙ ጥናቶች ተካሂደዋል. ብዙ ጥናቶች ደግሞ ከሌሎች ተረቶች ጋር የቱርኪንግ ሙከራዎችን ውጤት ጋር በማነፃፀር የተደረጉ በርካታ ጥናቶች ነበሩ. ይህንን ሁሉ ሥራ ከሰጠሁት በኋላ, ሊታሰብበት የሚችሉት እጅግ በጣም ጥሩው መንገድ, እንደ (Berinsky, Huber, and Lenz 2012) . ስለዚህ, ተማሪዎች ለአንዳንዶች የተወሰኑ ምክንያቶች እንደሆኑ, ነገር ግን ሁሉም ምርምር አይደለም, ቱርተሮች ለአንዳንድ ሰዎች ግን ምክንያታዊነት ያላቸው ቁጥሮች ናቸው, ግን ሁሉም አይደሉም, ምርምር. ከቱርክስ ጋር ለመስራት ከፈለጉ ብዙዎቹን የእነዚህን የተያያዙ ጥናቶች ማንበብ እና የሚያስከብራቸውን ነገሮች መረዳት ይችላሉ.

ሁለተኛ, ተመራማሪዎቹ የ MTRk ሙከራዎችን ውስጣዊነት ለመጨመር ምርጥ ልምዶችን አዘጋጅተዋል እናም እነዚህን ምርጥ ልምዶች (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) መማር እና መከተል አለብህ. ለምሳሌ ያህል, Turkers በመጠቀም ተመራማሪዎች ከማይሰጥ ተሳታፊዎች ለማስወገድ ተቆጣጣሪዎች እንዲጠቀሙ ይበረታታሉ (Berinsky, Margolis, and Sances 2014, 2016) (ሳይሆን ማየት DJ Hauser and Schwarz (2015b) እና DJ Hauser and Schwarz (2015a) ). በትኩረት ተሳታፊ የሆኑትን ተሳታፊዎች ካላስወገዱ የሕክምናው ውጤት በምርመራው ድምጽ ሊታጠብ ይችላል, በተግባር ግን, ተሳታፊ የሆኑ ተሳታፊዎች ቁጥር ከፍተኛ ሊሆን ይችላል. በ huber እና ባልደረቦች (2012) በተደረገው ሙከራ, 30% የሚሆኑት ተሳታፊዎች የመመሪያ ማማቻዎችን አልነበሩም. ቱርተርስ ጥቅም ላይ ሲውሉ ብዙ ጊዜ የሚከሰቱ ሌሎች ችግሮች ባልተለመዱ ተሳታፊዎች ውስጥ ይገኛሉ (Chandler et al. 2015) እና የተጎዳ (Zhou and Fishbach 2016) .

ሶስተኛ ከላልች ዲጂታል ሙከራዎች ጋር ሲነጻጸር የ MTurk ሙከራዎች ሚዛን አይዯርጉም. Stewart et al. (2015) አማካይነት በየትኛውም ጊዜ ላይ ወደ 7 ሺ ሰዎች ብቻ በኬንትራክ ላይ ይገኛሉ.

በመጨረሻም, MTurk የራሱ ደንቦችና ደንቦች ያለው ማህበረሰብ መሆኑን ማወቅ አለብዎት (Mason and Suri 2012) . ልክ ሙከራዎችዎን ለማካሄድ ወደሚያደርጉት ሀገር ለማወቅ ስለሚሞክሩ በተመሳሳይ መንገድ ስለ ቱርክራውያን ባህልና ደንቦች ለማወቅ መሞከር አለብዎት (Salehi et al. 2015) Salehi (Salehi et al. 2015) . እንዲሁም አግባብ ያልሆነ ወይም እርቃን ያልሆነ ነገር ካደረጉ (ለምሳሌ ቱሪስቶች) ስለ ተካሪዎችዎ እንደሚነጋገሩ ማወቅ አለብዎት (Gray et al. 2016) .

MTurk እንደ Huber, Hill, and Lenz (2012) የመሳሰሉ የሙከራ መስመሮች (ለምሳሌ እንደ Huber, Hill, and Lenz (2012) እንደዚሁም) የመሳሰሉት) ለምሳሌ Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , እና Mao et al. (2016) .

• የራስዎን ምርት ይገንቡ (ክፍል 4.5.3)

የራስዎን ምርት ለመፍጠር እየሞከሩ ከሆነ, በ Harper and Konstan (2015) ውስጥ ለ MovieLens ቡድን የቀረበውን ምክር እንዲያነቡ እመክራለሁ. ከተሳታፊዎቹ ውስጥ ቁልፍ የሆነ መረዳት በእያንዳንዱ ውጤታማ ፕሮጀክት ብዙ, ብዙ ድክመቶች አሉ. ለምሳሌ, MovieLens ቡድን እንደ GopherAnswers ያሉ ሌሎች ምርቶችን (Harper and Konstan 2015) የመሳሰሉ ሌሎች ምርቶችን ጀምሯል. ሌላ ምርምር ለመሥራት ሲሞክሩ አንድ ተመራማሪ ሌላ ስህተት ነው, ኤድዋርድ ኮርኖኖቫ, አርደን የሚባል የመስመር ላይ ጨዋታ ለመገንባት ሙከራው ነው. ምንም እንኳን 250,000 ዶላር የገንዘብ እርዳታ ቢደረግም, ፕሮጀክቱ ብስጭት ነበር (Baker 2008) . እንደ GopherAnswers እና Arden ያሉ ፕሮጀክቶች እንደ MovieLens ካሉ ፕሮጀክቶች ይልቅ በአብዛኛው የተለመዱ ናቸው.

• ከኃይሉ ጋር አጋርነት (ክፍል 4.5.4)

የፓስተሩኩ ኩአንድተር በተደጋጋሚ በቴክኖሎጂ ኩባንያዎች ላይ የተወያየ ሲሆን, የምርምር ጥረቶችን በ Google (Spector, Norvig, and Petrov 2012) .

የቦንድ እና የስራ ባልደረቦች ጥናት (2012) የእነዚህ ሕክምናዎች ተጽእኖ በተቀበሏቸው ጓደኞች ላይ ያለውን ተፅዕኖ ለመከታተል ይሞክራል. በሙከራው ዲዛይኑ ምክንያት, እነዚህ ድግግሞሽ ንፅህናን ለመለየት አስቸጋሪ ነው, ፍላጎት ያላቸው አንባቢዎች Bond et al. (2012) ለተጨማሪ ማብራሪያ. ጆንስ እና ባልደረቦች (2017) እ.ኤ.አ በ 2012 በተካሄደው ምርጫ ተመሳሳይ ተመሳሳይ ሙከራ አካሂደዋል. እነዚህ ሙከራዎች በፖለቲካዊ ምርምሮች ላይ የምርጫ ድምጽን ለማበረታታት በሚያደርጉት ጥረት (Green and Gerber 2015) ረቂቅ (Green and Gerber 2015) ላይ የተካሄዱ ጥንታዊ ልማቶች ናቸው. እነዚህ የ "-ራ-ድምጽ-ድምጽ" ሙከራዎች የተለመዱ ናቸው, በከፊል ደግሞ በፓስተሩ ምህረት ውስጥ ስለሚገኙ ነው. ይህም ማለት ድምጽን ከፍ ለማድረግ እና ድምጽ ለመስጠት የተነሳሱ ብዙ ሰዎች ስለ ባህሪ ለውጥ እና ማህበራዊ ተጽእኖ የበለጠ አጠቃላይ አጠቃላይ ንድፈቶችን ለመሞከር የሚያስደንቅ ባህሪ ሊኖራቸው ይችላል.

እንደ ፖለቲካ ፓርቲዎች, መንግስታዊ ያልሆኑ ድርጅቶች እና የንግድ ተቋማት ባሉ የሥራ ባልደረባዎች ላይ የመስክ ሙከራዎችን በተመለከተ ሩጫን Loewen, Rubenson, and Wantchekon (2010) , Loewen, Rubenson, and Wantchekon (2010) JA List (2011) እና Gueron (2002) . ከድርጅቶች ጋር ሽርክና ምርምር የምርምር ንድፍ ላይ ተጽእኖ ሊኖረው ስለሚችል ሃሳቦች ለ King et al. (2007) እና Green, Calfano, and Aronow (2014) . Humphreys (2015) እና Nickerson and Hyde (2016) እንደተገለፀው አጋርነት ወደ ስነ ምግባር ጥያቄዎች ሊመራ ይችላል.

• የዲዛይን ምክር (ክፍል 4.6)

እያሰሩ ከሆነ ሙከራዎን ከመፈጸምዎ በፊት ትንታኔ እቅድ ያዘጋጁ, ሪፖርት ማድረጊያ መመሪያዎችን በማንበብ ይጀምሩ. CONSORT (የተጠናቀረ መደበኛ የሽያጭ ትንተና) መመሪያዎች በዶክተርነት ( (Schulz et al. 2010) እና በማህበራዊ ምርምር ተሻሽለው (Mayo-Wilson et al. 2013) . ጆርናል ኦፍ ኤክስፐርታል ፖለቲካል ሳይንስ (Gerber et al. 2014) Mutz and Pemantle (2015) እና Gerber et al. (2015) ). በመጨረሻም, የሪፖርት መምሪያዎች በስነ ልቦና ጥናት (APA Working Group 2008) Simmons, Nelson, and Simonsohn (2011) እንዲሁም Simmons, Nelson, and Simonsohn (2011) .

የትንታኔ እቅድ ከፈጠሩ ቅድመ-ምዝገባዎቻቸው ሌሎች በእርስዎ ውጤቶች ውስጥ ያላቸው እምነት እንዲጨምር ስለሚያደርጉ ቅድመ-ምዝገባውን ማስገባት አለብዎ. ከዚህም በተጨማሪ ከአገልግሎት ጓደኛ ጋር እየሰሩ ከሆነ የአጋርዎ ውጤት ውጤቱን ካዩ በኋላ ትንታኔውን የመለወጥ ችሎታ ይገድባል. ቅድመ-ምዝገባ በሳይኮሎጂ (Nosek and Lakens 2014) , ፖለቲካዊ ሳይንስ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) (Nosek and Lakens 2014) (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) እና ኢኮኖሚክስ (Olken 2015) .

Konstan and Chen (2007) የመስክ ጉብኝት በተለይም Konstan and Chen (2007) እና Chen and Konstan (2015) የንድፍ የምክር አገልግሎት ቀርቧል.

የአራዳውን ስልት ብዬ የጠራሁት አንዳንድ ጊዜ ፕሮግራምዊ ምርምር በመባል ነው. Wilson, Aronson, and Carlsmith (2010) .

• ዜሮ ተለዋዋጭ ውሂብን ይፍጠሩ (ክፍል 4.6.1)

ለ MusicLab ሙከራዎች በበለጠ ለመረዳት, Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , እና Salganik (2007) . በአሸናፊነት ሁሉንም ገበያዎች በተመለከተ ተጨማሪ መረጃ ለማግኘት, Frank and Cook (1996) . ስለማያማው እድልና ጉልበት በአጠቃላይ በበለጠ ለመረዳት Mauboussin (2012) , Watts (2012) , እና Frank (2016) .

ተመራማሪዎችን በጥንቃቄ መጠቀም እንደሚገባቸው የተሳትፎ ክፍያን ለማስወገድ ሌላ ዘዴ አለ. በብዙ የመስመር ላይ የመስክ ሙከራዎች ውስጥ ተሳታፊዎች በመሠረቱ ወደ ሙከራዎች ቀርበዋል እና መቼም አሟልተው አይካሄዱም. ለዚህ አቀራረብ ምሳሌዎች በዊኪፔሽንና በቦንድ እና ባልደረባ (2012) ባለው ህዝብ ላይ ድምጽ የመስጠት ሙከራን በ Rewards ላይ የሬስቶቮ እና ቫን ሬ ሪት (2012) ሙከራን ያካትታል. እነዚህ ሙከራዎች በርካሽ ተለዋዋጭ ወጪዎች የላቸውም, ይልቁንስ ተመራማሪዎች ለዜናዊ ተለዋዋጭ ወጪዎች አላቸው . እንደዚህ ባሉ ሙከራዎች ምንም እንኳን ለእያንዳንዱ ተሳታፊዎች ወጪው በጣም ትንሽ ቢሆንም እንኳ አጠቃላይ ወጪው በጣም ትልቅ ሊሆን ይችላል. በትላልቅ የመስመር ላይ ሙከራዎች የሚካሄዱ ተመራማሪዎች አብዛኛውን ጊዜ እነዚህ አነስተኛ ተጽዕኖዎች ለበርካታ ሰዎች በሚተገበሩበት ጊዜ አስፈላጊ ሊሆኑ እንደሚችሉ በመናገር አነስተኛ ትንበያዎችን የመተግበር አስፈላጊነትን ያረጋግጣሉ. ተመሣሣይ አስተሳሰባችን ተመራማሪዎች ተሳታፊዎችን በሚጠይቁት ወጪ ላይ ያመጣል. የእርስዎ ሙከራ አንድ ደቂቃዎች በአንድ ደቂቃ ውስጥ እንዲያባክን ቢያደርግ, ሙከራው ለማንኛውም ግለሰብ ጎጂ አይደለም, ነገር ግን በጥቅሉ ከሁለት ዓመት ጊዜ በላይ ጠፍቷል.

ሌላው ተመጣጣኝ ለውጥ ለ ተሳታፊዎቹ ለመክፈል ያቀረበው ሌላው ዘዴ የሎተሪ ዕጣ መጠቀምና በዳሰሳ (Halpern et al. 2011) ምርምር ውስጥ ጥቅም ላይ የዋለ አቀራረብ ነው (Halpern et al. 2011) . አስደሳች የሆኑ የተጠቃሚ ተሞክሮዎችን ለመምራት ተጨማሪ ለመረዳት Toomim et al. (2011) . ዜሮ ተለዋዋጭ ወጪዎችን ለመፍጠር ቦር በመጠቀም ተጨማሪ መረጃ ለማግኘት ( ??? ) .

• መተካት, ማጣራት እና መቀነስ (ክፍል 4.6.2)

በ Russell and Burch (1959) መጀመሪያ Russell and Burch (1959) እንደሚከተለው ናቸው-

"የተተኩት insentient ቁሳዊ የሚያውቁ ሕያው ከፍተኛ እንስሳት መተካት ማለት ነው. ቅነሳ በአንድ የተሰጠ መጠን እና የትክክለኛነት መረጃ ለማግኘት ስራ ላይ የዋለ እንስሳት ቁጥር ውስጥ መቀነስ ማለት ነው. ማሻሻያ ስርጭት ወይም ገና ጥቅም ላይ እንዲውል ያላቸው ሰዎች እንስሳት ተተግብረዋል ኢሰብዓዊ አሰራሮችን ጭከናው በወደቁት ላይ ማንኛውም መቀነስ ማለት ነው. "

ያቀረብኳቸው ሦስቱ የሶስትዮሽ ሪፖርቶች በምዕራፍ 6 የተዘረዘሩትን የስነምግባር መርሆች አይሽጧቸውም. ይልቁኑ, ከእነዚህ መሰረታዊ መርሆች ይልቅ-የተራቀቁ ናቸው, በተለይም በሰው ልጅ ሙከራዎች ውስጥ ተካተዋል.

ከመጀመሪው R ("ምትክ") አንጻር የስሜት ገላጭ ስሜትን (Kramer, Guillory, and Hancock 2014) እና ስሜታዊ የመነካካት ሙከራ (Lorenzo Coviello et al. 2014) ከልምዶች ሙከራ አንስቶ እስከ ተፈጥሯዊ ሙከራዎች ድረስ (እና ሌሎች ተመሳሳይ ሙከራዎች እንደ የሙከራ ላልሆነ ሙከራዎች ሙከራ ለመሞከር የሚሞክሩ እንደ ማዛመድ); ምዕራፍ 2 ይመልከቱ. ከስነምግባር ጥቅሞች በተጨማሪ ከሙከራ ወደ መደበኛ ሙከራዎች መቀየር ተመራማሪዎች ሊሰሩበት የማይችሉ ሕክምናዎችን እንዲያጠኑ ያስችላቸዋል. ይሁን እንጂ እነዚህ ሥነ-ምግባራዊና የሎጂስቲክስ ጥቅሞች ወጪዎች ናቸው. በተፈጥሮ ሙከራዎች ተመራማሪዎች እንደ ተሳታፊዎች ቅጥር, ቀውስ እና የሕክምና ባህሪያት ባሉ ነገሮች ላይ ቁጥጥር አነስተኛ ናቸው. ለምሳሌ, እንደ አንድ የዝናብ ስርዓት ውስንነት አንድ እርምጃ የሁለቱም ድግግሞሽ እና አሉታዊነትን ይቀንሰዋል. ይሁን እንጂ በከባደ ጥናት ላይ ክሬመር እና ባልደረቦቹ በተናጥል አዎንታዊ እና አሉታዊነትን ማስተካከል ችለዋል. Lorenzo Coviello et al. (2014) በ L. Coviello, Fowler, and Franceschetti (2014) የበለጠ ያብራራል. Lorenzo Coviello et al. (2014) መግቢያ, Lorenzo Coviello et al. (2014) , Angrist and Pischke (2009) (መደበኛ ያልሆነ) ወይም Angrist, Imbens, and Rubin (1996) (ይበልጥ መደበኛ) ይመልከቱ. ለትክክለኛ ተለዋዋጭ ተፅእኖዎች, Deaton (2010) እና ተለዋዋጭ መለኪያዎች በንፋስ መሳሪያዎች (ዝናብ መሳሪያ ነው) ለማግኘት, Murray (2006) ይመልከቱ. በተለምዶ ለሙከራ ሙከራዎች ጥሩ መግቢያ Dunning (2012) የተሰጠ ሲሆን Rosenbaum (2002) , ( ??? ) , እና Shadish, Cook, and Campbell (2001) ምንም ሙከራዎች ያለ ሙከራዎች ግምቶችን ለመገመት ጥሩ ሀሳቦችን ያቀርባሉ.

በሁለተኛው ሪ (ማጣቀሻ /) ማስተካከያዎች ላይ የስሜት መቆጣጠሪያ ንድፎችን (ዲዛይን) በመውሰድ ልጥፎችን ከማስፋት አንስቶ ወደ ልጥፎችን ማራዘም. ለምሳሌ, የዜና ማተሚያው ቴክኒካዊ ትግበራዎች ከፍ ከፍ ከማድረጉ ይልቅ ልጥፎች የታገዱትን ሙከራ ለማድረግ ቀላል ነው (ልጥፎችን ማገድ የሚያካትት ሙከራ ሊተገበር ይችላል) እንደ ኒውስ ፉድ ስርዓት ላይ እንደ ንብርብር ስር ያለውን ስርዓት ያለምንም ችግር ለመለወጥ አስፈላጊ ነው). ይሁን እንጂ በሳይንስ አኳያ በተሞክሮ የቀረበው ንድፈ ሐሳብ አንዳቸው ከሌላ ንድፍ ጋር የተጠቆመ አይደለም. በሚያሳዝን ሁኔታ, በጋዜጣ መጋቢ ውስጥ ይዘት ስለ ማገጃ እና ስለማሳደግ አንጻራዊ የሆኑትን አጥጋቢ ምርምሮችን አላውቅም. በተጨማሪም, ስለ ማጣሪያ ማጣሪያዎች ትንሽ ጎጂ ያደርጉ ዘንድ ብዙ ጥናቶች አላየሁም. B. Jones and Feamster (2015) ጋር የተገናኘ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

በሦስተኛ ደረጃ R («ቅነሳ») ውስጥ መልካም የሆኑ መግቢያዎችን ወደ ባህላዊ የኃይል ትንተና Cohen (1988) (ኮከቦች) እና Cohen (1992) (ፅሁፉ) ውስጥ Gelman and Carlin (2014) , Gelman and Carlin (2014) ደግሞ ትንሽ ለየት ያለ አስተያየት ይሰጣሉ. የቅድመ-አያያዝ ሲቪቫቶች በሙከራዎች ንድፍ እና ትንታኔ ደረጃ ውስጥ ሊካተቱ ይችላሉ. Gerber and Green (2012) ምዕራፍ 4 ሁለቱንም አቀራረቦች ጥሩ መግቢያ ያቀርባል, እንዲሁም Casella (2008) በጥልቅ ጥልቀት ያቀርባል. በዚህ ቅድመ-ህክምና መረጃ በዲሲፒሊን ውስጥ ይህንን ቅድመ አያያዝ መረጃን የሚጠቀሙ ቴክኒኮች በተለምዶ የሙከራ ንድፎችን ወይም የተራቀቁ የሙከራ ንድፎችን (የቃላት ገለጻ በድርጅቶች ውስጥ በቋሚነት ጥቅም ላይ አይውልም); እነዚህ ዘዴዎች በምዕራፍ 3 ላይ Higgins, Sävje, and Sekhon (2016) ናሙና ስልቶች ጋር በቅርብ የተሳሰሩ ናቸው. Higgins, Sävje, and Sekhon (2016) ይመልከቱ. ቅድመ-ህክምና ክሪስታሪ በሂደት ደረጃ ውስጥ ሊካተት ይችላል. McKenzie (2012) የመስክ ሙከራዎችን በበለጠ ጥልቀት ለመተንተን ልዩነቶችን በመለያየት ልዩነት ይዳስሳል. የሕክምናው ተፅእኖዎች ግምታዊነት ለመጨመር በተለያየ ዘዴዎች መካከል Carneiro, Lee, and Wilhelm (2016) ላይ ተጨማሪ መረጃ ለማግኘት. በመጨረሻም, ቅድመ ህክምናዎችን በዲዛይን ወይም የትንታኔ ደረጃ (ወይም በሁለቱም) ውስጥ ለማካተት መሞከርን ስንወስን ከግምት ውስጥ ልናስገባቸው የሚገቡ ጥቂት ነገሮች አሉ. ተመራማሪዎች "ዓሣ ማጥመድ" (Humphreys, Sierra, and Windt 2013) (Higgins, Sävje, and Sekhon 2016) በዲዛይን ደረጃ ቅድመ- (Higgins, Sävje, and Sekhon 2016) መጠቀም (Higgins, Sävje, and Sekhon 2016) ጠቃሚ ሊሆን ይችላል. ተሳታፊዎች በቅደም ተከተል, በተለይም የመስመር ላይ የመስክ ሙከራዎች, በቅድመ-ደረጃው የቅድመ-ህክምና መረጃን በመጠቀም በሎጂስቲክ ሁኔታ አስቸጋሪ ሊሆኑ ይችላሉ. ለምሳሌ, Xie and Aurisset (2016) .

አንድ-ልዩ-ልዩ-አማራጮች (inter-separation) ከሚለው ይልቅ የመለስ ልዩነት አቀራረብ ለምን በጣም ውጤታማ እንደሚሆን ትንሽ ንቃተ-ጉዳይን ማከል ተገቢ ነው. ብዙ የመስመር ላይ ውጤቶች በጣም ከፍተኛ ልዩነት አላቸው (ለምሳሌ, RA Lewis and Rao (2015) እና Lamb et al. (2015) ) እና በጊዜ ሂደት በአንፃራዊነት ተለዋዋጭ ናቸው. በዚህ ሁኔታ, የለውጥ ውጤት ከፍተኛ መጠን ያለው ልዩነት እና የስታቲስቲክስ ፈተና መጨመር ይገኝበታል. ለዚህ አቀራረብ በተደጋጋሚ ጥቅም ላይ የማይውልበት አንዱ ምክንያት የዲጂታል ዘመን ከመሆኑ በፊት ቅድመ-ህክምና ውጤቶችን ማቅረቡ የተለመደ አልነበረም. ስለዚህ ስለ ጉዳዩ ሊያስቡበት የሚችል የበለጠ ተጨባጭ መንገድ አንድ የተወሰነ የአካል ብቃት እንቅስቃሴ ክብደት መቀነስ ምክንያት እንደሆነ ለመለካት አንድ ሙከራ ማሰብ ነው. የውጤታማነት አቀራረብ አቀራረብ ካሳደግ, በግምት በህዝብ ብዛት ውስጥ ካለው ልዩነት የመነጩ ግምቶች ይለያያሉ. ሆኖም የመለያ ባለ ልዩነት አካሄድ ብትከተል ክብደቱ በተለመደው የመለዋወጥ ሁኔታ ይወገዳል እናም በህክምናው ምክንያት የተፈጠረውን ልዩነት በቀላሉ መለየት ትችላለህ.

በመጨረሻም, አራተኛ ራ "" እንደገና መጨመር አስብ ነበር: "እንደገና ያገናኛል". ይህም ማለት ተመራማሪዎች የራሳቸውን ቀደምት የምርምር ጥያቄ ለመመለስ ከሚያስፈልጓቸው በላይ ተጨማሪ የሙከራ ስጋቶች ካገኙ አዲስ ጥያቄዎችን ለመጠየቅ መረጃውን እንደገና ማዘጋጀት አለባቸው. ለምሳሌ, ክሜመር እና ባልደረቦቹ የመለያ ግምታዊ ልዩነት ተጠቅመው የጥናት ጥያቄያቸውን ለመተንተን ከሚያስፈልጋቸው በላይ ተጨማሪ መረጃ አግኝተዋል. ውሂቡን በተሟላ መጠን አለማድረግ እንጂ የቅድመ አያያዝ ስሜታዊ መግለጫዎች ውጤቱን ያጠኑ ነበር. ልክ እንደ Schultz et al. (2007) የሕክምናው ተፅእኖ ለተለመደው እና ለተለመዱ ተጠቃሚዎች የተለየ እንደሆነ ደርሶበታል, ምናልባትም የኒውስ መጋቢ ውጤቱ ቀደም ሲል ደስተኛ (ወይም አሳዛኝ) መልዕክቶችን ለመለጠፍ ለሚሄዱ ሰዎች የተለየ ነበር. በድጋሚ መተርጎም ወደ << ዓሳ ማጥመድ >> (Humphreys, Sierra, and Windt 2013) እና «ፒ- (Simmons, Nelson, and Simonsohn 2011) » (Simmons, Nelson, and Simonsohn 2011) , ነገር ግን እነዚህ በአብዛኛው ታዋቂነት ባለው ሪፖርት (Simmons, Nelson, and Simonsohn 2011) , ቅድመ-ምዝገባ (Humphreys, Sierra, and Windt 2013) እና ተገቢ ያልሆኑ ነገሮችን ለማስወገድ የሚሞክሩ የማሽን መማሪያ ዘዴዎች.